反向傳播

反向傳播（Back Propagation）

在此做一些學習筆記的記錄，視頻來自link

神經網絡需要計算損失對權重的導數，以此來對權重進行更新
對於複雜的神經網絡（即含有多個權重w），就不能直接套用梯度下降公式來計算權重w，否則計算量巨大，因此利用反向傳播來解決複雜神經網絡的問題

通過鏈式運算的規則，我們可以將輸出端的損失函數通過反向傳播（backward）（紅線），來實現對權重w或者上一項x的偏導，從而實現梯度下降的目的。而從輸入端到輸出端的過程稱爲前饋（forward）（藍線）

以簡單的線性模型爲例，大致的流程如下：
總結：正向前饋（forward）用於算出對應樣本的損失，反向傳播（backward）用於算出相應的梯度，根據梯度下降的情況來更新權重。