說明：

1、本文以截圖形式轉載自http://blog.csdn.net/zhongkejingwang/article/details/44514073 

2、轉載供個人學習研究，對部分內容做出個人筆記。

一、BP神經網絡簡介

BP神經網絡是一種按誤差逆傳播算法訓練的多層前饋網絡.它的學習規則是使用梯度下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。BP神經網絡模型拓撲結構包括輸入層（input）、隱層(hiddenlayer)和輸出層(output layer)。BP（Back PRopagation）算法（反向傳播算法）的學習過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。

二、數學原理

接下來就是最小化L。通常使用梯度下降法也就是對每個訓練樣本都使權重往其負梯度方向變化。

完整代碼見github: https://github.com/jingchenUSTC/ANN

個人筆記：原博主的幾個示意圖真心贊，清晰明了，易于理解。

1、數學推導過程，該博主的推導沒有按照概念里的信息的正向傳播和誤差的反向傳播這兩個方向來敘述。看起來不是那么順。

另一篇博主的介紹從兩個方向來推導：http://blog.csdn.net/acdreamers/article/details/44657439

2、

上面這個公式不是很明白，道理是這么個道理，但是公式為什么是這種形式。

3、

下標從0開始的原因，個人認為：從隱層到輸出層，輸出層的每個節點的值除了跟前一層的權值有關外，各個節點還有閾值，將閾值與權值公式整合后，得到上面的公式。