人工智能機器學習有關算法內容，請參見公眾號“科技優化生活”之前相關文章。人工智能之機器學習主要有三大類：1）分類；2）回歸；3）聚類。今天我們重點探討一下BP算法。 

之前介紹的多層網絡的訓練需要一種強大的學習算法，其中成功的代表就是BP反向傳播算法。

1974年Werboss第一次提出了一個訓練多層神經網絡的BP反向傳播算法，由于該算法是在一般網絡中描述的，它只是將神經網絡作為一個特例。因此，在神經網絡研究領域內沒有得到廣泛傳播。直到20世紀80年代中期，BP反向傳播算法才被重新發現并廣泛宣揚。特別是Rumelhart和McClelland等提出了訓練多層神經網絡的BP學習算法，為解決多層神經網絡的學習提供了保證。

BP網絡是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一，也是ANN人工神經網絡的基礎。BP反向傳播算法在多層神經網絡訓練中扮演著舉足輕重的作用，也是迄今最成功的ANN人工神經網絡學習算法。非常有必要值得研究，今天就跟大家介紹一下BP算法。

BP算法概念：

BP算法（error Back Propagation）是由學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由于多層前饋網絡的訓練經常采用誤差反向傳播算法，人們也常把將多層前饋網絡直接稱為BP網絡。

BP網絡能學習和存貯大量的輸入／輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。

BP算法激活函數

激活函數的作用是將非線性引入神經元的輸出。因為大多數現實世界的數據都是非線性的，希望神經元能夠學習非線性的函數表示，所以這種應用至關重要。

通常選可導的奇函數作為激活函數，譬如非線性sigmoid函數，有兩種形式：1）邏輯函數；2）雙曲正切函數。

1）邏輯函數圖如下：

2）雙曲正切函數圖如下：

BP算法原理：

BP算法由信號的正向傳播和誤差的反向傳播兩個過程組成。

1）正向傳播：輸入樣本從輸入層進入網絡，經隱層逐層傳遞至輸出層，如果輸出層的實際輸出與期望輸出不同，則轉至誤差反向傳播；如果輸出層的實際輸出與期望輸出相同，結束學習算法。

2）反向傳播：將輸出誤差（期望輸出與實際輸出之差）按原通路反傳計算，通過隱層反向，直至輸入層，在反傳過程中將誤差分攤給各層的各個單元，獲得各層各單元的誤差信號，并將其作為修正各單元權值的根據。這一計算過程使用梯度下降法完成，在不停地調整各層神經元的權值和閾值后，使誤差信號減小到最低限度。

權值和閾值不斷調整的過程，就是BP網絡的學習與訓練過程，經過信號正向傳播與誤差反向傳播，權值和閾值的調整反復進行，一直進行到預先設定的學習訓練次數，或輸出誤差減小到允許的程度。

BP算法思想：

BP算法是一種有監督式的學習算法，其主要思想是：輸入學習樣本，使用反向傳播算法對網絡的權值和閾值進行反復調整訓練，使輸出的向量與期望向量盡可能地接近，當網絡輸出層的誤差平方和小于指定的誤差時，訓練完成，保存網絡的權值和閾值。

BP算法推導：

BP訓練過程：

BP網絡采用有指導的學習方式，其訓練過程大致如下：

1）組成輸入模式由輸入層經過隱含層向輸出層的“模式順傳播”過程。

2）網絡的期望輸出與實際輸出之差的誤差信號由輸出層經過隱含層逐層調整權值和閾值的“誤差逆傳播”過程。

3）由“模式順傳播”與“誤差逆傳播”反復進行的網絡記憶訓練過程。

4）網絡趨向收斂即網絡的總體誤差趨向極小值的學習收斂過程。

在訓練階段中，訓練實例重復通過網絡，同時修正各個權值和閾值，改變的目的是最小化訓練集誤差率。繼續網絡訓練直到滿足一個特定條件為止，終止條件可以使網絡收斂到最小的誤差總數，可以是一個特定的時間標準，也可以是最大重復次數。

BP算法步驟：

BP算法步驟大致如下：

1）初始化，用小的隨機數給各權值和閾值賦初值。

2）讀取網絡參數和訓練樣本集。

3）歸一化處理。

4）對訓練集中每一樣本進行計算：a） 前向計算：計算隱層、輸出層各神經元的輸出；b） 誤差計算：計算期望輸出與網絡輸出的誤差；c） 反向計算：計算修正網絡權值和閾值。

5）若滿足精度要求或其他退出條件，則結束訓練，否則轉步驟4）繼續。

6）結果分析與輸出。

BP算法優點：

1）具有實現任何復雜非線性映射的功能；

2）適合于求解內部機制復雜的問題；

3）尋優具有精確性；

4）具有自適應和自學習能力；

5）泛化和容錯能力強；

6）具有一定的推廣、概括能力。

BP算法缺點：

1）收斂速度緩慢；

2）容易陷入局部極小值，且對于較大的搜索空間，多峰值和不可微函數不能搜索到全局最優；

3）訓練結果可能未達到預定精度；

4）可能會出現“過擬合”現象；

5）隱含層的層數和單元數的選擇尚無理論上的指導，一般根據經驗值或反復實驗確定；

6）訓練過程中，學習新樣本時有遺忘舊樣本的趨勢。

針對BP算法的缺陷，目前已有許多學者對其進行改進。如采用增量可調法，即在誤差曲面曲率較高處，選取較小值，在誤差曲面較平坦處，選取較大值。采用此增量可調法可明顯提高其收斂速度。然而針對其易陷入局部極小的缺陷，目前尚無較好的解決方法。為了擺脫BP算法易于陷入局部極值，學者們已經嘗試了遺傳算法、模擬退火算法、蟻群算法等與BP算法相結合進行研究。

BP算法應用：

BP反向傳播算法可以逼近任意連續函數，具有很強的非線性映射能力，而且網絡的中間層數、各層的處理單元數及網絡的學習系數等參數可根據具體情況設定，靈活性很大，所以它在許多應用領域中起到重要作用。它在信息處理、模式識別、智能控制及系統建模等領域得到越來越廣泛的應用。

結語：

BP反向傳播算法在多層神經網絡訓練中扮演著舉足輕重的作用，也是迄今最成功的人工神經網絡學習算法，值得深入研究。BP算法是由學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。BP算法應用范圍廣泛，靈活性大，擴展性強。它在信息處理、模式識別、智能控制及系統建模等領域得到越來越廣泛的應用。