BP神經網絡算法改進及應用

王磊　王汝涼　曲洪峰　玄揚

摘要：針對傳統BP神經網絡收斂速度慢且容易陷入局部極小值的缺點，通過實驗對其進行分析并提出可以提高算法快速性和有效性的改進方法。介紹了BP神經網絡的工作原理、基本流程、算法應用領域和在該領域下的優缺點，以及改進方法的具體步驟與改進后的優勢。最后通過仿真實驗驗證了改進算法的有效性。

關鍵詞：神經網絡；BP神經網絡；BP算法；

DOIDOI：10.11907/rjdk.161429

中圖分類號：TP312

文獻標識碼：A 文章編號：1672-7800（2016）005-0038-03

0 引言

人工神經網絡是一種模擬人腦神經網絡，實現對信息并行處理的數學模型。該網絡具有并行處理信息、容錯性與非線性能力強等優點[1]。神經網絡一般由多個簡單的神經元經過復雜的網絡結構組合在一起，可解決非線性問題。BP神經網絡是神經網絡中應用最為廣泛的算法之一，其結構簡單、易于理解，采用信息的正向傳播和誤差的反向傳播。BP神經網絡的非線性映射能力非常出色，使該網絡可以處理任意的非線性函數。但是傳統BP神經網絡也存在收斂速度慢、穩定性差、具有極小值等缺點，很多學者對其進行了改進，但是大多以犧牲效率為代價。

文獻[2]提出的改進方法是通過學習率自適應來加快收斂速度，雖然改進后的算法可以在速度上得到提高，但并不能解決存在極小值問題；文獻[3]和文獻[4]提出通過尋求最佳學習因子來改變權值，雖然加快了收斂速度，但是也沒有解決極小值問題；文獻[5]提出的改進方法是增加極限學習機，使網絡具有較好的泛化能力，但是降低了收斂速度。

針對以上問題，本文提出動態修正權值和動態增加隱含層層數的改進方法。傳統的BP神經網絡只是誤差的反向傳播，通過誤差來修正各層權值，使網絡更加穩定。本文在此基礎上采用了動態增加隱含層層數的方法，使網絡具有更好的健壯性，并避免了極小值問題。通過改進可以使網絡快速達到穩定狀態，具有較好的收斂效果，避免了傳統神經網絡需要多次修改網絡結構的情況，減少了學習時間。因此，改進后的算法具有較快的收斂速度。

1 BP神經網絡方法

BP神經網絡又稱為誤差反向傳播神經網絡，由輸入層、隱含層、輸出層及各層之間的連接權值組合成功能強大的網絡結構[6]。BP網絡由于其結構特性可以模擬任意非線性輸入輸出關系，操作簡單，因此得到了廣泛應用。其學習規則是最速下降法，通過實際輸出與期望輸出之間的誤差反向傳播，來調整各層連接權值和閾值，使網絡具有更好的健壯性，且網絡的誤差平方和最小。其網絡結構如圖1所示。

2 BP神經網絡方法改進

2.1 傳統BP網絡缺點

傳統網絡結構簡單、應用廣泛，是神經網絡中最受歡迎的應用之一，但其仍然存在一些不足，具體如下：①網絡收斂速度慢；②容易陷入極小值狀態；③泛化能力差。

2.2 BP神經網絡改進

通過對傳統BP算法的分析，本文在誤差反向傳播修改各層權值的基礎上，提出了根據誤差大小動態增加隱含層層數的改進。具體改進方法如下：

（1）初始網絡只選擇單隱含層，并且隱含層的網絡節點個數通以過下的計算公式得到。其中，n表示隱含層節點數，ni表示輸入神經元個數，n0表示輸出神經元個數，a表示1～10之間的常數。

2.3 改進后的優點

改進后的優點包括：①避免了算法易于陷入極小值的情況，使網絡輸出更加穩定；

②可以增加網絡收斂速度，使更快地達到預期結果；

③使網絡具有更廣泛的應用范圍，且泛化能力得到明顯提高。

3 實驗仿真及結果對比

經過2 000組樣本數據實驗對比之后（見表1），發現改進算法的結果比改進前具有明顯優勢，具體分析如下：①改進前迭代次數接近500，而改進后迭代次數不到300，比改進前減少了近一倍。很明顯，改進后的算法可以有效提高神經網絡收斂速度，使網絡可以快速達到預期的輸出值；②經過大量實驗驗證，改進后的算法沒有出現極小值情況，但是改進前的算法在經過800組實驗后出現了一次極小值情況，可見改進算法對于避免網絡收斂極小值比較有效；③據實驗統計，改進前的數據識別率為70%，改進后達到98.3%。可見改進后算法的識別率明顯提高，對樣本有很好的分類，有助于對數據的有效挖掘。

4 結語

本文首先介紹了BP神經網絡的工作原理，分析了傳統網絡的優缺點，并根據存在的部分缺點提出了改進思路，最后通過實驗對比改進前后的一些數據，顯示了改進后的優勢。通過算法的改進，可以明顯地提高網絡精度，使網絡有很好的輸出，對于復雜樣本集具有很好的非線性映射。在今后的應用中，還將發現新的問題并對該算法繼續完善優化。

參考文獻：

[1]劉毅娟.人工神經網絡概述[J].電子測試，2015（6）：74-75.

[2]劉載文，等.過程神經元網絡學習算法及軟測量方法的研究[J].系統仿真學報，2007， 19（70）：1456-1459.

[3]王益群，等.神經網絡軟測量模型中全共軛梯度算法研究[J].機械工程學報，2005， 41（6）： 97-101.

[4]WANG YIQUN， et al.Appraising and improving on the training algorithm of neural network in the soft measurement system of dynamic flow[C].ICFP.HangZhou， China， 2005：102-108.

[5]HUANG GUANG-BIN， CHEN LEI，CHEE-KHEONG SIEW.Universal approximation using incremental constructive feedforwardnet works with random hidden nodes[J].IEEE Transactions on Neural Networks，2006，17（4）：879-892.

[6]樊振宇.BP神經網絡模型與學習算法[J].軟件導刊，2011（7）： 66-68.

[7]尤樹華.基于神經網絡的強化學習研究概述[J].電腦知識與技術，2012（10）：6782-6786.

[8]劉毅娟.人工神經網絡概述[D].唐山：華北理工大學，2015.

[9]武美先.BP神經網絡及其改進[D].太原：太原科技大學，2005.

（責任編輯：黃 健）

Abstract：For the disadvantages that traditional BP neural network is slow convergence speed and easily trapped in local minima shortcomings， the article analyzes it through the experiment and puts forward improved method that can improve the quickness and the effectiveness of algorithm.This paper systematically introduces the working principle and the basic process of BP neural network ， application field of the algorithm and the advantages and disadvantages under it，finally validates the effectiveness of the improved algorithm through the simulation experiment.

Key Words： Neural Network；BP Algorithm；Classification； Prediction