基于遺傳算法的優化BP神經網絡算法研究

王軍濤

【摘 要】論文結合遺傳算法和BP神經網絡的有關概念，對BP神經網絡算法的優化進行了研究，同時結合實例對算法的有效性進行了驗證。

【Abstract】Based on the concepts of genetic algorithm and BP neural network，the paper studies the optimization of BP neural network algorithm， and the effectiveness of the algorithm is verified by an example.

【關鍵詞】遺傳算法；BP神經網絡；優化算法

【Keywords】genetic algorithm； BP neural network； algorithm optimization

【中圖分類號】TPl83 【文獻標志碼】A 【文章編號】1673-1069（2017）04-0135-02

1 引言

神經網絡是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型，憑借著復雜的系統結構，通過對系統內部節點連接關系的調節，實現對信息的高效處理。作為技術最為成熟的神經網絡模擬，BP神經網絡具有良好的自學習、自適應以及泛化能力，在許多領域中都有著廣泛的應用。而針對BP神經網絡在應用環節存在的問題，需要采取相應的優化算法，提升神經網絡的收斂速度和處理能力。

2 遺傳算法與BP神經網絡

遺傳算法遵循的是生物界中適者生存的法則，其基本原理，是指將問題參數進行編碼，形成染色體，通過迭代的方式，運用選擇、變異、交叉等運算，對種群中染色體的信息進行交換，繼而形成能夠滿足優化目標的染色體。

BP（Back Propagation）神經網絡最初產生于1986年，屬于一種依照誤差逆傳播算法訓練的多層前饋網絡，也是當前技術條件下應用最為廣泛的神經網絡模型之一，其可以對輸入-輸出模式的映射關系進行學習和存儲，同時不需要對能夠揭示這些映射關系的方程進行描述。神經網絡具備自適應和自組織能力，在進行學習和訓練的過程中，可以通過改變突觸權重值的方式，更好地適應周邊環境的變化。在同一個神經網絡中，如果內容不同，學習方式不同，則會產生不同的功能。人工神經網絡從本質上看，更加接近具備自主學習能力的系統，可以通過不斷的學習，超出最初設計的知識水平。在人工神經網絡中，比較常見的學習方法有兩種，一是有監督的學習，可以結合標準樣本，進行分類或者模仿，二是無監督的學習，在制定相應的學習規則后，系統會根據自身所處環境，進行學習內容的分析和選擇，更加接近人腦的功能特點。

3 基于遺傳算法的優化BP神經網絡算法

3.1 算法基本原理

①BP算法。BP神經網絡算法主要包括了數據流的前向計算和誤差信號的反向傳播兩個方面的內容，結合三層BP神經網絡的拓撲結構，假定x為網絡輸入，y為結果輸出，當處于正向傳播過程時，數據的傳輸為輸入層→隱層→輸出層，每一層神經元的狀態僅僅會影響下一層神經元，而如果輸出層無法獲得期望輸出，則會自動轉向誤差信號的反向傳播流程。在BP神經網絡中，網絡的訓練實際上是對閾值和權值進行調整的過程，當網絡誤差縮小到設定值，或者訓練步數達到設定步數時，會自動停止訓練。

②遺傳算法。遺傳算法可以從代表問題可能潛在解集的種群開始，種群中的每一個染色體都帶有相應的特征，染色體可以看作若干基因的集合，為了便于分析，需要做好編碼，完成從表現型到基因型的映射。在演化過程中，依照問題域中存在的個體的適應度，進行個體的挑選和交叉，然后變異出新的解集種群。選擇末代種群中的最優個體進行解碼，就可以得到問題的近似最優解。

3.2 優化BP算法

BP神經網絡算法具有極強的局部尋優能力，但是容易陷入局部極小的問題，遺傳算法具有良好的全局優化性和自適應性，但是局部尋優能力不足。對此，可以將遺傳算法與BP算法結合起來，實現對于網絡拓撲結構和網絡權值、網絡閾值的優化。

①權值優化。在傳統的BP網絡中，連接權值的學習算法容易陷入局部極小，無法得到全局最優。對此，可以引入遺傳算法代替傳統的學習方法，對神經網絡的權值進行優化。在這個過程中，需要解決幾個比較關鍵的問題，一是編碼方案，可供選擇的權值編碼方式包括實數編碼和二級制編碼，前者是以實數表示權值，非常直觀，不過需要對遺傳算子進行重新設計，后者是利用0，1字符串表示權值；二是適應度函數，引入遺傳算法后，網絡的機構以確定，在這種情況下，網絡的誤差越大，適應度越小；三是進化過程，主要是對選擇、交叉、變異算子的選擇，如果必要，也可以重新設計；四是混合訓練神經網絡，遺傳算法能夠在大規模、復雜性的空間中實現可靠搜索，而且不需要有關誤差函數梯度的信息，優勢相當明顯。可以通過在誤差函數中增加懲罰項的方式，降低網絡的復雜程度。

②權值和結構同時優化。BP神經網絡連接權的進化，要求明確的網絡結構，網絡結構直接影響著神經網絡本身對于信息的處理能力。神經網路的結構包括了網絡連接方式（拓撲結構）和節點轉換函數，完善的結構不僅需要能夠對問題進行有效解決，還不能存在冗余節點和冗余連接。伴隨著進化算法的應用，網絡設計在很多時候被看作搜索問題，評價的標準包括了抗噪性、學習準確率以及泛化能力等。結構進化的關鍵體現在結構編碼和算子設計，而結構編碼方案則會影響算子設計的效果。以三層前饋型BP網絡為例，其輸入層和輸出層節點的數量已經確定，優化算法需要重點研究隱含層的節點數量。考慮到問題本身的復雜性，二進制編碼的方法并不適用，因此選擇實數編碼，在隱含層節點增加二級制編碼作為控制基因，通過隨機函數產生。當控制基因的數值為0時，對應的隱含層節點對輸出層無用，而當控制基因的數值為1時，隱含層節點對輸出層作用。需要注意的一點，當選擇實數編碼方案時，為了明確編碼的長度，需要確定隱層的最大神經元數目。

4 仿真試驗

結合已知數據，對某地區小麥吸漿蟲的發生程度進行預測。對問題進行深入分析，可以轉化為相應的輸入輸出系統，可以通過神經網絡進行表達。現有的研究成果表明，小麥吸漿蟲的發生與氣候因素關系密切，因此可以利用氣象因子對問題進行分析。選擇2000年到2015年的氣象數據，設置40個研究樣本，以x1-x14表示需要處理的原始數據（氣象因子），Y表示小麥吸漿蟲的發生程度。從減小誤差的角度，對原始數據進行預處理。以優化后的BP算法進行神經網絡訓練，結合訓練結果進行MATLAB仿真。在仿真試驗中，需要做好一些關鍵參數額的設置，遺傳算法和BP算法的最大代數分別為100，BP算法均方誤差為0.001，會激活函數為雙曲正切S型，線性輸出層，學習算法被設置為經過改進的自適應學習率的梯度下降學習算法。

設定14作為隱層神經元的上限，由于編碼長度固定且迭代代數一定，在所有的試驗中，遺傳算法的復雜度都是相同的。結合仿真試驗分析，隱含神經元的最優數目為5、6、7，與傳統方法得到的結果基本一致。相比較而言，利用遺傳算法同時進行結構和權值的優化，最為顯著的優勢在于能夠對隱層神經元的數目進行自適應確定，減少嘗試的次數，提升計算效率。

而結合相應的訓練結果分析，利用遺傳算法進行BP神經網絡連接權值的優化，相比較傳統算法更加有效，不過同樣需要進行網絡結構的嘗試，換言之就是選擇合適的隱層神經元數目。不僅如此，利用遺傳算法同時對神經網絡的權值和結構進行優化，智能型更強，可能找到合適的初始權值和優秀的網絡結構，不過，如果數據煩瑣，搜索的速度會變慢。

5 結語

總而言之，基于遺傳算法進行BP神經網絡算法的優化，可以充分發揮遺傳算法對于全局搜索的高效性和高魯棒性，在實際應用中效果顯著。當遺傳算法將網絡全局優化到一定程度后，可以利用BP算法進行微調，加快網絡收斂速度，減少訓練失敗問題。