利用影響因子遺傳算法優化前饋神經網絡

摘要：提出了一種帶有影響因子的改進遺傳算法并以此來優化前饋神經網絡。染色體的每個基因都有一個影響因子，其不同取值體現了基因對整條染色體的不同影響程度。在遺傳進化過程中，通過影響因子等遺傳操作以達到對前饋神經網絡的權值、閾值和結構優化的目的。仿真實驗表明，該算法能夠快速地確定神經網絡的結構并且有效地提高了神經網絡的收斂速度。

關鍵詞：影響因子； 改進遺傳算法； 前饋神經網絡； 優化設計

中圖分類號：TP183文獻標志碼：A

文章編號：1001-3695(2007)11-0103-03

近年來神經網絡（neural network，NN）發展迅速，在經濟、軍事、工業生產和生物醫學等領域得到廣泛應用，并產生了深遠的影響。其中應用最為廣泛的是前饋神經網絡。神經網絡具有很強的自適應、自組織、自學習的能力以及大規模并行運算的能力。但在實際應用中，神經網絡也暴露了一些自身固有的缺陷：權值的初始化是隨機的，易陷入局部極小；學習過程中隱含層的節點數目和其他參數的選擇只能根據經驗和實驗來選擇；收斂時間過長、魯棒性差等。

由美國密歇根大學John H.Holland教授及其學生首次提出的遺傳算法（genetic algorithm，GA)是一種高效的并行全局搜索算法[1]。該算法具有很好的魯棒性，適用于并行處理；具有良好的全局搜索性能，減少了陷入局部最優解的風險。遺傳算法的這些優點恰好彌補了傳統神經網絡的缺點，因此可以采用遺傳算法來優化神經網絡。

使用遺傳算法優化神經網絡已經有很多成功的實例[2]。目前使用遺傳算法優化神經網絡的方法通常分為三大類：用遺傳算法來確定結構已定的神經網絡，用于解決各連接權的權值及各節點的閾值優化問題[3]；用遺傳算法來確定神經網絡的結構，然后用BP學習算法訓練權閾值[4]；用遺傳算法同時確定神經網絡的結構及其權閾值[5]。本文采用的方法屬于第三類，確定神經網絡結構的同時優化權閾值。

由表1可得：改進遺傳算法優化的前饋神經網絡以較少的迭代步數達到的精度遠遠優于BP神經網絡經過大量迭代后達到的精度；改進遺傳算法優化的前饋神經網絡與標準遺傳算法訓練的神經網絡相比，在相同的迭代步數下收斂速度要快得多。

在優化神經網絡權閾值的同時，優化神經網絡的結構是帶有影響因子改進遺傳算法的重要特點。用帶有影響因子改進遺傳算法訓練上述三層前饋神經網絡的10次實驗中，第7次實驗得到的結果最好，該次實驗得到的網絡結構如圖3所示。由圖可知，隱層節點數由七個變為五個，連接權的數目也有所減少。這充分體現了帶有影響因子的改進遺傳算法在神經網絡結構優化方面的優越性。

綜上所述，無論是在收斂速度方面還是對樣本數據的逼近精度方面，帶有影響因子的改進遺傳算法訓練后的神經網絡的性能都明顯優于BP神經網絡和標準遺傳算法訓練后的神經網絡。

2結束語

本文在標準遺傳算法的基礎上提出了一種帶有影響因子的改進遺傳算法。該算法可以通過影響因子在進化過程中的不斷變化來優化神經網絡的權閾值及結構。在邏輯函數上的實驗表明，該算法不僅可以快速有效地確定神經網絡的結構與權閾值，而且具有較快的收斂速度。

帶有影響因子改進遺傳算法在神經網絡結構優化方面，不能自動地調整神經網絡的層數，這是改進遺傳算法在神經網絡結構優化方面的一個局限性。在今后的研究中，將綜合考慮遺傳算法的各種特性，進一步研究影響因子的各種遺傳操作，從而找到一種在對神經網絡權閾值優化的基礎上能對神經網絡的結構進行全面優化設計的方案。

參考文獻：

［1］HOLLAND J H.Adaptation in natural and artificial systems:an introductory analysis with applications to biology，control，and artificial intelligence[M].2nd ed. Cambridge，MA:MIT Press，1992.

［2］文紹純，羅飛，付連續.遺傳算法在人工神經網絡中的應用綜述[J].計算技術與自動化，2001，20(2):1-5.

［3］LING S H， LAM H K，LEUNG F H F.A variableparameter neural network trained by improved genetic algorithm and its application[C]//Proc of International Joint Conference on Neural Networks.Montreal:[s.n.]，2005:13431348.

［4］楊會志.基于互補遺傳算子的前饋神經網絡三階段學習方法[J].計算機工程與應用，2005，41(17):88-89.

［5］LEUNG F H F， LAM H K， LING S H，et al.Turning of the structure and parameters of a neural network using an improved genetic algorithm[J].IEEE Transactions on Neural Networks，2003，14(1):79-88.

［6］GARY G Y，LU Haiming.Hierarchical genetic algorithm based neural network design[C]//Proc of the 1st IEEE Symp Combination of Evolutionary Computation and Neural Network.2000:168175.

［7］飛思科技產品研發中心.神經網絡理論與MATLAB 7實現[M].北京：電子工業出版社，2005:89115.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”