改進的遺傳算法在神經網絡結構優化中的應用

吳永明，吳 晟

（昆明理工大學 信息工程與自動化學院，云南 昆明 650051）

改進的遺傳算法在神經網絡結構優化中的應用

吳永明，吳 晟

（昆明理工大學 信息工程與自動化學院，云南 昆明 650051）

為了解決人工神經網絡隱層節點數目難以確定的問題，針對三層BP神經網絡提出了一種最大上限隱層節點數模型，并用改進的遺傳算法對其優化。最后，將優化的神經網絡對語音特征信號進行分類。仿真結果表明優化后的神經網絡具有很好的泛化能力，驗證了該方法的有效性。

遺傳算法；神經網絡；結構優化

人工神經網絡[1]（ANN）和遺傳算法[2]（GA）都是將生物學原理運用到智能計算研究中。人工神經網絡是對人腦和動物神經的若干特點的人工模擬[3]，具有一個隱含層的神經網絡就能逼近任意復雜的連續函數[4]。但在實際運用中，隱含層的節點數目、初始的權值或閾值的確定都依賴于使用者的經驗[5-6]，隱含層的節點數太少，擬合的精度很難達到要求，反之，則可能出現過擬合現象，從而增加了訓練的時間。遺傳算法是從自然界生物的進化中得到啟示，利用遺傳算子進行全局搜索尋優。因此，利用遺傳算法優化神經網絡結構具有十分重要的意義。由于神經網絡的初始化具有很大的隨機性，輸入和輸出節點數一般根據具體問題而定，即便有確定的隱層節點數目，針對同一問題，得出的結論也可能不同。這是因為建立網絡時，初始的權值或閾值都是系統隨機分配的。近年來，許多研究者對神經網絡的研究都是在隨機性的基礎上，這樣就沒有一個共同的初始權值和閾值的標準，參考文獻[7]中提出用混合編碼來優化神經網絡結構，雖然同一起始權值或閾值條件得到了保證，但是對于高維輸入的編碼太長，不利于遺傳優化計算。例如，輸入、隱層、輸出的節點數分別為 24、30、4，不加入閾值只對權值進行編碼，編碼的長度就達到了近千位。

為了統一起始權值和閾值標準，使節點數優劣的比較都局限在一個框架下，克服編碼長度過長等問題，本文首先確定一個隱層節點數的上限，以隱層節點數上限建立一個初始網絡，一旦網絡初始化，網絡節點數、權值、閾值被唯一確定在這個模型范圍內，利用遺傳算法在同一框架下優化后得到最優網絡結構。

1 BP神經網絡隱層節點的估計

在大量的BP應用實例中，對于三層的BP神經網絡，輸入和輸出節點數目一般按照具體的情況而定，而隱層節點數目沒有明確的理論依據[8]，大多數BP網絡中隱層節點數的確定仍采用試湊的方式。根據Kolmogorov定理，最佳的隱層節點可以參考式（1）：

其中，l為隱層節點數，m為輸入層節點數，n為輸出層節點數，a為0～10之間的常數。在實際問題中，隱含層節點數的選擇首先是參考公式來確定節點數的大概范圍。為了使最佳隱層節點數落在模型的范圍內，本文的思想是將這個范圍適當擴大（即隱層節點數的上限）。在后面的仿真中，輸入節點數為24，輸出節點數為4，由式（1）得出l＜6+10=16。為了得出最好的測試效果，l取上限取值為30建立神經網絡，然后用改進的遺傳算法對其優化。

2 遺傳算法優化BP神經網絡的基本框架

遺傳算法[9]是基于自然選擇和生物進化的全局優化方法，通常由選擇、交叉和變異三種基本操作組成。遺傳算法優化BP神經網絡的具體步驟如下：

（1）建立一個上限隱層節點數的BP神經網絡，將網絡的隱含層節點數用一個二進制字符串進行編碼，用遺傳算法求得最優隱層節點數目以及相應的節點在網絡模型中的位置，提取相應的權值和閾值。

（2）將提取得到的最優節點數對應的權值和閾值建立BP神經網絡，通過訓練滿足要求后得到最優的BP神經網絡結構。遺傳算法優化BP神經網絡的算法流程如圖1所示。

3 遺傳算法的改進

3.1 編碼與初始種群的產生

（1）編碼。為了在確定的BP模型中找到最優的結構，本文采用二進制符號串d1d2…di…dn對神經網絡的隱層節點編碼，其中n為隱層節點數上限，di=1時表示該節點有效，di=0時表示該節點無效，如圖2所示。設隱層上限節點數為4的BP網絡，當編碼為1011時，表明在網絡中選擇了第1、3、4個節點，即建立了含有隱層節點數目為3的BP神經網絡，同時被選中的節點有關的權值或閾值有效。

（2）初始種群的產生。為避免隨機方式產生初始個體在解空間上分布出現不均衡性，使搜索具有更高的全局性，本文采用式（2）產生初始種群：

其中，xi表示產生的第 i個個體中 1的個數，xL、xU分別表示個體中1的個數的下界和上界，m表示種群的大小，這樣編碼的好處在于：搜索過程中最優個體很容易被搜索到。

3.2 適應度函數

設種群的規模為m，即有m個個體，在遺傳算法的每一代中，對每個個體譯碼提取相應的初始權值和閾值建立BP神經網絡，輸入N個樣本對網絡進行訓練，設第 k個樣本的實際輸出和期望輸出分別為：yk和 vk，k=1，2，3…N，均方誤差 Ei的倒數作為適應度函數：

故個體函數的適應度fi可以定義為：

3.3 選擇與交叉

進行選擇操作時，按照適應度值的大小，采用輪盤賭算法進行選擇，然后用父代中最優個體代替選擇后的最差的個體，這樣在每一代中都保留了上一代的最優個體，確保經過遺傳運算得到的下一代最優個體的適用度不低于父代中最優個體的適用度，能避免進化過程中的振蕩現象，同時也加快了搜索速度。交叉操作中，本文采用單點交叉方式，自適應動態交叉率，保留最優個體不進行交叉，并且回避適應度相近個體交叉。假設當代的平均適應度為favg，交叉的兩個個體的適應度分別為ffirst、fsecond，設置交叉率的范圍為 0.5～1，動態自適應交叉率采用式（5）：

3.4 變異

在本算法中，為了使最優個體得到保護，將最優個體復制直接進入下一代。設總的遺傳代數為M，連續出現N代沒有產生新的最優個體，對變異率的改進如式（6）：

其中，a、b是很小的常數，可以根據具體情況調節 a、b的大小，N值越大，變異概率會增加，縮短了找到最優個體的時間。變異得到最優個體后，通過適應度函數計算出新的適應度值，對新的個體進行下一輪的選擇、交叉和變異，直到找到最優解或者次優解。

4 實驗仿真

本文將改進的遺傳算法運用在語音信號特征分類中，并與沒有經過優化的網絡進行比較。本實驗選取了民歌、古箏、搖滾和流行四種不同的音樂，每類音樂都用倒譜系數法提取500組24維語音特征信號，提取的語音特征信號如圖3所示。

按第1節中隱層節點的估計，本實驗隱層節點數的上限設置為 30，輸入、輸出節點數分別為 24和 4，遺傳種群規模設為20，編碼長度為30，遺傳進化次數為100。每類語音信號有500組數據，樣本總數為2 000，隨機抽取1 500組數據用作網絡訓練，剩下的500組作為測試數據，對實驗數據歸一化后實驗，遺傳算法優化過程中最佳適應度以及平均適應度值的變化如圖4所示。

用改進的遺傳算法對上限BP神經網絡優化后，得到的最佳隱層節點數為12，經過訓練后的BP神經網絡對語音特征信號測試數據進行分類，先分別將民歌、古箏、搖滾、流行音樂編號為 1、2、3、4類，將預測的輸出結果與期望分類編號比較（有負值的情況），得出分類誤差如圖5所示。

為了比較用遺傳算法優化的神經網絡與沒有優化神經網絡的性能，隨機地從模型中選擇隱層節點數為10、15、20、25、30 與節點數為 12 的 BP 神經網絡的進行比較，初始的權值和閾值仍然來源于本實驗中建立的上限隱層節點數BP神經網絡，分類正確率如表1所示。

表1 不同隱層節點數正確識別率的比較

從表1的數據可以看出，在同一個上限隱層節點數的BP神經網絡模型中，古箏的識別正確率都達到了100%，但優化后得出的隱層節點數目為12的BP神經網絡的平均正確識別率高達93.3%，明顯好于沒有經過優化的網絡，并且每一類的正確率比較均衡。

針對BP神經網絡隱層節點數很難確定的問題，本文根據實際的問題建立了上限隱層節點數的BP神經網絡，克服了每次建立BP神經網絡分配權值和閾值的隨機性，使評判的標準都統一在建立好的上限隱層節點數的BP網絡模型范圍內，并利用改進的遺傳算法優化網絡結構，最終找到網絡結構的最優解或者次優解。該算法為選擇隱層節點數提供了一種具有指導意義的方法，獲得了更加合理的網絡結構，運用到實際分類過程中也取得了較好的效果。

[1]TAKAHAMA S S.Structural learning of neural networks[J].IEEE International Conference on Systems. Man and Cybernetics.2004，12（1）：3507-3512.

[2]ZHOU Ming.Genetic algorithms：theory and application[M].Beijing：National Defence Industry Press，2001.

[3]ROVITHAKIS G A，CHALKIADAKIS I，ZERVAJIS M E.High-order neural network structure selection using genetic algorithms[J]. IEEE Transactions on Systems，Man and Cybernetics，2004，34（1）：150-158.

[4]HOMIK K M，STINCHCOMBE M. Multilayer feedforward networks are universal approximators[J].Neural Networks，1989，2（2）：359-366.

[5]KURKOVA V，KAINEN P C，KREINOVICH V.Estimates of the number of hidden units and variation with respect to halfspace[J].Neural Networks，1997，10（6）：1068-1078.

[6]MAIOROV V，MEIR R S.Approximation bounds for smooth functions in C（Rd）by neural and mixture networks[J].IEEE Transactions on Neural Networks，1998，9（5）：969-978.

[7]張偉棟，葉貞成，錢鋒.基于混合編碼的遺傳算法在神經網絡優化中的應用[J].華東理工大學學報，2008，34（1）：108-111.

[8]王建軍，徐宗本.多元多項式函數的三層前向神經網絡逼近方法[J].計算機學報，2009，32（12）：248-2488.

[9]范睿，李國斌，景韶光.基于實數編碼遺傳算法的混合神經網絡算法[J].計算機仿真，2006，23（1）：161-164.

Application of structural optimization of artificial neural network based on improved genetic algorithm

Wu Yongming，Wu Sheng

（School of Information Engineering and Automation，Kunming University of Science and Technology，Kunming 650051，China）

It is difficult to determine the number of hidden layer of BP artificial neural network.In order to solve the problem，a maximum number of hidden nodes model is proposed in this paper for three layers BP neural network，and optimized by using improved genetic algorithm.Finally，The voice signature is classified by using optimized BP neural network.The results show the effectiveness of the algorithm.

genetic algorithm；neural network；structural optimization

TP305

A

1674-7720（2011）03-0079-03

2010-09-08）

吳永明，男，1982年生，碩士，主要研究方向：網絡擁塞控制，人工智能。

吳晟，男，1960年生，教授，主要研究方向：人工智能，計算機網絡，數據挖掘等。