一種新的基于灰色關聯分析的BP神經網絡剪枝算法

摘 要：利用灰色關聯分析方法，為BP神經網絡結構約簡提出了一種新的剪枝算法，該算法通過剪枝和并枝兩個階段實現BP網絡結構的優化，提高了網絡的數值效能。最后，通過數值實驗驗證了該算法的合理性和有效性。

關鍵詞：神經網絡；網絡結構優化；灰色關聯度分析；剪枝算法

4 實例建模

4.1 分類實例——XOR問題

XOR問題就是如何用神經網絡實現異或邏輯關系，即Y=A·XOR·B。對于這個問題用單個神經元模型無法解決，因為該問題是線性不可分的，對于兩維輸入空間，神經元的作用可以理解為對輸入空間進行一條直線劃分。

多層神經網絡可以解決這個問題，因為多層網絡引入了中間隱含層，每個隱含神經元可以按不同的方法來劃分輸入空間抽取輸入空間中包含的某些特征，從而形成更為復雜的分類區域。理論上已經證明三層神經網絡足以解決任意復雜分類問題。

我們考慮用BP神經網絡實現XOR問題，初步建立一個隱含層為30個神經元的網絡結構，再運用前文灰色關聯度分析的方法進行網絡剪枝，以實現最簡網絡的XOR問題。

XOR問題的樣本有四個，即他們的輸入為x=■；對應的輸出為：y=[0101]；輸入是2維向量，用2個神經元作為輸入層，網絡輸出是1維向量，用1個神經元作為輸出層，對于這個問題，在BP神經網絡隱含層節點個數未知的情況下，先取30個節點，經過簡單的訓練后得到網絡結構，再利用灰色關聯分析優化網絡結構。

初始結構：2-30-1，神經元的傳遞函數取tin sig函數，BP網絡的訓練函數取tan sig；設定網絡的訓練參數如下：目標誤差為1e-4； 最大迭代步數為5000步；其余為系統默認值。

灰色關聯計算時選取的分辨系數為？籽=0.4；額定灰色關聯度為？著=0.55，最大剪枝次數為5，考慮到沒進行一次剪枝和并枝操作，網絡訓練較好，各神經元間的聯系更加緊密，故每進行一次剪枝和并枝過程，額定灰色關聯度累加一次即？著=？著+0.05；

由表1-3可知，在程序運行過程中，原BP神經網絡的結構首先調整為2-15-1，此時被刪除的節點是E=2，5，6，7，9，10，16，17，20，21，

22，23，24，25，29共15個，在此基礎上繼續對網絡進行訓練學習，第二次刪除的節點是E=14，26，27，28，30共4個，此時的網絡結構調整為2-10-1，依次過程第五次網絡達到穩定，得到BP網的最優化結構為2-3-1，具體每次調整過程對應的縱向節點和橫向節點以及關聯度如表1-2所示（省略前兩次調整過程）。

每次剪枝完后網絡的輸出值是比較可觀的，誤差也是接近我們的目標誤差，精度很高，足見雖然每次減少了隱含層神經節的個數，但網絡訓練不受影響，也證實了剪枝算法的合理性，如表3所示。

4.2 函數逼近實例——Y=sin（X）

我們考慮用BP神經網絡實現函數逼近問題，初步建立一個隱含層為30個神經元的網絡結構，進行網絡剪枝運用前文灰色關聯度分析的方法，以實現最簡網絡的Y=sin（X）函數逼近問題。

我們選取100個樣本，隱含層節點數為30，輸入和輸出都是一維的。選取Y=sin（X）為逼近函數，輸入從0.01？仔到0.02？仔，增長率為0.02？仔。最大訓練次數為5000，學習速率為0.005，目標誤差為1e-3。

灰色關聯計算時選取的分辨系數為？籽=0.5；額定灰色關聯度為？著=0.50，最大剪枝次數為5，考慮到沒進行一次剪枝和并枝操作，網絡訓練較好，各神經元間的聯系更加緊密，故每進行一次剪枝和并枝過程，額定灰色關聯度累加一次即？著=？著+0.05；

通過調節權值和閾值，網絡達到穩定后，進行剪枝操作，第一次剪枝節點為E=12，13，21，25，27第二次剪枝節點為E=2，5，6，7，11，

16，22，30第三次剪枝節點為E=10，14，26，28，最終隱層節點為7個。函數逼近結果如圖1所示。由圖可知，大體符合函數逼近的趨勢，逼近效果較好。

5 結束語

文章通過分析了幾類前饋神經網絡縱向和橫向信息的傳輸特點，采用灰色關聯分析方法，通過剪枝和并枝過程來設計一種以BP算法為例的剪枝算法，數值試驗結果表明這種方法非常有效，同時也對前饋神經網絡的結構優化提供了一種新的學習算法。

參考文獻

[1]馮知凡.基于圖像處理及BP神經網絡的車牌識別技術的研究[D].武漢科技大學，2011.

[2]楊晟院，高協平.基于面向對象BP算法的灰度位圖圖像處理[J].計算機工程與應用，2003，33：103-105.

[3]周凌翱.改進BP神經網絡在模式識別中的應用及研究[D].南京理工大學，2010.

[4]張宇.基于BP神經網絡匯率預測的智能交易系統[D].安徽大學，2011.

[5]李聰.基于BP神經網絡的股票指數期貨價格預測[D].青島大學，2012.

[6]黃慶斌.BP算法的改進及其應用研究[D].西南交通大學，2010.

[7]李曉峰，徐玖平，王蔭清，賀昌政.BP人工神經網絡自適應學習算法的建立及其應用[J].系統工程理論與實踐，2004，05：1-8.

[8]黃麗.BP神經網絡算法改進及應用研究[D].重慶師范大學，2008.

[9]陳小前，羅世彬，王振國，陶玉靜.BP神經網絡應用中的前后處理過程研究[J].系統工程理論與實踐，2002，1：65-70+88.

[10]熊焱，吳微，張超，亢喜岱.基于灰色關聯分析的高階神經網絡剪枝算法[J].大連理工大學學報，2010，3：463-468.

[11]唐萬梅.BP神經網絡網絡結構優化問題的研究[J].系統工程理論與實踐，2005，10：95-100.

作者簡介：趙蓉（1992-），女，籍貫：湖南省岳陽市，學歷：本科，研究方向：算法優化。