混合粒子群優化算法優化前向神經網絡結構和參數

摘要：提出了綜合利用粒子群優化算法(PSO)和離散粒子群優化算法(D－PSO)同時優化前向神經網絡結構和參數的新方法。該算法使用離散粒子群優化算法優化神經網絡連接結構，用多維空間中0或1取值的粒子來描述所有可能的神經網絡連接，同時使用粒子群優化算法優化神經網絡權值。將經過該算法訓練的神經網絡應用于故障診斷，能夠有效消除冗余連接結構對網絡診斷能力的影響。仿真試驗的結果表明，相比遺傳算法等其他算法，該算法能夠有效改善神經網絡結構和參數的優化效率，提高故障模式識別的準確率。

關鍵詞：粒子群優化； 神經網絡； 故障診斷； 遺傳算法

中圖分類號：TP183文獻標志碼：A

文章編號：1001-3695(2007)12-0091-03

神經網絡具有模式識別、函數逼近、優化和聯想記憶等性能，因此廣泛流行于研究領域和應用領域。設計一個神經網絡主要有兩個方面的工作:選擇合適的神經網絡結構；調整神經網絡的各參數使網絡輸出達到特定的精度要求。對于多層前向網絡，太大的網絡結構容易造成歸納性差；太小的網絡結構則造成學習能力低。因此，能同時有效優化神經網絡結構和權重等參數的方法正成為研究的熱點。

目前應用遺傳算法訓練神經網絡的權重和拓撲結構方面的研究已經有很多成功的實例。通過對神經網絡種群進行一系列模擬生物進化的遺傳操作，可以獲得結構優化的神經網絡。但是，遺傳算法復雜的遺傳操作如選擇、復制、交叉、變異使神經網絡的訓練時間隨問題的規模及復雜程度呈指數級增長^[1]。而且，由于缺乏有效的局部區域搜索機制，算法在接近最優解時收斂緩慢甚至出現收斂停滯現象。

粒子群優化算法是一種基于群智能的進化計算技術。其速度—位移搜索模型操作簡單、計算復雜度低，既能以較大的概率保證最優解，又可以提高局部區域的收斂速度^[2]。目前PSO已廣泛應用于函數優化、神經網絡訓練、模糊系統控制及其他遺傳算法等領域^[3~7]。基本粒子群算法是應用于連續優化問題的，然而許多實際的工程難題均描述為組合優化問題，所以Kennedy和Eberhart提出了一種二進制離散粒子群算法(D－PSO)^[8]。

由表1可知，本文算法對結構的優化提高了神經網絡的故障模式識別能力，表明刪除的網絡連接為冗余連接，同時也驗證了冗余連接對神經網絡性能的影響。由實驗結果還可以看出，本文算法與遺傳算法相比，訓練效率得到了較大提高，在訓練時間接近時，網絡的診斷能力顯著增強；若達到同樣誤差目標，采用粒子群優化算法收斂所需的訓練迭代次數明顯降低。由此可見，本文算法不僅使訓練的收斂速度大大提高，且其訓練的神經網絡性能也得到了增強。需要指出，盡管對結構的優化增加了本文算法訓練階段的復雜度，但是經過連接結構優化的神經網絡在實際應用中信息處理效率得到提高。經過連接結構優化的神經網絡尤其適合大規模數據的實時處理。

4結束語

針對神經網絡中的冗余連接不僅會降低神經網絡的處理速度，而且大量的冗余連接甚至會影響神經網絡性能的情況，本文提出了綜合利用粒子群優化算法和離散粒子群優化算法同時優化前向神經網絡結構和參數的新方法。該算法在訓練神經網絡權值的同時刪除其冗余連接，實現連接結構的優化。在旋轉機械故障診斷神經網絡上的試驗數據表明，這種方法不但能夠有效地優化神經網絡的結構，而且還能提高訓練效率。與訓練全連接結構權值的PSO相比，算法在保證分類正確率的同時減少了連接數目；與BP及遺傳算法相比，在提高分類誤差精度的同時加快了訓練收斂速度。

參考文獻：

[1]YANG J M， KAO C Y. A robust evolutionary algorithm for training neural networks[J]. Neural Computing and Application， 2001， 10(3):214-230.

[2]KENNEDY J， EBERHART R C. Particle swarm optimization[C]//Proc of IEEE International Conference on Neural Networks. Piscataway:IEEE Press， 1995: 1942-1948.

[3]VOSS M S， FENG Xin. Arma model selection using particle swarm optimization and AIC criterial[C]//Proc of the 15th Triennial World Congress. Barcelona， Spain:IFAC， 2002.

[4]PARSOPOULOS K E， VRAHATIS M N. Particle swarm optimization method in multiobjective problems[C]//Proc of ACM Symposium on Applied Computing. New York:ACM Press，2002.

[5]BERGHF van den，ENGELBRECHT A P. Cooperative learning in neural networks using particle swarm optimizers[J].South African Computer Journal，2000， 26:84-90.

[6]PARSOPOULOS K E， VRAHATIS M N. Recent approaches to global optimization problems through particle swarm optimization[J].Natural Computing， 2002，1(2-3): 235-306.

[7]OURIQUE C O， BISCAIA E C， PINTO J J C. The use of particle swarm optimization for dynamical analysis in chemical processes[J].Computers and Chemical Engineering， 2002， 26: 1783-1793.

[8]KENNEDY J， EBERHART R C. A discrete binary version of the particle swarm algorithm[C]//Procof Conf on Systems， Man， and Cybernetics. Piscataway: IEEE Press， 1997: 4104-4108.

[9]EBERHART R C， SHI Y. Comparing inertia weights and constriction factors in particle swarm optimization[C]//Proc of Congress on Evolutionary Computing. Piscataway: IEEE Press， 2000: 84-89.

[10]STACEY A，JANCIC M， GRUNDY I. Particle swarm optimization with mutation[J].Evolutionary Computation，2003(2):1425-1430.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”