典型前饋神經網絡的研究現狀與分析

嚴濤 李同彬 陳德禮 聞輝

摘 要：本文以典型前饋神經網絡中的BP神經網絡、RBF網絡與ELM網絡為代表，介紹了幾種網絡的特點及研究現狀，分析了幾種網絡今后的研究方向。

關鍵詞：反向傳播網絡;徑向基函數網絡;極限學習機網絡;前饋神經網絡

當前，用于分類的神經網絡算法及模型已經廣泛應用于科學、工業和醫學等不同領域中。按照根據神經網絡的拓撲結構劃分，可以分為前饋型神經網絡和反饋型神經網絡。其中前饋型神經網絡因其結構簡單，方便實現，且計算量相對較少等優點，成為目前研究最為廣泛的神經網絡。本文主要以典型淺層神經網絡中的反向傳播（BP）網絡、徑向基函數（RBF）網絡與極限學習機（ELM）網絡來展開，以介紹幾種網絡模型的特性及研究現狀。

1 典型淺層前饋神經網絡研究現狀

從理論上而言，含有單隱層的前饋神經網絡能以任意精度逼近給定的連續函數。但是在實際中，由于不同的非線性問題的復雜性以及所使用的網絡模型自身的特點，很多情況下往往很難達到所期望的逼近精度。以BP神經網絡為例，BP網絡隱節點使用的核函數為sigmoid核，采用統一的核參數，優點是泛化性能較好，但是核映射的穩定性較差。典型的BP算法采用基于誤差反向傳播的梯度下降方法來迭代更新網絡權值，由此使得網絡的輸出誤差平方和達到最小。整個學習過程的構成是通過給定的訓練樣本多次呈現給網絡，以進行各層權值不斷更新學習。BP神經網絡的主要缺點在于收斂速度慢，且經常陷入局部最小的風險，并隨著網絡隱藏層層數的增加使得這一情況更加嚴重。盡管很多研究人員研究了對基于梯度下降BP算法的各種改進，但是從嚴格意義上講，BP網絡隱含層的層數及隱節點的個數選取缺乏理論依據。對于較為復雜的非線性問題，BP網絡改進方法的效果往往有限。

RBF網絡隱節點使用的核一般是徑向基核函數。這種核具有良好的局部響應特性。其核參數的優化主要包括中心位置、核寬以及隱節點個數的確定。在中心位置的參數選取上，文獻[1]使用K均值聚類得到的聚類中心作為RBF網絡的隱節點中心。文獻[2]提出將K均值聚類方法與網絡輪廓系數優化方法相結合。文獻[3]將輸入樣本和輸出偏差相結合作為RBF網絡隱節點中心選取的依據。此外，正交前向選擇算法通過正交變換來選取RBF網絡的隱節點中心，但不能保證全局最優。

在RBF網絡中，隱層節點個數的多少直接決定了整個網絡的拓撲結構及規模。一些動態構建RBF網絡隱節點的方法被相繼提出。文獻[4]提出最小資源分配網絡（MRAN）可以有效刪除部分冗余節點。文獻[5]通過度量隱節點的輸出信息和隱節點之間的交互信息來確定隱節點的個數。

2004年，黃廣斌[6]等人提出一種極限學習機網絡模型（ELM）。該網絡具有極快的學習速度和較好的泛化性能。在ELM網絡中，隱節點的個數是固定的，為了達到較好的網絡性能，一般需要設置較多的隱節點個數，因此存在一些非優化的隱節點，這就會造成網絡結構的冗余。一些基于ELM網絡的增加和裁剪技術被相繼提出，用來自動估計ELM網絡中隱節點的個數，并進一步優化ELM網絡的輸入輸出權值參數。其他的改進算法嘗試對基本的ELM算法進行擴展，使之能更有效地適合特定的問題。

2 總結與展望

本文介紹了BP網絡、RBF網絡以及ELM網絡的特點及研究現狀。相對而言，當前BP網絡和RBF網絡研究的比較成熟，其應用也最廣泛。相比與BP網絡，ELM具有更好的泛化性能，它能有效克服局部最小，收斂速度過慢以及過擬合的缺點。作為淺層神經網絡中的杰出代表，ELM網絡正獲得越來越多研究人員的關注。也有的學者研究ELM與深度神經網絡的融合，這也是一個新的研究方向。

參考文獻：

[1]Moody J， Darken CJ. Fast learning in networks of locally-tuned processing[J].Neural Computation， 1989， 1（2）： 281-294.

[2]郝曉麗，張靖.基于改進自適應聚類算法的RBF神經網絡分類器設計與實現[J].計算機科學，2014， 41（6）： 260-263.

[3]Wang D， Zeng XJ， Keane JA. A clustering algorithm for radial basis function neural network initialization [J]. Neurocomputing， 2012， 77（1）： 144-155.

[4]Yingwei L， Sundararajan N， Saratchandran P. A sequential learning scheme for function approximation using minimal radial basis function [J]. Neural Computation， 1997， 9（2）： 461-478.

[5]韓紅桂，喬俊飛，薄迎春.基于信息強度的RBF神經網絡結構設計研究[J].自動化學報， 2012， 38（7）： 1083-1090.

[6]Huang GB， Zhu QY， Siew CK. Extreme learning machine： theory and applications [C]. IEEE International Joint Conference on Neural Networks， 2004， Budapest， HUNGARY， 1-4： 985-990.