人工神經網絡發展現狀綜述

王廣

摘 要：人工神經網絡是20世紀80年代以來人工智能領域興起的研究熱點，本文基于有監督和無監督學習將神經網絡分為前饋神經網絡和遞歸神經網絡，詳細分析了兩類神經網絡的特點，綜述了兩類神經網絡的現狀，根據各自的特點指出了解決收斂較慢且容易陷入局部極小問題的有效方法。

關鍵詞：人工神經網絡；前饋神經網絡；遞歸神經網絡

中圖分類號： TP183 文獻標識碼： A 文章編號： 1673-1069（2017）06-165-2

1 緒論

人工神經網絡（Artificial Neural Network， ANN）是由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網絡處理、記憶信息的方式進行信息處理。ANN通過模仿人類大腦的結構和功能，并借鑒生物神經科學的研究成果，實現對信息的處理，是一種新興的交叉學科，不但推動了智能化計算的應用和發展，同時也為信息科學和神經生物學的研究方法帶來革命性的變化，現已成功應用于腦科學，認知科學，模式識別，智能控制，計算機科學等多個領域。

在實際應用中，人工神經網絡的選取通常包括適當的神經網絡模型，合理的網絡結構及快速有效的網絡參數訓練算法[1]。而針對某一特定網絡模型，ANN的研究主要集中在結構的調整和訓練算法的改進兩個方面。所謂神經網絡訓練，也就是網絡參數的學習和調整，是一個反復調節節點之間權值和閾值的過程，其學習可以分成三類，即有監督學習（Supervised learning），無監督學習（Unsupervised learning）和強化學習（Reinforcement learning），本文基于有監督和無監督學習進行分類，分別分析了前饋神經網絡的特點及研究現狀、遞歸神經網絡的特點及研究現狀。

2 前饋神經網絡

2.1 前饋神經網絡的特點

前饋神經網絡的主要種類包括：感知器，線性神經網絡，BP網絡，徑向基網絡（RBF）等。其訓練算法主要采用梯度下降法（Gradient descent），包括：誤差反向傳播算法（Back Propagation， BP），改進的BP算法，Levenberg-Marquardt法（LM）等。前饋神經網絡具有學習簡單，收斂較快等優點，因此在實際應用中，一般選取三層或以上的網絡結構，神經網絡的任意逼近定理指出，訓練合適的多層前饋神經網絡能夠以任意精度逼近任意連續函數[2]。當網絡結構已知的情況下，訓練前饋神經網絡的本質就是確定最優權值和閾值的方法，前饋神經網絡的訓練方式一般采用網絡理想輸出和實際輸出的誤差作為權值調整信號，解空間一般是多峰函數，由于訓練過程中很容易陷入局部極小，因此網絡的訓練目標就是求解一組最優的權值，使誤差達到最小。

傳統的誤差反向傳播算法由于為網絡的訓練提供了簡單而有效的實現途徑，目前已成為研究和應用最廣泛的有監督學習算法。但BP算法存在許多問題，例如在多層網絡中收斂較慢且容易陷入局部極小，而且不能對多個網絡進行同時訓練[3]。改進的BP算法有多種形式，主要有通過附加動量和學習率的引入改進BP網絡的自適應能力等方法，附加動量方法雖然在一定程度上改善了易陷入局部極小的問題，仍然存在收斂速度較慢的問題。調整學習率方法通過將學習率限制在一定范圍內自動調整，雖然能夠提高網絡收斂速率，但對權值的改變和影響并不大，仍然導致誤差較大問題。LM法具有訓練時間段，收斂速度快的優點，但由于LM法需要計算誤差的Jacobian矩陣，這是一個復雜的高維運算問題，需要占用大量系統存儲空間，同時，LM也存在易陷入局部極小的問題[4、5]。

2.2 前饋神經網絡的研究現狀

在傳統的神經網絡訓練過程中，預估校正法或者經驗選擇是最常被使用的網絡結構選取方式[6]。在訓練和優化網絡權值和閾值過程中，訓練算法在上述分析中已知，存在著容易陷入局部最優并且難以跳出的缺點，因此誤差函數要求必須是連續可求導的函數。因此，這些權值訓練方法常和進化算法等全局搜索算法相結合。使用全局搜索算法的全局搜索能力幫助網絡跳出局部極小。在編碼時采用實數編碼，克服二進制編碼受到編碼串長度和精度的限制。例如，Sexton等人用一種改進的遺傳算法優化前饋神經網路權值，結果表明改進的算法使網路訓練精度得到顯著提高[3]。Abbass通過將傳統BP算法和差分進化算法相結合，提出了一種的新的權值訓練方法并用于乳腺癌的預測實驗，取得較好結果[7]。Iionen等人使用差分進化算法對前饋網絡的權值進行訓練和優化，將優化結果與其他幾種基于梯度下降的網絡訓練方法比較，結果表明該方法具有較好的精度[8]。更多研究成果表明，將DE、PSO應用于網絡權值在線訓練和優化具有明顯優勢，這些改進方法也成功應用在了醫學和工程技術等領域[9、10]。

此外，多種優化算法相結合也被證明是有效的。例如，在文獻[11]中，作者提出了一種DE和LM相結合的神經網絡快速訓練方法。Liu等人提出一種粒子群算法（Particle Swarm Optimization， PSO）和共軛梯度算法相結合的混合算法，并將其應用于神經網絡的權值優化[12]。在優化過程中，首先確定網絡結構，然后使用PSO的全局搜索能力獲得最后權值組合，最后使用傳統方法進行權值微調，取得較好結果。在文獻[13]中，作者采用相反方式將基本PSO和傳統BP算法相結合使用，首先用BP算法對網絡權值進行計算，然后使用PSO對網絡結構固定的權值進行優化和改進。有學者提出一種具有控制參數自適應選擇能力的差分進化算法，用于訓練前饋網絡，并將該方法用于奇偶分類實驗中，將實驗結果與幾種其他方法進行比較得知，提出的方法具有更好的準確性。Epitropakis等人在訓練離散Pi-Sigma神經網絡實驗中，采用一種分布式離散差分進化算法和分布式離散PSO算法相結合的方式。該離散網絡仍然是一種多層前饋網絡，在輸出層，通過將神經元求積的方式獲得輸出，作者認為這種整數權值的離散方式更適合用于硬件實現[14]。在離散化權值方面，Bao等人的工作表明，通過采用一種可重建的動態差分進化算法，可以有效用于訓練固定結構的網絡權值。

前饋神經網絡的權值訓練方法在近幾十年一直是人工智能領域的研究熱點之一。越來越多的工作表明，將多種優化方法相結合，通過對傳統訓練方法的取長補短，可以將前饋網絡有效應用于多個領域的應用中。

3 遞歸神經網絡

3.1 遞歸神經網絡的特點

遞歸神經網絡不同于前饋網絡，是一種帶有信息反饋功能，帶有同力學時間特性的ANN。遞歸神經網絡模擬了人類大腦神經突觸連接進行信號處理的方式，其中神經元之間的權值代表網絡的記憶，能存儲一部分數據信息，相當于模擬了人類大腦的內部短期記憶功能，常見的有Hopfield 神經網絡、玻爾茲曼機、細胞神經網絡、雙向聯結記憶（BAM）神經網絡和 Cohen-Grossberg 神經網絡等。通常情況下，遞歸神經網絡可以在某一瞬態響應中實現對某一時間信號的存儲，然后從存儲的信息狀態中重新構建上一瞬態的歷史信息，實現對記憶的聯想。可見遞歸網絡的一個根本特征是具有短時記憶功能，因此很多遞歸網絡的機構設計和訓練算法研究都是圍繞其記憶特性展開。

遞歸神經網絡的動態特性表現在，其內部的信號是存在反饋的，也就是說，網絡在某一時刻的輸出值不僅與當前狀態有關，還與之前時刻的狀態有關。遞歸網絡的這種特性使得它同時具備動力學特性和信息存儲能力，因此遞歸型網絡常被用來學習和模擬系統中的動態性能。此外，穩定性是遞歸神經網絡的另一個特性，因為在遞歸網絡中，網絡狀態是隨時間變化的，要想保證網絡運行在正常范圍并不出現發散和振蕩，必須首先對其穩定性進行分析和計算，設置合理的網絡參數。

3.2 遞歸神經網絡的研究現狀

針對某一類問題，往往需要將遞歸網絡進行適當調整和改進才能獲得更好的應用，其改進方法通常有兩種，即參數學習訓練算法和網絡結構優化算法。所謂參數訓練算法，是指單純對網絡神經元節點的權值進行學習改進，而不改變網絡結構（層數和節點數）。結構優化算法則相反，主要是通過某種學習規則（增長或刪減機制）動態的調整網絡結構，使其效果達到最優。在算法改進的研究中，常常借鑒前饋型網絡的改進算法思想，將其應用于遞歸型網絡中。

不同的遞歸神經網絡學習算法都各自有其自身的特點，同時也適用于不同的應用對象。1986年，Hinton等人在Natural上發表文章，提出一種由遞歸網絡展開而成的一種多層前饋型網絡，該網絡的訓練方法就是目前最主要的BPTT（Back-Propagation through time）算法。然而，該算法在訓練中存在收斂較慢問題，且對系統的內存需求過大，往往導致訓練失敗。Shen等人在Hinton工作的基礎上對該算法進行了改進，并將其應用于帶有約束條件的建模問題，例如時間序列問題，實驗結果表明他們的方法具有較高精度。Williams等人設計了一種具有遞歸運算方式的梯度計算方法，用于全局遞歸網絡的設計。實際上，RTRL算法與BPTT算法都是梯度下降法在遞歸網絡中的變形形式，訓練方式可以分為在線和離線兩種。所謂在線學習方式，或稱串行方式或順序方式，是指每次只輸入一個樣本進行學習，對權值修改，然后再學習下一個樣本。而離線方式，或稱集中方式，是一種數據批處理的運算，顧名思義，是每次將一批數據同時輸入網絡進行學習的方式。BPTT就是一種離線訓練方式，通過將全時間段求和然后調整權值，這種方式不適合應用于時效性較強的任務。在Williams之后的研究中，一種適合于遞歸神經網絡在線進行梯度學習的算法被提出，也有學者將BPTT進行改進，使之應用于在線訓練方式。Hinton于2006年在Science上發表文章，提出一種快速有效的遞歸神經網絡訓練算法，成功克服了傳統BP算法的幾個缺點，提出一種無監督的貪心逐層網絡訓練方法，命名為深度信念網（Deep Belief Network，DBN），之后很多學者對該網絡學習算法進行研究和改進，成功應用于遞歸網絡的學習訓練，取得一定的成果。

Al-Tamimi等人研究了非線性放射系統的最優控制問題，提出一種將神經網絡和ADP結合使用的控制方法，由于該方法的性能指標具有二次型的形式，因此適合于二次型最優控制在非線性系統中的應用，此外，在理論方面，也給出了神經網絡逼近HJB方程的最優解和相關的收斂性證明。Vamvoudakis等人提出一種將神經網絡作為評價和控制作用的逼近器方法，該方法首先采用梯度下降法對被控網絡逼近器進行學習和建模，通過分析李亞普諾夫理論得到該算法中重要參數的選取范圍，保證系統收斂，然后將該方法與在線自適應評價方法相結合，應用于連續系統無窮時域的優化控制問題中，實驗結果表明具有較好的精度和收斂性。Fu等人研究和分析了某一類評價及控制的神經網絡逼近器，對LM算法進行了改進，得到一種適用于計算雅克比矩陣的高效方法，并將該方法用于網絡權值的訓練，得到較好的效果。近幾年，神經網絡越來越多的應用于具有非行動依賴特性的自適應動態規劃問題，這是因為系統的輸入輸出測量數據往往包含著系統內部的動力學特性，因此通過大量采集輸入輸出數據，通過數據驅動的方式對系統的動力學特性進行學習和模擬，能夠利用遞歸網絡來實現，因此遞歸網絡是較好的系統辨識工具。Hayakawa等人在系統模型未知的條件下，采用基于數據驅動的方式利用神經網絡對未知系統進行建模，該方法是利用神經網絡的HDP控制策略具有較好收斂性的特點，分析取值參數，從而得到較好的系統模型。目前的一些無模型控制方法需要系統的全部狀態具有可觀可測，但實際上由于硬件條件的限制或者測量成本較高，往往難以保證測得所需信息。然而利用遞歸神經網絡的動力學特性對未知系統進行建模，利用數據驅動模式實現建模是一種簡單有效的方法。但在應用中，需要注意遞歸網絡的精度往往影響到ADP最終的控制效果，這是因為如果逼近器精度不高，必然導致評價策略的精度不高，控制策略不能實現精確控制進一步影響下一環節的評價精度，造成惡性循環，甚至造成系統控制失敗。因此，對于采用遞歸神經網絡作為逼近器的 ADP 控制而言，遞歸神經網絡需要對復雜的非線性動力學系統具有一個較高的逼近精度，才能提高評價網絡的精度，進而提高評價結果的準確性。

在不同領域中，任務往往各不相同，因此針對不同的動態系統，不同類型的遞歸網絡的也相繼被提出并得到研究，使之成為人工智能界的研究熱點之一。因其具有獨特的優化能力，聯想記憶功能，遞歸神經網絡已引起AI界極大的研究和關注，并成功應用于多種模式識別問題，例如圖像處理，聲音辨識，信號處理等。

4 結論

本章分析和研究了神經網絡的兩種主要類型，前饋型和遞歸型，并對其特點進行了分析。前饋網絡的主要特點是計算簡單，運算方便，缺點是耗時較長，容易陷入局部極小；遞歸網絡的特點是具有動力學特性和聯想記憶特性，但使用時需要注意穩定性和收斂性，且對初始狀態具有高度敏感特性。針對兩類神經網絡的特點，可通過多種優化相結合的方法解決收斂較慢且容易陷入局部極小問題，應用參數學習訓練算法和網絡結構優化算法對遞歸網絡進行適當的調整，以應用于具體問題。

參 考 文 獻

[1] N. Garcia-Pedrajas， C. Hervas-Martinez， J. Munoz-Perez. COVNET： a cooperative coevolutionary model for evolving artificial neural networks [J]. IEEE Transaction on Neural Networks， 2003， 14（3）： 575-596.

[2] K. Hornick， M. Stinchcombe， H. White. Multilayer feedforward networks are universal approximators [J]. Neural Networks， 1989， 2： 359-366.

[3] R.S. Sexton， R.S. Sriram， H. Etheridge. Improving decision effectiveness of artificial neural networks： a modified genetic algorithm approach [J]. Decis Sci， 2003， 34（3）：421-442.

[4] 商琳， 王金根， 姚望舒，等. 一種基于多進化神經網絡的分類方法[J]. 軟件學報， 2005， 16（9）： 1577-1583.

[5] S.U. Ahmed， M. Shahjahan， K. Murase. Injecting chaos in feedforward neural networks [J]. Neural Process Lett， 2011， 34（1）： 87-100.

[6] Serkan Kiranyaz， Turker Ince， Alper Yildirim， et al. Evolutionary artificial neural networks by multi-dimensional particle swarm optimization [J]. Neural Networks， 2009， 22： 1448-1462.

[7] H.A. Abbass. An evolutionary artificial neural networks approach for breast cancer diagnosis [J]. Artificial Intelligence in Medicine， 2002 ， 25 （3） ： 265-281.

[8] J. Iionen， J.K. Kamarainen， J. Lampinen. Differential Evolution Training Algorithm for Feed-forward Neural Networks [J]. Neural Processing Letters， 2003， 17（1） ： 93-105.

[9] D.M. George， P.P. Vassilis， N.V. Michael. Neural network-based colonoscopic diagnosis using on-line learning and differential evolution [J]. Applied Soft Computing， 2004， （4） ： 369-379.

[10] B. Liu， L. Wang， Y.H. Jin， et al. Designing neural networks using hybrid particle swarm optimization [C]. Lecture Notes in Computer Science. Berlin ： Springer ， 2005 ： 391-397.

[11] 王剛， 高陽， 夏潔. 基于差異進化算法的人工神經網絡快速訓練研究 [J]. 管理學報， 2005， 2 （4） ： 450-454.

[12] L. B. Liu， Y. J. Wang， D. Huang. Designing neural networks using PSO-based memetic algorithm [C]. in： Proceedings of the Fourth International Symposium on Neural Networks （ISNN07）， 2007， pp. 219-224.

[13] 李祚泳，汪嘉楊，郭淳. PSO算法優化BP網絡的新方法及仿真實驗[J]. 電子學報， 2008，36（11）：2224-2228.

[14] M.G. Epitropakis， V.P. Plagianakos， M.N. Vrahatis. Hardware-friendly higher-order neural network training using distributed evolutionary algorithms [J]. Applied