基于導數優化的ＢＰ學習算法的研究綜述

(1.濱州學院 自動化系， 山東 濱州 256600; 2.重慶工學院 信息與自動化學院， 重慶 400050; 3.北京航空航天大學 第七教研室， 北京 100191)



摘 要：對基于導數優化的BP算法及其改進算法進行綜述，在分析經典BP算法固有缺陷的基礎上，對BP的改進算法進行了總結和歸納。首先將改進算法分為四大類，介紹了每個類別中的典型算法，分析了其數學實質及算法的優缺點；然后探討了目前BP神經網絡算法研究中存在的不足；最后作出展望，給出了BP神經網絡研究中幾個有前途的發展方向。

關鍵詞：反向傳播算法； 神經網絡； 優化； 收斂

中圖分類號：TP273 文獻標志碼：A

文章編號：10013695(2009)03080905



Overviews on research of backpropagation algorithm

based on derivative optimization



ZHANG Fangfang1， HE Juan2， LI Mingjun3



(1.Dept. of Automation， Binzhou University， Binzhou Shandong 256600， China; 2.School of Electronic Information Automation， Chongqing Institute of Technology， Chongqing 400050， China; 3. The 7th Research Division， Beihang University， Beijing 100191， China)



Abstract:This paper summed up backpropagation algorithm and its improvements which were based on derivative optimization. It pointed out the inherent limitation of BP algorithm and dwelled on its typically ameliorative algorithms. First， divided them into four kinds， and introduced every typical algorithms with their advantages and disadvantages. Then discussed the deficiencies that exist in the present research of BP neural networks. At last， the paper made out some prospects， and concluded with some promising tendencyabout research on BP neural networks.

Key words：backpropagation algorithm; neural networks; optimize; convergence



Werbos于1974年、Parker于1985年、Rumelhart等人[1]于1986年各自獨立地提出了誤差反向傳播訓練算法(BP算法)，基于BP算法學習的前向神經網絡也稱為BP神經網絡。目前在神經網絡的實際應用中，80%~90%的神經網絡是BP網絡或它的變化形式。因此，BP網絡是應用最廣泛的神經網絡，它體現了人工神經網絡的精華，受到各個領域的關注。然而BP算法在具體實現中常會出現一些問題，如收斂速度緩慢，往往收斂于局部極小點，出現假飽和現象，不能完全訓練的麻痹現象以及數值穩定性差，學習率、動量項系數和初始權值等參數難以調整等。為此，不少學者進行了大量的研究[2~55]，提出了各種不同的改進算法。

1 經典BP算法

BP神經網絡的學習屬于有監督學習，其學習過程由信號正向傳播和誤差反向傳播兩部分組成?；舅枷胧菍颖灸Ｊ綇木W絡的輸入層輸入，經隱含層的逐層處理后傳入輸出層。若輸出層沒有得到期望的輸出結果，則將誤差進行反向傳播；誤差信號沿原連接路徑返回，網絡根據反向傳播的誤差信號修改各層的連接權值，使誤差達到最小。批處理具體算法如下：

a)網絡初始化，初始化學習速率η、誤差精度ε等相關參數，并用小的隨機數設定權值；

b)信號正向計算，對n個輸入樣本分別計算輸出層的輸出

y(k)j=f(W(k)ijxj-θj)

并計算誤差函數

E(k)(W)=(1/2) ∑nl=1(dj-y(k)j)2

c)如果E(k)(W)＜ε，則跳出循環，停止計算，轉向e）；

d）誤差反向傳播，利用式(1)依次更新輸出層、隱含層的權值，k=k+1，轉向b）；

Wij(k+1)=Wij(k)-ηE(k)=Wij(k)-η( E(k)(W)/Wij)(1)

e)輸出結果。

在本文中，將ΔW(k)=Wij(k+1)-Wij(k)稱為每次權值的更新量，將E(k)稱為每次權值的修正量。

經典BP算法實質上是簡單的最速下降靜態尋優算法，惟一不同的在于最速下降法要求在每次迭代中進行精確的一維搜索以求得最優的迭代步長。但在經典BP算法中，一維搜索需多次計算E值，而每次E值的計算都是神經網絡的一次回響過程，會耗費大量的計算時間，難以編程實現與應用。因此經典BP算法一般不采用一維搜索進行學習因子η的優化，而是采用0~1的某一個確定值。

2 BP算法的改進

BP算法雖然得到了廣泛應用，但它也存在固有的缺陷，主要表現如下：

a）局部收斂和收斂速度緩慢。經典BP算法采用最速下降方向即負梯度方向，它僅僅反映誤差函數在某點處的局部性質，對局部來說是最速下降方向，但不一定是全局的最速下降方向。事實上，經典BP算法中相繼兩次迭代的搜索方向是正交的，即Ek+1(W)TEk(W)=0。

由此可見，誤差函數逼近極小點的路線是鋸齒形的，當迭代點越靠近極小點，其搜索步長就越小，收斂速度越慢，并且只有線性的收斂速度。因此經典BP算法存在局部收斂和收斂速度緩慢的固有缺陷。

b）假飽和現象。BP算法中最常用的激勵函數是sigmoid函數，因此當神經元輸入的絕對值較大時，就會落入激勵函數的飽和區，從而使函數的導數值接近于零，網絡的權值更新量ΔW≈0，權值的修正速度變慢，使學習時間過長，即BP算法中經常出現的假飽和現象。

針對BP算法的固有缺陷和假飽和現象，許多學者提出改進算法。筆者在閱讀大量文獻的基礎上，從學習速率η、權值修正量E(k)、激勵函數和誤差函數四方面出發，將基于導數優化的BP改進算法歸納為四類。

2.1 自適應調整η法

在BP算法中，當學習速率η太小時，算法收斂極慢；當η太大時，初始階段加速誤差減少，但隨著訓練的不斷深入，由于η過大，網絡每次的修正量過大，使誤差函數超出最小值而永不收斂或者引起振蕩而難以達到期望目標。這類改進算法的基本思想是對η的自適應調整，以保證神經網絡總是以可接受的最大學習速率進行訓練。當一個較大的學習速率能夠使網絡穩定學習，使其誤差繼續下降，則增加學習速率，使其以更大的學習速率進行學習。一旦學習速率調得過大，不能保證誤差繼續減少，則減少學習速率直到使學習過程穩定為止。這類方法實質是改變權值更新量的大小。

傳統的自適應學習速率因子法是根據相鄰兩次誤差函數值的大小關系調整學習因子，最常用的公式如下：

η(k)=aη(k-1) 當E（k)＞cE(k-1)時

bη(k-1) 當E(k)＜E(k-1)時(a、b、c是常數）(2)

η(k)=E(k-1)/E(k)×η(k-1)(3)

顯然，傳統的自適應學習速率因子法極其簡單，易于編程實現，但僅憑誤差函數值的變化來調整η顯得過于直接和強制。經多次循環后，η變得極大，容易產生振蕩。因此后來有學者[9]根據相鄰兩次迭代的誤差函數梯度方向是否相同來調整η，對傳統的自適應學習速率因子法有一定的改進，但這種方法對η的調整又過于粗略。有人提出步長自適應方法[9]，其思路是將η作為網絡參數的一部分，也用BP算法對其進行調整，因此它有自己的學習步長稱為二階學習步長?；谙嗤脑硪部赏瞥鋈A學習步長[10]。這種方法調整得更為精確些，但是二階步長法、三階步長法或者更高階的步長法在前一方法基礎上的優化效果是逐級遞減的，沒有必要采用三階以上的步長法進行優化。

除此之外，自適應調整η的改進算法[11~18，45~47]還有很多，如利用Jacob啟發式信息調整η法[11]、利用以前權值的修正量動態地調整學習速率法[14]、利用最優化方法得到的各種優化學習速率算法[15]、利用遺傳算法優化η法[16]等。但是這些算法多是針對具體問題，只有文獻[16]的結論具有一定的普遍意義。

2.2 改變權值修正量法

2.2.1 彈性BP學習算法

改變權值修正量法中最簡單的算法就是彈性BP學習算法[19]。它僅利用偏導數的符號決定搜索方向，權值變化的大小是上一次的權值更新量。公式表示如下：

W(k+1)=W(k)+η sign[E(W(k))/W]×ΔW(k-1)(4)

其中:sign[#8226;]為符號函數；ΔW(k-1)為前一次的權值更新量，其初始值ΔW(0)根據實際應用預先設定。這種算法與傳統的自適應學習速率因子法相比，存儲量要求相差不大，但收斂速度快于前者。大量實際應用已證明彈性BP算法是非常有效的。

2.2.2 附加動量法

附加動量法不僅考慮誤差在梯度上的作用，而且考慮誤差在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，允許忽略網絡上的微小變化特性。在沒有附加動量的作用下，網絡可能陷入淺的局部極小值，利用附加動量的作用則有可能滑過這些局部極小值。該方法是在反向傳播法的基礎上，在每一個權值的變化上加一項正比于前次權值更新量的值，其基本形式如式(5)所示：

W(k+1)=W(k)-ηE(W(k))+λk-1ΔW(k-1)(5)

其中：最后一項稱為動量項，也稱慣性項；λk-1稱為慣性項系數，一般取0~1的某一個確定值。它的基本思想是若當前權值的修正方向與前一次的權值修正方向相異，即符號相反時，求和使修正量的絕對值變小，以防止過度調節從而避免振蕩；若相鄰兩次修正量的方向相同，相加后修正量變大，從而提高了學習速率。它實質上是將上一次權值的變化通過一個動量因子傳遞，使得權值的調節朝著底部的平均方向變化，不產生大的擺動，起到緩沖平滑的作用。但是式中η和λ的選擇是個棘手的問題，它們強烈依賴于具體應用，依賴于網絡結構和初始權值。對于η，可使用前面所述的自適應調整η法；對于λ，一般來說λ越大，系統的慣性越大，但當λ＞1時，系統失去穩定，當λ右接近于1時會產生嚴重超調，因此要限制λ在一個合適的范圍內。

很多BP算法的改進，都把對η和λ的調整結合起來，利用誤差函數值或其一階、二階導數值等有關的啟發式信息使η和λ得到自適應調整，放棄最優的收斂速率，用更簡單的方法和更易于實現的手段尋求一個更優的收斂速率。附加動量法綜合了自適應調整學習因子和動量項兩種技術的優點，易于實現，既提高了收斂速度，也有助于避免收斂到局部極小點，故應用廣泛。這方面的算法有Rumelhart方法[1]、Sejnowski方法[20]、Kickout規則[21]和考慮前兩次權值變化影響的改進算法[22]等，以及針對具體應用提出的其他改進算法[23~28]。

2.2.3 牛頓法

考慮誤差函數二階導數的信息，則有

Wij(k+1)=Wij(k)-ηH-1 W(k)(W)/Wij

(6)

其中H為E(W)的Hesse矩陣。牛頓法具有二階收斂速率和二次終止性，比只考慮一階導數的方法收斂速度快，但是某次迭代時誤差函數值可能上升；當初始點離極值點較遠時，可能不收斂或收斂到鞍點；二階Hesse矩陣的計算量較大并且可能因為奇異而無法繼續計算。針對這些問題，許多學者提出下面的改進算法[29~42]。

2.2.4 擬牛頓法

擬牛頓法即針對牛頓法的缺點，利用目標函數的一階導數來構造二階Hesse矩陣的近似矩陣，又稱變度量法，也稱變尺度法。它具有超線性的收斂速度，并且具有二次終止性?；谠摲椒ǖ腂P算法中，

Wij(k+1)=Wij(k)-ηG(k)×(E(k)(W)/Wij)

(7)

其中k=1，Gk=I；k＞1時，Gk利用

Gk+1=Gk+(ΔxkΔxTk/ΔxTkΔgk) (1+ΔgTkGkgk/ΔxTkΔgk)-(ΔxkΔgTkGk+GkΔgkΔxTk)/ΔxTkΔgk

(8)

或者

Gk+1=Gk+ΔxkΔxTk/ΔxTkΔgk-GkΔgkΔgTkGk/ΔgTkGkΔgk(9)

進行更新。其中：Δxk=Wk+1-Wk，Δgk=E(Wk+1)-E(Wk)，相應的方法分別簡稱為BFGS法或DFP法。它們具有完全相同的性質，都屬于共軛方向法，都具有二次終止性和超線性收斂性。但DFP法由于一維搜索的不精確和計算誤差的積累可能導致某次迭代的Gk奇異，而BFGS法對一維搜索的精度要求不高，由它產生的Gk不易變為奇異矩陣。因此BFGS法比DFP法具有更好的數值穩定性，使用更為廣泛。

擬牛頓法將最速下降法和牛頓法的優點很好地結合起來。在算法的初始階段，迭代矩陣為單位陣，此時算法實質上是最速下降法，工作量較小，所需儲存量較少，搜索的收斂速度較快；隨著迭代的進行，迭代矩陣的更新采用式(8)或(9)，保持了牛頓法特有的超線性收斂速度，且在搜索接近最優解時具有很好的收斂性能，因此該算法從整體上使學習速度得到很大提高。但是它采用一維搜索再加上Gk及梯度向量的計算，使計算量明顯增大，需要較多的計算機內存；雖然迭代的步數有所減少，但收斂所需的時間并不減少。針對這一問題，在具體應用時可采用相應的簡化措施[29，30]。

2.2.5 共軛梯度法

當使用共軛梯度向量來確定共軛方向時，稱此算法為共軛梯度法。它是一種常用的快速尋優算法，有多種表現形式，其基本形式如下：

W(k+1)=W(k)+ηd(k)=W(k)-

ηE(W(k))+ηβ(k-1)d(k-1)

(10)

其中d(k)=-E(W(k))+β(k-1)d(k-1)為搜索方向，

β(k-1)=0 k=1‖E(W(k))‖2/‖E(W(k-1))‖2 k＞1

β(k-1)=0 k=1E(W(k))T(E(W(k))-E(W(k-1)))/‖E(W(k-1))‖2 k＞1

β(k-1)的兩種不同的計算方法與式(10)構造的計算公式分別稱做FR公式和PRP公式[31]。

比較式(5)和(10)，形式相似，但最后一項含義不同。共軛梯度法對二次函數具有有限步收斂的特點，故收斂速度優于自適應學習速率法、彈性BP算法和附加動量法。但當‖E(W(k-1))‖很小時，在計算β(k-1)時會出現因舍入誤差較大而不穩定的現象，并且存在誤差函數的高維性及一維搜索使計算復雜度增大等缺陷。針對這些缺陷提出了許多改進算法，例如PowellBeale共軛梯度法[32]、將共軛梯度法和擬牛頓法折中的一步割線法[33]、成比例的共軛梯度法[34]、改進的共軛梯度法與不精確的線性搜索相結合的BP學習算法[35，36]、簡單共軛梯度學習算法[37]、基于改進共軛梯度法的快速監督學習算法[38]、最速下降—共軛梯度(SDCGM)算法[39]等。

共軛梯度法可以不必計算或儲存二階導數的信息就具有二階方法的功能，需要內存較少，與擬牛頓法相比它的計算代價較低；而且共軛梯度法被認為是目前求解大型線性方程組最有效、最快速的方法之一，因此它在較大規模問題中十分有用。

2.2.6 非線性最小二乘法

對給定的訓練樣本集，BP網絡學習的目標是通過迭代調節連接權向量W使誤差函數E(W)最小化而獲得模型，完成對學習樣本點的擬合任務。這里e為樣本期望輸出與網絡實際輸出之差的誤差向量。把對E(W)的最小化看做一個非線性無約束最小二乘問題，因此在BP算法中引入非線性最小二乘法[40~42]，可得到Gauss牛頓法和LevenbergMarquardt法，公式分別為

W(k+1)=W(k)-η[J(W(k))T J(W(k))]-1E(k)(11)

W(k+1)=W(k)-η[J(W(k))T J(W(k))+λkI]-1E(k)(12)



這兩種方法和上述的牛頓法及DFP、BFGS等擬牛頓法均是基于二階法的最優化方法，具有很好的收斂特性，近年來被應用于神經網絡的訓練中。其思想是利用誤差函數對權值的二階導數Hesse矩陣的信息或Hesse矩陣的近似矩陣調整權值。比較式(1)和(6)(7)(9)(10)不難發現，其形式上的共同特征是用一個矩陣乘以E(k)，改變了權值修正量，從而改變權值更新量的大小和方向。擬牛頓法和非線性最小二乘法均在一定程度克服了Hesse矩陣的病態和奇異性。其中LevenbergMarquardt法效果最好，可以給出穩定的解和快的收斂速度，應用最為成功。

2.3 改變激勵函數法

針對BP算法中出現的假飽和現象，一般有兩種解決方案：a)修改激勵函數，在常用的激勵函數中引入參數來調節或增強函數，如激勵函數可調的神經元TAF模型[43]、引入形態因子的激勵函數[44~46]、引入調節權值更新量大小的參數的權值平衡算法[47]、增加三個參數且參數實時更新的激勵函數法[48]等；b)采用新的函數作為激勵函數，一般要求這個新的函數及其導數不存在飽和區，具有很強的權值調節作用。這些改進在一定程度上避免了假飽和現象，提高了權值調節作用，從而提高了學習速度，減少了進入局部最小點的可能性。但是這類方法一般要結合具體問題，同時結合其他優化措施才能取得較好的效果。

2.4 改變誤差函數法

在網絡的訓練過程中，當網絡輸入工作在Ｓ型激勵函數的飽和區時，yj趨向1，誤差函數收斂并趨向一個常數，即處于E的平坦區，從而造成了不可能完全訓練的麻痹現象。針對這種現象，Baum等人于1988年提出一種誤差函數:

∑l[(1+yj)/2 log ((1+yj)/(1+dj))+

(1-yj)/2 log ((1-yj)/(1-dj))]

(13)

在yj趨向1時，該誤差函數發散，故能克服麻痹現象。誤差函數的形式還有柯西誤差估計器[49]、由非線性誤差函數和線性誤差函數加權合成的目標函數[50]、構造目標函數的填充函數使BP算法跳出局部最優的填充函數法[51]、基于曲面形狀誤差的誤差函數[52]等。其中柯西誤差估計器在應用于某些實際問題時已表現了它的優勢，填充函數法有效地避免了收斂于局部極小。

總之，BP的改進算法眾多，可謂百家爭鳴，各有千秋。但它們的基本思路相差不多，一般以確定型的梯度下降搜索為主，吸收遺傳算法中的優勝劣汰思想或無約束最優化中非精確的一維搜索的思想，或模擬退火法的概率爬山思想，利用誤差函數的函數值、解析性質及其形狀曲面的一些啟發式信息，放棄了精確搜索到的最優的學習速率。用更簡單的方法和更易于實現的手段尋求一個較優的學習速率，與經典BP算法相比，它們均在一定程度上提高了收斂速度，并具有一定的避免陷入局部極小的能力。

除了從以上四個方面對BP算法進行改進以外，還可以從網絡結構[53]、權值初始化以及隱層節點數目的選取等方面改進BP算法，但是這些改進一般只針對具體應用，尚沒形成系統的理論。另外，在將BP算法應用于具體問題時，也可把以上不同方面的改進算法結合起來，聯合優化[45~47，54]、靈活運用。

3 目前存在的不足

目前，對BP算法的研究一直是神經網絡界的熱點，它幾乎可以應用到所有的領域，但是大多數改進算法只是為了應用于具體問題而改善了BP算法的某些缺陷，尚沒有系統的理論保證找到全局最優解，從根本上解決BP算法的固有缺陷。

BP神經網絡的具體設計強烈地依賴于那些對神經網絡和具體問題有著清晰理解的專家。隨著問題的日益復雜化，BP神經網絡的設計將變得極其艱難，甚至不可操作，因此，它還不能作為一個普遍應用的簡單的建模工具。文獻[8]提出了變學習進化的人工神經網絡，利用遺傳算法尋找權值初值、網絡結構、激勵函數及性能最佳的BP算法，取得了一定的成果。

4 結束語

a）在BP算法中，若將誤差函數E看做權值W的函數，問題就轉換為如何求得W使E取最小值，因此不難看出BP算法的實質就是非線性無約束最優化問題。非線性無約束問題的一些最優化方法經簡化或改變均可應用于BP算法的改進，如上面闡述的最速下降法、牛頓法、擬牛頓法、共軛梯度法及LevenbergMarquardt方法等，在MATLAB神經網絡工具箱中均有相應的訓練函數[55]。這表明最優化方法已經在BP神經網絡算法中發揮著良好的作用，還將繼續發揮其作用。隨著最優化方法的發展和計算機計算性能的增強，BP神經網絡將會得到更好的應用和發展。

b）結合遺傳算法、模糊數學[56]、數理邏輯和拓撲數學等BP改進算法是近幾年發展起來的較新的研究方向。它提高了神經網絡的性能，使其具有求解不確定性、模糊性和似然性推理問題的能力，擴大了神經網絡的應用范圍。

c）隨著神經網絡的應用越來越廣泛，神經網絡的硬件實現變得更加重要，是一個很有前途的研究方向。

d）把不同類型的人工神經網絡模型組合成一個新的綜合性的神經網絡，也是近年來一個較新的研究方向。

e）結合細胞自動機的神經網絡是一個嶄新的思路和研究方向，這方面的文獻較少，有興趣的讀者不妨參考一下文獻[57]。

參考文獻：

［1］RUMELHART D E， HINTON G E， WILLIAMS R J. Learning internal representations by error propagation[M]//Parallel distributed proceeding：explorations in the microstructure of cognition. Cambridge: MIT Press，1986:318362.

[2]VOGL T P， MANGIS J K. Accelerated the convergence of the back propagation method[J]. Biological Cybernetics，1988，59(9)：256264.

[3]BAXTER J. The evolution of learning algorithms for artificial neural networks[C]//Proc of Complex Systems. Amsterdam: IOS Press， 1992:313326.

[4]ANGELINE P J， SAUNDERS G B， POLLACK J B. An evolutionary algorithm that evolves recurrent neural networks[J]. IEEE Trans on Neural Networks，1994，5(1)：5465.

[5]Neural network toolbox user’s guide[K]. Nitick: Mathworks Inc， 1999.

[6]ABRAHAM A. Neurofuzzysy stems: state of the art modeling techniques[C]//Proc of the 6th International Conference on Artificial and Natual Neural Networks. Berlin:Springer， 2001:269276.

[7]ABRAHAM A.Optimization of evolutionary neural networks using hybrid learning algorithms[C]//Proc of Joint International Conference on Neural Networks. Piscataway: IEEE Press， 2002:27972802.

[8]ABRAHAM A. Meta learning evolutionary artificial neural networks[J]. Neuro Computing， 2004，56(1):138.

[9]劉鎮清.人工神經網絡BP算法的改進及其在無損檢測中的應用[J].測控技術，2001，20(3)：5658.

[10]何恒，吳瑞祥. 改進的BP神經網絡在飛機防滑剎車系統的應用[J].北京航天航空大學學報，2004，30(6)：561564.

[11]JACOBS R A. Increased rates of convergence through learning rate adaptation， UMCS1987117[R]. Amherst: University of Massachusetts，1987.

[12]RICOTTI L P， RAGAZZINI S， MARTINELLI G. Learning of word stress in a suboptimal second order backpropagation neural network[C]//Proc of the 1st Annual International Conference on Neural Networks. 1988：355363.

[13]WEIR M K. A method for selfdetermination of adaptive learning rates in back propagation[J]. Neural Networks，1991，4(3)：371379.

[14]HSIN H C， LI C C， SUN Mingui，et al. An adaptive training algorithm for backpropagation neural networks[J]. IEEE Trans on Systems， Man， and Cybernetics，1995，25(3)：512514.

[15]YU Xiaohu， CHEN Guoan. Dynamic learning rate optimization of the backpropagation algorithm[J]. IEEE Trans on Neural Networks，1995，6(3)：669677.

[16]KIM H B，JUNG S H， KIM T G，et al. Fast learning method for backpropagation neural network by evolutionary adaption of learning rates[J]. Neurocomputing， 1996，11(1)：101106.

[17]LIU Qiaoge， FU Mengyin， DENG Zhihong. Adaptive algorithm of learning rate for feedforward neural network[J]. Journal of System Simulation， 2006，18(3):698700， 705.

[18]王靜偉. BP神經網絡改進算法的研究[J].中國水運，2008，8(1)：783787.

[19]MARTIN R， HEINRICH B. A direct adaptive method for faster backpropagation learning[C]//Proc of International Conference on Neurnal Networks. Piscataway:IEEE Press， 1993:586591.

[20]SEJNOWAKI J， ROSENBERG C R. NETTalk:a parallel network that learns to read aloud[M]//Neuro Computing:Foundations of Research. Cambridge:MIT Press， 1988:661672.

[21]OCHIAI K， TODA N， USUI S. Kickout learning algorithm to reduce the oscillation of weights[J]. Neural Networks， 1994，7(5)：797807.

[22]張海燕，胡光銳，張東紅.多層前向神經網絡的一種改進BP算法[J].通信技術，2003(11)：68.

[23]MINAI A A， WILLIAMS R D. Acceleration of back propagation through learning algorithms for nonlinear system identification[C]//Proc ofInternational Joint Conference on Neural Networks. 1993：582587.

[24]YU C C， TANG Y C. To improve the training time of BP neural networks[C]//Proc of International Conference on Infotech and Infonet. 2001:473479.

[25]YU C C， LIU Binda. A back propagation algorithm with adaptive learning rate and momentum coefficient[C]//Proc of International Joint Conference on Neural Networks. 2002:12181223.

[26]HUANG H C， HWANG R C. A new artificial peak power load forecaster based on nonfixed neural networks[J]. Electrical Power and Energy System，2002，24(3)：245250.

[27]宋宜斌.多層感知器的一種快速網絡訓練法及其應用[J].控制與決策，2000，15(1)：125127.

[28]周敏，秦忠國，趙會德.改進的BP算法在土石壩滲流問題中的應用[J].水利與建筑工程學報，2004，2(2)：4850.

[29]楊秋貴，張杰，張素貞.基于擬牛頓法的前向神經元網絡學習算法[J].控制與決策，1997，12(4):357340.

[30]王耀南.基于變尺度優化方法的快速神經網絡學習算法研究[J].系統仿真學報， 1997，9(1)：3439.

[31]薛毅.最優化原理與方法[M].北京：北京工業大學出版社， 2003：178180.

[32]POWELL M J D. Restart procedure for the conjugate gradient method[J]. Mathmatical Programming，1977，33(12)：241254.

[33]BATTITI R. First and second order methods for learning：between steepest descent and Newton’s method[J]. Neural Computation，1992，4(2)：141166.

[34]MOLLER M. A scaled conjugate gradient algorithm for fast supervised learning[J]. Neural Networks，1993，6(4)：525533.

[35]田軍，于厥邦，楊燦.適合于BP學習的共軛梯度法[J].電子科技大學學報，1994，23（5）:462466.

[36]何耀華，夏志忠. BP網絡的快速自適應學習算法[J]. 系統工程理論與實踐，2000，20(1)：9398.

[37]梁久禎，何新貴，黃德雙. 前饋神經網絡的一種簡單共軛梯度學習算法[J].北京航空航天大學學報，2000，26(5)：596599.

[38]楊斌，聶在平，夏耀先，等. 基于改進共軛梯度法的前饋神經網絡快速監督學習算法[J].電子學報，2002，30(12)：18451847.

[39]王娜，申東日，陳義俊. BP網絡改進算法及其在故障診斷中的應用[J].自動化技術與應用，2004，23(5)：2022.

[40]KOLLIAS S， ANASTASSIOU D. An adaptive least squares algorithm for the efficient training of artificial neural networks[J]. IEEE Trans on Circuits and Systems， 1989，36(8)：10921101.

[41]HAGAN M T， MENHAJ M B. Training feedback network with the marquardt algorithm[J]. IEEE Trans on Neural Networks， 1994，5(6)：989993.

[42]ZHOU Guian， SI J. Advanced neuralnetwork training algorithm with reduced complexity based on Jacobian deficiency[J]. IEEE Trans on Neural Networks， 1998，9(3)：448453.

[43]WU Youshou， ZHAO Mingsheng， DING Xiaoqing. A new perceptron model with tunable activation function[J]. Chinese Journal of Electronics，1996，5(2)：5562.

[44]GUPTA P， SINHA N K. An improved approach for nonlinear system identification using neural networks[J]. Journal of the Franklin Institute，1999，336(4):721734.

[45]彭松，方祖祥.BP神經網絡學習算法的聯合優化[J].電路與系統學報，2000，5(3)：2630.

[46]楊安華，彭清娥，劉光中.BP算法固定學習率不收斂原因及對策[J].系統工程理論與實踐，2002，22(12)：2225.

[47]裴浩東，蘇宏業，褚健. 多層前向神經網絡的權值平衡算法[J].電子學報，2002，30(1)：139141.

[48]邱浩，王道波，張煥春. 一種改進的反向傳播神經網絡算法[J].應用科學學報，2004，22(3)：384387.

[49]LIU Guangyuan， YU Juebang， QIU Yuhui. A fast BP learning algorithm via a hybrid approach[J]. Journal of UEST of China， 1998，27(3)：265268.

[50]李換琴，萬百五.訓練前向神經網絡的全局最優化新算法及其應用[J].系統工程理論與實踐，2003，23(8)：4247.

[51]李曉東，胡志恒，虞厥邦.一種前饋神經網絡的快速學習算法[J].信號處理，2004，20(2)：184187.

[52]張德賢，師漢民.基于曲面形狀誤差的多層前向神經網絡快速訓練[J].計算機學報，2004，27(2)：231237.

[53]王崢. 一種改進的神經網絡增量學習算法[J].計算機科學， 2007，34(6)：177178， 238.

[54]JIANG Minghu， GIELEN G，DENG Beixing，et al. A fast learning algorithm for timedelay neural networks

[J].Information Sciences，2002，148(14)：2739.

[55]蘇高利，鄧蕓萍.論基于MATLAB語言的BP神經網絡的改進算法[J].科技通報，2003(2)：130135.

[56]譚建豪，章兢.一種基于優選BP神經網絡的智能模糊優化算法[J].電子測量與儀器學報， 2008，22(2)：7680.

[57]GUTIERREZ， ISASI P， MOLINA J M， et al. Evolutionary cellular configurations for designing feedforward neural network architectures[C]//Proc of the 6th International Conference on Artifical and Natural Neural Network.Berlin:Springer， 2001:514521.