Elman和BP神經網絡在模式分類領域內的對比研究

丁碩+常曉恒+巫慶輝+楊友林+胡慶功

摘要： 為了研究Elman神經網絡和標準BPNN中何種網絡類型更適合于解決模式分類問題，分別構建了基于Elman神經網絡的分類模型和基于標準BPNN的分類模型。以平面上二維向量模式的分類為例，對2種分類模型進行訓練和泛化能力測試。仿真結果表明，在訓練樣本數量相等且中小規模網絡的條件下，Elman網絡模型比BP網絡模型具有更高的分類精度，更快的收斂速度，更適合于解決模式分類問題。

關鍵詞： Elman神經網絡； BP神經網絡； 模式分類； 收斂速度； 泛化能力

中圖分類號： TN911?34； TP391.9文獻標識碼： A文章編號： 1004?373X（2014）08?0012?03

Comparative study of Elman and BP neural networks used for pattern classification

DING Shuo， CHANG Xiao?heng， WU Qing?hui， YANG You?lin， HU Qing?gong

（College of Engineering， Bohai University， Jinzhou 121013， China）

Abstract： To study which type of network in Elman neural networks or standard BPNN is more effective for pattern classification， two classification models based on Elman neural network and standard BPNN are established respectively. The classification of two? dimensional vector pattern on a plane is taken as an example to train the two classification models and test their generalization abilities respectively. The simulation results show that Elman neural network has higher classification accuracy and faster convergence speed than BPNN under the conditions of the same quantity of the training samples and small or medium size network. And this makes Elman neural network more suitable for solving the problem of pattern classification.

Keywords： Elman neural network； BP neural network； pattern classification； convergence speed； generalization ability

0引言

由于人工神經元網絡具有很強的非線性映射能力、自學習性和容錯性，近年來，人工神經元網絡用于模式分類成為當今的一個研究熱點問題。在眾多的網絡類型中，反向傳播神經網絡（Back Propagation Neural Networks，BPNN）是應用最為廣泛的一種神經網絡，但是，標準的BPNN收斂速度慢，訓練時間長和目標函數存在局部最小值等缺點[1?3]。Elman神經網絡是一種從輸出到輸入具有反饋連接的神經網絡，Elman神經網絡的輸出不僅作為輸出層的輸入，而且還連接隱含層內的另外一些神經元，并反饋至隱含層的輸入。由于Elman神經網絡的輸入表示信號的空域信息，而反饋支路是一個延遲單元，反映信號的時域信息，所以Elman神經網絡可以在時域和空域進行模式識別，并且逼近能力優于一般的靜態網絡，收斂速度快，能較好地克服BPNN的訓練時間長及計算復雜度高等缺點[4?5]。本文基于Elman神經網絡和標準BPNN的分別構建了分類模型，通過仿真實驗，對兩個模型的分類效果進行對比。仿真結果表明，在對二維數據進行模式分類時，基于Elman神經網絡的分類模型更具優勢，更適合于解決模式分類問題。

1BP神經網絡的算法

BPNN通過對輸入節點與隱層節點間的網絡權值wij、隱層節點與輸出節點間的網絡權值Tli及閾值[θ]的調整，使誤差函數沿梯度方向下降。設BPNN的輸入節點為xj、隱層節點為yi、輸出節點為Ol、輸出節點的期望輸出為tl， 則BPNN模型的隱層節點的輸出計算方法如式（1）所示，輸出節點的輸出計算方法如式（2）所示，輸出節點的誤差計算方法如式（3）所示[6?8]：

[yi=fjwijxj-θi] （1）

[Ol=fiTliyi-θl] （2）

[E=12ltl-fiTlijwij-θi-θl2] （3）

2Elman神經網絡的算法

Elman神經網絡的非線性狀態空間表達式為：

[y(k)=g(w3x(k))] （4）

[x(k)=f(w1xc(k)+w2(u(k-1)))] （5）

[xc(k)=x(k-1)] （6）

式中：k表示時刻；y，x，u，xc分別表示m維輸出節點向量，n維中間層結點單元向量，r維輸入向量和n維反饋狀態向量；w3，w2，w1分別表示中間層到輸出層、輸入層到中間層、承接層到中間層的連接權值；[g(?)]為輸出神經元的傳遞函數；[f(?)]為中間層神經元的傳遞函數。Elman神經網絡學習算法采用優化的BP算法，既可以提高網絡的訓練速率，又能有效抑制標準BPNN陷入局部極小值。學習的目標函數是采誤差平方和函數，式（7）中[yk(w)]為目標輸出量[9?10]。

[E(w)=k=1nyk(w)-yk(w)2] （7）

3仿真實驗

為了便于對Elman神經網絡和標準BPNN的分類性能進行研究，本文在Matlab R2013a環境下，分別構建了基于Elman神經網絡的分類模型和基于標準BPNN的分類模型，對輸入的二維向量模式進行分類實驗。仿真過程如下：

（1） 以已知的二維向量作為神經網絡的訓練樣本集，把向量的模式進行編碼作為目標樣本集。

（2） 建立Elman網絡分類模型和標準BPNN分類模型，對兩種網絡模型進行反復訓練，直到滿足要求，然后保存訓練好的網絡（如果所建立的網絡經充分訓練后仍無法達到要求，則需調整網絡結構）。

（3） 對所建立的Elman網絡分類模型和標準BPNN分類模型進行泛化能力測試，即對不在訓練樣本集空間內的樣本進行仿真，比較兩種網絡的仿真誤差，分析兩種網絡的實際分類性能。

3.1Elman與BP網絡分類模型的建立

利用Elman神經網絡和標準BPNN對圖1所示的24個樣本二維向量的模式進行分類。在對樣本二維向量的模式進行分類實驗時，網絡的輸出分別用（0 0 0 1）表示第一類模式、（0 0 1 0）表示第二類模式、（0 1 0 0）表示第三類模式、（1 0 0 0）表示第四類模式。對于Elman網絡，由樣本數據可知，網絡輸入層有24個神經元，輸出層有4個神經元，訓練函數為Trainlm，通過反復實驗，中間層神經元為7個時，網絡分類性能最好。

圖1 樣本向量與測試向量分布

針對標準BPNN，同樣輸入層有24個神經元，輸出層有4個神經元，訓練函數為Traingd。采用動態法來確定隱含層神經元數，即一開始選用較少的隱層神經元，如果學習一定次數后效果不好，再增加隱層神經元，一直達到比較合理的隱層神經元數為止，經過反復多次試驗隱含層神經元數最終確定為20，可以達到分類要求。

學習率太大，會造成網絡不穩定；學習率太小，網絡的訓練時間就會延長，收斂速度緩慢，最終陷入局部最小值。為了兼顧系統穩定性和具有較快的收斂速度，本文在建立Elman神經網絡和標準BPNN時，學習率選取為0.1；為了提高網絡的訓練速度和訓練的成功率，本文在進行仿真實驗時，利用minmax函數將訓練樣本集中各元素歸一化到（0，1）范圍內；訓練次數為20 000次，目標精度為0.001。

3.2Elman與標準BPNN分類模型對訓練樣本的分類結果

在目標精度設置為0.001、訓練樣本數目相等的條件下，Elman網絡分類模型與標準BPNN分類模型對訓練樣本的分類結果對比如表1所示。

表1 Elman與標準BPNN對訓練樣本的分類結果對比

Elman與標準BPNN對訓練樣本分類的誤差變化曲線如圖2和圖3所示。

可以看出，標準BPNN分類模型需要17 885步才能達到目標精度，收斂時間需要32.02 s，均方誤差為0.000 999 95；Elman網絡分類模型只需要18步就可以達到目標精度，收斂時間僅僅需要0.87 s，均方誤差僅為0.000 137 31，遠遠高于目標精度要求。總的來說，對于訓練樣本集而言，只要訓練步數設置足夠大，Elman網絡分類模型與標準BPNN分類模型都能在規定的訓練步數范圍內完成對訓練樣本的模式分類任務，但相比之下，Elman網絡分類模型的收斂時間明顯比標準BPNN分類模型少，均方誤差也遠小于標準BPNN分類模型。由此可以得出結論，Elman網絡分類模型對于訓練樣本分類的準確性和分類精度更高，收斂速度更快。

3.3Elman與標準BPNN分類模型的泛化能力測試

為了測試Elman網絡分類模型與標準BPNN分類模型的泛化能力，本文分別利用兩種分類模型（經過訓練后的網絡）對測試向量進行分類。

設置4個分屬于不同類別的測試向量，如圖1所示，（5.20，6.00） 屬于第1類，（5.14，5.69） 屬于第2類，（5.35，5.81） 屬于第3類，（5.57，5.95） 屬于第4類，利用仿真函數sim得到網絡的輸出。從表2可以看出，標準BPNN分類模型的最大絕對誤差為0.134 3，Elman網絡分類模型的最大絕對誤差僅為-0.027 6。

總的來說，相對于測試樣本集而言，Elman網絡分類模型的分類結果更為精確，收斂速度更快，分類性能更優；標準BPNN分類模型的分類結果誤差較大，收斂速度緩慢，分類性能較差。

圖2 Elman神經網絡訓練誤差變化曲線

圖3 標準BP神經網絡訓練誤差變化曲線

4結語

文中分別構建了基于Elman神經網絡的分類模型和基于標準BPNN的分類模型，并對輸入的二維向量模式進行分類實驗。仿真結果表明：只要訓練步數設置足夠大，Elman網絡分類模型與標準BPNN分類模型都能在規定預設精度范圍內完成分類任務。但相比之下，Elman網絡分類模型的收斂速度更快，訓練準確性和分類精度更高，分類性能更優。所以在工程技術領域內進行設備的故障分類、故障診斷和區域劃分等應用時建議優先采用Elman神經網絡進行分類，如果采用標準BPNN進行分類，則需要對標準BP算法進行合理改進，否則很難滿足實際分類要求。

參考文獻

[1] 周黃斌，周永華，朱麗娟.基于Matlab的改進BP神經網絡的實現與比較[J].計算技術與自動化，2008（1）：28?31.

[2] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Application of probabilistic neural network in pattern classification [J]. AppliedMechanics and Materials， 2014 （441）： 738?741.

[3] 丁碩，巫慶輝.基于改進BP神經網絡的函數逼近性能對比研究[J].計算機與現代化，2012（11）：10?13.

[4] 韓旭明.Elman神經網絡的應用研究[D].天津：天津大學，2006.

[5] 范燕，申東日，陳義俊，等.基于改進Elman 神經網絡的非線性預測控制[J].河南科技大學學報：自然科學版，2007，28（1）：41?45.

[6] 劉天舒.BP神經網絡的改進研究及應用[D].哈爾濱：東北林業大學，2011.

[7] DING Shuo， WU Qing?hui. A MATLAB?based study on approximation performances of improved algorithms of typical BP neural networks [J]. Applied Mechanics and Materials， 2013 （313/314）： 1353?1356.

[8] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Approximation performance of BP neural networks improved by heuristic approach [J]. Applied Mechanics and Materials， 2013 （411/414）： 1952?1955.

[9] 錢家忠，呂純，趙衛東，等.Elman與BP神經網絡在礦井水源判別中的應用[J].系統工程理論與實踐，2010，30（1）：145?150.

[10] 何定，徐鵬.Elman與BP神經網絡應用于交通流預測的對比研究[J].工業工程，2010，13（6）：97?100.

圖1 樣本向量與測試向量分布

針對標準BPNN，同樣輸入層有24個神經元，輸出層有4個神經元，訓練函數為Traingd。采用動態法來確定隱含層神經元數，即一開始選用較少的隱層神經元，如果學習一定次數后效果不好，再增加隱層神經元，一直達到比較合理的隱層神經元數為止，經過反復多次試驗隱含層神經元數最終確定為20，可以達到分類要求。

學習率太大，會造成網絡不穩定；學習率太小，網絡的訓練時間就會延長，收斂速度緩慢，最終陷入局部最小值。為了兼顧系統穩定性和具有較快的收斂速度，本文在建立Elman神經網絡和標準BPNN時，學習率選取為0.1；為了提高網絡的訓練速度和訓練的成功率，本文在進行仿真實驗時，利用minmax函數將訓練樣本集中各元素歸一化到（0，1）范圍內；訓練次數為20 000次，目標精度為0.001。

3.2Elman與標準BPNN分類模型對訓練樣本的分類結果

在目標精度設置為0.001、訓練樣本數目相等的條件下，Elman網絡分類模型與標準BPNN分類模型對訓練樣本的分類結果對比如表1所示。

表1 Elman與標準BPNN對訓練樣本的分類結果對比

Elman與標準BPNN對訓練樣本分類的誤差變化曲線如圖2和圖3所示。

可以看出，標準BPNN分類模型需要17 885步才能達到目標精度，收斂時間需要32.02 s，均方誤差為0.000 999 95；Elman網絡分類模型只需要18步就可以達到目標精度，收斂時間僅僅需要0.87 s，均方誤差僅為0.000 137 31，遠遠高于目標精度要求。總的來說，對于訓練樣本集而言，只要訓練步數設置足夠大，Elman網絡分類模型與標準BPNN分類模型都能在規定的訓練步數范圍內完成對訓練樣本的模式分類任務，但相比之下，Elman網絡分類模型的收斂時間明顯比標準BPNN分類模型少，均方誤差也遠小于標準BPNN分類模型。由此可以得出結論，Elman網絡分類模型對于訓練樣本分類的準確性和分類精度更高，收斂速度更快。

3.3Elman與標準BPNN分類模型的泛化能力測試

為了測試Elman網絡分類模型與標準BPNN分類模型的泛化能力，本文分別利用兩種分類模型（經過訓練后的網絡）對測試向量進行分類。

設置4個分屬于不同類別的測試向量，如圖1所示，（5.20，6.00） 屬于第1類，（5.14，5.69） 屬于第2類，（5.35，5.81） 屬于第3類，（5.57，5.95） 屬于第4類，利用仿真函數sim得到網絡的輸出。從表2可以看出，標準BPNN分類模型的最大絕對誤差為0.134 3，Elman網絡分類模型的最大絕對誤差僅為-0.027 6。

總的來說，相對于測試樣本集而言，Elman網絡分類模型的分類結果更為精確，收斂速度更快，分類性能更優；標準BPNN分類模型的分類結果誤差較大，收斂速度緩慢，分類性能較差。

圖2 Elman神經網絡訓練誤差變化曲線

圖3 標準BP神經網絡訓練誤差變化曲線

4結語

文中分別構建了基于Elman神經網絡的分類模型和基于標準BPNN的分類模型，并對輸入的二維向量模式進行分類實驗。仿真結果表明：只要訓練步數設置足夠大，Elman網絡分類模型與標準BPNN分類模型都能在規定預設精度范圍內完成分類任務。但相比之下，Elman網絡分類模型的收斂速度更快，訓練準確性和分類精度更高，分類性能更優。所以在工程技術領域內進行設備的故障分類、故障診斷和區域劃分等應用時建議優先采用Elman神經網絡進行分類，如果采用標準BPNN進行分類，則需要對標準BP算法進行合理改進，否則很難滿足實際分類要求。

參考文獻

[1] 周黃斌，周永華，朱麗娟.基于Matlab的改進BP神經網絡的實現與比較[J].計算技術與自動化，2008（1）：28?31.

[2] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Application of probabilistic neural network in pattern classification [J]. AppliedMechanics and Materials， 2014 （441）： 738?741.

[3] 丁碩，巫慶輝.基于改進BP神經網絡的函數逼近性能對比研究[J].計算機與現代化，2012（11）：10?13.

[4] 韓旭明.Elman神經網絡的應用研究[D].天津：天津大學，2006.

[5] 范燕，申東日，陳義俊，等.基于改進Elman 神經網絡的非線性預測控制[J].河南科技大學學報：自然科學版，2007，28（1）：41?45.

[6] 劉天舒.BP神經網絡的改進研究及應用[D].哈爾濱：東北林業大學，2011.

[7] DING Shuo， WU Qing?hui. A MATLAB?based study on approximation performances of improved algorithms of typical BP neural networks [J]. Applied Mechanics and Materials， 2013 （313/314）： 1353?1356.

[8] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Approximation performance of BP neural networks improved by heuristic approach [J]. Applied Mechanics and Materials， 2013 （411/414）： 1952?1955.

[9] 錢家忠，呂純，趙衛東，等.Elman與BP神經網絡在礦井水源判別中的應用[J].系統工程理論與實踐，2010，30（1）：145?150.

[10] 何定，徐鵬.Elman與BP神經網絡應用于交通流預測的對比研究[J].工業工程，2010，13（6）：97?100.

圖1 樣本向量與測試向量分布

針對標準BPNN，同樣輸入層有24個神經元，輸出層有4個神經元，訓練函數為Traingd。采用動態法來確定隱含層神經元數，即一開始選用較少的隱層神經元，如果學習一定次數后效果不好，再增加隱層神經元，一直達到比較合理的隱層神經元數為止，經過反復多次試驗隱含層神經元數最終確定為20，可以達到分類要求。

學習率太大，會造成網絡不穩定；學習率太小，網絡的訓練時間就會延長，收斂速度緩慢，最終陷入局部最小值。為了兼顧系統穩定性和具有較快的收斂速度，本文在建立Elman神經網絡和標準BPNN時，學習率選取為0.1；為了提高網絡的訓練速度和訓練的成功率，本文在進行仿真實驗時，利用minmax函數將訓練樣本集中各元素歸一化到（0，1）范圍內；訓練次數為20 000次，目標精度為0.001。

3.2Elman與標準BPNN分類模型對訓練樣本的分類結果

在目標精度設置為0.001、訓練樣本數目相等的條件下，Elman網絡分類模型與標準BPNN分類模型對訓練樣本的分類結果對比如表1所示。

表1 Elman與標準BPNN對訓練樣本的分類結果對比

Elman與標準BPNN對訓練樣本分類的誤差變化曲線如圖2和圖3所示。

可以看出，標準BPNN分類模型需要17 885步才能達到目標精度，收斂時間需要32.02 s，均方誤差為0.000 999 95；Elman網絡分類模型只需要18步就可以達到目標精度，收斂時間僅僅需要0.87 s，均方誤差僅為0.000 137 31，遠遠高于目標精度要求。總的來說，對于訓練樣本集而言，只要訓練步數設置足夠大，Elman網絡分類模型與標準BPNN分類模型都能在規定的訓練步數范圍內完成對訓練樣本的模式分類任務，但相比之下，Elman網絡分類模型的收斂時間明顯比標準BPNN分類模型少，均方誤差也遠小于標準BPNN分類模型。由此可以得出結論，Elman網絡分類模型對于訓練樣本分類的準確性和分類精度更高，收斂速度更快。

3.3Elman與標準BPNN分類模型的泛化能力測試

為了測試Elman網絡分類模型與標準BPNN分類模型的泛化能力，本文分別利用兩種分類模型（經過訓練后的網絡）對測試向量進行分類。

設置4個分屬于不同類別的測試向量，如圖1所示，（5.20，6.00） 屬于第1類，（5.14，5.69） 屬于第2類，（5.35，5.81） 屬于第3類，（5.57，5.95） 屬于第4類，利用仿真函數sim得到網絡的輸出。從表2可以看出，標準BPNN分類模型的最大絕對誤差為0.134 3，Elman網絡分類模型的最大絕對誤差僅為-0.027 6。

總的來說，相對于測試樣本集而言，Elman網絡分類模型的分類結果更為精確，收斂速度更快，分類性能更優；標準BPNN分類模型的分類結果誤差較大，收斂速度緩慢，分類性能較差。

圖2 Elman神經網絡訓練誤差變化曲線

圖3 標準BP神經網絡訓練誤差變化曲線

4結語

文中分別構建了基于Elman神經網絡的分類模型和基于標準BPNN的分類模型，并對輸入的二維向量模式進行分類實驗。仿真結果表明：只要訓練步數設置足夠大，Elman網絡分類模型與標準BPNN分類模型都能在規定預設精度范圍內完成分類任務。但相比之下，Elman網絡分類模型的收斂速度更快，訓練準確性和分類精度更高，分類性能更優。所以在工程技術領域內進行設備的故障分類、故障診斷和區域劃分等應用時建議優先采用Elman神經網絡進行分類，如果采用標準BPNN進行分類，則需要對標準BP算法進行合理改進，否則很難滿足實際分類要求。

參考文獻

[1] 周黃斌，周永華，朱麗娟.基于Matlab的改進BP神經網絡的實現與比較[J].計算技術與自動化，2008（1）：28?31.

[2] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Application of probabilistic neural network in pattern classification [J]. AppliedMechanics and Materials， 2014 （441）： 738?741.

[3] 丁碩，巫慶輝.基于改進BP神經網絡的函數逼近性能對比研究[J].計算機與現代化，2012（11）：10?13.

[4] 韓旭明.Elman神經網絡的應用研究[D].天津：天津大學，2006.

[5] 范燕，申東日，陳義俊，等.基于改進Elman 神經網絡的非線性預測控制[J].河南科技大學學報：自然科學版，2007，28（1）：41?45.

[6] 劉天舒.BP神經網絡的改進研究及應用[D].哈爾濱：東北林業大學，2011.

[7] DING Shuo， WU Qing?hui. A MATLAB?based study on approximation performances of improved algorithms of typical BP neural networks [J]. Applied Mechanics and Materials， 2013 （313/314）： 1353?1356.

[8] DING Shuo， CHANG Xiao?heng， WU Qing?hui. Approximation performance of BP neural networks improved by heuristic approach [J]. Applied Mechanics and Materials， 2013 （411/414）： 1952?1955.

[9] 錢家忠，呂純，趙衛東，等.Elman與BP神經網絡在礦井水源判別中的應用[J].系統工程理論與實踐，2010，30（1）：145?150.

[10] 何定，徐鵬.Elman與BP神經網絡應用于交通流預測的對比研究[J].工業工程，2010，13（6）：97?100.