基于改進Elman神經網絡的電子元件性能預測

呂衛民，肖陽，徐珂文，江式偉

(海軍航空工程學院a.七系; b.研究生管理大隊，山東 煙臺 264001)

基于改進Elman神經網絡的電子元件性能預測

呂衛民a，肖陽b，徐珂文a，江式偉a

(海軍航空工程學院a.七系; b.研究生管理大隊，山東 煙臺 264001)

為提高傳統Elman神經網絡的動態性能，通過增加輸出層與承接層之間的反饋環節，提出了一種新的改進的Elman神經網絡模型，利用梯度下降原理對其學習算法進行了推導。同時引入附加動量和變學習率算法，建立了基于改進Elman神經網絡的預測方法，并將其應用于電子元件性能參數的預測中。仿真實驗證明，相比于BP和傳統Elman神經網絡，改進后的Elman神經網絡訓練速率快，預測精度高，具有良好的動態性能。由此可見，改進的Elman神經網絡模型在對具有非線性時序特征參數的預測中，具有良好的應用前景。

Elman神經網絡；梯度下降；動態性能；反饋環節；學習算法；預測

0 引言

電子元件在長期的貯存過程中，由于受到溫度、濕度以及化學等外界應力的影響，其內部材料會發生腐蝕、老化等物理或化學變化，其性能參數的變化是一個復雜的非線性過程[1]，用一般的預測方法難以對其達到精確預測的目的。人工神經網絡模擬人的大腦活動，具有極強的非線性逼近、大規模并行處理、自訓練學習、自組織和容錯能力等優點[2-3]，為解決復雜的非線性問題提供了有力工具，已應用于電子元件性能方面預測。比如，楊少華[4]和孫鳳艷[5]分別利用BP(back propagation)神經網絡，對電容器的性能參數進行了預測，平均相對誤差較小，預測效果顯著；王紳宇[6]在提取動車電力電子電路主要元器件特征參數的基礎上，基于RBF(radial basis function)神經網絡，對電力電子電路的工作狀態進行了預測，具有較好的非線性狀態跟蹤效果；鄒心遙等人[7]基于BP神經網絡，對恒電流應力作用下MOS(metal-oxide semiconductor)電容的介質擊穿(time-dependent dielectric breakdown, TDDB)加速壽命試驗故障數據進行了預測，較好地預測出MOS電容在電流作用下的失效時間；為提高印刷電路板(printed circuit board, PCB)鉆孔工藝，在研究孔偏成因的基礎上，孫遠明[8]提出了基于通過建立RBF神經網絡模型，對鉆孔偏移量進行了預測，提高了PCB的工藝參數。

綜上所述，基于神經網絡的電子元件性能預測大多采用BP,RBF等前饋式神經網絡[9-11]。前饋式神經網絡學習收斂速度慢、訓練困難且對外部噪聲敏感，不能保證收斂到全局最小點，網絡的學習和記憶具有不穩定性[12]。相比之下，作為典型的反饋神經網絡，Elman網絡有預測可靠準確、收斂迅速、學習記憶穩定和動態特性好等優點[13-14]。因此，針對具有非線性時間序列特征的元器件性能參數，本文提出一種基于改進Elman神經網絡的電子元件貯存性能預測模型，通過增加輸出層與承接層之間的反饋環節，提高了網絡的逼近精度和動態映射能力。仿真實驗證明，改進的Elman神經網絡具有更好的動態性能，預測精度高，收斂速度快，克服了BP神經網絡計算復雜度高和訓練時間長等缺點，同時也避免了傳統Elman神經網絡容易陷入局部最優和收斂速度慢等問題。

1 Elman神經網絡

1.1 Elman神經網絡結構

Elman神經網絡是一種動態的反饋網絡，它由輸入層、隱含層(中間層)、承接層和輸出層組成。其中輸入層、輸出層和隱含層的連接類似于前饋式網絡[15]，輸入層負責外部信號的傳入，輸出層起線性加權作用[12]。隱含層單元的傳遞函數可選用線性或非線性函數，承接層用來存儲隱含層單元以前時刻的輸出值，可認為是一個延時算子，它使得系統具有適應時變特性和動態記憶的能力，其結構如圖1所示。

圖1 Elman神經網絡結構示意圖Fig.1 Illustration of Elman neural network structure

Elman神經網絡的特點是隱含層的輸出通過承接層的延遲與存儲[15]，自聯到隱含層的輸入，這種自聯方式使得它對歷史數據具有敏感性，內部反饋網絡的加入大大增強了網絡本身處理動態信息的能力，從而達到動態建模的目的[16]。此外，對于任意非線性映射，Elman網絡能夠以任意精度進行逼近，且無需考慮外部干擾對系統造成的影響，只要給出系統的輸入-輸出數據對，就可以對系統進行建模分析。

1.2 Elman神經網絡學習過程

設Elman網絡輸入層、隱含層和輸出層節點數分別為M，L，N，承接層節點數與隱含層節點數相等，則Elman神經網絡的非線性狀態空間表達式為

j=1,2,…,L，

(1)

(2)

i=1,2,…,M;z=1,2,…,L，

(3)

(4)

(5)

2 改進Elman神經網絡

2.1 改進Elman神經網絡結構

由Elman神經網絡結構可以看出，承接層節點實際上起到了存儲隱含層節點歷史信息的作用[17-18]。輸入信息首先由隱含層傳輸到承接層，然后再由承接層反饋到隱含層，二者的連接實際上形成了一種實時反饋機制，使得Elman神經網絡既可以存儲當前時刻的信息，又可以存儲過去某個時刻的信息，從而增強了網絡處理動態信息的能力。所以，為進一步提高Elman神經網絡的收斂速度和動態特性，就要充分利用承接層節點的輸出[19]。受到王常虹等人提出的改進的Elman神經網絡模型[19]的啟發，并對時小虎等人提出的OIF Elman人工神經網絡[20-21]進行簡化，提出了一種新的改進的Elman神經網絡模型，具體結構如圖2所示。

相比于傳統Elman神經網絡，改進后的Elman網絡增加了輸出反饋環節，從而將輸出層的信息反饋給承接層，使得承接層不僅可以記憶隱含層當前k時刻以及過去k-1,k-2,…,k-n時刻的信息，還可以記憶輸出層當前k時刻與過去某些時刻的信息。由此觀之，改進后的Elman神經網絡在結構上將輸出層的輸出反饋和隱含層的狀態反饋有機地結合起來，進一步提高了網絡的動態映射能力。

圖2 改進Elman神經網絡結構示意圖Fig.2 Illustration of modified Elman neural network structure

2.2 改進Elman神經網絡模型及算法

q=1,2,…,N.

(6)

所以改進Elman神經網絡模型為

(7)

設Yq(k)為k時刻網絡的期望輸出，則在[0,T]時間段內，網絡的目標函數即逼近誤差函數為

(8)

對于Elman神經網絡連接權值修正量的Δw的計算，采用梯度下降原理[22]，如式(9)所示

(9)

式中：η為學習率。

綜上所述，可以得到改進Elman神經網絡算法如下：

(10)

(11)

當t=k時，有

(12)

(13)

所以

(14)

同理，可以得到

(15)

(16)

3 基于改進Elman神經網絡的預測方法

基于改進Elman神經網絡的時間序列預測步驟如下：

(1) 樣本的選取

S= {(x1,x2,…,xs),(x2,x3,…,xs+1),

…,(xn,xn+1,…,xn+s-1)}，

則對應的n個目標向量集合為

式中：s為時間序列數據的周期。

從而可以得到n組樣本數據(Si,Ti),i=1,2,…,n。取(Si,Ti),i=1,2,…,m作為訓練樣本，(Si,Ti),i=m,m+1,…,n作為測試樣本。

(2) 網絡結構初始化

網絡結構初始化主要包括確定網絡的輸入層、輸出層和隱含層的節點數以及隱含層數。特別地，由于隱含層的節點數對Elman網絡的性能影響較大，因此在進行參數預測前，首先通過對比不同隱含層節點所對應的Elman網絡的訓練性能，選擇收斂速度快、逼近精度高的網絡所對應的隱含層節點數作為預測網絡的隱含層節點數。

(3) 網絡參數初始化

在網絡進行學習訓練之前，要對各層間的連接權值進行初始化。根據多位學者和經驗專家的試驗探索[15]，當w初始值取(-0.3,+0.3)內的隨機數時，網絡能夠正常進行訓練并處于良好狀態。

此外，在訓練過程中，為保證網絡趨于穩定，引入變學習速率算法，如式(17)所示。

(17)

式中：SSE為網絡輸出誤差和；初始學習率η(0)一般取為0.1。

同時，為了防止連接權值w的修正陷入能量最小的困境，引入附加動量法，即令

w(k)=w(k-1)+Δw(k)+

(18)

式中：a為動量學習率；Δw(k)利用式(10)～(16)求得。

在網絡的訓練過程中，動量學習率a也在變化，如式(19)所示：

(19)

(4) 樣本歸一化

由于激活函數的飽和特性，需要對輸入、輸出樣本進行歸一化處理。利用式(20)將輸入樣本轉化為[0,1]區間的值。

(20)

式中:xmax,xmin分別代表樣本的最大值和最小值，工程應用中一般取1.1xmax和0.9xmin。

(5) 網絡的訓練

利用改進Elman神經網絡，計算各層神經元輸出及訓練誤差，直到網絡收斂于一定的學習目標；否則，根據訓練誤差，重新調整連接權值，直至達到訓練目標。

(6) 預測性能分析

為了更好地度量神經網絡的預測效果，需要從不同的角度度量網絡的預測性能。經綜合考慮，采用相對誤差(relative error, RE)和收斂到訓練目標時的迭代次數(number of iterations, NIT)作為評判算法優劣的標準，其中RE的計算公式為

(21)

式中：Yq為期望值；yq為預測值。

4 實例仿真

TR402ST09型整流二極管采用塑料封裝，安裝于某型裝備檢控器電路板上。其工作原理是利用PN(positive and negative)結的單向導電特性，把交流電變成脈動直流電。

長期貯存過程中，所承受的主要環境應力為溫度和濕度，二者雖然量級不高，但作用時間長。在長期溫、濕度作用下，塑性封裝材料發生老化，密封性降低，導致封腔內水汽含量增加，PN結發生金屬腐蝕，P區、N區摻雜不均勻，引起電阻率不均勻，電阻率低的部分，正向壓降較小，易被擊穿。

選取正向壓降作為二極管性能參數，其具有非線性時間序列特性，故可用本文提出的方法對其正向壓降值進行預測。在TR402ST09型整流二極管貯存過程中，每季度都隨機抽取100個樣品，對其正向壓降值進行檢測。收集該二極管近5年內正向壓降檢測值并進行歸一化處理，如表1所示。

表1 二極管正向壓降檢測值歸一化結果

以連續7個季度的檢測值作為輸入向量，第8季度的檢測值作為目標向量。這樣可以得到13組數據，如表2所示。取前9組數據作為訓練樣本，后4組數據作為測試樣本，通過預測值與期望值對比進行誤差分析。

表2 網絡訓練樣本和測試樣本

由于單隱含層Elman網絡能夠以任意精度逼近一個連續函數[23]，故采用三層網絡結構：輸入層節點數M=7，輸出層節點數N=1，則理論上隱含層的節點數L=15。由于隱含層節點數很大程度上影響著網絡的預測性能，故依次取隱含層的節點數L為7，11，15，18，然后根據網絡性能確定隱含層節點數的最優值。

設網絡訓練次數T=2 000，訓練目標為0.001，w初始值取(-0.3,+0.3)內的隨機數，η(0)=0.1，a=0.9，f(*)Sigmoid函數，利用Matlab進行仿真，得到不同隱含層節點數所對應的Elman網絡的訓練誤差曲線及預測誤差曲線，如圖3～4所示。

圖3 不同隱含層節點數所對應的訓練誤差曲線Fig.3 Training error curve of different hidden layer nodes

圖4 預測誤差曲線Fig.4 Curve of prediction error

通過對比發現，當隱含層節點數L=11時，網絡的收斂速度最快，只需進行653次迭代就使得均方誤差達到0.001，并且預測誤差最小，故神經網絡的結構取為7-11-1，即輸入層節點數為7，隱含層節點數為11，輸出層節點數為1。為驗證改進Elman神經網絡的預測性能，以2014年檢測數據作為期望輸出，分別采用改進Elman神經網絡、傳統Elman神經網絡以及BP神經網絡，對2014年TR402ST09型整流二極管各季度的正向壓降值進行預測。利用Matlab軟件仿真，得到3種模型的訓練誤差及預測結果曲線，如圖5～6所示。

3種模型的預測結果如表3所示，其中，訓練速率用NIT表示，預測精度用RE表示。

圖5 不同模型訓練誤差對比Fig.5 Training error comparison of different models

圖6 不同模型預測結果曲線Fig.6 Prediction curve of different models

觀察圖5～6及表3可知，在預測精度方面，改進Elman神經網絡的輸出值與實際值的擬合度較高，網絡的預測平均相對誤差為1.32%，而傳統Elman神經網絡和BP神經網絡的預測平均相對誤差分別為3.26%和4.37%；在訓練速率方面，改進Elman神經網絡迭代次數較少，只需進行513次迭代就使得均方誤差達到0.001，而傳統Elman神經網絡卻需要1 029次，BP神經網絡需要1 443次。由此可見，改進后的Elman神經網絡收斂速度快、逼近精度高，具有更好的動態映射能力。

表3 2014不同模型預測結果對比

5 結束語

本文通過對傳統Elman神經網絡進行分析與研究，提出了一種新的改進的Elman神經網絡模型，并將其應用于電子元件貯存性能參數的預測中。仿真實驗證明，相比于BP和傳統Elman神經網絡而言，改進后的Elman神經網絡訓練速率快，預測精度高，具有良好的動態性能。此外，由于引入了附加動量法和變學習率算法，使網絡趨于穩定，同時克服了BP和傳統Elman神經網絡易于陷入局部極小點的缺點。

下一步的工作主要針對改進Elman神經網絡的魯棒性和收斂性進行分析與研究，進一步提高網絡的穩定性和自適應性。

[ 1] 徐廷學, 甄偉, 陳紅. 基于Bayes理論的導彈貯存可靠性試驗研究[J]. 海軍航空工程學院學報, 2006, 21(6): 672-674. XU Ting-xue, ZHEN Wei, CHEN Hong. Experimental Study on the Reliability of Missile Storage Based on the Bayes Theory[J]. Journal of Naval Aeronautical and Astronautical University, 2006, 21(6): 672-674.

[ 2] 胡守仁, 于少波, 戴葵. 神經網絡導論[M]. 長沙: 國防科技大學出版社, 1993: 10-14. HU Shou-ren, YU Shao-bo, DAI Kui. Introduction of Neural Networks[M]. Changsha: National University of Defense Technology Press, 1993: 10-14.

[ 3] PAYA B A, ESAT I I. Artifical in Neural Network Based Fault Diagnostics of Rotating Machinery Using Wavelet Transforms as Preprocessor[J]. Mechanical Systems and Signal Processing, 1997, 11(5): 751-765.

[ 4] 楊少華. 電子元器件的貯存可靠性研究[D]. 廣東: 廣東工業大學, 2006. YANG Shao-hua. Research on the Storage Reliability of Electronic Components[D]. Guangzhou: Guangdong Industrial University, 2006.

[ 5] 孫鳳艷. 電力電子電路故障預測關鍵技術研究[D]. 南京: 南京航空航天大學, 2010. SUN Feng-yan. Research on Fault Prediction Method of Power Electronic Circuit[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2010.

[ 6] 王紳宇. 動車組電力電子電路微小故障預測方法研究[D]. 上海: 上海應用技術學院, 2015. WANG Shen-yu. Research on Incipient Fault Prediction of CHR Power Electronic Circuits [D]. Shanghai: Shanghai Applied Technology Institute, 2015.

[ 7] 鄒心遙, 姚若河. 基于BP神經網絡的電子元器件壽命預測[J]. 微電子學與計算機, 2009, 26(1):52-54. ZOU Xin-yao, YAO Ruo-he. Lifetime Prediction of Electronic Devices Based on Forecast System of Back Propagation Neural Network[J]. Microelectronics and Computer, 2009, 26(1):52-54.

[ 8] 孫遠明. 基于RBF的人工神經網絡在PCB鉆孔工藝中的應用[D].上海：上海交通大學, 2011. SUN Yuan-ming. Application of RBF Neural Network in PCB Drilling Process[D]. Shanghai: Shanghai Jiaotong University, 2011.

[ 9] SU Jing, ZHONG Zhi-hua. A Study on Prediction of Vehicle Critical Follow Distance Based on Driver’s Behavior by Using BP Neural Network[C]∥2013 Fifth Conference on Measuring Technology and Mechatronics Automation, Hong Kong, 2013: 114-118.

[10] LI Song, WANG Jing, LIU Bo. Prediction of Market Demand Based on AdaBoost_BP Neural Network[C]∥2013 International Conference on Computer Sciences and Applications, Wuhan, 2013: 305-308.

[11] MALATHI P,SURESH G R. Recognition of Isolated Words of Esophageal Speech Using GMM and Gradient Descent RBF Networks[C]∥2014 International Conference on Communication and Network Technologies (ICCNT), Paris, 2014: 174-177.

[12] 陳小明, 洪軍, 閻海紅, 等. 基于Elman神經網絡的振鏡掃描系統誤差校正技術研究[J]. 西安交通大學學報, 2006, 40(5): 587-590. CHEN Xiao-ming, HONG Jun, YAN Hai-hong, et al. Study on Error Correction in Dual Galvanometer Scanning System Based on Elman Recurrent Neural Network[J]. Journal of Xi’an Jiaotong University, 2006, 40(5): 587-590.

[13] NARENDRA K S, PARTHASARATHY K. Identification and Control of Dynamical Systems Using Neural Networks[J]. IEEE Trans. on Neural Networks, 1990, 1(1): 4-27.

[14] 湯寶平, 習建民, 李鋒. 基于Elman神經網絡的旋轉機械故障診斷[J]. 計算機集成制造系統, 2010, 16(10): 2148-2152. TANG Bao-ping, XI Jian-min, LI Feng. Fault Diagnosis for Rotating Machinery Based on Elman Neural Network[J]. Computer Integrated Manufacturing Systems, 2010, 16(10): 2148-2152.

[15] 任麗娜. 基于Elman神經網絡的中期電力負荷預測模型研究[D]. 蘭州: 蘭州理工大學, 2007. REN Li-na. Research on Medium-Term Electrical Load Forecasting Model Based on Elman Neural Network[D]. Lanzhou: Lanzhou University of Science and Technology, 2007.

[16] 黨小超, 郝占軍. 基于改進Elman神經網絡的網絡流量預測[J]. 計算機應用, 2010, 30(10): 2648-2652. DANG Xiao-chao, HAO Zhan-jun. Prediction for Network Traffic Based on Modified Elman Neural Network[J]. Journal of Computer Applications, 2010, 30(10): 2648-2652.

[17] 劉華春. 基于Elman神經網絡的股市決策模型[J]. 計算機應用, 2009, 29(6): 152-254. LIU Hua-chun. Stock Market’s Decision-Making Model Based on Elman Neural Network[J]. Journal of Computer Applications, 2009, 29(6): 152-254.

[18] 徐留興, 梁川, 秦遠清. 基于改進Elman模型在紫坪鋪月徑流預測中的應用[J]. 四川大學學報, 2006, 38(3): 38-41. XU Liu-xing, LIANG Chuan, QIN Yuan-qing. The Monthly Runoff Prediction of Zipingpu by Improved Elman Model[J]. Journal of Sichuan University, 2006, 38(3): 38-41.

[19] 王常虹, 高曉智, 徐立新, 等. 一種改進的Elman神經網絡模型[J]. 電子科學學刊, 1997, 19(6): 739-744. WANG Chang-hong, GAO Xiao-zhi, XU Li-xin, et al. A New Modified Elman Neural Network Model[J]. Journal of Electronics, 1997, 19(6): 739-744.

[20] SHI Xiao-hu. Improved Elman Networks and Applications for Controlling Ultrasonic Motors[J]. Applied Artificial Intelligence, 2004, 18(7): 603-629.

[21] 時小虎, 梁艷春, 徐旭. 改進的Elman模型與遞歸反控制神經網絡[J]. 軟件學報, 2003, 14(6): 1110-1119. SHI Xiao-hu, LIANG Yan-chun, XU Xu. Improved Elman Model and Recursive Neural Network Control[J]. Journal of Software, 2003, 14(6): 1110-1119.

[22] ZANELLA A, CHIANI M, WIN M Z. Statistical Analysis of Steepest Descend and LMS Detection Algorithms for MIMO Systems[J]. IEEE Trans. on Vehicular Technology, 2011, 60(9): 4667-4672.

[23] 侯福均, 吳祈宗. BP神經網絡在鐵路客運市場時間序列預測中的應用[J]. 運籌與管理, 2003, 12(4): 21-26. HOU Fu-jun, WU Qi-zong. Application of BP Neural Network in the Sequence Prediction of the Market of Railway Passenger Traffic[J]. Operations Research and Management Science, 2003, 12(4): 21-26.

Prediction for Electronic Component Performance Based on Modified Elman Neural Network

Lü Wei-mina，XIAO Yangb，XU Ke-wena, JIANG Shi-weia

(Naval Aeronautical Engineering Institute, a. The 7th Department; b. Graduate Student’s Brigade, Shandong Yantai 264001, China)

In order to improve the dynamic performance of traditional Elman neural network, a modified Elman neural network is proposed by adding the output feedback link between output layer and context layer, and its learning algorithm is deduced by using the theory of gradient descent. A prediction method based on modified Elman neural network is built with the additional momentum and variable learning speed algorithm, and it is applied in the prediction of electronic component performance parameters. The simulation experiments show that the modified model has good dynamic performance compared with back propagation (BP) and traditional Elman neural network, and it has faster training speed and higher precision. Thus, the modified Elman neural network model has a good application prospect in the prediction of nonlinear and time series parameters.

Elman neural network; gradient descent; dynamic performance; feedback link; learning algorithm; prediction

2016-02-26；

2016-04-25 作者簡介：呂衛民(1970-)，男，山東萊州人。教授，博士，主要研究方向為系統工程。

10.3969/j.issn.1009-086x.2017.01.026

TP183

A

1009-086X(2017)-01-0153-08

通信地址：264001 山東省煙臺市芝罘區二馬路188號七系 E-mail：lwm_yt@sina.com