改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型實證分析

楊魯景，武 進(jìn)，石鵬飛

（成都理工大學(xué)管理科學(xué)學(xué)院，四川成都 610059）

改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型實證分析

楊魯景，武 進(jìn)，石鵬飛

（成都理工大學(xué)管理科學(xué)學(xué)院，四川成都 610059）

對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了簡單分析，并針對傳統(tǒng)BP網(wǎng)絡(luò)的缺陷，提出了一些改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)。最后建立基于神經(jīng)網(wǎng)絡(luò)的人口預(yù)測的模型，用傳統(tǒng)BP網(wǎng)絡(luò)和LMBP網(wǎng)絡(luò)進(jìn)行預(yù)測對比，結(jié)果顯示LMBP網(wǎng)絡(luò)有非常好的預(yù)測效果，與傳統(tǒng)的BP網(wǎng)絡(luò)相比有更高的預(yù)測精度。

BP神經(jīng)網(wǎng)絡(luò);L-M算法;人口預(yù)測

1 BP神經(jīng)網(wǎng)絡(luò)

BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)，即誤差反向傳播算法的學(xué)習(xí)過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。當(dāng)實際輸出與期望輸出不符時，進(jìn)入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。它是在Widrow-Hoff學(xué)習(xí)算法和ADALINE(ADApive Linear Neuron)網(wǎng)絡(luò)的基礎(chǔ)上針對其單層網(wǎng)絡(luò)結(jié)構(gòu)只能解決線性可分問題的局限性而提出的。BP神經(jīng)網(wǎng)絡(luò)可以用來訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)，通過自我學(xué)習(xí)來調(diào)節(jié)網(wǎng)絡(luò)參數(shù)從而能夠解決復(fù)雜的非線性關(guān)系的數(shù)據(jù)分析預(yù)測和性能優(yōu)化問題。

BP算法使用均方誤差作為性能指數(shù)，并使用最速下降法作為學(xué)習(xí)規(guī)則。算法的輸入是一個網(wǎng)絡(luò)正確行為的樣本集合：{p1,t1},{p2,t2},…,{pQ,tQ}。其中pq是網(wǎng)絡(luò)的輸入，tq是對應(yīng)的目標(biāo)輸出。每輸入一個樣本，便將網(wǎng)絡(luò)輸出與目標(biāo)輸出相比較。算法將調(diào)整網(wǎng)絡(luò)參數(shù)以使均方誤差最小化，其均方誤差函數(shù)F(x)為：

其中，x是網(wǎng)絡(luò)權(quán)值和偏置值的向量。算法通過使用第k次迭代時的均方誤差代替均方誤差的期望值來近似均方誤差的計算，近似均方誤差的最速下降算法為：

其中,α表示學(xué)習(xí)速度，m表示神經(jīng)網(wǎng)絡(luò)的第m層。

由于均方誤差函數(shù)F(x)只是網(wǎng)絡(luò)最后一層權(quán)值和偏置值得顯式函數(shù)，所以為了計算其對網(wǎng)絡(luò)任意層的權(quán)值和偏置值的偏導(dǎo)數(shù)，我們引入敏感度的概念。神經(jīng)元敏感度定義為：

它表示均方誤差函數(shù)對網(wǎng)絡(luò)第m層中第i個神經(jīng)元凈輸入變化的敏感性。則現(xiàn)在可以將近似最速下降法表示為：

式(5)和(6)給出了使用最速下降法計算權(quán)值矩陣wm(k+1)和偏置值矩陣bm(k+1)的表達(dá)式，唯一未知的就是敏感度向量sm。假設(shè)最后一層為第M層，則可以先求出網(wǎng)絡(luò)最后一層即第M層的敏感度sM，其矩陣形式為：

然后再用最后一層的敏感度逐一求出前面所有層的敏感度。即敏感度反向傳遞。敏感度間的遞推關(guān)系式為：

雖然BP網(wǎng)絡(luò)得到了廣泛的應(yīng)用，但由于其反向傳播算法為最速下降法，自身也存在一些缺陷和不足。主要問題有兩個：

首先，由于網(wǎng)絡(luò)誤差曲面在參數(shù)空間中的變化很大，在一些區(qū)域曲面非常平坦時，我們需要一個大的學(xué)習(xí)速率，而在區(qū)域曲率很高時，需要一個小的學(xué)習(xí)速率，但算法設(shè)定的學(xué)習(xí)速率是固定的，因此很難為其選擇一個合適的學(xué)習(xí)速率。且BP網(wǎng)絡(luò)采用的是目標(biāo)函數(shù)的一階導(dǎo)數(shù)信息導(dǎo)致其只具有線性收斂速度，網(wǎng)絡(luò)的收斂速度較慢，需要較長的訓(xùn)練時間;其次，BP網(wǎng)絡(luò)使用的是最速下降算法，而最速下降算法是一種局部優(yōu)化算法，但多層網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)函數(shù)曲面通常比較復(fù)雜。BP網(wǎng)絡(luò)可以使權(quán)值收斂到某個值，但這個值可能只是一個局部最小值，不一定是誤差平面的全局最小值。

2 改進(jìn)BP神經(jīng)網(wǎng)絡(luò)

由于傳統(tǒng)BP算法使用的是最速下降算法，故稱其為SDBP(Steepest Descent Back Propagation)算法，其收斂速度比較慢。針對這個問題在實際應(yīng)用中產(chǎn)生了相應(yīng)的改進(jìn)算法。改進(jìn)的BP算法通常分為兩類：啟發(fā)式方法和標(biāo)準(zhǔn)的數(shù)值優(yōu)化方法。啟發(fā)式方法主要有：動量方法(MOBP)和改變學(xué)習(xí)速度方法(VLBP)。MOBP易于實現(xiàn)，并可以用批處理或增量處理模式，但他需要選擇動量系統(tǒng)，且r的取值范圍限制于[0,1]內(nèi)，并且算法對它的選擇并不敏感。VLBP方法比MOBP快，但只能用批處理方式。所以它需要更多的存儲空間。標(biāo)準(zhǔn)的數(shù)值優(yōu)化方法主要有：共軛梯度法(CGBP)和Levenberg-Marquardt方法(LMBP)。CGBP也是一種批處理方法，在每次迭代時要進(jìn)行線性搜索，速度通常要快于VLBP。LMBP效果最為顯著，速度比前面三種改進(jìn)BP算法都要快。它需要選擇兩個參數(shù)，但算法對參數(shù)的選擇關(guān)系并不敏感。本文采用的即是LMBP算法。

Levenberg-Marquardt算法是牛頓法的變形，用以最小化那些作為其他非線性函數(shù)平方和的函數(shù)。假設(shè)列向量。使用牛頓法作為網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則，則：

其中，為Hessian矩陣的逆矩陣，gk為梯度。

設(shè)誤差函數(shù)為e(x)，性能函數(shù)為誤差平方和函數(shù)F(x)，則：

其中J(x)為Jacobian矩陣。

Hessian矩陣可以近似表示為

如果假設(shè)S(x)很小，可以將Hessian矩陣近似表示為

由此可以得到變形的高斯-牛頓法：

Levenberg-Marquardt算法中的關(guān)鍵一步就是求Jacobian矩陣：假設(shè)誤差向量為：

參數(shù)向量為：

Jacobian矩陣中的元素可以由BP算法的簡單改進(jìn)計算，由于誤差函數(shù)只是網(wǎng)絡(luò)最后一層權(quán)值和偏置值的顯式函數(shù)，我們?nèi)孕枰朊舾卸雀拍睢Ｓ捎贚MBP算法是將所有輸入數(shù)據(jù)作為一個整體進(jìn)行處理，故它的敏感度相當(dāng)于BP算法的敏感度的矩陣增廣。最終得到的敏感度增廣矩陣間的遞推關(guān)系表達(dá)式為：

LMBP算法不像BP算法那樣從輸入樣本集中一次選擇一個輸入進(jìn)行迭代訓(xùn)練，它使用一種批量處理的方式，將數(shù)據(jù)樣本集作為一個整體，當(dāng)整個訓(xùn)練集都參與計算后網(wǎng)絡(luò)參數(shù)才會更新，這些樣本的梯度被平均在一起以或得更精確的梯度估計，從而減少局部收斂的情況。而且LMBP算法采用的是牛頓法的變形，由于引入了Jacobian矩陣，在對網(wǎng)絡(luò)參數(shù)求偏導(dǎo)時使用誤差的導(dǎo)數(shù)來代替均方誤差的導(dǎo)數(shù)，使其與BP算法相比具有更快的收斂速度。

3 實證分析

本文選取了中國統(tǒng)計局公布的1993～2013年人口數(shù)據(jù)。其中1993～2012年這20年的數(shù)據(jù)作為預(yù)測模型的原始數(shù)列進(jìn)行網(wǎng)絡(luò)訓(xùn)練，用2013年人口數(shù)據(jù)進(jìn)行檢驗。首先，分別用傳統(tǒng)的BP算法和LMBP算法建立網(wǎng)絡(luò)，1993～2012年的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，網(wǎng)絡(luò)訓(xùn)練完成后，再用兩個訓(xùn)練好的網(wǎng)絡(luò)分別預(yù)測2013年人口數(shù)量（見表1與圖1）。

表1 BP算法與LMBP算法預(yù)測結(jié)果

圖1 BP算法與LMBP算法預(yù)測效果圖

從表1可以看出，LMBP網(wǎng)絡(luò)與原始BP網(wǎng)絡(luò)相比，有更高的預(yù)測精度。從圖1可以看出雖然傳統(tǒng)的BP網(wǎng)絡(luò)預(yù)測結(jié)果反應(yīng)了預(yù)測數(shù)據(jù)的一定發(fā)展趨勢，但其預(yù)測波動較大，顯現(xiàn)出較大的誤差，而LMBP網(wǎng)絡(luò)很好的模擬了預(yù)測數(shù)據(jù)，預(yù)測結(jié)果很平穩(wěn)，預(yù)測精度也很高。

4 結(jié)論

本文通過人口預(yù)測的實證分析反應(yīng)出了傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測雖然能體現(xiàn)出人口發(fā)展呈增長的趨勢，但對于預(yù)測人口數(shù)量，其誤差太大。而LMBP神經(jīng)網(wǎng)絡(luò)很好彌補(bǔ)了傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的缺點，其預(yù)測的結(jié)果非常精確，網(wǎng)絡(luò)也更穩(wěn)定。但LMBP神經(jīng)網(wǎng)絡(luò)需要存儲Jacobian矩陣，所以其存儲需求大，同時對于求JTJ矩陣的逆，因該矩陣是n×n的(n是網(wǎng)絡(luò)中權(quán)值和偏置值的總數(shù)),如果神經(jīng)網(wǎng)絡(luò)中的參數(shù)過多，計算將會變得很復(fù)雜甚至是難以實現(xiàn)，這些問題都需要進(jìn)一步的改進(jìn)和完善。

[1]Martin T，Hagan,Howard B.et al.Neural Network Design[M].北京：機(jī)械工業(yè)出版社，2002.

[2]聞新，周露，王丹力，等.Matlab神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計[M].北京：科技出版社，2000.

[3]李文學(xué),李慧,賀琳.BP神經(jīng)網(wǎng)絡(luò)在非線性時間序列預(yù)測中的應(yīng)用[J].長春工業(yè)大學(xué)學(xué)報：自然科學(xué)版,2003,24(3)：39-40.

[4]羅東坤,徐平.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的天然氣需求預(yù)測[J].油氣田地面工程,2008,27(7)：20-21.

[5]陶陽威,孫梅,王小芳.基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的中國能源需求預(yù)測研究[J].山西財經(jīng)大學(xué)學(xué)報,2010,32(2)：3-5.

Empirical Analysis of Improved BP Neural Network Prediction Model

YANG Lu-jing,WU Jin,SHI Peng-fei
(School of Management Science,Chengdu University of Technology,Chengdu Sichuan,610059)

In this paper,the BP neural networks are briefly analyzed,and aiming at the shortage of the conventional BP networks,some improved BP neural network is proposed.Finally,a population prediction model base on neural network is established.The forecast results are compared between the traditional BP network and LMBP network.The results show that LMBP network has very good forecast effect,and compared with the tradition BP algorithm,it has higher forecast accuracy.

BP neural networks;L-M algorithm;population prediction

175.14

A

1674-0874(2015)04-0014-03

2015-04-18

楊魯景(1991-)，男，苗族，貴州銅仁人，在讀碩士,研究方向：基礎(chǔ)數(shù)學(xué)與概率論。

〔責(zé)任編輯 高海〕