基于LM-BP神經(jīng)網(wǎng)絡(luò)的農(nóng)機(jī)總動(dòng)力預(yù)測(cè)

張 力，王福林，劉宇燕，孫 婷

(東北農(nóng)業(yè)大學(xué) 工程學(xué)院，哈爾濱 150030)

?

基于LM-BP神經(jīng)網(wǎng)絡(luò)的農(nóng)機(jī)總動(dòng)力預(yù)測(cè)

張 力，王福林，劉宇燕，孫 婷

(東北農(nóng)業(yè)大學(xué) 工程學(xué)院，哈爾濱 150030)

利用黑龍江省1983-2013年農(nóng)機(jī)總動(dòng)力數(shù)據(jù)，運(yùn)用標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)和LM-BP神經(jīng)網(wǎng)絡(luò)對(duì)黑龍江省未來(lái)5年的農(nóng)機(jī)總動(dòng)力進(jìn)行預(yù)測(cè)。預(yù)測(cè)結(jié)果表明：在達(dá)到相同的誤差目標(biāo)值(即計(jì)算期望精度)，LM-BP神經(jīng)網(wǎng)絡(luò)與標(biāo)準(zhǔn)PB相比，具有更快的收斂速度。如果需進(jìn)一步減小誤差目標(biāo)值(即提高計(jì)算期望精度)時(shí)，標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)在16h內(nèi)都無(wú)法滿足給定的精度要求；而LM-BP神經(jīng)網(wǎng)絡(luò)在20s內(nèi)即可滿足給定的精度要求。此時(shí)，LM-BP神經(jīng)網(wǎng)絡(luò)的收斂速度優(yōu)勢(shì)非常明顯，而擬合的精度也進(jìn)一步提高，表明LM-BP神經(jīng)網(wǎng)絡(luò)具有較高的預(yù)測(cè)精度。準(zhǔn)確的預(yù)測(cè)黑龍江省農(nóng)機(jī)總動(dòng)力，可為黑龍江省農(nóng)業(yè)機(jī)械化發(fā)展規(guī)劃的制定和近階段農(nóng)業(yè)機(jī)械化的發(fā)展水平提供參考依據(jù)。

農(nóng)機(jī)總動(dòng)力；預(yù)測(cè)；LM-BP神經(jīng)網(wǎng)絡(luò)

0 引言

人工神經(jīng)網(wǎng)絡(luò)是一門高度綜合的交叉學(xué)科，其研究和發(fā)展涉及到神經(jīng)生理科學(xué)、數(shù)理科學(xué)、信息科學(xué)和計(jì)算機(jī)科學(xué)等眾多學(xué)科領(lǐng)域。BP神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的重要分支，其理論體系完善、算法流程清晰、數(shù)據(jù)識(shí)別功能強(qiáng)大，故得到了廣泛的應(yīng)用，在解決非線性系統(tǒng)問(wèn)題時(shí)，優(yōu)勢(shì)突出。

隨著對(duì)BP神經(jīng)網(wǎng)絡(luò)研究的逐步深入，也暴露出其誤差收斂速度過(guò)慢的問(wèn)題，其原因有以下幾點(diǎn)：一是BP神經(jīng)網(wǎng)絡(luò)中存在固定的學(xué)習(xí)率，而訓(xùn)練過(guò)程對(duì)學(xué)習(xí)率十分明顯，學(xué)習(xí)率過(guò)小，會(huì)導(dǎo)致性能指數(shù)收斂速度變小，訓(xùn)練時(shí)間變長(zhǎng)；當(dāng)學(xué)習(xí)率過(guò)大時(shí)，性能指數(shù)可能會(huì)在某個(gè)誤差等級(jí)上波動(dòng)。二是BP算法本質(zhì)是基于梯度的最速下降，利用權(quán)值的一階導(dǎo)數(shù)信息來(lái)指導(dǎo)下一步的權(quán)值調(diào)整方向，以求達(dá)到最終誤差最小來(lái)保證算法的收斂性；但誤差減小的速度最快并不能保證收斂速度是最快。三是多層BP神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)一般是Sigmoid函數(shù)。該函數(shù)能把無(wú)窮大的輸入變量，壓縮到一個(gè)取值范圍有限的輸出變量當(dāng)中。當(dāng)給Sigmoid函數(shù)一個(gè)很大輸入時(shí)，會(huì)使其斜率趨近于零。這時(shí)，盡管性能指數(shù)還遠(yuǎn)不能滿足預(yù)定的精度，但是此時(shí)的梯度幅度也會(huì)變得非常小，即權(quán)值和閾值的修正量也會(huì)變得非常小，這也會(huì)導(dǎo)致訓(xùn)練的時(shí)間變得非常長(zhǎng)。

農(nóng)業(yè)機(jī)械化的發(fā)展有利于減少農(nóng)村勞動(dòng)力需求，提高農(nóng)業(yè)生產(chǎn)率，而農(nóng)機(jī)總動(dòng)力是衡量農(nóng)業(yè)機(jī)械化水平的主要指標(biāo)[1-4]，也是制定農(nóng)業(yè)發(fā)展規(guī)劃的有力依據(jù)。因此，能夠精確預(yù)測(cè)農(nóng)機(jī)總動(dòng)力的發(fā)展趨勢(shì)，可以為區(qū)域農(nóng)機(jī)發(fā)展規(guī)劃和宏觀調(diào)控工作提供參考。農(nóng)業(yè)機(jī)械總動(dòng)力是指用于農(nóng)、林、副、漁的機(jī)械總動(dòng)力之和，具體包括拖拉機(jī)及配套農(nóng)具、農(nóng)業(yè)排灌動(dòng)力機(jī)械、聯(lián)合收割機(jī)、機(jī)動(dòng)脫粒機(jī)及漁用機(jī)動(dòng)船等機(jī)械動(dòng)力之和[5]。

理論上已經(jīng)證明，具有一個(gè)隱含層的三層神經(jīng)網(wǎng)絡(luò)(見圖1)可以逼近任意非線性函數(shù)。所以，本文利用黑龍江省1983-2013年農(nóng)機(jī)總動(dòng)力數(shù)據(jù)，運(yùn)用LM-BP神經(jīng)網(wǎng)絡(luò)對(duì)黑龍江省農(nóng)機(jī)總動(dòng)力進(jìn)行擬合和預(yù)測(cè)[6]。

1 LM-BP神經(jīng)網(wǎng)絡(luò)

1)構(gòu)造性能指數(shù)為

(1)

其中，h=(q-1)s2+k這里構(gòu)造向量v，vT=[e1,1e1,2...es2,1...ej,q...es2,1]使得F(x)=vTv。v的維數(shù)是。其中，N=s2×Q。

(2)

圖1 三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

(3)

由鏈?zhǔn)椒▌t，結(jié)合矩陣乘法得

(4)

4)計(jì)算雅可比矩陣。雅可比矩陣的維數(shù)為。其中，N=s2×Q，n=s2(s1+1)+s1(s0+1)。可以把雅可比矩陣劃分為4個(gè)部分：W1、b1、W2、b2，現(xiàn)在分別對(duì)每一個(gè)部分進(jìn)行計(jì)算。

(1)W2區(qū)。Jw2的維數(shù)為。針對(duì)W2區(qū)有

(5)

(6)

(2)b2區(qū)。Jb2的維數(shù)為，針對(duì)b2區(qū)有

(7)

(8)

(3)W1區(qū)。Jw1的維數(shù)為，針對(duì)W1區(qū)有

(9)

(10)

(4)b1區(qū)。Jb1的維數(shù)為，針對(duì)b1區(qū)有

(11)

(12)

5)計(jì)算各權(quán)值、閾值的變化量為

xk+1=xk-[JT(xk)J(xk)+

μkI]-1JT(xk)v(xk)

(13)

6)重復(fù)上述過(guò)程。如果新計(jì)算的性能指數(shù)F(x)小于以前，那么

μk+1=μk/θ

(14)

轉(zhuǎn)到2)，即重新計(jì)算雅可比矩陣。

如果新計(jì)算的性能指數(shù)F(x)不小于以前，那么

μk+1=μk×θ

(15)

轉(zhuǎn)到5)，其中，μk的初始值設(shè)為一個(gè)較小的正數(shù)，θ為一個(gè)大于1的常數(shù)[7]。

2 計(jì)算實(shí)例

下面分別運(yùn)用標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)和LM-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)黑龍江省農(nóng)機(jī)總動(dòng)力的發(fā)展變化，表1數(shù)據(jù)是1983-2013年黑龍江省農(nóng)機(jī)總動(dòng)力，來(lái)自國(guó)家統(tǒng)計(jì)局官方網(wǎng)站。

表1 1983年-2013年黑龍江省農(nóng)機(jī)總動(dòng)力

首先對(duì)表1中的數(shù)據(jù)進(jìn)行歸一化處理[8]，其表達(dá)式為

(16)

式中 xi—輸入贗本數(shù)據(jù)；

xmin—輸入樣本中的最小值；

xmax—輸入樣本中的最大值；

對(duì)神經(jīng)網(wǎng)絡(luò)采用標(biāo)準(zhǔn)BP訓(xùn)練算法訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為標(biāo)準(zhǔn)的三層結(jié)構(gòu)。網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)個(gè)數(shù)為4，隱含層的神經(jīng)元個(gè)數(shù)為6，輸出層神經(jīng)元個(gè)數(shù)為1。當(dāng)訓(xùn)練次數(shù)為290 638次時(shí)，耗時(shí)9 351.6s，均方誤差(mse)為0.02%，其預(yù)測(cè)結(jié)果如表2和圖2所示。

最后，對(duì)神經(jīng)網(wǎng)絡(luò)采用LM_BP訓(xùn)練算法訓(xùn)練。同樣，BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為標(biāo)準(zhǔn)的三層結(jié)構(gòu)，網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)個(gè)數(shù)為4，隱含層的神經(jīng)元個(gè)數(shù)為6，輸出層神經(jīng)元個(gè)數(shù)為1。當(dāng)訓(xùn)練次數(shù)為3次時(shí)，耗時(shí)1.168 8s,均方誤差(mse)為0.001 66%。

由此可以看出：LM_BP訓(xùn)練算法相比于標(biāo)準(zhǔn)BP訓(xùn)練算法在運(yùn)算速度上存在巨大的優(yōu)勢(shì)，在相同的均方誤差等級(jí)下(0.02%)，標(biāo)準(zhǔn)BP訓(xùn)練算法所用的時(shí)間是LM_BP訓(xùn)練算法的8 000倍以上。并且，如果把均方誤差(mse)目標(biāo)設(shè)置為0.001%，標(biāo)準(zhǔn)BP訓(xùn)練算法在經(jīng)過(guò)771 978次訓(xùn)練，耗時(shí)60 825s，均方誤差(mse)僅達(dá)到0.001 46%；而LM_BP訓(xùn)練算法只用了219次訓(xùn)練，耗時(shí)4.189 4s，均方誤差(mse)就已達(dá)到0.000 906%。即當(dāng)均方誤差(mse)目標(biāo)越小時(shí)，越能體現(xiàn)LM_BP訓(xùn)練算法的優(yōu)勢(shì)。

表2 預(yù)測(cè)精度情況

續(xù)表2

圖2 兩種算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)情況

3 結(jié)論

利用黑龍江省1983-2013年農(nóng)機(jī)總動(dòng)力數(shù)據(jù)，運(yùn)用標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)和LM-BP神經(jīng)網(wǎng)絡(luò)對(duì)黑龍江省未來(lái)5年的農(nóng)機(jī)總動(dòng)力進(jìn)行預(yù)測(cè)。預(yù)測(cè)結(jié)果表明：當(dāng)均方誤差相同且均方誤差不是很小時(shí)，與標(biāo)準(zhǔn)PB相比，LM-BP神經(jīng)網(wǎng)絡(luò)具有更快的收斂速度。當(dāng)均方誤差相同并進(jìn)一步減小均方誤差值時(shí)，標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)需要很長(zhǎng)時(shí)間才能達(dá)到給定的精度要求，而LM-BP神經(jīng)網(wǎng)絡(luò)在短時(shí)間內(nèi)即可滿足給定的精度要求。如果進(jìn)一步減小均方誤差值，標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)理論上雖然可達(dá)到給定的精度要求，但耗時(shí)較長(zhǎng)；而LM-BP神經(jīng)網(wǎng)絡(luò)仍能夠快速收斂，此時(shí)LM-BP神經(jīng)網(wǎng)絡(luò)收斂的速度優(yōu)勢(shì)非常明顯，擬合的精度進(jìn)也一步提高，表明LM-BP神經(jīng)網(wǎng)絡(luò)具有較高的預(yù)測(cè)精度。

[1] 宋琿，董欣，王兵.基于BP神經(jīng)網(wǎng)絡(luò)的農(nóng)機(jī)總動(dòng)力預(yù)測(cè)模型研究[J].東北農(nóng)業(yè)大學(xué)學(xué)報(bào)，2009，40(4)：116-120.

[2] 劉玉靜，李成華，楊升明．遼寧省農(nóng)機(jī)總動(dòng)力組合預(yù)測(cè)與分析[J]．農(nóng)機(jī)化研究，2007(5)：31-33．

[3] 鞠金艷，王金武，王金峰．基于BP神經(jīng)網(wǎng)絡(luò)的農(nóng)機(jī)總動(dòng)力組合預(yù)測(cè)方法[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(6)：87-92．

[4] 張淑娟，趙飛．基于Shapley值的農(nóng)機(jī)總動(dòng)力組合預(yù)測(cè)方法[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2008，39(5)：60-64．

[5] 劉天舒.網(wǎng)絡(luò)的改進(jìn)研究及應(yīng)用[D].哈爾濱：東北農(nóng)業(yè)大學(xué)，2011.

[6] 王吉權(quán)，王福林，邱立春.基于BP神經(jīng)網(wǎng)絡(luò)的農(nóng)機(jī)總動(dòng)力預(yù)測(cè)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(12):121-126.

[7] Hagan T，Demuth H，Beale M. Neural Network Design. Boston[M].MA: Publishing，1996.

[8] 王吉權(quán).BP神經(jīng)網(wǎng)絡(luò)的理論及其在農(nóng)業(yè)機(jī)械化中的應(yīng)用研究[D].沈陽(yáng)：沈陽(yáng)農(nóng)業(yè)大學(xué)，2011.

Prediction of Total Power in Agriculture Machinery Based on LM-BP Neural Network

Zhang Li, Wang Fulin, Liu Yuyan, Sun Ting

(College of Engineering, Northeast Agricultural University, Harbin 150030, China)

Taking advantage of the total power of agriculture machinery data in Heilongjiang Province from 1983 to 2013, using BP neural network and LM-BP network to predict the total power of agriculture machinery in Heilongjiang Province over the next 5 years. The result of prediction show that in the same error target values (expected accuracy of compute), compared with BP neural network, LM-BP neural network has faster convergence speed. To reduce the error of target (improve the expected accuracy of compute), the BP neural network cannot satisfy the requirement of the given accuracy within 16 hours, while the LM-BP neural network can satisfy the requirement of accuracy in 20 seconds. At this point, the convergence speed of LM-BP neural network is obvious, and the fitting precision is also improved, which show that the LM-BP neural network has higher prediction accuracy. Accurate prediction of the total power of agriculture machinery in Heilongjiang Province, which can make the development plan for the agricultural mechanization in Heilongjiang Province and provide

for the level of agricultural mechanization development.

total power of agriculture machinery; prediction; LM-BP neural network

2015-11-23

國(guó)家自然科學(xué)基金項(xiàng)目(31071331);黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目(12511049)

張 力(1992-),男，成都人，碩士研究生，(E-mail) 535320706@qq.com。

王福林(1960-)，男，黑龍江安達(dá)人，教授，博士生導(dǎo)師，(E-mail)fulinwang1462@126.com。

S23-01

A

1003-188X(2017)01-0010-05