基于改進BP神經網絡的黑龍江農機總動力預測

馬海志，王福林，王慧鵬，何志連

(東北農業大學 工程學院，哈爾濱　150030)

?

基于改進BP神經網絡的黑龍江農機總動力預測

馬海志，王福林，王慧鵬，何志連

(東北農業大學 工程學院，哈爾濱150030)

摘要：BP神經網絡在人工神經網絡中起著至關重要的作用，通過分析標準BP神經網絡的基本算法，指出標準BP算法的一些不足，并針對這些不足提出了以一種以相對誤差作為誤差傳遞信號的新的改進方法。經試驗證明：該方法大大提高了BP神經網絡預測結果的精度，同時這種新的改進思想也可以結合其他改進方法一起應用，以更大程度上地提高BP神經網絡的運算速度和預測精度。

關鍵詞：農機總動力；預測；BP算法；相對誤差

0引言

作為一門新興的信息處理科學，人工神經網絡是以人類大腦的工作模式為基礎而日益發展起來的一門新型學科，近年來得到越來越多的專家和學者的重視。BP神經網絡因其可塑性強、結構簡單等特性，在各領域中得到了廣泛的應用。但標準BP神經網絡又存在幾個較為明顯的缺陷，具體如下：訓練過程中易出現振蕩和波動現象、收斂速度過慢、易陷入局部極小和自身網絡結構難以確定等。針對上述缺陷，學者們提出了很多改進算法，而本文提出一種以相對誤差作為誤差信號的改進算法，對BP神經網絡算法進行改進[1]。

1標準BP算法

BP神經網絡模型是由輸入層、隱含層和輸出層組成，其中隱含層可以是1層或多層。其學習過程如下：輸入信號從輸入層通過各隱含層，向輸出層傳遞，在輸出端產生輸出信號。傳遞過程中各層神經元狀態只影響下層神經元的狀態，并且信號在傳遞過程中網絡權值保持不變。

若輸出層得不到期望的輸出，則輸出端的誤差信號開始從輸出層逐層向前傳遞，在誤差反向傳播過程中，誤差反饋調節網絡的權值，不斷修正網絡的權值，使得實際輸出與期望輸出更為接近[2]。

輸出層中有

(1)

隱含層中有

(2)

(3)

其中，每個神經元的激勵函數是可微的Sigmoid函數，則

(4)

且有

(5)

輸出層各神經元的誤差能量總和為

(6)

式(1)～式(6)構成了標準BP神經網絡的基本數學模型[3]。

圖1　3層BP網絡結構圖

2標準BP算法的缺點

BP神經網絡以其可塑性強、結構簡單等優點得到廣泛應用，但標準BP算法也因其自身原因存在一些不可避免的缺點：

1)收斂速度慢。在BP算法中，學習率η的選取至關重要，η值越大則網絡收斂速度就越快，但是過大的η值會引起網絡不穩定；η值小可以避免網絡不穩定，但收斂速度則會變慢。因此，固定的學習率嚴重制約了BP神經網絡的收斂速度。

2)易陷入局部極小值。在BP網絡的誤差計算中，由于多層網絡誤差計算較為復雜，容易出現存在多個局部極小值的可能，因此當標準BP算法收斂時，無法判斷是否已求到最優解。

3)隱含層層數及神經元數的選取沒有相應理論指導。目前，隱含層層數及神經元數的選取大多依靠以往經驗選取，缺乏相應理論依據，因此網絡可能存在極大的亢余性，使得網絡運算速度增加。

4)對于數值數量關系差距較大的數據預測效果較差[4-7]。在BP網絡的誤差計算中，當實驗數據數量關系相對較大時，往往會導致預測結果誤差偏大。

此外，BP網絡還存在學習率、初始權值等選取的大小影響網絡運算快慢等問題，所以在學習率、初始權值的選取上需要經過反復測試，在此過程中也需要很長的時間。

本文正是針對第1點和第4點的不足，應用數據的相對誤差作為誤差信號來對標準BP算法進行改進，以提高對于數值數量關系差距較大的數據進行預測時的運算速度和精度。

3BP算法的改進

應用標準BP算法預測數值的過程中，在數據中存在數量關系差距較大的情況下，往往會使得誤差偏大。這是由于BP算法通常采用絕對誤差作為誤差傳遞信號，而當數據間數量關系差距較大時，其絕對誤差往往會因不考慮與實際值間關系而在無形中將系統整體誤差值放大，從而導致最終預測結果精確度不高、運算速度較慢。因此，采用相對誤差作為網絡誤差的傳遞信號，則可以很好地避免此類不足所帶來的影響。為此，提出一種以相對誤差作為誤差傳遞信號的改進方法是很有實際意義的。下面將應用相對誤差作為誤差傳遞函數的過程進行如下推導。

(7)

(8)

(9)

設局部梯度為

(10)

(11)

(12)

因此，修正量為

(13)

隱層上任意節點下一次迭代時與輸出層上任一節點之間的權值為

(14)

隱層與隱層間的權值修正量為

(15)

設局部梯度為

(16)

(17)

又因為

(18)

所以有

(19)

又因為

(20)

所以有

(21)

那么，下次迭代時隱層上任意節點與另一隱層上任意節點間的權值為

(22)

輸入層與隱層間權值修正量的推導方法與隱層與隱層間權值修正量的推導方法相同。權值修正量為

(23)

(24)

那么，下次迭代時輸入層上任一節點與隱層上任一節點間的權值為

(25)

4應用實例

以預測黑龍江省農機總動力為例，根據黑龍江省統計年鑒，黑龍江省1980-2009年農機總動力如表1所示[7]。

表1　1980-2009年黑龍江省農機總動力　　　 　MW

下面以標準BP算法和上文所述的應用相對誤差作為誤差傳遞函數的改進BP算法，分別對該數據進行擬合，并預測2011-2013年的黑龍江省農機總動力。訓練采用的BP神經網絡結構均為3-4-1，同時應用兩種算法訓練500 000次，其預測精度情況如表2所示。考慮到初始權值選取對預測結果的影響，表2中的結果為訓練10次得到的平均值。由表2可知：標準BP算法經過500 000次訓練后得到的平均相對誤差為2.829%；而改進后的BP算法經同樣訓練次數后得到的平均相對誤差為1.824%，其預測精度明顯提高。

表2　預測精度情況

5結論

以相對誤差作為誤差傳遞信號，可以明顯提高相同運算次數下預測值的精度。本文創新點在于提出了一種新的改進思想，并且這種改進思想可結合其他改進算法應用，

在更大程度上提高預測的精度和運算速度，為BP神經網絡的廣泛應用打下堅實的基礎。

參考文獻：

[1]王吉權.BP神經網絡的理論及其在農業機械化中的應用研究[D].沈陽：沈陽農業大學，2011.

[2]高雋.人工神經網絡原理及仿真實例[M].北京：機械工業出版社,2007.

[3]王燕妮，樊養余.改進BP神經網絡的自適應預測算法[J].計算機工程與應用，2010,46(17)：23-26.

[4]陳思.一種BP神經網絡學習率的改進方法[J].長春師范學院學報:自然科學版，2010,29(4)：25-27.

[5]羅四維，肖曄，丁嘉種.學習率自動調整的BP算法[J].北方交通大學學報，1993,17(2)：173-177.

[6]鄧娟，楊家明.一種改進的BP算法神經網絡[J].東華大學學報:自然科學版，2005,31(3)：123-126.

[7]王吉權.基于BP神經網絡的農機總動力預測[J].農業機械學報，2011,42(12)：121-126.

Abstract ID:1003-188X(2016)02-0022-EA

Prediction of Total Power in Agriculture Machinery of Heilongjiang Based on An Improving Method of BP Neural Network

Ma Haizhi, Wang Fulin, Wang Huipeng, He Zhilian

(College of Engineering, Northeast Agricultural University, Harbin 150030, China )

Abstract：BP neural network plays a vital role in artificial neural networks. In this paper, through the analysis of the basic algorithm of standard BP neural network, and points out some shortcomings of the standard BP algorithm, to solve these problems we use a relative error as a new improved method of error transfer signal .The test proved that this method greatly improves the accuracy of BP neural network prediction, and this new and improved idea can also be applied together with other improved methods to predict the computing speed and accuracy to a greater extent to improve BP neural network.

Key words：total power of agriculture machinery; forecast; BP Neural Network; relative error

文章編號：1003-188X(2016)02-0022-04

中圖分類號：S23-01

文獻標識碼：A

作者簡介：馬海志(1989-),男，黑龍江七臺河人，碩士研究生，(E-mail)413015934@qq.com。通訊作者：王福林(1960-)，男，黑龍江安達人，教授，博士生導師，(E-mail)fulinwang1462@126.com。

基金項目：國家社會科學基金項目(13BJY098)

收稿日期：2015-01-11