BP神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用

河南師范大學(xué)新聯(lián)學(xué)院　程聰河南師范大學(xué)新聯(lián)學(xué)院　阮瑩開(kāi)封市兒童醫(yī)院　李舸

BP神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用

河南師范大學(xué)新聯(lián)學(xué)院程聰1河南師范大學(xué)新聯(lián)學(xué)院阮瑩2開(kāi)封市兒童醫(yī)院李舸3

摘要：人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域非常廣泛,其中大部分的人工神經(jīng)網(wǎng)絡(luò)模型采用BP網(wǎng)絡(luò),它也是前饋網(wǎng)絡(luò)的核心部分,體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。通過(guò)對(duì)BP算法的研究,提出了利用它來(lái)實(shí)現(xiàn)對(duì)我國(guó)的三大產(chǎn)業(yè)數(shù)據(jù)的預(yù)測(cè)方案。并在MATLAB仿真中取得了很好的效果。

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；MATLAB仿真

中圖分類號(hào)：TP183

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1671-864X（2015）03-0181-02

一、BP神經(jīng)網(wǎng)絡(luò)概述

BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP一般為多層神經(jīng)網(wǎng)絡(luò)，其模型拓?fù)浣Y(jié)構(gòu)一般包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。如圖1所示：

二、BP網(wǎng)絡(luò)的學(xué)習(xí)算法

（一）最速下降BP算法(steepest descent backpropagation,SDBP)

如圖2所示的BP神經(jīng)網(wǎng)絡(luò)，設(shè)k為迭代次數(shù)，則每一次權(quán)值和閾值的修正案下式進(jìn)行：

式中：w(t)為第k次迭代各層之間的連接權(quán)向量或閾值向量。x(k)=為第k次迭代的神經(jīng)網(wǎng)絡(luò)輸出誤差對(duì)個(gè)權(quán)值或閾值的梯度向量。負(fù)號(hào)代表梯度的反方向，即梯度的最速下降方向。α為學(xué)習(xí)速率，在訓(xùn)練時(shí)事一常數(shù)。在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，其默認(rèn)值為0.01，可以通過(guò)改變訓(xùn)練參數(shù)進(jìn)行設(shè)置。EK為第k次迭代的網(wǎng)絡(luò)輸出的總誤差性能函數(shù)，在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，BP網(wǎng)絡(luò)誤差性能函數(shù)的默認(rèn)值為均誤差MSE(mean square error)∶

根據(jù)（2.2）式，可以求出第k次迭代的總誤差曲面的梯度x(k)=,分別代入式（2.1）中，就可以逐次修正其權(quán)值和閾值，并使總的誤差向減小的方向變化，最終求出所要求的誤差性能。

（二）沖量BP算法（momentum backpropagation,MOBP）

因?yàn)榉聪騻鞑ニ惴ǖ膽?yīng)用廣泛，所以已經(jīng)開(kāi)發(fā)出了很多反向傳播算法的變體。其中最常見(jiàn)得事在梯度下降算法的基礎(chǔ)上修改公式(2.1)的權(quán)值更新法則，即引入沖量因子η，并且0≤η<1的常數(shù)。更新后的公式為：

標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)方法，在修正W(K)時(shí)，只按照第K步的負(fù)梯度方向進(jìn)行修正，而沒(méi)有考慮到以前積累的經(jīng)驗(yàn)，即以前時(shí)刻的梯度方向，從而常常使學(xué)習(xí)過(guò)程發(fā)生振蕩，收斂緩慢。動(dòng)量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計(jì)算所得的權(quán)值調(diào)整量上，作為本次的實(shí)際權(quán)值調(diào)整量,即公式(2.3)所示：η是沖量系數(shù)，通常0≤η<1；α為學(xué)習(xí)率，范圍在0.001～1之間。這種方法所加的沖量因子實(shí)際上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過(guò)程中的振蕩趨勢(shì)，來(lái)改善收斂性。沖量法降低了網(wǎng)絡(luò)對(duì)誤差曲面局部細(xì)節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小值。

（三）學(xué)習(xí)率可變的BP算法(variable learnling rate backpropagation, VLBP)

標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個(gè)重要原因是學(xué)習(xí)率選擇不當(dāng)，學(xué)習(xí)率選得太小，收斂慢；反之，則有可能修正的過(guò)頭，導(dǎo)致振蕩甚至發(fā)散。因此可以采用圖3所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。

自適應(yīng)調(diào)整學(xué)習(xí)率的梯度下降算法，在訓(xùn)練的過(guò)程中，力求使算法穩(wěn)定，而同時(shí)又使學(xué)習(xí)的不長(zhǎng)盡量地大，學(xué)習(xí)率則是根據(jù)局部誤差曲面作出相應(yīng)的調(diào)整。學(xué)習(xí)率則是通過(guò)乘上一個(gè)相應(yīng)的增量因子來(lái)調(diào)整學(xué)習(xí)率的大小。即公式(2.5)所示：

其中：Kinc為使步長(zhǎng)增加的增量因子，Kdec為使步長(zhǎng)減小的增量因子；α為學(xué)習(xí)率。

三、建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

BP預(yù)測(cè)模型的設(shè)計(jì)主要有輸入層、隱含層、輸出層及各層的個(gè)數(shù)和層與層之間的傳輸函數(shù)。

（一）網(wǎng)絡(luò)層數(shù)

BP有一個(gè)輸入層和一個(gè)輸出層，但可以包含多個(gè)隱含層。但理論的上已證明，在不限制隱含層節(jié)點(diǎn)的情況下，只有一個(gè)隱含層的BP就可以實(shí)現(xiàn)任意非線性映射。

（二）輸入層和輸出層的節(jié)點(diǎn)數(shù)

輸入層是BP的第一層，它的節(jié)點(diǎn)數(shù)由輸入的信號(hào)的維數(shù)決定，這里輸入層的個(gè)數(shù)為3；輸出層的節(jié)點(diǎn)數(shù)取決于BP的具體應(yīng)用有關(guān)，這里輸出節(jié)點(diǎn)為1。

（三）隱含層的節(jié)點(diǎn)數(shù)

隱含層節(jié)點(diǎn)數(shù)的選擇往往是根據(jù)前人設(shè)計(jì)所得的經(jīng)驗(yàn)和自己的進(jìn)行的實(shí)驗(yàn)來(lái)確定的。根據(jù)前人經(jīng)驗(yàn)，可以參考以下公式設(shè)計(jì)：

其中：n為隱含層節(jié)點(diǎn)數(shù)；m為輸入節(jié)點(diǎn)數(shù)；t為輸出節(jié)點(diǎn)數(shù)；a為1～10之間的常數(shù)。根據(jù)本文要預(yù)測(cè)的數(shù)據(jù)及輸入和輸出節(jié)點(diǎn)的個(gè)數(shù)，則取隱含層個(gè)數(shù)為10。

（四）傳輸函數(shù)

BP神經(jīng)網(wǎng)絡(luò)中的傳輸函數(shù)通常采用S(sigmoid)型函數(shù)：

如果BP神經(jīng)網(wǎng)絡(luò)的最后一層是Sigmoid函數(shù)，那么整個(gè)網(wǎng)絡(luò)的輸出就會(huì)限制在0～1之間的連續(xù)；而如果選的是Pureline函數(shù)，那么整個(gè)網(wǎng)絡(luò)輸出可以取任意值。因此函數(shù)選取分別為sigmoid和pureline函數(shù)。

四、BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的MATLAB仿真實(shí)驗(yàn)

（一）樣本數(shù)據(jù)的預(yù)處理

本文的樣本數(shù)據(jù)來(lái)源于中國(guó)歷年國(guó)內(nèi)生產(chǎn)總值統(tǒng)計(jì)表，為了讓樣本數(shù)據(jù)在同一數(shù)量級(jí)上，首先對(duì)BP輸入和輸出數(shù)據(jù)進(jìn)行預(yù)處理：將原樣本數(shù)據(jù)乘上0.0001，同時(shí)將樣本數(shù)據(jù)分為訓(xùn)練樣本集和測(cè)試樣本集，1991～1999年我國(guó)的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為訓(xùn)練樣本集，即1991～1998年訓(xùn)練樣本作為訓(xùn)練輸入；1999年訓(xùn)練樣本數(shù)據(jù)作為輸出訓(xùn)練輸出；1992～2000年我國(guó)的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為測(cè)試樣本集，即1992～1999年的測(cè)試樣本作為測(cè)試輸入，2000年測(cè)試樣本數(shù)據(jù)作為測(cè)試輸出。

（二）確定傳輸函數(shù)

根據(jù)本文的數(shù)據(jù)，如第3節(jié)所述，本文選取S函數(shù)(tansig)和線性函數(shù)(purelin)。

（三）設(shè)定BP的最大學(xué)習(xí)迭代次數(shù)為5000次。

（四）設(shè)定BP的學(xué)習(xí)精度為0.001；BP的學(xué)習(xí)率為0.1。

（五）創(chuàng)建BP結(jié)構(gòu)如圖4所示；訓(xùn)練BP的結(jié)果圖5所示：

正如圖5所示的數(shù)據(jù)與本文所示設(shè)計(jì)的網(wǎng)絡(luò)模型相符，且如圖5所示當(dāng)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)迭代到99次時(shí)，就達(dá)到了學(xué)習(xí)精度0.000997788，其學(xué)習(xí)速度比較快。

（六）測(cè)試BP神經(jīng)網(wǎng)絡(luò)

通過(guò)MATLAB對(duì)測(cè)試樣本數(shù)據(jù)進(jìn)行仿真，與實(shí)際的2000年我國(guó)三大產(chǎn)業(yè)的各生產(chǎn)總值比較(見(jiàn)表1)，說(shuō)明BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型是可行的。

表1　2000年我國(guó)三大產(chǎn)業(yè)的各生產(chǎn)總值

五、總結(jié)

總之，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別/分類、數(shù)據(jù)壓縮等。通過(guò)本文可以體現(xiàn)出MATLAB語(yǔ)言在編程的高效、簡(jiǎn)潔和靈活。雖然BP在預(yù)測(cè)方面有很多的優(yōu)點(diǎn)，但其還有一定的局限性，還需要進(jìn)一步的改進(jìn)。

參考文獻(xiàn)：

[1]周開(kāi)利，康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計(jì)[M].北京∶清華大學(xué)出版社，2005.7

[2]張德豐等.MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)[M].北京∶機(jī)械工業(yè)出版社，2009.1

[3]（美）米歇爾（Mitchell，T.M.）著；曾華軍等譯.北京∶機(jī)械工業(yè)出版社，2003.1

[4]豈興明等編著.MATLAB7.0程序設(shè)計(jì)快速入門[M].北京∶人民郵電出版社，2009.7

[5]李正學(xué).神經(jīng)網(wǎng)絡(luò)理論及其在股市短期預(yù)測(cè)中的應(yīng)用[D].長(zhǎng)春∶吉林大學(xué)，2004

1.程聰（1981－－）河南省開(kāi)封市人畢業(yè)于河南財(cái)經(jīng)政法大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)數(shù)字圖像處理方向

2.阮瑩河南師范大學(xué)新聯(lián)學(xué)院畢業(yè)于河南科技大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)

3.李舸開(kāi)封市兒童醫(yī)院畢業(yè)于河南大學(xué)護(hù)理學(xué)院兒童護(hù)理智能技術(shù)專業(yè)

作者簡(jiǎn)介：