基于BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率優(yōu)化的研究

趙建民， 王雨萌

(東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院， 大慶 163318)

0 引言

1943年，Warren Mc Culloch 和 Walter Pitts 提出了神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)模型[1]，確立為神經(jīng)網(wǎng)絡(luò)的計(jì)算模型理論，從而為機(jī)器學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。1950年“人工智能之父”圖靈發(fā)提出了著名的“圖靈測(cè)試”，使人工智能成為了計(jì)算機(jī)科學(xué)領(lǐng)域一個(gè)重要的研究課題[2]。

人工智能已成為全球新一輪科技革命和產(chǎn)業(yè)變革的著力點(diǎn)[3]，其推廣和應(yīng)用獲得了極大的成功，并逐漸成為一種極其重要的工程技術(shù)[4]。隨著人工智能技術(shù)的日益成熟和不斷深入，研究人員發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)愈發(fā)體現(xiàn)出其優(yōu)越的性能，神經(jīng)網(wǎng)絡(luò)是人工智能發(fā)展中所使用的重要方法，也是當(dāng)前類腦智能研究中的有效工具[5]。而B(niǎo)P神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Networks，BPNN)[6]則是應(yīng)用普及程度最高的一項(xiàng)神經(jīng)網(wǎng)絡(luò)內(nèi)容[7-8]，BP神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于非線性建摸、函數(shù)逼近、系統(tǒng)辨識(shí)等方面[9]。

本文將對(duì)標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)，通過(guò)驗(yàn)證異或問(wèn)題并結(jié)合模式識(shí)別[10]中的手寫(xiě)模式識(shí)別[11]，將變化學(xué)習(xí)率應(yīng)用于經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)，用以解決固定學(xué)習(xí)率在訓(xùn)練模型時(shí)所出現(xiàn)的易越過(guò)全局極小值點(diǎn)、模型收斂速度慢[12]的問(wèn)題。

2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種信號(hào)由正向傳播，誤差按逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)具有非線性映射能力強(qiáng)，容錯(cuò)能力強(qiáng)，泛化能力強(qiáng)等優(yōu)點(diǎn)。標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)模型包含三層，分別是輸入層、隱藏層和輸出層.在正向傳播過(guò)程中，輸入樣本從輸入層傳入，傳向輸出層。……