基于聯(lián)想記憶的Hopfield神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與實(shí)現(xiàn)

張少平, 徐曉鐘, 馬　燕

(上海師范大學(xué) 信息與機(jī)電工程學(xué)院,上海 200234)

?

基于聯(lián)想記憶的Hopfield神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與實(shí)現(xiàn)

張少平, 徐曉鐘, 馬燕

(上海師范大學(xué) 信息與機(jī)電工程學(xué)院,上海 200234)

摘要:介紹了反饋型神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)的定義、原理、模型和基本學(xué)習(xí)規(guī)則,并構(gòu)造了一個(gè)用于聯(lián)想記憶的Hopfield神經(jīng)網(wǎng)絡(luò)模型.對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析、比較,實(shí)驗(yàn)結(jié)果表明:Hopfield神經(jīng)網(wǎng)絡(luò)用于數(shù)字識(shí)別是可行、有效的;該方法較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)能提高網(wǎng)絡(luò)的記憶能力和數(shù)字識(shí)別的正確率;該方法有別于以往的BP神經(jīng)網(wǎng)絡(luò)的模式識(shí)別,結(jié)合一些優(yōu)化算法,如遺傳算法,能對(duì)Hopfield神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶穩(wěn)態(tài)進(jìn)行優(yōu)化,增強(qiáng)神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶能力.

關(guān)鍵詞:Hopfield神經(jīng)網(wǎng)絡(luò); 聯(lián)想記憶能力; 數(shù)字識(shí)別; MATLAB; 遺傳算法

0引言

神經(jīng)網(wǎng)絡(luò)(Neural Network,NN)通過(guò)對(duì)人腦或生物神經(jīng)網(wǎng)絡(luò)基本特征的抽象和建模,用大量簡(jiǎn)單計(jì)算單元(神經(jīng)元)構(gòu)成非線性系統(tǒng),研究非程序的、適應(yīng)性的和大腦神經(jīng)網(wǎng)絡(luò)的信息處理、存儲(chǔ)和檢索功能.因而神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)、記憶和計(jì)算等智能處理功能,聯(lián)想記憶是目前NN的一個(gè)重要研究課題.Hopfield網(wǎng)絡(luò)模擬了生物神經(jīng)網(wǎng)絡(luò)的記憶功能[1],可以看成是非線性聯(lián)想記憶或按內(nèi)容尋址存儲(chǔ)器,研究Hopfield神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶——數(shù)字識(shí)別功能有重要意義.

噪聲數(shù)字的識(shí)別具有很廣泛的應(yīng)用前景,本文作者構(gòu)建了一個(gè)離散Hopfield神經(jīng)網(wǎng)絡(luò)模型模擬數(shù)字識(shí)別,該方法較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)提高了記憶能力和識(shí)別的正確率.改進(jìn)神經(jīng)網(wǎng)絡(luò)的記憶樣本,然后用Hebb規(guī)則對(duì)改進(jìn)的記憶樣本進(jìn)行學(xué)習(xí),得到權(quán)值矩陣,根據(jù)待識(shí)別數(shù)字的信息聯(lián)想記憶的數(shù)字.

1相關(guān)基礎(chǔ)知識(shí)

1982年,霍普菲爾德(Hopfield J)提出了可用作聯(lián)想記憶的互聯(lián)網(wǎng)絡(luò)即Hopfield網(wǎng)絡(luò),Hopfield網(wǎng)絡(luò)采用能量函數(shù)的思想形成了一種新的計(jì)算方法,闡明了神經(jīng)網(wǎng)絡(luò)與動(dòng)力學(xué)的關(guān)系,并用非線性動(dòng)力學(xué)的方法來(lái)研究這種神經(jīng)網(wǎng)絡(luò)的特性,建立了神經(jīng)網(wǎng)絡(luò)穩(wěn)定性判據(jù),并指出信息存儲(chǔ)在網(wǎng)絡(luò)中神經(jīng)元之間的連接上,形成了Hopfield網(wǎng)絡(luò),神經(jīng)元的輸出只取1和0,所以也稱為離散Hopfield神經(jīng)網(wǎng)絡(luò).1984年霍普菲爾德和湯克(Tank T W)設(shè)計(jì)與研制模擬電子線路實(shí)現(xiàn)的反饋性神經(jīng)網(wǎng)絡(luò),指出神經(jīng)元可以用運(yùn)算放大器來(lái)實(shí)現(xiàn),所有神經(jīng)元的連接可用電子線路來(lái)模擬,稱之為連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò).它們都是單層對(duì)稱連接的簡(jiǎn)單人工神經(jīng)網(wǎng)絡(luò),離散模型可用于聯(lián)想記憶,連續(xù)模型可用于優(yōu)化計(jì)算[2-3].

1.1離散Hopfield網(wǎng)絡(luò)

離散Hopfield網(wǎng)絡(luò)(Discrete Hopfield Neural Network,簡(jiǎn)稱DHNN )是單層全互連的,其兩種表現(xiàn)形式如圖1所示.

圖1　離散Hopfield網(wǎng)絡(luò)模型

神經(jīng)元可取二值{0、1}或{-1、1},任意的神經(jīng)元i與j之間的突觸權(quán)值為Wij,神經(jīng)元之間聯(lián)接是對(duì)稱的,即Wij=Wji,神經(jīng)元自身無(wú)聯(lián)接,即Wii=0,所以DHNN 采用對(duì)稱連接且無(wú)自身反饋[4].但每個(gè)神經(jīng)元都將其輸出通過(guò)突觸權(quán)值傳遞給其他的神經(jīng)元,同時(shí)每個(gè)神經(jīng)元又都接收其他神經(jīng)元傳來(lái)的信息,故每個(gè)神經(jīng)元輸出的信號(hào)經(jīng)過(guò)其他神經(jīng)元后又可能反饋給自己,可以看出 Hopfield網(wǎng)絡(luò)是一種反饋神經(jīng)網(wǎng)絡(luò).

Hopfield網(wǎng)絡(luò)中任意神經(jīng)元i的輸入用Ui表示,輸出用Vi表示,Vi(t)表示神經(jīng)元i在t時(shí)刻的狀態(tài).

(1)

相應(yīng)神經(jīng)元i的輸出或狀態(tài)為:

(2)

其中的激勵(lì)函數(shù)f(·)可取階躍函數(shù)U(t)或符號(hào)函數(shù)sgn(t).如取符號(hào)函數(shù),則Hopfield網(wǎng)絡(luò)的神經(jīng)元的輸出Vi(t+1)取離散值1或-1,即:

(3)

離散型Hopfield網(wǎng)絡(luò)是單層的、輸入輸出為二值的反饋網(wǎng)絡(luò),它主要用于聯(lián)想記憶.當(dāng)網(wǎng)絡(luò)的初始態(tài)確定后,網(wǎng)絡(luò)狀態(tài)按其工作規(guī)則向能量遞減的方向變化,最后接近或達(dá)到平衡點(diǎn)[5].如果把網(wǎng)絡(luò)所需記憶的模式設(shè)計(jì)成某個(gè)確定網(wǎng)絡(luò)狀態(tài)的一個(gè)平衡點(diǎn),則當(dāng)網(wǎng)絡(luò)從與記憶模式較接近的某個(gè)初始狀態(tài)出發(fā)后,按Hopfield運(yùn)行規(guī)則進(jìn)行狀態(tài)更新,最后網(wǎng)絡(luò)狀態(tài)穩(wěn)定在能量函數(shù)的極小點(diǎn),即記憶模式所對(duì)應(yīng)的狀態(tài).這樣就完成了由部分信息或失真的信息到全部或完整信息的聯(lián)想記憶過(guò)程.Hopfield神經(jīng)網(wǎng)絡(luò)的演變過(guò)程是一個(gè)計(jì)算聯(lián)想記憶或求解優(yōu)化問(wèn)題的過(guò)程.實(shí)際上,它的解決并不需要真的去計(jì)算,而是通過(guò)構(gòu)成反饋神經(jīng)網(wǎng)絡(luò),適當(dāng)?shù)卦O(shè)計(jì)其連接權(quán)和輸入就可以達(dá)到這個(gè)目的.

1.2離散Hopfield的穩(wěn)定性

若網(wǎng)絡(luò)從某一時(shí)刻以后,狀態(tài)不再發(fā)生變化,則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài) :

(4)

網(wǎng)絡(luò)為對(duì)稱連接,即神經(jīng)元自身無(wú)連接.能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷減低至達(dá)到穩(wěn)定.

(5)

Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化.由于能量函數(shù)有界,所以系統(tǒng)必然會(huì)趨于穩(wěn)定.

(6)

(7)

ΔEi≤0說(shuō)明網(wǎng)絡(luò)穩(wěn)定.

1.3Hopfield網(wǎng)絡(luò)的基本學(xué)習(xí)規(guī)則

Hopfield神經(jīng)網(wǎng)絡(luò)采用Hebb學(xué)習(xí)律來(lái)計(jì)算網(wǎng)絡(luò)中神經(jīng)元之間的聯(lián)接強(qiáng)度值.Hebb學(xué)習(xí)規(guī)則[6]是由加拿大著名生理心理學(xué)家赫布提出來(lái)的,赫布認(rèn)為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程最終是發(fā)生在神經(jīng)元之間的突觸部位.Hebb學(xué)習(xí)規(guī)則是一個(gè)無(wú)監(jiān)督學(xué)習(xí)規(guī)則,這種學(xué)習(xí)的結(jié)果是使網(wǎng)絡(luò)能夠提取訓(xùn)練集的統(tǒng)計(jì)特性,從而把輸入信息按照它們的相似性程度劃分為若干類.這一點(diǎn)與人類觀察和認(rèn)識(shí)世界的過(guò)程非常吻合,人類觀察和認(rèn)識(shí)世界在相當(dāng)程度上就是在根據(jù)事物的統(tǒng)計(jì)特征進(jìn)行分類.Hebb學(xué)習(xí)規(guī)則是最早、最著名的訓(xùn)練算法,至今仍在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要作用.Hebb規(guī)則假定:當(dāng)兩個(gè)細(xì)胞同時(shí)興奮時(shí),他們之間的連接強(qiáng)度應(yīng)該增強(qiáng),這條規(guī)則與“條件反射”學(xué)說(shuō)一致,后來(lái)得到了神經(jīng)細(xì)胞學(xué)說(shuō)的證實(shí).

Hebb算法核心思想:當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí),兩者間的連接權(quán)會(huì)被加強(qiáng),否則被減弱.為了理解Hebb算法,有必要簡(jiǎn)單介紹一下條件反射實(shí)驗(yàn).巴甫洛夫的條件反射實(shí)驗(yàn):每次狗喂食前都先響鈴,時(shí)間一長(zhǎng),狗就會(huì)將鈴聲和食物聯(lián)系起來(lái),以后如果響鈴但是不給食物,狗就會(huì)流口水.受該實(shí)驗(yàn)的啟發(fā),Hebb的理論認(rèn)為在同一時(shí)間被激發(fā)的神經(jīng)元間的聯(lián)系會(huì)被強(qiáng)化.比如,鈴聲響時(shí)一個(gè)神經(jīng)元被激發(fā),在同一時(shí)間食物的出現(xiàn)會(huì)激發(fā)附近的另一神經(jīng)元,那么兩個(gè)神經(jīng)元的聯(lián)系就會(huì)強(qiáng)化,從而記住這兩個(gè)事物之間存在著聯(lián)系.相反,如果兩個(gè)神經(jīng)元總是不能同步激發(fā),那么它們之間的聯(lián)系將會(huì)越來(lái)越弱.

Hebb學(xué)習(xí)律:wij(t+1)=wij(t)+ayj(t)yi(t),wij表示神經(jīng)元j到神經(jīng)元i的連接權(quán),yi與yj為兩個(gè)神經(jīng)元的輸出,a是學(xué)習(xí)速度的常數(shù).若yi與yj同時(shí)被激活,wij將增大.若yi被激活,而yj處于抑制狀態(tài),即yi為正yj為負(fù),wij將變小.

Hebb學(xué)習(xí)律可以很好地運(yùn)用到Hopfield神經(jīng)網(wǎng)絡(luò)中,用以實(shí)現(xiàn)Hopfield人工神經(jīng)網(wǎng)絡(luò)的自適應(yīng)、自組織和自學(xué)習(xí),充分地揭示了Hopfield神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶本質(zhì),可以看出聯(lián)想這種思維過(guò)程是必須依賴于記憶的.Hopfield網(wǎng)絡(luò)由神經(jīng)網(wǎng)絡(luò)的初始狀態(tài)收斂至穩(wěn)定狀態(tài)的過(guò)程就是一種典型的聯(lián)想記憶過(guò)程.

2Hopfield神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)

利用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱提供的函數(shù),可以按照設(shè)計(jì)步驟在MATLAB環(huán)境下實(shí)現(xiàn).對(duì)于本離散神經(jīng)網(wǎng)絡(luò)的建立,主要涉及兩個(gè)函數(shù),分別為網(wǎng)絡(luò)創(chuàng)建newhop()函數(shù)以及網(wǎng)絡(luò)仿真sim()函數(shù)[7].

2.1問(wèn)題定義

根據(jù)Hopfield神經(jīng)網(wǎng)絡(luò)相關(guān)知識(shí),設(shè)計(jì)一個(gè)具有聯(lián)想記憶功能的離散型Hopfield神經(jīng)網(wǎng)絡(luò).要求該網(wǎng)絡(luò)可以正確地識(shí)別0~9這10個(gè)數(shù)字,當(dāng)數(shù)字被一定的噪聲干擾后,仍可以正確地識(shí)別.有數(shù)字的部分用-1表示,空白部分用1表示.網(wǎng)絡(luò)對(duì)這10個(gè)數(shù)字(點(diǎn)陣)具有聯(lián)想記憶的功能,當(dāng)有帶噪聲的數(shù)字點(diǎn)陣輸入到該網(wǎng)絡(luò)時(shí),網(wǎng)絡(luò)的輸出便可以得到最接近的目標(biāo)向量(即10個(gè)穩(wěn)態(tài)),從而達(dá)到正確的識(shí)別效果.

2.2設(shè)計(jì)概覽

設(shè)計(jì)Hopfield網(wǎng)絡(luò)的主要步驟:設(shè)計(jì)數(shù)字點(diǎn)矩陣、創(chuàng)建Hopfield網(wǎng)絡(luò)、產(chǎn)生帶噪聲的數(shù)字點(diǎn)矩陣、數(shù)字識(shí)別測(cè)試、結(jié)果分析.

(1) 以數(shù)字4,5,7,9為例形成總的目標(biāo)向量T=[t5t4t7t9],有數(shù)字的部分用-1表示, 其他部分用1表示.

(2) 利用newhop()函數(shù)創(chuàng)建一個(gè)離散Hopfield神經(jīng)網(wǎng)絡(luò)即net=newhop(T).

(3) 常見(jiàn)的模擬產(chǎn)生噪聲數(shù)字的方法有兩種:固定噪聲法和隨機(jī)噪聲法.隨機(jī)噪聲產(chǎn)生法可以方便地產(chǎn)生各種類型的帶噪聲的數(shù)字矩陣.隨機(jī)噪聲產(chǎn)生法是利用產(chǎn)生隨機(jī)數(shù)的方法來(lái)確定需要修改的點(diǎn)陣位置,進(jìn)而對(duì)數(shù)字點(diǎn)陣進(jìn)行修改.由于數(shù)字點(diǎn)陣中的值只有1和-1兩種,所以這里的修改就是將1換成-1,-1換成1[8].

(4) 利用sim()函數(shù)實(shí)現(xiàn)仿真Hopfield神經(jīng)網(wǎng)絡(luò),主要程序如下:

fori=1:8

T=[t5(:,i),t7(:,i),t7(:,i),t9(:,i)];

net=newhop(T);%設(shè)計(jì)Hopfield網(wǎng)絡(luò)

y(:,i)=sim(net,1,[],T7(:,i));

end

fori=1:7

forj=1:8

ify(i,j)<=0

y(i,j)=-1;

else

y(i,j)=1;

end

end

End

2.3實(shí)驗(yàn)

以數(shù)字5,7,4,9為例,如圖2所示.以數(shù)字“7”為例,觀察加噪和仿真后的數(shù)字“7”,如圖3所示.從仿真結(jié)果圖可以看出,受到噪聲影響,并且嚴(yán)重畸變的數(shù)字“7”,通過(guò)網(wǎng)絡(luò)的輸出已非常接近網(wǎng)絡(luò)存儲(chǔ)的對(duì)應(yīng)于“7”的樣本模式.

圖2　待測(cè)數(shù)字的二值化圖像

圖3　噪聲比為0.1時(shí)的仿真結(jié)果

產(chǎn)生不同的噪聲數(shù)字“7”,若增加噪聲比時(shí),網(wǎng)絡(luò)已很難進(jìn)行識(shí)別,如圖4所示.

圖4　噪聲比為0.3時(shí)的仿真結(jié)果

3結(jié)束語(yǔ)

運(yùn)用MATLAB構(gòu)建Hopfield神經(jīng)網(wǎng)絡(luò),設(shè)計(jì)了一個(gè)簡(jiǎn)單的數(shù)字識(shí)別模型,仿真結(jié)果說(shuō)明對(duì)于帶一定噪聲的數(shù)字陣,Hopfield網(wǎng)絡(luò)可以正確地進(jìn)行數(shù)字識(shí)別.該方法有別于以往的BP神經(jīng)網(wǎng)絡(luò)的模式識(shí)別.下一步的工作可以將一些優(yōu)化算法與離散Hopfield神經(jīng)網(wǎng)絡(luò)相結(jié)合,使神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶能力更強(qiáng),應(yīng)用效果更為突出.例如,一般離散Hopfield神經(jīng)網(wǎng)絡(luò)存在很多偽穩(wěn)定點(diǎn),網(wǎng)絡(luò)很難得到真正的穩(wěn)定.為此可以將遺傳算法應(yīng)用到離散Hopfield神經(jīng)網(wǎng)絡(luò)中,利用遺傳算法的全局搜索能力,對(duì)Hopfield聯(lián)想記憶穩(wěn)態(tài)進(jìn)行優(yōu)化,使待聯(lián)想的模式跳出偽穩(wěn)定點(diǎn),從而使Hopfield網(wǎng)絡(luò)在較高信噪比情況下保持較高的聯(lián)想成功率.

參考文獻(xiàn):

[1]Li T,Xie C,Zhang C.A method of gene diagnosis based on Hopfield neural network [J].Journal of Chemical and Pharmaceutical Research,2014,6(2):580-588.

[2]Hopfield J J,Tank D W.Neural computation of decisions in optimization problems [J].Biological Cybernetics,1985,52(3):141-152.

[3]Jiao L C.Neural network theory [M].Xi′an:Xi′an University of Electronic Science and Technology Press,1991.

[4]Han L Q.Artificial neural networks [M].Beijing:Beijing University of Posts and Telecommunications Press,2006.

[5]Lin X F,Ding X Q,Wu Y S.Principles and applications of digital recognition [M].Beijing:Tsinghua University Press,2002.

[6]Sompolinsky H.The theory of neural networks:The Hebb rule and beyond [J].Lecture Notes in Physics,1987,275(6):485-527.

[7]Wang Z L,Liu M.Proficient in MATLAB7 [M].Beijing:Electronic Industry Press,2006.

[8]Jin C.Digital identification achieve which based on discrete Hopfield neural networks [J].The Computer Age,2012,12(3):1-3.

(責(zé)任編輯：包震宇)

Design and implementation for hopfield associative memoryneural networks

ZHANG Shaoping, XU Xiaozhong, MA Yan

(College of Information,Mechanical and Electrical Engineering,Shanghai Normal University,Shanghai 200234,China)

Abstract:This paper introduces the definition,principle,model and basic learning rules of feedback neural network,i.e.Hopfield network,and constructs a Hopfield neural network model for associative memory.The experimental results are analyzed and compared.The results show that Hopfield neural network for digital identification is feasible and effective.This method,compared with that of traditional neural network,can improve the network memory capacity and accuracy of digital identification.This method is different from the previous BP neural network pattern recognition,and can optimize associative memory steady-state of Hopfield neural network and enhance the capacity of the associative memory of neural network in combination with some optimization algorithms such as genetic algorithm.

Key words:hopfield neural network; associative memory capacity; numeral recognition; MATLAB; genetic Algorithm

中圖分類號(hào):TP 183

文獻(xiàn)標(biāo)志碼:A

文章編號(hào):1000-5137(2016)01-0016-05

通信作者:徐曉鐘,中國(guó)上海市徐匯區(qū)桂林路100號(hào),上海師范大學(xué)信息與機(jī)電工程學(xué)院,郵編:200234.E-mail:XXZ-edu@shnu.edu.cn

收稿日期:2014-12-11