離散型Hopfield神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

朱麗萍，王鋒輝+，李洪奇，呂 潔，Sikandar Ali

(1.中國石油大學(xué)(北京) 石油數(shù)據(jù)挖掘北京市重點(diǎn)實(shí)驗(yàn)室，北京 102249；2.中國石油大學(xué)(北京) 地球物理與信息工程學(xué)院，北京 102249)

0 引 言

離散型Hopfield神經(jīng)網(wǎng)絡(luò)是遞歸型神經(jīng)網(wǎng)絡(luò)中最基本的模型之一，廣泛用于聯(lián)想記憶[1]和二值無約束二次規(guī)劃問題[2,3]，其研究具有深刻意義。權(quán)值求取方法的改進(jìn)對(duì)其它復(fù)雜遞歸型神經(jīng)網(wǎng)絡(luò)權(quán)值的求取具有啟發(fā)式作用。諸多學(xué)者通過改變網(wǎng)絡(luò)結(jié)構(gòu)[4,5]、改進(jìn)權(quán)值設(shè)計(jì)算法[4,5]、設(shè)置時(shí)延[6]等方法使得遞歸神經(jīng)網(wǎng)絡(luò)具備更強(qiáng)的聯(lián)想記憶能力，稀疏性的遞歸網(wǎng)絡(luò)和迭代學(xué)習(xí)算法得到了普遍的認(rèn)可。筆者以外積和法求取的權(quán)值作為網(wǎng)絡(luò)權(quán)值的初始值，然后通過定義損失函數(shù)，使用梯度下降算法，將樣本數(shù)據(jù)和網(wǎng)絡(luò)的能量最低點(diǎn)對(duì)應(yīng)起來，在一定程度上優(yōu)化了網(wǎng)絡(luò)的聯(lián)想記憶能力。

1 離散型Hopfield神經(jīng)網(wǎng)絡(luò)概述

1.1 相關(guān)研究

Hopfield神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶能力被認(rèn)可后，對(duì)遞歸神經(jīng)網(wǎng)絡(luò)性能的研究也越來越多。Pershin等[7]使用憶阻器等電子元件模擬了神經(jīng)元的聯(lián)想記憶能力。Hillar等[1]利用自然圖像訓(xùn)練遞歸Hofield神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)自然圖片的高效壓縮和恢復(fù)。Wang等[2]利用離散型Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)合分布式估計(jì)算法解決NP二值無約束二次規(guī)劃問題，分布式估計(jì)算法用于克服離散型Hopfield神經(jīng)網(wǎng)絡(luò)的極小值問題，相對(duì)模擬退火等非啟發(fā)式算法分布式估計(jì)算法具有更好的表現(xiàn)效果，隨后在文獻(xiàn)[3]中改變了離散型Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)，取得了更好的實(shí)驗(yàn)效果。Karbasi等[8]探討了在記憶模式并未隨著噪音降低到一個(gè)固定的閾值的時(shí)候，聯(lián)想記憶內(nèi)部噪音可以改善聯(lián)想記憶能力。Danesh等[9]通過收集社交網(wǎng)站的言論、標(biāo)簽等資料利用遞歸自聯(lián)想記憶網(wǎng)絡(luò)對(duì)情感檢測進(jìn)行了研究。

也有不少學(xué)者從改善網(wǎng)絡(luò)結(jié)構(gòu)的角度入手探討網(wǎng)絡(luò)性能。受到大腦中模塊化以及稀疏性的啟發(fā)，Tanaka等[4]提出了具有稀疏性模塊化的Hopfield聯(lián)想記憶網(wǎng)絡(luò)，介紹了一種依賴于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的迭代學(xué)習(xí)算法改變連接權(quán)值，并得出每個(gè)神經(jīng)元連接數(shù)目較為一致的時(shí)候網(wǎng)絡(luò)才具備較好的聯(lián)想記憶能力。Salavati等[10]指出非二值的聯(lián)想記憶具有指數(shù)級(jí)別的恢復(fù)能力，考慮了非二值神經(jīng)網(wǎng)絡(luò)的神經(jīng)聯(lián)想問題，二值聯(lián)想記憶網(wǎng)絡(luò)的記憶能力和神經(jīng)元數(shù)量成線性相關(guān)，而非二值神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶與神經(jīng)元數(shù)量指數(shù)相關(guān)。沒有時(shí)延的離散型Hopfield神經(jīng)網(wǎng)絡(luò)可以收斂到一個(gè)穩(wěn)定的狀態(tài)，這條性質(zhì)早已被證明，對(duì)于具有時(shí)延的離散型Hopfield神經(jīng)網(wǎng)絡(luò)Runnian等[6]詳細(xì)考慮了其穩(wěn)定性，研究了基于新的更新算法具有時(shí)延的離散型Hopfield神經(jīng)網(wǎng)絡(luò)的收斂定理。理想的神經(jīng)聯(lián)想記憶網(wǎng)絡(luò)可以記住學(xué)習(xí)模式的同時(shí)，又可以對(duì)有噪音的輸入進(jìn)行恢復(fù)，而且能夠在保障吸引域的同時(shí)記住更多的模式，Karbasi等[5]找到了一種基于卷積的神經(jīng)聯(lián)想記憶網(wǎng)絡(luò)，并提出一種迭代學(xué)習(xí)算法可以學(xué)習(xí)模式間的冗余，這種網(wǎng)絡(luò)的效果達(dá)到了上述3個(gè)要求。雖然基于卷積的聯(lián)想記憶網(wǎng)絡(luò)，但是在噪聲恢復(fù)的時(shí)候依然可以在線性時(shí)間內(nèi)完成。Mofrad等[11]將編碼技術(shù)嵌入到神經(jīng)聯(lián)想記憶中，提高了網(wǎng)絡(luò)恢復(fù)能力。在這篇文章中，筆者提出了一種學(xué)習(xí)算法，來改善網(wǎng)絡(luò)的聯(lián)想記憶能力。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

離散型Hopfield網(wǎng)絡(luò)權(quán)值的設(shè)計(jì)一直圍繞著一個(gè)問題在求解：每組訓(xùn)練數(shù)據(jù)輸入網(wǎng)絡(luò)后，輸出和輸入完全相等。但是由于激勵(lì)函數(shù)為取符號(hào)函數(shù)sgn，無法進(jìn)行求導(dǎo)，所以嚴(yán)重限制了問題的求解。如果在求取權(quán)值的時(shí)候，可以利用另一個(gè)連續(xù)的函數(shù)f(x)代替sgn，而且仍能滿足sgn函數(shù)的性質(zhì)，那么對(duì)于權(quán)值的求解就變得簡單很多。筆者通過比較線性函數(shù)、tansig函數(shù)和sgn函數(shù)的區(qū)別，替換sgn函數(shù)，通過梯度下降進(jìn)行求取權(quán)值。通過對(duì)結(jié)果對(duì)比發(fā)現(xiàn)替換之后求出的權(quán)值表現(xiàn)效果明顯優(yōu)于傳統(tǒng)算法計(jì)算得出的結(jié)果，略微差于Matlab自帶函數(shù)求解結(jié)果。除此之外嚴(yán)格證明了可導(dǎo)函數(shù)替換sgn函數(shù)求解結(jié)果的正確性和在求解過程中面對(duì)無解情況的優(yōu)勢(shì)，并在結(jié)論中對(duì)離散型Hopfield神經(jīng)網(wǎng)絡(luò)權(quán)值設(shè)計(jì)進(jìn)行詳細(xì)分析。

離散型Hopfield神經(jīng)網(wǎng)絡(luò)(DHNN)網(wǎng)絡(luò)結(jié)構(gòu)為一個(gè)全連接無自環(huán)的無向圖，也就是n個(gè)節(jié)點(diǎn)之間的權(quán)值滿足wij=wji、wij=0(i=1…n)，如圖1所示。若以xj表示神經(jīng)元j的輸出(也稱為神經(jīng)元的狀態(tài))，wij表示神經(jīng)元i與神經(jīng)元j的連接權(quán)值，θj表示神經(jīng)元j的閾值。則神經(jīng)元的凈輸入sj和輸出xj分別用式(1)和式(2)計(jì)算

(1)

(2)

圖1 HDNN結(jié)構(gòu)

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)由n個(gè)神經(jīng)元的狀態(tài)集構(gòu)成，離散型Hopfield神經(jīng)網(wǎng)絡(luò)是反饋型網(wǎng)絡(luò)，也就是t時(shí)刻的網(wǎng)絡(luò)狀態(tài)會(huì)成為t+1時(shí)刻網(wǎng)絡(luò)狀態(tài)的輸入，直到網(wǎng)絡(luò)狀態(tài)不再變化為止，此時(shí)的網(wǎng)絡(luò)狀態(tài)作為網(wǎng)絡(luò)原始輸入的結(jié)果。在網(wǎng)絡(luò)狀態(tài)變化的過程有同步和異步之分，但是可以證明，無論是同步還是異步，每次網(wǎng)絡(luò)狀態(tài)變化，網(wǎng)絡(luò)的能量值都會(huì)變得更小，等到網(wǎng)絡(luò)狀態(tài)不再變化的時(shí)候，說明能量函數(shù)已經(jīng)降到極小值。網(wǎng)絡(luò)能量函數(shù)定義如式(3)所示

(3)

2 設(shè)計(jì)網(wǎng)絡(luò)權(quán)值的新學(xué)習(xí)方法

為了使離散型Hopfield神經(jīng)網(wǎng)絡(luò)具有聯(lián)想記憶功能，在求取網(wǎng)絡(luò)權(quán)值和閾值的時(shí)候要滿足兩點(diǎn)要求[5]。第一點(diǎn)：盡可能多的將訓(xùn)練樣本分布在能量函數(shù)的極小值點(diǎn)，分布在能量函數(shù)極小值點(diǎn)的訓(xùn)練樣本被稱為吸引子。第二點(diǎn)：每個(gè)吸引子的吸引域不能太小。本方法有效地解決了第一點(diǎn)，為了滿足第二點(diǎn)要求，權(quán)值和閾值的初始值需要選取適當(dāng)?shù)闹怠?duì)于權(quán)值的初始值設(shè)置為外積和法求取的結(jié)果，閾值的初始值為零。

求取的權(quán)值和閾值需要滿足下面的條件：樣本數(shù)據(jù)輸入網(wǎng)絡(luò)之后，網(wǎng)絡(luò)已經(jīng)達(dá)到了能量函數(shù)的極值點(diǎn)，狀態(tài)不再發(fā)生變化。轉(zhuǎn)化為數(shù)學(xué)問題就是：在滿足式(4)的情況下，求W和θ。假設(shè)標(biāo)準(zhǔn)輸出和實(shí)際輸出的誤差滿足高斯分布，則根據(jù)極大似然估計(jì)可以導(dǎo)出損失函數(shù)如式(5)所示

(4)

(5)

如果損失函數(shù)為零，說明結(jié)果已經(jīng)嚴(yán)格滿足式(4)。由于取符號(hào)函數(shù)sgn的不可求導(dǎo)特性，所以直接將Yi帶入式(5)進(jìn)行求取對(duì)W的偏導(dǎo)數(shù)不可行。觀察sgn函數(shù)性質(zhì)如圖2所示。

圖2 sgn函數(shù)

Xi=Yi

(6)

圖3 sgn、線性函數(shù)

如果直接把式(6)化為Xi=WXi+θ來進(jìn)行求解，未知參數(shù)W和θ一共有n(n+1)個(gè)參數(shù)，而等式一共有n×m組，如果m=n+1則式(6)有可能沒有解或者唯一組解。對(duì)于m>n+1的現(xiàn)象找不到對(duì)應(yīng)解通俗來說就是n(n+1)次的曲面并沒有n×m個(gè)極值點(diǎn)。所以直接進(jìn)行求解并不是一個(gè)好方法，前面定義了損失函數(shù)，如果通過梯度下降算法進(jìn)行求解，應(yīng)該會(huì)得到一個(gè)更加理想的效果此時(shí)的損失函數(shù)為如下

(7)

接下來只需要進(jìn)行不斷求取W和θ的偏導(dǎo)數(shù)并且定義步長，一步步將損失函數(shù)降低到最小點(diǎn)即可。當(dāng)使用線性函數(shù)y=x來代替sgn函數(shù)的時(shí)候，并沒有詳細(xì)討論為什么是一次函數(shù)而不是其它函數(shù)，當(dāng)然如果用f(x)=tansig(βx) 代替sgn函數(shù)，圖4是β=10的曲線圖像，通過觀察圖4，可以知道f(x)=tansig(βx) 對(duì)sgn的模擬會(huì)更好。此時(shí)的損失函數(shù)如式(8)所示

(8)

圖4 tansig函數(shù)

3 實(shí)驗(yàn)驗(yàn)證及結(jié)果

實(shí)驗(yàn)中使用的訓(xùn)練圖片具有統(tǒng)一的模式，存儲(chǔ)信息的不一致性會(huì)導(dǎo)致網(wǎng)絡(luò)的聯(lián)想記憶能力急劇下降，文獻(xiàn)[12]改變稀疏聯(lián)想記憶網(wǎng)絡(luò)結(jié)構(gòu)改善在存儲(chǔ)信息格式不統(tǒng)一時(shí)網(wǎng)絡(luò)的表現(xiàn)。下面通過逆梯度下降算法，對(duì)式(6)以及式(8)進(jìn)行求解，對(duì)于式(8)中β的設(shè)定，考慮到梯度下降不能太快也不能太慢，太快容易錯(cuò)過極小值點(diǎn)，太慢不適合實(shí)際應(yīng)用，所以選取β=5來做實(shí)驗(yàn)。對(duì)式(7)求取wkj和θj的偏導(dǎo)數(shù)

(9)

(10)

(11)

由于要求wkj與wjk相等，但是式(11)中不能保證wkj與wjk同時(shí)發(fā)生變化，可以采用折中處理，在變化的時(shí)候僅對(duì)其中一個(gè)進(jìn)行改動(dòng)，但是要對(duì)wkj與wjk都有顧及

(12)

(13)

如果對(duì)式(8)進(jìn)行求偏導(dǎo)得到

(14)

在實(shí)際的變化中權(quán)值閥值變化如下

(15)

(16)

對(duì)于權(quán)值和閾值的初始值設(shè)定不可以采用隨機(jī)值，對(duì)于隨機(jī)值，雖然上述方法可以將樣本中的數(shù)據(jù)分布在能量函數(shù)的極值點(diǎn)，但是并不能保證這些極值點(diǎn)(吸引子)分布均勻，也就不能保證每個(gè)極值點(diǎn)(吸引子)的吸引域足夠大。所以對(duì)于權(quán)值的初始值，可以采用以往的經(jīng)典算法進(jìn)行設(shè)定，比如外積法等。下面實(shí)驗(yàn)結(jié)果均是以外積法求得權(quán)值作為初始值，閥值采用-1到1之間的隨機(jī)值，對(duì)單一模式進(jìn)行聯(lián)想記憶的結(jié)果。測試數(shù)據(jù)分別為目標(biāo)數(shù)據(jù)噪聲的10%、15%、20%、25%，測試數(shù)字為2和3。每張圖片上的3個(gè)數(shù)字分別為標(biāo)準(zhǔn)記憶數(shù)字、噪聲數(shù)字、對(duì)噪聲數(shù)字記憶聯(lián)想后的數(shù)字。

實(shí)驗(yàn)結(jié)果對(duì)比見表1。

礙于篇幅限制，tansig 函數(shù)替換sgn函數(shù)實(shí)驗(yàn)結(jié)果沒有顯示，tansig函數(shù)更加接近于sgn函數(shù)，理論上表現(xiàn)效果會(huì)更好一點(diǎn)，由于tansig函數(shù)的運(yùn)算復(fù)雜度遠(yuǎn)大于線性函數(shù)，因而在梯度下降的過程中迭代次數(shù)不高，而且閾值初始值為隨機(jī)值，所以每次實(shí)驗(yàn)結(jié)果的好壞情況也不盡相同。但是tansig函數(shù)的實(shí)驗(yàn)結(jié)果整體上還是優(yōu)于直接使用外積法的結(jié)果。

表1 實(shí)驗(yàn)結(jié)果對(duì)比

4 結(jié) 論

通過實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)在用外積法、線性函數(shù)替換sgn、tansig函數(shù)替換sgn這3種方法中，線性函數(shù)替換sgn方法取得的結(jié)果最好，由于tansig函數(shù)的計(jì)算復(fù)雜性，實(shí)驗(yàn)次數(shù)有限，通過表現(xiàn)出來的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)。使用線性函數(shù)替換sgn優(yōu)于使用tansig函數(shù)替換sgn，tansig函數(shù)替換sgn優(yōu)于直接使用外積法。可以看出此算法求取而來的權(quán)值比目前其它方法在聯(lián)想記憶方面有較大改進(jìn)。

當(dāng)決定用一個(gè)可以求導(dǎo)的函數(shù)替換sgn函數(shù)的時(shí)候，在實(shí)驗(yàn)中選用了線性函數(shù)和tansig函數(shù)。通過觀察式(4)可以發(fā)現(xiàn)，需要找這樣一個(gè)函數(shù)f(x)，這個(gè)函數(shù)必須使得式(18)是式(17)的充分條件，也就是如果式(18)成立，那么式(17)也成立。不難發(fā)現(xiàn)，當(dāng)式(17)恒滿足時(shí)，式(18)就是式(4)的充分條件。證明如下

f(x)x>0

(17)

(18)

當(dāng)滿足式(18)

由式(17)的性質(zhì)，可知

在直角坐標(biāo)系內(nèi)可以滿足式(17)的函數(shù)有無數(shù)個(gè)，具體哪個(gè)函數(shù)的表現(xiàn)效果更好還無法定性判斷，只能根據(jù)實(shí)驗(yàn)結(jié)果來進(jìn)行比較。該方法圍繞一個(gè)問題討論：式(4)的求解方法。在二維坐標(biāo)系中，我們無法找出一個(gè)函數(shù)f(x)使得式(18)是式(4)的充分必要條件，只能夠找出一些函數(shù)f(x)使得式(18)是式(4)的充分條件。對(duì)于式(4)的求解，理想中應(yīng)該找到一個(gè)f(x)使得式(18)是式(4)的充分必要條件，只有當(dāng)式(18)與式(4)互為充分必要條件的時(shí)候，問題才完全等價(jià)。這樣通過對(duì)可求導(dǎo)函數(shù)f(x)通過梯度下降算法求得的解才完全是式(4)的解。對(duì)這樣一個(gè)函數(shù)f(x)的尋找仍是目前需要做的工作，也是以后需要改進(jìn)的地方。

5 結(jié)束語

離散型Hopfield神經(jīng)網(wǎng)絡(luò)權(quán)值求取是關(guān)乎記憶能力好壞的關(guān)鍵，在保證吸引域的情況下，將記憶對(duì)象和能量極值點(diǎn)一一對(duì)應(yīng)起來是一個(gè)復(fù)雜的工作。文獻(xiàn)[11]中基于卷積的聯(lián)想記憶網(wǎng)絡(luò)通過合理利用網(wǎng)絡(luò)的冗余實(shí)現(xiàn)了在保證吸引域的情況下有較好的記憶效果。筆者通過對(duì)多篇網(wǎng)絡(luò)權(quán)值求取文獻(xiàn)的閱讀，提出了基于連續(xù)可導(dǎo)函數(shù)替換原來不可導(dǎo)函數(shù)進(jìn)行求解的方法。不過替換函數(shù)并不能完全等價(jià)于原來sgn函數(shù)，在結(jié)論里面給出了充分的分析，而且一個(gè)好的解應(yīng)該保證每個(gè)極值點(diǎn)的吸引域不會(huì)太大或者太小，該方法只是在權(quán)值初始化的時(shí)候保證初始值盡可能均勻分布，并沒有對(duì)最終結(jié)果吸引域大小給出保證。

[1]Hillar C,Mehta R,Koepsell K.A hopfield recurrent neural network trained on natural images performs state-of-the-art image compression[C]//IEEE International Conference on Image Processing,2014:4092-4096.

[2]Wang J.Discrete Hopfield network combined with estimation of distribution for unconstrained binary quadratic programming problem[J].Expert Systems With Applications,2010,37(8):5758-5774.

[3]Wang J,Zhou Y,Yin J,et al.Combining tabu Hopfield network and estimation of distribution for unconstrained binary quadratic programming problem[J].Expert Systems With Applications,2011,38(12):14870-14881.

[4]Tanaka G,Yamane T,Nakano D,et al.Hopfield-type associative memory with sparse modular networks[C]//International Conference on Neural Information Processing,2014:255-262.

[5]Karbasi A,Amir H,Salavati,et al.Iterative learning and denoising in convolutional neural associative memories[C]//International Conference on Machine Learning,2011:445-453.

[6]Runnian M A,Sheping L,Naigong L,et al.Stability of discrete Hopfield neural networks with delay[J].Journal of Systems Engineering and Electronics,2012,16(4):937-940.

[7]Pershin Y V,Ventra M D.Experimental demonstration of associative memory with memristive neural networks[J].Neural Networks,2010,23(7):881-886.

[8]Karbasi A,Salavati A H,Shokrollahi A,et al.Noise facilitation in associative memories of exponential capacity[J].Neural Computation,2014,26(11):2493-2526.

[9]Danesh S,Liu W,French T,et al.An investigation of recursive auto-associative memory in sentiment detection[C]//International Conference on Advanced Data Mining and Applications,2011:162-174.

[10]Salavati A H,Kumar K R,Shokrollahi A,et al.Nonbinary associative memory with exponential pattern retrieval capacity and iterative learning[J].IEEE Transactions on Neural Networks,2014,25(3):557-570.

[11]Mofrad A A,Parker M G,Ferdosi Z,et al.Clique-based neural associative memories with local coding and preceding[J].Neural Computation,2016,28(8):1553-1573.

[12]Boguslawski B,Gripon V,Seguin F,et al.Twin neurons for efficient real-world data distribution in networks of neural cliques:Applications in power management in electronic circuits[J].IEEE Transactions on Neural Networks,2016,27(2):375-387.