基于小世界網絡的Hopfield聯想記憶模型

張瑞成，胡緒磊

(河北聯合大學 電氣工程學院，河北 唐山 063009)

聯想記憶神經網絡是人工神經網絡的一個重要組成部分，但網絡復雜度過高，硬件難以實現等問題嚴重地制約著聯想記憶網絡的研究和發展[1]。近年來，在生物學背景下提出的Watts-Strogatz小世界網絡模型為聯想記憶網絡的研究提供了一種新的途徑[2]。J.W.Bohland等率先將Watts-Strogatz小世界網絡引入傳統全互聯Hopfield模型中，提出了一種基于WS小世界網絡的聯想記憶模型(WSAM)[3]。隨后，在此基礎上進行了相關研究[4-6]，然而從研究結果分析發現，WS小世界網絡在構造過程中進行“斷鍵重連”，可以降低網絡的連接數量，因此將其引入到聯想記憶網絡中確實可以解決復雜度過高的問題，但同時“斷鍵重連”也會造成重要信息的丟失，使網絡性能變差。

針對WS小世界網絡的這一問題，Newman和Watts提出了Newman-Watts小世界網絡模型[7]，用“隨機加邊”代替了“斷鍵重連”，從而有效地保護了連接權上的信息，同時還可以避免產生孤立節點[7]。鑒于以上分析，提出了一種基于NW小世界網絡的聯想記憶模型(NWAM)，借鑒現有小世界聯想記憶模型的思想給出該模型的生成方法和相應的理論算法，并設計實驗對比NWAM與WSAM的聯想和記憶性能以及抗干擾能力。

1 NW小世界網絡模型

Newman和Watts在WS小世界的基礎上提出NW小世界模型，用“隨機加邊”來代替WS模型中的“斷鍵重連”，從而保證了網絡的整體連通性。其實質是在規則網絡的基礎上以概率p隨機化加邊，從而形成稀疏的長程連接和稠密的短程連接。

NW小世界模型的構造算法[8-9]如下：

1)從一個包含N個節點的規則網絡出發，網絡圍成環形且每個節點只與它相鄰的K個節點相連；

2)從某一節點出發，按照概率p隨機地選擇新的節點進行連接，節點自身和已連接節點除外；

3)重復2)，直到遍歷所有節點，最終形成NW小世界模型。

NW模型是在規則網絡中增加了“長程”連接，通過變化概率p，可以得到從規則網絡(p=0)到隨機網絡(p=1)的一個變化過程，如圖1。

圖1 NW網絡體系結構演化Fig.1 The diagram of regular networks, NW small world network and random network

在模型中每個節點將其輸出反饋給它的K=cN個最近的相鄰節點，c=K/N表示網絡的全局連接度。與WS模型相比，NW小世界模型的構造更加方便，而且不會破壞原網絡的連接，從而保證了網絡的連通性。雖然NW模型中的連接邊有少量的增加，但是由于小世界網絡的特殊性質，概率p保持在很小范圍內，增加的連接邊數也很少，對網絡整體復雜度影響不大。而合理地添加捷徑，使信息更加完整地進行傳遞，模型的性能更加完善。在NW小世界網絡模型中，用少量連接代價換取了性能上的顯著提高。

2 基于NW型小世界網絡Hopfield

聯想記憶模型

2.1 模型的生成

聯想記憶模型具有良好的聯想記憶功能，但是網絡結構復雜，且復雜度較高。將NW小世界網絡引入聯想記憶模型中可以在保證網絡性能的前提下，降低網絡的復雜度，化簡網絡結構，而且與WS小世界模型相比，性能更完善、更穩定。

基于NW小世界網絡的聯想記憶模型的構造流程如下：

1)按照第1節中介紹的方法從一個平均度為K的規則網絡開始，按照概率p隨機地選擇新的節點進行連接，構建出一個NW小世界網絡模型。

2)定義連接矩陣C表示NW小世界網絡的連接情況，若神經元i,j存在連接，則cij=1;若不存在連接，則cij=0。

3)根據傳統Hopfield網絡構建方法構建一個與NW網絡神經元個數相同的全互聯結構聯想記憶網絡，并使用傳統聯想記憶網絡學習規則得到其連接權值矩陣W={wij}。

4)將W與C做點乘得到W*，通過NW網絡的連接矩陣C對Hopfield網絡連接權值矩陣W進行優化，W*為基于NW小世界網絡的聯想記憶模型的連接權矩陣。

5)根據W*為連接權值矩陣，建立基于NW小世界網絡的聯想記憶模型。

該模型保留了聯想記憶的功能，又具有小世界特性，在保證網絡性能的前提下，運用小世界思想將全連接結構很大程度上地進行了稀疏化，從而大大地減小了模型的復雜度，由于神經元之間的平均連接規模被有效降低，更有利于網絡的硬件實現，在運算速度上也更快。

2.2 模型的算法

模型的工作過程與傳統聯想記憶相似，也分為記憶階段和聯想階段。記憶階段就是根據網絡結構，設計或學習網絡的連接權值，使模型具有若干個穩定狀態；聯想階段就是根據給定輸入模式，通過動力學演化到穩定狀態，回想起已存儲模式的過程[10]。

2.2.1 記憶階段

記憶階段就是一個對權值學習和確定的過程，記憶階段的完成應該形成網絡的連接權值矩陣。假設基于NW小世界網絡的聯想記憶模型中有N個神經元，它的連接矩陣可以用C={cij}來表示，如果神經元i到j之間存在一個連接，那么cij=1，如果不存在連接，cij=0，最終得到表示模型存在連接關系的矩陣C：

cii=0,cij=cji

(1)

假設模型為全互聯Hopfield網絡，使用Hebb學習規則來確定模型的權值矩陣W={wij}，且wii=0,wij=wji，權值可以表示為

(2)

由式(1)、(2)，通過重連概率p確定NW小世界網絡的連接矩陣，進一步利用其對模型的權值矩陣W={wij}進行化簡，可得出基于NW小世界網絡的聯想記憶模型的連接權值矩陣W*：

(3)

2.2.2 聯想階段

聯想階段就是在已知權值矩陣的基礎上構建網絡模型，然后將給定的模式輸入到模型中進行處理，通過動力學演化最終達到穩定狀態，回想起已存儲的模式。

假設有一組待記憶的N維模式列向量ξμ，μ={1，2，…，M}，ξu為任意輸入模式，ξu′為ξu的下一個狀態，網絡的動力學演化方程為

ξμ′=sgn(W*ξμ)

(4)

當網絡狀態按照式(4)不斷演化到達穩定狀態時，定義參數R為

(5)

式(5)表示得到的輸出模式ξ′與已存儲模式ξ的相似度，可以用來作為衡量模型聯想記憶性能和抗干擾能力的指標。

3 仿真與分析

為了驗證引入NW小世界網絡來代替WS小世界網絡后模型的性能得到了提高，給出如下 2個實驗進行分析。分別討論NWAM 與WSAM關于不同參數聯想記憶性能的對比，以及2種模型同時用于含噪交通標志圖像識別時的效果對比。

為了表示理解，將原始交通圖像作為以存儲模式ξ，最終識別圖像為輸出模式ξ′，因此參數R可以表示圖像的相似程度，定義為圖像的重復度。

實驗1 NWAM與WSAM 聯想記憶性能對比分析。

1)考察模型在其他條件相同，重連概率p不同的情況下模型的聯想記憶性能。

為了便于判斷和分析，模型取神經元個數N=2 500，模式M=10，平均度K=50，全局連接度c=0.02。比較NWAM和WSAM對隨機加噪 30% 模式的聯想記憶能力。實驗結果如圖2所示。

圖2 不同重連概率下，2種模型記憶性能比較Fig.2 Simulation results of NWAM and WSAM with different probabilities

實驗結果顯示，在其他條件相同的情況下，當重連概率p不斷增加時，2種模型的聯想記憶性都能得到極大的改善，但是NWAM的性能提高的程度要明顯高于WSAM，在任意相同概率p下，NWAM對加噪模式聯想記憶的性能都要優于WSAM，而且NWAM 最終達到的性能狀態也明顯優于WSAM。

2)考察2種模型的網絡性能與網絡全局連接度c之間的關系。

模型取神經元個數N=2 500，模式M=10，重連概率p=0.4，加噪程度為30%。結果如圖3。

圖3 不同全局連接度下模型回憶性能比較(加噪 30% )Fig.3 Simulation results of NWAM and WSAM with different connection degree c with 30% noise

實驗結果顯示，當網絡全局連通度c不斷增加時，2種模型的網絡性能都得到提高，但是，在任意相同全局連接度c下，NWAM對加噪模式聯想記憶的性能都要優于WSAM，而且當c的值很小時，模型的性能就可以達到一個很高的水平。

3)考察噪音干擾下的網絡性能。

取相同的網絡環境，N=2 500，M=10，p=0.4，K=50，噪音選用常見的椒鹽噪聲，對比2種模型在噪音干擾下的網絡性能，結果如圖4所示。

圖4 不同加噪程度下2種模型回憶性能比較Fig.4 Simulation results of NWAM and WSAM with different levels of noise

隨著加噪程度的不斷增加，2種模型的性能都受到影響，但是NWAM性能始終要優于WSAM，而且當噪音較大時，NWAM依然可以維持很好的網絡性能，表現出較強的抗干擾能力。

實驗2 應用實例對比研究。

為驗證新模型對加噪圖像識別的實際效果，文中引入了一個二值化交通標志圖像，分別對其添加30%、50%椒鹽噪聲；均值為0，方差為0.1、0.3的高斯噪聲；25%遮擋處理，然后分別用2種模型分別對含有噪音的交通圖像進行識別，取相同的網絡環境：重連概率p=0.4，平均度K=50，所取樣本圖像像素為50×50，迭代次數為1。其效果圖如圖5所示。

(a)原始記憶圖像及加噪圖像

從圖5對比結果可以看出，這2種模型都可以在噪音干擾下對圖像進行識別，但NWAM的識別效果始終要比WSAM好。特別是對30%、50%椒鹽噪音時，效果明顯要優于WSAM的識別效果，總體來說， NWAM用于模式記憶和加噪模式識別的性能優于WSAM，體現出更強的魯棒處理能力。

4 結束語

本文對NW小世界網絡進行了分析，將其引入到聯想記憶網絡中，構建基于NW小世界網絡結構的聯想記憶模型，借鑒現有小世界聯想記憶模型的思想給出模型的生成方法以及相應的理論算法。實驗結果表明，網絡模型的性能主要與重連概率p、全局連接度c和加噪指數有關。當加噪指數相同時，2個模型的聯想和記憶性能都隨著重連概率p和全局連接度c的增加而得到改善，而且NWAM的性能始終要優于WSAM；當重連概率p和全局連接度c相同時，模型的網絡性能隨著加噪指數的增加都發生了不同程度的降低，但與WSAM相比，NWAM降低很慢且平緩，表現出更強的抗干擾能力。最終，將模型應用于含噪交通圖像識別中，識別結果顯示，在不同形式、程度的噪聲和遮擋干擾下，NWAM的識別準確率要高于WSAM，識別結果更清晰，表現出良好的容錯性和魯棒性。通過仿真結果發現，基于NW小世界網絡結構的聯想記憶模型具有以下優點：

1)將NW小世界網絡引入到聯想記憶網絡中，簡化了網絡結構，減小了網絡的時間和空間復雜度，使網絡的硬件實現也變得更容易。

2)與WSAM相比，有效地保護連接權上的信息，同時避免了孤立節點的產生，使模型對模式的記憶和聯想能力都得到了很大提高，對加噪模式識別時抗干擾能力也更強。

3)通過對比2個模型對含噪音交通圖像的識別結果發現，NWAM識別結果要比WSAM更準確，與原圖像的誤差更小，從而證明其具有更好的魯棒性。

參考文獻:

[1]EGUILUZ V M, CHIALVO D R, CEEHI G A， et al. Seale-free brain functional networks[J].Phys Rev Lett, 2005, (94) 5: 18-22.

[2]AGUIRRE C, HUERTA R, CORBACHO F, et al. Analysis of biologically inspired small-world networks[J].Artificial Neural Networks, 2002, 15(4): 27-32.

[3]BOHLAND J W, MINAI A A. Efficient associative memory using small-world architecture[J]. Neurocomputing, 2001, 38(9): 489-496.

[4]陳蕾，張道強，周鵬，等. 基于SWA的核自聯想記憶模型及其人臉識別應用[J]. 應用科學學報, 2005, 23(5): 497-501.

CHEN Lei, ZHANG Daoqiang, ZHOU Peng, et al. Small-world architecture based kernel auto-associative memory model and its application to face recognition[J]. Journal of applied Sciences, 2005, 23(5): 497-501.

[5]金燕暉，陳賢富. 基于小世界體系的投影學習聯想記憶模型研究[J]. 計算機仿真, 2009, 26(4): 207-210.

JIN Yanhui, CHEN Xianfu. A projection learning rule associative memory model based on small-world architecture[J]. Computer Simulation, 2009, 26(4): 207-210

[6]陳蕾，陳松燦，張道強. 小世界體系的多對多聯想記憶模型及其應用[J]. 軟件學報, 2006, 17(2): 223-231.

CHEN Lei, CHEN Songcan, ZHANG Daoqiang. Small world structure inspired many to many kernel associative memory models and their application[J]. Journal of Software, 2006, 17(2): 223-231.

[7]NEWMAN M E J, WATTS D J. Scaling and percolation in the small-world network model[J]. Phys, 1999, 60(8): 7332-7342.

[8]張瑞成，李沖. 小世界人工神經網絡模型及其應用研究[J]. 計算機仿真，2011, 28(10): 95-98.

ZHANG Ruicheng, LI Chong. Model of NW multilayer feedforward small-world artificial neural networks and it’s applied[J]. Computer Simulation, 2011, 28(10): 95-98.

[9]NEWMAN M E, WATTS D J. Renormalization group analysis of the small-world network model[J]. Physics Letters A, 1999, 263(4): 341-346.

[10]楊靜，高雋，謝昭，等. 一種新的小世界體系聯想記憶模型[J]. 儀器儀表學報, 2009, 30(10): 2057-2063.

YANG Jing, GAO Jun, XIE Zhao, et al. Novel associative memory model based on small-world adaptive structure[J]. Chinese Journal of Scientific Instrument, 2009, 30(10): 2057-2063.