負(fù)阻態(tài)憶阻Hopfield 神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)

劉益安，馬瑞辰，李 國(guó)，于 奇，劉 洋，胡紹剛*

(1. 電子科技大學(xué)電子科學(xué)與工程學(xué)院 成都 611731；2. 電子科技大學(xué)重慶微電子產(chǎn)業(yè)技術(shù)研究院 重慶 高新區(qū) 401332)

生物神經(jīng)網(wǎng)絡(luò)擁有大量的神經(jīng)元(～1011)以及突觸(～1014)，并且彼此之間形成錯(cuò)綜復(fù)雜的連接，是一個(gè)龐大的非線性網(wǎng)絡(luò)系統(tǒng)。研究表明，人類(lèi)大腦的運(yùn)行機(jī)制與神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為密切相關(guān)[1-2]，而且已被證實(shí)大腦中存在混沌現(xiàn)象[3]。為了揭示大腦的工作機(jī)理，神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)行為研究成為人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的重要內(nèi)容，而憶阻器具有集成度高、可模擬突觸可塑性、非易失性等特點(diǎn)，被認(rèn)為是最有潛力的神經(jīng)形態(tài)器件[4]，并且其良好的非線性是研究人工神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)的重要條件。

1971 年，文獻(xiàn)[5-6]發(fā)現(xiàn)了第4 種基本元件，即憶阻器，其阻值可變且保持記憶功能。2008年，惠普實(shí)驗(yàn)室研制出首個(gè)憶阻器件[7]，后續(xù)產(chǎn)生了大量關(guān)于憶阻器的研究成果[8-10]。雖然惠普憶阻器模型作為使用最廣泛的憶阻模型之一[11-12]，但推導(dǎo)一個(gè)完全表征惠普憶阻器的數(shù)學(xué)模型是一項(xiàng)具有挑戰(zhàn)性的任務(wù)[13-14]。因此，將非線性二次模型和三次模型等簡(jiǎn)化模型用于憶阻器電路的理論定量分析[15-16]，會(huì)導(dǎo)致許多應(yīng)用的結(jié)果不能令人滿(mǎn)意。為了緩解這個(gè)問(wèn)題，文獻(xiàn)[17]提出了一種新的非線性對(duì)數(shù)模型來(lái)表征憶阻器，文獻(xiàn)[18]提出了具有負(fù)阻態(tài)功能的憶阻器模型，能夠更加準(zhǔn)確地模擬突觸可塑性和非線性脈沖激勵(lì)神經(jīng)元功能。

目前關(guān)于憶阻器神經(jīng)網(wǎng)絡(luò)的研究涵蓋了廣泛的主題[19]，其中憶阻Hopfield 神經(jīng)網(wǎng)絡(luò)(Hopfield neural network, HNN)表現(xiàn)出豐富的動(dòng)力學(xué)行為，并在解決組合優(yōu)化問(wèn)題和圖像復(fù)原領(lǐng)域具有優(yōu)勢(shì)[20-23]。1990 年，文獻(xiàn)[21]首次將混沌引入HNN，開(kāi)啟了HNN 豐富的動(dòng)力學(xué)行為研究。2011 年，文獻(xiàn)[24]將憶阻器引入HNN，并利用嚴(yán)格的數(shù)學(xué)證明分析了網(wǎng)絡(luò)的動(dòng)態(tài)行為，并以?xún)蓚€(gè)神經(jīng)元數(shù)值實(shí)例進(jìn)行了驗(yàn)證。2014 年，文獻(xiàn)[25]利用憶阻器替換HNN 的一個(gè)權(quán)值，構(gòu)建了一個(gè)3 神經(jīng)元的簡(jiǎn)單網(wǎng)絡(luò)，使得網(wǎng)絡(luò)表現(xiàn)出準(zhǔn)周期軌道、混沌以及超混沌等復(fù)雜的動(dòng)力學(xué)行為。2016 年，文獻(xiàn)[26]將憶阻器三次方數(shù)學(xué)模型帶入HNN，并通過(guò)相軌圖、龐加萊映射圖和Lyapunov 指數(shù)對(duì)網(wǎng)絡(luò)的動(dòng)態(tài)特性進(jìn)行研究，獲得了不存在平衡點(diǎn)的超混沌吸引子。2020 年，文獻(xiàn)[27]利用一種耦合雙曲線憶阻器等效電路來(lái)模擬HNN 的突觸串?dāng)_，并在不同串?dāng)_強(qiáng)度下觀察到HNN 的多重穩(wěn)定性、不對(duì)稱(chēng)吸引子和反單調(diào)性。

本文在前期提出的具有負(fù)阻態(tài)功能的憶阻器模型基礎(chǔ)上，為了更好地模擬突觸可塑性以及增加網(wǎng)絡(luò)的負(fù)反饋功能，構(gòu)建了基于憶阻器的新Hopfield神經(jīng)網(wǎng)絡(luò)模型，并對(duì)網(wǎng)絡(luò)動(dòng)力學(xué)行為進(jìn)行了分析研究。實(shí)驗(yàn)結(jié)果表明，提出的憶阻Hopfield 神經(jīng)網(wǎng)絡(luò)模型具有豐富和復(fù)雜的動(dòng)力學(xué)行為，為后續(xù)該神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、數(shù)據(jù)處理、圖像加密等方面的研究打下了堅(jiān)實(shí)的基礎(chǔ)。

1 具有負(fù)阻態(tài)的憶阻器模型

1.1 憶阻器模型

由憶阻器的初始定義可知，它是滿(mǎn)足 φ ?q域特定關(guān)系的一種器件，但為了進(jìn)一步豐富憶阻器的內(nèi)涵，文獻(xiàn)[6]又提出了廣義憶阻器的概念，即一個(gè)憶阻系統(tǒng)的定義應(yīng)該滿(mǎn)足如下關(guān)系：

式中，u(t)和y(t)分別為系統(tǒng)的輸入信號(hào)和輸出信號(hào)；x為系統(tǒng)的n階狀態(tài)變量；g為一個(gè)n維的連續(xù)向量函數(shù)；t為時(shí)間。

磁通或電壓控制型憶阻系統(tǒng)的關(guān)系可寫(xiě)成：

式中，h為一個(gè)n維的連續(xù)向量函數(shù)。此時(shí)的憶導(dǎo)值G也不再僅由磁通量 φ決定，而是由狀態(tài)變量x、輸入電壓v以及時(shí)間t共同決定。

由上述定義可知，廣義憶阻器將影響憶阻值的變化因素增多了，本文提出的改進(jìn)模型就是對(duì)狀態(tài)變量x進(jìn)行了有效調(diào)整，使憶阻器能夠呈現(xiàn)出正負(fù)兩種阻態(tài)，消除了對(duì)理想憶阻器電導(dǎo)極性的限制。

如圖1 所示，新憶阻器模型可以視為夾在兩個(gè)金屬電極之間的厚度為2D的半導(dǎo)體薄膜，包括一個(gè)正電導(dǎo)區(qū)和一個(gè)負(fù)電導(dǎo)區(qū)(每個(gè)區(qū)的厚度為D)。它也可以視作兩個(gè)理想憶阻器背靠背連接，一個(gè)具有正電導(dǎo)，另一個(gè)具有負(fù)電導(dǎo)。憶阻器的電導(dǎo)由狀態(tài)變量x確定，并且x的調(diào)控范圍從原理想狀態(tài)憶阻器的[0,D]擴(kuò)展到[?D,D]。

圖1 憶阻器模型物理結(jié)構(gòu)圖

假設(shè)只考慮最簡(jiǎn)單的歐姆電導(dǎo)情形，G(x)定義為與狀態(tài)變量x成正比，即G(x)=ax，其中a是常數(shù)系數(shù)。同時(shí)在實(shí)際憶阻器使用中，特別是氧化物類(lèi)憶阻器，其兩端的電阻或者電導(dǎo)經(jīng)常會(huì)隨著時(shí)間的推移而逐漸降低，所以可以通過(guò)引入衰減項(xiàng)(bx)模擬這種阻值變化，其中b為衰減系數(shù)。綜上所述，改進(jìn)的憶阻器可以描述為：

除了兩個(gè)端點(diǎn)?D，D外，狀態(tài)變量x與通過(guò)憶阻器的磁通量成正比。在改進(jìn)的憶阻器模型上施加外部電壓，可以使x的位置發(fā)生變化，從而改變憶阻器電導(dǎo)的大小與極性。如假設(shè)a=1 且b=0，如果在憶阻器上施加正電壓，x向陽(yáng)極移動(dòng)，電導(dǎo)可能處于正阻態(tài)，反之若施加負(fù)電壓，x向陰極移動(dòng)，電導(dǎo)就可能處于負(fù)阻態(tài)。

1.2 器件模型仿真

當(dāng)對(duì)改進(jìn)的憶阻器施加一個(gè)正弦電壓v(t)=Asin(ωt)時(shí)，可以得到憶阻器的電導(dǎo)公式為：

式中，c是常數(shù)系數(shù)；A、ω 分別為正弦電壓幅度、頻率。設(shè)置c=1，A=2，ω=2π，x0=?0.5，相關(guān)測(cè)試結(jié)果如圖2、3 所示。若b=0，即忽略衰減項(xiàng)，通過(guò)繪制電流與電壓的關(guān)系，可獲得呈水平8 字狀的捏滯回線，I-V曲線跨越所有4 個(gè)象限，且主要在2、4 象限，與原理想憶阻器模型僅在1、3 象限的斜8 字I-V曲線相比具有明顯不同的特性，也意味著所提出的憶阻器模型具有負(fù)電導(dǎo)。此外，若b=0.08 時(shí)，施加正弦電壓，可以獲得多個(gè)連續(xù)的穩(wěn)定狀態(tài)。

圖2 憶阻器電流電壓曲線圖(a=1, b=0)

圖3 憶阻器電流電壓曲線圖(a=1, b=0.08)

2 憶阻Hopfield 神經(jīng)網(wǎng)絡(luò)

選取3 個(gè)神經(jīng)元的連續(xù)型Hopfield 神經(jīng)網(wǎng)絡(luò)[28]，表達(dá)式為：

式中，Ci為 第i個(gè)神經(jīng)元的輸入電容；ui為第i個(gè)神經(jīng)元的輸出變量；Ri為第i個(gè)神經(jīng)元的傳輸電阻；wij為 神經(jīng)元的連接權(quán)值；f(u)為神經(jīng)元激勵(lì)函數(shù)；Ii為神經(jīng)元外部激勵(lì)。為簡(jiǎn)化計(jì)算過(guò)程，通過(guò)單位歸一化后，設(shè)置Ci、Ri均為1，Ii為 0，f(u)為雙曲正切函數(shù)，即f(u)=tanh(u)。

Hopfield 網(wǎng)絡(luò)是一種全連接的反饋型神經(jīng)網(wǎng)絡(luò)，每個(gè)神經(jīng)元與其他所有神經(jīng)元相互連接，3 神經(jīng)元HNN 需要9 個(gè)突觸連接權(quán)值。憶阻器本身具有阻值記憶特性，是良好的突觸仿生器件，以往的憶阻器基本只有正阻態(tài)，而反饋型神經(jīng)網(wǎng)絡(luò)，特別是混沌神經(jīng)網(wǎng)絡(luò)，往往需要負(fù)反饋權(quán)值。由于憶阻器的電導(dǎo)與權(quán)值具有相同的量綱，可以將具有負(fù)阻態(tài)的憶阻器替換HNN 的一個(gè)權(quán)值，新憶阻Hopfield神經(jīng)網(wǎng)絡(luò)表達(dá)式為：

式中，u為輸出變量矩陣；W為連接權(quán)值矩陣。可以表示為：

由式(10)、(11)可知，新網(wǎng)絡(luò)的演化情況由系統(tǒng)初始值、權(quán)值矩陣W以及憶阻器參數(shù)a、b確定。

3 網(wǎng)絡(luò)動(dòng)力學(xué)特性分析

首先基于實(shí)驗(yàn)室24 核48 線程AMD 3960X 服務(wù)器平臺(tái)，使用粒子群算法，搜索新HNN 模型比較優(yōu)化的參數(shù)配置。設(shè)置a=1，b=0.05，初始值u(0)=(0.1,0.1,0.1)，W權(quán)值矩陣為：

系統(tǒng)仿真時(shí)間為500 s，時(shí)間精度為1 ms，各參數(shù)采用國(guó)際標(biāo)準(zhǔn)單位歸一化，無(wú)量綱。如圖4 所示，系統(tǒng)的相位軌跡圖呈現(xiàn)出普通的單渦卷吸引子，但單純從相軌圖還不能判定是否為混沌系統(tǒng)，還要結(jié)合Lyapunov 指數(shù)的正負(fù)情況。根據(jù)式(10)求得系統(tǒng)的Jacobian 矩陣，再利用施密特正交化方法，求解系統(tǒng)的Lyapunov 指數(shù)[29]。如圖5 所示，系統(tǒng)最終的Lyapunov 指數(shù)分別為L(zhǎng)E1=0.012 5，LE2=?0.003 4，LE3=?0.068 5，LE4=?6.891 2，存在大于零的Lyapunov 指數(shù)，所以可以初步判定系統(tǒng)達(dá)到混沌狀態(tài)。

圖4 系統(tǒng)的相位軌跡圖

圖5 Lyapunov 指數(shù)圖

3.1 憶阻器參數(shù)的影響

通過(guò)調(diào)整憶阻器參數(shù)a，b的值來(lái)觀察憶阻器對(duì)系統(tǒng)動(dòng)力學(xué)行為的影響。如圖6 所示，其他實(shí)驗(yàn)條件不變的情況下，a取[0.5, 1.5]，步長(zhǎng)為0.01，當(dāng)a從0.50 增加到1.09，系統(tǒng)的Lyapunov 指數(shù)變化不大，LE1、LE2、LE3在零附近，LE1始終略大于零；當(dāng)a從1.09 增加到1.50，系統(tǒng)的Lyapunov指數(shù)發(fā)生較大變化，且都小于零。

圖6 Lyapunov 指數(shù)隨a 值變化的曲線圖

如圖7 所示，b取[0.05, 0.12]，步長(zhǎng)為0.001，b的取值持續(xù)對(duì)Lyapunov 指數(shù)造成影響，證明憶阻器的衰減項(xiàng)對(duì)系統(tǒng)的影響較大，但不論b取何值，LE1始終大于零，其他Lyapunov 指數(shù)小于零。

圖7 Lyapunov 指數(shù)隨b 值變化的曲線圖

3.2 連接權(quán)值矩陣的影響

神經(jīng)元間的連接權(quán)值矩陣對(duì)系統(tǒng)有較明顯的影響，實(shí)驗(yàn)中搜索出另一組連接權(quán)值矩陣Wn如下：

如圖8 所示，系統(tǒng)呈現(xiàn)出圖4 類(lèi)似的單渦卷吸引子相軌圖，且只有LE1=0.008 9，大于零，其他Lyapunov 指數(shù)均小于零。

圖8 系統(tǒng)的相位軌跡圖(W 取Wn)

3.3 與其他Hopfield 神經(jīng)網(wǎng)絡(luò)對(duì)比

如表1 所示，Hopfield 神經(jīng)網(wǎng)絡(luò)的相軌圖主要集中表現(xiàn)為單、雙渦卷吸引子，Lyapunov 指數(shù)一般只有一個(gè)為正。文獻(xiàn)[21]是最早將混沌引入HNN網(wǎng)絡(luò)的，但10 神經(jīng)元模型的動(dòng)力學(xué)行為并不顯著，而后續(xù)的改進(jìn)模型性能都有所提升。

表1 本網(wǎng)絡(luò)與其他HNN 模型的動(dòng)力學(xué)特性對(duì)比

4 結(jié) 束 語(yǔ)

本文通過(guò)對(duì)具有負(fù)阻態(tài)的憶阻器模型進(jìn)行數(shù)學(xué)分析以及I-V特性仿真測(cè)試，進(jìn)一步明確了憶阻器的器件特性，同時(shí)基于該憶阻器模型構(gòu)建了新的Hopfield 神經(jīng)網(wǎng)絡(luò)，并對(duì)網(wǎng)絡(luò)的動(dòng)力學(xué)行為進(jìn)行了分析與討論。實(shí)驗(yàn)結(jié)果表明，提出的Hopfield 神經(jīng)網(wǎng)絡(luò)模型具有豐富且復(fù)雜的動(dòng)力學(xué)行為，并存在一定的混沌現(xiàn)象。同時(shí)，討論了在不同的憶阻器參數(shù)以及連接權(quán)值矩陣條件下，網(wǎng)絡(luò)的動(dòng)態(tài)演化進(jìn)程以及Lyapunov 指數(shù)的變化情況，并與同類(lèi)型網(wǎng)絡(luò)進(jìn)行了對(duì)比，結(jié)果進(jìn)一步表明該模型的有效性，為后續(xù)在模式識(shí)別、數(shù)據(jù)處理以及圖像加密方面的應(yīng)用提供了研究思路。