具有艾賓浩斯遺忘規則的憶阻聯想記憶電路

李志軍 譚茂林 王夢蛟 馬銘磷

(湘潭大學自動化與電子信息學院 湘潭 411105)

1 引言

近年來，隨著對生物神經網絡[1,2]結構及響應機制理解的不斷深入，人工神經網絡得到了巨大的發展。一方面，研究者提出構建大規模人工神經網絡來實現與大腦類似的分布式并行計算能力[3,4]。另一方面，研究人員根據人腦的生物特征和工作機制嘗試構造類似大腦的結構模型，并模擬相應的自適應學習能力[5—7]。人腦中大約有1011個神經元以及1015個突觸，要模擬大腦的功能，在實現過程中就必須考慮大規模集成和功耗的問題。

1971年，Chua[8]提出了憶阻器的概念。2008年，惠普實驗室制備了第一個表現憶阻行為的固態設備[9]。憶阻器是一種具有記憶特性的動態器件，其憶阻(憶導)值取決于流過電流(電壓)的時間。利用其非線性特征，憶阻器可以實現各種混沌電路[10—12]。尤為特別的是，憶阻器兼具非易失性和低功耗等特點，與生物突觸非常類似，因此采用憶阻器模擬生物突觸受到了廣泛的關注[13,14]。例如，Wang等人[15]采用4個憶阻器和差分放大器實現了一種憶阻橋突觸電路，其突觸權值可以在正值、負值、0值之間任意調節。Yang等人[16]采用運算放大器對憶阻橋突觸電路進行了改進，有效減少了電流電壓信號之間的轉換。Alibart等人[17]則提出了雙憶阻器的交叉桿陣結構，隨后Truong等人[18]提出單個憶阻器的交叉桿陣列，不但減少了憶阻器個數，還實現突觸權值的正、負、0值變化。

巴甫洛夫實驗能有效展示生物的聯想記憶能力，成為人工神經網絡領域研究的焦點，受到了廣泛的關注。Pershin等人[19]首次提出了憶阻突觸的聯想記憶電路，并驗證了電路的聯想記憶能力和學習能力，但該電路使用了微處理器，導致電路結構過于復雜。Chen等人[20]采用最大輸入反饋學習法調節憶阻突觸權值，從理論上分析了憶阻神經網絡的聯想學習和校正的功能。Wang等人[21]以荷控憶阻器為神經突觸建立了4個神經元構成的憶阻神經網絡，采用平均輸入反饋學習法實現對憶阻權值的迭代和更新。為了進一步簡化憶阻神經網絡電路，Yang等人[22]采用4個MOS管和1個憶阻器實現了憶阻權值調節電路，結合邏輯門實現的信號控制提出了一種全功能的巴甫洛夫電路。Hu等人[23]首先提出一種具有遺忘特征的壓控憶阻器，然后采用6個憶阻器和5個神經元提出了一種情感演變電路，卻并未考慮加速學習和自然遺忘等功能。Sun等人[24]提出了具有延遲功能的聯想記憶電路，能實現加速學習和減速遺忘，但電路仍然過于復雜，且學習速率和遺忘速率只能調節1次。

本文在上述文獻的基礎上提出一種全功能的聯想記憶電路，與現有文獻相比，所提出的聯想記憶電路具有如下特征：(1)能實現全功能的聯想記憶行為，包括學習、聯想、遺忘、加速學習和減速遺忘等功能；(2)電路更具有仿生性，能夠根據學習次數自動調整學習速率和自然遺忘速率；(3)電路實驗結果與艾賓浩斯遺忘規律相吻合。為了驗證電路的功能，本文采用通用電路分析程序(Personal Computer Simulation Program with Intergrated Circuit Emphasis, PSPICE)對電路進行了仿真分析。

2 憶阻器模型

突觸作為神經網絡中神經元之間連接的重要結構，負責將信息從前神經元傳輸至后神經元。當尋求突觸功能器件時，必須考慮其閾值特性、突觸權值存儲和自適應調節能力。憶阻器作為一種新型的納米器件，具有記憶功能和阻值連續可調的特性，是模擬生物突觸的理想器件。本文采用基于AgInSbTe的壓控閾值憶阻器模型。其數學表達式為[25]

3 神經元模型與聯想記憶模型

3.1 神經元模型

在生物神經網絡中，神經元作為神經信號處理單元，既能對前神經元信號進行整合，還能通過突觸加權向后神經元輸出神經信號。采用憶阻器為神經突觸的神經元模型如圖2所示，包含輸入、激活和輸出函數。

神經元對每個與其相連的前神經元輸出加權后再進行求和

其中，uk, Wk分別表示第k個前神經元的輸入和突觸權值(對應為憶阻器的憶導值)，U(t)表示當前輸入信號累加和。如果累積的電壓超過神經元閾值Nth，則神經元被激活并產生輸出信號。本文采用符號函數為激活函數

一旦神經元被激活，將產生一個恒定幅值的電壓信號輸出。神經元輸出函數可表示為

其中，b是輸出系數。

3.2 聯想記憶模型

聯想記憶分為學習階段、聯想記憶階段和遺忘階段。在學習階段，通過調節突觸權值將信息存儲在神經網絡中。在聯想記憶階段，當輸入信號時，網絡可以根據學習過程中存儲的信息輸出。遺忘階段是將突觸權重恢復初始狀態的過程，也就是把學習過程中存儲的信息在神經網絡中擦除。圖3為聯想記憶模型，包含3個神經元與兩個突觸。其中Of,Or分別表示食物神經元和鈴聲神經元的輸出電壓，且都大于等于0。Wf為食物神經元和唾液神經元之間的突觸權值，其大小固定不變，表示食物神經元和唾液神經元之間的強相關性；Wr是鈴聲神經元與唾液神經元之間的突觸權值，其大小隨食物神經元和鈴聲神經元的輸出自動調節，表示在不同狀態下鈴聲神經元與唾液神經元的相關性。由式(4)—式(6)可知，該聯想記憶模型可表示為

其中，Wr(t)可表示為

本文采用憶阻器的憶導值來表示Wr，故權值變化量ΔWr(t)即式(3)中憶阻值變化量的倒數。

4 聯想記憶電路設計

4.1 神經元電路

在生物學上，神經元作為神經系統最基本的結構和功能單位，具有信息整合、興奮產生和興奮傳導作用。本文構建了一個簡單的神經元電路，如圖4所示。它由金氧半場效晶體管(Metal Oxide Semiconductor Field Effect Transistor, MOSFET)、電阻與電容組成。與其他神經元電路[7,15,26]相比，該電路使用較少的器件就可以實現神經元功能，便于集成。電路參數如下：Vth(P1)=—0.5 V, Vth(P2)=Vth(P3)=—1 V, VC=2 V, R1=R2=3 kΩ, R3=R4=1 kΩ, C1=10 μF。

當神經元無輸入時，神經元處于抑制狀態，VNout無輸出。若神經元接收到刺激信號，電容C1充電。當其電壓超過神經元閾值時，P2截止，P3導通，則神經元被激活產生輸出電壓VNout。若輸入電壓消失，則P1導通，使C1放電，神經元恢復初始狀態。圖5為神經元電路的PSPICE仿真結果。顯然，只有電容電壓Vab超過閾值電壓1 V時，才能產生輸出電壓VNout。若輸入電壓時間過短，C1上電壓未達到1 V，神經元電路將不被激活，表明該神經元電路能夠有效防止電路的瞬時脈沖干擾。

4.2 突觸電路

突觸作為神經系統連接神經元的重要樞紐，是神經網絡中信號處理至關重要的部分。基于對巴甫洛夫實驗的生物學行為的研究，并結合憶阻器的特性，本文提出如圖6所示的憶阻突觸電路。其中包括學習模塊(模塊1)、單信號選擇模塊(模塊2)、權值調節與輸出模塊(模塊3)和加速學習與自然遺忘模塊(模塊4)。該電路不僅能實現學習、遺忘和自然遺忘功能，還能實現多次可變速率的學習、遺忘。

4.2.1 學習模塊

最終Vlearn通過P14輸出至模塊3調整學習階段的突觸權值。

4.2.2 單信號選擇模塊

該模塊能對前神經元信號進行甄別，當食物或鈴聲信號單獨輸入時，該模塊輸出電壓，實現食物信號或鈴聲信號單獨作用時的遺忘功能。該模塊參數如下：Vth(N1)=Vth(N2)=0.3 V, Vth(P10)=—1.5 V, R13=1 kΩ。只有食物信號和鈴聲信號單獨輸入，則N1(或N2), P10導通，使得Vsl為高電平，并輸出至模塊3。對于M1，該電壓為反向輸入，使得M1憶導值減小，即突觸權值減小。故該模塊可以實現單個信號輸入時的遺忘功能。

4.2.3 權值調節與輸出模塊

該模塊主要功能是將其他模塊傳輸而來的電壓信號集合后，對憶阻突觸的權值M1進行調節，經過P15, N8和一個電壓跟隨器(A2與R25組成)傳輸至下一個神經元電路。模塊參數如下：Vth(P15)=—0.3 V, Vth(N8)=0.3 V, R22=40 kΩ, R23=50 kΩ,R25=1 kΩ。憶阻突觸權值表示鈴聲神經元與唾液神經元之間的相關性，通過M1的憶導值來表示，即W=1/M1。當學習行為產生時，模塊1向輸出學習電壓Vlnf。如果Vlnf— Vsf＞VT+(M1)，則M1的憶導值增大，表現出學習過程中突觸權值的增大。此時Vboth為高電平，故N8導通，P15截止。因此，Vsf被傳輸至后神經元。當食物或鈴聲單獨輸入時，模塊2將電壓輸出到Vsf，使得Vlnf— Vsf＜VT—(M1)。M1憶導值在電壓作用下減小，表現出遺忘過程中突觸權值的減小。此階段在Vboth的作用下，N8截止，P15導通，Vlnf輸出至后神經元。當食物信號和鈴聲信號都不輸入時，將產生自然遺忘行為。此時Vlnf為負電壓，如果Vlnf—Vsf＜VT—(M1)，M1憶導值將減小，表現出自然遺忘過程中突觸權值的減小。此時N8截止，P15導通，負電壓Vlnf輸出至后神經元。

4.2.4 加速學習和自然遺忘模塊

該模塊會在學習階段和自然遺忘階段激活，相應地產生加速學習電壓Val和自然遺忘電壓Vnf。模塊參數如下：Vth(P12)=Vth(P13)=—6 V, Vth(N5)=2 V, Vth(N6)=0.3 V, Vth(N7)=1 V, R21=2 kΩ,R20=2.5 kΩ，為了實現加速學習與減速自然遺忘的功能，在該模塊中加入了憶阻器M2和M3。將兩憶阻器分別與兩固定電阻串聯，故加速學習電壓Val和自然遺忘電壓Vnf可分別表示為

當學習行為發生時，在Vct的控制下N5截止，P12與P13導通，因此Vtl是Vb作用下的正電壓。在該電壓作用下M2的憶阻值逐漸減小，故Val增大，該電壓通過N6輸出至模塊1，完成對M1的調節。由于憶阻器具有非易失性，當下次學習行為發生時，憶阻器M2的憶阻值會在上次學習行為結束時憶阻值的基礎上進一步減小，故可以獲得更大的Val。因此加速學習電壓會隨著學習次數的增加而增大，從而實現加速學習能力。如圖7所示，與M2相似，M3在每次學習階段憶阻值也會減小，但此時N7不導通，故Vnf不會在該階段傳輸至模塊3。當學習后進入自然遺忘階段，在Vct的控制下P12和P13截止，N7與N5導通，因此Vtf是Ve作用下的負電壓。又因為每次學習階段結束后M3的憶阻值進一步減小，故Vnf會隨著學習次數的增加而減小，從而實現減速自然遺忘功能。

圖8顯示了具有3個神經元和兩個突觸的完整聯想記憶電路。由于食物誘導狗分泌唾液的行為是先天性的、無條件的，本文使用一個固定電阻R24來表示食物神經元和唾液神經元之間的強相關性。聯想記憶電路中各憶阻器的參數如表1所示。

表1 聯想記憶電路中各憶阻器參數

5 仿真結果

對圖8的整體電路進行PSPICE仿真分析，為便于討論，將實驗分為3個情景，如圖9所示，其中每個情景的前3 s為測試階段，對應為無輸入、食物單獨輸入、鈴聲單獨輸入。

5.1 學習與遺忘

圖10(a)顯示了情景1的仿真結果，Vfood和Vring分別表示食物神經元和鈴聲神經元受到外界刺激所形成的輸入電壓，Vsaliva表示唾液神經元的輸出電壓。第1階段是電路測試階段，唾液神經元只在食物信號輸入時被激活，表現出它與食物神經元的強相關性，與鈴聲神經元的弱相關性。期間突觸權值保持不變，系統維持初始狀態。第2階段是學習階段，即同時輸入食物和鈴聲信號，時間為3 s。該階段唾液神經元在食物信號誘導下持續輸出且突觸權值增加，鈴聲和唾液之間的相關性由弱變強。圖10中紅線表示突觸權值的臨界值Wcv=28.5 μS。如果突觸權值大于(小于)Wcv，則鈴聲和唾液之間將產生(喪失)聯想記憶。學習階段完成后，W＞Wcv，唾液神經元與食物神經元形成強相關性。第3階段為聯想記憶階段，此時只有鈴聲信號輸入，為單信號輸入的遺忘過程。唾液神經元保持輸出，突觸權值逐漸減小，減小至Wcv，該過程持續時間為4 s，表現出系統的聯想記憶功能。第4階段仍只有鈴聲信號輸入，但此時突觸權值小于Wcv，故唾液神經元處于抑制狀態。突觸權值在單信號輸入作用下持續降低至初始值，唾液神經元與食物神經元的相關性恢復至初始的弱相關。

5.2 加速學習和減速遺忘

圖9中情景2的仿真結果如圖10(b)所示，包括1個測試階段，3個學習階段，3個遺忘階段。首先，通過測試階段確保系統在初始狀態。隨后，同時輸入鈴聲信號和食物信號，使系統進入學習狀態。從圖10(b)可以看出，在學習階段突觸權值W持續增加，鈴聲神經元和唾液神經元的相關性由弱變強。在學習時間相同的情況下，最大突觸權值都大于前一次。PSPICE仿真發現經過3次學習，突觸最大權值之間的關系為：W1=33.2 μS＜W2=37.5 μS＜W3=41.8 μS。這意味著所提出的電路具有加速學習的功能，因為隨著學習次數的增加，其學習速率越來越快。圖10(b)中，tm是維持記憶的時間，tf是權值恢復到其初始值的時間。在3次遺忘階段，tf分別為22.4 s, 24.5 s和27.6 s，表明學習次數越多，遺忘速率降低，則維持記憶的時間越長。

5.3 減速自然遺忘

圖9中情景3中的仿真結果如圖10(c)所示。通過學習，突觸權值增加到大于Wcv，鈴聲神經元和唾液神經元產生聯想記憶。隨后鈴聲信號和食物信號都不輸入，系統進入自然遺忘階段。結合電路結構，每經過一次學習階段，自然遺忘電壓將減小。因此，每一次自然遺忘過程中，突觸權值返回至初始值的時間tnf被延長，恢復時間分別為32.8 s,46.1 s和53.4 s。這意味著電路實現了減速自然遺忘的功能。

通過研究該功能，不難聯想到艾賓浩斯記憶實驗。心理學家赫爾曼·艾賓浩斯系統地研究了各種因素對學習、記憶、遺忘的影響，得出了許多有價值的結論：人們在學習后，如果不及時復習，很快就會忘記所記憶的內容；記憶完成后，剛開始遺忘得快，然后越來越慢。將研究結果用坐標表示如圖11(a)，紅線表示理想記憶曲線；紫線代表艾賓浩斯遺忘曲線，隨時間逐漸減小；藍線代表科學復習曲線，在多次學習后，遺忘速率會變慢。學習次數與維持聯想記憶時間呈正相關，因此科學復習不是浪費時間，而是更有利于記憶[27,28]。通過改變電路的輸入電壓信號，利用加速學習與減速自然遺忘功能，用突觸權值來表示記憶的程度，最終得出的仿真結果如圖11(b)。紅線為憶導值60 μS，用來表示100%記憶度理想記憶曲線，紫線為自然遺忘曲線，即只學習1次后記憶曲線，與圖11(a)中艾賓浩斯遺忘曲線相對應，藍線為多次學習與遺忘記憶曲線，與圖11(a)中的科學復習曲線相對應。將圖11(a)、圖11(b)兩圖做比較，可知該電路能夠模擬艾賓浩斯記憶實驗結果。多次學習過后，遺忘速率越來越慢，進一步說明科學復習是克服遺忘的有效途徑。

表2給出了本文電路和現有相關聯想記憶電路性能方面的比較。從功能上本文所提出的電路更具有仿生性，不但實現了基本的學習和遺忘功能，還能實現加速學習和減速遺忘，且學習速率和遺忘速率能夠多次調整；從實現方式上本文采用MOS管和集成運放，沒有使用邏輯門電路和開關器件，更便于電路的集成實現；此外該電路還能模擬艾賓浩斯記憶實驗，從而從電路上驗證了科學復習的重要性。

表2 已有的聯想記憶電路與本文的比較

6 結束語

受著名的巴甫洛夫狗實驗的啟發，本文采用壓控閾值憶阻器為神經突觸提出了神經元模型與聯想記憶模型。根據模型設計了一個聯想記憶電路，并采用PSPICE對該聯想記憶電路進行了仿真分析。與類似研究文獻[21—24,26,29—31]相比，本電路具有以下突出優勢：(1)它不僅實現了學習、聯想和遺忘的功能，還具有加速學習和減速自然遺忘的功能，使電路更仿生；(2)電路非常簡單，有利于降低功耗；(3)本文大膽地結合艾賓浩斯記憶實驗，通過電路實現了相關的生物遺忘特征，進一步豐富了巴甫洛夫聯想記憶電路在其他心理學實驗中的應用。未來的工作將側重于根據生物特征進一步優化電路性能和簡化電路結構。