基于遺忘效應憶阻器的LIF 神經元電路研究

楊寧寧，王 達，吳朝俊

(1.西安理工大學 電氣工程學院，陜西 西安 710048;2.西安工程大學 電子信息學院，陜西 西安 710048)

人工神經網絡的研究在各個領域已取得巨大進展，解決了實際應用中存在的很多問題。目前神經網絡算法大多數運行于計算機上，在這種運行方式中，計算機的存儲功能和計算功能相分離，這就導致了存儲墻的存在和馮·諾依曼瓶頸，使得神經網絡的計算速度大幅下降。然而在這個大數據時代，各種數據呈爆發式增長，對神經網絡的運算速度也有了更高的要求。構建一個存算一體的新型神經網絡可有效解決“存儲墻”問題和馮·諾依曼瓶頸[1-3]，而憶阻器的提出和發現讓上述神經網絡的實現有了希望。

1971 年，“憶阻器之父”蔡少棠教授在理論上提出了憶阻器的概念[4]，惠普實驗室在2008 年宣布物理制備了具有憶阻特性的二端元件[5]。這一突破性的研究引起了學術界和工業界的廣泛關注，同時引起了基于憶阻器的神經網絡研究熱潮。自惠普實驗室制備實物憶阻器以來，基于各種材料的憶阻硬件相繼被成功制備[3，6-7]。在電路仿真中，如何用模型來描述各種憶阻器的特性也是一種極其重要的工作，Strukov 教授[5]提出了線性憶阻模型，但僅考慮了線性的氧離子遷移;2013 年和2015 年，Kvatinsky 教授提出TEAM[8]和VTEAM[9]模型;2013 年，Yakopcic 提出一個一般化的憶阻器SPICE模型[10]，Ling 提出具有遺忘效應的憶阻器模型[11];2014 年，Carbajal 提出了適用于機器學習、可模擬動態波動性的憶阻模型[12];2017 年，張洋提出一個適合于神經網絡突觸計算的憶阻器模型[13]。文獻[14]對上述憶阻器模型進行了對比和分析，均不滿足憶阻神經元電路的設計要求，可以說得到符合實際而又適合神經網絡的憶阻器模型是神經網絡研究的基礎。因此，本文借鑒前人的研究基礎，研究了一種具有遺忘效應且滿足憶阻神經元設計要求的憶阻器模型。

在神經網絡方面，通過研究可知在人大腦中有超過1000 億個神經元，而且每個神經元大約有超過2 萬個突觸連接[15]，在神經網絡電路設計中，高效、準確的神經元結構和突觸結構至關重要。1988 年Chua 和Yang 提出細胞神經網絡(Cellular Neural Network，CNN)[16-17]，它是一種模擬非線性、實施并行處理的陣列結構，具有連續實時、可實現高速并行處理、適用于超大規模集成電路的特點，CNN 在模式和圖像分析、垂直線檢測、降噪處理、目標邊緣檢測和字符識別等方面都具有廣泛的應用[18-19]。CNN 優異的性能引起了越來越多的研究人員的關注，憶阻神經網絡就是借鑒了CNN 的結構而生，用憶阻神經元代替每個細胞，成為一種新的神經網絡。

一個簡潔而又集成所需功能的人工神經元是構建神經形態計算系統必不可少的元素，然而目前關于人工神經元的研究進展非常有限。惠普研究人員構建了一個帶有兩個Mott 憶阻器的可擴展神經元，并實現了由尖峰閾值信號驅動的Hodgkin-Huxley 軸突[20]。2016年，IBM 研究人員使用相變效應憶阻器實現了具有積分和激發功能的人工隨機神經元[21]。在這個神經元中，局部分級電位由相變效應憶阻器的非易失性電導表示，因此不能實現局部分級電位的短期特性，即如果神經元在某個時間接收到低于憶阻器閾值的信號，那么它的膜電位將永遠保持既有狀態不會改變，直到神經元被激活。這種特性明顯不符合神經元行為在生物系統中的表現，在生物神經系統中，未收到輸入刺激時神經元膜電位應逐漸降低，因此，可以通過在這種神經元結構上添加一個“泄漏”項來解決這種問題，即構成LIF(Leaky Integrate-and-Fire)神經元[22]。根據這種原理，本文設計了一種具有泄漏功能的神經元電路，使得膜電位在無輸入的情況下逐漸下降，與神經元在生物系統中的表現相似。

為了得到符合憶阻神經元要求的憶阻器模型，解決神經元特性不符合在生物系統中表現的問題。本文基于張洋的憶阻器模型[13]，研究了具有遺忘功能的憶阻器數學模型，擬合了SrTiO3(STO)實物憶阻器的參數，并使用該憶阻器設計了LIF 神經元電路。神經元的不應期為85 μs，可反映寬度為4 μs 的輸入脈沖，與其他神經元相比提高了計算速度，同時也驗證了該電路可實現對時間和空間信息的整體反應。

1 憶阻器模型

1.1 積分和泄漏的憶阻器模型

LIF 神經元都具有三個基本的處理模塊，即積分、泄漏和激活模塊，憶阻器的機制剛好可滿足這些需求。在積分和泄漏模塊引用文獻[14]提出的模型，如式(1)所示。ω(t)代表摻雜區寬度;R(t)代表憶阻器阻值;D是憶阻器的厚度;μv表示平均離子漂移率;RON和ROFF分別為摻雜區完全摻雜和完全未摻雜時憶阻器的阻值;p是一個正整數;v(t)和i(t)分別為憶阻器兩端電壓和流過憶阻器的電流。

然而在該模型中，阻值變化速度與電流成反比，也就意味著當電壓越大，阻值變化越慢，實際阻值的變化恰好與此相反。上述模型使用的Joglekan 窗函數可很好地模擬狀態變量未到達邊界時的近似線性離子漂移情況，它較多使用于理想憶阻器模型。但Joglekan 窗函數會使憶阻非線性模型存在末端狀態問題[23]，即當摻雜區和未摻區之間的分界面漂移至憶阻器的邊界處后(ω(t)=0 或ω(t)=D)，憶阻器將永遠保持既有狀態而無法恢復，即使施加反向電壓也無法改變其阻值。

Biolek 窗函數[24]可較好地解決末端狀態問題，該窗函數除了狀態變量x和p外，還考慮了流經憶阻的電流，使得憶阻摻雜區和非摻雜區的分界面到達邊界點后不會鎖定在既有狀態，流過反向電流即可改變其阻值，使其正常工作。數學表達式為:

式中:p為一個正整數，稱為函數的控制參數，x∈(0，1)，stp(·)為階躍函數，且有:

文獻[25]制備了一種兩端結構為Pt/STO/Nb-STO(Nb 摻雜的STO)的憶阻器，其中Pt 和導電Nb-STO 單晶分別作為頂部電極和底部電極。觀察STO 薄膜和STO/Nb-STO 界面的透射電子顯微鏡(TEM)圖像，并分析了電導隨施加電壓變化的特性，結合實際應用與STO 憶阻器實際變化特性，將窗函數修改為:

研究組患者治療后睡眠質量恢復情況優于對照組，差異有統計學意義（x2=6.318，P=0.012），見表1。

式中:λ和β均為參數變量。文獻[14]提出的憶阻器模型，當兩端電壓小于閾值電壓VT時，會有dω(t)/dt=0，即ω(t)大小保持不變，從而憶阻器阻值將保持在一個固定值。而STO 憶阻器具有二階遺忘效應，當憶阻器兩端施加電壓小于憶阻器閾值電壓時，其電導將隨時間逐漸減小。

在上述模型基礎上，本文對模型進行了相應的修改，以表現出STO 憶阻器在實際阻值變化中的特性。當憶阻器兩端施加電壓小于閾值時，摻雜區寬度將逐漸降低，從而阻值將逐漸變大，因此采用一個隨ω(t)倍數變化的θ(t)，如式(5)所示。

式中:α決定遺忘程度;θ(t)同為狀態變量，當施加電壓為正電壓時，θ(t)變化速率為ω(t)變化速率的α(α＜1)倍。由于θ(t)較ω(t)變化速度慢，兩者之間存在差值，該差值可表示遺忘過程中的遺忘程度。當施加大于負閾值的負電壓時，θ(t)與ω(t)變化速度相同，會有θ(t)-ω(t)=0，此時阻值不會隨時間變化，因此ω(t)可表示為:

式中:τ為遺忘速度。當施加小于閾值的電壓時，有dω(t)/dt＜0，ω(t)逐漸減小，阻值將逐漸增大。

圖1 所示為修改后憶阻器模型對STO 憶阻器的仿真結果，根據STO 憶阻器特性的實測數據[25]，當施加正向電壓(1.62 V)時，憶阻器電導值逐漸增加，變化趨勢為先快后慢。施加大于負閾值的負向電壓(-1.8 V)時，憶阻器電導值逐漸變小，變化趨勢也是先快后慢。在仿真過程中擬合參數設定為:RON=0.43 GΩ，ROFF=1.3 GΩ，VT+=1.2 V，VT-=-1.2 V，ion=1，ioff=0.9，i0=5×10-9，λ=0.9，β=0.62，μv=0.16×10-12，α=0.79，τ=0.2×10-6，p=0.54。在憶阻器兩端施加圖1 所示的電壓激勵時，得到電導隨時間變化的圖像如圖2(a)所示。在憶阻器兩端施加幅值為1.7 V，頻率為100 Hz 的正弦電得到該憶阻器的磁滯回線如圖2(b)所示。該模型描述STO 憶阻器隨時間變化的遺忘效應如圖2(c)所示，觀察電壓為1 mV。

圖1 電壓激勵波形Fig.1 Voltage excitation waveform

圖2 遺忘效應憶阻器的特性Fig.2 The characteristics of the forgetting effect memristor

1.2 激發功能的憶阻器模型

細胞膜的電位變化與其對不同離子的通透性有關，包括K+、Na+和Cl+[26-27]，前神經元和后神經元釋放出的尖峰信號可以直接參與突觸權重的調節。為了方便研究細胞間的信號傳遞，一些神經科學的研究者使用簡單的數學模型來表達尖峰信號[26]，如式(7)所示。

式中:和分別代表尖峰信號的正副幅值;τ+、τ-、和都是時間常數。尖峰信號大致形狀如圖3 所示。

圖3 細胞膜電位的變化Fig.3 Changes in cell membrane potential

在脈沖神經元電路中使用壓控憶阻器，其阻值也呈指數非線性變化[27]，數學表達式如式(8)所示。θ[V(t)，t]為狀態變量，V(t)表示憶阻器兩端電壓，VTL和VTH為閾值電壓，L為隧道勢壘寬度，R(t)為憶阻器阻值，其余量為擬合參數。

該憶阻器的電流和阻值變化特性如圖4 所示，仿真時憶阻器兩端施加電壓幅值為1.6 V 的脈沖電壓，得到憶阻器的阻值變化范圍為(2 kΩ，210 kΩ)，阻值在正電壓時迅速減小，而在負電壓時迅速增大。流經憶阻器的電流與細胞膜電位變化趨勢(圖1)有一定的相似程度。因此，可以通過對該憶阻器施加脈沖電壓的方式得到細胞之間傳遞信息的尖峰信號。在PSpice仿真中使用以下參數設置:VTH=1.5 V，VTL=-1.5 V，λ+=126×106，λ-=6.2×106，η=0，σ=0.1，m=82，L0=5 nm，f0=310。不同的λ+和λ-會影響阻值變化的快慢，可達到調節電流曲線陡峭程度的作用，將η的值設置為0，可防止當電壓低于閾值時阻值發生變化。

圖4 產生尖峰信號的憶阻器特性Fig.4 Memristor properties that produce spike signals

2 神經元電路設計

總體來說，類腦研究方向之一就是以大量人工突觸以及神經元相連接組成脈沖神經網絡，并以時間編碼模式對數據進行分類處理[3]。大腦中最基本的信息處理單元是神經元，它是由樹突(輸入單元)、胞體(處理單元)和軸突(輸出單元)組成[25]。激活的神經元發出尖峰信號，彼此之間通過尖峰數量和時序先后傳遞信息，與神經元產生的尖峰形狀無關。在這一過程中，神經元收到突觸前神經元發出的尖峰信號，在時間和空間上對這一信號進行整合，使得該神經元膜電位升高。若在短時間內膜電位并未達到激活閾值電壓，則膜電位將緩慢降低，達到短期記憶的特點。在持續刺激神經元使神經元膜電位達到激活閾值電壓后，神經元將被激活，產生一個電流尖峰信號，這個信號將通過突觸作用到下一神經元[25]。

基于這種原理，本文設計了基于遺忘效應憶阻器的LIF 神經元電路，如圖5 所示。一般來說，以電壓為神經元輸入形式，可簡化電路中乘法模塊的分布和狀態變量到所有神經元突觸的電路分布。而輸出通常采用電流的形式，這樣有利于狀態節點的求和操作[28]。

圖5 基于遺忘特性憶阻器的LIF 神經元Fig.5 LIF neurons based on the forgetting property memristors

電路描述如下，圖5 表示的是一個LIF 神經元電路，T1 是一個P 溝道增強型MOSFET，正常情況下U4 輸出低電平(-VCC)，T1 呈導通狀態，只有當比較器U4 輸出高電平時(+VCC)，T1 才會關斷。用輸入電壓源V_input來表示突觸前神經元傳遞到當前神經元的電壓，反相放大器U1 的放大倍數可表示此神經元鏈接突觸前神經元的個數。輸入信號經過放大、累加求和(積分求和功能)作用于憶阻器MEM1，使其阻值發生變化，由于MEM1 和R5 的分壓作用，膜電位Vp也相應發生變化，如式(9)所示:

式中:M1為憶阻器MEM1 的阻值;當Vin大于憶阻器閾值電壓時，M1逐漸變小，導致電阻R5的分壓(Vp)增大。當Vin小于閾值電壓時，由于憶阻器MEM1 具有遺忘效應，MEM1 阻值逐漸變大，逐漸恢復到高阻態，使Vp變小，這一過程可模擬神經元的泄漏過程。

當Vp升高到激活閾值電壓Vact后，電壓比較器U3輸出電壓由+VCC 突變為-VCC，這一低電平信號使得由555 定時器構成的單穩態觸發器U5 觸發，發出時間寬度為Tref的高電平脈沖，同時，單穩態觸發器U6 發出寬度為4 μs 的脈沖電壓，經過憶阻器SPIKEMEM，產生類似于神經尖峰信號的Spike 電流信號(如圖3 所示)傳遞到下一神經元，這可模擬神經元的激活過程。激活信號的前半部分功能主要為刺激突觸后神經元膜電位發生變化，后半部分功能主要用來抑制該神經元在短時間內再次激活，以使M1恢復至高阻態，換而言之，使膜電位恢復至靜息電位，抑制時間稱為不應期。

電阻Rpre表示神經元的突觸，突觸前神經元的信號經過Rpre傳遞至神經元，由于神經元輸出信號為電流信號，輸入信號為電壓信號，因此神經元接收到的信號可表示為:

式中:Ipre1，Ipre2，…，Ipren表示突觸前神經元發出的信號;Rpre1，Rpre2，…，Rpren可表示神經元之間的權重;因此Vin可表示該神經元在空間上的信息累加，Vin由與之相連的神經元個數和權重共同決定。同時，由于憶阻器MEM1 的遺忘效應，在Vin＜VT+時阻值M1會逐漸增大，因此求和電壓Vin的頻率也會影響M1的變化，進而影響神經元的激發特性，表現出神經元在時間上的反應。

綜上所述，Spike 信號的產生由突觸前神經元個數、連接權重以及輸入信號的頻率共同決定。其中神經元個數和連接權重可模擬空間信號，輸入頻率可模擬時間信號，因此該神經元電路可表示在時間和空間上的整體反應。

3 LIF 神經元電路的PSpice 仿真

本小節對單個LIF 神經元電路從突觸前神經元個數、突觸權重以及輸入頻率3 個方面進行仿真，得到激活特性隨輸入變化的關系。在仿真中Ipre使用幅值為1 mA、寬度為4 μs 的正脈沖電流來模擬接收到上一神經元的信號，Rpre=1000 Ω 表示輸入權重w=1，同時令電路參數為R5=0.4 GΩ，Vact=2.7 V。

3.1 突觸前神經元個數n 的影響

如圖6 所示，描述了膜電位Vp與突觸前神經元個數n的關系，此時假設突觸前神經元同時發出相同的信號，同時假設權重w=1，其中黑色虛線代表激活閾值2.7 V。可以很明顯地看出當n=10 時，神經元在第2 個信號激活，當n=9 時，神經元在第4 個信號激活，當n=8，n=7 時，神經元將分別在第8、第18 個信號處激活，當n=6 時，神經元不再激活。

圖6 突觸前神經元個數n 與膜電位Vp的關系Fig.6 The relationship between the number of presynaptic neurons n and membrane potential Vp

因此得出結論，神經元激活時間隨突觸前神經元個數的減少呈倍數增加。當n少于最小個數時，神經元將不再激活。

圖7 給出了當n=8，w=1 時，LIF 神經元激活的尖峰Spike 信號和膜電位Vp的仿真輸出結果。在Spike信號發出期間，神經元膜電位處于靜息電位，維持的時間跨度稱為不應期。

圖7 LIF 神經元激活與膜電位Vp的關系Fig.7 The relationship between LIF neuron activation and membrane potential Vp

3.2 連接權重w 的影響

連接權重w對Vp的影響如圖8 所示，它與神經元個數n一樣，都會影響神經元在空間維度上的激活特性，Rpre=1000 Ω 表示輸入權值w=1，即w=Rpre/1000。為體現比較性，假設突觸前神經元個數為8 且每個突觸權重w都相同。

圖8 突觸權重w 與膜電位Vp的關系Fig.8 The relationship between synaptic weight w and membrane potential Vp

由圖8 可明顯看出，當突觸權重均為w=1.5 時，神經元會在接受第1 個信號時立即激活，在w=1.3，w=1.1 和w=0.9 時，神經元分別在第2，5，14 個信號處激活，當權重均減小為w=0.8 時，神經元不再激活，黑色虛線為激活閾值2.7 V。由此可見，在突觸前神經元數量不變的情況下，突觸權重越大，神經元接收到的刺激會更強，同時也會更早被激活產生Spike信號。

3.3 輸入頻率f 的影響

由于憶阻器MEM1 具有遺忘效應，施加大于憶阻器閾值VT+的正向電壓，阻值減小，當電壓小于閾值時，阻值增大。可見施加電壓的頻率會直接影響阻值M1的變化，因此輸入神經元的頻率f會直接影響膜電位Vp的變化。假設突觸前神經元個數n=8，突觸權重w=1，仿真結果如圖9 所示。

圖9 輸入頻率f 與膜電位Vp的關系Fig.9 The relationship between input frequency f and membrane potential Vp

由圖9 可知，當頻率f=150000 Hz 時，神經元在43 μs 處激活發出Spike 信號，當頻率f=125000 Hz，f=100000 Hz 和f=75000 Hz 時，神經元分別在57，73和123 μs 處激活，而當f=50000 Hz 時，神經元將不再激活。由此可見，要使神經元能正常激活發出Spike信號，在n=8，w=1 的情況下輸入信號頻率必須大于50000 Hz。

綜合上述分析，可以得出LIF 神經元的激活條件由突觸前神經元n、突觸權重w和輸入信號頻率f共同決定，其中突觸前神經元個數n和突觸權重w模擬空間上的累計求和，輸入信號頻率f可模擬時間上的信息傳遞，影響LIF 神經元的泄漏過程。突觸前神經元個數越多、突觸權重越大、輸入信號頻率越高，神經元會更早激活。LIF 神經元達到激活條件后，由激活信號通過SPIKEMEM 產生Spike 電流信號傳遞至下一神經元，模擬神經元激活過程。

4 結果與分析

本文基于遺忘效應憶阻器構建了LIF 神經元電路，與M-CNN 神經元結構[29]相比，可多傳遞時間維度的信息，從而利用Spike 信號進行時間編碼，即脈沖時間依賴可塑性(STDP)。

本文構建神經元的不應期為85 μs，表示該神經元的有效積分時間只發生在85 μs 的時間段，是文獻[25]不應期時間500 μs 的1/5，計算速度更快。本文中神經元可反映寬度為4 μs 的輸入脈沖，與文獻[29]中60 μs 的脈沖寬度相比，是其輸入頻率的10 倍左右，提高了計算速度，在假設單個神經元激活頻率與文獻[29]相同的情況下，本文所設計的神經元電路可與更多的突觸相連接，因此更易構成大規模集成電路。

5 結論

本文首先研究了具有遺忘功能的憶阻器仿真模型，使用PSpice 軟件對憶阻值隨電壓變化、憶阻值隨時間變化以及磁滯回線的分析，驗證了仿真模型的憶阻特性。結合改進的模型，設計了LIF 神經元電路，在膜電位Vp達到閾值電位Vact時，神經元發出Spike 信號傳遞至下一神經元，同時使該神經元進入不應期，膜電位保持為靜息電位。最后通過分析突觸前神經元個數、突觸權重以及信號輸入頻率對膜電位Vp的影響，驗證了該電路可實現對時間和空間信息的整體反應。