NbOx 憶阻神經元的設計及其在尖峰神經網絡中的應用*

古亞娜 梁燕? 王光義 夏晨陽

1) (杭州電子科技大學電子信息學院,杭州 310018)

2) (中國礦業大學電氣工程學院,江蘇省煤礦電氣與自動化工程實驗室,徐州 221116)

1 引言

自1971 年提出憶阻器的概念[1],到2008 年惠普實驗室報道了憶阻器[2]的物理實現,圍繞憶阻器的相關研究層出不窮.針對高效能計算面臨的存儲墻和功耗墻問題,憶阻器由于其低功耗、納米級、可擴展性和非易失性等特點[3-6],成為制造人工神經元和突觸的理想候選者,在神經形態計算領域具有巨大的應用前景.

憶阻器分為無源憶阻器和局部有源憶阻器,無源憶阻器由于其電導可控性和非易失性,可以用來模擬生物突觸[7].局部有源憶阻器利用其負微分電阻(negative differential resistance,NDR)特性,可實現對無限小信號的放大,進而具有將直流信號轉換為交流信號的能力,可用于構建人工神經元[8].

2014 年蔡少棠教授提出局部有源是復雜性的起源,復雜和豐富的動力學行為僅出現在局部有源系統[9-12].局部有源憶阻器(locally-active memristor,LAM),不同于無源憶阻器,其直流電壓-電流(V-I)特性中一定存在NDR,即負斜率區域.研究表明,NbOx,TaOx,TiOx和VO2是一類可展現局部有源特性的憶阻材料[13].

目前,局部有源憶阻器的理論分析主要針對通用型LAM 的理論模型,對擴展型LAM 器件的物理模型研究較少.文獻[14]根據蔡氏展開定理提出了一種通用型LAM 的理論模型,并構建了周期和混沌振蕩電路,采用小信號分析、Hopf 分岔分析等方法研究了LAM 小信號等效電路和振蕩電路.文獻[15]針對蔡氏結型憶阻器展開了理論分析,并采用小信號分析等方法確定了二階振蕩電路的結構及參數取值范圍,為壓控型LAM 振蕩電路的設計奠定了理論基礎.

已有相關研究成果表明,LAM 可用于構建人工神經元,其具有全或無、動作電位、尖峰周期振蕩等神經行為.文獻[16]采用蔡氏結型憶阻器小信號等效電路參數精確定位其混沌邊緣的條件,并設計了基于蔡氏結型憶阻器的神經元電路,驗證了其具有的典型神經形態行為.文獻[17]主要采用兩個納米級VO2LAM 和兩個電容構建了HH (Hodgkin-Huxley)神經元模型,實驗結果表明其具有23 種神經形態行為.文獻[18]中提出了一個非易失的LAM 數學模型,并將其應用在HR (Hindmarsh-Rose)神經元中,可產生四種共存的神經脈沖行為.文獻[19]基于NbOxLAM 設計了一種LIF(leaky integrate-and-fire)神經元,并將SFA (spike frequency adaptation) 行為整合到神經元中,建立了相應的自適應神經元模型.

神經形態計算因其低能耗而受到了廣泛的關注[20],受大腦啟發的神經形態硬件也已經顯示出了在節能計算方面的巨大潛力.2017 年,文獻[21]提出了一種稱為記憶訓練的憶阻器架構,用于在RRAM內存中實現神經網絡的訓練.文獻[22]建立了一個全憶阻尖峰神經網絡(256×5),并通過實驗驗證了其奧利維蒂的面部模式識別功能.

在眾多LAM 納米器件中,NbOxMott 憶阻器件在神經形態計算中應用較多[23,24].它的開關行為可以通過與熱反饋效應相關的弗倫克爾-普爾傳導機制解釋,但其物理模型的復雜性使得對其電路理論分析更加困難,同時也使得NbOx憶阻器在周期振蕩器、尖峰神經元方面的應用缺乏電路理論依據,故對其物理模型的理論分析是至關重要的.

本文針對NbOx憶阻器的物理模型展開了深入的理論研究,在第2 節中分析了NbOx憶阻器的直流V-I特性、小信號分析、頻率響應以及Hopf分岔點.第3 節中建立了一個基于NbOx憶阻器的二階電路,分析了二階電路的雅可比矩陣特征根的位點變化情況和二階電路振蕩的條件.第4 節在二階電路的基礎上添加了一個運算放大器構成尖峰神經元,并設計了尖峰神經網絡,用于模式識別.

2 NbOx 憶阻器物理模型及其特性分析

NbOxLAM 具有電流控制的S 型NDR 特性,其開關行為可以通過與熱反饋效應相關的弗倫克爾-普爾式傳導機制來解釋,其電壓-電流關系被描述為[25]

其中vm表示憶阻器兩端的電壓;im表示通過憶阻器的電流;T是憶阻器內部的溫度(狀態變量);R0,α0,α1和α2是模型的參數;Cth和Γth分別表示熱電容和電導;Tamb代表環境溫度.模型參數的取值為

2.1 捏滯曲線

蔡少棠教授在2011 年撰文提出,不管何種阻變材料或何種物理機制,二端器件只要能夠展現出捏滯曲線(pinched hysteresis loop,PHL)這一特征,就是憶阻器[26].之后他又于2013 年總結了憶阻器的三個典型特性[27].

當憶阻器的激勵為v(t)=2 sin(2πft)正弦電壓信號,頻率分別為1 MHz,10 MHz 和1 GHz 時,S 型NbOxLAM 的vm-im特性曲線如圖1 所示.從圖1 中可以觀察到,S 型LAM 在一個零均值的正弦信號下,其PHL 分布在vm-im平面上的第一象限和第三象限.此外,圖1 還表明了PHL 的頻率依賴性:PHL 的閉合面積隨著頻率的增加而單調減小,最終收縮為一條直線.

圖1 S 型NbOx LAM響應 于1 MHz,10 MHz,1 GHz 的正弦信號的捏滯曲線Fig.1.Pinch hysteresis curves of S-type NbOx LAM in response to sinusoidal signals at 1 MHz,10 MHz and 1 GHz.

2.2 直流電壓-電流特性

當不同的直流電流I輸入NbOx憶阻器時,可以得到憶阻器的一組電壓電流數據,其直流V-I曲線如圖2(a)所示.圖2(a)電流掃描下的直流V-I圖具有連續的S 型NDR 行為.NDR 區域顯示為藍色區域,其中電流和電壓范圍分別為(0.004 A,0.072 A)和(0.1768 V,0.390 V).從NbOx憶阻器的直流V-I圖中可知,如果施加直流電流激勵I=I0,則有唯一的電壓值V0與其對應,靜態工作點為Q(V0,I0).但如果是直流電壓激勵V=V0,R=0,圖2(b)所示的圖解法表明V=V0與憶阻器S 型NDR 特性有三個交點Qa(V0,Ia),Q0(V0,I0)和Qb(V0,Ib).其中,Qa和Qb是穩定的工作點,Q0是不穩定的工作點[28].當串聯電阻R滿足一定條件時可使得NDR 區域內的工作點Q0穩定,圖2(b)中的紅色實線是負載線I=(VD-V)/R.

圖2 NbOx LAM 的直流V-I 圖 (a) 淺藍色部分是憶阻器的NDR 區;(b) 紅色線是負載線,插圖為電壓偏置電路Fig.2.DC V-I plot of NbOx LAM:(a) The light blue part is the NDR region of the memristor;(b) the red line is the load line and the inset is the bias circuit with DC voltage supply.

參數I1,I2,V1和V2決定了產生振蕩的靜態工作點區間.因此,為了使該憶阻器產生振蕩行為,施加的直流電流激勵范圍是I1—I2,直流電壓激勵需滿足I1R+V1＜V＜I2R+V2.此外,串聯電阻R應滿足其電導值小于工作點處的斜率,即

2.3 小信號分析

為了對NbOx憶阻器的局部有源特性展開定量分析,采用局部線性化方法,即忽略在工作點處泰勒展開式中的高階非線性項.假設在直流工作點Q(V0,I0)處施加一個小信號電壓δV,產生響應δT和δi.因此,憶阻器電壓vm、電流im和溫度T可表示為

其中V0=v(Q),T0=T(Q),I0=i(Q).因為是在直流工作點處對憶阻器進行分析,所以關于狀態變量T的微分方程取值為0,即憶阻器在直流工作點處的狀態變量T0滿足

對憶阻器數學模型(1)式在工作點Q處進行泰勒級數展開可得

其中h(T0,V0)是定義NbOx憶阻器的狀態微分方程在工作點處的值,由于靜態工作點處的狀態變量是一定值,即狀態微分方程取值為0,故h(T0,V0)=0.然后對(5)式進行拉普拉斯變換,令可以得到s域的泰勒級數展開式:

其中參數a11,a12,b11,b12表示為

其中Lx=1/(a12b11),Ry=1/a11,Rx=—b12/(a12b11),取值由直流工作點決定.圖3 給出了h(V0,T)與溫度T的變化關系,曲線與x軸的交點是dT/dt=0 的點,也叫平衡點,P1和P3兩點的左邊dT/dt＞0,右邊dT/dt＜ 0,所以P1點和P3點是穩定的平衡點,同理P2點是不穩定的平衡點.另一方面,P1和P3點的斜率小于0,即b12＜ 0,P2點的斜率大于0,即b12＞ 0.所以可以得出,當工作點處的小信號等效電路中的b12＞ 0 時,該工作點是不穩定的,當工作點處的小信號等效電路中的參數b12＜ 0 時,該工作點是穩定的.

圖3 h (V0,T)與溫度T 的關系圖Fig.3.Relationship between h (V0,T) and temperature T.

將工作點Q(0.008 A,0.3003 V)處的取值代入,可以求得a11=0.0286,a12=4.3873 × 10—5,b11=1.2526 × 1011,b12=5.4481 × 107,可以看出所選取的工作點Q處的參數b12＞ 0,所以Q點是一個不穩定的工作點,需要電流激勵來使得工作點穩定.將a11,a12,b11,b12的值代入(12)式,得到小信號等效電路中各個元件的取值分別為Lx=5.346 × 10—8H,Ry=8.266 Ω,Rx=—1.83 Ω,如圖4(a)所示.圖4(b)—(d)給出了不同工作點對應的小信號等效電路的電路參數取值.藍色的曲線是電壓vm,電流im和等效電路中的三個線性元件之間的依賴關系,棕色的曲線是藍色曲線在vm-Rx,vm-Lx,vm-Ry平面上的投影,綠色曲線是在im-Rx,im-Lx,im-Ry平面上的投影,紅色曲線是在im-vm平面上的投影,除此之外,還給出了在NbOx憶阻器的NDR 區的等效元件結果,從局部放大圖中可以看出NDR 區域內,小信號等效元件Rx總為負,小信號等效元件Lx和Ry總為正.其中,負電阻Rx可為憶阻振蕩電路提供能量,電感Lx使得憶阻器呈現感性.

圖4 (a) NbOx-Mott 憶阻器在工作點Q (0.008 A,0.3003 V)處的小信號等效電路模型;(b) Rx 對工作點的依賴性;(c) Lx 對工作點的依賴性;(d) Ry 對工作點的依賴性Fig.4.(a) Small-signal equivalent circuit model of NbOx-Mott memristor at the operating point Q (0.008 A,0.3003 V);(b) the dependence of Rx on the operating point;(c) the dependence of Lx on the operating point;(d) the dependence of Ry on the operating point.

由于NbOx憶阻器的小信號等效電路包含一個正電感,所以需要并聯電容來使電路以一定的頻率振蕩.為了確定并聯電容C的取值范圍,需要計算憶阻器導納的頻率響應Y(iω,V0).

令s=iω可以得到憶阻器等效導納在工作點Q處的頻率響應為

其中,實部和虛部分別為

在—1×108rad/s ＜ω＜ 1×108rad/s 范圍內,NbOxLAM 在I=0.008 A 處的實部和虛部的變化情況如圖5(a)所示.從圖5(a)可以觀察到,導納函數的虛部隨頻率的增大先增大再減小再增大,在ω＞ 0的范圍內始終為負.奈奎斯特如圖5(b)所示,當實部為0 時,|ω*|=8.68×107,該頻率為憶阻器在I=0.008 A 處的臨界振蕩頻率,在正的ω*處ImY(iω,V0)大于0,說明憶阻器在振蕩頻率ω*=8.68×107處是感性的,因此,需要并聯電容補償導納的虛部,使復合電路的總導納虛部為零,可得并聯電容的臨界值C*滿足ω*C*+ImY(iω*,V)=0,即C*=0.524 nF,當I=0.008 A 時,滿足C＞C*電路才會產生振蕩,C*為該電路振蕩的Hopf 分岔點.

圖5 (a) I=0.008 A 時的實部虛部的頻率響應;(b) 奈奎斯特圖Fig.5.(a) Frequency responses of the real and imaginary parts at I=0.008 A;(b) Nyquist plot.

3 基于NbOx 憶阻器的二階振蕩器

根據上述分析,由直流電流源、LAM 和補償電容器一起構成的二階振蕩電路如圖6 所示.其中Cp為器件本身的寄生電容,電容值在100 pF左右[29],由于本文所采用的電容C取值為20 nF,遠大于器件自身的電容效應,因此在電路分析時該器件的電容效應可以忽略.基于基爾霍夫定律和電路元件的伏安關系,電路的狀態方程可以表示為

圖6 二階振蕩電路Fig.6.Second-order oscillator circuit.

3.1 Jacobian 矩陣的特征根

除了采用NbOx憶阻器小信號導納函數的頻率響應來確定滿足二階電路振蕩條件外,還可以通過計算平衡點處雅可比矩陣特征根來判斷該平衡點的穩定性,進而確定Hopf 分岔點.當輸入的直流電流激勵I=0.008 A 時,S 型LAM 的工作點為Q(0.30032 V,0.008 A),利用Jacobian 矩陣的特征值來分析在該工作點處產生振蕩的電容取值范圍.首先將電路的狀態微分方程式設置為0,可以得到振蕩系統的平衡點為(2317.136 K,0.1767 V).基于(16)式,二階振蕩電路的Jacobian 矩陣為

其中矩陣的元素分別為

采用MATLAB 進行數值仿真分析,得到(17)式的特征根λ1和λ2在0.042 nF ＜C＜ 10 nF范圍內的軌跡如圖7 所示,藍色和紅色曲線分別對應λ1和λ2的軌跡,箭頭表示了電容增加時特征根的運動方向.Reλ＞ 0 的區域是二階電路的振蕩區域.從圖中可以看出,在C=0.524 nF 處出現了一對復共軛特征根,這是Hopf 分岔點.在Hopf 分岔點的左側,特征根的實部小于0,二階電路趨于穩定平衡點,反之處于振蕩狀態.因此,該分析方法表明,如圖6 所示的電路可在工作點Q(0.3003 V,0.008 A)處對C＞0.524 nF 產生振蕩.

圖7 雅可比矩陣的特征值在0.042 nF ＜ C ＜ 10 nF 范圍內的變化Fig.7.Variations of the eigenvalues of the Jacobian matrix for 0.042 nF ＜ C ＜ 10 nF.

3.2 振蕩行為分析

為了進一步驗證基于NbOxLAM 的二階振蕩電路的行為,對二階振蕩電路進行了數值仿真.

當電容C=0.3 nF,小于分岔點處的電容值,初始狀態為T(0)=0,vm(0)=0,電路的仿真結果如圖8(a)所示,憶阻器的T-im相圖如圖8(b)所示.電壓、電流和狀態變量(溫度T)的瞬態波形漸進收斂于平衡態VS=0.3003 V,TS=701.5887 K,IS=0.008 A.這與理論計算結果一致.同樣,T-im平面上的相圖軌跡也收斂于穩定點(701.5887 K,0.008 A).當電容值大于分叉點處的電容值時,如C=0.8 nF,初始條件不變,仿真結果如圖8(c)所示.從圖8(c)中可以看到,流過憶阻器的電流im的穩定瞬態振蕩波形并非正弦信號,而是類似于神經元中的尖峰波形,圖8(d)中T-im平面的相圖軌跡為極限環,圍繞穩定點(701.5887 K,0.008 A)運動.

圖8 當I=0.008 A,C=0.3 nF 時,NbOx LAM 的二階振蕩器的仿真結果 (a)電壓vm、狀態變量T 和電流im 的瞬態波形;(b)穩定點的im-T 相圖;當I=0.008 A,C=0.8 nF 時,NbOx LAM 的二階振蕩器的仿真結果:(c)電壓vm、狀態變量T 和電流im 的瞬態波形;(d) 振蕩狀態的im-T 相圖Fig.8.Simulation results of the NbOx LAM second-order oscillator:(a) The transient waveforms of vm,T and im at I=0.008 A and C=0.3 nF;(b) the stable equilibrium on im-T phase plane at I=0.008 A and C=0.3 nF;(c) the transient waveforms of vm,T and im at I=0.008 A and C=0.8 nF;(d) the limit cycle on the im-T phase plane at I=0.008 A and C=0.8 nF.

3.3 激勵對尖峰個數的影響規律

如2.1 節所提到的,若是直流電流I激勵,則NbOx憶阻器可以穩定工作在該點,在NDR 區不同的工作點對應的二階電路的振蕩行為不同.本節主要研究在電流激勵的情況下,其幅值對二階電路振蕩行為的影響.

在構成的二階電路中,固定并聯的電容值C=20 nF,輸入直流信號,經過仿真分析,輸入電流在(0.004 A,0.08 A)范圍內增大,在一定時間內如10 μs,憶阻器電流的尖峰個數隨之增加.圖9(a)給出了電流激勵為10,30 和50 mA 時,流過憶阻器電流的時域圖,圖9(b)給出了輸入的電流激勵I從0.012 A 增加到0.08 A 時,10 μs 內憶阻器電流尖峰輸出個數n的情況.電流激勵越大,二階電路振蕩的頻率越大,這一結論也是第4 節將二階電路構成神經元搭建尖峰神經網絡進行模式識別的關鍵.

圖9 (a) 輸入的直流電流激勵取10,30 和 50 mA 時,憶阻器電流的時域圖;(b) 不同電流激勵對應的尖峰數量關系圖Fig.9.(a) The time-domain waveforms of im at different input DC current excitations of 10,30 and 50 mA;(b) the number of spikes corresponding to different current excitations.

4 用于模式識別的SNN

尖峰神經網絡被稱為第三代神經網絡,旨在彌合神經科學和機器學習之間的差距,使用最適合生物神經元機制的模型來進行計算.

4.1 NbOx 憶阻器神經元電路

神經元通常具有多種不同的振蕩模式[30],在NbOx憶阻器二階振蕩電路的基礎上,設計了基于NbOx憶阻器的神經元電路,該電路在設計參數范圍內具有相同的尖峰振蕩模式,如圖10 所示,其中基于AIST(AgInSbTe)材料的憶阻器用來模擬生物突觸功能[31],電壓信號Vik代表輸入信號.NbOx憶阻器,電容以及運算放大器共同構成了神經元,Ineuron是突觸陣列注入到神經元的電流,vneuron是神經元兩端的電壓,im是流過憶阻器的電流.從圖10可以看出,所設計的神經元電路是在二階振蕩電路的基礎上添加了運算放大器,目的是利用放大器的“虛短”和“虛斷”特性,使得神經元的激勵電流為

圖10 基于NbOx 憶阻器的神經元電路Fig.10.Neuron circuit based on NbOx memristor.

(22)式表明流過神經元的電流Ineuron受輸入電壓和突觸權重的影響,GMk為第M列第k行對應的電導值.此外,神經元尖峰發放頻率與Ineuron有關.因此,不同的輸入信號和權重組合將會對應不同的尖峰頻率,使得該神經元電路可用于構建SNN 并實現模式識別.

為了驗證該神經元電路的有效性,令電容C取20 nF,輸入電壓Vi1=2 V,Vik=0 V (k=2,3,···n),對單一神經元電路進行仿真,仿真結果如圖11 所示.圖11(a)和圖11(b)中,憶阻突觸處于ON 狀態(憶阻值取100 Ω,即突出權重較大)時,神經元的輸入電流超出了神經元的閾值,成功激活神經元使其發放尖峰脈沖.圖11(c)和圖11(d)中,憶阻突觸處于OFF 狀態(憶阻值取100 kΩ,即突觸權重較小)時,神經元輸入電流很小,不足以激活輸出神經元,即輸出不產生電流尖峰.

圖11 (a) 憶阻突觸處于ON 狀態時,Vi1 和vm 時域圖;(b) 憶阻突觸處于ON 狀態時,im 時域圖;(c) 憶阻突觸處于OFF 狀態時,Vi1 和vm 時域圖;(d) 憶阻突觸處于OFF 狀態時,im 時域圖Fig.11.(a) The time-domain waveforms of Vi1 and vm when the memristive synapse is at ON state;(b) the time-domain waveforms of im at ON state;(c) the time-domain waveforms of Vi1 and vm when the memristive synapse is at OFF state;(d) the timedomain waveforms of im at OFF state.

4.2 基于SNN 的數字模式識別

基于設計的NbOx憶阻器神經元電路,構建了一個25×10 的SNN 并用于數字模式識別.首先,確定每一種模式由5×5 像素塊構成,如圖12 所示,其中黑色和白色像素代表兩種不同的輸入電壓取值,即黑色代表“1 V”,白色代表“0 V”.因此,輸入信號的個數為5×5=25,待識別的模式為數字0—9,共10 種模式,輸出神經元的個數為10,那么SNN 網絡的大小為25×10.以數字“2”模式為例,輸入神經元的電壓序列為“01110000100111001 00001110”(“1”代表1 V,“0”代表0 V).

圖12 5×5 的10 種數字模式Fig.12.10 digital patterns of 5×5.

基于輸入神經元的電流越大,神經元的脈沖輸出頻率越大以及脈沖觸發時間越早這一結論,本文將通過輸出神經元的脈沖頻率以及觸發時間這兩種編碼方式實現模式識別.共有10 種數字模式,每一種模式由25 個像素塊構成,則可以得到輸入網絡為10×25 的電壓矩陣.為了有效地實現模式識別,采用了離線訓練方法得到SNN 憶阻權重取值.訓練方法較簡單,即不同的模式輸入下,僅有唯一一個的神經元獲得的電流值最大,最大電流取值0.056 A,其余電流取0—0.04 A 中的任意值.當電流參數取0.004 A 以下時,神經元不會振蕩,這樣的設計可以有效地保證識別結果的準確性.例如:數字1 輸入SNN 時,經過權重矩陣后輸入到第一個輸出神經元的電流是最大的,其余輸出神經元的電流是小于最大值的隨機值,依次類推,數字0 輸入時,經過權重矩陣運算后輸入至第10 個輸出神經元的電流最大.

4.3 突觸實現電路

在MATLAB 上求解了滿足條件的25×10 的權重矩陣.原理方程由(23)式給出.i表示10 種模式中的每一個模式,j表示像素的數量,Vij表示每一種模式對應的輸入電壓向量,Wji表示突觸陣列中的每一個電導值,Iii表示電壓向量與突觸權重矩陣運算之后得到注入神經元的電流值.

通過MATLAB 得到的滿足識別條件的權重矩陣包含正、負權重.對于正的權重,通過設置憶阻器的輸入電壓,可以得到不同的正突觸權值,而對于負的權重,則可以考慮構建兩個憶阻器反向并聯電路來實現.兩個雙極性憶阻器被設計成反向連接結構,它們之間阻值的差表示為突觸的權量.通過施加外加激勵,可以改變權重憶阻的值,從而得到正、負和零突觸.采用AIST 憶阻器并聯仿真了該電路,證明能夠表示負、正和零的突觸權重.圖13給出了電壓激勵的突觸電路[32],輸入電壓注入到兩個憶阻器的連接點,運放A1和A2的輸出電壓分別為

圖13 電壓突觸電路實現Fig.13.Implementation of voltage synapse circuit.

其中支路電流信號表示為

可以得到電壓差方程為

通過分析可以看出,突觸權重表示為兩個憶阻器的電導之差:

在上述突觸計算中,所輸入的電壓和電流均是小于憶阻閾值,這樣可以保證在計算時,憶阻器狀態不會發生改變.反之,當所施加的信號大于閾值時,可以對突觸權重進行編程,即當輸入的是正向編程電壓時,憶導值GA減小的同時,憶導值GB增大,導致突出權重電導減小.反之,當施加負電壓信號時,突觸權重電導增加.在上述編程過程中,由于兩個憶阻器的極性是相反的,所以無論所施加的信號是正還是負,憶阻的變化始終是反向的,這樣不但可以加速權重編程運算,而且在連續編程過程中可以始終保證得到正、零和負的突觸權重,而無需提前的符號設定.

綜上,構建了一個25×10 的尖峰神經網絡,輸入為10 種不同模式的編碼電壓,突觸陣列由無源的憶阻器構成,輸出神經元部分采用4.1 節提出的基于NbOx憶阻神經元,整體的SNN 結構如圖14 所示.

圖14 由25×10 的突觸陣列以及10 個輸出神經元構成的尖峰神經網絡Fig.14.A spiking neural network consisting of a 25×10 synaptic array and 10 output neurons.

4.4 識別結果

4.4.1 RC(Rated coded) SNN

RC SNN 是基于神經網絡神經元的輸出頻率進行編碼識別,以數字“2”輸入網絡時的識別結果進行說明.由4.1 節可知數字“2”對應的電壓輸入向量為:[0 1 1 1 0 0 0 0 1 0 0 1 1 1 0 0 0 0 1 0 0 1 1 1 0],單位是V,經過求得的權重矩陣運算,可得到經過運算放大器整合輸入到每一個輸出神經元的電流向量為[11.5 57.3 5.5 35.3 15.9 30.8 7.8 29.4 16.2 26.5],單位是mA,可以看到輸入第二個神經元的電流最大.

圖15(a)給出了數字2 輸入網絡時十個輸出神經元中流過憶阻器的電流輸出時域圖,縱軸表示的是10 個輸出神經元,從下到上分別表示神經元1 到10,對應輸入模式1,2,···,0,可以觀察到當模式2 輸入網絡時,輸出神經元2 的電流頻率最大.圖15(b)給出了10 種模式輸入網絡時輸出頻率的結果,橫坐標是10 種輸入模式,縱坐標是10 個輸出神經元,每一列表示一個輸入模式對應的輸出結果,不同的顏色代表不同大小的頻率(右側的顏色條說明了頻率和顏色的對應關系),紅色代表頻率越大,藍色代表頻率越小.可以看出,每一種模式的輸入都對應唯一一個輸出神經元的電流脈沖頻率最大,與4.2 節所提出的預期一致,通過判斷哪一個輸出神經元的脈沖頻率最大即可判斷輸入的是哪一種模式.

圖15 (a) 數字2 輸入尖峰神經網絡,10 個輸出神經元的電流im 輸出時域圖;(b) 10 種模式輸入尖峰神經網絡時各輸出神經元輸出電流頻率的情況Fig.15.(a) The time-domain waveforms of im of 10 output neurons when“2”mode is input to SNN;(b) the output current frequencies of each output neuron when ten modes are input to the spiking neural network.

4.4.2 TC (Tempotral coded) SNN

TC SNN 是基于脈沖時間進行編碼,這里提到的時間可以是首個脈沖的時間,也可以是整個輸出脈沖的時間.本文采用的方案是根據輸出神經元的首個脈沖的觸發時間進行識別,可以利用觸發器以及傳輸門來實現神經元單脈沖輸出,如圖16 所示,該方案可以大大地減小神經網絡的能耗,獲得更高的模式識別效率.電路實現原理:電路在初始狀態時,D 觸發器的Q端為0,與傳輸門的控制端相連,使傳輸門導通,神經元的輸出作為D 觸發器的時鐘信號,當神經元觸發了第一個脈沖時,D 觸發器開始工作,Q從0 變為1,傳輸門關斷,沒有激勵信號輸入神經元,從而不再產生尖峰脈沖,達到了只產生單一脈沖的目的.圖17 給出了在電容C取20 nF,輸入電壓為2 V,周期為10 μs 時的單脈沖實現結果以及沒有使用這一方案時的結果對比.

圖16 基于TC SNN 的神經元電路Fig.16.Neuron circuit based on TC SNN.

圖17 (a) 單尖峰電路的仿真結果圖;(b) 未應用單尖峰電路方案的仿真結果Fig.17.(a) The simulation results with the single-spike circuit;(b) the simulation results without the single-spike circuit.

與RC SNN 的識別一樣,同樣的輸入電壓矩陣和權重陣列,根據輸入神經元電流不同,首先產生尖峰的時間不同來識別給定的10 種模式.以“2”模式的識別結果為例來說明TC SNN 的識別結果.圖18(a)給出了“2”模式輸入時10 個輸出神經元首個脈沖輸出的時域圖,圖18(b)給出了10 種模式輸入神經網絡時所有輸出神經元的輸出結果,紫色代表的時間最小,紅色代表的時間最大.綜上,當輸入模式“1”時,神經元1 的輸出脈沖時間最早,依此類推,當輸入模式為“0”時,神經元10 的輸出脈沖時間最早.即每種模式輸入網絡僅有一個輸出神經元對應的脈沖觸發時間最早,以此來達到一個識別的目的.

圖18 (a)“2”模式輸入SNN 時,10 個輸出神經元的電流時域圖;(b) 不同輸入模式對應的神經元輸出首個脈沖的時間Fig.18.(a) The time-domain waveforms of im of 10 output neurons when“2”mode is input to SNN;(b) the time of outputting the first pulse of neurons corresponding to different input modes.

5 總結

本文從電路理論的角度對NbOx-Mott 憶阻器進行了深入的電路理論研究,通過DCV-I驗證了NbOx憶阻器的基本特性,小信號導納的頻域分析,二階振蕩電路的Hopf 分岔點分析等為NbOx憶阻器在周期振蕩器,尖峰神經元中的應用提供了電路理論基礎.此外,所設計的神經元電路由于放大器的引入具有輸出頻率可控性,使得基于NbOx憶阻器的神經元可以集成到脈沖神經網絡中,實現了5×5 像素的10 種數字模式識別,提出了基于神經元輸出電流的頻率和脈沖觸發時間兩種識別方式,并給出了在LTspice 中的仿真結果,結果表明,所構建的25×10 的脈沖神經網絡,可以通過觀察輸出神經元的憶阻器電流頻率和首個脈沖的激發時間實現數字0—9 的識別,滿足脈沖神經網絡識別數字的預期目標.