雙層結構突觸仿生憶阻器的時空信息傳遞及穩定性*

朱瑋 劉蘭 文常保 李杰

(長安大學電子與控制工程學院, 西安 710064)

現有計算機體系架構下的神經網絡難以對多任務復雜數據進行高效處理, 成為制約人工智能技術發展的瓶頸之一, 而人腦的并行運算方式具有高效率、低功耗和存算一體的特點, 被視為打破傳統馮·諾依曼計算體系最具潛力的運算體系.突觸仿生器件是指從硬件層面上實現人腦神經擬態的器件, 它可以模擬腦神經對信息的處理方式, 即“記憶”和“信息處理”過程在同一硬件上實現, 這對于構建新的運算體系具有重要的意義.近年, 制備仿生突觸器件的憶阻材料已獲得進展, 但多聚焦于神經突觸功能的模擬, 對于時空信息感知和傳遞的關鍵研究較為缺乏.本文通過制備一種雙層結構憶阻器, 實現了突觸仿生器件的基本功能包括雙脈沖易化和抑制、脈沖時間依賴突觸可塑性(spiking time dependent plasticity, STDP)和經驗式學習等, 還對器件的信息感知、傳遞特性和穩定性進行了研究, 發現該器件脈沖測試結果滿足神經網絡處理時空信息的基本要求, 這一結果可以為憶阻器在類腦芯片中的應用提供參考.

1 引 言

類腦芯片是能實時模擬人類大腦處理信息的新一代智能芯片, 它可以為多任務執行、大數據處理和智能人機交互等應用技術提供強大的硬件支持.不同于現有集成芯片技術, 類腦芯片主要是由數十萬個神經突觸和神經元仿生器件構成, 這些器件可以從硬件層面上模擬人腦神經突觸的信號處理方式, 從而構建一個龐大的類腦神經網絡[1?4].在現公布的類腦芯片技術中, 憶阻器是制備突觸仿生器件的重要成員之一, 其特征在于器件阻值能夠隨流經電荷的變化而實時變化, 這一特點與神經突觸的工作方式非常接近, 因此憶阻器模擬神經突觸功能的研究成為近年來憶阻器的熱點問題[5?10].在諸多模擬神經突觸功能的阻變材料中, 已知的材料包括高介電材料(SiO2, Al2O3和AlN等)制備憶阻器具有較好的電路穩定性[11?13]; 過渡金屬氧化物(TiO2, ZnO2和VO2等)制備的憶阻器模擬神經突觸功能最為相似[14?16]; 功能型材料(HfO2和In2O3等)還可用于人類視覺和感覺神經系統的模擬[17,18]; 二維材料(MXene、石墨烯等)的開發可以為憶阻器的新應用提供思路[19,20].其中鋁基薄膜作為常見高介電材料的一種, 具有制備簡單、成本低廉、能與現有CMOS技術融合、同時具有單極和雙極阻變特性、運行功率低、耐高溫和化學性能穩定等優勢, 因此鋁基薄膜突觸仿生憶阻器的研究在憶阻器應用領域有特殊意義.單極和雙極阻變特性分別指器件的置位(set process)和復位(reset process)過程發生在相同和相反極性的電壓范圍內, 是由不同阻變機理引起的.憶阻器的阻變機理目前明確的有兩種機制, 一種是與材料內導電絲的形成和斷裂有關[21,22]; 另一種是電極活躍離子在不同電場方向下遷移運動的結果[23,24], 這兩種機制也有可能同時發生.從前期工作來看[25,26], 含有鋁納米顆粒的單層鋁基薄膜制備的憶阻器, 無論沉積銀或鋁材料作為頂電極, 均顯示單極阻變特性, 這是因為材料內含量高的鋁納米顆粒更易形成接近金屬特性的導電絲; 在含有鋁納米顆粒的鋁基薄膜上, 再沉積一層20 nm的Al2O3膜和200 nm銀電極制備雙層結構憶阻器, 實驗發現雙層結構鋁基薄膜憶阻器顯示出了與單層鋁基薄膜憶阻器的單極阻變特性不同的雙極阻變特性.在神經網絡設計中, 單極憶阻器具有穩定的閾值電壓, 大多用來模擬帶有閾值電壓的神經元, 在受到足夠強烈刺激時才會被激發, 激發后會釋放頻率略低的脈沖波至下一神經元; 而雙極憶阻器的阻變特性如果由離子遷移運動主導, 則多用來模擬神經突觸在不同時序脈沖刺激下權值的跟隨變化, 它能夠跟隨信號傳遞的強弱實時調整突觸權值[27?30].若同一類材料能夠通過優化制備工藝而同時擁有單極和雙極阻變特性, 即可同時制備神經元和神經突觸仿生器件, 這對于類腦芯片的制備和高度集成化有積極的研究意義.從實驗結果來看, 雙層結構的憶阻器相比單層憶阻器多沉積了一層富含可遷移離子的緩沖層,能夠提升器件阻變特性的反應效率, 形成更穩定的神經突觸特性.本文在前期工作基礎上, 對雙層結構憶阻器的突觸仿生特性, 信號感知、傳遞及器件穩定性展開了研究.

2 樣品與制備

實驗主要利用射頻磁控濺射和離子束蒸發工藝在硅襯底上制備雙層結構鋁基薄膜憶阻器.在用氫氟酸清洗后的p型硅襯底上用離子束蒸發法沉積500 nm厚度的Al作為底電極.在Al底電極上沉積nc-Al/AlN薄膜時采用99.99%純度鋁靶材,設定襯底溫度25為 ℃, 電源功率為150 W.濺射時通入的氬氣和氮氣流量比為45∶1, 濺射氣壓保持在0.1 Pa, 濺射時間約為20 min, 濺射完成后將樣品立刻在氮氣中進行400 ℃高溫退火, 退火時間為2 min.退火后的AlN可生成直徑5—10 nm的鋁納米顆粒如圖1(a)中的插圖所示.第二層Al2O3薄膜制備同樣采用射頻磁控濺射工藝, 靶材選用99.99%純度Al2O3靶材, 電源功率設定200 W,濺射時僅通入氬氣, 并保持濺射氣壓0.1 Pa, 濺射時間為15 min.200 nm厚度的Ag采用離子束蒸發法進行沉積, 利用掩膜板形成直徑為100 μm的圓形頂電極, 器件TEM測試如圖1(a)所示.雙層憶阻器Al/nc-Al AlN/Al2O3/Ag結構如圖1(b)所示, 頂電極活躍金屬銀在不同電場方向和強度下可以遷移進入或退出Al2O3薄膜, 因此造成器件阻值可跟隨外界電壓而實時變化.含有鋁納米顆粒的AlN層作為緩沖層, 除可以提供更多的活躍離子外, 還可防止開態電流過大造成擊穿, 使器件獲得更為穩定的突觸仿生特性.圖1(c)描述了神經突觸的工作原理, 作為前后神經元的連接點, 神經突觸的權值會隨外界刺激的變化而增強或減弱.較弱的突觸權值意味著前后神經元處于無溝通狀態, 此時神經突觸內產生的感應電流稱為抑制性突觸后電流(inhibitory post synaptic current, IPSC); 較強的突觸權值代表前后神經元正處于信息傳遞狀態, 此時神經系統內也會產生較強的興奮性突觸后電流 (excitatory post synaptic current, EPSC)[31].若將憶阻器權值(G, 器件電導率)比作突觸權值,它在模擬神經突觸功能時也應具備隨外界電壓而變化的特點.對突觸憶阻器做正負向各100次I-V掃描時的結果如圖1(d)和圖1(e)所示, 正向電壓掃描會引起器件權值逐漸增大; 而負向電壓掃描會引起器件權值逐漸減小.這種權值隨電壓變化而逐步增加或減少的憶阻器, 才具備模擬神經突觸功能的基本條件.

圖1 (a) 器件TEM圖; (b) 器件結構圖; (c) 神經突觸工作原理; (d) 連續100次正向電壓掃描測試; (e) 連續100次負向電壓掃描測試Fig.1.(a) TEM result of bi-layer memristor; (b) structure of memristor; (c) mechanisms of synapse working; (d) continued positive I-V biasing with 100 times; (e) continued negative I-V biasing with another 100 times.

3 結果與討論

3.1 短時程突觸可塑性

腦神經大多以脈沖波的形式進行信息傳遞, 只有當前神經元的信號到達一定強度才會引起神經突觸感知并傳遞到下一神經元, 強度較小的脈沖則視為噪聲信息.仿生憶阻器的脈沖測試如圖2所示, 當輸入信號為一個幅值2 V、寬度1 ms的脈沖波時, 器件內EPSC約為0.42 μA, 若間隔5 ms再施加一次脈沖, 則會引起雙脈沖易化(paired-pulse facilitation, PPF)現象, 即第二個脈沖引起的EPSC要高于第一個脈沖達到0.73 μA.這種現象通常被認為是第一個神經刺激信號產生時人體細胞內殘留的鈣離子會導致第二次神經刺激信號時突觸小泡的額外釋放[9,32].應用時可以設定只有超過閾值的EPSC才會形成有效輸出, 即信息才能從前神經元通過神經突觸傳遞至后神經元, 這能夠排除信息傳遞中的干擾因素, 更貼近神經系統的工作方式.若將兩個脈沖的間隔增加到350 ms, 器件內可以探測到兩個幅值約為0.4 μA的EPSC, 但是沒有觀測到PPF現象, 無法形成有效輸出.這說明當脈沖幅值固定時, PPF現象更依賴脈沖頻率而發生, 頻率過低的脈沖信號也很難在器件內引起強EPSC形成有效輸出.圖2(d)—圖2(f)施加了同樣的負向脈沖電壓, 器件顯示出雙脈沖抑制現象(paired-pulse depression, PPD).在生物學上PPD通常被認為是具有電壓依賴性的鈣離子通道失活,或是由于積累在突觸前神經元的神經遞質囊泡的暫時耗盡造成的.仿生憶阻器的PPF/PPD可通過控制正負脈沖電壓及頻率來實現.易化比和抑制比指的是第一個脈沖產生的幅值A1和第二個脈沖幅值A2的關系通常與脈沖頻率有關, 過大的脈沖間隔無法實現雙脈沖易化或抑制[31].

圖2 器件內EPSC和IPSC的脈沖測 (a) 施加單個正向脈沖的EPSC; (b) 雙脈沖易化的EPSC; (c) 施加雙正向脈沖但間隔時間350 ms的EPSC; (d) 施加單個負向脈沖的IPSC; (e) 雙脈沖抑制的IPSC; (f) 施加雙負向脈沖但間隔時間350 ms的IPSCFig.2.Pulse voltage measurement of memristor: (a) EPSC with single positive pulse applied; (b) EPSC of PPF; (c) two positive pulses applied with 350 ms interval; (d) EPSC with single negative pulse applied; (e) IPSC of PPD; (f) two negative pulses applied with 350 ms interval.

在明確雙脈沖易化和抑制特性后, 將雙脈沖信號改為連續脈沖信號同時測試器件權值, 結果如圖3(a)—(c)所示.用器件權值可以更直觀地表達憶阻器工作狀態.實驗發現, 頻率為100 Hz連續的正向脈沖可以引起器件權值的增加, 這與之前圖1(d)連續正向電壓掃描使器件電導率增加的結果相符.若施加頻率100 Hz連續的負向脈沖, 會導致器件內銀離子向相反方向遷移, 引起器件權值的減少.這與圖1(e)中連續負向電壓掃描降低器件權值的結果一致.當連續施加頻率為2 Hz的正向脈沖時, 器件權值依舊緩慢減少, 如圖3(c)所示.這是由于頻率較低的正向脈沖無法引起器件內活躍離子的持續累積, 器件權值也會隨時間流逝而降低.因此只有持續施加高頻率的脈沖波, 才可獲得持續增強的器件權值.時空信息傳遞中核心的一部分, 即是對信號頻率的響應.相比與信號幅值,仿生憶阻器受信號頻率影響更為深遠, 這一特性也符合神經系統傳遞時空信息的基本特性.

圖3 (a) 以100 Hz頻率施加幅值和寬度為2 V和5 ms的正向脈沖, 器件權值隨時間增加; (b) 以100 Hz頻率施加幅值和寬度為–2 V和5 ms的負向脈沖, 器件權值隨時間減小; (c) 以2 Hz頻率施加幅值和寬度為2 V和5 ms的正向脈沖, 器件權值也會隨時間減小Fig.3.(a) Device conductance increased with 100 Hz, 2 V in amplitude and 5 ms in width positive voltage pulse applied; (b) device conductance decreased with 100 Hz, -2 V in amplitude and 5 ms in width positive voltage pulse applied; (c) device conductance will decrease with 2 Hz, 2 V in amplitude and 5 ms in width positive voltage pulse applied.

3.2 長時程突觸可塑性

改變連續施加的脈沖電壓幅值、頻率和數量,會對器件權值的增加幅度產生不同的影響, 具體關系如圖4(a)和圖4(b)所示.固定脈沖間隔, 當施加的脈沖數量增加時器件權值會相應增加; 而固定施加脈沖的數量, 更小的脈沖間隔可以使器件權值急劇增加.若設定器件權值1為最大值, 器件達到最大權值所需的脈沖個數也與脈沖幅值和間隔有關.脈沖間隔越小、幅值越大時器件達到最大權值所需的脈沖數量越少, 如圖4(b)所示.器件權值的減少也有對應的特性, 即負向脈沖幅值和頻率的增加, 也會引起器件權值迅速降低.在明確器件的PPF和PPD特性后, 脈沖時間依賴突觸可塑性(spiking time dependent plasticity, STDP)機制也是神經突觸的重要特性, 它是指當前神經元脈沖先于后神經元發生時, 突觸權值應加強; 當后神經元脈沖先于前神經元發生時, 突觸權值應減小[33].將仿生憶阻器的上下電極視為接受前后神經元信息的連接部分, 分別對兩極施加不同時序的脈沖信號, 測量到器件STDP特性如圖4(c)所示.當前神經元信號先于后神經元信號發生時器件權值增加(long term potentiation, LTP), 并且相隔時間越短增加幅度越大; 當后神經元信號先于前神經元信號發生時器件權值減小(long term depression,LTD).權值的增加和減少應符合指數函數分布.

圖4 (a) 器件權值與施加脈沖數量和脈沖間隔的關系;(b) 器件達到最大權值所需脈沖數量與脈沖電壓和間隔的關系; (c) STDP特性Fig.4.(a) The relationship of device conductance with pulse number and interval; (b) the pulse number needed to make device conductance maximized with different pulse voltage and interval; (c) STDP.

三脈沖STDP測試(triplet-STDP)在前后神經元的兩個脈沖序列中加入了第三個脈沖[34,35], 可以更進一步地確定器件權值在不同脈沖時序中的變化規律.圖5(a)列舉了兩種不同的脈沖時序, 以時間發生順序從右至左, 分別命名為后-前-后時序和前-后-前時序.在后-前-后時序中, 第一個后神經元的脈沖①先于前神經元脈沖②發生(t1< 0), 這屬于圖4(c)中提到的LTD過程, 初步判定器件權值應降低; 緊接著第三個脈沖③來自后神經元, 時序上它在上一個前神經元脈沖②之后發生(t2> 0)屬于LTP過程, 器件權值反而應增加.同理, 在前-后-前時序中, 第一個前神經元脈沖先于后神經元脈沖發生(t1> 0), 這屬于STDP中的LTP過程,因此器件權值先增加; 緊接著第三個脈沖來自前神經元, 時序上它比后神經元②較晚發生(t2< 0),屬于LTD過程, 此時器件權值反而減小.由此可見, 在三脈沖STDP時序中前后神經元脈沖發生時間是相對的, t1和t2的取值共同影響了器件最終權值的增加或減少.若固定t1數值, t2的取值就會對器件最終權值產生影響, 即器件最終權值的增加或減少取決于第三個脈沖和第二個脈沖之間的時間間隔t2.為了驗證這一特性, 在兩種時序中設定t1等于 ±50 ms, t2分別等于 ±10, ±20, ±30,±50, ±70, ±100, ±120, ±150和 ±200 ms, 測試的器件權值結果如圖5(b)所示.在前-后-前時序中即便器件在前兩個脈沖經歷了LTP過程, 但如果前神經元的第三個脈沖發生時間較快依舊可以引起器件權值的降低; 而在后-前-后時序中, 即便前兩個脈沖經歷了LTD過程, 只要第三個后神經元發生時間較早也可以引起器件最終權值的增加.由此推論, 在三脈沖STDP測試中如果t1時間固定,器件權值最終值更多取決于第三個脈沖發生的時間, 由此可見器件的權值變化也與信息發生先后有關, 這符合神經網絡時空信息傳遞的基本特性.

圖5 (a) 后-前-后和前-后-前時序的神經元信號; (b) 三脈沖STDP器件權值的變化Fig.5.(a) Singal with post-pre-post and pre-post-pre sequence; (b) triplet-STDP.

3.3 遺忘特性

Ebbinghaus遺忘曲線是由德國心理學家艾賓浩斯在1885年提出的, 它描述了記憶與時間的關系[36]:

其中G0和Gt為器件權值, 對應記憶的初始狀態和隨時間變化的狀態; t為時間; τ為弛豫時間系數;β應在0和1之間變化.突觸仿生憶阻器的權值保持規律也應符合Ebbinghaus遺忘曲線, 這是檢驗器件穩定性的重要依據.如果沒有持續的強脈沖（高幅值和高頻率脈沖）施加, 器件權值會隨時間推移而減少, 正如人的記憶也會隨時間流逝而衰退一樣.另外, 實驗發現突觸仿生憶阻器的遺忘特性還與之前所受的脈沖刺激, 即感應過程所受脈沖刺激的強弱相關.分別對憶阻器施加幅值和寬度為1.2 V和5 ms的不同數量的脈沖電壓, 其遺忘曲線如圖6所示.對器件施加10個脈沖后立即停止并開始測試器件權值變化, 隨著時間流逝器件權值會從最初的最大值有一個明顯降低, 這意味著短時記憶的持續時間相當短暫, 當測試時間達到60 s以上器件最終權值保持在0.24左右; 若增加脈沖數量至50, 100和200個, 器件的遺忘曲線衰退趨勢明顯變緩.對四種情況的遺忘曲線進行指數擬合, 對應的弛豫時間系數從施加10個脈沖的1.6 s逐漸增加到4.8, 11.1 和21.0 s, β=1, 器件最終權值也從0.24增加至0.7, 形成了更穩定的長時記憶.由此可知, 當脈沖幅值和寬度固定時, 前期施加的脈沖刺激數量越多, 造成器件“遺忘”前的“記憶存儲”越高, 器件衰退過程越緩慢, 最終的權值保持也越高.

圖6 分別施加10個(a), 50個(b), 100個(c)和200個(d) 幅值為1.2 V、寬度為5 ms的脈沖電壓后器件權值隨時間減弱的特性Fig.6.The device conductance changed with time after applied (a) 10, (b) 50, (c) 100 and (d) 200 positive voltage pulses with the amplitude of 1.2 V and pulse width of 5 ms.

將器件最終權值、弛豫時間系數與脈沖數量、幅值的關系總結如圖7所示.當脈沖電壓幅值和寬度固定時, 施加越多的脈沖數量可以引起較高的最終權值和較長的弛豫時間如圖7(a)和圖7(b)所示, 這說明經歷過長時間脈沖刺激的器件, 可以在長時間內保持較高的器件權值, 這與人類經歷了深刻學習也會保持較長記憶時間相符.若增加前期刺激的脈沖電壓幅值, 器件弛豫時間也會增長如圖7(c)所示.通過研究器件權值在達到最大值后隨時間流逝的測試, 可以更準確地掌握器件遺忘機制, 確定所需的權值保持時間.

圖7 (a) 器件最終權值與施加脈沖數量的關系; (b) 器件弛豫時間與施加脈沖數量的關系; (c) 器件弛豫時間與施加脈沖電壓的關系Fig.7.(a) The relationship between device conductance and applied pulse number; (b) the relationship between device relaxation time and applied pulse number; (c) the relationship between device relaxation time and applied pulse voltage.

3.4 穩定性

器件穩定性的測試包括循環測試、耐久測試和高溫測試, 測試結果如圖8所示.在圖8(a)中施加幅值為2 V、寬度為5 ms的脈沖電壓, 第一次達到器件權值最大僅需要13個脈沖, 之后將器件靜置10 min開始第二次測試.發現第二次測試僅需要6個脈沖就可使器件權值達到最大值.依次循環施加脈沖發現, 在第6次測試之初器件權值已經保持在最大值附近, 這說明器件已接受足夠強烈的刺激形成穩定“記憶”, 10 min時間不足以使器件權值發生明顯減弱.圖8(a)所示結果符合突觸仿生憶阻器的“經驗式學習”特性, 即器件在經歷相同刺激時, 下一次的學習時間要短于上一次的學習時間.器件耐久測試在室溫和50 ℃條件下進行, 結果如圖8(b)所示.在施加1000次脈沖確保器件經歷足夠強度刺激后, 將器件在室溫和50 ℃下靜置2 ×104s以上, 發現室溫時器件權值保持狀態良好,但50 ℃條件下器件權值有明顯下降, 可見溫度還是會對器件權值保持時間產生影響.設定器件權值下降30%的時間為器件能夠存儲記憶的保持時間, 并將測試溫度提高到175, 200, 225和250 ℃, 器件在高溫下的保持時間如圖8(c)所示.進行線性擬合后發現在85 ℃時器件權值的保持時間大約為115.7 d.這一保持時間基本滿足電路設計要求, 但突觸仿生憶阻器的權值保持時間還應視具體應用而定.

圖8 (a) 循環測試; (b) 耐久測試; (c) 175, 200, 225和250 ℃高溫測試Fig.8.(a) Duration study; (b) retention study at room and 50 ℃ temperature; (c) device failure time at high temperature 175, 200,225 and 250 ℃.

4 結 論

本文制備了雙層結構仿生憶阻器, 在實現神經突觸功能的基礎上, 還對憶阻器處理時空信息的感知和傳遞等關鍵問題進行了研究, 發現脈沖頻率對器件權值產生的影響更大.在同時接受前后神經元連續的脈沖序列傳遞時, 器件應遵循三脈沖STDP學習機制, 當前兩個脈沖間隔固定時, 權值最終值更多依賴于第三個脈沖發生的時間.另外, 器件權值隨時間減弱的特性應符合Ebbinghaus遺忘機制, 當受到強烈脈沖刺激后器件權值衰退較緩慢,其保持時間較長形成更穩定的長時記憶.在經過循環測試、耐久測試和高溫測試后發現, 本文制備的雙層結構仿生憶阻器具有較好的穩定性, 滿足類腦芯片的電路設計要求.