基于憶容器件的神經形態計算研究進展*

任寬 張珂嘉 秦溪子 任煥鑫 朱守輝楊峰 孫柏 趙勇 張勇

1) (西南交通大學超導與新能源研究開發中心, 磁浮技術與磁浮列車教育部重點實驗室, 成都 610031)

2) (西南交通大學物理科學與技術學院, 成都 610031)

3) (西南交通大學電氣工程學院, 成都 610031)

4) (西南交通大學材料科學與工程學院, 成都 610031)

5) (福建師范大學物理與能源學院, 福州 350117)

人工智能的快速發展需要人工智能專用硬件的快速發展, 受人腦存算一體、并行處理啟發而構建的包含突觸與神經元的神經形態計算架構, 可以有效地降低人工智能中計算工作的能耗.記憶元件在神經形態計算的硬件實現中展現出巨大的應用價值; 相比傳統器件, 用憶阻器構建突觸、神經元能極大地降低計算能耗, 然而在基于憶阻器構建的神經網絡中, 更新、讀取等操作存在由憶阻電壓電流造成的系統性能量損失.憶容器作為憶阻器衍生器件, 被認為是實現低耗能神經網絡的潛在器件, 引起國內外研究者關注.本文綜述了實物/仿真憶容器件及其在神經形態計算中的最新進展, 主要包括目: 前實物/仿真憶容器原理與特性, 代表性的憶容突觸、神經元及神經形態計算架構, 并通過總結近年來憶容器研究所取得的成果, 對當前該領域面臨的挑戰及未來憶容神經網絡發展的重點進行總結與展望.

1 引 言

近年來, 隨著大數據的應用與神經網絡訓練算法的突破, 人工神經網絡(ANN)取得了長足的進展, 對醫療診斷、環境科學、智能機器、物聯網和安全等多個領域產生了深遠的影響[1].雖然ANN 能夠實現比傳統方法更節能的算法, 但它們通常使用傳統的馮諾依曼計算架構來實現, 在這種架構下,物理上獨立的邏輯和內存塊之間的數據傳輸會導致處理瓶頸和不必要的電能消耗.受人腦的存算一體、并行處理啟發而構建的包含突觸與神經元的神經形態計算架構, 被認為是突破馮諾依曼瓶頸、降低電能消耗的有效途徑[2].神經形態計算的早期成功很大程度上依賴于傳統的電子器件, 特別是硅基互補金屬-氧化物-半導體(CMOS)晶體管的脈沖神經網絡[2?4], 如IBM 的TrueNorth 芯片[3]和歐盟人腦計劃的SpiNNaker 項目[4].與傳統的電子器件相比, 新興電子器件如憶阻器[5,6], 在神經元構建[7?9]、非易失性儲存[10,11]等方面有著巨大優勢,2020 年, 清華大學先后實現用1M1T 結構陣列完成卷積神經網絡計算[12], 以及低能耗的全憶阻神經元[13].然而, 目前基于憶阻器實現的神經網絡架構中, 通常使用電導表示權重, 其用施加電壓、檢測電流的方式來更新和讀取權重的過程存在不可避免的電能損耗.優化權重表示方法、改變權重更新讀取方式, 被認為是降低系統性電能損耗的有效途徑.作為憶阻器衍生器件而提出的憶容器[14]被認為是實現低耗能神經網絡的潛在器件[15?22], 引起國內外研究者關注.

早在2009 年, Ventra 與Pershin 就聯合“憶阻器之父”蔡少棠教授在Proceedings of the IEEE上將憶阻器的概念和理論拓展到了電容型器件和電感型器件領域, 并據此提出了憶容系統和憶感系統.類似于憶阻系統, 憶容系統可分為電壓控制型和電荷控制型, 對于電壓控制型的憶容系統, 有[14]

其中:q(t) 表示t時刻整個系統存儲電荷的值;VC(t)表示系統兩個端口間的電壓;C表示系統的瞬時憶容值, 該瞬時值由系統內部的一個變量決定;x為狀態變量.

相應的, 電荷控制型的憶容系統被定義為:

其中,C?1為憶容值的倒數.

理想壓控/荷控憶容器作為憶容系統的子類,憶容值可以簡化為只與流經系統電壓/電荷的歷史有關, 理想壓控憶容器的數學表達為

理想荷控憶容器表達為

理想憶容器的定義建立了電荷q與電壓V之間的狀態依賴關系, 同時模型還對憶容器的捏滯曲線提出了關于原點對稱、隨頻率變化等要求, 并將q-V域過原點的奇對稱捏滯曲線作為憶容器的判定標志, 如圖1 所示[14].由于憶容器理論自身還在不斷完善, 實際研究中的憶容器往往不符合2009 年提出的理想憶容器數學模型.2015 年, 蔡少棠教授[23]提出廣義憶阻器的概念, 定義廣義憶阻器的憶阻由輸入電流(或電壓)和一個或更多狀態變量同時決定.我們根據廣義憶阻器的概念可以提出類似的廣義憶容器的概念, 即廣義憶容器的憶容由輸入電壓(或電荷)和一個或更多狀態變量同時決定, 因此其q-V捏滯曲線也不需要關于原點對稱, 目前大多數報道的憶容器件[20,24?38]及其仿真模型[39?54]都屬于這類廣義憶容器.與憶阻器的RV特性類似, 憶容器的C-V特性使高效低耗能的容性神經形態計算[55]成為可能.

圖1 (a)憶容系統的捏滯曲線[14]; (b)仿真的壓控憶容器q-V 曲線[14]; (c) 仿真的壓控憶容器C-V 曲線[14]Fig.1.(a) Schematics of a pinched hysteresis loop of a memcapacitive system[14]; (b) q-V curve of a simulated voltage-controlled memcapacitor[14]; (c) C-V curve of a simulated voltage-controlled memcapacitor[14].

如圖2 所示, 基于憶容器的神經形態計算研究可分為3 個層次: 1)基礎憶容器件; 2)基于基礎憶容器件的突觸、神經元; 3)由突觸、神經元構成的憶容神經網絡及相應網絡的特征算法.由于電容器本身的能量存儲、電壓保持等性質及憶容器的非易失電容積分、脈沖電壓閾值激發等特性, 基于憶容突觸、神經元[16,21]的輸入電壓/電荷-檢測電壓/電荷方式相比基于憶阻突觸、神經元的輸入電壓-檢測電流方式, 在降低網絡能耗方面有著巨大的優勢;但實物器件方面, 目前實現的憶容神經元相比理想憶容神經元在能耗及性能上還存在差距[20,27,56].

圖2 基于憶容的神經形態計算Fig.2.Neuromorphic computation based on memcapacitors.

本文概述了基于憶容神經形態計算的最新進展.主要包括目前實物/仿真憶容器原理與特性、代表性的憶容突觸、神經元及神經形態計算架構,并在文章最后對當前該領域面臨的挑戰及未來憶容神經網絡發展的重點進行總結與展望.

2 實物憶容器件

現階段憶容器的實現原理可分為3 類: 1)整體等效介電常數變化.偏置電壓的作用使器件整體的等效介電常數展現出隨偏置電壓非線性變化的憶容效應.2)幾何結構變化.偏置電壓改變電容電極形狀、電極間距等幾何結構以實現可控變容, 如彈簧電極結構、雙球電極結構、彈性薄膜電極結構等[30,31,57].3)多器件組合.將不同器件組合使整體對外輸入輸出表現出憶容特性, 如偽憶容將憶阻器與大電容串聯[20,58]及由電阻、電容、放大器等器件構成的憶容電路[40,42,49,51,52].

2.1 基于整體等效介電常數變化的憶容

研究人員在一些含單/復合金屬氧化物層[24,32?36,59]及一些含有機聚/絡合物層[25?27,60]的三明治結構器件中發現憶容效應, 目前所提出的憶容機理包括導電納米絲的產生與湮滅[35,38]、界面肖特基勢壘調制[24,36,37]、離子/離子團遷移[26,61]、分子群極化[27]、氧化/還原TiOx活性層[59]、氧空位遷移時氧化物介電常數變化[33,62]、電荷歧化[25]、有機介質材料導電性轉變[60]、形成空間絕緣層[28]等.

目前提出的含單/復合金屬氧化物層介質材料的憶容器結構包括: Au/Pr0.7Ca0.3MnO3(PCMO)/YBCO/LAO 結 構[28], Au/Ti–HfO2-InP/InGaAs結構[37], Pt/LaAlO3/Nb:SrTiO3/Pt 結構[38], Pt/TiOx/TiO2/Pt 結 構[35,59], Ag/MoOx/MoS2/Ag 結構[24], Ti/Al2O3/Nb2O5/Ti 結構[36], ITO/HfOx/p-Si結構[33], Pt/LSMCO/NSTO(Nb:SrTiO3)結構[34]等.偏壓會使這些器件的電極與介質材料之間或同/不同介質材料層之間發生氧空位遷移.下面將以HfOx為介質材料的憶容器為例, 簡要介紹氧空位遷移對憶容器件的調控機理.

圖3 ITO (In-Sn-O)/HfOx/p-Si 結構憶容器及C-V 曲線[33]Fig.3.Structure of ITO (In-Sn-O)/HfOx/p-S memcapacitor and its C-V curves[33].

ITO/HfOx/p-Si 結構的憶容性質如圖3 所示[33],當施加正向偏置電壓時, HfOx層的氧離子向ITO電極進行遷移, HfOx層材料介電常數降低, 電容下降; 當偏置電壓方向改變時, 氧離子遷移回HfOx層, 電容上升.Pt/HfOx/n-IGZO 結構憶容器同理[62],不同方向的偏壓使HfOx層與n-IGZO 層發生氧離子遷移, 導致顯著憶容現象.然而, 利用氧空位遷移時氧化物介電常數變化進行調控有一個明顯缺點, 施加偏置電壓時, HfOx層形成的氧空位產生的電場會吸引氧離子重新組合, 使這類器件重復加壓循環后, 保持性與穩定性受到影響.

圖4 為Au/Ti/HfOx/InP 結構憶容器[37], 與前兩種以HfOx為介質材料的憶容原理不同, 器件的HfOx/InP 界面處形成了一個電荷積累層, 器件能帶圖如圖4(b)所示, 電容-電壓與電阻-電壓曲線如圖4(c)和圖4(d)所示.Pt/Pr0.7Ca0.3MnO3(PCMO)/YBCO/LAO 結構的憶容現象源于電荷絕緣層, 憶容性質如圖5(a)所示[28], 當加正負脈沖時,電容容值隨脈沖方向不斷跳變.在PCMO 中, 導電機理一般被認為是由小極化子組成的載流子, 沿著Mn-O-Mn-O 鏈即Mn 的d 電子態與O 的p 電子態雜化運動; 而氧空位會降低甚至破壞這一雜化,使電阻增大電子堆積, 在PCMO 薄膜中形成空間電荷絕緣層.電容開關效應隨頻率變化如圖5(c)所示, 器件電容呈串聯效應, 故當施加負脈沖時,氧空位在頂部堆積, 使器件頂部形成空間電荷絕緣區, 頂部串聯的電阻、電容增大導致器件整體的電容、電阻增大; 當施加正脈沖時, 局部空穴減少, 頂部電阻、電容減小, 器件整體電阻、電容減小.

界面肖特基勢壘也可以對器件電容進行調制.Ag(TE)/MoOx/MoS2/Ag(BE)器件結構如圖6(a)所示[24], Ag(TE)與MoOx界面形成肖特基結.未施加偏壓時, Ag 器件MoOx層Mo6+(MoO3)與Mo5+(MoOxSy)的分布含量隨深度的關系如圖6(b)所示, 隨著深度增加Mo6+含量不斷降低.當對器件施加偏置電壓時, MoOx層發生氧空位遷移,Ag(TE)/MoOx界面附近的Mo6+與Mo5+分布含量改變, 對Ag(TE)與MoOx界面形成的肖特基勢壘進行調制, 出現的憶容、憶阻現象如圖6(c)所示.肖特基勢壘調制機制也出現在Pt/LaAlO3/Nb:Sr-TiO3結構[34]、Ti/Al2O3/Nb2O5/Ti 結構[36]等憶容器件中, 偏壓使與電極形成肖特基結的介質材料層發生氧空位遷移, 調制肖特基勢壘, 可出現憶容現象.

以上器件有諸多相似特征.首先, 這些器件的憶容性質都是器件內部發生氧空位遷移導致的, 他們的電容比一般大于10, 這使得可以在計算中代表0 與1.相較來說, 用二維材料MoOx/MoS2基于肖特基勢壘調制機理的憶容器件開關電壓低, 魯棒性好; 基于HfOx材料介電常數變化的憶容器高/低電容穩定, 但魯棒性不好.另一方面, 目前大部分基于單/復合金屬氧化物層的憶容器并非絕緣體, 相對于不超過10 nF 的最大電容態, 其器件的電阻過小, 所產生的漏電效應顯著, 距理想憶容的數學模型及實際應用還有不小距離.

圖4 Au/Ti/HfOx/InP 結構憶容器[37] (a) 器件結構及總I-V 曲線; (b) 零偏壓下器件能帶結構; (c) 器件 R C 等效電路及C-V 曲線; (d) 器件R-V 曲線Fig.4.Structure of Au/Ti/HfOx/InP memcapacitor[37]: (a) device structure and total I-V curves; (b) schematics for the band diagram of the metal HfO2-semiconductordiode at zero bias; (c) equivalent circuit of device and its C-V curves; (d) R-V curves.

圖5 室溫下Pt/Pr0.7Ca0.3MnO3(PCMO)/YBCO/LAO 結構憶容器性質[28] (a) 非易失電容隨脈沖電壓數的變化; (b) 非易失電阻隨脈沖電壓數的變化; (c) 非易失電容隨測試電壓頻率的變化Fig.5.Nonvolatile capacitance and resistance changes for Au/PCMO/YBCO/LAO structure sample at room temperature[28]:(a) Nonvolatile capacitance changes with applied pulse numbers; (b) nonvolatile resistance changes with applied pulse numbers;(c) nonvolatile capacitance changes with frequency.

圖6 (a) Ag(TE)/MoOx/MoS2/Ag(BE)憶容器件結構[24]; (b)鉬氧化態MoOx/MoS2 樣品在200 ℃持續3 h 退火后的XPS 剖面;填充區域代表一個Mo6 +豐富的區域[24]; (c)電阻、電容開關性質[24]Fig.6.[24](a) Ag(TE)/MoOx/MoS2/Ag(BE) structure memcapacitor[24]; (b) Molybdenum oxidation-state XPS profile of the MoOx/MoS2 sample annealed at 200 ℃ for 3 h; the filled area represents a Mo6+ -rich region[24]; (c) capacitance and resistance switch characteristics[24].

除了基于氧空位遷移的無機單/復合金屬氧化物憶容, 研究人員在含有機聚/絡合物層的三明治結構中發現良好的憶容效應.2009 年惠普實驗室將 MEH-PPV(2-methoxy-5-(2'-ethylhexyloxy)-pphenylene vinylene)有機聚合物層加入含RbAg4I5離子導體層的Al/Ti/RbAg4I5/MEH-PPV/SiO2/p-Si/Al 結構中, 如圖7(a)所示[26].無偏壓時, Ag+離子擴散到聚合物層, I–離子不顯著擴散; 當施加負偏壓時, 離子導體層的I–離子向聚合物層逐漸擴散并形成離子團,離子團與Ag+離子形成離子偶極子固定在聚合物層, 使有MEH-PPV 層介電常數增大; 當去除偏壓時, Ag+由于受I–離子在聚合物中的電場的吸引, 介電常數基本保持不變;當施加正偏置電壓到一定值時, I–離子漂移回離子導體層, MEH-PPV 層介電常數降低.器件的電容一定程度上取決于離子遷移的程度, 使得器件的保持性受外界條件影響較大; 同時離子遷移對MEH-PPV 層的破壞在一定程度上會影響器件魯棒性.2019 年, 蘇州大學研究團隊在ITO/MASnBr3(MA = methylammonium)/Au 結構器件中發現高電容、多電容態的憶容效應, 憶容器結構、憶容原理與憶容特性如圖7(b)、圖7(c)、圖7(d)所示,該器件的憶容效應被認為來自于介質層中Br–離子遷移觸發的p-i-n 結電容調制[61].同年, 蘇州大學王穗東課題組[60]提出Cu/并五苯(pentacene) /聚苯乙烯(polystyrene) (PS)/SiO2/Si 結構器件, 如圖7(e)所示.在高的負偏壓下, Cu 電極很難將電子注入并五苯層, 并五苯層表現為空穴耗盡的介電層,Cmin反映為并五苯層、PS 層和SiO2介電層的總串聯電容; 高正偏置的情況下, 并五苯層易被空穴注入, 表現為空穴累加, 使得Cmax僅反映PS 層和SiO2介電層的總串聯電容.

圖7 (a)Al/Ti/RbAg4I5 /MEH-PPV/SiO2 /p-Si/Al 憶容器結構及其特性曲線[26]; (b) ITO/MASnBr3/Au 結構圖[61]; (c) ITO/MASnBr3/Au 原理圖[61]; (d) ITO/MASnBr3/Au 結構的憶容特性(1 MHz 下的C-V 與Q-V 特性)[61]; (e) 硅 底電極保持接地的有機薄膜記憶電容的器件結構和正負偏壓下的電荷積累方案[60]Fig.7.(a) A memory capacitor with an Al/Ti/RbAg4I5 /MEH-PPV/SiO2 /p-Si/Al structure (inset) and its characteristic curve[26];(b) schematic diagram of the ITO/MASnBr3/Au structure[61]; (c) mechanism of the ITO/MASnBr3/Au structure[61]; (d) memcapacitive characteristics of the ITO/MASnBr3/Au device(C-V hysteresis and Q-V loops detected at 1 MHz); (e) device structure and charge accumulation scheme under negative (top) and positive (bottom) biases of an organic thin film memcapacitor, where the Si bottom electrode is kept grounded[60].

2020 年南京大學與聊城大學團隊用Al/copolymer/ITO 結構憶容器實現shortlong-term plasticity (SLTP), paired pulse facilitation (PPF)等神經突觸功能, 且開關電壓僅0.5 V, 如圖8 所示[27].器件電容的改變主要源于共聚物膜的極化特性,極化與去極化分別對應著器件的高容態與低容態,極化與去極化的過程需要時間, 故會有電容的脈沖漸變性質.同年, 新加坡國立大學研究團隊在nature nanotechnology 期刊上報導含金屬有機絡合物層的Au(flat)/[Ru(L)2](PF6)2/Au nanodiscs/ITO/YSZ 結構器件出現憶容、憶阻開關效應, 如圖9 所示[25].文獻認為, 外加電場會誘導材料發生電荷歧化, 使材料中電子的對稱性破缺, 進而出現憶容、憶阻開關效應.相比之前提出的有機憶容器件, 該器件將有機層厚度限制在納米級的同時, 還具有高度的可復制性和魯棒性, 為憶容器、憶阻器的構建提供了一種新思路.

有機聚合物相對較大的電阻率, 能有效地減緩憶容器中電荷的泄漏速度, 使器件具備應用于人工神經網絡的基礎, 但如何進一步減小器件面積、提高器件電容變化速度, 是需要進一步解決的問題.

還有一些關于微型憶容器結構的設想, 比如Martinez-Rincon 等[29]于2010 年提出, 在平板電容器內插入多層金屬和絕緣材料層, 通過金屬板間電子隧穿實現憶容效應.結構如圖10 所示, 插入的金屬板之間距離非常短, 與電容外部電極板距離較遠.該結構使得內部金屬板與電極板之間不會傳遞電荷, 而內部金屬板間由于距離非常小, 電極板的偏壓使金屬板間發生電子隧穿, 電荷在金屬板間轉移, 影響整體等效的介電常數, 進而出現憶容效應.

2.2 幾何效應憶容

與基于整體等效介電常數變化的憶容不同, 幾何效應憶容通過改變器件的幾何結構以達到改變電容值的目的, 目前主要有基于微/納機電(MEMS/NEMS)系統的憶容[31]與基于生物模擬系統的憶容[30].其憶容特性源于微納尺度下系統機械和電氣性能的相互作用.

圖8 基于記憶電容的人工突觸短期塑性模擬[27] (a) 生物突觸和Al/共聚物/ITO 人工突觸裝置信號傳輸示意圖, 共聚物薄膜的AFM 圖像; (b) C-V 曲線; (c) 器件的PPF 行為, A1 和A2 分別代表第一個和第二個突觸前突起的PSC, 紅色和藍色曲線分別代表正、負電壓下的興奮性PSC 和抑制性PSC; (d) PPF 指數被繪制成時間間隔的函數Fig.8.Short-term plasticity emulated in artificial synapse based on memory capacitance[27]: (a) Schematic illustrations of the signal transmission in biological synapse and the Al/copolymer/ITO artificial synaptic device.AFM image of copolymer film; (b) the C-V curves; (c) PPF behaviors of the device.A1 and A2 represent the PSC of the first and second presynaptic spike, respectively.The red and blue curves represent the excitatory and inhibitory PSC under negative and positive voltage, respectively.The inset shows schematic of pulse application; (d)PPF index plotted as a function of the time interval.

圖9 帶[Ru(L)2](PF6)2 層器件的測試結構及電學特性[25] (a) 3 種結構的示意圖; (b)—(d) A(b), B (c)和C (d)結構電流密度對電壓J(V)的特性; (e)—(f) 頂部面板顯示了結構A(e)和B(f)的相對介電常數與電壓的特性, 并覆蓋了相應結構的J(V)曲線;底部的面板顯示了結構A(e)和B(f)對應的電荷和電壓曲線Fig.9.Test structures and electrical characterizations of devices with [Ru(L)2](PF6)[25]: (a) Schematic illustration of the three structures; (b)–(d) the current density versus voltage J(V) characteristics of structures A(b), B(c) and C(d); (e)–(f) the top panels show the relative permittivity versus voltage characteristics of structures A(e) and B(f), overlaid with the J(V) curves of the corresponding structures.The bottom panels show the corresponding charge versus voltage profiles for structures A(e) and B(f).

圖10 電子隧穿憶容模型[29]Fig.10.Scheme of an electron tunneling memcapacitor[29].

圖11 (a)和圖11(b)是由MEMS 技術搭建的憶容系統[31]與相應電壓電容曲線.該系統電容的改變來源于外加電壓導致的極板間距離變動.與之相似的, 圖11(c)為提出的理想彈性電極憶容, 上極板由彈簧懸掛, 電壓改變極板上電荷進而改變受力使上下極板間距離變動, 達到電壓控制電容的目的.這樣的憶容系統也可由彈性薄膜作為電極實現[57,63], 只用將之前的彈簧與上極板用彈性薄膜代替.

圖12 展 示 的BMC(biomolecular memcapacitor)是一個由仿生膜組裝而成的憶容器[30].在有機溶劑中, 磷脂單分子層膜包裹的兩個油滴在接觸處形成橢圓形磷脂雙分子層容性界面膜, 構成器件.器件憶容方程可表達為

其中,Q為電容上電荷,W為器件磷脂雙分子層容性界面膜厚度,R為膜半徑.其帶曲率平行板電容可表達為

其中,a為平面橢圓度.當器件兩端施加偏置電壓時, 離子在膜兩端迅速積累, 離子積累產生的張力使得界面膜排出或吸收膜間夾的葵烷分子, 使得界面膜的形狀及雙分子層疏水層厚度改變, 動力學方程為

其中,ξ與k為有效阻尼與剛度,v為外加偏壓.器件有效電壓頻率在10 Hz 內, 該頻率下該器件電容的相對變化通常160%到200%.

圖11 (a) 雙狀態MEM 憶容[31]; (b) 憶容的電容-電壓曲線[31]; (c) 彈性電極憶容Fig.11.(a) Photograph of a two-state MEM capacitor[31]; (b) measured capacitance as a function of voltage of the two-state capacitor[31]; (c) elastic poles memcapacitor.

圖12 生物憶容器仿生膜組裝與電行為[30] (a) 一種模擬生物膜結構的電容平面脂質雙分子層, 在脂質包被的微滴之間接觸并排除多余油脂后自發形成; (b) 由靜膜電壓v(t)引起的幾何變化示意圖Fig.12.Biomimetic membrane assembly and electromechanical behaviours[30]: (a) A capacitive planar lipid bilayer that mimics the structure of a biological membrane forms spontaneously upon contact between lipid-coated droplets and exclusion of excess oil; (b) a schematic describing the geometrical changes caused by a net membrane voltage, v(t).

目前, 相較于整體等效介電常數變化的憶容,改變器件幾何結構實現的憶容在電容開關比、電容大小、響應速度等方面不如前者.由于需要改變器件幾何結構, 電壓頻率也有所限制, 但基于幾何結構變化的憶容電極之間可以做到近乎絕緣, 無泄漏電流問題.

2.3 多器件組合憶容

偽憶容結構在2012 年首次被提出[15], 其模型經過不斷完善[45], 2018 年被實物實現.偽憶容實物與等效電路及憶容性質如圖13 所示[20], 由Pt/Ag/SiOx:Ag/Ag/Pt 結構的憶阻器與Pt/Ta2O5/TaOx/Pt 結構電容器串聯構成.憶阻器的寄生電容是小電容, 與憶阻器串聯的電容是大電容, 當施加高電壓, 憶阻器由高阻態轉為低阻態, 此時憶阻的寄生電容效應可忽略, 于是有

其中:

當施加反向電壓時, 憶阻轉為高阻態,Rm相當于斷路, 憶阻寄生電容顯現與外加電容串聯有

故通過控制憶阻器兩端的電壓可以控制器件的總憶容.與基于其他的單一憶容相比, 偽憶容能實現理想的電容切換, 可直接用于憶容神經網絡的構建; 但相應的, 偽憶容的容值切換源于憶阻的電阻切換, 故開關能耗相比理想憶容器件更大; 由于需要串聯一個很大的電容, 大電容的充電放電時間與憶阻的高低電阻切換速度也在一定程度上限制偽憶容的應用范圍.

用更多器件組合而成的憶容如圖14 所示,圖14(a)中是一個基于米勒效應的憶容[49], 我們可以很容易的得到

憶阻RM的阻值隨輸入電壓變化, 故輸入電容隨輸入電壓變化.

圖14(b)是一個等效的電阻串聯憶容電路[47],得輸入阻抗表達式為

由(15)式得串聯憶容為

圖14(c)給出一個廣義憶系列模型[51], 綠框部分為憶系列元件的通用接口, 可以通過改變接口元件實現憶容-憶阻-憶感的切換.當1 處取電阻, 2 處取變容二極管時, 電路輸入輸出為憶容器, 憶容大小可表示為

其中:α,β,λ都為電路相關常數;φAB為.

還有很多類似的憶容電路, 但目前為止提出的組合憶容電路都較復雜[40,50,52,53].組合器件模擬的憶容, 能很好地模擬憶容的電容變化等特性, 可用于仿真、電路設計等方面[64?66], 但能耗、規模、響應速度等方面不具備參考性.

3 基于憶容的突觸及神經元

圖13 偽憶容[20] (a) 偽憶容的掃描電子顯微圖的平面視圖和透射電子顯微圖的截面圖; (b)集成偽憶容的電荷-電壓關系Fig.13.Dynamic pseudo-memcapacitor(DPM)[20]: (a) a scanning electron micrograph of the plan view of the integrated DPM, and a transmission electron micrograph of the cross-section; (b) charge-voltage relationship of the integrated DPM.

圖14 憶容仿真電路原理圖 (a) 基于密勒效應的憶容仿真電路[49]; (b) 憶容-電阻串聯電路[47]; (c) 提出的多功能電路[51]Fig.14.Schematic of the memcapacitor emulator: (a) Schematic of the memcapacitor emulator based on the Miller effect[49];(b) memcapacitor-resistor series circuit[47]; (c) the proposed mutator circuit[51].

人們提出的神經元模型有很多, 其中最早提出且影響最大的是1943 年心理學家McCulloch 和數學家Pitts 在分析總結神經元基本特性的基礎上提出的MP 神經元模型[67], 指出了神經元的形式化數學描述和網絡結構方法.MP 模型中, 單個神經元結構如圖15 所示, 神經元的細胞體將樹突中突觸連接所提供的電荷收集并累加, 直到總電荷達到閾值, 然后神經元沿著軸突發射一個峰值, 由此產生的脈沖傳遞到通過突觸連接的其他神經元, 這些神經元可以根據突觸的權重加強或抑制信號.

圖15 MP 神經元模型Fig.15.MP-neuron mode.

數學上描述為

其中,y為神經元的信號輸出,x為上一個神經元的信號輸入,ω為突觸的權值,θ為神經元胞體的閾值; 函數f為激活函數, 通常用非線性函數如sigmoid 函數, 或線性函數如斜面函數、閾值函數等.

1952 年, 人們提出了生理學上更準確的Hodgkin-Huxley 神經元模型[68], 涉及K+, Ca2+離子濃度等的超過20 個參數的耦合微分方程, 為神經元近似模擬研究提供參考[69].后來神經科學研究將重點轉移到神經元群體的學習、認知和行為等更高層次的概念上, 由此產生的模型如Hopfield 網絡、Hebbian 學習等, 成為人工神經網絡架構和學習規則的基礎[70,71].目前用于神經形態計算的人工神經網絡可分為脈沖神經網絡和非脈沖神經網絡(卷積神經網絡等), 這些網絡一般由大量神經元組成, 神經元之間依靠突觸連接[19,21,22].

脈沖神經網絡與非脈沖神經網絡中的突觸可以共用, 這些突觸包含兩個功能—權重存儲的功能和根據脈沖觸發修改權重的功能.不同類型網絡的神經元功能差別很大, 但結構都可以概括為兩部分, 突觸信號接收部分與信號加工輸出部分.目前代表性基于憶容構建的神經突觸有: 單憶容突觸[27]、四憶容橋式突觸[16]、電壓源電流源憶容器混合突觸[18].代表性神經元結構有:N憶容單MOS 管結構神經元(N為大于1 的整數)[21]、帶二極管脈沖神經元[17]及偽憶容脈沖神經元[20]等.由于目前實物憶容器件的限制, 規模較大的憶容神經形態計算網絡多以仿真形式進行.

3.1 基于憶容的人工神經突觸

閾值電壓型憶容器本身可以作為一個突觸, 用電容值代表存儲的權重, 低于閾值的脈沖電壓讀取權重, 高于閾值的脈沖電壓修改權重, 如上文憶容器件部分的Al/copolymer/ITO 結構憶容器[27], 可以作為獨立的突觸應用于人工神經網絡中.

圖16 憶容橋式突觸電路[16]Fig.16.Memcapacitor bridge synaptic circuit[16].

圖16 所示為基于4 個全同憶容器的突觸電路[16], 令D為電容的倒數, 有

上下兩路總電容相同, 故加壓時通過上下兩路的電荷總量q相同, 由憶容的性質

得

其中,c為一常數.由基爾霍夫定律知, 輸入輸出電壓

其中,Ψ為權重, 具有權重存儲的目的, 當施加超過閾值的電壓脈沖時,Ψ可在一定范圍內變化, 可達到權重更新的目的.

3.2 基于憶容的脈沖網絡神經元

如圖17(a)所示為帶二極管的脈沖神經元結構[17],C1,C2, ···,Cn為憶容突觸, 綠色方框內的Nj為神經元的胞體,S為受控開關.當胞體的輸出電壓Vout大于設定的閾值時, 開關S閉合, 使胞體內的電容C電壓歸零, 同時神經元向下一個突觸發出一個電壓脈沖.神經元實現的STDP 特性如圖17(b)所示, 突觸不同權重對神經元輸出脈沖間隔的調制如圖17(c)所示.

如圖18 所示, 為一個偽憶容脈沖神經元的結構與動作過程[20].圖18(b)為突觸動作過程:t1時刻, 當輸入端輸入電壓脈沖時, 偽憶容內部的憶阻進行脈沖積累;t2時刻, 當輸入脈沖積分超過閾值時, 偽憶容內部的憶阻開啟, 大電容快速充電, 輸出電壓突增;t3時刻, 之后當輸入脈沖電壓到的脈沖底電壓時, 內部憶阻器由電容作用的反向偏壓而關閉, 恢復到初始狀態.輸入輸出電壓脈沖曲線如圖18(d)所示, 當輸入脈沖數達到一定數量時, 出現輸出脈沖.

圖17 憶容記憶突觸[17] (a) 集成神經網絡中的憶容突觸; (b) 憶容突觸實現STDP; (c) 單個突觸的集成憶容神經元點火仿真Fig.17.Memcapacitive synapses[17] (a) Memcapacitive synapses in integrate-and-fire neural network; (b) STDP with memcapacitive synapses; (c) simulation of integrate-and-fire memcapacitive network with only one spiking neuron.

圖18 偽憶容突觸[20] (a) 生物神經元接受高頻突觸后輸入后產生動作電位的示意圖; (b) 偽憶容的集成和觸發過程; (c) 電子神經元晶體管的原理圖; (d) 電子神經元-晶體管集成-點火過程的動力學Fig.18.Pseudo-memcapacitor synapse[20]: (a) Schematic representation of a biological neuron generating an action potential after receiving high-frequency post-synaptic inputs; (b) the integrate-and-fire process of a pseudo-memcapacitor synapse; (c) schematic of the synapse-transistor; (d) dynamics of the synapse-transistor integrate-and-fire process.

圖19 憶容-MOS 耦合神經元胞體[21]Fig.19.Neuron-MOS transistor couples the memcapacitor cells[21].

3.3 基于憶容的非脈沖網絡神經元

圖19 為憶容-MOC 耦合神經元接收突觸信號的部分[21], 由MOS 管連接多個憶容突觸, 并接收憶容突觸的信號.其中V1, ···,Vm為輸入電壓信號,C0為MOS 管的等效耦合電容,C1,···,Cm為憶容突觸的電容值(權重).使V0= 0 接地, 有輸出電壓:

其中

Vg即為接收到的突觸信號.

圖20(a)為含n個憶容-MOS 耦合神經元的網絡結構.圖20(b)和圖20(d)為憶容-MOC 耦合神經元的信號加工輸出部分, 功能為將sigmoid 函數或線性函數作用到所接收的突觸信號上, 并輸出給下一個神經元.sigmoid 函數電路輸出表達式為

其中,VDD為圖示的電壓源電壓,Vin1和Vin2分別為in1 和in2 處的電位.其他均為一些固定參數,其與sigmoid 函數比較的曲線如圖20(c)所示.

圖20 MC-ACU[21] (a) 全結構電路圖; (b) sigmoid 神經元電路; (c) 在HSPICE 中的仿真曲線(藍)與理論數學曲線(紅)對比;(d) 線性神經元電路; (e)在HSPICE 中的仿真曲線(藍)與理論數學曲線(紅)對比Fig.20.MC-ACU[21]: (a) Overall architecture; (b) sigmoid neuron circuit; (c) simulation results in HSPICE (blue) compared with the mathematical sigmoid(red); (d) linear neuron circuit; (e) simulation results in HSPICE (blue) compared with the mathematical linear (red).

圖20 (d)所示的線性函數電路輸出表達式為

仿真曲線如圖20(e).

4 基于憶容的神經形態計算

McCulloch 與Pitts 證明, 在神經元相互連接且同步的情況下, 網絡能計算任何已知函數[67].只需更改神經元的連接方式, 即可構成不同應用下所需的神經網絡.2018 年Wang 等[20]用偽憶容神經元模擬聯想學習—巴普諾夫的狗實驗.2019 年Tran 等[22]提出用憶容進行儲層運算的架構.

Hebbian 規則是突觸權重調節最重要的細胞機制之一[72], 揭示了突觸前后膜相關信號與突觸權重變化之間的關系.圖21 為用偽憶容網絡基于類Hebbian 規則實現的聯想學習實驗[20].兩個突觸前電壓脈沖信號分別模擬看到食物和聽到鈴聲,突觸后神經元模擬狗的流涎; 與“食物”突觸前神經元連接的突觸的初始重量較大, 而與“鈴聲”突觸前神經元連接的突觸的初始重量較小.經過一系列“鈴聲”與“食物”的聯合刺激后, 成功實現只有“鈴聲”刺激的情況下, 突觸后神經元興奮, 即“狗流涎”.

儲層計算是一種相對較新的神經形態計算結構, 與傳統遞歸神經網絡(RNN)相比, 期避免訓練大規模節點, 大大提高計算效率, 可用于火焰模擬、股票預測等多種混沌預測場合.基于憶容的儲層計算結構如圖22 所示[22], 該結構將憶容網絡作為儲層(reservoir), 儲層的憶容器之間用納米線隨機連接, 網絡中的節點電壓矩陣x(t)為儲層向讀出層(readout layer)提供的狀態變量,Wres(t)為包含儲層每一個憶容容值的矩陣定義為

圖21 基于電容式網絡的聯想學習機制[20].兩個突觸前信號分別模擬食物的視覺和鈴聲.突觸后神經元模擬狗的唾液分泌.與“食物”突觸前神經元連接的突觸的初始權重較大, 而與“鐘”突觸前神經元連接的突觸的初始權重較小Fig.21.Capacitive network for associative learning based on the Hebbian-like mechanism[20].Two pre-synaptic signals model the sight of food and the sound of a bell, respectively.The post-synaptic neuron models the salivation of a dog.The initial weight of the synapse interfacing with the “food” pre-synaptic neuron was large, while that of the synapse connected to the “bell” pre-synaptic neuron was small.

圖22 憶容儲層計算網絡[22]Fig.22.A memcapacitive reservoir network[22].

網絡運行, 輸入信號u(t)通過固定矩陣Win向儲層提供刺激, 此時節點電壓矩陣x(t)隨網絡容值與時間變化,x(t)被定義為

其中,f為節點傳遞函數.輸出y(t)為

其中,Wout為固定輸出矩陣, 匹配矩陣維數.

每次運算后將儲層狀態x(t)記錄, 用記錄的x(t)與y(t)對Wout用梯度下降法進行訓練, 輸出層訓練完成后, 總訓練過程結束.之后該網絡即可用于預測信號或模擬信號.

5 總結與展望

憶容器作為新型非線性無源器件, 其容值與輸入電壓/電荷的歷史相關, 是與憶阻器等共同構建超低能耗神經網絡的理想器件.自2009 年憶容被提出, 國內外研究者們在提升實物憶容器的綜合性能、構建低耗能憶容神經形態計算網絡等方面取得了較大的突破, 但由于發展時間較短, 實物憶容器的綜合性能與實際應用要求的憶容器性能相比存在一定的距離, 因此, 還需要在憶容機理、憶容材料、憶容綜合應用電路設計等方向繼續探索.

對于基于整體等效介電常數變化的憶容器而言, 器件尺寸的縮減會伴隨著器件漏電流增大、擊穿電壓降低的現象; 當憶容介質層的厚度減小到一定程度時會導致器件電導激增, 電容值下降.在大規模集成方面, 這是憶容器與憶阻器、CMOS 晶體管等器件相比的不足之處, 這將影響憶容器的實際應用.如何獲得同時具有微納尺寸與高絕緣性的憶容器仍然是未來研究的難點與重點之一.

另外, 理論上, 相比基于憶阻的神經形態計算,基于憶容的神經形態計算在神經元接收與發射信號上消耗的能量更少, 但檢測信號所需外圍電路的能量開銷及對檢測器件的精度要求難以估計.結合憶阻器與憶容器等器件自身的特點, 最大程度的利用憶阻器、憶容器、晶體管等器件的優勢組合設計神經形態計算電路是未來的必然趨勢.

理論方面, 相較于CMOS 晶體管、憶阻器等元器件, 目前對憶容的容變機理還沒有成體系的解釋, 無法通過理論模擬定量預測、仿真憶容現象,建立更多切合實際的憶容實物器件模型; 而CMOS晶體管、憶阻器等器件的工作機理相對明確, 有較為成熟的實物器件模型及較為清晰的技術發展路線.未來需要對憶容機理進一步探索, 為實物憶容器件制造與性能提升奠定理論基礎.此外, 拓展新型非壓控/荷控憶容器件比如光控、聲控、溫控憶容等, 也將極大促進憶容器應用的發展.