混合時鐘驅動的自旋神經元器件激活特性和計算性能*

袁佳卉 楊曉闊? 張斌 陳亞博 鐘軍危波 宋明旭 崔煥卿

1) (空軍工程大學基礎部, 西安 710051)

2) (國防科技大學計算機學院, 長沙 410005)

3) (空軍指揮學院, 北京 100097)

(2021 年4 月1 日收到; 2021 年6 月16 日收到修改稿)

1 引 言

縱觀人類發展歷史, 人類一直致力于創造出擁有像人類智慧的“智能機器”[1]. 研究人員采用互補金屬氧化物半導體(complementary metal-oxidesemiconductor, CMOS)器件來搭建神經形態電路. Bernabe 等[2]利用CMOS 電路模擬了Fitz-Hugh-Nagumo 神經元模型, 實現了神經振蕩器的仿真; Lont 等[3]實現了在3 μm CMOS 制造工藝下的具有非線性突觸的多層感知器, 并且該芯片被成功集成到計算機中實現了相應功能. 盡管基于CMOS 的神經形態器件已經逐漸發展成熟, 并且可以制造出成熟的仿生電路, 但是它需要消耗大量的能量, 且集成度較低, 無法實現有效的仿生功能[4]. 因此, 不適合進行類腦計算. 傳統的馮諾依曼計算體系也是制約CMOS 神經形態芯片發展的主要障礙. 這是由于馮諾依曼計算體系存儲與計算分離, 當數據在存儲器和處理器之間傳輸時, 將會消耗大量的時間和能量, 無法實現實時語音、圖像識別等運算[5].

近幾年, 隨著材料科學和電子科學的發展, 一些新型材料被發現能夠直接模擬人腦中神經元和神經突觸的計算能力, 如鐵電材料[6]、阻變材料[7]、相變材料[8]和自旋電子材料[9]等. 這些新型器件打破了傳統的馮諾依曼計算瓶頸, 具有存算一體,功耗極低等優點, 能夠實現生物神經元或者突觸的神經態計算功能[10].

自旋電子材料作為制作新型神經形態器件的材料之一, 不但具備低功耗、高可靠性等優點, 而且容易制備, 成為學術界和產業界的重點關注對象. 2019 年, Yue 等[11]設計了一種基于磁疇壁運動的自旋憶阻器, 并與CMOS 器件共同使用, 構建了一種脈沖神經網絡, 實現了實時動態學習;Fukami 等[12]利用36 個自旋突觸器件成功搭建了基于Hopfield 模型的人工神經網絡. 除自旋突觸器件外, 自旋神經元器件也受到了廣泛關注. 如基于磁疇壁運動的自旋神經元[13]、基于自旋矩納米振蕩器的自旋神經元[14]和基于隨機翻轉行為的自旋神經元等[15].

其中由于基于磁化隨機翻轉行為的自旋神經元器件具有與人腦神經元的隨機性相似[16], 制備過程中具有較高的誤差容忍度[17], 能夠進一步降低功耗[18]等優點, 成為研究人員關注的重點. 日本Fukushima 等[19]提出在自旋轉移力矩(spin transfer torque, STT)和磁場作用下, 磁化能夠發生隨機翻轉, 產生一系列隨機信號; 美國Roy 團隊[18]提出基于自旋軌道力矩(spin oribit torque, SOT)的自旋神經元器件, 利用SOT 驅動磁化翻轉至空態, 撤去電流后, 磁化翻轉至任一穩態, 實現了隨機翻轉. 相比利用STT 驅動磁化翻轉, 它的能耗更低, 集成度更高; Ostwal 等[20]提出SOT 和磁場相互作用下的自旋神經元器件并且成功模擬了神經元的激活特性. 可以看出目前自旋神經元激活方式基本采用的是電流驅動時鐘, 耗能較大, 相比基于CMOS 的神經元器件失去了能耗優勢[18-20].

此外, 基于隨機翻轉特性的自旋神經元器件與邏輯器件已經成熟的制備工藝相似, 有望將自旋神經元用于實際應用中[9]. 但由于自旋器件結構性能對其計算功能會產生一定的影響[21,22], 因此需要從器件的結構尺寸及制作材料等方面出發, 篩選出性能相對更佳的器件. Kurenkov 等[23]提出了一種反鐵磁/鐵磁異質結, 其利用SOT 時鐘調控磁化翻轉, 通過調節器件尺寸實現了突觸和神經元的關鍵性功能; 曾中明課題組[24]研究了不同結構的磁性隧道結(magnetic tunnel junction, MTJ)中磁疇壁釘扎作用的影響, 實現了多阻態變化的自旋突觸器件; 游龍課題組[25,26]通過調控磁疇壁中固定層的狀態, 利用SOT 驅動Ta/CoFeB/MgO 異質結中磁矩發生變化; 王開友課題組[27,28]提出利用層間交換偏置作用, 在所設計的材料體系中實現了無外部磁場輔助的電流誘導的確定性磁化翻轉. 除此之外, 2019 年, 該課題組[29]利用電流脈沖驅動方式成功模擬了突觸尖峰放電時間依賴可塑性. 這些研究都是基于調控材料結構的方式來實現自旋神經態器件特性的, 關于材料選擇方面的研究還較少, 而選擇合適的器件材料將直接影響到器件的性能, 并且對自旋神經器件以及其神經網絡計算能力的影響目前也還需要進一步探索.

基于此, 本文提出了一種磁場輔助磁彈應變的自旋神經元結構, 與前述的電流驅動的自旋神經元不同, 所設計器件引入了能耗較低的磁彈時鐘[30,31],實現了電壓驅動的自旋神經元器件, 有效降低了能耗. 利用OOMMF (object oriented micromagnetic framework)微磁學仿真軟件構建了器件的微磁學模型驗證了所設計的自旋神經元的結構可行性. 隨后構建了器件在熱噪聲環境下的數值模型, 仿真結果表明所設計的器件能夠有效工作. 最后利用所提出的自旋神經元構建了三層神經網絡用于識別手寫數字, 驗證了器件的神經網絡計算能力. 除此之外, 本文研究了磁致伸縮層材料(Terfenol-D,FeGa, Ni)對基于隨機磁化翻轉特性的自旋神經元激活特性及其神經網絡計算能力的影響.

2 神經元結構和磁化動力學模擬

2.1 磁場輔助磁彈應變驅動的神經元結構

本文設計的自旋神經元結構如圖1 所示. 主要分為3 部分, 由下到上分別是硅基底、厚度為100 nm的壓電層Pb[ZrxTi1–x]O3(PZT)[32]以及磁致伸縮層. 其中磁致伸縮層是尺寸為120 nm × 100 nm ×8 nm 的橢圓形納磁體. 如圖1 所示的笛卡爾坐標系, 紅色箭頭代表納磁體磁化方向,θ是極角, 又稱面外角,φ是方位角, 又稱面內角.

圖1 磁場輔助磁彈時鐘神經元Fig. 1. Magnetic field assisted strain-mediated neuron.

磁彈應變驅動納磁體磁化狀態改變的具體原理是: 當在PZT 層上施加電壓V時, 便會在層間形成電場. 因為PZT 材料具有逆壓電效應, 所以在電場的作用下會發生形變, 從而產生應力. 當PZT 層上的形變傳遞到磁致伸縮層時, 由于磁致伸縮層具有逆磁致伸縮效應, 磁化狀態會在應力的影響下發生改變. 具體過程是納磁體磁化方向由穩定狀態(y軸方向)轉到不穩定狀態(x軸方向), 即待寫入狀態.

定義納磁體磁化方向沿y軸負方向代表數值“0”, 沿y軸正方向代表數值“1”[33], 設該自旋神經元結構中納磁體初始磁化方向沿y軸負方向, 如圖2 所示. 由于實現信息傳遞, 納磁體必須完成0—1 轉換. 但磁彈應變只能令磁化翻轉90°, 無法實現0—1 轉換. 因此, 在利用磁彈應變將磁化翻轉90°后, 需要施加一定的弱磁場, 推動納磁體磁化完成180°翻轉.

圖2 磁化翻轉原理圖Fig. 2. Schematic of magnetization switching.

但是磁化翻轉行為是隨機的, 會出現0°翻轉和180°翻轉. 0°翻轉是指最終磁化方向和初始磁化方向相同, 180°翻轉是指最終磁化方向和初始磁化方向相反. 設施加磁場方向向上, 如圖2 中紅色箭頭所示, 則0°翻轉的概率為P1, 180°翻轉的概率為P2. 這種隨機翻轉行為已經被證實能夠模擬生物神經元的隨機性行為[34], 因此提出了磁場輔助磁彈應變驅動的自旋神經元.

2.2 磁化動力學模擬

2.2.1 器件的微磁學模型及仿真驗證

為了證明本文設計自旋神經元結構的可行性,利用OOMMF 微磁學仿真軟件建立器件的微磁學模型. 其中磁致伸縮材料選用Terfenol-D, 各項參數[35-37]如表1 所示.

表1 材料參數表Table 1. Parameters of different materials.

圖3 展示了納磁體在應力和磁場共同作用下的磁化過程. 該過程主要分為3 個階段, 第1 階段是在0 ns 時, 納磁體在30 MPa 的應力作用下, 磁化方向由初始方向翻轉90°至x軸負方向, 到達空態. 第2 階段是在1 ns 時, 撤去應力, 施加10 mT磁場, 將繼續翻轉. 若磁場方向與初始磁化方向一致, 磁化向下翻轉回到初態; 若方向相反, 磁化向上翻轉達到另一穩態. 第3 階段是2 ns 后, 撤去磁場, 納磁體將始終位于穩定狀態. 由于OOMMF軟件仿真沒有考慮熱噪聲的影響, 因此無法體現出該自旋神經元結構納磁體隨機翻轉的特性. 但是通過施加不同方向的磁場, 對動態磁化過程圖進行分析研究后, 發現納磁體可以在磁場和應力共同作用下完成翻轉.

圖3 動態磁化過程 (a) 磁化初始方向為–y; (b) 施加30 MPa 應力, 磁化翻轉90°; 撤去應力, 施加10 mT 磁場; (c)方向相反,磁化翻轉180°; (d)方向相同, 磁化翻轉0°Fig. 3. Magnetization process: (a) Initial direction of magnetization is –y; (b) a 30 MPa strain is applied and then 90° switching is achieved, removing strain and applying a 10 mT magnetic field; (c) 180° magnetization switching; (d) 0° magnetization switching.

通過OOMMF 仿真, 還獲得了該自旋神經元結構的磁化矢量變化曲線, 如圖4 所示. 結合納磁體磁化矢量的參數表達式, 見(5)—(7)式, 可以對磁化過程做進一步分析. 由于x與y方向上的磁化矢量mx,my與方位角φ的大小有關, 因此其值隨方位角的改變在不斷發生變化. 0 ns 時, 納磁體磁化翻轉至空態, 此時my由–1 變化到0. 1 ns 時, 納磁體在只有磁場的作用下發生翻轉. 當磁場方向沿y軸正方向,my從0 變化到+1; 當磁場方向沿y軸負方向,my則由0 變化至–1.mx與my的變化過程正交.

圖4 磁化矢量隨時間變化曲線圖(a) 1 ns 時, 施加磁場沿y 軸正方向時的磁化矢量變化圖; (b) 1 ns 時, 施加磁場沿y 軸負方向的磁化矢量變化圖Fig. 4. Magnetization vector with time: (a) When t = 1 ns, a magnetic field is applied in the direction along +y; (b) when t = 1 ns,a magnetic field is applied in the direction along –y.

2.2.2 室溫下器件的數值模型仿真

由于微磁學仿真沒有考慮熱噪聲的影響, 因此還需建立該器件在熱噪聲影響下工作的數值模型,從而驗證該結構的實際工作效能.

磁場輔助磁彈應變作用到納磁體上, 其磁化方向隨時間變化的過程可以用LLG(Landau-Lifshitz-Gilbert)方程來描述[38]:

其中M是磁化矢量,γ是回磁比,α是吉爾伯特阻尼系數,Ms是飽和磁化率,Heff是有效場. 將(1)式簡化為沿x,y,z三個方向上的標量方程:

其中,mx,my,mz可以用參數方程表示為

式中,hx,hy,hz是Heff在x,y,z三個方向上的有效場分量:

其中,μ0是真空磁導率, 值為4π × 10–7;V1是單個納磁體的體積;k是玻爾茲曼常數, 值為1.38 ×10–23J/K;T是室溫下的溫度, 值為300 K;f是熱噪聲頻率, 設為1 GHz;G(0, 1)(t)是正態分布的隨機熱場.Ndx,Ndy,Ndz是退磁因子, 表達式為[39]

其中a是納磁體長軸長度,b是納磁體短軸長度,th是納磁體厚度.

將各表達式和材料相關參數, 代入磁化標量方程(2)—(4)后, 利用經典四階Runge-Kutta 算法求解, 即可得到磁化狀態的動態改變情況. 其中材料參數如表1 所示.

選取Terfenol-D 作為磁致伸縮層材料, 利用MATLAB 軟件, 對該結構數值模型進行仿真. 整個仿真過程為前3 ns 施加40 MPa 的應力, 3—6 ns間撤去應力, 施加10 mT 的磁場, 方向沿y軸正方向, 6 ns 后將磁場也撤去. 仿真后得到該結構隨機磁化翻轉的動態過程, 如圖5 所示. 圖5(a)展示了納磁體完成180°磁化翻轉的過程, 圖5(b)是納磁體沒有完成180°翻轉, 回到初始狀態. 這一過程說明本文設計的自旋神經元結構在常溫下能夠實現隨機翻轉, 進一步驗證了該器件結構的正確性.

圖5 室溫下隨機磁化翻轉的動態磁化過程 (a) 180°磁化翻轉; (b) 0°磁化翻轉Fig. 5. Magnetization dynamics at room temperature:(a) 180° magnetization switching; (b) 0° magnetization switching.

3 基于自旋神經元的神經網絡計算

3.1 不同材料自旋神經元的激活特性曲線

自旋神經元的翻轉概率與輸入量之間存在一定的輸入輸出關系, 為了獲得本文神經元結構的180°翻轉概率與輸入磁場之間的關系, 以Terfenol-D自旋神經元為例展開研究. 首先施加40 MPa 應力, 然后在0—50 mT 之間隨機選取20 個不同的磁場值輸入, 并計算這20 個輸入磁場下納磁體180°磁化翻轉概率, 如圖6(a)中綠點所示, 而施加負磁場時的180°翻轉概率可利用納磁體的對稱性分析得出[35]. 即施加大小相同、方向相反的磁場,實現180°翻轉的概率之和為1. 若已知施加正磁場時的180°翻轉概率P2, 則施加負磁場時的180°翻轉概率為1–P2. 由于該翻轉概率函數可以用Sigmoid函數y= 1/[1 + exp(–αx)]來擬合[9], 并且當α=0.13 時, 圖6(a)中橙色的擬合函數曲線與翻轉概率數據擬合程度最高. 因此, 所得擬合函數y=1/[1 + exp(–0.13x)]便是Terfenol-D 神經元器件的激活函數. 通過分析, 當輸入磁場增大時, 納磁體180°翻轉概率也隨之增大; 當輸入磁場達到約20 mT 時, 概率接近飽和.

圖6 180°磁化翻轉概率與輸入磁場的關系, 磁致伸縮層材料為(a) Terfenol-D, (b) FeGa, (c) NiFig. 6. 180° magnetization switching probability versus magnetic field, the magnetostrictive layer material is (a) Terfenol-D, (b) FeGa, (c) Ni.

利用這種方式, 對不同磁致伸縮材料下自旋神經元的激活特性進行進一步研究. 將Terfenol-D換成同樣具有磁致伸縮效應的FeGa 和Ni. 當磁致伸縮材料為FeGa 時, 保持其他條件不變, 施加應力50 MPa, 磁場從0 到60 mT 之間選取20 組數據,可以得到Sigmoid 關系式y= 1/[1 + exp(–0.09x)],如圖6(b)所示. 當輸入磁場為30 mT 時, 翻轉概率接近飽和. 當磁致伸縮層材料為Ni 時, 仍然保持其他條件不變, 施加大小為90 MPa 的應力, 磁場由0 到1200 mT 之間選取20 個值, 得到擬合函數關系式為y= 1/[1 + exp(–0.012x)], 如圖6(c)所示. 當輸入磁場為175 mT 時, 概率接近飽和.

上述研究中, 不同磁致伸縮材料的自旋神經元需要施加的應力不同, 這由(14)式決定[35]:

式中σy_min是克服納磁體形狀各向異性能量勢壘所要施加的最小應力.Ndx,Ndy,Ndz由納磁體長軸長度、短軸長度和厚度決定. 因為均選用規格為120 nm × 100 nm × 8 nm 的納磁體, 所以Ndx,Ndy,Ndz相同. 于是決定σy_min的是材料的磁致伸縮系數λs和飽和磁化率Ms. 因為Terfenol-D, FeGa和Ni 三種材料的λs和Ms各不相同, 如表1 所示,所以施加的應力也不同. 在磁彈時鐘的作用下, 納磁體磁化方向翻轉至空態, 自旋神經元處于一個待寫入狀態. 此時只需要施加一個弱偏置磁場, 就能驅動磁化隨機翻轉, 實現信息寫入. 利用本文設計的磁場輔助磁彈應變的自旋神經元結構, 可成功得到了3 種磁致伸縮材料的激活特性曲線.

3.2 材料對自旋神經元計算功能的影響分析

本文利用Liyanagedera 等[40]設計的神經元讀取電路, 將納磁體磁化翻轉概率轉化為確定性輸出電壓值讀出. 具體過程為: 首先將本文設計的器件結構作為MTJ 的自由層, 當磁場輔助磁彈應變驅動納磁體磁化隨機翻轉時, MTJ 會在高電阻和低電阻兩個狀態間跳變. 然后給MTJ 施加恒定電流,則其兩端的電壓值將隨電阻的變化而變化. 在一定時間內對輸出電壓值求平均, 則MTJ 的平均輸出電壓將和納磁體180°磁化翻轉概率一致, 于是平均輸出電壓和輸入磁場大小之間的關系與圖6 中S 型激活函數相同. 將平均輸出電壓先轉換為電流, 再轉換為磁場, 可以繼續施加到下一層神經元中[20], 實現神經元間的信息傳遞.

設計如圖7 所示的人工神經網絡識別MNIST(mixed national institute of standards and technology database)手寫數字數據集, 以進一步研究材料對自旋神經元神經形態計算能力的影響.MNIST 數據集中每個數字圖片為28 × 28 像素,共784 個像素點, 因此設置神經網絡輸入層為784 個節點. 隱藏層設為300 個節點. 輸出層設置為10 個節點, 分別對應0 到9 十個數字. 由于手寫數字圖片像素是介于0—255 之間的灰度值, 因此為了將圖像輸入到神經元中, 需要將灰度值0—255 線性轉換為文中圖6 所示的神經元激活函數非線性區域對應的輸入磁場范圍. 這里只考慮輸入正磁場的情況. 由圖6 知, Terfenol-D, FeGa 和Ni 對應的輸入磁場范圍分別是0—20 mT, 0—30 mT 和0—175 mT. 傳統的Sigmoid 函數y=1/[1 + exp(–x)]也采用了同樣的設置, 取其非線性區域對應的數值范圍(0

圖7 基于磁場輔助磁彈時鐘的自旋神經元的三層神經網絡結構示意圖Fig. 7. Three-layer neural network based on magnetic field+ strain spin neurons.

圖8 不同材料神經元器件的識別精度Fig. 8. Recognition rate obtained from the neural network with different materials.

除此之外, 該自旋神經元結構由于引入了低能耗的磁彈應變時鐘, 理論上相比其他電流驅動的神經元結構具有能耗優勢. 具體計算過程是: 該神經元結構功耗主要來源于磁場和磁彈應變時鐘的能量損耗. 其中磁彈應變時鐘的能量損耗Estrain的計算公式為[42]

Cpzt是PZT 層的寄生電容, 計算公式為[43]

式中h和w分別是該神經元器件的高度和寬度,h/w近似為1;tpzt是PZT 層的厚度, 值為100 nm;真空介電常數ε0為8.85 × 10–12F/m, PZT 層的相對介電常數εr為1000.V是施加在PZT 層上的電壓, 計算公式為[44]

其中σ是施加在PZT 層上的電壓產生的應力,Y是磁致伸縮層材料的楊氏模量,d31≈ –10–10m/V.磁場時鐘產生的能量損耗公式為[45]

由畢奧-薩伐爾定律可推導出I= 2πrB/μ0, 其中r設置為50 nm.B為該器件結構達到飽和識別率時所需的磁場. 導線電阻R=ρL/Sd, 其中鉑的電阻率ρ= 2.22 × 10–7Ω·m, 鉑線的長度L= 1 μm,鉑導線的橫截面積Sd= 10–14m2, 施加磁場的時間tclock= 3 ns.

通過(18)式可估算得出Terfenol-D, FeGa和Ni 多鐵神經元的能耗分別為1.67 pJ, 3.75 pJ和12.75 nJ, 而利用電流驅動的自旋神經元器件功耗[20]比Terfenol-D 和FeGa 多鐵神經元的能耗高了近3 個數量級. 這是由材料的磁致伸縮系數決定的, 由表1 知, Terfenol-D 磁致伸縮系數是FeGa的1.5 倍, 是Ni 磁致伸縮系數的30 倍, 其中Terfenol-D 的磁致伸縮系數最小, 因此其功耗最低. 所以,當該器件結構選擇合適的磁致伸縮層材料時, 能夠大幅度降低功耗.

上文討論了輸入不同范圍的磁場使得3 種材料都達到飽和識別精度的情況, 接下來研究當輸入磁場范圍相同時, 3 種材料的神經網絡計算能力.設低功耗輸入時的磁場范圍為0—20 mT, 神經網絡訓練次數設為2000 次, 訓練完畢后, 可得如圖9所示的3 種材料的識別率對比圖. 從圖中可以看出, 三種材料的自旋神經元都能達到飽和識別精度98%. 但Terfenol-D 和FeGa 神經元的識別速度明顯高于Ni 的識別速度. 這是由于Terfenol-D,FeGa 和Ni 激活函數非線性區域對應的磁場范圍為0—20 mT, 0—30 mT 和0—175 mT, 當輸入磁場范圍為0—20 mT 時, 對應Ni 激活函數的非線性區域太小, 導致其并非標準的非線性區域. 因此低功耗輸入時, Ni 的識別速度不如Terfenol-D 和FeGa.

圖9 輸入磁場為0—15 mT 時, 不同材料神經元器件的識別精度Fig. 9. When the magnetic field is 0–15 mT, the recognition rate obtained from the neural network with different materials.

通過上述對比研究, 可以得到當輸入不同范圍的磁場使得Terfenol-D, FeGa 和Ni 都達到飽和識別精度時, Terfenol-D 自旋神經元的功耗相比FeGa 和Ni 較低; 當低功耗輸入相同的磁場時,Terfenol-D 材料相識別速度較快. 因此Terfenol-D 更適合作為該自旋神經元的磁致伸縮層材料. 這也為今后選擇多鐵神經元材料提供了參考標準, 即選擇磁致伸縮系數較大的材料更利于進行神經網絡計算.

4 結 論

本文通過微磁學建模和數值仿真方法, 證明了磁場輔助磁彈應變能夠成功驅動納磁體實現隨機磁化翻轉, 從而模擬生物神經元的激活行為. 利用該自旋神經元器件, 構建了3 層人工神經網絡識別MNIST 手寫數字數據集, 并且研究了磁致伸縮材料(Terfenol-D, FeGa, Ni)對其激活特性和神經網絡計算能力的影響, 結果發現: 當輸入磁場對應3 種材料激活特性曲線的非線性區域時, 識別率高達98%, 能夠達到與傳統的CMOS 神經元相同的識別精度, 并且3 種材料中Terfenol-D 多鐵神經元性能最優; 而當低功耗輸入時, Ni 構成的自旋神經元識別速度較慢. 這些結論為新型人工神經網絡和智能電路的應用奠定了理論基礎并提供了重要指導.