龍洪亮 沈微宏 SCHOENHARDT Steffen 張啟明



摘要:采用尖峰神經元對神經形態計算進行并行處理,可以克服數字計算機的一些局限性,從而提高計算速度、計算性能和能量效率,實現更高效、更智能和更自適應的計算。超快克爾效應在光子神經形態計算中具有重要的意義和應用。利用改進的歸一化耦合模理論(coupledmode theory, CMT)模型,對鈣鈦礦材料的光學微諧振腔中由超快克爾效應引起的非線性動力學特征進行了計算和分析,觀察到自脈動行為;模擬并實現了光學神經元的興奮性行為、泄露積分動力學和不應期現象。鈣鈦礦材料具有超快的克爾響應時間,可以將神經元的不應期控制在皮秒量級,為實現快速的脈沖神經網絡提供了新思路。
關鍵詞:克爾效應;耦合模式理論;微諧振腔;光學神經元
中圖分類號: O 436.1 文獻標志碼: A
Research on the application of pure Kerr nonlineardynamics in optical neurons
LONG Hongliang1,2,SHEN Weihong1,SCHOENHARDT Steffen1,ZHANG Qiming1
(1. Institute of Photonic Chips, University of Shanghai for Science and Technology, Shanghai 200093, China;
2. School of Optical-Electrical and Computer Engineering, University of Shanghai forScience and Technology, Shanghai 200093, China)
Abstract: Neuromorphiccomputingusesspikeneuronsforparallelprocessing,whichcan overcome limitations of digital computers, thereby improving computing speed, performance, and energy efficiency to achieve more efficient, intelligent, and adaptive computing. The ultrafast Kerr effect has important significance and application in neuromorphic computing. An improved coupled mode theory (CMT) model was employed to analyzed the nonlinear dynamics behaviors in a micro- resonator based on the ultra-fast Kerr response of perovskite materials. Self-pulsation behavior was observed in the optical cavity. Based on this property, the excitation, leaky integrating dynamicsand refractory time of optical neurons were simulated and implemented. Because of the ultra-fast Kerr response of the perovskite material, the refractory time of the optical neuron can be reduced to the order of picoseconds, which paves the way for ultra-fast spiking neural networks.
Keywords: Kerr effect; coupled mode theory; micro-resonator; optical neurons
引言
自從1943年 McCulloch 和 Pitts 正式提出神經元的設計以來,神經形態計算一直是人工智能領域中的一個重要研究方向,它旨在模仿生物神經網絡結構和功能[1]。神經形態計算的目標是建立一種類似于生物大腦的系統,包括架構、數據處理方法和功能,并實現比傳統計算機更快速、準確的分析數據集的能力,同時使用更少的計算資源[2]。在實現神經形態計算過程中,設計出模擬神經元的硬件具有特別重要的作用。而尖峰神經元則為實現神經形態計算提供了重要的手段,因為尖峰神經元具有快速響應、低功耗等優勢,所以它能夠更加高效地模擬生物神經元的行為,從而實現更為精確和快速的神經形態計算[3]。因此,基于非線性光學過程的全光尖峰神經元成為近期被深入研究的課題。在光子集成電路中實現神經形態計算具有潛在的優勢。與傳統的基于電子的計算相比,基于光子的計算具有更快的數據傳輸率,更低的功耗和更高的計算能力。此外,基于光子學的計算可以利用半導體工業中的制造技術和材料。一般來說,激光器,如具有飽和吸收區域的雙截面激光器[4]、垂直腔面發射激光器(vertical-cavity surface-emitting lasers, VCSELs)[5] 和量子點(quantum-dot ,QD)激光器[6]通常用于實現脈沖神經網絡(spiking neural network, SNN)中的尖峰神經元。然而,目前提出的光學神經元主要依賴于有源器件的電光調控,在尺寸、功耗、工藝難度上存在一定限制,難以實現大規模的集成神經網絡。因此,人們提出了一種新的全光脈沖神經元,通過使用無源光學微諧振腔的非線性特性實現神經元激活特性[7-8]。然而,受限于材料的自由載流子壽命和熱弛豫時間,這種神經元的響應速度很慢[9]。
高度非線性的鈣鈦礦材料,如鈮酸鋰(lithiumniobite,LN)[10-11]、鈦酸鋇(barium titanate, BT)[12]顯示出高電光非線性,在與互補金屬氧化物半導體( complementarymetaloxidesemiconductor,CMOS)兼容平臺,如絕緣體上硅(silicon-on-insulator, SOI)或氮化硅(Si3N4)平臺共同集成時,可以實現快速和緊湊的調制器[13],這引起了光子學界的注意。同時,這些鈣鈦礦材料也表現出明顯的克爾(Kerr)非線性,并且具有飛秒量級的超快響應速度[14],這使得它成為超快非線性光學尖峰神經元的有力候選者,在模擬尖峰神經元的響應速度方面優于當前所有的競爭方案。
本文研究了具有強 Kerr效應的光學微諧振腔,基于耦合模理論(coupled mode theory,CMT)分析了微諧振腔在僅受 Kerr效應影響下的非線性動力學,在輸入光功率高于閾值的情況下觀察到自脈動行為。基于此現象,模擬了尖峰神經元的激發行為、泄漏積分動力學和不應期等行為,為實現快速響應的尖峰神經元提供了新思路。
1 耦合模理論
CMT 是一種用于描述復雜非線性系統的理論框架,它不僅有助于人們更好地理解這些系統的動態行為,而且還可以為設計新型微型光學器件和其他高性能器件提供指導,常被用來描述微環[15]、微盤[16]和無源微腔[17]的非線性動態響應。本文僅考慮在純 Kerr效應驅動下光學微諧振腔的動力學特征,微諧振腔的結構示意圖如圖1所示。總線波導將輸入光和反向擾動光信號耦合進微環諧振腔內,由于材料具有高度的非線性,連續的輸入光經過微諧振腔后的輸出光,在不同的擾動光信號的調制下會產生不同的脈沖輸出。給出了歸一化的 CMT 模型,以描述微諧振腔內光 a(t)與頻率偏移 n(t)的時間演化,折射率的變化歸因于強度的變化。該模型描述了一個由總線直波導和微環形波導組成的微諧振腔中的非線性動力學過程。
式中: jaj2是歸一化的腔內能量,±分別代表腔內逆/順時針方向傳播的光; P 是通過總線波導耦合注入到腔內的輸入光和擾動信號的歸一化功率; n 是因輸入光和輸入擾動信號引起的頻率偏移;δ=(!0-!)/Γ0代表輸入光頻率!與微腔諧振峰!0的歸一化失諧量,其中系數Γ0與光子壽命τc有關;χ= 1 ,是非線性效應的符號,這里取-1; S in是從總線波導注入的輸入光的復振幅; Sout 是輸出光的復振幅;i是虛數單位;τ是時間常數; k1是波導中的傳播系數, k2是波導與微諧振腔的耦合系數, k1和 k2是在給定微諧振腔的光子壽命、 Q 值的情況下,根據臨界耦合的約束條件下得到的[18]。為了方便計算求解,式中給出的是歸一化 CMT 模型,所有變量均為無量綱參數,通過轉換公式[19-21]可將其恢復為現實世界的物理量。值得強調的是,時間 t 是以系數1/Γ0=2Q/!0=2τc 為單位的,其中 Q 、!0和τc 分別代表腔體的總品質因子、諧振頻率和光子壽命。該 CMT 模型中非線性頻率偏移的時間常數τ=τrΓ0,其表示現實世界中的材料的非線性響應時間τr與光子壽命tc的比值,以幫助分析這兩者對純克爾材料中非線性動力學特征的影響。
輸入光功率 Pin = jS inj2,輸出光功率Pout = jS out j2。根據式(1)~(3)對光學微諧振腔進行靜態和動態分析。
對式(1)進行的數值模擬表明,在特定的情況下,該微諧振器能產生自脈動行為。微諧振器的自脈動行為是指微諧振器在特定工作條件下會產生自我激勵的振蕩行為。這種行為通常是由于微諧振器的非線性特性所導致的。當微諧振器受到外部激勵時,它會在某些頻率處產生振蕩。如果該振蕩頻率與微諧振器的本征頻率接近,就會引起微諧振器內部的反饋,從而產生自脈動行為。它可以被看作是一種類比于神經元的自發放電現象。因此,微諧振器的自脈動行為可以被應用于構建基于微諧振器的神經元模型,并用于研究神經元之間的信息傳遞和神經網絡的動力學行為。當輸入 P+是連續穩定且沒有擾動信號輸入的時候,令式(1)和式(2)左邊等于0,可以得到穩態解,即 P+= ja+j2[1+(δ+χja+j2)2],在此基礎上加入微擾項可以很方便地求解得到自脈動功率與時間常數τ的關系。分析可得,τ值在一定范圍內[18],微諧振腔才能被一定的注入功率激發產生自脈動行為。τ越接近于0,自脈動行為所需的閾值功率越成指數型增加。 Kerr 效應具有飛秒量級的超快響應時間,τr =70 fs 。為了更好地觀察與分析該模型的自脈動行為,取τ=0:02,計算得到相應的光子壽命 tc =1:75 ps,即對應諧振腔 Q =2126, k1=0:602, k2=0:798。如圖2所示,δ=4,χ=-1,τ=0:02, Pin =400,微諧振器的歸一化腔內能量、頻率偏移量和輸出功率都隨時間成周期性變化,這正是光學諧振腔產生自脈動行為的表現,是模擬光學神經元行為的基礎。
2 模擬尖峰神經元的興奮性行為
基于所討論的在克爾效應主導下的自脈動現象,光學微諧振腔可以用于模擬被動的尖峰神經元的興奮行為。研究發現,在正確的激勵條件下,光學微諧振腔可以被觸發,在其輸出信號中表現出尖峰。
當輸入一個足夠強的觸發信號時,微諧振腔會脫離穩定狀態,并激發出一個負的輸出脈沖。如圖3所示,令δ=4, Pin =3,擾動脈沖歸一化功率Ptr =50,歸一化脈寬Ttr =0:5,所有模式的腔內能量和頻率偏移都經歷了一個突然的增加,然后慢慢恢復到穩定狀態,導致輸出功率的負脈沖。盡管微諧振器在被擾動信號激發時發出“負”脈沖,但它仍然可以用來模擬尖峰神經元的基本功能。在 SNN 中,信息以峰值的形式進行編碼和傳輸,尖峰的形狀并不重要,尖峰是“正”還是“負”對整個 SNN 的運行也沒有影響。此外,只要觸發信號的功率大于閾值,輸出脈沖的形狀就不會改變。這可以很好地模擬尖峰神經元的興奮性行為。
3 泄露積分動力學
神經元泄露積分行為是指神經元在被亞閾值輸入信號激發時,它不會輸出一個完整的脈沖信號,而是會慢慢地從亞激發態恢復到穩定狀態,當它還沒有恢復到穩定狀態時若再有一個亞閾值信號輸入,它則會被完全激發。該行為是神經元功能的重要組成部分,對神經元的計算能力和信息傳遞起著重要作用。與泄露積分激活神經元類似,本文提出的基于光學微諧振腔的神經元結構也可以通過集成2個緊密間隔的亞閾值擾動脈沖來實現激發。
為了證明這一行為,令δ=4, Pin =3,Ptr =15,Ttr =0:5。如圖4所示,當一個擾動脈沖在t =8時被輸入到微諧振器,模式能量和微諧振器中的頻率偏移發生了很小的變化。因此,輸出功率經歷了一個輕微的衰減,然后慢慢恢復到穩定狀態。在 t =18時,2個相同的擾動脈沖間隔時間Δt =0:2,被輸入到微諧振器。與單脈沖的情況相反,此時輸出功率大大衰減,并產生一個明顯的負輸出脈沖。因此神經元也可以被2個間隔相近的亞閾值擾動脈沖所激發,這就是泄露積分行為的直接證據。此外,在 t =18到 t =19的時間間隔內,模式能量和頻移緩慢下降,輸出峰值的下降大約在1.1和1.2之間經歷了微弱的恢復,這意味著積分過程是泄漏的。此外,2個相同的擾動脈沖對微諧振器有不同的影響,這可以歸因于第1個擾動脈沖引起的諧振頻率的移動。例如,第1個擾動脈沖將歸一化輸出功率從1.6衰減到約1.1,而第2個擾動脈沖將歸一化輸出功率從約1.2衰減到0.82。
4 不應期
在1次激勵之后,尖峰神經元將對第2次觸發信號不敏感,直到它恢復到穩定狀態,這種現象被稱為不應期。它對 SNN 中信息的時間編碼至關重要,因為它影響了單個尖峰的精確時間和多個輸入尖峰的累積時間。當神經元擴展到多層 SNN 時,不應期將限制神經元的最大激活速率,從而影響到整個網絡的運行速度。
基于微諧振器的尖峰神經元也具有這種特性,本文所研究的微諧振器能夠將不應期控制在皮秒范圍內。如圖5所示,如果2個輸入脈沖之間的時間間隔太短,那么微諧振器將不會對第2個擾動信號做出反應。當δ=4, Pin =3,Ptr = 20,Ttr =0:5,相鄰的2個脈沖時間間隔Δt =0:6 時,第2個脈沖不能實現神經元激發,即激活行為被抑制。然而,當時間間隔增加到Δt =3:5時,微諧振器會再次發出一個輸出尖峰,這是不應期行為的直接證據。 Kerr 效應的響應時間τr是影響諧振器激勵速度的一個關鍵因素。由上述計算可知,在擾動脈沖功率Ptr =20時,不應期時間Δt =3:5對應的實際時間長度為12.25 ps。因此,受益于鈣鈦礦材料的快速克爾響應時間,該諧振器的不應期可控制在皮秒量級,為提升 SNN 的計算速度提供了重要支撐。
5 結論
分析了僅由 Kerr效應作用的光學微諧振腔內的非線性動力學特征,基于歸一化耦合模式理論方程進行計算分析,在一定的時間常數τ的范圍內,微諧振器可以產生自脈動行為。基于此,當輸入功率不足以讓微諧振器產生自脈動,即處于穩定狀態時,通過給微諧振器反方向注入一個擾動信號的方式,模擬并實現了神經元的興奮性行為、泄露積分動力學和不應期現象。由于鈣鈦礦材料具有超快的克爾響應時間,可以將神經元的不應期控制在皮秒量級。對于僅受到 Kerr效應影響的非線性材料,盡管該材料的 Kerr 響應時間超快,但同時也存在光子壽命受到限制和Q 值降低的問題,因此需要更高的激活功率,在響應速度和功耗之間取得平衡。這為未來實現快速 SNN 提供了新的思路,并為材料的選擇和設計提供了指導。
參考文獻:
[1] MCCULLOCH W S, PITTS W. A logical calculus ofthe ideas immanent in nervous activity[J]. The Bulletinof Mathematical Biophysics, 1943, 5(4):115–133.
[2] KRIZHEVSKYA,SUTSKEVERI,HINTONGE.ImageNet classification with deep convolutional neuralnetworks[J]. CommunicationsoftheACM, 2017,60(6):84–90.
[3] PEDRETTIG,MILOV,AMBROGIOS,etal.Memristiveneuralnetworkforon-linelearningandtrackingwithbrain-inspiredspiketimingdependentplasticity[J]. Scientific Reports, 2017, 7(1):5288.
[4] MAPY,SHASTRIBJ,DELIMATF,etal.Simultaneous excitatory and inhibitory dynamics in anexcitable laser[J]. Optics Letters, 2018, 43(15):3802–3805.
[5] ZHANGYH,XIANGSY,GUOXX,etal. Polarization-resolved and polarization-multiplexed spike encoding properties in photonic neuron based on VCSEL-SA[J]. Scientific Reports, 2018, 8(1):16095.
[6] MESARITAKIS C, KAPSALIS A, BOGRIS A, et al. Artificialneuronbasedonintegratedsemiconductor quantum dot mode-locked lasers[J]. Scientific Reports, 2016, 6(1):39317.
[7] CHAKRABORTY I, SAHA G, ROY K. Photonic in- memorycomputingprimitiveforspikingneural networksusingphase-changematerials[J]. Physical Review Applied, 2019, 11(1):014063.
[8] FELDMANN J, YOUNGBLOOD N, WRIGHT C D, et al. All-opticalspikingneurosynapticnetworkswith self-learningcapabilities[J]. Nature, 2019, 569(7755):208–214.
[9] VAN VAERENBERGH T, FIERS M, MECHET P, etal. Cascadableexcitabilityinmicrorings[J]. Optics Express, 2012, 20(18):20292–20308.
[10] WANG C, ZHANG M, STERN B, et al. Nanophotonic lithiumniobateelectro-opticmodulators[J]. Optics Express, 2018, 26(2):1547–1555.
[11] AHMEDANR,SHISY,ZABLOCKIM,etal. Tunablehybridsiliconnitrideandthin-filmlithium niobate electro-optic microresonator[J]. Optics Letters, 2019, 44(3):618–621.
[12] AKISHIGEY,SAWAGUCHIE. Electro-opticKerr effect in hexagonal barium titanate[J]. Japanese Journal of Applied Physics, 1987, 26(S2):123.
[13] KARVOUNIS A, TIMPU F, VOGLER ‐NEULING V V, et al. Barium titanate nanostructures and thin films forphotonics[J]. AdvancedOpticalMaterials, 2020, 8(24):2001249.
[14] SUGITAA,MORIMOTOM,KAWATAY,etal.Ultrafast optical response of Lead lanthanum zirconiumtitanateceramics[C]//Proceedingsof theInternationalConferenceonUltrafastPhenomena.Snowmass,Colorado: OSA, 2010: ThE2.
[15] XIANG J L, TORCHY A, GUO X H, et al. All-opticalspikingneuronbasedonpassivemicroresonator[J].JournalofLightwaveTechnology, 2020, 38(15):4019–4029.
[16] JOHNSONTJ,BORSELLIM,PAINTERO. Self-induced optical modulation of the transmission throughahigh-Qsiliconmicrodiskresonator[J]. OpticsExpress, 2006, 14(2):817–831.
[17] BRUNSTEIN M, YACOMOTTI A M, SAGNES I, etal. Excitabilityandself-pulsinginaphotoniccrystalnanocavity[J]. PhysicalReviewA, 2012, 85(3):031803.
[18] PUCKETT M W, LIU K K, CHAUHAN N, et al.422Millionintrinsicqualityfactorplanarintegratedall-waveguideresonatorwithsub-MHzlinewidth[J].Nature Communications, 2021, 12(1):934.
[19] ARMAROLI A, MALAGUTI S, BELLANCA G, et al.Oscillatory dynamics in nanocavitieswithnoninstantaneous Kerr response[J]. Physical Review A,2011, 84(5):053816.
[20] MALAGUTI S, BELLANCA G, DE ROSSI A, et al.Self-pulsingdrivenbytwo-photonabsorptioninsemiconductornanocavities[J]. PhysicalReviewA,2011, 83(5):051802.
[21] ZHANGLB,FEIYH,CAOTT,etal.Multibistability and self-pulsation in nonlinear high-Qsiliconmicroring resonators considering thermo-opticaleffect[J]. Physical Review A, 2013, 87(5):053805.
(編輯:李曉莉)