智能光子處理系統：概念與研究進展

（上海交通大學，上海200240）

(Shanghai Jiao Tong University, Shanghai 200240, China)

隨著“5G+”的業務場景不斷擴大，終端數據呈現爆炸式增長[1]，智能處理技術將成為未來網絡發展的核心要素。未來，6G技術將具有更高的傳輸速率和連接密度，以及全空域全頻譜通信、有線無線融合、網絡一體化等關鍵特征[2]。智能處理技術將從3個層次與6G網絡發展深度融合：第一，6G技術將帶來更加多樣化的應用場景。針對不同場景的數據類型、不同業務的處理需求，智能處理技術將與網絡終端無縫銜接，實現定制化的“場景智能”；第二，6G環境下劇增的信息量將超出現有設備的處理極限。智能處理技術將實現寬帶信號層面的有用信息提取，大大降低端-端傳輸壓力，實現“信息智能”；第三，6G網絡吞吐量高，并且呈現不同架構有機融合、處理功能一體化等重要態勢。智能處理技術將實現頻譜資源的動態分配、網絡接口的動態切換、網絡拓撲的動態調控，實現網絡自治化管理的“網絡智能”。因此，在5G/6G浪潮的推動下，我們對具有高速率、大帶寬接口的智能處理技術展開研究至關重要。

光子具有帶寬大、速率高、抗電磁干擾能力強、串擾低、傳輸損耗低等優點，在很多領域中被廣泛研究并成功應用，如光通信、微波光子學（MWP）、光學成像、光學傳感等。然而，傳統光子處理系統在不斷發展的過程中逐漸顯現出性能瓶頸。例如，由于光電子器件的固有缺陷和并行化通道間的失配，微波光子處理系統的性能會隨著復雜度和規模的增大而惡化[3]。此外，傳統光子處理系統通常是為特定的應用場景開發的，靈活性相對較低。在早期的研究中，功能可切換可編程的光子處理器得到了業界諸多關注[4]，這預示著功能可切換可編程的光子處理器具有極大的應用潛力；因此，未來的光子處理系統不但需要性能上的提高，而且需要更加靈活智能的任務執行方式。

AlphaGo的出現[5-6]，標志著以深度學習和人工神經網絡（ANN）為代表的人工智能（AI）技術開始在各領域廣泛探索并縱深發展。當前，AI技術已被引入光學和光子學領域。AI賦能的光子處理系統與傳統方法優化后的光子處理系統相比，具有更出眾的性能和魯棒性，并有望在實際應用場景中大大降低傳統光子處理系統的成本及人工操作難度。

可以預見，智能光子處理系統（IPS）是未來復雜環境中實現寬帶智能信息處理的關鍵。

1 IPS概念

隨著光子技術和智能技術的不斷融合，IPS將從AI形態逐漸演變到神經擬態智能形態，并具有更高的通用性與能量效率。如圖1所示，IPS從層次上可分為AI賦能的IPS、光子輔助AI的IPS和神經擬態的IPS。在本節中，我們討論了不同架構IPS的基本特性與實現方法。

首先，我們引入基于深度學習的AI技術來優化光子處理系統，即AI賦能的IPS。如圖1（上側）所示，IPS由光子模擬寬帶前端和數字智能后端組成。在實際的光子前端硬件中，噪聲積累、光電轉換非線性以及并行通道間失配等缺陷成為制約其性能提升的主要瓶頸，使得信噪比（SNR）嚴重下降。研究人員提出了基于硬件或軟件的優化方法來提高SNR[7-8]。然而，其優化效果受限于較低的靈活性和高昂的硬件成本。

引入AI技術是一種有望提高前端性能的靈活性方案。結合了深度學習的ANN擅長從參考信號（理想）和輸出信號（非理想）構成的數據集中學習中間系統的系統響應與系統缺陷特征，從而構建復雜映射關系完成非理想信號的恢復。在訓練成功的前提下，ANN能夠以較低的成本對寬帶大動態范圍的前端輸出信號進行優化；因此，AI賦能的IPS將可超越傳統光子處理系統的性能，對射頻（RF）信號進行更有效的處理。

▲圖1 IPS概念的不同架構示意圖

其次，我們提出第2種IPS架構，即通過光子方法輔助AI計算。如圖1（中部）所示，光學人工神經網絡（OANN）是光學計算加速器的發展方向之一。AI中大量的計算操作（如乘法和累加、多媒體接入控制）已成為當前中央處理單元（CPU）的嚴重負擔。隨著摩爾定律不斷逼近終點[9]，針對計算框架的創新設計已是刻不容緩。光子因其具有高速率、高能效的特點成為極具潛力的新型技術：首先，電子時鐘的速率僅為吉赫茲量級，嚴重影響了AI計算中的時延性能；而隨著波分復用（WDM）、高速調制等技術的成熟，光學方法則能夠以光速進行數據的并行化傳遞及處理。其次，電子AI計算方案的能耗與輸入矩陣維度的平方成正比，使得能源成本和散熱問題更加凸顯[10]；而光學無源結構則能夠實現零能量消耗的超快光學計算。具體而言，光子輔助AI的IPS的調制、探測帶寬可達100 GHz，高出圖形處理單元（GPU）、張量處理單元（TPU）等電子AI專用計算單元兩個數量級；其單位MAC操作的能耗能夠達到pJ量級，甚至aJ量級，有望低于TPU的0.43 pJ/MAC水平；其時延水平更是低于100 ps，大大低于TPU的2 μs運算時延[11]。因此，通過將光學實現方法與ANN架構相結合，OANN有望為AI提供更優質的計算平臺，大大提高AI的運行速度和效率，進一步拓寬潛在的實時應用場景。

采用類腦通信和計算原理的光學生物神經網絡（OBNN）是超低功耗光學計算加速器的候選方案。不同于OANN輔助AI的IPS在訓練過程中的高能量消耗，基于生物神經網絡（BNN）的大腦只需要20 W的功率即可執行不同的任務[12]。BNN采用脈沖作為信息的表征方式[13]，如圖1（中部）所示。與電子學方法相比，BNN結構中單節點（即神經元）的帶寬與互連密度之間的制衡突出了光子學方法的大帶寬和低串擾的優勢。進而，得益于高能效的特點以及高速脈沖的產生能力，光子學實現的BNN為開發超低功耗的計算框架帶來了希望；因此，OBNN有望使IPS應用于更靈活的處理場景中，如移動端應用。

最后，IPS將接近神經擬態的終極形態——具有強大的感知和處理能力的“光子大腦”。大腦是高效智能信息處理系統的天然范例。神經擬態的IPS的特征如圖1（下側）所示。第一，神經擬態的IPS對環境表現出適應性。在不同的環境中，輸入信號會受到自然（如溫度）或人為（如干擾信號）的影響，需要通過各種“傳感器”（如頻率測量）實現對輸入信號的多維評估，以正確理解輸入信號的狀態。第二，處理策略由神經擬態的IPS的“大腦”制定。這一步驟的核心在于根據不同的輸入信號以最簡潔高效的途徑實現處理目標。第三，神經擬態的IPS選擇必要的處理模塊進行處理。神經擬態的IPS應當實現模塊之間的協同以實現完整的處理功能，而不是簡單的功能疊加。第四，神經擬態的IPS從輸出結果中學習，并產生經驗。一個高效的學習模塊可以識別當前輸出結果中的不足，并對處理策略進行修正。因此，具有光子寬帶處理能力和智能學習決策能力的神經擬態IPS對未來信息處理系統至關重要。

2 IPS架構設計和關鍵技術的研究進展

近期，研究人員逐步利用AI解決系統實際問題并開發用于AI計算的光學加速器。根據AI賦能的IPS、OANN和OBNN的層次劃分，本節中我們對IPS架構設計和關鍵技術的研究進展以及本課題組的相關研究進行回顧。

2.1 AI賦能的IPS

AI賦能的IPS的典型架構如圖2所示。不同的光子/光學系統可以作為前端，例如光學成像系統、光學通信系統和光學傳感系統等。特殊設計的ANN在經過訓練后可以分析和處理前端的原始輸出，從而能夠實現AI賦能的IPS。

▲圖2 AI賦能的智能光子處理系統（IPS）的體系結構

近年來，研究人員嘗試將AI與光學成像技術相結合[14]。AI在光學成像領域的應用包括超分辨率成像[15]、端到端問題計算[16]、自動對焦[17]、光學切片[18]和降噪[19]等。在光通信和光網絡領域，AI的應用場景涉及到性能監視[20]、數據分析[21]、網絡路由[22]、失真改善[23]和調制識別[24]等。在傳感領域，AI通常被用來開發新穎的傳感方案[25]，進行傳感器數據處理[26]。此外，AI賦能的其他應用還包括集成光子器件設計[27]、納米結構設計[28]、光子電路的高度并行仿真[29]和超短脈沖重建[30]。在ANN強大的映射近似能力的支撐下，更多AI賦能的IPS將會不斷涌現。

本課題組取得的進展包括深度學習賦能的光子模數轉換器（DLPADC）[31]和卷積神經網絡（CNN）優化的布里淵瞬時頻率測量技術（BIFM）[32]等。DL-PADC架構示意如圖3所示，整體架構由光子前端系統、電子量化模塊和深度學習數據恢復網絡組成。圖3的上側給出了非線性、通道失配以及用于數據恢復的深度神經網絡（DNN）的示意圖[31]。實驗結果表明DL-PADC的有效比特位數性能可優于先進的ADC。此外，針對寬帶信號測頻需求，我們提出了一種基于CNN的BIFM優化方法。實驗結果顯示，由CNN建立的實測瞬時頻率和理論瞬時頻率之間的映射可以有效減少由BIFM系統缺陷引起的誤差。

對于AI賦能的IPS，其研究難點是如何根據系統的特點采用適當的ANN結構和學習方法來設計高效的IPS架構。目前，大部分相關工作中缺乏對所采用的ANN后端處理方法的有效評估，如在實際應用中的實時性、訓練成本和數據集的選取等問題。隨著前后端匹配程度的提高，AI賦能的IPS可以充分發揮光子技術的潛力并智能化地應用于真實場景。

2.2 OANN

OANN輔助AI的IPS體系結構如圖4（a）所示。數字電子芯片（DEC）首先將AI任務分配給OANN，經過光學流水式計算后，OANN再將結果返還給DEC。全連接和卷積OANN是最典型的研究方向。圖4（b）展示了采用OBNN輔助AI的IPS架構。與OANN不同，OBNN中的基本單元是神經元和突觸，其研究多與神經擬態光子學相關[11]。

在文獻[33]中，Y. C. SHEN課題組率先提出了一種由馬赫-曾德爾干涉儀（MZI）和移相器組成的級聯架構，用以實現矩陣乘法功能。X. LIN等提出了一種基于全光學衍射的OANN方案[34]，在手寫數字識別（MNIST）的任務測試中實現了91.75%的識別精度。最近，R. HAMERLY等研究了基于相干檢測的可擴展OANN，該方案可以達到吉赫茲的速率，并且能耗水平低至亞阿焦耳[35]。

▲圖3 深度學習賦能的光子模數轉換器架構示意圖

▲圖4 OANN與OBNN輔助AI的IPS的體系結構

除了全連接網絡之外，研究人員還專注于CNN的光學實現方法。在文獻[36]中，作者描述了使用微環諧振器（MRR）和WDM的數字電子和模擬光子CNN（DEAP-CNN）架構。另外，非線性激活函數的實現[37]有助于開發更完整的OANN硬件架構。而考慮到實際硬件的缺陷，有效的訓練方法[38]則成為OANN實現預期功能的關鍵。

本課題組在OANN方面開展了部分研究工作，其中包括高精度光學卷積單元[39]和高能效CNN的實現[40]。圖5為所提出的光學卷積單元基于聲光調制器陣列架構[39]。通過硬件重用方案，可以實現CNN的運算功能。在文獻[40]中，我們引入了延遲線來實現具有低延遲和低功耗的卷積操作，如圖6所示。通過對系統性能進行完善評估，這種新架構的能效較之前提出的集成OANN架構提升了若干倍。

▲圖5 光學卷積單元基于聲光調制器陣列架構

▲圖6 高能效比光學卷積神經網絡架構

對于OANN，高效、緊湊、可編程、低功耗的網絡架構需要進一步被研究。同時，其研究重點將從概念性驗證向集成化芯片轉移。針對芯片化的OANN，應注意集成難度會隨著網絡規模的擴大而增加，因此如何平衡集成難度和所需的計算能力是一個嚴峻的挑戰。另外，研究者還應該關注OANN的計算生態系統構建，例如開發與主流計算框架匹配的通信接口。

2.3 OBNN

光子神經元作為OBNN的關鍵組成部分，受到研究者的廣泛關注。在文獻[41]中，M. A. NAHMIAS等證明了具有腔內可飽和吸收體（SA）的垂直腔面發射激光器（VCSEL）與泄漏-積分-發放（LIF）神經元模型的行為類似。關于可興奮激光器作為光子神經元方案的相關綜述請參考文獻[42]。突觸在BNN中起到了動態調控網絡行為的重要作用。Z. G. CHENG等利用相變材料（PCM）實現了一種全光光子突觸[43]。PCM的非易失性使得光子突觸不需要消耗靜態能量。進一步，以脈沖時刻依賴的突觸可塑性（STDP）為代表的機制被認為與BNN的學習行為密切相關。研究人員采用各種光學效應，如交叉增益調制、飽和吸收和非線性偏振旋轉等[44]，嘗試實現光子STDP算法。光學脈沖神經網絡的研究則致力于將神經元、突觸等基本單元進行組合架構。在文獻[45]中，A. N.TAIT等提出了一種用于可調節光脈沖處理的“廣播-加權”系統架構，實現了光子神經元之間的高密度互連及加權操作。近期，J. FELDMAN等還提出了一種基于PCM的全光脈沖神經網絡[46]，其具有超寬帶運行的潛力。

本課題組在OBNN的研究中取得了一些進展。我們證明了常規的分布式反饋激光二極管（DFB-LD）可用于神經擬態信息處理，包括模式識別、單波長STDP實現和聲音方位角測量。此外，我們還提出了一種基于DFBLD的光子神經擬態網絡，用于時空模式識別[47]。如圖7所示，在STDP學習模塊的輔助下，該網絡可以學習目標模式并進行識別，且具有良好的集成潛力。

對于OBNN，各種神經元和突觸的高密度互連是BNN的顯著特征，因此簡潔而多樣的光子神經元和突觸將成為研究的重點。近期的研究聚焦于光子神經元或突觸功能特性的論證，而很少關注其級聯和擴展特性。當前基本單元的種類遠遠不夠豐富，因此可用的計算性質還很匱乏。值得注意的是，OBNN是實現神經擬態IPS的重要途徑。

3 針對IPS的大規模混合集成技術

IPS是一個復雜的光電混合系統，包括光學有源/無源器件和射頻驅動單元。大規模的光電子集成技術為IPS實現低功耗和高速率的信息處理提供了支撐。集成化的IPS擁有更加豐富的處理單元庫以及更強的處理能力，能夠解決更復雜的任務。

▲圖7 基于DFB-LD的時空脈沖模式識別網絡

按照集成器件是否使用多材料體系分類，光電集成可以分類為單片同質集成與異質集成。在單片同質集成方面，A. H. ATABAKI等首次提出了基于硅基材料構建光電集成芯片的方法[48]。J. S. FABNDINO等提出了基于磷化銦材料的微波光子濾波器的集成方法[49]。另一方面，異質集成能夠發揮各種材料的優勢，提升各功能器件的性能。根據是否進行異質材料生長，異質集成可分為單片異質集成與混合異質集成[50]。WANG Z. C.等通過外延生長在硅基襯底上成功制備了可以大規模集成的單片III-V族-硅基激光器[51]，在此基礎上，WANG Y.等制備了單片III-V族-硅基量子點激光器陣列[52]。混合集成的優勢在于避免了不同材料間的晶格失配，工藝相對簡單，但是集成度較低。N. LINDENMANN、P. O. WEIGEL、B. BEHROOZPOUR 等相繼利用光子引線鍵合技術[53]、晶圓鍵合技術[54]、硅通孔技術[55]進行光互聯與電互聯實現光電混合集成。

相比于電子設備，光電集成技術為IPS 提供了更高的能量效率和處理帶寬，有效突破了目前的電學瓶頸。對于單片同質集成，較為成熟的材料體系為硅基材料和磷化銦材料。其中，硅基材料難以集成光源等有源器件，磷化銦材料成本較高，難以大規模集成。混合異質集成主要面臨的是實現高效光耦合與電路-光路接口的封裝問題和由驅動電路帶來的散熱問題。單片異質集成是實現光電一體的大規模集成的關鍵技術途徑，其避免了混合集成帶來的封裝問題；但單片異質集成目前有3個問題：多材料的兼容問題、由集成度提高帶來的光路-電路的檢測問題，以及芯片的散熱問題。近年來，隨著光電集成技術不斷發展與探索，具有代表性的相關進展如表1所示。可以說，大規模光電集成技術的不斷成熟，點亮了IPS的未來發展之路。

4 結束語

文章中，我們首先介紹了開發IPS的必要性，隨后闡述了IPS概念的不同架構，即AI賦能的IPS、光子輔助AI的IPS和神經擬態的IPS，并指出其在不同層次中的潛在優勢。此外，我們回顧了IPS架構設計和關鍵技術的研究進展，最后對IPS未來的發展前景進行了展望。我們希望在研究人員的努力下，IPS能夠不斷成熟，在未來智能化場景中發揮重要作用。下一步，研究人員還應關注BNN的拓撲結構、學習方案和進化機制等內容，作為實現神經擬態IPS的重要參考。

表1 大規模混合集成技術的相關進展

致謝

本文的部分研究成果和內容撰寫得到了鄒秀婷博士研究生和王靜博士的幫助，謹致謝意！