光學全連接神經網絡與光學卷積神經網絡的仿真分析

中圖分類號：TN256文獻標志碼：A

Abstract： Optical neural networks，as the next generation of artificial neural networks，have the advantages of high speed and low power consumption. Optical fully connected neural networks and optical convolutional neural networks consisting of interconnected Mach-Zehnder interferometer were investigated with respect to optical neural networks currently under development. The characteristics and implementations of two optical neural networks in terms of algorithms and structures were presented. Using pytorch and INTERCONNECT software， two kinds of optical neural networks were simulated and analyzed， and the performance of the two kinds of optical neural networks were compared in terms of image recognition accuracy， network complexity， and energy consumption， so as to elucidate the advantages and disadvantages of each of the optical fully-connected neural networks and the optical convolutional neural networks， and to provide reference for the development of optical neural networks in the future.

Keywords： optical fully connected neural network; optical convolutional neural network; MachZehnder interferometer

引言

人工智能和下一代通信技術的發展使得高性能計算需求不斷增長，從而促進了硬件技術的快速發展。光學計算可以通過克服電子學固有的限制來顯著加快計算速度。與電路技術不同，光子電路具有超寬帶、高頻、低能耗等特點[1-2]。此外，光具有波長、偏振和空間模式等多個維度，可以實現數據并行處理，與傳統的馮·諾伊曼計算機相比，計算速度明顯提高。光學神經網絡集合了光學計算的這些優點，利用光子集成神經網絡芯片，以及深度學習算法，實現機器學習相關應用，并有望在服務器、自動駕駛等場景應用中完成圖像分類、目標檢測等任務，其作為下一代人工神經網絡具有廣闊的應用前景。

光學全連接神經網絡與光學卷積神經網絡都屬于前饋神經網絡，其基本特征是神經網絡各層之間的信息由輸入層向輸出層單向傳遞[3。光學前饋神經網絡的矩陣運算最早是采用Reck等在1994年提出的三角分解算法。該算法證明了由分束器、移相器所搭建的三角形網絡能夠實現任意參數和規模的酉矩陣[4]。隨后Clements等在其方案的基礎上進行優化設計，提出了矩形分解方案，即可以利用馬赫-曾德爾干涉儀（Mach-Zehnderinterferometer，MZI）和可變衰減器實現任意矩陣[5]。20 世紀80年代末到90年代初，硅基光波導技術在絕緣襯底上的硅（SOI）工藝中實現了低損耗波導。通過微納加工技術，制備出硅基光波導器件，包括光波導、耦合器和光調制器等。隨著低損耗光波導、高效光纖到芯片耦合器[7]、快速電光調制器[8]、寬帶硅鍺光電探測器等硅光子器件的發展，構建高性能集成硅基光學神經網絡已成為可能。近年來隨著互補金屬氧化物半導體（complementary metal oxide semiconductor，CMOS）集成技術的不斷發展，硅基光波導技術開始與CMOS工藝相結合，為大規模制造和可復制光子芯片打開了大門。2017年，Shen 等[10]成功研制了世界上第一款光學的全連接神經網絡芯片，實現了4個元音的分類。2018年，Bagherian等[1]在此光學全連接神經網絡的基礎上提出了通過光學延遲線的方式實現光學的卷積神經網絡。利用硅光子技術將光子結構與電子器件同時集成在同一硅襯底上[12]，使光子器件能夠以與微電子芯片相同的規模進行集成和批量生產，同時具有光的計算速度和最小的能耗。

本文首先介紹了光學全連接神經網絡與光學卷積神經網絡算法原理，介紹了兩種光學神經網絡的實現方法與結構；隨后采用pytorch軟件與INTERCONNECT軟件，對兩種光學神經網絡結構進行了仿真，并基于仿真結果，在圖像識別準確率、網絡復雜度和能耗三方面對兩種光學神經網絡的性能進行了對比，以期說明光學全連接神經網絡與光學卷積神經網絡各自的優缺點；最后對兩種光學神經網絡在可擴展性和與現有系統集成方面進行探討，從而為以后光學神經網絡的發展提供借鑒

1神經網絡技術

光學神經網絡是在人工神經網絡的基礎上發展起來的，其通過光學的方式來代替電子的方式進行神經網絡運算[13]。光學神經網絡的算法組成部分與人工神經網絡的基本一致。

1.1 全連接神經網絡

全連接神經網絡（fullyconnectedneuralnetwork，FCNN）是一種最基礎的人工神經網絡結構。圖1（a）為全連接神經網絡結構，其中：在FCNN中，輸入層與輸出層之間的每個神經元都相互連接，形成一個密集的連接結構。如圖1（a）所示，FCNN包含輸人層、隱藏層、輸出層和激活函數。輸入層負責接收原始數據，并將其傳遞給下一層， x_[p] 表示第 p 個輸入數據。輸入層的神經元數量取決于輸入數據的維度。隱藏層是FCNN中的中間層，可以有多個。隱藏層的神經元數量可以自由設定，每個神經元都與前一層和后一層的所有神經元相連接。輸出層是FCNN的最后一層，負責輸出網絡的預測結果， y_[q] 表示第 q 個輸出數據。輸出層的神經元數量取決于任務的類型。激活函數用于引入非線性因素，使得神經網絡能夠擬合復雜的非線性關系。常見的激活函數有ReLU、Sigmoid、Tanh等[14]。FCNN 能夠學習輸人數據的復雜特征，其結構簡單，適用性廣泛，可用于圖像分類、自然語言處理、回歸任務等[15]。例如，FCNN對鳶尾花數據集的識別準確率可以達到 90% 以上，對波士頓房價數據集的預測值與測試集基本擬合，但FCNN容易出現過擬合，在處理大規模數據集和復雜任務時，其可能不是最優的選擇。

1.2卷積神經網絡

卷積神經網絡（convolutionalneuralnetworks，CNN）是在FCNN的基礎上發展起來的。Yann在1998年創建了一個手寫數字識別網絡LeNet-5，該網絡建立在日本科學家福島邦彥的工作基礎上，描述了CNN的原始組成部分，可以被視為CNN的開端[16]

如圖1（b）所示，其主要包括卷積、池化、非線性和全連接層。在結構上，CNN使用卷積操作進行特征提取，從而減少了參數數量和計算復雜度。此外，CNN還使用了池化操作來降低圖像的分辨率，從而進一步減少參數數量和計算復雜度。在應用場景上，尤其在視覺應用領域，CNN具有獨特的特征提取和識別能力，在對圖像進行檢測，分類和分割中表現出突出的性能優勢[17]。如其在LFW數據集上對人臉的識別率可以達到 99% ，在COCO數據集上的目標檢測精度可以達到 65.4mAP ，但其訓練需要大量的計算資源，并有較高的硬件支持

需求。

2 光學神經網絡的實現

光學神經網絡中最重要的組成部分是光學矩陣乘法器，它可以對輸入的光學參數進行矩陣乘法運算，最后輸出相應的光學參數[18]。這個過程與電子計算機中的輸入參數乘以權重矩陣，然后得到輸出結果相類似，只不過在光學神經網絡中這個過程是以光速進行的。

通過由MZI集成的光子芯片，可以執行光學矩陣乘法器的功能。對于一個任意的 m×n 實值矩陣 M ，可以通過奇異值分解為

M=UΣV^T

式中： 是一個 m×m 的矩陣； 是一個 m×n 的矩陣，除了主對角線上的元素以外全為0； V 是一個 n×n 的矩陣。 和 V 都是酉矩陣。并且對于一個任意的 N 階酉矩陣可以通過Givens旋轉分解為 N（N-1）/2 個旋轉矩陣，其光學結構通過N（N-1）/2 個MZI進行實現。對角矩陣 可以通過光衰減器或者光放大材料實現[19]

圖2（a）給出了MZI的結構圖，它可以由2個直波導和2個3dB的定向耦合器組成，其中通過熱光移相器調節光波導的折射率，引入內移相器 θ 和外移相器 φ ，進而改變MZI的相位差，最終可以改變 MZI輸出功率比[20]。其傳輸矩陣 T（θ，φ） 為

由式（2）可知其傳輸矩陣是一個旋轉矩陣，因此MZI在光學矩陣乘法運算起到了重要的作用。對于特定的FCNN，通過提取其權重矩陣，進行奇異值分解和旋轉矩陣分解后，提取出 θ 和φ 值，然后把 θ 和 φ 值設置到其對應的光學全連接神經網絡中，就可以對輸人數據進行相對應的光學矩陣乘法運算。光學全連接神經網絡中的輸入可以由連續激光器產生，最終通過檢測輸出信號來對輸人信號進行識別。

光學神經網絡中的非線性單元也是不可或缺的一部分，非線性運算的加入能夠讓整個網絡處理更加復雜的任務。光學神經網絡中的非線性單元一般可以由半導體、石墨烯可飽和吸收器構成，它們可以直接集成到光學神經網絡中[21-22]。

而對于光學卷積神經網絡，由于其多了卷積層和池化層，為了實現光學卷積操作，需要使用光學延遲線的方法。對于池化層則可以通過步長為2的卷積操作來代替。其結構如圖2（b）所示。首先對要識別的圖像進行預處理，每個圖像被分割為很多個卷積核大小的片面，每個片面采用相干光脈沖序列的形式，其幅度編碼圖像中每個片面像素的強度。然后把每個片面的像素展開成一列，按照時間序列的形式通過納米光子芯片對每個片面進行卷積，因此卷積后的每個片面也是按照時間序列的方式輸出的，輸出接口的數量等于卷積核的數量。輸入信號在經過一層卷積后，輸出信號被放大后通過一組光學延遲線，接著進行下一層光學卷積操作。圖2（c）展示了當一個 C_i×N_i×N_i 的卷積核對圖像進行卷積時光學延遲線延遲量的分配情況。其中 N_i 為第i層卷積核的大小， C_i 為第 i 層卷積核的通道數。列延遲Δt_i 為同一行中相鄰兩個元素同時到達所需的延遲量，行延遲 ΔT_i 為同一列中相鄰兩個元素同時到達所需的延遲量。

3 仿真與分析

本文在pytorch環境下構建了特定的FCNN與CNN。使用ReLU函數來代替光學神經網絡中的非線性層，分別使用MNIST和Fashion-MNIST數據集，其中MNIST數據集是0＼～9的灰質手寫數字圖片，而Fashion-MNIST數據集圖像更為復雜，包含了10個類別的圖像，分別是：T-shirt（T恤），trouser（牛仔褲），pullover（套衫），dress（裙子），coat（外套），sandal（涼鞋），shirt（襯衫），sneaker（運動鞋），bag（包），ankleboot（短靴）。它們的訓練集和測試集的樣本數和大小一樣，分別為60000和10000，每張圖片包含 28×28 個像素點，圖像像素值為0～255 。

通過對特定神經網絡訓練，使用Adam優化器和反向傳播算法來計算梯度。同時為了使模型與光子神經網絡更接近，在神經網絡中沒有添加權重偏置且每一層的輸出數據也沒有進行歸一化處理。當神經網絡訓練完成后，通過提取優化完成的權重參數，經過分解可以得到光學神經網絡中需要的 θ 值。

INTERCONNECT軟件由于包含豐富的光電器件和光學集成設計工具包，可用于設計、仿真和分析多種復雜光學系統。本文在INTERCONNECT中對光學神經網絡進行硬件仿真。連接多個MZI單元結構組成光學矩陣乘法器如圖3所示，其中CW為連續激光器，P為檢測器，可以檢測功率和相位。圖中省略了一些連接線，系統工作波長為 1550nm ，光波導長度為 18μm ，定向耦合器的耦合系數為0.5。最終可以驗證pytorch上的每層網絡的輸出結果與INTERCONNECT上的基本一致。模擬的神經網絡與光學的神經網絡相對應，其模擬結構與結果具有可參考性。下面主要從以下3個方面對兩種光學神經網絡進行對比研究。

3.1 圖像識別準確率的對比

在兩種光學神經網絡使用MZI數量基本相同的情況下，構建相對應的FCNN與CNN，采用相同的訓練次數，通過測試數據集檢測圖像識別準確率。

首先構建特定的FCNN模型，激活函數和權重優化方式不變。通過圖像插值算法，在保證圖像基本特征不變的情況下降低圖像分辨率，輸入可以設為 9×9 個節點，一個隱藏層為72節點，輸出為10節點。圖4（a）給出了FCNN的仿真結構，圖4（b）和4（c）給出了FCNN的準確率與其訓練次數的曲線，這里給出了30次訓練的結果。結果表明，MNIST數據集準確率最高可以達到 95% ，Fashion-MNIST數據集準確率最高可以達到 84% O

光學全連接神經網絡主要包括光學矩陣乘法單元。光學矩陣乘法主要通過MZI連接實現，對一個 m×n 實值矩陣 M 其需要 （n²+m²-n-m）/2 個MZI，因此通過光學的方式實現圖4中的FCNN，大約需要8000個MZI。

構建特定的CNN模型，包含三層卷積和一個全連接層，每一層的末尾都用ReLU函數進行激活。通過訓練數據集優化CNN的權重參數，其中包括每層卷積核的權重參數和全連接層中的2個權重矩陣參數。如圖5（a）所示，第一層卷積使用4個大小為 2×2 的卷積核。為了提取更有效的圖像特征，第二層使用8個大小為 3× 3的卷積核，對圖片的填充大小設置為1，此時在大小為 14×14 的圖像周圍填充一層大小為0的像素，經過卷積后圖像大小變為了 7×7 的圖像。第三層卷積使用8個大小為 3×3 的卷積核，但未對圖片進行填充，每一層的卷積核對圖像進行卷積的步長都設置為2。圖5（b）和5（c）為CNN的準確率與其訓練次數的曲線。結果表明，MNIST數據集準確率最高可以達到 98% Fashion-MNIST數據集準確率最高可以達到 87% 。

光學卷積神經網絡其光學矩陣乘法部分主要由卷積核的大小和數量決定，在進行光學卷積運算時通過把卷積運算轉換成行矩陣和列矩陣相乘的形式，對每一通道進行單獨卷積，然后每兩層通道卷積后的結果可以通過一個MZI耦合相加。當 C×N×N 的卷積核 H_N 與圖像片面A_N 進行卷積時，公式為

式中： j 表示第 j 通道。要實現卷積核 H_N 的運算需要 個MZI，因此通過光學的方式實現圖5中的CNN，需要大約8000個MZI。

在使用MZI數量基本相同的情況下，光學卷積神經網絡對圖像識別的準確率比光學全連接神經網絡對圖像識別的準確率要高。相比于全連接神經網絡，光學卷積神經網絡在算法層面上，通過參數共享的方式，大大減少了參數數量，提高了模型的效率和泛化能力；其次，通過局部感受野的設計，能夠更好地捕獲輸入數據的局部模式和結構，這使得它們對于圖像具有空間局部相關性的數據處理更有效，對圖像識別的效果也更好。

3.2 網絡復雜度的對比

在保證相同圖像識別準確率的情況下，構建光學全連接神經網絡與光學卷積神經網絡，對比其網絡復雜度。

把圖4中FCNN的輸入變為 28×28 個節點，隱藏層變為64個節點，此時FCNN識別MNIST數據集準確率最高可以達到 98% ，Fashion-MNIST數據集準確率最高可以達到 87% 。但構建的光學矩陣乘法單元大約需要31萬多個MZI。

光學卷積神經網絡不僅包括光學矩陣乘法部分還包括光學延遲線部分。為了方便計算光學延遲線的延遲量，設 S_i 為第 i 層卷積核的步長。當一個 C_i×N_i×N_i 的卷積核對第 i 層圖像進行卷積時，該層的最大延遲線量可表示為最大延遲量 Ψ：=Ψ （N_i-1）×（Δt_i+ΔT_i）

行延遲量和列延遲量的遞歸公式為

Δt_i=Δt_i-1×S_i-1

ΔT_i=ΔT_i-1×S_i-1

當輸入圖像的尺寸為 W×W ，0填充層數為P ，并以頻率 f 輸入系統，則列延遲 Δt₁ 和行延遲 ΔT₁ 的初始值可由輸入圖像和第一卷積層的屬性得到

表1列出了圖5光學卷積神經網絡每層的最大延遲量。可以看出隨著光學卷積神經網絡卷積層數越多，網絡所需的延遲量也越來越大，此時網絡的規模也隨之擴大。

光學卷積神經網絡中多出的光學延遲線部分雖然會增加整個網絡的復雜度，但是影響光學神經網絡誤差的主要因素是MZI中的數值偏差，神經網絡中MZI數量越少系統的穩定性越高。而在對圖像識別率大致相同的情況下，光學卷積神經網絡中MZI的數量要比光學全連接神經網絡中少得多。

3.3 能耗的對比

在保證相同圖像識別準確率的情況下，構建光學全連接神經網絡與光學卷積神經網絡，對比其能耗。

光學卷積神經網絡中的光學延遲線會產生插入損耗和回波損耗，但隨著對光學延遲線研究的不斷深人，這種損耗也將變小[23]。同時不論是在光學卷積神經網絡還是光學全連接神經網絡中，由于相互連接的MZI都是通過硅基光波導集成的，所以還會存在波導損耗[24]。但這些都不是本文討論的重點。它們的能耗主要是由于實現非線性效應產生的，雖然有不同的材料和方式實現非線性激活，但對于光學神經網絡中每一個非線性單元每次激活所用能量相同。假如使用石墨烯可飽和吸收劑，則輸入功率 P₀ 必須在 P₀≈ 0 0514×14mW 時才會觸發非線性效應[25]。對于每一層的非線性激活的輸出，都需要進行適當的放大。圖5中光學卷積神經網絡中卷積層的每一個非線性單元輸入就有 14×14 個數據，執行光學卷積通過非線性單元輸出3920個數據。設每一個非線性單元經過的波導數為 s ，貼片放大效率為 α ，則每個非線性單元所需要的功率為 同時，實現光學卷積需要對光學信號進行放大，然后利用分束器分配到每一個光學延遲線中，在這個過程中也會消耗能量。對于相同識別率的光學全連接神經網絡非線性單元可以不超過百個，且沒有光學延遲線產生額外的能量消耗，輸入信號一次性通過便可得出結果。因此在對圖像識別準確率基本一致的情況下，光學卷積神經網絡所需要的能耗比光學全連接神經網絡所需要的要大。

4討論

對光學全連接神經網絡與光學卷積神經網絡的仿真分析，為現階段深度神經網絡光子加速器的應用提供了借鑒。由于大多數復雜網絡模型如InceptionV2、FCN（全卷積網絡）等中包含全連接神經網絡或卷積神經網絡結構，因此也為設計復雜的光學神經網絡結構提供了在圖像識別準確率、網絡復雜度和能耗方面的參考。

目前對于光學神經網絡的研究還處于探索階段，光學全連接神經網絡與光學卷積神經網絡在實際開發過程中仍然面臨諸多挑戰。一方面，光學器件固有的噪聲如相位編碼噪聲和熱串擾，還有納米結構的制造誤差會導致器件的隨機參數漂移，從而增加了擴大光子芯片規模的難度；另一方面，為了觸發光學非線性，通常需要較高的光功率強度和特殊的非線性材料，這增加了網絡的功耗和控制難度。隨著集成光電混合技術和先進封裝技術的進步和光神經網絡芯片的一體化流片工藝的突破，通過光子神經網絡處理器與現有電處理器的融合發展，大規模的光電子集成技術可為光神經網絡芯片實現低功耗和高速率的信息處理提供支撐。2021年，曦智科技發布了其最新光子計算處理器PACE（photonicarithmeticcomputingengine），其單個光子芯片中集成超過10000個光子器件，運行1GHz系統時鐘，運行單一計算問題的速度可達目前高端GPU的數百倍。PACE包含 64×64 的光學矩陣，核心部分由一塊集成硅光芯片和一塊CMOS微電子芯片以3D封裝形式堆疊而成。測試結果顯示，PACE的運算速度可達目前高端GPU的數百倍。PACE成功驗證了光子計算的優越性，推動了光子集成神經網絡芯片的應用和發展。

參考文獻：

[1]項水英，宋紫薇，高爽，等.光神經形態計算研究進展 與展望（特邀）[J].光子學報，2021，50（10）：1020001.

[2]XURQ，LVP，XUFJ，etal.A survey of approaches for implementing optical neural networks[J]. Optics amp; LaserTechnology，2021，136：106787.

[3]陳宏偉，于振明，張天，等.光子神經網絡發展與挑戰 [J].中國激光，2020，47（5）：0500004.

[4]RECK M， ZEILINGER A，BERNSTEIN H J， et al. Experimental realization of any discrete unitary operator [J].Physical ReviewLetters，1994，73（1）：58-61.

[5]CLEMENTSWR，HUMPHREYSPC，METCALFB J，et al.Optimal design for universal multiport interferometers[J]. Optica，2016，3（12）： 1460-1465.

[6]LEEH，CHEN T，LIJ，et al.Ultra-low-loss optical delay line on a silicon chip[J].Nature Communications， 2012，3： 867.

[7]NOTAROSJ，PAVANELLOF，WADEMT，etal. Ultra-efficient CMOs fiber-to-chip grating couplers [C]//Optical Fiber Communications Conference and Exhibition. Anaheim： IEEE， 2016： 1-3.

[8]XIAO X， XU H， LI X Y， et al.High-speed， low-loss siliconMach-Zehndermodulatorswithdoping optimization[J].Optics Express，2013，21（4）：4116- 4125.

[9]VIVIENL， POLZER A，MARRIS-MORINI D，et al. Zero-bias 40 Gbit/s germanium waveguide photodetector on silicon[J].Optics Express，2012，20（2）：1096- 1101.

[10]SHEN Y C， HARRIS N C， SKIRLO S， et al. Deep learningwithcoherent nanophotoniccircuits[J].Nature Photonics，2017，11（7）： 441-446.

[11]BAGHERIAN H， SKIRLO S， SHEN Y C， et al. Onchipoptical convolutional neural networks[J]. arXiv： 1808.03303，2018.

[12]ATABAKI AH，MOAZENI S，PAVANELLOF， et al. Integrating photonics with silicon nanoelectronics for the next generation of systems on a chip[J].Nature， 2018，556：349-354.

[13]BAI B W，SHU H W，WANG X J，et al.Towards siliconphotonicneuralnetworksforartificial intellgence[J]. Science China Information Sciences， 2020， 63（6）： 160403.

[14]APICELLA A，DONNARUMMAF，ISGRO F， et al. A survey on modern trainable activation functions[J]. NeuralNetworks，2021，138：14-32.

[15]張馳，郭媛，黎明.人工神經網絡模型發展及應用綜 述[J].計算機工程與應用，2021，57（11）：57－69.

[16]LECUN Y， BOTTOU L，BENGIO Y， et al. Gradientbased learning applied to document recognition[J]. Proceedings of the IEEE，1998，86（11）： 2278-2324.

[17]BHATT D，PATEL C，TALSANIA H，et al.CNN variants for computer vision： history，architecture， application， challenges and future scope[J]. Electronics， 2021，10（20）： 2470.

[18]CHENG J W， ZHOU H L，DONG J J. Photonic matrix computing：from fundamentals toapplications[J]. Nanomaterials，2021，11（7）： 1683.

[19]BOGAERTS W，PEREZ D，CAPMANY J，et al. Programmable photonic circuits[J]. Nature， 2020， 586（7828）： 207-216.

[20] HARRIS N C，MA Y J，MOWER J， et al. Efficient， compact and low loss thermo-optic phase shifter in silicon[J]. Optics Express，2014， 22（9）： 10487-10493.

[21]BAO Q L，ZHANG H，NI Z H， et al. Monolayer graphene asa saturable absorber in a mode-locked laser[J].Nano Research，2011，4（3）： 297-307.

[22]CHENG Z Z， TSANG HK，WANG X M，et al. Inplane optical absorption and free carrier absorption in graphene-on-silicon waveguides[J]. IEEE Journal of Selected Topics in Quantum Electronics， 2014， 20（1）： 43-48.

[23]張春熹，張曉青，胡姝玲.光纖延遲線應用研究動態 [J].中國激光，2009，36（9）：2234－2244.

[24]ZILKIE A J， SRINIVASAN P， TRITA A， et al. Multimicronsiliconphotonicsplatformfor highly manufacturable and versatile photonic integrated circuits[J]. IEEE Journal of Selected Topicsin Quantum Electronics， 2019， 25（5）： 1-13.

[25]LI H， ANUGRAH Y，KOESTER S J， et al. Optical absorption in graphene integrated on silicon waveguides [J].Applied Physics Letters，2012，101（11）：111110.

（編輯：張磊）