光電卷積神經網絡的光學實時訓練算法

顧子煜,張 弦,施君南,高葉盛

(1.上海交通大學電子工程系,上海 200240;2.上海無線電設備研究所,上海 201109)

0 引言

作為合成孔徑雷達(SAR)的一個重要研究方向,目標分類識別算法的研究已經開展多年,并且新的算法層出不窮。與傳統方法相比,深度學習為SAR 目標分類識別算法的研究提供了一個很有前景的發展方向。通過對SAR 目標特征的學習,神經網絡可以以極高的效率與準確率實現目標識別[1-2]。但是,為了解決復雜的SAR 目標識別問題,需要不斷更新神經網絡的架構,而在數字平臺實現深層神經網絡則會帶來較重的運算負擔。并且,由于受到摩爾定律的影響,數字硬件的處理速度面臨晶體管尺寸的限制。因此,尋找新運算方式的需求變得愈加迫切和必要。

近年來,通過光學平臺實現神經網絡的方式逐漸成為研究人員關注的焦點。光學平臺憑借其超快的處理速度和并行性的特點,在實現大規模矩陣運算方面具有先天優勢。研究人員基于現有的光學神經網絡架構,對多種數據集進行了高精度的目標分類,證明了該方法的可行性。

在之前的研究中,研究人員已成功構建了光電卷積神經網絡(optronic convolutional neural network,OPCNN),并基于運動與靜止目標獲取與識別(moving and stationary target acquisition and recognition,MSTAR)數據集完成了目標分類[3-4]。OPCNN 訓練階段依然通過數字方式實現,而驗證階段所有的運算操作均由光學方式實現,從而大大減少了數字平臺的運算量。同時,如何減少通過數字方式實現的訓練階段的運算量、加快處理速度依然是一個亟待解決的難題。并且,將在數字平臺上訓練好的參數加載到光學平臺上時,實際光學平臺的系統誤差會導致參數失配,從而影響實際系統的分類精度,因此平臺不一致帶來的影響也需要解決。

為了解決上述問題,提升實際應用中基于OPCNN 的SAR 目標分類精度,本文提出一種光學實時訓練算法,直接在光學平臺上對OPCNN的網絡框架進行訓練。基于該算法,OPCNN 的正向傳播以及反向傳播過程均通過同一個光學系統實現,而且在訓練階段占用大量運算資源的梯度求導也通過光學計算實現,以減少數字器件的運算量。為了能夠在訓練過程中實時更新訓練參數,使用可編程的空間光調制器(SLM)進行參數加載?，F有研究成果已證明SLM 可以用于SAR目標的高分辨率實時成像[5]。最后在光學平臺上使用MSTAR 數據集對OPCNN 進行訓練,并采用訓練好的網絡對目標進行分類,驗證所提實時訓練算法的可行性。

1 光學反向傳播算法

在基于光學平臺的實時訓練算法中,由于光學計算高速并行的特點,整個網絡的處理速度受網絡參數規模的影響較小,因此在OPCNN 中無需加入降采樣層以減少參數數量。整個網絡框架僅包括必須的卷積層、非線性激活層與全局平均池化層。所有卷積層包含相同數量的通道,并且上一層卷積層中各通道的輸出將作為下一層卷積層對應通道的輸入。卷積層中的通道數量與目標的類別數量相關,二者成整數倍數關系。本文使用的MSTAR 數據集包含10 類目標,因此在OPCNN 的每層卷積層中設置40 個卷積通道。在輸出層,所有40 個卷積通道的輸出通過sCMOS相機采集,并在后續數字平臺中通過疊加操作處理為10類輸出,其中每類輸出對應于一個目標類別。在經過全局平均池化操作后,這10類輸出中的最大值對應的目標類別就是OPCNN 對輸入目標的預測類別。這10 類輸出與真實值的差值將用于計算損失函數,并用于后續反向傳播過程中網絡參數的更新。

在之前的研究中,已經推導了OPCNN 正向傳播的表達式,為了便于推導反向誤差梯度,首先需要將OPCNN 正向傳播的表達式改寫為矩陣相乘的形式。根據傅里葉光學理論,傅里葉變換可以通過由傅里葉透鏡組成的光學2f系統實現,其中f為焦距。在該系統中,輸入圖像被放置在傅里葉透鏡的前焦距面上,那么在透鏡的后焦距面上就可以獲得輸入圖像的頻譜信息。考慮到時域中的卷積操作可以轉換為頻域中的點乘操作,首先通過光學2f系統獲得輸入圖像的頻譜,然后與卷積核的頻譜進行點乘,點乘后的結果再次通過一個光學2f系統進行傅里葉逆變換,變換后的輸出即為輸入圖像與卷積核的卷積結果。將這種由兩個光學2f系統組成、可以實現卷積操作的光學結構稱為光學4f系統。一幅M×M像素的輸入圖像經過光學4f系統后的輸出可以表示為

式中:Ukn表示第n層卷積層中第k個通道的輸出矩陣,其規模為M2×1;P表示傅里葉算子矩陣;Wkn=diag（exp（jΦkn））表示第n層卷積層中第k個通道的卷積核矩陣,其中diag(·)為對角矩陣函數,Φkn表示該通道卷積核頻譜的相位矩陣。Φkn是OPCNN中待訓練的參數,這里僅選擇相位值。

OPCNN 的正向傳播和反向傳播過程通過同一個光學系統實現,利用sCMOS相機和波前傳感器記錄輸出圖像的幅度信息和相位信息。為了方便記錄,構造了光學4f系統來延伸輸出平面。在反向傳播之前,通過復數場生成模塊(complex field generation module,CFGM)生成復數誤差光場。將雙向傳播過程中記錄的光場輸入計算機,通過簡單的計算得到梯度結果。更新后的訓練參數被重新加載到空間光調制器上,用于下一輪的實時訓練。

將相位信息作為待訓練參數的原因是其在信號重建、傅里葉變換等操作中起主導作用。第N層(最后一層)卷積層中第k個通道的輸出矩陣UkN可以表示為

式中:Uk0表示輸入圖像矩陣。使用sCMOS相機在輸出平面上記錄光場的能量譜,并計算出幅度信息。由于取模運算的形式,可以在輸出端為網絡引入非線性。獲得輸出光場的幅度信息后,后續在計算機上的操作可以表示為

式中:Ok表示第k個通道的卷積輸出;|·|為取模運算符;表示疊加操作輸出,用于將多通道的輸出轉換為與目標類別數量相同的輸出;m為卷積通道數與目標類別數的比值;表示通過全局平均池化的輸出;avg(·)表示全局平均池化操作;表示softmax歸一化操作輸出;L表示交叉熵損失函數;Ti表示真實值。

推導得到OPCNN 網絡的正向傳播表達式后,需要再通過梯度下降算法訓練參數,以降低損失函數值。最優的訓練參數對應最小的損失函數值。損失函數L對待訓練參數Φkn的梯度可以表示為

式中:*為復數共軛運算符;Re(·)為取復數實部函數;tile(·)m表示將矩陣拓展平鋪m次,對應式(3)的疊加操作;upsample(Oisoftmax-Ti)M2×1表示升采樣過程,對應于式(3)中的全局平均池化操作,Oisoftmax-Ti經升采樣后輸出矩陣的規模為M2×1,并且矩陣中所有元素的值為(Oisoftmax-Ti)/(M×M);⊙為點乘運算符;T 為矩陣轉置運算符。根據式(4),可得到誤差光場Ek的表達式

可以發現式(5)可直接求解。接下來需要求出最后一層卷積層的輸出UkN對每一層待訓練參數Φkn的梯度。通過化簡,該梯度可以表示為

則式(4)可以化簡為

令

則式(7)可以化簡為

式中:Fkn表示在正向傳播過程中,衍射光經過第n層卷積層的卷積核Wkn后的光場;Bkn表示在反向傳播過程中,衍射光經過第n層卷積層的卷積核Wkn前的光場。無論是正向傳播時的光場Fkn,還是反向傳播時的光場Bkn,二者均可在同一個光學系統中測得。而根據式(9),損失函數關于訓練參數的梯度則可以通過這兩個光場的信息直接求解。

在計算出誤差梯度后,可得到各卷積層的更新參數

式中:η表示學習率。更新后的參數將加載到光路中繼續下一輪的訓練,直到損失函數收斂且低于設定閾值。

根據前文提出的光學反向傳播算法設計的光學實時訓練系統如圖1所示。為了測量正向傳播時的光場Fkn與反向傳播時的光場Bkn,用sCMOS相機記錄光場的幅度信息,用波前探測器記錄光場的相位信息。由于在光學系統中用于加載信息的空間光調制器無法同時調制幅度與相位信息,因此為了生成反向傳播時所需的誤差光場Ek,需構建復數場生成模塊(CFGM)。CFGM 主要由一個光學4f系統與一個低通濾波器組成。

圖1 光學實時訓練系統示意圖

2 實驗結果

為了驗證所提光學反向傳播算法的可行性,首先分別采用通過數字圖形處理器(GPU)訓練出的OPCNN 與通過光學系統實時訓練出的OPCNN,對同一個數據集進行目標分類,并對分類精度進行比較。所提光學系統通過空間光調制器(Pluto-2,Holoeye)加載輸入圖像及卷積核信息,在空間光調制器間使用微透鏡陣列(Edmund optics)組成多通道光學4f系統,用于實現并行的多通道卷積運算,其中微透鏡陣列焦距f=30 mm,直徑φ=2.0 mm。在輸出端,使用ORCA-Flash 4.0 V3 sCMOS 相機(C13440-20CU,Hamamatsu)測量光場的幅度信息,用波前探測器(Phasics SID4)測量光場的相位信息。由于系統中使用的透鏡焦距較短,為了便于測量式(8)中透鏡前后的光場,通過另一個光學4f系統(f=250 mm,φ=25.4 mm,Thorlabs)將輸出光場的位置延伸至探測器處。整個光學系統被波長為532 nm 的激光波束照射,包含1個非線性激活層、1個全局平均池化層和4個卷積層,且每個卷積層中都包含有40個獨立的卷積通道。實驗中輸入圖像與卷積核的尺寸均設置為28×28像素。光學實時訓練通過上述光學系統實現,而數字訓練則通過臺式計算機進行(GPU:NVIDIA TITAN RTX),使用版本3.5.0 的Python 與Py Torch 框架。訓練與驗證時均使用MSTAR數據集中的SAR 目標圖像,訓練集包含2 747張圖片,測試集包含2 425張圖片,訓練輪數為20,訓練時的學習率為0.01。訓練OPCNN 的正向傳播過程時,所有卷積操作在光學系統上實現,全局平均池化和softmax歸一化等計算量少的操作在數字平臺上進行。通過不同方式訓練的OPCNN 的目標分類性能如圖2所示。

圖2 通過不同方式訓練的OPCNN 的目標分類性能

從圖2 可知,通過光學系統實時訓練的OPCNN 的分類精度收斂曲線與通過數字平臺訓練的OPCNN 的分類精度收斂曲線保持一致,且總分類精度分別可以達到93.30%與93.61%,分類精度近似。雖然在光學系統中存在系統誤差,但通過光學系統訓練出的最優參數是在考慮系統誤差的情況下得到的,因此光學系統的實際表現相較于之前的網絡有巨大提升,更接近數字訓練時得到的仿真結果。通過光學系統實時訓練出的OPCNN 在對MSTAR 數據集中SAR 目標進行分類時的混淆矩陣及分類精度如表1所示。

表1 通過光學系統實時訓練的OPCNN 對MSTAR 數據集進行目標分類的混淆矩陣及分類精度

接下來討論卷積層中通道數對網絡目標分類精度的影響。因為本文使用了獨立的卷積通道對目標進行特征提取,通道與通道之間不會進行特征信息的交互,因此通道數量將決定卷積層對目標特征的提取程度。通過圖2(d)可以發現,面對MSTAR 數據集中復雜的目標圖像,如果將卷積通道數由每層10個增加到每層40個,對應的網絡目標分類精度將由66.07%提升到93.30%。實驗結果表明,由獨立卷積通道構成的OPCNN可以通過增加通道數,提高對數據集中復雜目標的分類能力。并且由于光學計算的并行特性,通道數的增加不會對整個系統的運算速度產生影響,從而大大彌補了數字計算在該方面的缺陷。

為了定量說明光學計算的優勢,比較了同一個OPCNN 分別通過光學訓練與數字訓練時,單次訓練過程所需的時間與運算量。對于光學訓練,單次訓練所需的總時間Ttot由3部分組成,分別是數據加載到空間光調制器上的時間Tenc、光在光學系統中的傳播時間Tprop與測量光場所需的時間Tmeas。對于數據加載所需的時間,空間光調制器的刷新速率為60 Hz,因此每次刷新需要1/60 s。光在光學系統中的傳播時間與光路規模和光速的比值有關,由于二者數量級的差距,光的傳播時間僅為微秒量級。對于采集數據所需的時間,sCMOS相機的采集速率為80 Hz,波前探測器的采集速率為60 Hz,因此每次采集的時間近似為1/60 s。因為光學訓練時需要進行一次正向傳播和一次反向傳播,因此單次訓練所需的總時間可以表示為

則光學訓練所需要的總時間約為1/15 s,而在數字訓練中,同樣的流程則需要0.45 s,遠遠大于光學訓練所需的時間。

由于使用光學訓練代替了數字訓練,訓練過程中大部分的運算操作均通過光學計算的方式實現,因此大大減輕了數字處理器的運算負擔。對于一幅M×M像素的待分類輸入圖像,在數字處理器中進行一次卷積操作需要3M3次復數矩陣乘法與3M2(M-1)次復數矩陣加法,也就是6M2(4M-1)次實數運算。對于一個包含N個卷積層,每個卷積層包含K個卷積通道的OPCNN,通過光學訓練減少的實數運算量可以達到12NKM2(4M-1)次。

3 結論

本文提出了一種光學反向傳播算法,并在光學系統上實現了神經網絡的訓練,訓練好的網絡可以進行復雜的SAR 目標分類。采用光學實時訓練系統,神經網絡在正向傳播與反向傳播過程中的大量運算均在光學平臺上進行,從而大大減少了數字處理器的運算量?；贛STAR 數據集對OPCNN進行訓練與測試,結果驗證了所提算法的可行性。對OPCNN進行光學實時訓練,得到的網絡能夠克服光學系統中的系統誤差影響,獲得最優的訓練參數,保持與仿真結果近似的分類性能。這種較強的魯棒性有助于OPCNN 在實際應用中實現穩定高效的SAR目標分類識別。