基于特征解耦的SAR圖像艦船檢測蒸餾

羅 楊，卞春江，陳紅珍

1.中國科學院 國家空間科學中心 復雜航天系統綜合電子與信息技術重點實驗室，北京 100190

2.中國科學院大學 計算機科學與技術學院，北京 100049

合成孔徑雷達（synthetic aperture radar，SAR）作為一種主動式的微波成像傳感器[1]，相較于常見的可見光、紅外等被動式傳感器，SAR傳感器因為適應各種極端天氣和不受光照限制而受到廣泛關注與應用。近年來，隨著SAR系統技術成熟以及對應成像算法日益發展，全球各國爭相開展SAR圖像艦船檢測系統[2-4]。SAR圖像艦船檢測系統可以對近海岸、港口以及遠海區域進行艦船檢測，在軍事領域上維護海洋國土主權、領土安全監測以及可疑敵對目標檢測跟蹤等發揮重大作用，同時，在民用海運交通監測與管理、災害救援以及漁業活動管理都起到至關重要的作用。傳統的SAR圖像檢測檢測方法主要基于特征統計[5]、變換[6]、閾值[7]、模板[8]以及尾跡[9]。然而，以上傳統方法對于復雜場景（比如近港口區域）、無尾跡目標魯棒性較差，且算法性能高度依賴于專家先驗信息和人工設置參數。

近年，深度學習技術得益于深度神經網絡（deep nerual network，DNN）的特征表達能力，在視覺分類、視覺目標檢測、視覺分割等各項任務中取得顯著性成功，該技術目前在SAR圖像艦船檢測應用中也有著不錯的效果。利用深度學習技術進行SAR圖像艦船檢測可以忽略傳統方法中的海陸分割步驟等預處理，最終得到魯棒性強、精度高的檢測結果。李健偉等人[10]通過Faster R-CNN[11]網絡結合特征融合、困難樣本挖掘等技術實現高精度SAR圖像艦船檢測。白玉等人[12]通過使用ELU激活函數和二次損失函數結合的卷積神經網絡解決多分辨率SAR艦船檢測問題。Zhao[13]等人提出基于注意力機制的特征金字塔（feature pyramid network，FPN[14]）模塊加強模型的多尺度艦船目標檢測能力。Zhang等人[15]將四種不同的FPN結合在一起，提升小目標以及復雜背景區域檢測性能。然而，以上方法都是通過增加網絡復雜度方面強化網絡擬合能力，這最終會大大增加網絡參數和資源占用，使得實用性較低。

知識蒸餾[16]作為一種網絡輕量化的方法，因其不需要修改網絡參數和結構而受到研究者關注。知識蒸餾算法通過構建教師網絡-學生網絡關系對進行訓練提升特征擬合能力，提升任務精度。在推理階段，只需要利用訓練好的學生網絡進行預測，相關蒸餾訓練模塊不參與推理，實現一定程度上的“無代價”性能提升。Chen等人[17]首次將知識蒸餾算法應用到目標檢測任務上，從此檢測任務的知識蒸餾工作逐漸增多[18-20]。然而，目前大多數知識蒸餾算法僅針對可見光RGB圖目標檢測任務[21-22]，其在SAR圖像上的艦船目標檢測任務應用較少。Chen等人[23]將輕量級的高分辨率網絡（high-resolution network，HRNet[24]）作為骨干網絡設計輕量的單階段SAR圖像艦船檢測器，同時，利用知識蒸餾方法讓學生網絡預測結果逼近教師網絡預測結果，將輕量級的學生檢測網絡從74.02%的精度提升到75.96%。Chen等人[26]同時對學生網絡的骨干網絡和預測結果進行知識蒸餾，強化學生網絡對SAR圖像的艦船檢測性能。然而以上的工作直接借鑒可見光目標檢測任務蒸餾算法，忽視了SAR圖像目標特性。如圖1所示，左圖從上到下分別為MS COCO、PASCAL VOC以及HRSID，紅色框表示groundtruth，黃色框表示和艦船目標類似的背景噪聲；RGB圖和SAR圖關于前景區域占全圖面積比例對比。不同于常見RGB可見光圖像，SAR圖像目標區域占比極小，這將導致蒸餾損失前景和背景的占比嚴重失衡，使得學生網絡學習到更多背景信息，不利于最終的SAR圖像艦船檢測：如圖2（a），該蒸餾方法[25-26]直接計算教師和學生骨干網絡的全局像素點級MSE（mean square error，MSE）損失。為了解決這種前背景失衡問題，如圖2（c），DeFeat[27]利用真實標簽制作0-1二值掩碼得到前景和背景區域特征，然后對二者分別進行不同權重下的MSE蒸餾損失計算。

圖1 RGB圖像和SAR圖像對比Fig.1 Comparasion of RGB and SAR image

圖2 不同掩碼M的骨干網絡蒸餾方法Fig.2 Distillation methods of backbone with different mask M

除開上述前背景失衡問題，為了得到局部區域回歸結果，目標檢測任務需要區分前景和背景，排除與前景特征類似的背景區域（如圖1中SAR圖像黃色框背景特征和艦船目標特征類似），這要求網絡對前景和背景關系建模：將目標檢測結果看作條件概率模型[28]，可以得到，其中Vfg、Vbg分別代表前景特征以及背景特征。AT[29]利用骨干網絡注意力特征圖制作掩碼，通過該掩碼學生網絡學習到前背景關系（如圖2（b）），從而提升學生網絡精度。

綜合上述分析，本文同時解決前背景失衡問題以及全局關系建模問題，使得最終蒸餾框架適配SAR圖像艦船檢測任務。具體地，主要貢獻有：

（1）前景和背景特征解耦：根據真實值標簽制作前景和背景0-1掩碼，分別對骨干網絡前景和背景特征進行蒸餾；

（2）基于拓撲距離的前背景蒸餾：通過設計前背景特征解耦的拓撲距離（decoupled topology distance，DeTD）蒸餾模塊，將前景和背景骨干網絡特征映射到高維單位球體進行交互蒸餾，使得學生網絡模仿教師網絡對前景和背景的關系建模方式，更好地區分前背景，增強學生網絡對背景噪聲的魯棒性。實驗結果表明，通過該模塊對前景和背景進行同時蒸餾可以取得不錯的結果。

為了驗證本文所提出方法的有效性，本文利用有著不同骨干網絡的Faster R-CNN檢測器構建教師-學生網絡對在HRSID數據集上進行蒸餾實驗。最終，所提出的蒸餾方法性能優先于其他方法，以ResNet18-C4作為骨干網絡的學生網絡檢測精度從31.81%AP提升到38.66%AP。

1 基于前景背景解耦的拓撲距離知識蒸餾

目前主流的基于深度學習的雙階段目標檢測網絡由四個部分組成：（a）骨干網絡（Backbone）提取基礎特征；（b）區域提議網絡（region proposal network，RPN）對錨框anchor進行前景預測和回歸；（c）感興趣區域池化（region of interest pooling，RoIPooling）對來自RPN的提議區域統一尺寸；（d）感興趣區域預測頭（region of interest pooling head，RoIHead）對提議區域進行二次分類和回歸。應用于目標檢測的知識蒸餾方法通過學生網絡模擬教師網絡的“知識”提升性能。其中，教師網絡的知識可以分為兩種：第一種[26]為網絡的中間層特征；第二種[16]知識為網絡輸出結果。通過中間層特征進行知識蒸餾可以寫成如下公式：

其中，N=C×H×W為特征圖元素個數，分別為學生和教師中間層特征圖，?表示為了對齊Fs和Ft通道數的自適應層，M表示特征圖掩碼，不通過掩碼體現蒸餾算法關注特征點重要性不同。圖2給出目前常見三種形式掩碼。圖2（a）表示全1掩碼，將所有的特征點視作一致。圖2（b）表示浮值掩碼，不同特征位置點值不一致。圖2（c）表示前景背景分離的0-1掩碼。

RoIHead分類分支得到每一個區域的類別分數。學生網絡通過模仿教師網絡分類分支輸出結果，提升分類準確率，該部分蒸餾損失公式如下：

其中，C表示通道數，K表示來自RPN的區域提議個數，LKL為Kullback-Leibler divergence[30]，Ps、Pt分別代表學生和教師網絡分類分支結果（二者共用相同的感興趣區域輸入）。因此在蒸餾算法框架下的目標檢測任務整體損失總結為：

上述Lcls、Lreg分別表示RoIHead分類和回歸損失，LRPN為RPN網絡分類和回歸損失（這三者損失函數與[11]保持一致，即分類采用交叉熵損失，回歸采用smooth-L1損失）。

本文利用上述的蒸餾框架對SAR圖像艦船目標檢測網絡進行輕量化。為了緩解SAR艦船目標和背景區域的失衡問題，以及考慮對前景和背景關系建模，提出基于前背景解耦的拓撲距離蒸餾，具體網絡結構見圖3。本文將在本章詳細介紹本文所提出的方法。

圖3 蒸餾流程圖總覽（包括骨干網絡蒸餾和預測頭蒸餾）Fig.3 Overview of distilation framwork（including backbone distillation and prediction head distillation）

1.1 前景和背景特征解耦

FitNet[25]對全局中間層特征進行公平對待，忽略了前景和背景的失衡問題。受到DeFeat[27]啟發，如圖4，利用輸入數據的真實值標簽制作0-1前背景掩碼，對前景和背景進行分別蒸餾，緩解失衡問題。

圖4 前景、背景解耦特征制作流程Fig.4 Flowart of decoupled features of foreground and background

為了和經過下采樣S倍的中間特征圖F∈RH×W對齊，對每一個真實定位框標簽B將其進行縮放S倍得到。因此得到對應特征圖的前景掩碼：

其中，MFG∈(0,1)H×W，如果(i,j)特征點包含在真實標簽B內部，則該點值為1，否則為0。同理，可得背景掩碼為：

與前景掩碼類似，如果(i,j)特征點屬于背景區域，則該點值為1，否則為0。

通過上述所得前景背景掩碼與骨干網絡中間層特征點乘，如圖4所示，得到輸入圖像中每一個真實樣本框對應特征=1,2,…,Nobj}（Nobj表示真實標簽定位框個數）以及背景特征。

1.2 前背景拓撲距離蒸餾

全局關系建模可以幫助目標檢測網絡增加對背景噪聲的魯棒性，提升檢測性能[31-33]。1.1節將前背景特征進行分別提取，雖然可以緩解失衡問題所導致的性能下降，但同時切斷了前景和背景的交互關系。為了彌補這一點，本節設計解耦拓撲距離蒸餾模塊（decoupled topology distance disitllation module，DeTD）重構分離后的前景和背景特征關系。如圖5所示，通過以下步驟得到融合后的前景和背景特征：

圖5 解耦拓撲距離蒸餾模塊Fig.5 Distillation module based on decoupled topology distance（DeTD）

其中，AVG表示全局平均池化操作，⊙代表對前景特征在通道維度進行Concat拼接操作。

（2）對于背景特征BG，首先將其進行全局平均池化，然后為了對齊前景區域融合特征FG，本文將其沿著通道維度進行擴展，詳細公式如下：

其中，Expand(?,N)表示沿通道擴展N次操作。

（3）將融合后的前景特征FFG和擴展后的背景特征FBG歸一化到高維單位球面上，得到最終輸入圖像前景、背景特征表達：

將上述得到前景和背景特征過程作用在不同的網絡上可以分別得到學生網絡前景、背景特征以及教師網絡前景、背景特征。

考慮到SAR圖像艦船前景目標與背景噪聲特征類似，本節利用TripletLoss緩解噪聲干擾。TripletLoss被廣泛應用在人臉識別任務中[34-35]：拉近錨點樣本和正樣本的距離以及推遠和負樣本的距離。具體地，將SAR圖像艦船目標學生網絡前景特征當作錨點，對應教師網絡前景特征當做正樣本，教師網絡背景特征視作負樣本，構成三元組設計損失如下：

其中，[?]+等價于max(?,0),m為錨點與正負樣本距離間隔參數。通過公式（9），學生網絡前景特征逼近教師網絡前景特征，遠離背景特征，從而增加背景噪聲魯棒性。為了增強上述關于前景和背景關系，本節提出“對稱Tripelet”損失函數同時考慮背景特征當作錨點，使得學生網絡不忽略背景的學習：

通過結合公式（9）和公式（10），本節提出的前背景拓撲距離蒸餾“對稱Triplet”損失函數如下：

其中，αfg和αbg調節兩項蒸餾損失大小。

2 預測頭知識蒸餾

如圖3，將RPN輸出得到的提議區域輸入到RoIHead得到分類分數Ps，同時和學生網絡共享的提議區域也將輸入到教師網絡的RoIHead得到分類分數Pt。本章采取和公式（2）一致的分類頭蒸餾方式，通過教師網絡分類頭輸出平滑處理后的標簽（soft-label）監督學生網絡分類頭，提升分類能力：

其中，T為溫度因子，θs、θt分別表示學生分類頭參數和教師分類頭參數，分別表示學生和教師網絡預測頭輸出經過通道維度Softmax平滑后的分類分數。

3 總體損失

總結本文提出的方法，訓練學生網絡的整體損失函數為：

4 實驗與分析

4.1 數據集以及評估指標介紹

本節利用開源SAR艦船檢測數據集HRSID[36]驗證本文所提出的蒸餾算法，包含3 642張訓練集圖片以及1 962張測試集圖片。其中測試集由1 593張遠海和369張近港口圖片組成。實驗采用與COCO數據集[21]一致的評價指標—平均精度（average precision，AP）。該指標通過不同交并比（intersection over union，IoU）進行細化分，包括AP@[0.5：0.95]、AP50、AP75、APs、APm、APl，后三項指標代表不同尺寸物體的精度。

4.2 網絡訓練策略以及參數設置

本文選取不同深度的ResNet[37]當作教師和學生骨干網絡。檢測網絡框架選擇雙階段檢測器Faster R-CNN[11]。為了后續實驗結果的簡潔表示，教師-學生網絡對用骨干網絡進行縮寫標記說明，即R50-R18-C4。

所有實驗在單卡GeForce RTX 3090上進行。代碼構建采用Pytorch當作框架。訓練階段，設置batchsize為2，利用SGD優化器進行網絡更新（動量設置為0.9，正則化權重為0.000 1），訓練輪次為12。輸入圖像將進行隨機縮放數據增強（短邊不小于600，長邊不超過1 200）以及水平隨機翻轉增強。初始學習率（learning rate，lr）為0.001，在第8、第11輪次對學習率進行0.1倍線性下降，分別為lr=0.000 1以及lr=0.000 01。同時，實驗采用500步長的線性預熱訓練策略[37]讓網絡訓練更穩定。教師網絡和學生網絡除開骨干網絡選擇不同以外，其余網絡設置保持一致：RPN回歸損失權重為0.11，RoIHead回歸損失權重為0.1，其余檢測網絡超參數與Detectron2默認保持一致。

對于本文所提出的算法，超參數m、αbg、β以及m分別平衡DeTD模塊前景和背景損失大小（如公式（11）），調整預測分類頭蒸餾損失（如公式（2））大小以及TripletLoss中的三元組距離間隔。默認采用αfg=0.5，αbg=0.25,β=4.0，分類頭溫度因子T=1.0,m=0.1。在蒸餾實驗之前，事先將教師網絡進行如上參數設置的單獨訓練。將得到的教師網絡權重凍結不參與梯度計算，結合輕量學生網絡進行蒸餾實驗。

4.3 實驗結果分析

4.3.1 不同掩碼骨干網絡蒸餾方法對比

DeTD模塊可以解決失衡問題以及強化學生網絡前背景關系建模，為了驗證DeTD的有效性，如表1，本小節對比了與圖2三種使用不同掩碼進行骨干網絡蒸餾的方法：FitNet[25]、AT[29]以及DeFeat[27]。同時，為了加強蒸餾效果，包含DeTD在內，以上所有對骨干網絡進行層級蒸餾操作的算法將同時作用到Res3/Res4兩個階段。實驗結果表明，直接使用全1掩碼蒸餾方式的FitNet[25]在港口區域AP提升0.51個百分點，在遠海區域僅提升0.06個百分點。AT[29]利用全局注意力機制得到浮點數掩碼，在復雜的港口區域AP提升0.69個百分點，高于FitNet，同時在遠海區域AP提升1.07個百分點。而通過前景和背景解耦掩碼蒸餾緩解失衡問題的DeFeat[27]相較于前兩者有一定提升，分別在港口和遠海區域AP提升0.76個百分點和1.59個百分點。相比于前三種主流的掩碼設計思路，DeTD模塊將學生網絡在港口和遠海區域分別提升3.2個百分點和7.72個百分點，遠高于其他的掩碼蒸餾方法。圖6給出以上四種不同蒸餾方法在HRSID港口場景（inshore）以及遠海場景（offshore）驗證的PR曲線。通過DeTD蒸餾，學生網絡可以較好地對前景和背景特征進行建模，和前景特征類似的背景噪聲也有效地被排除，學生網絡魯棒性更高，因此在港口區域DeTD模塊有遠超于其他方法的提升。由于DeTD也同時針對前背景失衡問題，在海洋面積占大部分的遠海區域，DeTD取得較大性能提升。

表1 不同掩碼蒸餾方法在港口和遠海區域預測結果Table 1 Prediction results of distillation methods with different masks on inshore and offshore areas 單位：%

圖6 不同掩碼蒸餾方法檢測結果PR曲線Fig.6 PR curve of distillation methods with different masks

4.3.2 共享RPN提議區域蒸餾實驗對比

公式（12）表示對預測分類頭的輸出進行蒸餾，這需要RPN提供教師和學生網絡共享的提議區域（shared proposals）。教師網絡和學生網絡均采用雙階段檢測器，因此各自的RPN網絡都有能力得到提議區域。然而因為網絡參數的不同，兩者提議區域不一致。本節將分析預測分類頭蒸餾所需的共享提議區域分別來自兩者時對最終性能的影響。結合DeTD模塊進行蒸餾，當提議區域來自于教師網絡的時候，如表2所示，網絡最終精度為38.27%AP，來自學生網絡的時候，精度為38.66%AP。導致后者精度略高于前者這種現象的一個原因可能是教師網絡由于性能較高，擬合能力較強，因此RPN所得到的提議區域框相較于學生網絡較集中在前景部分區域，這會導致采樣點范圍不夠廣，學生網絡無法很好地處理一些背景區域從而性能有些許下降。

表2 共享提議區域來源消融實驗Table 2 Ablation study of source of shared proposals 單位：%

遵循表2規律，本文以下所有實驗采用提議區域來自學生網絡的設置。

4.3.3 蒸餾結果對比

如表3所示不同蒸餾方法在HRSID數據集檢測結果對比。擁有大約教師網絡1/4參數量的學生網絡（教師網絡參數量為126.31 MB，學生網絡為46.09 MB，當輸入圖像大小為1 024×1 024×3時，前者推理速度為13.34 FPS，后者推理速度為28.67 FPS），在未蒸餾前因為擬合能夠不足，取得性能較低，但通過不同的蒸餾方法之后精度均得到一定程度的提升。cwd[20]通過通道蒸餾方法在多種密集預測型任務上取得不錯的性能提升。wsld[38]通過教師-學生網絡對同樣本預測誤差比調整蒸餾損失權重，緩解部分樣本帶來的偏差-方差問題。DeFeat增加預測分類頭蒸餾之后，精度從32.93%提升到34.71%。cwd將學生網絡從31.81%AP提升到35.71%AP，整體提升3.9個百分點，wsld則提升4.13個百分點。增加預測分類頭蒸餾后，本文所提出的方法遠高于上述對比方法，精度提升6.85個百分點。為了更加細致地對比各個方法，表4列出以上對比方法分別在港口區域和遠海區域的檢測精度，圖7給出各個蒸餾方法檢測結果的PR曲線。可以看出，不管是在港口區域還是遠海區域，本文的方法均保持最高性能表現。如圖8所示蒸餾最終檢測結果可視化，本文方法既可以較好地排除掉背景噪聲的干擾，同時回歸精度更高，誤檢和漏檢率都有所降低。

表3 在HRSID數據集蒸餾方法結果對比Table 3 Prediciton results of different distillation methods on HRSID dataset 單位：%

表4 不同蒸餾方法在港口和遠海區域檢測結果Table 4 Prediciton results of different distillation methods on inshore and offshore areas 單位：%

圖7 不同蒸餾方法檢測結果PR曲線Fig.7 PR curve of different distillation methods

圖8 蒸餾結果可視化Fig.8 Visualization of distillation results

4.3.4 不同超參數設置對精度的影響

對稱距離間隔參數m對性能影響。對于TripletLoss而言，m越小，整體損失會變小，但難以區分前景和相似特征噪聲；相反，若m設置過大，整體損失會變大，網絡收斂變得困難，但能夠較好地學習到錨點和正負樣本的關系，排除與前景類似特征的噪聲點。為了驗證本文所提出方法的魯棒性，本節對公式（9）中錨點與正負樣本距離間隔參數m進行實驗驗證。如圖9所示，本文將分別設置為[0.001，0.1，0.2，0.3，0.4，0.5，0.6，0.7，1.0，2.0，5.0]，橫坐標經過lgx處理，實驗結果顯示精度維持在小范圍波動，本文所提出的方法對超參數m不敏感，具有較強的魯棒性。

圖9 距離間隔m消融實驗Fig.9 Ablation study of distance margin hyper-parameterm

不同溫度因子T對性能影響。預測分類頭蒸餾使用公式（12）進行蒸餾。不同的溫度因子T決定了分類分數平滑程度。表5探究不同溫度因子下對整體蒸餾性能的影響。當溫度因子等于2.0時，達到最高的性能，但整體的蒸餾性能都保持在38%AP以上，證明本文所提出的蒸餾算法對該超參數的魯棒性。

表5 不同溫度因子T下的蒸餾結果Table 5 Distillation results under different temperature coefficientT 單位：%

5 結語

本文提出了一種簡單有效的蒸餾方式對SAR圖像艦船目標檢測網絡進行輕量化處理。通過分析，SAR圖像艦船檢測蒸餾方法需要解決前背景失衡問題以及前背景關系建模問題。為了解決以上兩個問題，提出了基于前背景解耦特征的拓撲距離蒸餾模塊（DeTD）對檢測骨干網絡進行蒸餾。實驗結果表明，本文所提出的算法精度優于其他常見蒸餾方法。由于DeTD模塊在算法實現上沒有網絡類型的限制，本文將在未來對其進行擴展應用到更多的檢測網絡。