復雜場景下深度表示的SAR船舶目標檢測算法

袁國文，張彩霞，楊 陽，張文生，白江波

1.佛山科學技術學院 機電工程與自動化學院，廣東 佛山 528000

2.中國科學院 自動化研究所，北京 100080

3.廣東省智慧城市基礎設施健康監測與評估工程技術研究中心，廣東 佛山 528000

我國海域遼闊，海洋資源豐富。近代以來，海域更是外國軍事侵入的重點區域，SAR圖像的檢測與解譯是海域軍事監視與民事援助的重要組成部分，由于其自身成像時的噪聲干擾以及目標形狀尺寸的多樣性，增加了SAR目標的檢測難度。SAR目標檢測分為傳統方法與深度學習方法，傳統方法一般分為3部分，檢測窗口設計、特征選擇、分類器設計[1]，其中應用最普遍的是基于恒虛警率的CFAR（constant false-alarm rate）系列算法[2]，其利用艦船與海洋雜波統計特征的差異性，對艦船目標進行檢測分析，在當代SAR圖像獲取技術日益成熟的情況下，計算復雜且人工參與度較高的傳統目標檢測方法已經無法滿足人們對SAR圖像處理的需求。

隨著深度學習的再次興起，專家學者們已經構建了一套較成熟的可見光目標檢測框架，其中依托于卷積神經網絡（convolutional neural network，CNN）的檢測方法突出了其優勢，根據是否單獨生成特征候選區域，分為一階段與二階段檢測器，一階段檢測器以SSD（single shot multibox detector）、RetinaNet、YOLO（you only look once）等網絡為代表，二階段檢測器以R-CNN、Faster R-CNN等網絡為代表[3]。與此同時，一部分專家學者將卷積神經網絡應用到SAR圖像目標檢測的過程中，2015年，史丹榮[4]在碩士論文中利用深度學習的限制玻爾茲曼機（restricted Boltzmann machine，RBM）與CNN網絡分別進行在SAR艦船圖像上的目標檢測實驗，并分析了深度學習特別是CNN網絡在SAR圖像目標檢測取得優勢的原因。2016年，杜蘭等人[5]在SAR圖像訓練樣本不足情況下，在已有完備數據集中獲取CNN分類模型的初始化參數，并對其訓練數據進行補充，借助“四步訓練法”獲得SAR目標檢測模型，實驗證明了其優點。田壯壯等人[6]改進CNN網絡，將類別可分性度量加入誤差代價函數，對特征分類使用支持向量機（support vector machine，SVM），在著名的美國運動和靜止目標獲取與識別（moving and stationary target acquisition and recognition，MSTAR）SAR數據集中進行驗證，在3類與10類目標數目情況下，平均識別率均達到91%以上。史鶴歡等人[7]利用PCA網絡進行CNN網絡預訓練，利用概率最大化下采樣增加魯棒性，最后在CNN網絡中對特征進行局部對比度標準化，改進算法在MSTAR數據集中取得96.97%的識別率，并實驗驗證了魯棒性能的提升。2017年，徐豐等人[8]將改進的CNN應用MSTAR數據，對于10類模板取得了平均99%的識別準確率，并在全極化SAR圖像地物分類中引入復數深度卷積網絡（complex-valued-CNN，CV-CNN），在Flevoland地區全極化L波段的數據中，使15類地物平均分類精度達到了95.97%。Kang等人[9]將Faster R-CNN與CFAR算法相結合，多次評估檢測網絡中分類得分相對較低的邊界框，通過提高小目標檢測精度來提高整體的檢測精度。李君寶等人[10]針對MSTAR數據集，使用流行的CNN、Fast RCNN以及Faster RCNN等模型進行實驗，驗證了CNN網絡的優越性并為以后的研究提供基準。2018年，李健偉等人[11]提出基于PASCAL VOC的SSDD數據集，用于SAR艦船目標檢測，并將遷移學習、損失函數設計，特征聚合等細節加入SAR目標檢測的方法中，通過對比實驗，驗證其方法在精度與檢測速度方面均有提升。Bentes等人[12]針對貨物、油輪、風車、平臺和港口5個類別的公共數據集提出多輸入分辨率的CNN模型，驗證了CNN網絡的優越性。

根據上述文獻的閱讀分析發現，困難樣本的特征有效提取問題，是提升樣本的最終檢測精度的重要方面，本文使用NAS-FPN[13]作為特征提取網絡，通過解決FPN多尺度特征金字塔融合的問題來獲取圖像的有效特征，最終通過與一階段檢測器Libra R-CNN[14]網絡相結合的實驗結果證明了融合后網絡的有效性。

1 Libra R-CNN網絡模型

SAR在成像過程中由于自身的成像模式易產生斑點噪聲影響，以及本身分辨率問題，均對目標檢測模型的準確率帶來危害[4]，因此應針對訓練過程消弭或減弱此種問題。Libra R-CNN網絡通過分析現有檢測器模型，在采樣、特征、目標水平，分別提出一種平衡方法，減輕對象檢測訓練過程中的失衡，實現最佳訓練并充分利用模型體系結構的潛力。如圖1所示[14]，Libra R-CNN網絡同樣利用CNN[15]網絡從圖像中提取特征，為了解決隨機采樣導致的困難樣本提取問題，在（a）處提出IoU平衡采樣（IoU-balanced sampling）方法；為了更優的同時使用特征網絡中的高層與淺層信息，在（b）處使用平衡特征金字塔（balanced feature pyramid）方法；最后為了平衡分類與定位之間的相互影響，在（c）處提出平衡L1損失（balanced L1 loss）。

圖1 Libra R-CNN網絡結構Fig.1 Libra R-CNN network structure

（a）IoU平衡采樣

在隨機采樣中，從M個對應的候選對象中抽取N個負樣本的概率為：

目標檢測時，每個樣本所做的貢獻度不同，為了更多地關注貢獻度較大的樣本——困難樣本，提高困難樣本被抽中的概率，根據IoU值將采樣間隔平均分為K個區間，并將N個所需的負樣本平均分配到每個區間，然后，從中統一選擇樣本。此時獲得了IoU平衡采樣下的選定概率：

（b）平衡特征金字塔

以FPN[16]網絡為基礎，使用相同的深度集成平衡語義特征來增強多級特征，對四個水平的特征進行縮放尺寸，整合，融合特征信息，最后再根據原特征圖尺寸，增強原特征。過程如圖2[14]所示。具體步驟如下：

圖2 平衡特征金字塔Fig.2 Balanced feature pyramid

步驟1利用插值法和最大池化法，將各級特征圖{C2，C3，C4，C5}變為與C4相同的尺寸。

步驟2將第一步特征整合為平衡的語義特征。

步驟3利用高斯非局部注意力機制，完善平衡的語義特征，增加特征差異度。

步驟4使用相同但相反的步驟重新縮放獲得的特征，增強原始特征。

（c）平衡L1損失

從Fast R-CNN[17]開始，目標檢測中的分類和回歸都在多任務損失函數中處理，損失函數為：

其中，Lclc和Lloc分別代表分類和定位損失，p和u代表Lcls中的預測值與實際值，tu是分類u相應的回歸結果，v是回歸目標。Balanced L1 Loss是傳統smoothL1loss[18]的改進，對損失中關鍵點的回歸梯度進行操作，定義Lb(x)：

其中定義：

通過調節α、γ的值來實現分類與回歸損失函數之間的平衡。

2 網絡改進

通過閱讀論文發現，針對噪聲較多的SAR圖像，較全面地兼顧圖像語義與細節特征，找到具有代表性的有效特征對人為設置的網絡來說是比較困難的，NAS-FPN網絡是一種借助神經架構搜索（NAS）[19]的特征金字塔網絡，與原先的FPN網絡相比，NAS-FPN借鑒分類網絡架構搜索方法NASNet，選擇以RNN作為控制器的強化學習搜索方法來構建特征層集合，進行特征融合構造新特征層，搜索終止條件為填滿輸出金字塔的每一層。具體步驟如下：

（1）從特征層集合中選擇一個特征層作為輸入層。

（2）從特征層集合選擇另一個特征層作為第二個輸入層。

（3）確定輸出層的分辨率。

（4）確定特征層融合操作。

（5）將融合后的輸出層加入原有特征層集合中，擴大特征層集合。

（6）遍歷（1）~（5），直至填滿特征層網絡。

本文選用在coco2017數據集訓練成功的7層NASFPN網絡，結果如圖3[13]，其中GP為全局池化；R-C-B為ReLU-Conv-BatchNorm，輸入層用P3~P7表示，輸出層用P3~P7表示。

圖3 NAS-FPN網絡Fig.3 NAS-FPN network

3 實驗結果

3.1 數據集

為了驗證改進算法的有效性，本文選用中科院制作的SAR-Ship-Dataset[20]，由102張Gaofen-3和108張Sentinel-1圖像切片而成，圖片大小為256×256，總數目43 819，按VOC格式標注，按照7∶2∶1劃分數據集，數據集樣本如圖4所示。

圖4 數據集樣本Fig.4 Sample data set

3.2 模型訓練

本文算法基于mmdetection[21]框架改進而來，主要包括NAS-FPN與Libra R-CNN網絡及其融合網絡，實驗在Ubuntu 16.04.6上運行，其中GPU選擇為Nvidia1080Ti，CUDA設置為10.0。NAS-FPN與Libra R-CNN網絡參數設置相同，以IOU大于0.5為閾值評估得分，訓練周期為12，與mmdetection原有模型Libra R-CNN網絡相比，本文網絡主要改進有以下幾點：

（1）圖像尺寸均固定為640×640。

（2）優化器由SGD替換為Adam優化器，學習率為0.000 01。

（3）通過前期實驗結果將批處理數設置為4。

（4）特征提取網絡由FPN替換為NAS-FPN。

（5）根據前期實驗結果不進行圖片翻轉。

最終模型架構如圖5所示。

圖5 libra_rcnn-nasfpn網絡Fig.5 libra_rcnn-nasfpn network

3.3 實驗結果分析

目標檢測過程中，檢測準確性的評估指標多數選擇為平均準確率（map）。本文首先對NAS-FPN算法進行實驗，然后將NAS-FPN網絡與平衡金字塔網絡結合進行實驗，接著將NAS-FPN網絡與平衡L1損失結合進行實驗，實驗結果如表1所示。

表1 子網絡實驗結果Table 1 Subnet experimental results

分析表1發現，通過添加Balanced Feature Pyramid操作，平衡各級原特征層，增強原有特征，使目標檢測平均精度提升了0.5個百分點，而Balanced L1 Loss操作，通過平衡分類與回歸損失，為目標檢測平均精度提升奉獻了1.4個百分點。最終不同模型下平均準確率如表2所示。

表2 不同模型的實驗結果Table 2 Experimental results of different models

表2中SSD-300與SSD-512為SAR-Ship-Dataset數據集提出時的檢測精度，通過比較發現，將Libra R-CNN網絡與NAS-FPN結合后的網絡平均準確率與NAS-FPN網絡相比提高4.4個百分點，主要原因是因為添加的3種訓練過程中的平衡操作，有效地提高了困難樣本的檢測精度，與SSD相比分別提高2.1個百分點和1.0個百分點，與Libra R-CNN網絡相比提高0.7個百分點，綜合來看，本文的方法有效地提升了SAR目標檢測的精度。

部分實驗結果如圖6所示：其中上部分為NAS-FPN網絡結果，下部分為本文網絡融合后的實驗結果，從相對應的圖像中可以發現，第二行的得分明顯高于第一行，佐證了融合后目標檢測網絡的有效性。

圖6 實驗結果對照圖Fig.6 Comparison chart of experimental results

4 結語

本文通過研讀SAR目標檢測相關文獻，針對SAR圖像由于困難樣本提取影響目標檢測精度問題，提出一種將NAS-FPN網絡與Libra R-CNN網絡融合后的SAR目標檢測算法，同時在SAR-Ship-Dataset數據集中進行了對比實驗，實驗結果表明，融合后的網絡與單獨的NAS-FPN網絡或Libra R-CNN網絡相比，均取得了檢測精度的提升，證明了深度學習特別是卷積網絡在SAR目標檢測中的有效性，在下一步的研究工作中，NASFPN網絡將會在更多的其他網絡模型中使用，以便驗證其通用性。