改進FCOS的二階段SAR艦船檢測算法

劉競升，伍 星，王洪剛，李姜楠

重慶大學 計算機學院，重慶400044

合成孔徑雷達（Synthetic Aperture Radar，SAR）是一種主動式高分辨率微波成像裝置，能全天時、全天候對地實施觀測，廣泛應用于艦船檢測。傳統的SAR艦船檢測方法包括恒虛警率（CFAR）[1]及其衍生方法。這類方法在復雜環境下容易錯檢和漏檢目標，不能保證穩定的檢測表現。

目前基于深度學習的目標檢測算法被廣泛用于艦船檢測，主要分為基于錨框（Anchor-based）和無錨框（Anchor-free）的檢測算法。基于錨框的算法首先被用于此領域以提高檢測精度。李健偉等人[2]首先優化Faster R-CNN算法并用于SAR艦船檢測。Chang等人[3]使用YOLOv2對艦船進行檢測并降低計算開銷。蘇娟等人[4]改進SSD并從遷移學習、低層特征增強和數據增廣等方面降低了目標漏檢率。Wang等人[5]探索一種RetinaNet算法用于解決多尺度問題。劉潔瑜等人[6]繼而改進融合結果和損失函數提升了準確率。顧振輝等人[7]優化Mask R-CNN的目標函數以提高艦船檢測性能。Pang等人[8]提出Libra R-CNN解決了訓練過程中的不平衡問題并提高檢測精度。Wei等人[9]結合高分辨率檢測網絡HRNet減少艦船特征信息損失再次提高檢測表現。艦船目標大小各異、長寬比分布不均勻，為進一步增強多尺度檢測性能，Cui等人[10]提出密集注意力金字塔，Liu等人[11]進而提出尺度變化金字塔。胡慶等人[12]結合感受野模塊增強目標可辨識性并通過雙向加權融合提高多尺度檢測能力。韓子碩等人[13]基于超密集特征金字塔網絡實現更高的艦船檢測性能。Zhao等人[14]提出注意力感受野金字塔增強全局特征關系并修正不同特征圖信息，達到了優秀的檢測效果。但此類算法均依賴人工設置的先驗錨框，使網絡不能完整覆蓋多尺度、多形態的艦船目標，導致檢測魯棒性不足。為降低人工參數設置的難度，YOLOv2通過聚類方法生成錨框參數。張筱晗等人[15]提出一種數據驅動的目標分布聚類算法進行網絡參數設定。Chen等人[16]通過基于形狀相似距離的k-means聚類方法生成錨框。但是這種基于初始錨框回歸的方式始終會對不同尺度和長寬比懸殊的非典型目標檢測造成巨大困難。

近兩年無錨框的目標檢測算法被用于艦船檢測以擺脫對錨框的依賴，能召回更多非典型目標，提高了檢測魯棒性。Kong等人[17]提出FoveaBox避免錨框并達到了較好的檢測表現。侯笑晗等人[18]將FCOS[19]用于SAR艦船檢測進一步提升檢測性能。Yang等人[20]結合可形變卷積和關鍵點提出Reppoints實現無錨框檢測。Mao等人[21]提出ResSARNet以優化FCOS，用更少模型參數獲得強大檢測性能。Gao等人[22]結合密集注意力特征聚合的方法提升了模型泛化能力。Guo等人[23]通過特征修正等方法優化CenterNet顯著提升了檢測效果。Cui等人[24]基于CenterNet加入空間隨機增強模塊強化語義信息來抑制噪聲。Fu等人[25]提出結合特征平衡和修正模塊的無錨框網絡進一步提高艦船檢測表現。

以上無錨框算法中FCOS直接通過逐像素點回歸的方式進行檢測，不僅擺脫了錨框，性能也優于大多基于錨框和無錨框的艦船檢測算法。但其仍存在兩個局限：（1）此方法的模型搜索空間過大、目標回歸困難導致檢測精度不夠高；（2）艦船檢測中存在大量小目標，其特征金字塔方法沒有做出相應優化導致小目標大量漏檢。針對上述問題，本文基于FCOS做出兩點改進：（1）設計特征增強網絡（Feature Enhancement Network，FEN）增強艦船特征表達，并結合FEN提出一種無錨框的二階段檢測算法，在不需要錨框設置的前提下，減少模型搜索空間，提高最終檢測精度；（2）設計改良特征金字塔（Improved Feature Pyramid，IFP）引入更多低層特征并通過跳躍連接減少高層冗余特征影響，提高低級特征利用率，降低小目標漏檢風險。

1 無錨框檢測算法FCOS

FCOS（Fully Convolutional One-Stage object detector）是Tian等人[19]提出的一階段目標檢測算法，其思想源自于語義分割，采用像素級的檢測方式。它不需要錨框和建議框，避免了對最終檢測性能非常敏感的錨框超參數設置。

如圖1所示，網絡分為骨干網（backbone）、特征金字塔（feature pyramid）和檢測頭（detection head）三個部分。骨干網對輸入的原始圖像進行特征提取得到特征圖(C2、C3、C4、C5)，其中三層特征圖(C3、C4、C5)被送入特征金字塔進行特征融合，最后得到的五層融合特征依次被送入檢測頭進行逐像素點回歸得到分類和定位結果。

圖1 FCOS網絡架構Fig.1 Network architecture of FCOS

FCOS中使用了類似FPN[26]的結構進行特征融合，通過自下而上（bottom-up）的路徑、自上而下（top-down）的路徑和橫向連接（lateral connections）等結構同時融合低層高分辨率特征和高層低分辨率特征。其中自下而上的路徑為骨干網的前饋計算網絡，計算不同尺度的分層特征作為一個階段，然后選擇每個階段最后一層的輸出作為特征圖輸入到金字塔進行特征融合。自上而下的路徑從較高的金字塔層級對空間上粗糙但語義上更強的特征圖進行上采樣，然后通過自下而上的路徑和橫向連接增強這些特征。每個橫向連接將自下而上的路徑和自上而下的路徑合并得到相同尺寸大小的特征圖。FCOS使用ResNet50的C3、C4、C5層特征作為金字塔輸入，進行特征融合得到P3、P4、P5，再對P5進行下采樣得到P6、P7。

2 改進算法框架

本文基于FCOS改進并提出一種結合特征增強網絡的二階段無錨框艦船檢測算法（Feature Enhancement Anchor-free Detection，FEAD）。如圖2所示，其包含四個模塊：骨干網（Backbone）從輸入圖像提取高分辨率特征信息；改良特征金字塔（IFP）對原始特征進行融合；特征增強網絡（FEN）加強艦船特征表達并組成第一階段檢測網絡；檢測頭（Head）作為第二階段檢測網絡得到最終分類和回歸結果。

圖2 FEAD網絡結構圖Fig.2 Network architecture of FEAD

2.1 結合FEN的二階段檢測網絡

2.1.1 特征增強網絡

FEN是一個無錨框的全卷積檢測網絡，用于區分目標和背景。Faster R-CNN[27]中的候選區域網絡（RPN）作為第一階段網絡，對所有初始錨框進行粗粒度篩選，讓分類屬于背景的候選框大幅度減少，從而減少模型搜索空間。RON[28]中提出目標先驗網絡（OPN）來引導搜索目標，通過目標先驗圖反映目標的存在，過濾待搜索目標，致使目標搜索空間大量減少。FEN結合RPN和OPN的思路，通過熱圖的目標存在概率引導搜索目標，解決了一階段網絡回歸搜索空間過大導致檢測精度不高的問題。同時FEN加強了模型對SAR艦船目標的表征能力，引導整個網絡進行更精細的檢測過程，從而提高艦船目標的檢測精度。

如圖3所示，FEN包括分類（cls）和回歸（reg）兩個分支。分類分支是一個二分類網絡，輸入為骨干網輸出的不同大小分辨率特征圖，形狀為H×W×K（K為輸入特征圖的通道數），輸出同為H×W×K的增強后特征圖。中間卷積層迭代m（此次實驗m=1）次，使用大小為3×3，輸入通道為256，輸出通道為256的卷積進行運算。分類分支輸出2（前景和背景）個值，代表每個特征點屬于待檢測類別的數值，并通過sigmoid函數轉化為概率值，得到形狀為H×K×1的目標存在圖（Object Existence Map，OEM），表示像素點屬于該目標的概率。再將概率值和輸入特征圖做矩陣乘法得到加權特征圖，通過殘差連接相加，得到最后的形狀為H×W×K的增強特征圖?；貧w分支輸入為H×W×K的特征圖，輸出形狀為H×W×256的特征圖。特征增強過程如下：

圖3 FEN和檢測頭的網絡結構圖Fig.3 Network architectures of FEN and detection head

式中Fenhance代表增強特征圖，Finput代表骨干網提取的原始特征，Conv代表卷積操作，?代表逐像素乘法，⊕代表逐像素加法。

FEN使用交叉熵作為分類損失函數，IoULoss[29]作為回歸損失函數，從而獲得更強的定位能力。算法使用真實標簽去生成形狀為H×W×1的像素級掩膜（mask）作為FEN的分類監督信號。在預處理階段，將真實標注框中映射到金字塔的不同特征層的像素值設置為1，其余的值設置為0作為分類標簽。將真實標簽的位置坐標信息通過FCOS的方式進行編碼得到形狀為H×W×4的回歸標簽。在損失計算階段，分類分支通過卷積運算得到H×K×1個值，代表特征點屬于該類別的概率；回歸分支得到H×K×4個值，代表特征點到預測框四條邊的相對距離。最后將分類、回歸結果和對應的監督標簽逐值計算損失。損失計算公式如下：

式中，LFEN_cls代表FEN的分類損失函數，px,y和分別代表特征圖上每個位置特征點的分類預測概率和類別真實標簽；Lreg代表FEN回歸損失函數，tx,y和代表對應的回歸預測值和邊界框真實標簽。Npos代表正樣本數量，λ為平衡權重。

2.1.2 檢測頭

檢測頭是一個類FCOS的無錨框多分類檢測網絡，分類分支輸入為FEN輸出的增強后特征圖，回歸分支輸入為FEN的輸出回歸特征。中間卷積層使用迭代n（此次實驗n=4）次，大小為3×3，輸入通道為256，輸出通道為256的卷積進行運算。輸出節點中的分類節點輸出C（類別數+1）個值，代表每個采樣點屬于待檢測類別的數值；回歸節點輸出4個值，代表采樣點對于目標預測框四條邊的相對距離。

檢測頭使用focal loss[30]作為分類損失函數，IOULoss作為回歸損失函數。此階段使用類似FCOS的方法計算損失。分類分支輸入為FEN輸出的分類特征，算法通過多層卷積得到H×W×C的分類置信度，和標簽逐像素計算損失。回歸分支輸入為FEN輸出的回歸特征，通過多層卷積得到H×W×4的邊界預測結果，和監督標簽計算回歸損失。損失函數計算公式如下：

式中，Lhead_cls代表檢測頭的分類損失函數，系數α和γ分別取0.25和2.0。Lhead為檢測頭總損失，L({px,y},{tx,y})為二階段算法總損失。

2.2 改良特征金字塔

艦船檢測中存在大量小目標，由于分辨率和有效信息有限，高精度小艦船檢測仍面臨巨大挑戰。分離卷積模塊[31]和路徑參數融合網絡[32]等方法曾被用于改善特征圖融合以優化小目標檢測效果。FCOS中的特征金字塔對于小艦船檢測能力有一定提升，但仍存在兩個局限：（1）對低層高分辨率特征信息利用不足，大量細節信息丟失導致小目標檢測困難；（2）特征金字塔每層特征都會融合高層的語義信息，這種粗糙的融合方式會將不必要的信息加入到最后的特征圖中，使冗余的高層特征對檢測造成負面影響，導致小目標大量漏檢。

本文對FCOS中的特征金字塔進行了兩點改進：第一，在特征金字塔中增加更適合檢測小艦船的P2層融合特征，為檢測網絡提供更高分辨率的低層特征信息，提高對小目標的識別能力；第二，通過跳接（skip connection or shortcut[33]）直接使用骨干網提取的原始特征與多層融合特征分別相加，使網絡在檢測小目標時能更多利用原始低層高分辨率信息，提高低層特征的利用率，從而提高小目標檢測精度。同時這種殘差連接的方法能減少梯度回傳路徑，提高模型收斂速度。圖4表明此方法能明顯提高小目標檢測效果。

如圖4所示，以ResNet50作為骨干網為例，本文使用從骨干網的第二到第五個特征層(C2、C3、C4、C5)的特征作為輸入到IFP，輸出為五層特征圖(P2、P3、P4、P5、P6)。首先，將每一層輸入特征通過最鄰近上采樣法做2倍上采樣，再將其經過1×1的卷積核和對應的前一層特征通過像素間加法進行特征融合，通過高層特征加強低層特征的語義信息，通過低層特征加強高層特征的空間位置信息。重復迭代該過程，直至生成最精細的特征圖。迭代開始階段，網絡在C5層后面加了一個1×1的卷積核來產生中間特征M5。然后用3×3的卷積核去處理M5并將其結果與原始特征通過逐元素相加生成最終的融合特征圖P5。其他層中與該過程相同，并且迭代直至生成最高分辨率特征圖時結束。經過四次迭代，獲得了最終的融合特征圖(P5,P4,P3,P2)。最后，對P5進行下采樣以獲得最粗糙的融合特征圖P6。至此，生成的特征圖都得到了增強，它們被送入FEN檢測目標。相應的輸入和輸出特征圖的形狀相同，例如C5和P5。整個過程如下：

圖4 改良特征金字塔結構Fig.4 Structure of IFP

式中Mi代表中間特征層，Pi代表融合特征層，Ci代表輸入特征層，Upsample和Downsample代表上采樣和下采樣，⊕代表逐元素相加。

3 實驗結果與分析

3.1 數據集和評價指標

本文使用SSDD[2]和SAR-Ship-Dataset[34]作為實驗數據集。SSDD是提出使用SAR圖像進行艦船檢測的第一個數據集，SAR-Ship-Dataset是主流高質量的SAR船舶檢測數據集。它們分別包含在復雜背景下長寬比不同的小型船舶的1 160和43 819張圖片。按照7∶2∶1的比例將其劃分為訓練集、驗證集和測試集。

本文使用mAP、AP50和APS來評估模型性能，指標來自COCO[35]。AP代表某一類別的平均精度，通過計算在不同召回率下最高的準確率得到；mAP是平均精度均值，代表所有類別AP的平均值；AP50表示IoU閾值為0.5時的mAP值，用于評估算法整體檢測性能；APS表示目標面積小于322時的mAP值，用于評估小目標檢測性能。

準確率計算公式如下：

召回率計算公式如下：

mAP計算公式如下：

TP表示被正確檢測的目標，FN表示沒被檢測到的漏檢目標，FP表示被錯誤檢測的虛警目標。

3.2 實驗設置

實驗使用Intel i7 8700k作為主處理器，Nvidia GeForce RTX 2070進行神經計算加速，Python 3.6.9和PyTorch 1.3.1作為軟件平臺進行算法開發與測試。網絡用隨機梯度下降（SGD）訓練24個epoch，用0.002 5作為初始學習率，批大小為16張圖每GPU，且使用了學習率預熱策略，學習率通過因子0.1，在第12和24個epoch時進行衰減。使用ResNet50在ImageNet上的預訓練權重對骨干網進行初始化，對于新增的網絡層使用默認方法進行權重正態隨機初始化。輸入圖片的大小為256×256。非極大值抑制（NMS）的置信度和IoU閾值分別為0.5和0.05。

3.3 消融實驗

本文在SSDD和SAR-Ship-Dataset上進行了消融實驗，以驗證FEN和IFP在所提算法中的有效性，如表1所示。

表1 FEAD在SSDD和SAR-Ship-Dataset上的消融實驗結果Table 1 Ablation experiment results of FEAD on SSDD and SAR-Ship-Dataset

（1）從第一、二行和第五、六行對比可以看出，具備FEN模型的AP50獲得了2.8和2.0個百分點的提升，展現出更強的檢測能力。

（2）從第一、三行和第五、七行對比看出，具備IFP模型的AP50和APS分別提高了7.3和8.8個百分點以及3.1和6.7個百分點，證明IFP能增強算法的小目標檢測能力。

（3）從第二、三、四行和六、七、八行對比看出，FEN和IFP能分別提高模型的檢測性能，且它們能組合起來使用并獲得更高的檢測精度提升。

可以得出結論，所提方法能有效提高艦船檢測能力。FEN減少了模型的搜索空間，從而有助于在較小的范圍內進行回歸以提高最終檢測準確性；其對于更好地表達SAR艦船特征也至關重要。同時，IFP使用更多低級特征并通過跳接以利用更多低級特征信息進行檢測，顯著提升了小目標的檢測精度。所提出的方法使得模型的AP50和APS指標得到了顯著提升，同時用這兩個模塊可以結合使用來獲得更出色的檢測性能。

3.4 對比實驗

本文分別在兩個數據集上進行實驗對所提算法與主流基于錨框和無錨框的艦船檢測算法進行比較分析。

在SSDD數據集上，如表2所示，FEAD的AP50比Li等人[2]提出的Faster R-CNN有15.2個百分點提升，比蘇娟等人[4]提出的SSD提高5.9個百分點，比Chang等人[3]提出的YOLOv2提高3.9個百分點，比劉潔瑜等人[6]提出的RetinaNet提高3.7個百分點，比DAPN[10]、STPN[11]分別提高4.2個百分點和3.6個百分點，比Pang等人[8]的Libra R-CNN提高5.3個百分點。

表2 SSDD上的實驗結果Table 2 Experimental results on SSDD

FEAD與其他無錨框檢測算法相比，AP50比Yang等人[20]提出的Reppoints提高4.3個百分點，比Kong等人[17]提出的FoveaBox提高28.0個百分點。AP50比Tian等人[19]提出的FCOS提高9.5個百分點，APS也提高11.4個百分點。

在SAR-Ship-Dataset數據集上，如表3所示，FEAD的AP50相比于YOLOv3[31]精度提高11.5個百分點，比Faster R-CNN[5]提高6.7個百分點，比Wang等人[5]提出的RetinaNet提高3.6個百分點，相比2S-RetinaNet[31]提高2.4個百分點，比Pang等人[8]的Libra R-CNN提高7.3個百分點。

表3 SAR-Ship-Dataset上的實驗結果Table 3 Experimental results on SAR-Ship-Dataset

FEAD與其他無錨框檢測算法相比，AP50和APS比Kong等人[17]提出的FoveaBox分別提高4.9和4.4個百分點，比Tian等人[19]提出的FCOS相比分別提高3.4和7.1個百分點，比DLA[36]做骨干網的CenterNet精度提高2.6和5.3個百分點。

結果表明，由于二階段無錨框檢測方法的優越性，所提算法與現有基于錨框和無錨框的方法相比都具有更高檢測精度。與現有基于錨框的艦船檢測算法相比，其使用了逐像素預測的檢測方法且不依賴錨框設置，具備更高的魯棒性，且能達到更高的檢測精度。與現有一階段無錨框的艦船檢測算法相比，因為二階段的方法減少了模型參數搜索空間，使目標回歸更容易，從而提高檢測精度。所提算法在兩個權威數據集上都能達到較好效果。同時，其對小物體的檢測效果也非常出色。

3.5 可視化結果

圖5 和圖6分別展示了多種艦船檢測算法在SSDD和SAR-Ship-Dataset上的預測結果。其中圓形框代表漏檢目標，虛線矩形框代表錯檢目標。

圖5 四個模型在SSDD上的檢測結果Fig.5 Detection results of four models on SSDD

圖6 四個模型在SAR-Ship-Dataset上的檢測結果Fig.6 Detection results of four models on SAR-Ship-Dataset

（1）FEAD與基于錨框的二階段方法（Faster R-CNN）相比，能檢測出更多的艦船目標，證明所提出的二階段艦船檢測方法精度更高。

（2）FEAD與基于錨框的一階段方法（RetinaNet）相比，能正確檢測出更多艦船目標。同時可以看出，FEAD對小目標的檢測效果更好。

（3）將FCOS和FEAD進行對比，從圖5可以看出，FEAD與無錨框的一階段方法相比能檢測更多小艦船目標；從圖6第一行可以看出，FEAD與無錨框的一階段方法相比能檢測更多小艦船目標；從圖6第三行可以看出，在正確檢測出相同艦船的情況下，FEAD的準確率更高，證明其可以減少復雜背景下船舶檢測中的誤報率，有更高的檢測精度。

4 結束語

本文提出了一種基于特征增強網絡的二階段無錨框艦船檢測算法，相比于主流的基于錨框和無錨框的艦船檢測算法都有較大性能提升。通過特征增強網絡降低模型參數搜索空間，提高模型檢測精度；改良特征金字塔進一步融合高低層不同分辨率的特征信息，提高低級特征利用率以優化小艦船檢測效果；同時避免了大量的錨框超參數設計和冗余計算，結合逐像素預測的方法實現了更好的檢測表現。本文為后續二階段無錨框艦船檢測算法提供了思路和基礎配置，此類方法在相似任務中也能達到很好的表現，希望這項工作能作為堅實基礎以協助將來相關研究工作。