基于YOLO框架的無錨框SAR圖像艦船目標檢測

賈曉雅, 汪洪橋, 楊亞聃, 崔忠馬, 熊 斌

(1. 火箭軍工程大學作戰保障學院, 陜西 西安 710025; 2. 北京遙感設備研究所, 北京 100854;3. 中國航天科工集團有限公司科研生產部, 北京 100048)

0 引 言

目標檢測作為計算機視覺的一個重要應用,根據檢測的目標、圖像來源和側重點等給研究者更細化的現實研究。根據檢測的目標可分為日常目標檢測和特定目標檢測,日常目標為常用目標檢測數據集中的目標,特定目標包括具有研究意義的某種特定的目標種類,如飛機、艦船、橋梁、交通標志、行人檢測等。根據檢測的圖像來源可分為可見光圖像、紅外圖像、 合成孔徑雷達(synthetic aperture radar， SAR)圖像等。目標檢測可側重小樣本、小目標、輕量化等具有特點的檢測方向。通過以上細化,讓目標檢測的具體應用及改進有了更多可能性和方向性。SAR圖像艦船目標檢測作為目標檢測的一個重要應用方向,對其深入研究具有重要的軍事和社會意義。

常見的傳統SAR圖像目標檢測方法是恒虛警率[1](constant false alarm rate, CFAR),還有模板匹配[2]、尾跡檢測[3]、基于小波變換[4]的檢測方法等。傳統方法的特征提取多依靠人工的設計,難以應對復雜多變的檢測環境。以卷積神經網絡(convolutional neural network, CNN)為框架的深度學習方法在可見光圖像的目標檢測算法中取得了較好的發展,現也被應用到SAR和紅外圖像的目標檢測中。如:針對SAR圖像艦船目標成像小的特點改進神經網絡結構,實現SAR海面艦船目標識別算法[5];提出了一種適應多尺度、小目標檢測的骨干網[6];考慮紅外強度提出一種新的骨干網絡[7]。

深度學習方法有以精度高為優勢的兩階段檢測算法,包括區域CNN(region-CNN, R-CNN)[8]、SPP(spatial pyramid pooling)-Net[9]、Fast R-CNN[10]、Faster R-CNN[11]等,和以速度快為優勢的一階段檢測算法,包括YOLO(you only look once)[12]、SSD(single shot multibox detector)[13]、YOLOv2[14]、YOLOv3[15]等。YOLOv4[16]中指出通過模塊化結構,以上檢測算法都可分為Backbone、Neck、Head 3部分,更利于對特征提取、特征融合、檢測頭的構建和優化。

Backbone作為提取特征的主干網絡,是獲得特征圖的關鍵步驟,視覺幾何群 (visual geometry group, VGG)網絡[17]、ResNet[18]、ResNeXt[19]、Darknet53[15]都是經典的特征提取網絡。近年來,更具目的性的Backbone應運而生。Hourglass將重復的自下而上和自上而下的處理與中間監督結合使用以提高網絡性能[20];MobileNet是為移動和嵌入式應用提出的高效模型[21];EfficientNet可以在保證精度與速度的同時實現模型縮放[22];HRNet通過并行連接高分辨率到低分辨率卷積以保持高分辨率表示[23]。

Neck可以實現淺層與深層特征圖的融合,達到對Backbone提取的特征充分利用的效果。從特征金字塔網絡(feature pyramid networks, FPNs)到PANet(path aggregation network)[24]、NAS(neural architecture search)-FPN[25]、BiFPN(bi-directional FPN)[22]等,其連接方式越來越復雜。HRFPN是HRNet為了保持高分辨率提出的特征融合方式[23]。Balanced Feature Pyramid使用相同深度集成的平衡語義特征來加強多級特征[26]。經過證實,特征融合結構對平均精度有較為明顯的提升。

Head主要負責預測目標的類別和位置,分為一階段檢測算法的密集預測和兩階段檢測算法的稀疏預測。其中,對于邊界框的預測也分為兩種方法,一種是基于錨框的,另一種是無錨框的。因為使用錨框會造成正負錨框數量巨大不平衡,增加超參數,減緩訓練速度,所以近年來CornerNet[27]、ExtremeNet[28]、CenterNet[29]、FSAF(feature selective anchor-free)[30]、FCOS(fully convolutional one-stage)[31]、FoveaBox[32]等讓無錨框檢測成為另一種邊界框預測的選擇。

對于SAR圖像艦船目標檢測,SAR圖像不僅會伴隨相干斑噪聲的產生,其圖像特征比可見光圖像也更加復雜,且艦船目標在不同場景下尺度變化大,加之環境干擾等因素,給檢測帶來困難。鑒于以上分析,本文將模型分為Backbone、Neck、Head 3部分去創新,方法如下:

(1) Backbone使用改進CSPDarknet53[16]作為特征提取網絡。CSPDarknet53是YOLOv4的主干網絡,可以兼顧精度和速度,并降低模型大小。但SAR圖像干擾大、可利用的特征信息少,所以在CSPDarknet53網絡上增加全局上下文模塊(GC block)[33]來提高網絡注意力,可以減少虛警。

(2) 為了充分融合多層特征圖,Neck部分選擇FPN并使用感受野模塊(receptive field block, RFB)[34],使特征的可區分性和魯棒性更強。

(3) Head采用基于anchor free的FoveaBox進行類別和位置預測,可以更好地適應艦船目標大小的變化,改善了艦船尺寸差別大錨框大小預測不準的問題。

本文把無錨框與骨干網為CSPDarknet的YOLO框架相結合,并用于SAR圖像艦船目標檢測,在公開數據集上取得了性能提升。

1 基于YOLO框架的無錨框SAR圖像艦船目標檢測方法

本文基于YOLO框架,在CSPDarknet53特征提取網絡上增加注意力機制GC block,將提取后的特征圖經過FPN特征融合,得到5層具有不同尺度信息的特征圖,其中大小為104和52尺度的特征圖使用RFB增大感受野,最后由FoveaBox檢測頭進行檢測。網絡結構如圖1所示。

圖1 網絡結構

1.1 基于注意力機制的特征提取網絡

CSPDarknet53是在Darknet53網絡結構的基礎上結合跨階段局部(cross stage partial, CSP)結構形成的主干網絡,CSP結構可以與Backbone結合,使計算量降低的同時保證網絡的精確度,讓目標檢測模型更加輕量化。考慮SAR圖像復雜的特性,增加注意力機制GC block來提高檢測的準確率。將GC block應用到CSPDarknet53特征提取網絡的CSP結構后,可以對全局上下文進行有效建模,實現空域注意力機制。

1.1.1 用于艦船檢測的全局上下文建模

在SAR圖像中,艦船目標呈現大小和形狀面不同的特性,且有海島、陸地物體以及相干斑噪聲的干擾,不易進行目標檢測。增加全局上下文建模有利于特征圖對全文信息的獲取。GC block融合了Non-local[35]和SENet[36],既實現了對全局上下文的建模,又能降低計算量,成為即插即用的注意力機制模塊。

圖2 GC block結構

第2步找到通道間的依賴。Wv 1和Wv 2是1×1卷積,為了使模型輕量化,使用瓶頸轉換模塊代替。層規范化添加在兩層瓶頸轉換(ReLU之前)結構之間,可以降低優化難度,作為利于泛化的正則化器。這部分的計算公式為

δ(·)=Wv 2ReLU(LN(Wv 1(·)))

(1)

1.1.2 可視化結果對比

實驗中采用SAR艦船目標檢測數據集(SAR ship target detection dataset, SSDD)[37]進行可視化結果對比。選擇尺度大小為52的特征圖進行熱力圖可視化(圖3第3行),與沒有使用GC block的同尺度熱力圖結果(圖3第2行)作對比。如圖3所示,第一行為數據集原圖,共選擇4個場景作對比,從左至右依次包括多目標(小尺度)、多目標(較大尺度)、十字相干斑噪聲干擾以及單個大尺度目標。對比可以看出添加GC block可以有效提高注意力,對噪聲干擾和環境干擾有一定抵抗能力。

圖3 熱力圖結果對比

1.2 基于增大感受野的特征金字塔融合網絡

為了讓FoveaBox獲得更多特征信息,選擇使用4層不同尺度的特征圖用FPN進行特征融合。為增大特征圖的感受野,增強深層特征,本文在前兩層FPN上添加RFB,因為后面特征分辨率太小無法使用較大的卷積核,將FPN中1×1卷積替換為RFB。RFB是輕量級增大感受野的方法,能夠增強特征的表達。

RFB是由多分支卷積塊組成的,分為具有不同卷積核的多分支卷積層和空洞卷積層兩部分。前部分與Inception[38]功能相同,可以獲得不同的視野尺度;后部分模擬人類視覺群體感受野的大小和偏心率之間的比率,區分出中心區域,以便在更大的區域和更多上下文中捕獲信息。

RFB在Inception的基礎上增加了空洞卷積,在每個分支中選擇瓶頸結構以減少計算量,3個分支卷積核大小分別為1、3、5,依次膨脹1、3、5,可得到更大的感受野,方便對SAR圖像目標的捕獲。

1.3 無錨框檢測

FoveaBox是一種基于無錨框的檢測方法,逐像素直接預測目標出現的可能性和對應的邊界。FoveaBox將真實的邊界框(x1,y1,x2,y2)映射到不同尺度的特征金字塔上。

(2)

式中:2l是第l層特征金字塔的步長值。由此可知中心點c的位置和映射的真實邊界框的寬、高為

(3)

為了劃分正負樣本,引入(收縮因子,使正樣本比當前映射的邊界框小:

(4)

為了預測邊界框,FoveaBox將特征圖上正樣本區域內的點(x,y)映射回原圖像,再與真實邊界框(x1,y1,x2,y2)計算歸一化偏移,最后用log空間函數正則化:

(5)

FoveaBox對FPN傳來的5層特征圖進行檢測,針對5層特征金字塔圖的大小,設計S分別為32、64、128、256、512作為每層的基本尺度,以確定每層特征圖上可檢測到的目標尺度范圍。在檢測過程中一個目標可能在多層金字塔被檢測到,這樣可以充分利用鄰層信息,使訓練更加可靠。經過訓練,可以為每個(x,y)生成邊界框。

1.4 損失函數

訓練損失函數分為分類損失和回歸損失,定義如下:

(6)

2 實驗及結果分析

使用Ubuntu18.04 LTS操作系統,CPU:Intel Xeon E5-2609 v4 @1.70 GHz(16,GPU:NVIDIA GeForce GTX 1080,內存32 GB,編程語言為python語言,框架為torch。

2.1 實驗設置

選擇SSDD作為實驗的數據集。SSDD共包括1 160張SAR艦船圖像,總計2 456個艦船,擁有多尺度、多角度的艦船圖像,適用于多種場景下的艦船目標檢測。實驗訓練時,從數據集中隨機選取835張作為訓練圖片,185張作為測試圖片,剩余圖片用作驗證,其中測試圖共480個目標。優化算法為SGD,設置初始學習率為0.001,動量為0.9,衰減系數0.000 5。Batchsize為4,共迭代500次,并保存最好的訓練參數。

實驗中所有模型均使用了翻轉和裁剪,可以增廣數據集,利于模型訓練。重新調整輸入圖像的大小,統一調整為416×416進行訓練和檢測。

2.2 實驗結果

2.2.1 消融及對比實驗結果

本文主要使用的是基于YOLO框架的網絡,其中應用了以下改進方法:① 使用FoveaBox無錨框檢測算法;② 選擇CSPDarknet53作為特征提取網絡;③ 在特征提取網絡上增加GC block;④ 在FPN中應用RFB。為了充分說明各種改進方法對檢測的提高,分別進行了消融實驗。結果如表1所示。表2為本文方法與YOLOv3和FoveaBox原文網絡方法的對比結果。

表1 消融實驗結果

表2 對比實驗結果

表1和表2中, AP(average precision)為平均精度,通過對精確率-召回率(P-R)曲線圖求積分得到。Recall為召回率,FA為虛警率。

(7)

在YOLOv3、FoveaBox和本文方法收斂后,將300次迭代的AP結果進行對比,如圖4所示。

圖4 AP結果對比圖

2.2.2 檢測結果

圖5是最終改進方法(實驗序號6)在SSDD數據集上的檢測結果圖,圖5(a)展示了遠海多目標檢測結果,圖5(b)展示了近海多目標檢測結果,圖5(c)展示了大尺度目標檢測結果。圖6是檢測過程中出現虛警、漏警情況的結果圖,紅色框表示虛警,紫色框表示漏警。從以上檢測結果圖看,基于無錨框的檢測方法對各種場景、尺度有較好的適應。

圖5 基于本文方法的檢測結果

圖6 虛警、漏警情況

2.3 實驗分析

從表1和表2可以看出,基于YOLO框架的無錨框SAR艦船目標檢測方法在SSDD檢測中平均精度提高至94.8%,召回率達到96%,相較其他中間過程模型在性能上有一定的提高,與YOLOv3相比平均精度提高了3.8%,模型大小減小了90.1 MB。與FoveaBox原文網絡相比平均精度提高3.6%,虛警率降低36.7%。由于增加模塊導致檢測速度相較YOLOv3和FoveaBox來說有所降低。從圖4可以看出，本文提出的方法平均精度值要優于YOLOv3和FoveaBox。

表1中,比較實驗1～實驗3可知,FoveaBox和FPN的組合可以提高平均精度和召回率,但會導致虛警率略微提高,證明將無錨框應用到SAR圖像艦船目標檢測是可行的;CSPDarknet53網絡可以在原性能上有效減小模型大小,利于網絡輕量化設計。對比實驗3～實驗5可以得出,GC block和RFB都使平均精度、召回率有所降低,GC block主要使虛警率明顯降低,貢獻了5.2%,RFB貢獻了1.7%,說明對于SAR圖像來說全局上下文建模更有利于獲得更準確的信息。對比實驗3和實驗6可知,GC block和RFB共同作用于檢測算法時,能讓平均精度和召回率均提高0.4%,虛警率減少4.5%,比使用其中一種方法取得的效果好。

具體分析圖5可知,本文算法在遠海多目標、近海多目標和不同尺度的目標檢測時,都能夠有良好的檢測結果,且能夠降低干擾的影響,實現對艦船目標的精確識別。圖6是產生虛警、漏警的情況圖,分析原因可知:在海島與艦船形狀、大小相似時易產生虛警;檢測多個相鄰艦船目標時,神經網絡不易識別具體艦船數量,導致虛警、漏警都易增加;沿海環境復雜且沿海多目標樣本較少,會造成漏警增多。

3 結束語

本文基于YOLO框架,把無錨框應用到對SAR圖像的艦船目標檢測任務中,提高了SAR艦船目標檢測的平均精度和召回率。CSPDarknet53特征提取網絡可以輕量化整個模型,使模型大小有效降低。把GC block和RFB應用到網絡中,可以在保持原有平均精度和召回率的同時提升檢測精度,減少虛警,使模型更加可靠,為輕量化提升目標檢測性能提供可行方法。 接下來會針對檢測速度的問題,繼續優化模型,并嘗試遷移應用到其他SAR圖像艦船數據集上,以提升本文方法的泛化能力。