基于錨框自適應和多尺度增強的SAR艦船檢測

邵子康, 張曉玲,*, 張天文, 曾天嬌

(1. 電子科技大學信息與通信工程學院, 四川 成都 611731; 2. 電子科技大學航空航天學院, 四川 成都 611731)

0 引 言

合成孔徑雷達(synthetic aperture radar, SAR)是一種先進的地球觀測遙感工具[1]。相比于光學傳感器,SAR具有全天時、全天候工作的能力。因此,SAR被廣泛應用于農業管理、海洋監視等領域。海洋艦船檢測作為一項基本海洋監視任務,在多個領域都具有廣泛的應用[2]。在民用領域,SAR艦船檢測在漁業管理、港口調度等方向發揮著重要作用。此外,SAR艦船檢測對國防安全、邊境管理等具有重要意義。因此,SAR艦船檢測受到了學者們的廣泛關注[3]。

傳統SAR艦船檢測算法通常基于專家經驗來分析SAR圖像中海面艦船的特點,采用手工方式定義艦船特征,最后基于所定義的特征在SAR圖像中搜索艦船[4]。常見的傳統SAR艦船檢測算法包括基于恒虛警率的算法[5]、基于極化分解的算法[6]、基于變換域的算法[7],以及基于視覺顯著性的算法[8]。這些方法依賴于手工特征,在面對復雜的海洋環境時,存在泛化能力較差、對復雜場景適應性不強等問題[9]。

近年來,基于深度學習的SAR艦船檢測方法因其具有對復雜場景適應能力強、泛化能力優秀等優點,受到了學者們的廣泛關注[10-14]。文獻[10]基于YOLO(you only look once)模型[11],實現了無錨框SAR艦船檢測。文獻[12]基于RetinaNet模型[13],引入分離卷積和空間注意力機制提高檢測精度。文獻[14]基于RetinaNet模型,提出了一種使用旋轉檢測框的SAR艦船檢測模型。以上方法均未能實現錨框自適應學習,這可能導致錨框無法適應多形態艦船目標,從而可能導致檢測精度下降。

因此,本文提出了一種基于自適應錨框和多尺度增強網絡(adaptive anchor multi-scale enhancement network, AA-MSE-Net)的SAR艦船檢測方法,該方法的主要貢獻如下:

(1) 引入了自適應錨框機制,來生成適應目標形態的高質量錨框,增強了艦船形態描述能力;

(2) 提出了多尺度增強特征金字塔網絡(multi-scale enhancement feature pyramid network, MSE-FPN)來融合增強多尺度特征,增強了多尺度描述能力;

(3) 引入了變形卷積(deformable convolution, D-Conv)來提取艦船形變特征,進一步提高檢測精度。

1 方法原理

AA-MSE-Net的結構如圖1所示,其由骨干網絡、特征金字塔、區域建議網絡(region proposal network, RPN)和檢測頭構成。首先由骨干網絡提取輸入SAR圖像的多尺度特征圖,然后在特征金字塔中進行融合增強,接著將融合增強的特征圖輸入RPN和感興趣區域對齊(region of interest alignment, ROIAlign)模塊提取特征子集。ROIAlign可將RPN生成的不同尺度的候選框映射為大小統一的候選框[15],最后將特征子集輸入檢測頭中,以獲取SAR艦船檢測結果。圖1中紅色字體表示AA-MSE-Net的各項改進。

圖1 AA-MSE-Net結構圖Fig.1 Structure of AA-MSE-Net

1.1 自適應錨框

大多數目標檢測模型,例如Faster區域總卷積神經網絡(region convolutional neural network, RCNN)[16]、YOLO[11]以及Cascade RCNN[17]等模型均基于錨框實現目標檢測。錨框是一組人工設計的矩形框,具有固定尺寸和長寬比,作為分類和回歸的基準[18]。然而,如圖2所示,艦船長寬比差距較大,使用人工設計的固定長寬比錨框可能與艦船實際形態有較大偏差,無法準確預測艦船形狀[19]。

圖2 不同艦船長寬比Fig.2 Different ship’s aspect ratio

因此,受文獻[20]啟發,在RPN中引入自適應錨框機制,以在RPN中生成高質量的位置自適應和形狀自適應錨框。錨框自適應生成網絡的結構圖如圖3所示。

圖3 自適應錨框生成網絡結構圖Fig.3 Structure diagram of adaptive anchor generator network

錨框自適應生成網絡含有兩個并行的分支,分別用于預測錨框尺寸和錨框位置。對于大小為H×W×C的輸入特征圖Q,首先,使用一個1×1卷積層(記為CL)預測錨框位置,并使用Sigmoid函數激活:

CL(Q)=WL·Q

(1)

QL=Sigmoid(CL(Q))

(2)

式中:WL為1×1卷積層CL的權重系數。Sigmoid激活函數定義如下:

(3)

1×1卷積層CL和激活函數Sigmoid輸出大小為H×W×1的特征圖QL。QL上的每個位置的值表示錨框產生在當前位置的概率。設位置閾值為εL,對于QL上的任意位置(x,y),當QL(x,y)>εL時,網絡在該位置生成錨框,否則不生成。εL設置過高會導致生成錨框過少,進而導致目標漏檢。εL設置過低會導致生成錨框過多,干擾檢測精度。因此,根據文獻[20]和文獻[21],將位置閾值εL設置為0.01。由于含艦船目標位置僅占SAR圖像中的一小部分,使用焦點損失[13]作為位置預測分支的損失函數,以避免產生大量負樣本,干擾檢測精度,即:

lossFL(pt)=-at(1-pt)γlog2pt

(4)

(5)

式中:y表示真值,y=1表示正例,否則為負例;p表示預測概率,取值范圍為[0, 1];at表示加權因子,設置為經驗值0.25。

接著,如圖3所示,另使用一個1×1卷積層(記為CS)預測錨框尺寸。該過程可描述為

CS(Q)=WS·Q

(6)

QS=CS(Q)

(7)

式中:WS為1×1卷積層CS的權重系數。

CS輸出大小為H×W×2的特征圖QS。輸出特征圖通道數設置為2表示分別預測錨框寬度w和錨框高度h。因此,QS上的每個位置的值均表示當前位置錨框的寬度和高度。考慮到錨框形狀預測分支對錨框的空間位置較為敏感,使用交并比(intersection over union, IOU)損失[22]作為該預測分支的損失函數。IOU定義為真值框和預測錨框的交集,與真值框和預測錨框的并集之比,即有

(8)

式中:G表示真值框;P表示預測錨框。

根據文獻[22],IOU損失定義如下:

(9)

最后,將QL和QS結合得到自適應錨框。此外,考慮到尺度較大錨框應對特征圖較大區域編碼,尺度較小錨框則對應特征圖較小區域[20],添加了特征圖偏移場,使得不同大小的錨框與所對應的特征圖區域相匹配。該過程可描述為

(10)

綜上,通過基于自適應錨框生成網絡,產生了基于艦船實際形態的自適應錨框,隨后通過ROIAlign將其映射至匹配轉換后的特征圖,以提取其對應的特征區域,并用于后續檢測頭。

1.2 多尺度增強金字塔

如圖4所示,由于衛星拍攝視角不同、艦船自身尺寸不同、雷達觀測構型不同、系統參數和成像分辨率不同等多方面原因,SAR圖像中艦船呈現出多尺度的特點[23]。星載SAR圖像中的SAR艦船,往往具有尺度較小的特點[24]。相對地,機載SAR圖像中的艦船往往尺度更大。不同種類的船只本身尺度差異也很大,漁船、貨船具有較小的尺度。軍艦、貨輪具有較大的尺度。艦船間較大的尺度差異給艦船檢測帶來阻礙[25]。

圖4 不同艦船尺度Fig.4 Ship with different scales

先前已有一些對多尺度SAR目標檢測的研究,文獻[26]提出了一種改進的YOLOX網絡,以改善多尺度檢測精度。文獻[27]使用多個跨尺度連接的特征層增強尺度信息交互。文獻[28]利用密集連接感受野模塊增強多尺度特征。本文從特征融合的角度出發,為了增強多尺度特征,提高網絡多尺度描述能力,設計了MSE-FPN。

圖5展示了MSE-FPN的網絡結構。由圖5所示,MSE-FPN主要包含兩個部分:路徑增強和空間融合。路徑增強的核心在于增加了一條自底而上的路徑聚合支路,以補充特征金字塔中高層空間位置缺失的信息。大多數金字塔網絡使用自頂而下的路徑,將高層語義信息傳遞到低層。然而,低層空間信息未能充分融合,易導致檢測框位置的偏差[29]。因此,低層空間信息對檢測精度的提高具有重要的意義。如圖5所示,為了增強低層空間信息的向上融合,MSE-FPN增加了一條自底而上的路徑聚合支路。

圖5 MSE-FPN結構圖Fig.5 Structure of MSE-FPN

此外,為了平衡來自多個尺度的信息特征,MSE-FPN還加入了空間融合模塊[30],將多尺度信息融合增強,如圖5所示。首先,路徑增強后的特征圖E″被整形為大小一致的特征圖,為了使融合效果更好,選擇整形后大小與E3一致[31]。接著,通過全局注意力增強模塊建立空間自注意,減少因融合帶來的信息干擾。全局注意力增強模塊可描述為

(11)

1.3 基于可變形卷積的骨干網絡

如圖6(a)和圖6(b)所示,使用標準3×3卷積對形態各異的艦船提取特征存在局限,無法對船的形狀信息建模,不利于后續網絡對艦船形狀的預測。因此,受文獻[32]的啟發,在骨干網絡中引入了可變形卷積,在特征提取階段對艦船的形狀信息建模并融合至多尺度特征圖中,以便后續處理。圖6(c)和圖6(d)展示了基于可變形卷積的特征提取,可以自適應地擬合艦船形狀,并避免背景干擾。

圖6 標準卷積和可變形卷積示意圖Fig.6 Schematic diagram of standard convolution and deformable convolution

圖7展示了基于可變形卷積的骨干網絡結構。骨干網絡基于經典的深度殘差網絡-50(Residual network-50, ResNet-50)[33],將其卷積層均替換為可變形卷積層,并在骨干網絡的輸出端加入1×1大小的可變形卷積層。可變形卷積增強了骨干網絡的特征提取能力,使其能自適應提取艦船形變特征,以提高檢測精度。

圖7 可變形卷積的骨干網絡結構圖Fig.7 Structure of deformable convolution backbone network

基于可變形卷積的骨干網絡核心是可變形卷積,圖8展示了可變形卷積的基本結構。如圖8所示,記輸入特征圖為X,大小為W×H×C,首先使用3×3卷積層學習每個卷積區域的N個位置偏移量(N等于輸入特征圖中的元素數)。由于每個位置偏移由x方向偏移和y方向偏移構成,因此輸出特征圖大小為W×H×2N。然后,將學習得到的卷積核偏移量Δpn作用于原始卷積區域,并通過卷積運算得到每個位置的輸出。對輸入卷積層的所有位置執行上述操作,即可獲得可變形卷積的輸出X′。該過程可描述為

圖8 可變形卷積結構圖Fig.8 Structure of deformable convolution

(12)

式中:X′為可變形卷積的輸出;w為網絡權重參數;X為輸入特征圖;R為指定卷積區域;p0為可變形卷積核的中心位置;pn遍歷整個卷積區域R;Δpn為卷積核偏移量,由網絡學習獲得,且為浮點型小數。

因此,添加偏移量的位置p=p0+pn+Δpn,也為浮點型小數。為了使新位置p能嵌入特征圖中(要求位置為整數),對輸入特征圖在位置p進行雙線性插值:

(13)

式中:q為輸入特征圖X的整數位置;G(·)為二維雙線性插值核,由兩個一維插值核構成:

G(q,p)=G(qx,px)·G(qy,py)

(14)

g(a,b)=max(0,1-|a-b|)

(15)

式中:qx和px表示x方向插值位置;qy和py表示y方向插值位置。

2 實驗數據及配置

2.1 實驗數據

本文在公開數據集BBox-SSDD[34]上進行實驗。BBox-SSDD數據集上含有來自Radarsat-2、TerraSAR-X和Sentinel-1衛星的1 160張樣本,共計2 587艘艦船。圖像平均尺寸為500像素×500像素,圖像中艦船尺度分布廣泛,最小艦船尺寸為5像素×4像素,最大艦船尺寸為180像素×308像素。圖9展示了BBox-SSDD數據集艦船尺度分布。由圖9可知,BBox-SSDD中的艦船具有多尺度特點。艦船尺寸集中分布在左下角,表示小尺度艦船較多;部分較大艦船尺寸分布在圖上其他位置,表示尺度分布不均。

圖9 BBox-SSDD數據集艦船尺度分布圖Fig.9 Distribution of ship scales in BBox-SSDD dataset

2.2 實驗設置

AA-MSE-Net訓練及測試圖像大小均使用經典雙線性插值,調整大小為512×512。優化器選用隨機梯度下降(stochastic gradient descent, SGD),學習率設置為0.01,動量設置為0.9,權重衰減設置為0.000 1[35]。訓練迭代次數設置為12,在第8次迭代和第11次迭代時學習率衰減為原本學習率的1/10。受限于硬件,訓練批次大小batchsize設置為2。程序運行的計算機平臺使用i7-10700 CPU,顯卡為Nvidia 2080Ti。使用Windows操作系統,程序編寫語言為Python,編程框架為Pytorch。

AA-MSE-Net訓練檢測頭網絡的損失函數分為分類損失LCLS和回歸損失LREG:

(16)

(17)

L1(x)=|x|

(18)

3 實驗結果及分析

3.1 評價指標

本文采用PASCALVOC[36]格式數據集,因此采用基于PASCALVOC數據集的評價指標來衡量檢測性能。評價指標主要包括召回率(Recall),準確率(Precision)和均值平均精度(mean average precision, mAP)。召回率定義為

(19)

式中:TP表示真正例,即正確的正樣本;FN表示假負例,即錯誤的負樣本。

準確率定義為

(20)

式中:FP表示假正例,即錯誤的正樣本。

mAP通過對精度召回率曲線求積分得到,定義為

(21)

式中:N為類別數。在本文中僅有艦船一類目標,因此mAP等同于平均精度(average precision, AP)[37],本文中均以AP代替mAP。

3.2 對比實驗結果

表1展示了在BBox-SSDD上,AA-MSE-Net與其他8種現有方法的SAR艦船檢測定量對比結果,包括Faster RCNN[16]、YOLOv3[11]、高分辨率艦船檢測網絡(high resolution ship detection network, HR-SDNet)[38]、Cascade RCNN[17]、Libra RCNN[31]、Double-Head RCNN[39]、Free-Anchor[40]、Grid R-CNN[41]。上述方法參數設置盡量與其原始工作保持一致,以保證實驗的公平性。由表1可知,相較于其他8種現有方法,AA-MSE-Net具有最高的SAR艦船檢測精度,且高于次優模型Double-Head RCNN 1.87%。

表1 定性對比實驗結果Table 1 Quantitative comparison results %

圖10展示了在BBox-SSDD數據集上,AA-MSE-Net與次優模型Double-Head RCNN,以及初始模型Faster RCNN的檢測結果對比。圖10(a)展示了真值框,圖10(b)展示了Faster RCNN的檢測結果,圖10(c)展示了Double-Head RCNN的檢測結果,圖10(d)展示了AA-MSE-Net的檢測結果。如圖10所示,AA-MSE-Net對于多尺度艦船具有更優秀的檢測能力,例如對比圖10中第1列圖像,在近岸復雜場景、大小艦船混雜的環境下,Faster RCNN模型和Double-Head RCNN模型均存在小尺度艦船重復檢測以及出現陸地虛警的現象,而本文所提出的AA-MSE-Net則準確檢測到不同尺度的艦船,且沒有出現虛警。這是因為AA-MSE-Net的多尺度增強金字塔能夠增強多尺度特征,以及可變形卷積的引入增強了網絡特征提取能力,并減少了背景干擾。此外,如圖10中第2列圖像所示,對于海面上的大尺度艦船,AA-MSE-Net能夠提供更準確的檢測結果。對比圖10中第2列圖像,Faster RCNN模型受背景干擾,在圖像右側產生了虛警。Double-Head RCNN模型則出現了重復檢測的問題。而AA-MSE-Net模型未產生虛警以及復檢問題,這是因為AA-MSE-Net引入了自適應錨框生成機制,可根據艦船實際形態產生質量較高的自適應錨框。此外,多尺度增強金字塔中的全局自注意力機制有效抑制了背景噪聲,從而減少了海面虛警。如圖10中第3列圖像所示,對于海面上小尺度艦船,AA-MSE-Net能夠提供更準確的檢測結果。Faster RCNN模型產生了3個漏檢,而AA-MSE-Net模型僅產生了1個漏檢。這證明了AA-MSE-Net對小尺度艦船目標也具有更高的檢測精度,同時證明了AA-MSE-Net對多尺度艦船目標都具有更高的檢測精度。

圖10 定性結果對比Fig.10 Comparison of qualitative results

3.3 消融實驗結果

表2展示了AA-MSE-Net的消融實驗結果。本文以Faster RCNN為基礎模型,在其中加入自適應錨框、MSE-FPN以及D-Conv。由表2可知,在加入上述改進后,AP值逐漸提高,由89.74%逐漸提升至92.42%。首先,加入自適應錨框后,由于網絡能夠根據圖像內容自適應生成尺度合適的錨框,檢測精度AP上升至91.29%。其次,加入多尺度增強金字塔后,網絡多尺度艦船檢測能力增強,檢測精度AP上升至91.66%。最后,在骨干網絡中加入可變形卷積后,網絡特征提取能力增強,檢測精度上升至92.97%。因此,綜上所述,本文提出的改進方法均能有效提高艦船檢測精度。

表2 消融實驗結果Table 2 Results of ablation experiment %

4 結 論

針對目前基于深度學習的SAR艦船檢測錨框尺度固定以及多尺度檢測性能較差的問題,提出了一種基于AA-MSE-Net的SAR艦船檢測方法。首先,AA-MSE-Net引入了自適應錨框機制,增強了艦船形態描述能力。其次,AA-MSE-Net提出了多尺度增強金字塔,增強了多尺度描述能力。最后,AA-MSE-Net在骨干網絡中引入了可變形卷積,進一步提高了檢測精度。在數據集BBox-SSDD上的實驗證明了AA-MSE-Net具有更好的艦船形態描述能力、更強的多尺度描述能力以及更高的檢測精度。相較于8種對比模型,AA-MSE-Net的檢測精度AP高于次優模型1.87%。