基于YOLOX網絡的SAR圖像艦船目標檢測

曾祥書，黃一飛，蔣忠進

（東南大學毫米波國家重點實驗室，江蘇南京 210096）

0 引 言

合成孔徑雷達（Synthetic Aperture Radar,SAR）是一種在民用和軍事諸多領域具有廣泛應用前景的主動式高分辨率對地觀測系統，不受光照和氣候條件的影響，為國內外廣大學者所關注［1-2］。

近年來，以卷積神經網絡（Convolutional Neural Network，CNN）［3］為代表的深度學習發展迅速，不僅在處理光學圖像處理中取得不俗的成績［4］，在SAR 圖像處理［5-10］中也取得顯著效果。與傳統的SAR 圖像目標檢測方法依賴人工設計提取復雜特征相比，CNN 通過神經網絡自動完成特征提取，實現了“端到端”的處理流程，減少人為干預。

基于卷積神經網絡的目標檢測算法，根據其網絡結構可分為雙階段（two-stage）檢測算法和單階段（one-stage）檢測算法兩大類。雙階段檢測算法首先要生成若干比例、尺寸不一且可能包含物體的候選區域（region proposals），然后將候選區域送入網絡進行目標檢測，該類模型主要包括RCNN、Fast-RCNN、Faster-RCNN［11］等。單階段檢測算法不需要產生候選區域，直接在網絡中提取特征來預測物體的位置和類別，該類模型主要包括SSD和YOLO［12］系列方法。

2016 年Redmon 等提出了YOLO 算法，提出將候選區域劃定和目標分類識別這兩個階段合二為一的方法，雖然在精度上并未超過Faster-RCNN，但在速度上有不少的提升。2017 年該作者再次提出YOLOv2算法，提出一種檢測與分類聯合訓練方法，大大降低了計算復雜度，在準確率、速度、識別種類三方面得到了改進。2018年4月，該作者又提出YOLOv3［13］算法，該算法在保持速度優勢的前提下，進一步提高了檢測精度，尤其是對小目標的檢測能力。至此其綜合性能，無論是速度和精度，都已經超過雙階段檢測算法。2020 年4 月23 日，Alexey Bochkovskiy 提出了YOLOv4 網絡模型。同年5 月30 日，Glenn Jocher 在GitHub 上發布了YOLOv5 網絡模型。2021 年7 月，北京曠視科技發布了最新的YOLOX［14］模型，該模型引入了Anchor-Free、Decoupled Head 等思想，進一步提升了模型在圖像目標檢測與識別中的精度和速度。

國內外很多研究人員都在SAR 圖像目標檢測與識別中引入了深度學習算法，并且取得了不錯的成果。李健偉等構建了國內首個SAR 圖像艦船公開數據集SSDD，并用其訓練Faster-RCNN 網絡［15］，證明了相比傳統算法，深度學習算法的優越性。曹磊等將Faster-RCNN 網絡用于SAR 圖像車輛目標檢測［16］，并加以改進，使其收斂速度更快，檢測精度更高。Hu等提出了一種專門用于船舶檢測的雙極化SAR 數據集（DSSDD），并提出一種基于異常檢測的弱監督船舶檢測方法［17］。

在SAR圖像艦船目標檢測中，針對艦船目標尺寸大小不一、艦船分布密集、背景復雜等問題，本文提出一種基于YOLOX網絡的SAR圖像艦船目標檢測與識別算法。在YOLOX網絡的基礎上，引入CIOU（Complete-IOU）來代替交并比（IOU,Intersection over Union），以得到更加合理的總體損失函數，提高對尺寸大小不一的艦船目標的檢測準確性。在其主干特征提取網絡之后以及加強特征提取網絡之中加入坐標注意力（CA,Coordinate Attention）機制模塊，以便在大量圖像特征信息中，對當前任務更加關鍵的特征信息會被賦予更高的關注度。本文基于SAR 艦船檢測數據集進行了大量的實驗驗證，結果表明，與所選用的對比網絡相比，本文的改進YOLOX網絡具有更好的艦船目標檢測性能。

1 模型方法

1.1 檢測流程

常規YOLOX 網絡模型如圖1所示，包含輸入、主干特征提取網絡、加強特征提取網絡、解耦頭、預測框參數優化及損失計算和輸出幾個部分。

圖1 常規YOLOX目標檢測流程圖

主干特征提取網絡為使用CSP-net 改進的Darknet53 網絡，即CSP-Darknet 網絡，用于基礎特征提取，該網絡包含1 個Focus 結構、1 個卷積塊、3個殘差體、1個SPP殘差體。Focus結構將原始SAR圖像在橫縱坐標方向各做二倍間隔采樣，以減少層數和參數量，起到減少計算量和cuda 內存占用的效果，在mAP 影響很小的情況下，提升推理速度和梯度反傳速度。卷積塊包含卷積（Convolution）、批量歸一化（BN,Batch Normalization）和激活函數（SiLU）三部分。3 個殘差體中，每個殘差體都由1個卷積塊和1 個CSP 結構組成。CSP 結構由卷積塊及n個殘差塊連接而成。位于最后的SPP 殘差體中，將SPP 結構置于卷積塊與CSP 結構之間，該SPP 結構能通過池化核大小不同的最大池化處理進行特征提取，以提高網絡的感受野。經過主干特征提取網絡將依次獲得大、中、小尺度的基礎特征層FB_1、FB_2和FB_3。

加強特征提取網絡用于多尺度特征提取與融合。該網絡首先將小尺度基礎特征層FB_3通過卷積塊處理，得到小尺度特征層FM_3；對FM_3進行上采樣并與中尺度基礎特征層FB_2融合，并經CSP 和卷積塊處理，獲得中尺度特征層FM_2；對FM_2進行上采樣并與大尺度基礎特征層FB_1融合，獲得大尺度特征層FM_1。利用CSP 結構對FM_1進行特征提取，獲得大尺度加強特征層FE_1；將FE_1進行下采樣并與FM_2融合后，再經CSP處理獲得中尺度的加強特征層FE_2；將FE_2進行下采樣并與FM_3融合后，經過CSP處理獲得小尺度加強特征層FE_3。

解耦頭分別利用大、中、小尺度的加強特征層FE_1、FE_2和FE_3，獲得三組邊框回歸與目標分類參數，進行預測框優化以及損失計算。

在網絡訓練階段，以大小為608×608的SAR圖像訓練數據集為例，將其輸入到主干特征提取網絡后，進行大、中、小尺度的基礎特征提取。將得到的三個基礎特征層繼續傳入加強特征提取網絡，得到大小分別為76×76、38×38、19×19的三個加強特征層。將獲得的三個加強特征層分別傳入三個解耦頭中，獲得分別針對小、中、大目標的三組邊框回歸與目標分類參數。將這些參數和訓練數據的標簽信息進行比較，計算損失函數，并反向傳播來更新網絡參數。如此往復迭代，直至網絡參數收斂。

在網絡測試階段，利用訓練好的網絡模型對測試數據集進行處理，并獲得邊框回歸與目標分類參數。利用這些參數生成預測框，并使用非極大值抑制NMS（Non-Maximum Suppression）算法，刪除冗余預測框，得到和目標一對一匹配的多個檢測框。然后利用檢測框參數和測試數據的標簽信息進行對比，統計準確率和召回率等各項檢測指標。

1.2 損失函數

以大小為608×608 的輸入圖像為例，經過處理，解耦頭會輸出尺度分別為76×76、38×38、19×19的三個特征層，特征層的每個元素稱為一個特征點，一共有76×76+38×38+19×19=7581個特征點。

根據標簽數據中的真實框信息，經過初步篩選和SimOTA 精細化篩選，確定特征點中的正例和反例。此處正例指包含目標的特征點，反例指不包含目標的特征點。根據各個特征點的邊框參數，可以確定其在輸入圖像上的預測框。

根據預測框和真實框信息計算YOLOX 網絡的損失函數，包括框回歸損失lreg、置信度損失lobj、分類損失lcls三部分。損失函數表示如下:

傳統的框回歸損失lreg由正例預測框和真實框之間的IOU 損失構成。對于任一正例預測框A和其對應的真實框B，IOU及IOU損失lIOU計算如下:

式中，?表示求交運算，?表示求并運算。交并比描述了兩個邊框之間的重疊程度，如果兩個邊框之間的IOU 值越大，那么它們之間的距離度量就會越小，重疊度越高。

但是IOU 在作為損失函數時有兩點局限:首先，在A框與B框無重合區域時，無論二者的距離為多大，IOU 均為0，而事實上距離近者比距離遠者回歸效果更好；其次，在A框與B框有重合區域時，即便IOU 值相同，也可能對應檢測效果相差很大的多種情形。后一個問題如圖2所示，其中三幅圖的IOU 均為0.43，但其回歸效果是不同的，圖2（a）的回歸效果最好，圖2（c）的回歸效果最差。

圖2 相同的IOU值對應不同重合度

本文為了彌補IOU 的缺陷，引入CIOU 來替代IOU，以提高SAR 圖像中艦船目標檢測的準確性。CIOU同時考慮了框的寬高比信息和框之間的距離信息，使其作為損失函數更為合理。CIOU定義如下:

式中，ρ(A,B)表示A框與B框中心點坐標的歐式距離，而c則是包住A和B的最小方框的對角線距離，α是權重函數，ν用來度量寬高比的一致性，其表達式如下:

其中，wA和hA分別代表正例預測框A的寬和高，wB和hB分別代表對應真實框B的寬和高。CIOU損失定義為

針對圖2 的三種情況，其IOU 值相同，但其CIOU 值分別為0.43，0.40，0.37，所以按照CIOU 的衡量標準，（a）的回歸效果最好，（b）其次，（c）最差，正例預測框的形狀和位置都更接近于真實框。

所以，本文的框回歸損失lreg計算如下:

式中，λ為回歸權重，N為正例預測框數目，lnCIOU為第n個正例預測框及其對應真實框之間的CIOU損失。

置信度損失lobj和分類損失lcls分別計算如下:

式中:M為預測框數目，Bm代表第m個預測框的置信度分數，代表第m個預測框為正例或反例，若是正例則為1，否則為0；Cn代表第n個正例預測框所包含的目標種類編號，代表第n個正例預測框所對應的真實框所包含的目標種類編號。

1.3 注意力機制

在圖像處理中，注意力機制通過對不同區域賦予不同的權重，以強化對圖像中重要區域的特征提取。在YOLOX 網絡中，注意力機制可以賦予特征層中不同特征點不同的權重，并對這些權重進行適應性調整，從而提取出更為關鍵的特征信息，在不增加計算和存儲的情況下，讓網絡做出更為準確的判斷。

本文引入坐標注意力（CA，Coordinate Attention）機制［18］，將特征層分解為X方向和Y方向的兩個一維特征編碼，有效地將SAR 圖像中地物空間坐標信息整合到這兩個特征編碼中。CA不僅考慮了地物位置信息還考慮了通道間的關系，有助于網絡更準確地定位和識別目標。CA機制的示意圖如圖3 所示。圖中H、W、C分別表示特征層的高、寬、通道數。CA 機制中，首先將尺寸為H×W×C的輸入特征層Fin分別在水平方向（X方向）和垂直方向（Y方向）進行一維全局平均池化，獲得尺寸為H× 1 ×C的垂直特征層ZH和尺寸為1 ×W×C的水平特征層ZW。

圖3 CA機制示意圖

在ZH中，第c通道的第h個元素可以表示為

在ZW中，第c通道的第w個元素可以表示為

式中，Fin(h,w,c)代表輸入特征層Fin的第c通道中的第h行第w列的元素。

在獲得具有全局感受野和精確位置信息的特征層ZH和ZW之后，采用具有B個卷積核的卷積變換函數QB對ZH和ZW進行二維卷積處理，將其通道維度降低為B。再經過批量歸一化函數fBN和非線性激活函數δ的處理，得到尺寸為H× 1 ×B的垂直特征層UH和尺寸為1 ×W×B的水平特征層UW，如下式所示:

然后，將特征層UH和UW分別通過具有C個卷積核的卷積變換函數QC進行二維卷積處理，將通道數調整為C。再通過Sigmoid 激活函數σ得到垂直特征編碼GH和水平特征編碼GW，如下式所示:

最后，GH和GW相乘，得到一個尺寸為H×W×C的特征層，再與輸入特征層Fin進行矩陣元素對應相乘，得到帶有地物位置信息的輸出特征層Fout，如下式所示:

式中，Fout(h,w,c)代表Fout的第c通道中的第h行第w列的元素。

1.4 改進YOLOX網絡結構

本文改進后的YOLOX 網絡結構如圖4 所示。相比于傳統YOLOX 網絡，改進YOLOX 網絡引入了坐標注意力CA機制，改進了損失函數的計算。

圖4 改進YOLOX目標檢測流程圖

在主干特征提取網絡中，3個基礎特征層FB_1、FB_2和FB_3之后都添加了CA 模塊；在加強特征提取網絡中，兩處下采樣之后也都添加了CA 模塊。該模塊在不改變其他網絡模塊結構的同時，為特征層中的各個特征點賦予不同的權重，并在訓練過程中自適應地調整這些權重，以強化對SAR 圖像中重要區域的特征提取。

在框回歸損失函數中，引入CIOU 替代IOU，以更好地利用預測框和真實框之間的相對位置信息和形狀信息，使得預測框朝著與真實框重疊度更高、對齊程度更好的方向優化，以提高目標檢測準確度。

2 實驗驗證

本文基于Python 3.7和TensorFlow 2.3框架，開發了深度學習代碼并完成了艦船目標檢測實驗。所使用的操作系統是64 位Windows 10，計算機處理器是AMD Ryzen 9 5900X 12-Core Processor 3.70 GHz，內存容量為32 GB（DDR4 3200MHz），顯卡是NVIDA GeForce RTX3080（10 GB）。

本文的艦船目標檢測實驗使用高分辨率SAR艦船檢測數據集AIR-SARSHIP-2.0［19］。該數據集包含十余類艦船和多種復雜背景，一共300幅SAR圖像，總計2 040 個艦船目標。為了增加研究數據容量，提升算法測試效果，本文采用了翻轉、平移、調整亮度等方法，對實驗數據集進行了數據擴充，擴充后一共有1 500 幅圖像。試驗中，訓練集加驗證集與測試集的比例為8∶2，訓練集與驗證集的比例為9∶1。

本文選擇了Faster-RCNN、YOLOv3、常規YOLOX 以及本文提出的改進YOLOX 四種網絡，進行訓練和測試后，用于艦船目標檢測效果對比。

2.1 艦船目標檢測效果圖

首先，本文進行了復雜港口背景下的艦船目標檢測實驗，部分結果如圖5 所示，其中矩形框標示程序檢出目標，虛線橢圓框標示虛檢目標，實線橢圓框標示漏檢目標。

圖5 復雜港口背景下的艦船目標檢測結果

從圖5 可以看出，Faster-RCNN 網絡的檢測結果中存在六處虛檢和七處漏檢，YOLOv3 網絡的檢測結果中存在六處漏檢，常規YOLOX 網絡的檢測結果中存在三處漏檢，而改進YOLOX 網絡只存在一處漏檢，說明改進YOLOX 網絡在復雜港口背景下具有更好的艦船目標檢測效果。

然后，本文進行了海面密集艦船目標檢測實驗，部分結果如圖6所示。

圖6 海面密集艦船目標檢測結果

從圖6 中可以看出，Faster-RCNN 網絡的檢測結果中存在兩處虛檢和四處漏檢，YOLOv3 網絡的檢測結果中存在一處虛檢和五處漏檢，常規YOLOX網絡的檢測結果中存在五處漏檢，而改進YOLOX 網絡只存在兩處漏檢，說明本文的改進YOLOX 網絡在海面密集艦船目標檢測中具有更好的檢測效果。

從檢測實驗中可以看出，本文的改進YOLOX網絡能夠有效地減少虛檢，但還會存在少量的漏檢。經過分析，導致漏檢的原因有如下兩點:

1）訓練數據集中，某些類艦船的數量較少，在網絡訓練階段不能有效地提取到該類艦船的特征，進而導致在測試階段該類艦船的置信度分數較低，不能被準確檢測出，產生漏檢。

2）某些艦船目標距離太近，出現相互遮擋的情況，網絡可能已經檢測出目標，但是由于多個預測框之間的重疊部分較大，某些預測框在NMS 處理中被作為冗余框刪除，產生漏檢。

2.2 檢測性能評價指標

本文使用準確率rP、召回率rR，以及二者的調和平均數F1［16］，作為檢測性能評價指標。并基于AIR-SARSHIP-2.0 數據集進行了大量實驗，統計得到Faster-RCNN 網絡、YOLOv3 網絡、常規YOLOX網絡以及改進YOLOX 網絡的檢測性能評價指標，如表1所示。

表1 檢測性能評價指標比較

由表1 可以看出，在SAR 圖像艦船目標檢測中，相較于Faster-RCNN 網絡，YOLOv3網絡的召回率rR略有降低，但準確率rP和調和平均數F1值明顯提高，虛檢更少。相比于前兩種網絡，常規YOLOX 網絡在召回率rR、準確率rP、調和平均數F1值三方面均有明顯提升。相比于常規YOLOX 網絡，本文的改進YOLOX 網絡的準確率rP提高了3.24%，召回率rR提高了20.84%，說明改進YOLOX網絡在SAR 圖像艦船目標檢測中具有更好的檢測效果。

2.3 P-R曲線和mAP值

基于大量實驗結果，本文繪制出四種網絡所對應的P-R曲線（準確率-召回率曲線/Precision-Recall 曲線），并計算其平均精度mAP（mean Average Precision）值，如圖7所示。

圖7 P-R曲線和mAP值比較

由圖7 可知，YOLOv3 網絡的平均精度比Faster-RCNN 網絡提高了17.11%，常規YOLOX 網絡比YOLOv3網絡提高了7.00%，而改進YOLOX 網絡又比常規YOLOX 網絡提高了8.4%，說明改進YOLOX網絡具有更好的艦船目標檢測效果。

2.4 計算時間對比

本文利用訓練后的Faster-RCNN 網絡、YOLOv3 網絡、常規YOLOX 網絡以及改進YOLOX 網絡，對同一組尺寸為1 000×1 000 的SAR 圖像進行艦船目標檢測，并統計計算時間和處理速度。Faster-RCNN 網絡的計算時間為0.067 s，處理速度為14 FPS；YOLOv3 網絡的計算時間為0.017 s，處理速度為56 FPS；常規YOLOX 網絡的計算時間為0.015 s，處理速度為65 FPS；改進YOLOX網絡的計算時間為0.017 s，僅為Faster-RCNN 網絡計算時間的25.37%，處理速度為56 FPS。

由此可見，作為一種單階段網絡，YOLOv3 的計算時間相比于雙階段網絡Faster-RCNN 有明顯縮減，而常規YOLOX 網絡比YOLOv3 網絡亦略有提升。由于在網絡結構里添加了基于CA 機制的模塊，本文的改進YOLOX 網絡的計算時間略長于常規YOLOX網絡，但與YOLOv3網絡相當。

3 結束語

本文提出一種基于深度學習的改進YOLOX卷積神經網絡，并用于SAR 圖像艦船目標檢測。在該網絡中，引入了坐標注意力（CA）機制以強化重要區域的特征提取，并改進了框回歸損失函數以提高目標檢測的準確性。

本文基于AIR-SARSHIP-2.0 數據集，選擇了Faster-RCNN、YOLOv3、常規YOLOX 作為對比網絡，分別在復雜港口環境和海面密集目標環境下進行了大量SAR 圖像艦船目標檢測實驗，以驗證改進YOLOX網絡的有效性。

實驗結果表明，相比3 種對比網絡，改進YOLOX網絡具有更高的準確率、召回率和F1值，在檢測結果中會出現更少的虛檢和漏檢。在P-R 曲線和mAP 值兩個綜合指標方面，改進YOLOX 網絡均優于另外3個對比網絡。

本文比較了4種網絡的計算時間和處理速度，作為單階段網絡的3 種YOLO 網絡的計算時間明顯低于作為雙階段網絡的Faster-RCNN 網絡。同時，在3種單階段網絡中，改進YOLOX 網絡的計算時間略長于常規YOLOX 網絡，與YOLOv3 網絡持平。