基于Att-DConv 的遙感艦船檢測方法研究

何民華，張潤達，趙勝利

（1. 交通運輸部南海航海保障中心廣州海事測繪中心，廣東 廣州 510000；2. 廣州市地鐵設計研究院股份有限公司，廣東 廣州 510000）

航天遙感衛星技術的快速發展使得遙感衛星影像在時間、空間分辨率上取得了很大進步，以衛星遙感影像為基礎的相關技術也在林業資源管理、軍事偵察、應急救援等領域發揮了越來越重要的作用[1]?；谶b感影像的船舶目標檢測技術對于提高海上航行效率、軍事情報偵察以及海上交通安全等方面具有重要的應用價值，是當前遙感影像智能處理的熱點研究方向之一。許多結合人工算子與機器學習的方法曾被用于檢測遙感影像中的艦船目標，Tran T H[2]等曾提出一種結合視覺背景提取器與頻譜殘差的海上船舶檢測算法；da Silva B R F[3]等也曾提出一種在候選圖像中使用梯度直方圖，再利用支持向量機和K近鄰算法對艦船目標進行分類的算法，上述方法大多先通過傳統算子來描述艦船目標特征，再通過淺層機器學習算法實現特征目標的檢測。然而，受傳統算子對目標非線性特征表達能力不足[4]、淺層機器學習模型泛化能力較差[5]等因素影響，上述經典方法在實施以小尺度目標為主的遙感影像船舶檢測任務時，普遍存在誤檢、漏檢率高，對不同背景下的船只目標不敏感等問題。近兩年不依賴人工設計算子、非線性特征提取能力更強的深度學習卷積神經網絡算法正成為目標檢測、實例分割等領域的主流方法，已在多個領域取得了很多的應用成果。劉冰潔[6]等運用Faster R-CNN 與U-Net 的組合設計了基于遙感影像的尾礦庫檢測方法，能在稀少樣本條件下，通過特征提取與最優特征組合實現不同區域尾礦庫高精度識別與提取，可為尾礦庫科學管理工作提供一定技術支持；黃文涵[7]等針對復雜駕駛場景下的目標檢測問題，以RetinaNet為基本框架提出了一種基于擴張卷積特征自適應融合的檢測方法，在復雜駕駛場景數據集BDD100 K 上的測試結果表明，該方法能有效提升目標檢測算法在復雜駕駛場景下的檢測性能；黃西堯[8]等針對地球同步軌道目標的檢測問題，結合卷積神經網絡與拓撲掃描的檢測方法，在測試數據集上取得了80.7%召回率的檢測結果；周佳瑋[9]等提出了一種結合高分辨率和多時序遙感影像的深度學習水稻提取方法，通過全卷積網絡對BJ-2號高分遙感影像進行分類，使用長短期記憶網絡與隨機森林Sentinel-2 多時序遙感影像進行分類，再通過面向對象的分割和投票對3 種方法的分類結果進行融合，最終取得了較好的分類效果，上述結果都充分說明了深度學習在目標檢測與實例分割任務領域的優勢；Kathiravan M[10]等基于R-CNN 模型提出了一種基于合成孔徑雷達影像的船舶檢測算法，能對海上的船舶目標進行有效分類。

然而，相對于一般目標的檢測任務，基于遙感影像的船舶檢測任務具有更多的特殊性。首先，在目標尺度方面，不同類型船舶的跨度較大，這就需要檢測模型擁有較好的小目標檢測能力；其次，由于船舶目標的特點，除碼頭以外的大部分單幅遙感影像內僅包含極少數船舶目標，這就需要大量且豐富的樣本類型才能充分訓練模型。鑒于此，本文提出了一種基于卷積神經網絡的艦船目標檢測方法（Att-DConv），針對小目標特征，同時設計了4 層全局融合結構作為特征增強網絡，并利用改進的非極大值抑制算法優化選取最終的檢測框。為了讓檢測結果與實際目標更貼合，使用帶有旋轉角度的錨點框實施檢測；針對圖像內樣本個數較少且類型不豐富的問題，采用數字圖像處理手段優化圖像質量，以馬賽克增強對訓練數據進行處理，使模型得到更充分的訓練。

1 Att-DConv模型結構設計

1.1 骨干網絡

卷積核感受野是指卷積處理后獲取的特征圖在原始圖像中映射的區域大小。骨干網絡作為整個模型的前端結構，通過多個卷積特征提取層與下采樣層提取到不同感受野的特征圖來實現對不同尺度目標的檢測輸出。隨著感受野的擴張，圖像中的目標信息會不斷丟失，一些小尺寸樣本的特征信息甚至會被完全抹去。為了充分保留小尺寸樣本特征對模型進行充分訓練，在特征提取層中采用空洞卷積核進行特征提取。常規卷積核與空洞卷積核的計算過程見圖1。

圖1 常規卷積與空洞卷積

式中，為第l層特征提取層中第i個卷積核的輸出；(f)為進行操作的卷積核；f和a、b分別為對應的特征及其元素；d為空洞卷積的分離率。

在特征提取層中使用空洞卷積核能夠保留較多的小目標特征，但持續使用相同分離率的空洞卷積核則會造成采樣不連續的問題[11]，進而影響小目標特征信息的完整度。因此，在特征提取層中采用并聯的方式組合不同分離率的空洞卷積核，同時添加快捷鏈路拼接原始特征圖與提取后特征圖，以提高特征圖的復雜程度。為了避免模型因層數過深而產生訓練數據的內部協變量偏移問題，以及訓練階段每次送入模型的訓練樣本數量batch 設置較小時產生的非獨立同分布和minibatch 問題[12]，在每個卷積核的輸出端后采用批量規范化層對輸出特征進行規范化處理，避免模型在訓練過程中出現梯度消失問題。遙感影像通常尺寸較大且背景復雜，而艦船目標在影像內的數量較少，這就產生了較嚴重的正負樣本不平衡現象。為緩解該問題，在特征提取層末端設置了壓縮—激勵組合的通道注意力模塊，讓模型更聚焦于學習正樣本特征信息。通道注意力模塊首先在壓縮操作層中將輸入的多通道二維平面特征圖拉長為1×1×C維度的向量，C為輸入特征的通道維度；然后使用帶有激活函數與全連接層的激勵操作層通過兩個全連接層生成每個通道的權重參數；最后將每個通道的權重與原始特征圖相乘，實現對正負樣本特征的聚焦與抑制。通道注意力機制和特征提取層結構見圖2，以輸入圖像尺寸為608×608為例，骨干網絡詳細結構參數見表1。

表1 骨干網絡結構表

圖2 特征提取模塊結構圖

為了讓模型更好地學習非線性特征，選取參數化的ReLU 函數作為特征提取后的激活函數，具體公式為：

式中，xi為第i個通道的輸入特征；ai為可學習動態更新的參數。

為盡量保留原始的目標特征信息，避免池化層在下采樣時造成大量的特征損失，利用1×1的可學習卷積核作為算子，采用兩倍步長下采樣的方式實現對特征圖的尺寸下采樣。

1.2 特征增強網絡

特征增強網絡能在骨干網絡的基礎上提高特征圖的信息復雜度，并輸出多尺度的特征圖參與最終的檢測框輸出。為更好地實現不同感受野下特征圖間的信息交互，首先采用全局融合模式的特征增強網絡，以全部的輸出特征圖為基礎，通過下采樣與上采樣實現尺寸歸一化；再將其融合為一張多通道的特征圖，該特征圖內包含了全部感受野下特征圖的信息；然后根據船舶以小目標為主的尺寸特征，以融合特征圖為基礎進行兩次上采樣與兩次下采樣；最后輸出4 個層次的特征圖進行多尺度目標的檢測，具體結構見圖3。

圖3 特征增強層結構圖

為了讓檢測框與真實目標更貼近，本文采用帶有旋轉角度的目標框來實施檢測。Att-DConv在訓練過程中使用的損失函數由邊框回歸損失函數Lloc與目標置信度回歸損失函數Lconf的加權和組成，具體公式為：

式中，N為錨點框的數量；objn為區分正、負樣本的二元參數；Lreg為改進的Smooth L1 函數；、vn分別為預測框與真實框的偏移量；、vθ分別為預測角度與真實角度的偏移量；SkewIoU 為旋轉預測框與旋轉真實框間的重疊度；c為樣本的目標置信度；為第j個正樣本。

1.3 改進NMS算法

NMS算法通過對眾多近似的檢測框結果進行打分而剔除冗余邊框。經典NMS算法是以目標框與真實框的交并比（IoU）為標準進行打分，在保留得分最高目標框的基礎上直接剔除剩余所有候選框。該方法剔除標準嚴格，且僅考慮了兩框之間的重疊面積，對各種類型檢測框的描述不夠全面。因此，本文采用加權平均GIoU算法作為最終檢測框的篩選算法，同時以多個檢測框的加權結果生成最終的輸出框，具體公式為：

式中，wi為權重值；Bi為第i個檢測框；M為輸出的檢測框；C為檢測框與實際框的最大包含面積。

2 實驗與結果分析

2.1 數據集預處理

以開源數據集UCMerced_LandUse與FAIR1M為數據源獲取混合遙感影像船舶數據集，對Att-DConv 進行訓練和測試。將所有包含艦船目標的遙感影像按照8∶2的比例劃分為訓練集和測試集，首先對訓練集中的影像尺寸進行歸一化處理；然后為提高訓練后模型的泛化性，對訓練數據進行直方圖均衡化、暗通道先驗濾波、高斯濾波等增強處理，并選取部分樣本進行馬賽克拼接，即通過將4 個訓練樣本拼接為一張的方式來提高樣本的豐富程度，部分處理結果見圖4；最后將增強處理和馬賽克處理后的影像放入訓練集中，參與訓練的影像為874張，包括目標1 458個，測試數據集內的影像未經過任何處理。

圖4 數據集預處理結果圖

2.2 評價指標

為了客觀全面地衡量模型性能，本文采用多種指標來評價提出模型的檢測精度、檢測速度和模型體量。在檢測精度方面，采用精確率、召回率以及IoU閾值為0.5 的精度均值（AP0.5）作為評價指標；在檢測速度方面，采用每秒檢測圖像幀數（FPS）作為評價指標；在模型體量方面，采用訓練后模型權重文件大小和檢測運行參數量作為評價指標。AP為精度—召回率曲線下的面積，相關計算公式為：

式中，TP為真樣本；FP為錯誤檢測的真樣本；FN為錯誤檢測的假樣本。

2.3 模型訓練

模型的訓練和測試均在相同的環境下進行，具體配置為：CPU Intel I7 i9800k、GPU Nvidia 1080Ti、內存大小16 GB、硬盤1 TB、操作系統Ubuntu 18.04、CUDA 版本11.1，機器學習框架為以TensorFlow（1.13.1）為backend 的Keras（2.2.4）。為使模型在訓練過程中快速充分地擬合，在訓練過程中配置了多種優化策略，經過多次調參后完成訓練，具體參數配置：輸入模型訓練的圖像尺寸為608×608，Batch Size設置為10，采用退火算法實現學習率的動態調節，初始學習率設置為10e-4，使用自適應矩估計算法更新訓練權重，動量參數設置為0.9，迭代次數設置為1 000。為了驗證本文算法的有效性，以單階段的SSD、YoloV4、YoloV5s、RetinaNet 模型，二階段的Faster RCNN、Cascade RCNN模型，帶有旋轉框的Yolov5m-obb模型為基準，采用相同的運行環境與數據集進行訓練，并使用同一組指標對所有模型進行評價。完整技術流程見圖5。

圖5 完整技術流程圖

2.4 測試與結果分析

全部模型的測試結果見表2，本文模型的部分檢測結果見圖6，可以看出，本文模型在檢測精度方面優于所有對比模型，AP0.5達到了0.85，比單階段的SSD、YoloV4、YoloV5s、RetinaNet 以及YoloV5m-obb分別提高了24.65% 、 8.33% 、 15.18% 、 62% 和5.8%，相較于經典Faster RCNN 和Cascade RCNN 分別提高了49.2%、37.9%，說明Att-DConv 在船舶檢測任務中具有更明顯的精度優勢；在檢測速度方面，測試環境下Att-DConv 能達到34 f/s，相較于YoloV4、SSD 模型均有顯著優勢，但稍低于YoloV5s 模型；在模型結構方面，本文模型在骨干網絡中設置了空洞卷積核組注意力模塊，同時輸出了4 個尺度的特征圖實現最終檢測，而YoloV5s 作為YoloV5 系列的輕量級模型，擁有較小的參數量，但在檢測精度方面表現不理想。

表2 模型評價結果對比表

圖6 部分檢測結果

進一步通過不同復雜程度背景的影像來直觀說明本文模型的檢測能力，在圖6 a、6 b、6 e、6 f中包含較多的港口和鄰近建筑物，背景復雜且負樣本居多，剩余圖像則沒有太多負樣本且樣本個數較少，從檢測結果可以看出，Att-DConv 模型能準確檢出不同背景復雜程度、不同密集程度的艦船目標，說明本文模型在具有較高檢測精度的同時，還具有良好的泛化能力。

3 結 語

針對基于衛星遙感影像船舶場景下的背景復雜、小尺寸樣本居多、正負樣本不均衡等問題，本文提出了一種帶有空洞卷積與通道注意力組合的遙感影像艦船檢測模型Att-DConv。在骨干網絡中使用并聯空洞卷積核組進行特征提取，同時在提取層內引入通道注意力機制來聚焦正樣本特征；再通過上下采樣組合融合骨干網絡輸出的全部尺度特征圖；最后利用增強數據集完成模型訓練。實驗結果表明，在多種復雜場景下Att-DConv 對不同密集程度的艦船目標均表現出良好穩定的性能，AP0.5達到0.91，顯著優于現有主流深度學習模型，在測試環境中的檢測速度可達到34 f/s，低于YoloV5s，但可開展對艦船目標的實時檢測。在下一階段的研究中，將嘗試采用結構剪枝、模型量化等方法對現有模型進行輕量化壓縮，然后通過部署在Nvidia Jetson 等邊緣硬件上實現低功耗環境下的離線推理；還將嘗試通過生成對抗網絡來模擬極端天氣等復雜場景下的艦船遙感影像，并使用帶有角度的目標框對全部樣本進行重新標注，通過追加訓練，進一步提高模型的泛化能力和目標定位的準確性。