結合多通道注意力的遙感圖像飛機目標檢測

李 婕，周 順，朱鑫潮，李 毅，王恩果

湖北工業大學電氣與電子工程學院，武漢 430068

遙感圖像是由衛星拍攝，包含空間分辨率、時間分辨率、光譜分辨率等。遙感圖像中的目標檢測在民用和軍事上有著重要的意義和應用價值，尤其是遙感圖像中的飛機目標檢測，可以為民航更高效的管理以及軍事作戰提供更多有價值的信息。不同于傳統飛機圖像，遙感圖像飛機目標檢測面臨著多尺度、背景復雜以及圖像占用內存大等難點。

對遙感飛機目標的檢測最早采用基于模板匹配的方法，Liu等人[1]構建了一種結合圖像外觀和目標形狀先驗信息的全局最小化活動輪廓模型，用來提取遙感圖像中形狀規則的空間對象，相對于其他無形狀約束的方法具有更好的魯棒性，但基于模板匹配的方法對于復雜背景下的目標檢測效果不佳。傳統的機器學習方法需要人工設定目標特征，Wang 等人[2]提出一種改進的主成分分析特征提取方法，并基于有向無環圖支持向量機（directed acyclic graph support vector machine，DAGSVM）識別遙感圖像飛機目標，該方法有效地去除了噪聲等干擾因素，取得了較高的準確率，且魯棒性較模板匹配的方法更優，但支持向量機的核函數、帶寬等參數很難人為確定。

隨著深度學習的快速發展，基于卷積神經網絡（convolutional neural network，CNN）的目標檢測方法已成為處理和識別遙感圖像的趨勢。當前，主流的深度學習目標檢測算法主要分為兩類：基于錨的方法和不基于錨的方法。Alganci等人[3]對基于錨的3種目標檢測算法在遙感圖像中飛機目標的檢測性能進行了評估，其中Faster R-CNN[4]取得了最高的檢測精度，但檢測速度太慢，無法滿足實時性。SSD[5]的檢測性能最差，但在目標定位方面效果較好。YOLOv3[6]實現了檢測精度和速度上的平衡，且檢測精度略低于Faster R-CNN。但由于基于錨的方法在檢測性能上很大程度取決于正負樣本數以及錨點的超參數，且檢測過程中引入非極大抑制算法（non-maximum suppression，NMS）[7]來消除重復目標框，使得算法復雜度和計算量相應增加，限制了其普及和檢測速度上的提升。

為了提高檢測器靈活性，CornerNet[8]、ExtremeNet[9]、CenterNet[10]等無錨的方法應運而生，并受到廣泛關注。目前，無錨的方法在遙感圖像檢測方面已經做過一部分研究，Liu等人[11]首次嘗試將CenterNet運用到遙感圖像目標的檢測任務上，并在NWPU VHR-10遙感數據集上評估CenterNet 的各主干網絡性能，證明了CenterNet 算法較基于錨的YOLOv3 算法在檢測精度和速度上優越的性能，但同時也存在部分小目標和密集目標的漏檢情況。Zhang 等人[12]提出一種特征增強的中心點網絡，在不同層之間引入水平連接，通過結合深層特征和淺層特征來提高遙感圖像小目標檢測精度，但檢測速度有待提高。巍瑋等人[13]提出一種改進的CenterNet遙感圖像檢測模型，該模型將Hourglass-104[14]特征提取網絡殘差塊中的標準卷積替換為可變卷積，且引入注意力機制進行優化，一定程度上降低了誤檢率和漏檢率，但對密集目標的檢測精度有待提高。姚群力等人[15]基于SSD 多尺度檢測框架，采用反卷積設計了一種輕量級多尺度特征融合模塊，實現了高層語義和低層細節的特征融合，在UCAS-AOD遙感圖像飛機目標檢測上取得較高的檢測精度，尤其是密集目標的檢測效果提升顯著，但檢測速度仍有待提高。鄭哲等人[16]提出了一種多尺度特征金字塔和滑動頂點回歸的遙感圖像目標檢測，通過引入通道注意力和空間注意力模塊抑制噪聲，檢測精度顯著提高。Lim等人[17]對傳統的SSD模型進行改進，提出一種結合上下文特征和注意力機制的檢測方法，較原SSD提高了小目標的檢測能力。

受以上研究方法的啟發，本文將高層語義和低層細節特征融合以及添加注意力機制抑制噪聲干擾的思想運用到CenterNet 算法，提出了一種AFF-CenterNet（attention feature fusion-CenterNet）網絡，在“編碼-解碼”結構引入平行層特征共享模塊來提高小目標和密集目標的檢測精度，在特征融合模塊前引入SE-Net[18]通道注意力模塊來降低誤檢率，優化檢測器的性能，以解決原網絡在遙感圖像飛機目標檢測上存在的小目標和密集目標檢測精度低以及誤檢率高的問題。

1 CenterNet網絡

CenterNet算法無需進行人為設定前景和背景分類的閾值以及不需要計算量大且耗時的非極大值抑制（NMS），減少了對數據集正負樣本的要求，提高了檢測速度。但是，實際遙感圖像由于拍攝高度、角度等問題，圖片中存在很多像素為個位數的小目標對象和密集目標，這給CenterNet算法帶來了很大挑戰，直接將其應用于遙感圖像檢測很難有所突破，因此必須對CenterNet網絡結構進行改進，使其更好地適應遙感圖像目標的檢測，提高檢測精度。

2 AFF-CenterNet網絡模型設計

傳統的CenterNet網絡采用“編碼-解碼”結構，通過網絡的連續卷積操作學習高級語義信息。然而，遙感圖像中的目標具有小而密的特點，經過一系列卷積將會使小目標特征聚集，造成漏檢和誤檢等問題。因此，本文基于CenterNet算法提出了一種結合注意力機制和平行層特征共享結構的檢測模型AFF-CenterNet。其網絡結構如圖1 所示，較原CenterNet 網絡結構，引入了圖中橙色虛線矩形框處擴展結構，主要在以下兩個方面改進：

圖1 AFF-CenterNet網絡結構Fig.1 AFF-CenterNet network structure

（1）引入一種平行層特征共享模塊將不同層之間的特征進行關聯，以提高小目標的特征表征能力。該方法融合了深層特征和淺層特征，有效地結合了深層特征語義信息強和淺層特征位置和紋理信息強的優點，對改善小目標檢測有一定效果。

（2）在平行層模塊前加入通道注意力模塊，以減少背景干擾。該方法對不同通道間的特征響應進行自適應校準，有效地改善了網絡的特征提取能力。

2.1 平行層結構

在CenterNet 算法的網絡結構中，本文將Conv1 層和Conv7層、Conv2層和Conv6層、Conv3層和Conv5層分別進行融合，如圖1 所示。由于這些特征層具有不同的空間大小，在進行融合之前，先經過一個“Feature Fusion”模塊處理。針對該模塊，設計了如圖2 所示兩種拓撲結構進行實驗，分別命名為CenterNet-C 和CenterNet-T。其中CenterNet-C 經過一個標準1×1 卷積使融合前后的特征層具有相同的空間大小，CenterNet-T將CenterNet-C 中的標準卷積換成空洞卷積進行測試。由于不同圖層中的每個特征值具有不同的比例，在卷積之后需經過批量歸一化和Relu激活處理。

圖2 平行融合模塊結構圖Fig.2 Parallel fusion module structure diagram

2.2 引入通道注意力模塊

注意力機制能夠聚焦圖像的局部信息，定位感興趣信息，抑制無用信息。為了使模型更關注具有有效信息的通道，本文在平行特征共享模塊前引入擠壓-激勵注意力模塊（squeeze-and-excitation network，SE-Net）[18]。如圖3 所示，該模塊首先對輸入通道數為C的H×W特征圖進行擠壓（squeeze）操作，得到通道數為C的1×1特征圖，對應圖3中的全局池化（global pooling）。然后將得到的特征圖進行激勵（excitation）操作得到各通道之間的權重值，對應圖3 中的兩次全連接層和Sigmoid層。最后通過Scale縮放將原特征圖乘以對應通道的權重得到新的特征圖，以達到有效信息通道的更新和無用信息通道的抑制。

圖3 初始SE模塊結構圖Fig.3 SE-inception module structure diagram

引入通道注意力機制后的平行層結構如圖4 所示。可視化對比如圖5所示，從圖5（a）中箭頭標記處可以看出，無注意力機制時，由于飛機停靠停機坪距離較近，且停機坪的固定結構與飛機形狀相似，造成了網絡對停機坪的固定結構存在一些誤檢情況。圖5（b）為添加注意力機制后的結果圖，可以看出該模塊有效地濾除了背景干擾，降低了誤檢率，提高了檢測精度。

圖4 引入注意力機制后的平行層模塊圖Fig.4 Parallel layer module diagram after introducing attention mechanism

圖5 引入注意力模塊前后對比圖Fig.5 Comparison chart with or without attention module

2.3 損失函數

AFF-CenterNet 依然采用CenterNet 損失函數的構建方法，由中心點預測損失Lk、偏置損失Loff、寬高損失Lsize三部分組成。

CenterNet采用像素級邏輯回歸focal-loss損失函數來解決正負樣本分布不均的問題。公式如式（1）所示：

總的損失Ldet由上述各分支損失加權求和得到，如式（4）所示：

其中，權重λoff、λsize分別取1、0.1。

3 實驗結果及分析

3.1 實驗準備

3.1.1 數據集與實驗環境

為驗證AFF-CenterNet 算法的可行性，選取UCASAOD 遙感影像數據集[21]和RSOD 遙感數據集[22]中的飛機類別圖片分別進行網絡的訓練和測試。其中，UCASAOD 數據集由中科院大學制作，包含飛機遙感圖片1 000張，飛機樣本7 482架，數據較為集中，且目標方向分布較為均勻。RSOD數據集由武漢大學制作，包含飛機遙感圖片446張，飛機樣本4 993架，圖像中亮度和對比度多樣，且存在遮擋、陰影、畸變等干擾。實驗過程中，對兩數據集分別隨機抽取10%的圖片作為測試樣本，剩余90%的圖片中抽取10%作為驗證集，其余作為訓練集，實驗環境配置如表1所示。

表1 實驗環境配置Table 1 Experimental environment configuration

3.1.2 評價指標

實驗采用準確率（Accuacy）、精確度（Precision）、召回率（Recall），以及模型每秒處理的圖片數（frame per second，FPS）和平均精度（mean average precision，mAP）作為模型的綜合評價指標。其中FPS 反應了模型的處理速度指標，mAP 可以更好地衡量多召回率下的模型檢測精度，相關計算公式如式（5）～（7）：

其中，TP代表正樣本中被當做正樣本的數量，FN代表正樣本中被當成負樣本的數量，FP代表負樣本中被當成正樣本的數量，TP+FP為全部分為正樣本的數量，TP+FN為全部分為正樣本的數量。

預測結果TP和FP由交并比IoU（intersection over union）決定，當IoU 大于設定閾值，則記為TP，反之記為FP。設定不同置信度的閾值，將得到不同數量的檢測框，閾值高，則得到的檢測框數量少；反之，閾值低得到的檢測框數量多。IoU的值由式（8）求得：

FPS為模型每秒能檢測的圖片數量，代表了檢測速度的快慢，可以由式（9）求得：

其中，N為被測樣本數，T為測試全部樣本所需的時間。

3.1.3 訓練細節

實驗中，下采樣率R為4，并使用Adam優化器進行迭代訓練，將輸入圖像統一縮放到分辨率為512×512。初始學習率設置為1E-3，batch_size 為4，在訓練50 個epoch 后，將學習率降為1E-4，再訓練50 個epoch。此外，為了加快收斂速度，訓練時ResNet-50的backbone使用ImageNet分類任務中得到的預訓練權重。

3.2 實驗結果分析

3.2.1 UCAS-AOD遙感影像數據集實驗結果

在UCAS-AOD 遙感影像數據集上經過100 輪訓練，損失值基本達到穩定狀態。訓練過程中，模型損失和迭代次數之間的趨勢變化對比如圖6所示，該Loss值為中心點預測損失、偏置損失和寬高損失三部分加權求和得到。

圖6 UCAS-AOD數據集上訓練的總Loss變化曲線圖Fig.6 Total Loss of training on UCAS-AOD dataset

其中CenterNet-C、CenterNet-T、CenterNet-SC、CenterNet-ST 為基于AFF-CenterNet 框架設計的4 種拓撲結構，CenterNet-C、CenterNet-T代表僅在原CenterNet基礎上引入平行層結構，CenterNet-SC、CenterNet-ST為上述兩種結構添加SE-Net通道注意力后的模型。從圖6 中可以看出，改進后的4 種模型收斂速度較改進前都有所提高，且最終收斂值比改進前更低。此外，加入注意力機制后的CenterNet-SC 和CenterNet-ST 較CenterNet-C 和CenterNet-T 在收斂速度和收斂值都有所優化，其中CenterNet-ST收斂速度最快，收斂值最優。

改進前后的幾種網絡結構在UCAS-AOD測試集上的對比結果如表2 所示，在保持一定計算效率的情況下，改進后的網絡檢測精度大幅提升。其中，采用空洞卷積的CenterNet-T比采用標準1×1卷積的CenterNet-C在檢測精度上提高了0.59 個百分點。CenterNet-SC 和CenterNet-ST 比CenterNet-C 和CenterNet-T 在檢測精度上分別提高了1.34 個百分點、1.46 個百分點。整體效果最優的CenterNet-ST 較CenterNet 和CenterNet-SC 在檢測精度上分別提高了16 個百分點、0.71 個百分點，因此，后續以CenterNet-ST 拓撲結構作為AFFCenterNet算法模型。

表2 不同改進結構對比Table 2 Comparison of different improved structures

從數據集中選取3組具有代表性的圖片進行測試，得到圖7 所示改進前后對比圖。從圖7 的第一行可看出，改進前后的算法對小目標檢測具有一定的效果，但原CenterNet 漏檢4 架，改進后的AFF-CenterNet 無漏檢。由于原網絡的特征提取層經過“編碼-解碼”結構后，小目標語義信息丟失嚴重，使得與背景顏色相似的小目標難以檢測，而AFF-CenterNet 的平行層特征共享網絡，有效地融合了深層和淺層特征，減少了語義丟失，對目標與背景對比度低的小目標仍能有效識別。圖7第二行為背景與目標對比度較高，但飛機與建筑物停靠緊密條件下的小目標檢測，改進前后均能有效檢測到所有目標，但CenterNet存在5個誤檢，而AFF-CenterNet無誤檢情況。這是由于AFF-CenterNet在平行層特征共享層前引入了SE-Net 通道注意力模塊，對不同特征層通道間的權重進行自適應校準，有效地抑制了干擾目標。圖7第三行為停靠較為密集情況下的小目標檢測，CenterNet 對重疊目標檢測存在丟失，漏檢5 架飛機，而AFF-CenterNet 能有效區分重疊目標，進一步顯示了改進后的網絡對小目標檢測性能的改善。

圖7 改進前后對比圖Fig.7 Image comparison before and after improvement

為進一步評估AFF-CenterNet 算法的性能，基于UCAS-AOD 數據集，在相同訓練、測試樣本的條件下，本文對比了兩階段檢測算法Faster RCNN、單階段檢測算法SSD、YOLOv3 以及YOLOv5，得到對比結果如表3所示。

表3 不同算法檢測結果對比Table 3 Comparison of detection results of different algorithms

從實驗結果可以看出，AFF-CenterNet 算法在遙感圖像飛機目標檢測中，檢測性能最好，檢測精度達到了96.78%，雖然檢測速度相對于未改進前降低了7 frame/s，但都達到了實時檢測的效果。此外，AFF-CenterNet算法相對于Faster R-CNN、SSD、YOLOv3、YOLOv5s在平均精度mAP上分別提高了6.22、7.23、3.98、1.48個百分點，檢測速度分別提高了73 frame/s、36 frame/s、20 frame/s、5 frame/s。且YOLOv5s 使用了Mosaic、自適應錨框計算、自適應圖片縮放等數據增強，而本文算法未進行數據增強，因此，實際輸入訓練的樣本數和計算量比YOLOv5s低。

如圖8 為不同算法在UCAS-AOD 數據集上的可視化結果對比。其中，圖8第一行為過渡曝光情況下的小目標檢測，該情況下Faster R-CNN檢測效果最好，只存在一個漏檢。SSD算法僅能檢測到兩個有效目標，漏檢嚴重。YOLOv5s與YOLOv3相比，漏檢率大幅降低，但存在兩個誤檢，而AFF-CenterNet無誤檢情況，且有效識別目標數僅比YOLOv5s 少一個。圖8 第二行為復雜背景下的分散小目標檢測，圖8第三行為停靠密集的小目標檢測，可以看出，SSD 算法檢測小目標的能力嚴重不足，Faster RCNN 能有效檢測分散小目標，但對密集小目標的檢測性能需改善，YOLOv3 存在一定的漏檢情況。而YOLOv5s 和AFF-CenterNet 都能有效地識別各種復雜條件下的小目標，但是YOLOv5s 存在大量誤檢情況，AFF-CenterNet 相比誤檢率更低，這得益于AFFCenterNet算法中引入的平行層特征共享結構和注意力機制對檢測器的優化效果。

圖8 UCAS-AOD數據集上可視化結果Fig.8 Visualization results on UCAS-AOD dataset

3.2.2 RSOD數據集實驗結果

為驗證AFF-CenterNet 算法的魯棒性，另外選取含有大量遮擋、陰影、畸變等干擾因素的RSOD 遙感數據集進行訓練和測試。經過100 個epoch 后，改進前后的總損失都能達到穩定狀態，改進前后總loss 變化如圖9所示。

圖9 RSOD數據集上訓練的總Loss變化曲線圖Fig.9 Total Loss of training on RSOD dataset

與UCAS-AOD 數據集Loss 曲線結果類似，收斂速度和收斂值最優的為CenterNet-ST，且改進后的4 種網絡結構收斂速度都優于未改進前。此外，引入注意機制后的CenterNet-SC 和CenterNet-ST 收斂速度和收斂值同樣優于未加入注意力機制前。

如表4 為基于RSOD 遙感數據集下的不同算法檢測性能對比。從實驗結果可以看出，改進后的Center-Net-ST 在保持一定計算效率的情況下檢測精度達到93.69%，優于其余幾種結構。與Faster RCNN、SSD、YOLOv3、YOLOv5s 以及原算法相比檢測，精度分別提高了11.99、18.49、4.09、2.89、18.25 個百分點。其中，YOLOv5s 的檢測速度比YOLOv3、SSD、Faster RCNN分別高13 frame/s、31 frame/s、61 frame/s，而CenterNet-ST的檢測速度比YOLOv5s提高了9 frame/s。這與UCASAOD 數據集上得到的結論基本相似，證明了改進后的網絡結構具有良好的魯棒性和抗干擾能力。

表4 RSOD數據集下的檢測結果對比Table 4 Comparison of test results under RSOD dataset

如圖10 為RSOD 數據集上不同算法可視化對比圖。其中，圖10 第一行為飛機目標尺度較大且接近有干擾建筑物情況下的檢測結果，此時Faster RCNN、SSD、YOLOv3和YOLOv5s檢測效果較好，而CenterNet存在大量誤檢，AFF-CenterNet 改善了這一問題，誤檢率大幅降低，這與AFF-CenterNet 引入了注意力機制相關。圖10 第二行和圖10 第三行分別為分散小目標和密集小目標檢測，其中SSD 算法檢測效果最差，僅能檢測到兩架尺度中等大小飛機。Faster RCNN 在檢測分散小目標和密集小目標都存在大量漏檢，尤其是進行密集小目標檢測時，漏檢率過高。CenterNet 檢測背景較復雜的分散小目標時存在誤檢情況，檢測密集小目標時存在大量漏檢情況。而YOLOv5s 和改進后的AFF-CenterNet 都能有效檢測到分散小目標，但AFFCenterNet 比YOLOv5s 在密集目標檢測情況下漏檢率更低。此外，對比改進前后，AFF-CenterNet在存在背景干擾和密集小目標檢測時的檢測效果顯著提高，漏檢率和誤檢率得到改善，證明了本文算法的可行性和良好的魯棒性。

圖10 RSOD數據集上可視化結果Fig.10 Visualization results on RSOD dataset

3.2.3 消融實驗

為進一步驗證AFF-CenterNet 算法中每個改進模塊的有效性，在RSOD 遙感影像飛機數據集上對AFFCenterNet進行消融實驗。實驗結果如表5所示。

表5 RSOD數據集下的消融實驗Table 5 Ablation experiment under RSOD dataset

從實驗結果可以看出，單獨加入平行特征共享模塊，準確率和召回率較原算法分別提高了10、10.53個百分點，精度提高了16.63 個百分點。在平行特征共享模塊中引入注意力機制優化各通道權重后，準確率進一步提升，平均精度較未加入注意力機制前以及原Center-Net 網絡結構分別提高了1.62 個百分點和18.25 個百分點，證明了本文算法各模塊的有效性。

4 結束語

本文嘗試將CenterNet算法應用到遙感圖像飛機目標檢測上，為了解決原CenterNet 算法檢測遙感圖像時的誤檢率高和小目標檢測困難等問題，提出了結合平行層特征共享結構和注意力機制的遙感飛機目標自動檢測模型AFF-CenterNet。首先，采用“編碼-解碼”的主干網絡結構，以ResNet50 為基礎特征提取；然后，引入空洞殘差與注意力約束的平行層特征共享結構進行特征融合，構建的特征提取網絡，提高了算法的特征提取能力和抗干擾能力；最后在UCAS-AOD 和RSOD 公共遙感數據集上與其他主流算法進行對比實驗，在RSOD數據集上AP達到93.69%，檢測精度較原CenterNet、Faster R-CNN、SSD300、YOLOv3 以及YOLOv5s 分別提高了18.25、11.99、18.49、4.09、2.89 個百分點，且保持了一定的檢測速度。實驗結果表明，該方法在遙感圖像飛機目標檢測中不僅有較高的檢測精度，同時保持了單階段檢測模型的速度優勢，具有一定的實用價值。但本文提出的方法仍存在一些誤檢和漏檢情況，且研究類別單一，未考慮不同類別重疊后的熱圖變化，后續研究將進一步優化模型的特征表征，考慮引入多類別遙感圖像進一步研究該算法在遙感圖像上的應用。