基于YOLOv7-RS的遙感圖像目標檢測研究*

梁 琦，楊曉文

(1.武警山西總隊參謀部，山西 太原 030012；2.中北大學 計算機科學與技術學院，山西 太原 030051；3.機器視覺與虛擬現實山西省重點實驗室，山西 太原 030051；4.山西省視覺信息處理及智能機器人工程研究中心，山西 太原 030051)

0 引言

遙感圖像的目標檢測任務旨在從復雜多樣的遙感圖像中提取用戶關注的目標，并對其進行位置和類別的標注。基于遙感圖像的目標檢測廣泛應用于城市交通[1]、應急響應[2]和國防軍事[3-4]等方面。如何在海量的遙感圖像中精確識別并定位目標仍是現階段研究的重點。由于遙感圖像與自然圖像的成像方式不同，遙感目標尺度差異大而且具有旋轉不變性，加之遙感圖像背景復雜多樣，使得遙感圖像的目標檢測任務更加具有挑戰性。因此提高遙感圖像的目標檢測精度有著重要的研究意義。

隨著卷積神經網絡的發展，當前基于深度學習的目標檢測算法主要分為雙階段目標檢測和單階段目標檢測。YOLO系列算法是典型的單階段目標檢測算法。YOLOv1[5]在2015年首次提出來，有效解決了兩階段檢測網絡推理速度慢的問題。YOLOv2[6]從更快、更多、更精準三個角度進行改進，識別對象也擴展到9 000種，因此也稱為YOLO9000。YOLOv3[7]引入了特征金字塔FPN和殘差模塊Darknet-53，支持三種不同尺度的物體檢測，實現了多尺度的融合。YOLOv4[8]和YOLOv5結合加權殘差連接(WRC)、跨階段部分連接(CSP)、Mosaic數據增強等當時流行的技術，進一步提高了檢測精度和速度。YOLOX[9]結合Anchor-Free網絡將YOLOv5耦合檢測頭替換為解耦檢測頭，提高了網絡的收斂速度，除此之外還在OTA[10]的基礎上提出了正負樣本匹配策略SimOTA。YOLOv6[11]是美團視覺智能部研發優化的目標檢測框架，在工業界得到了廣泛的應用。2022年7月YOLOv7[12]誕生，針對網絡性能提出了E-ELAN架構和輔助訓練模塊，進一步提高了算法的速度和精度。本文根據遙感圖像中背景信息復雜、目標檢測困難的問題，提出了改進YOLOv7的遙感圖像目標檢測算法YOLOv7-RS，主要工作如下：(1)針對遙感圖像背景信息復雜的問題，在骨干網絡中加入SimAM；(2)提出了D-ELAN的結構，增強網絡提取目標特征的能力；(3)使用SIOU損失函數替代CIOU函數，提高收斂速度；(4)優化了正負樣本分配策略，改善了遙感圖像中小目標密集排列時的漏檢問題。

1 YOLOv7算法

YOLOv7算法根據硬件環境分為邊緣GPU、普通GPU和云GPU，本文選取YOLOv7的普通GPU方案，在滿足遙感圖像檢測精度的同時兼顧了實驗室硬件環境。YOLOv7算法主要由輸入端(Input)、骨干網絡(Backbone)、頸部網絡(Neck)和頭部網絡(Head)四部分組成，網絡結構如圖1所示。

圖1 YOLOv7網絡結構

1.1 Input輸入端

YOLOv7的輸入端采用與YOLOv4、YOLOv5一樣的Mosaic數據增強。其主要原理是：隨機選取4張圖片，在640×640的像素范圍內隨機產生一個中心點，以中心點為直角坐標系依次將4張圖片放置在四個象限內并將超出范圍的圖像進行裁剪，最終拼接成一張640×640圖片作為訓練集送至神經網絡。Mosaic數據增強在豐富數據集背景，提高網絡魯棒性的同時減少了GPU的內存消耗，加快了訓練速度。

1.2 Backbone骨干網絡

YOLOv7的骨干網絡由ELAN模塊和MP模塊組成。其中，ELAN模塊是一個梯度路徑最優的網絡結構，通過兩條分支進行特征提取，第一條分支值經過一個1×1的卷積改變通道，另一個分支經過一個1×1的卷積后再經過兩組兩個3×3的卷積，最后將兩個1×1的卷積和兩組3×3的卷積進行拼接，其結構如圖2所示；MP模塊通過兩條分支進行下采樣，一條分支經過一個Maxpool最大池化后再經過一個1×1的卷積改變通道，另一條分支先經過一個1×1的卷積改變通道后再經過一個卷積核為3×3、步長為2的卷積，最后將兩條分支的結果進行拼接，結構如圖3所示。

圖2 ELAN模塊

圖3 MP模塊

1.3 Neck頸部網絡

Neck網絡采用PAFPN結構，包括SPPCSPC模塊、ELAN-H模塊、upsample模塊等。其中，SPPCSPC模塊能夠增大感受野，使算法適應不同分辨率的圖像，結構如圖4所示；upsample模塊使用最近鄰差值的方式進行上采樣；ELAN-H在ELAN模塊的拼接操作中將第二條分支的兩組兩個3×3的卷積結果直接用4個3×3的卷積替代，結構如圖5所示。

圖4 SPPCSPC模塊

圖5 ELAN-H模塊

1.4 Head頭部網絡

YOLOv7以CIOU_Loss作為損失函數，數值越小代表預測結果越好。網絡采用加權非極大值抑制對多個目標檢測框進行篩選，將最優的目標檢測框作為最終結果，提高了目標檢測的準確性。

2 YOLOv7-RS算法

YOLOv7-RS算法是在YOLOv7的基礎上進行改進的，網絡結構如圖6所示。下面分別從深層次的高效層聚合網絡(D-ELAN)、引入無參注意力機制(SimAM)、使用SIOU損失函數和優化正負樣本分配策略四個改進的方面進行詳細介紹。

圖6 YOLOv7-RS網絡結構

2.1 深層次的高效層聚合網絡D-ELAN

YOLOv7中的高效層聚合網絡(Efficient Layer Aggregation Network，ELAN)模塊的設計綜合考慮了硬件成本、梯度傳播長度和效率，主要解決了模型縮放過程中收斂性逐漸惡化的問題，結構圖如圖7(a)所示。ELAN結構在考慮最大化梯度組合的過程中忽略了對第一層block的重復利用，導致網絡計算成本增大。本文根據CSPNet的分割梯度流思想，重新設計了D-ELAN(Deeply-ELAN)模塊。第一條分支與ELAN一致，直接經過一個1×1的卷積；第二條分支在此基礎上經過三組兩個3×3的卷積，最后將1×1的卷積和三組3×3的卷積結果進行拼接，結構圖如圖7(b)所示。

圖7 ELAN模塊和D-ELAN模塊對比圖

2.2 SimAM注意力機制

(1)

(2)

(3)

(4)

2.3 損失函數SIOU

YOLOv7使用的損失函數CIOU[14]雖然解決了GIOU[15]的退化問題，并將寬高比作為懲罰項，但沒有考慮真實框和預測框之間的方向問題。本文采用SIOU[16]替代CIOU的方案來提高學習速度和效率。SIOU由角度損失(Angle Cost)、距離損失(Distance Cost)、形狀損失(Shape Cost)和IoU損失四部分組成，將真實框與預測框之間的角度偏差定義為角度損失并加入了距離損失的計算中。SIOU損失函數如式(5)所示，其中Δ為距離損失，如式(6)；式(6)中Λ為角度損失，如式(7)；Ω為形狀損失，如式(8)；IoU損失函數如式(9)。式中各參數如圖8所示，xgt和ygt為真實框的中心點坐標；wgt和hgt為真實框的寬和高；x和y為預測框的中心點坐標；w和h為預測框的寬和高；ch為真實框和預測框中心點的高度差；σ為真實框和預測框中心點的距離；Ch和Cw分別為真實框和預測框最小外接矩形的高和寬；θ為控制對形狀損失的關注程度，參數范圍為[2，6]。

圖8 SIOU中真實框與預測框參數示意圖

(5)

(6)

(7)

(8)

(9)

2.4 正負樣本分配策略的優化

正負樣本是在訓練過程中用于計算損失的，其分配策略優劣是直接影響目標檢測精度的核心因素。YOLOv7的正負樣本分配策略是YOLOX和YOLOv5的優勢結合，核心思想是將YOLOX中SimOTA策略的中心先驗策略替換為YOLOv5中的正樣本分配策略。YOLOv5中的正樣本分配策略如圖9(a)所示，將特征圖劃分為3×3的網格圖，⑤中的圓點為GTbox中心點所處位置，首先將⑤分配為正樣本。為了增加正樣本數量，將②④⑥⑧定義為四個候選框，GTbox中心點位于⑤右下方，因此將⑥⑧也作為正樣本進行處理。所以，⑤⑥⑧標記為3個正樣本。根據遙感圖像的旋轉不變性，將遙感圖像逆時針旋轉45°，其正樣本的分配結果如圖9(b)中右斜線網格所示。對比旋轉前的正樣本，右斜線網格與⑤⑥⑧的面積重疊率僅為54%，代表同一張遙感圖像經過旋轉45°后，正樣本有46%的概率判定為負樣本。本文提出將九個網格均定義為正樣本候選框，將GTbox中心點以及中心點相近的3個候選框定義為正樣本，如圖9(c)所示，優化后的策略即右斜線網格與⑤⑥⑧的面積重疊率達到72%，較好地解決了遙感圖像由于旋轉引發的正樣本丟失問題。

圖9 正負樣本分配策略示意圖

3 實驗結果及分析

3.1 實驗環境及參數設置

實驗環境基于Windows10專業版操作系統，顯卡采用NVIDIA GeForce RTX 3090(24 GB)，處理器采用Intel(R)Core(TM)i9-13900K 3.00 GHz，實驗環境為Python3.9，CUDA11.6，PyTorch1.12.1。消融實驗采用隨機梯度下降算法訓練300個epoch。初始學習率為0.01，batchsize為4。

3.2 數據集和評價指標

3.2.1 數據集

本文采用NWPU VHR-10[17]數據集和DOTA[18]數據集。NWPU VHR-10數據集由西北工業大學于2014年發布，圖像提取自Google Earth和Vaihingen，包括飛機(PL)、船舶(SH)、儲罐(ST)、棒球場(BD)、網球場(TC)、籃球場(BC)、地面跑道(GTF)、港口(HA)、橋梁(BR)和車輛(VE)10個類別，800張遙感圖像(含150張背景圖)。數據標注采用水平邊界框(Horizontal Bounding Boxes，HBB)標注格式，共3 651個實例。從數據集中隨機劃分90%作為訓練集，10%作為測試集。DOTAv1.0數據集來自谷歌地球、中國資源衛星數據與應用中心提供的GF-2和JL-1衛星圖像，以及CycloMedia B.V提供的航空圖像，包括飛機(PL)、輪船(SH)、小型車輛(SV)、大型車輛(LV)、儲油罐(ST)、網球場(TC)、操場跑道(GTF)、橋梁(BR)、環路(RA)、游泳池(SP)、棒球場(BD)、籃球場(BC)、港口(HA)、直升機(HC)和足球場(SBF)15個類別、2 806幅來自不同傳感器和平臺的航空圖像，圖像大小從800×800到4 000×4 000不等，共188 282個實例。本文采用DOTA_devkit對其HBB標注方式的數據集進行預處理，將原始圖像裁剪為1 024×1 024、重疊像素為200的子圖像，裁剪后分辨率未達到規定像素的圖像通過像素填充的方式進行填充。處理后的訓練集有15 749張圖片，測試集有5 297張圖片。

3.2.2 評價指標

在目標檢測任務中通常用mAP(Mean Average Precision)來衡量模型整體性能的好壞。mAP是數據集中多個類別的平均精度(Average Precision，AP)的平均值。每個類別可以根據Precision和Recall在0到1的坐標內繪制一條曲線，其與坐標軸圍成的面積即為平均精度，如式(10)所示：

(10)

其中，精度Precision也稱準確率，代表檢測器中預測的正樣本中TP的比例，如式(11)所示；召回率Recall代表檢測器中正確預測正樣本占總樣本數量的比例，如式(12)所示。式中TP為真正例，FN為假反例，FP為假正例。

(11)

(12)

3.3 實驗結果及分析

本文采用對比實驗和消融實驗兩種方法對YOLOv7-RS的檢測效果進行分析。其中，對比實驗分為兩種：一是對多種算法的實驗結果對比分析；二是對可視化的實驗結果對比分析。

3.3.1 NWPU VHR-10數據集對比實驗結果及分析

將YOLOv7-RS算法與SSD[19]、Faster R-cnn[20]、YOLOv3[7]、YOLOv5s、YOLOv7[12]算法在NWPU VHR-10數據集上進行實驗對比，結果如表1所示。

表1 不同算法在NWPU VHR-10數據集上的實驗結果

由表1可知，YOLOv7-RS相比SSD、Faster R-CNN、YOLOv3、YOLOv4、YOLOv5s、YOLOv7，mAP分別提升了14.3%、10.9%、20.3%、6.3%、5.3%、2.6%。YOLOv7-RS在各個類別的檢測精度均在89%以上，整體檢測精度較好，在飛機(PL)、儲罐(ST)的目標檢測中，精度相較其他算法最優達到99.6%；相比于原始的YOLOv7，在飛機(PL)、儲罐(ST)、網球場(TC)、籃球場(BC)、車輛(VE)的檢測精度上有所提升。

通過大量實驗對YOLOv7和YOLOv7-RS的檢測結果進行對比并選取圖10和圖11兩組可視化結果來分析。其中圖(a)為YOLOv7算法的檢測結果，(b)為YOLOv7-RS算法的檢測結果。

圖11 NWPU VHR-10第二組檢測效果對比

圖10(a)中誤將黃色地標檢測為飛機，圖11(a)中大橋漏檢。YOLOv7-RS能夠準確檢測出目標，可見YOLOv7-RS有效提升了復雜背景下的檢測效果。

3.3.2 NWPU VHR-10數據集消融實驗結果及分析

以YOLOv7為基準在NWPU VHR-10數據集上進行了消融實驗，驗證YOLOv7-RS的有效性，實驗結果如表2所示。

表2 YOLOv7-RS在NWPU VHR-10數據集上的消融實驗結果

由表2實驗結果可知，將YOLOv7的損失函數CIOU替換為SIOU，mAP提升了1%；在骨干網絡中加入SimAM，mAP提升了1%；將正負樣本匹配策略進行優化后，mAP提升了0.4%；將網絡中的ELAN替換為D-ELAN，mAP提升了0.9%。當四種改進方法同時加入后，mAP整體提升了2.6%。

3.3.3 DOTA數據集對比實驗結果及分析

將YOLOv7-RS算法與SSD、Faster R-CNN、YOLOv3、YOLOv5s、YOLOv7算法在DOTA數據集上進行實驗對比，結果如表3所示。

表3 不同模型在DOTA數據集上的結果對比

由表3可知，YOLOv7-RS相比SSD、Faster R-CNN、YOLOv3、YOLOv4、YOLOv5s、YOLOv7，mAP分別提升了21.7%、32.1%、9.6%、5.7%、4.6%、2.4%。YOLOv7-RS在棒球場(BD)、橋梁(BR)、大型車輛(LV)、足球場(SBF)、環路(RA)的檢測精度相較其他算法最優；相比于原始的YOLOv7，除了網球場(TC)、籃球場(BC)、儲油罐(ST)三個類別的檢測精度上有0.1%～0.2%的下降之外，其余均有明顯提升。

通過大量實驗對YOLOv7和YOLOv7-RS的檢測結果進行對比并選取圖12和圖13兩組可視化結果來分析。

圖12 DOTA第一組檢測效果對比

圖13 DOTA第二組檢測效果對比

圖12(a)中檢測到5個港口，圖13(a)中檢測到153輛小車和3輛大車。YOLOv7-RS在圖12(b)中檢測到5個港口和6輛小車，在圖13(b)中檢測到272輛小車和4輛大車，可見YOLOv7-RS有效改善了復雜背景和小目標密集排列情況下的漏檢問題。

3.3.4 DOTA數據集消融實驗結果及分析

以YOLOv7為基準在DOTA數據集上進行了消融實驗，驗證YOLOv7-RS的有效性，實驗結果如表4所示。

表4 YOLOv7-RS在DOTA數據集上的消融實驗結果

由表4實驗結果可知，將YOLOv7的損失函數CIOU替換為SIOU，mAP提升了1.2%；在骨干網絡中加入SimAM，mAP提升了1.9%；將正負樣本匹配策略進行優化后，mAP提升了0.6%；將網絡中的ELAN替換為D-ELAN，mAP提升了1.6%。當四種改進方法同時加入后，mAP整體提升了2.4%。

4 結論

針對遙感圖像中背景復雜、目標檢測難度大和小目標排列密集的問題，本文分別從網絡結構、損失函數和正負樣本分配策略三方面進行改進，提出了YOLOv7-RS算法。在YOLOv7網絡結構的基礎上融合了SimAM并使用D-ELAN替換YOLOv7中的ELAN；采用SIOU損失函數替換CIOU；優化了正樣本分配策略。實驗結果表明，YOLOv7-RS有效提升了檢測精度，更適合遙感圖像的目標檢測任務。但是，本文方法也存在一定的局限性：(1)相較于YOLOv7，YOLOv7-RS網絡結構復雜，在提升遙感目標檢測精度的同時增加了網絡的推理時間，導致檢測速度下降；(2)本文采用的HBB標注方式對于長寬比較大的目標(例如橋梁、港口)會引入大量的背景噪聲而且忽略了具有方向性目標(例如飛機、車輛)的朝向信息。下一步將優化骨干網絡并結合傾斜邊界框(Oriented Bounding Boxes，OBB)標注方式對遙感目標的方向進行研究，應用于遙感目標的識別任務場景中。