基于PSN?YOLOv7的光學遙感圖像目標檢測

摘 "要： 針對光學遙感圖像因目標尺度差異大，小目標特征信息不足導致的檢測精度低、誤檢、漏檢問題，文中提出一種基于PSN?YOLOv7的光學遙感圖像目標檢測方法。首先，增加一個160×160的小目標檢測層，增強網絡的多尺度目標檢測能力；其次，提出改進的ELAN?P和ELAN?WS模塊，在減少計算量和參數量的同時，增強全局理解能力減少目標特征信息的損失，有效改善誤檢；最后，提出MNI損失函數改進YOLOv7的CIoU位置損失函數，抑制小目標造成網絡損失不平衡的影響，從而減少目標漏檢的情況。在DIOR公開遙感圖像數據集上進行訓練與測試，實驗對比結果表明，所提方法檢測精度mAP@0.5為92.3%，比YOLOv7網絡提高了3.2%，且計算量和參數量與原YOLOv7網絡相當，提升檢測精度的同時保證了網絡的性能平衡。

關鍵詞： 光學遙感圖像； 目標檢測； 損失函數； 多尺度； 深度學習； 特征信息

中圖分類號： TN911.73?34； TP751.1 " " " " " " " "文獻標識碼： A " " " " " " " " " 文章編號： 1004?373X（2024）21?0119?06

Optical remote sensing image object detection based on PSN?YOLOv7

CHEN Xinyu1， CHEN Yuanyuan1， LIAN Yongjian2， GENG Yanbing2， ZHANG Nan1， LIU Shengren1， ZHANG Lingjun2

（1. School of Information and Communication Engineering， North University of China， Taiyuan 030051， China;

2. School of Computer Science and Technology， North University of China， Taiyuan 030051， China）

Abstract： In view of the low detection accuracy， 1 detection and missing detection in optical remote sensing images caused by large difference in object scale and insufficient feature information of small objects， a method of optical remote sensing image object detection based on PSN?YOLOv7 is proposed. A 160×160 small object detection layer is added to enhance the multi?scale object detection capability of the network. The improved ELAN?P （ELAN is the abbreviation of efficient layer aggregation network） and ELAN?WS modules are put forward to strengthen the global understanding ability， reduce the loss of feature information and improve detection effectively while reducing the calculation burden and parameters. The MNI （mixed loss function of NWD and IoU） loss function is proposed to improve the CIoU （complete IoU） position loss function of YOLOv7 to suppress the influence of network loss imbalance caused by small objects， so as to reduce the missing detection of objects. Training and testing were carried out on public remote sensing image dataset DIOR. The results of comparison experiments show that the detection accuracy mAP@0.5 of the proposed method is 92.3%， which is 3.2% higher than that of YOLOv7 network， and its calculation burden and parameters are equivalent to those of the original YOLOv7 network. It can be seen from the above that the proposed algorithm improves the detection accuracy and ensures the performance balance of the network.

Keywords： optical remote sensing image; object detection; loss function; multi?scale; deep learning; feature information

0 "引 "言

光學遙感圖像目標檢測指利用算法對感興趣的遙感圖像目標自動分類與定位，在情報偵察和災害救援等領域有重要作用[1?2]。傳統目標檢測算法通過支持向量機[3]（Support Vector Machine， SVM）和K?means[4]等分類器檢測，但需要手工構建特征。深度學習目標檢測算法主要基于anchor?base，分為兩階段模型的R?CNN[5?7]系列、單階段模型的SSD[8]和YOLO系列[9?11]，單階段和兩階段算法各有優點，單階段算法檢測速度快，兩階段算法檢測精度高。

通用的深度學習算法僅能完成普通的檢測任務，但對于多尺度、密集分布及背景復雜等場景檢測效果不理想[12]。

針對此問題，國內外學者進行了一系列研究，文獻[13]在SSD算法的基礎上，添加跳躍連接解決層數增加導致的性能退化問題，同時引入特征融合機制提高檢測精度，但計算量嚴重增加。文獻[14]引入RepLKDeXt模塊簡化了YOLOv7模型并增加了模型的適用范圍，但參數量較大。文獻[15]對YOLOv3模型進行改進，加快檢測速度的同時提升了漏檢率，但檢測模糊物體的能力較弱。文獻[16]提出了一種新的目標檢測器CF2PN，它通過多層次、多尺度的特征融合方法，解決了高分辨率遙感圖像中目標尺寸差異大的問題，但復雜場景下的檢測性能差。

本文針對上述問題，以及光學遙感圖像因目標尺度差異大，前景和背景極度不平衡所導致的檢測精度低、誤檢、漏檢問題，對YOLOv7目標檢測網絡做出改進與性能優化，提出一種基于PSN?YOLOv7（PSA?SCConv?NWD with YOLOv7）的光學遙感圖像目標檢測算法。本文所作的改進與創新如下。

1） 在YOLOv7網絡的head部分增加一個160×160的小目標檢測層，增強網絡的多尺度目標檢測能力，并從主干引入新的特征提取分支獲取更多特征信息。

2） 提出新的特征提取模塊ELAN?P和ELAN?WS，減少計算量和參數量的同時，減少目標特征信息的損失并抑制無用信息的提取，減小算法的誤檢率。

3） 提出MNI損失函數改進YOLOv7的位置損失函數CIoU，減少小目標對網絡造成的損失不平衡影響，進一步減少目標漏檢的情況。

4） 調整網絡的先驗框，進一步提升算法的檢測精度。

1 "PSN?YOLOv7目標檢測網絡

1.1 "新增小目標檢測層

光學遙感圖像目標尺度變化大且包含許多小目標，雖然YOLOv7網絡具有多尺度（80×80、40×40、20×20三個不同的檢測頭）檢測能力來分別檢測大、中、小目標，但80×80檢測頭得到的特征圖是經過多次卷積和主干網絡的8倍下采樣融合生成，在此過程中淺層特征信息大量丟失，且圖像中占像素較少的小目標特征信息丟失更加嚴重，從而造成小目標的漏檢問題。本文使用的數據集圖像像素大小為800×800，而小目標占比[17]為10%。考慮到上述問題，根據感受野的原理和保持網絡多尺度特征檢測的能力，在YOLOv7網絡的head部分直接新增一個160×160的檢測頭，可以將輸入圖像的每個網格單元最小化至5×5，極大提升模型對小目標的檢測能力。

此外，考慮到隨著網絡深度的增加，深層網絡能夠獲取到的小目標特征信息在底層十分有限，且包含大量噪聲及冗余特征，本文從主干網絡引入新的特征提取層，通過重構與融合操作整合特征信息，并抑制噪聲和冗余特征，構建并行多分支特征融合網絡獲取更多的有效特征信息。PSN?YOLOv7的網絡結構如圖1所示。

1.2 "改進的ELAN?P和ELAN?WS結構

光學遙感圖像中背景復雜和前景極度不平衡，背景占據圖像中的大部分區域，且圖像中目標尺度不一，因此特征提取模塊的構建十分關鍵。YOLOv7網絡中特征提取主要由ELAN（Efficient Layer Aggregation Network）與ELAN?WS模塊完成，這兩個模塊由大量CBS模塊堆疊而成，雖能有效提取特征信息，但大量堆疊時容易造成細節損失且只能捕獲局部信息，對于小目標的檢測尤其不利。

因此，本文將PSA[18]（Pyramid Squeeze Attention）注意力機制嵌入到ELAN結構中建立遠程通道依賴關系，獲取更多的特征信息。將PSA注意力機制直接嵌入ELAN中，計算量和參數量大大增加，故使用深度可分離卷積將PSA注意力機制改進為LPSA（Lighter Pyramid Squeeze Attention）模塊。改進后的ELAN?P結構如圖2所示。

考慮到主干網絡中的ELAN模塊已提取到大量特征信息，而ELAN?WS模塊是為進一步加強特征提取能力獲取更豐富的特征信息，但光學遙感圖像中背景像素占比遠高于目標，此時得到的特征中會含有大量無用的信息，并且大量的無用信息會嚴重影響網絡的檢測能力。為解決此問題，使用SCConv[19]（Spatial and Channel Reconstruction Convolution）改進CBS（Conv?BN?SiLU）模塊，并嵌入到ELAN?WS結構中，抑制多余的特征信息提升目標檢測的精度，減少模型計算量和參數量的同時減小內存訪問成本，提高模型訓練效率。改進后的ELAN?WS模塊結構如圖3所示。

1.3 "MNI損失函數

光學遙感圖像中的目標方向是隨機分布的，且一張圖像中包含的目標非常多，不同物體邊界框交叉重疊容易漏檢和錯檢。使用IoU[20]（Intersection over Union）計算損失函數具有非負性、尺度不變性等優點，但無法解決以下情況：

1） 不同方向上兩個相同交叉級別IoU完全相等，此時無法判斷預測的準確性。

2） 兩個目標沒有重疊時，IoU為0、梯度為0，網絡更新停止。NWD[21]（Normalized Wasserstein Distance）的主要優點是沒有重疊或重疊時可以忽略不計，它也可以使用度量分布的相似度來計算損失函數，可以有效改善小目標的檢測精度與漏檢問題，但NWD需要解決最優運輸問題，計算復雜度高。

考慮到光學遙感數據集中目標是多尺度的，因此使用MNI（Mixed Loss Function of NWD and IoU）損失函數計算位置損失，即使用NWD和IoU度量的混合損失函數。設水平邊界框[H]=（[xc]，[yc]，[w]，[h]），則MNI損失函數定義如下：

[LMNI=1-λIoU-（1-λ）NWD+ε] （1）

[NWD=e-DC] （2）

[IoU=Area?AreaGTArea?AreaGT] （3）

[D=（xc-xGTc）2+（yc-yGTc）2+（w-wGT）2+（h-hGT）2Δ2] （4）

式中：[λ]為超參數，計算損失函數時用來調節NWD和IoU的比例；[ε]=10-6是一個誤差校正系數；[C]為常數，是數據集中目標的絕對平均尺寸；（[xGTc]，[yGTc]）、[wGT]、[hGT]分別是真實框的中心坐標以及寬高；[Δ]=2，是一個常數；[Area]和[AreaGT]分別為預測框和真實框。

2 "實 "驗

2.1 "數據集及預處理

實驗使用公開的光學遙感圖像數據集DIOR，其涵蓋20個對象類，每幅圖像像素為800×800，空間分辨率為0.5～30 m，且在不同季節、天氣等場景下獲得。實驗中訓練集、驗證集、測試集的比例為7∶1∶2。先驗框的大小對于檢測精度有著不小的影響，因此，本文使用K?means聚類算法為DIOR數據集重新生成先驗框，每個檢測頭設定3組先驗框，具體配置如表1所示。

2.2 "實驗環境與參數設置

實驗基于RTX6000（GPU）計算機，環境搭建于Windows 10操作系統下的Python 3.6，PyTorch 1.9，CUDA 10.2。訓練時初始學習率設置為0.01，最小學習率為0.001。采用SGD優化器更新網絡參數，batch?size為16，epoch為200。

2.3 "性能評價指標

本文的性能評價指標有：[P]、[R]、AP、mAP@0.5、Params和GFLOPs。[P]、[R]分別為目標的查準率和召回率；Params為參數量，用來衡量算法的空間復雜度；GFLOPs為計算量，用來衡量算法的時間復雜度；FPS為每秒傳輸幀數，用來衡量模型的推理速度。

網絡的樣本有正樣本和負樣本之分，由于網絡的影響，對于樣本的識別有差異。定義TP為正樣本被識別為正類，FN為正樣本被識別為負類，TN為負樣本被識別為負類，FP為負樣本被識別為正類。查準率和召回率如式（5）和式（6）所示：

[Precision=TPTP+FP] （5）

[Recall=TPTP+FN] （6）

AP為Precision?Recall曲線在Recall從0～1的積分。一般來說，AP值越高，該網絡對于某單類別目標的檢測性能較好。設Precision?Recall曲線的函數為[f（x）]，則公式定義為式（7）。

[AP=01f（x）dx] （7）

mAP為數據集中所有類別AP值的平均值，可以衡量所有訓練類別的性能，mAP越大，說明訓練好的模型性能越優良。mAP定義見式（8）：

[mAP=t=1TAPtT] （8）

式中[T]為總類別數。

2.4 "超參數實驗

[λ]為調節IoU和NWD比例的超參數。為檢驗NWD改進網絡的有效性，在添加160×160檢測頭的網絡上設計實驗，實驗結果如表2所示。

分析表2中的實驗結果，以IoU為0.5的標準判斷，當[λ]=0.2，計算損失函數時IoU和NWD的比例為1∶4，數據集中的小目標檢測精度有所提高，mAP@0.5達到了最大值90.6；當IoU在0.5～0.95區間取值，以整個區間的精度為判斷標準，[λ]=0.5時，mAP@0.5：0.95達到了最大值66.7，IoU和NWD的比例為1∶1時在整個區間達到了最優值，各尺度目標檢測精度均得到了較好的提升。經過實驗驗證與數據分析，當[λ]=0.2時，mAP@0.5達到了最大值，且mAP@0.5：0.95僅比最優值小0.2%，故將[λ]=0.2確定為最優超參數值。

2.5 "消融實驗

為驗證PSN?YOLOv7目標檢測網絡的有效性以及提出的各種改進措施對遙感圖像目標檢測性能的提升作用，以YOLOv7為基準模型進行了一系列消融實驗，實驗結果如表3所示，表中“√”代表改進使用了此模塊。

分析表3消融實驗結果，可得出如下結論。

1） 改進1是加入160×160檢測頭以及新的特征提取層，相較于YOLOv7，改進1的精度有所增長，主要原因是提升了小目標的檢測精度，但參數量和計算量大幅增加。

2） 改進2是在改進1的基礎上，使用新的MNI損失函數計算網絡的位置損失，召回率提升1.3%，證明此改進方法有效提升了小目標的位置損失對網絡帶來的影響。

3） 改進3和改進4是在改進1的基礎上，分別將ELAN?P和ELAN?WS模塊嵌入到新的網絡中，此兩種改進方法的查準率分別提升2%和1.4%，同時檢測精度分別提升1.7%、1.1%，證明網絡提取特征的能力加強，且改進后的網絡參數量和計算量有所下降。

4） 改進5和改進6在改進3和改進4的基礎上使用MNI計算損失函數，保持查準率的同時，兩者的召回率均提高1.9%，證明位置回歸對于網絡的影響減小，模型的魯棒性增強。

5） 改進7是將ELAN?P和ELAN?WS模塊同時嵌入到改進1的網絡中，查準率提升2.1%，檢測精度提升1.8%，證明網絡提取特征能力增強的同時剔除無用信息的能力也得到增強。

6） PSN?YOLOv7是在改進7的基礎上使用MNI計算損失函數，相較于基準模型YOLOv7，查準率提升3.4%，召回率提升2.4%，檢測精度提升3.2%，參數量持平，GFLOPs僅增長1.1。

2.6 "對比實驗

為了驗證PSN?YOLO算法的優越性，將本文設計算法與其他主流算法進行對比。表4給出了不同算法的實驗結果。

由表4的實驗結果可知：PSN?YOLOv7算法的性能明顯優于Faster?RCNN、SSD、YOLOv3等經典目標檢測算法，檢測精度提高的同時保證了模型的檢測速度；PSN?YOLOv7算法的查準率僅比YOLOv5低0.1%，推理速度僅比YOLOv8減少了4.1 f/s，而召回率和檢測精度高于所有算法。

2.7 "檢測結果可視化分析

挑選出6個背景復雜、易誤檢、易漏檢的場景可視化，進一步展示PSN?YOLOv7算法的優越性。圖4a）、圖4b）分別為YOLOv7、PSN?YOLOv7算法的預測結果，可以看出PSN?YOLOv7的檢測精度在各場景中均優于YOLOv7，展示出了PSN?YOLOv7算法的優越性。圖4c）、圖4d）分別為YOLOv7、PSN?YOLOv7算法的熱力圖可視化結果，可以看出，YOLOv7算法有誤檢目標，且提取冗余特征信息過多，降低檢測精度的同時大量增加了算法的復雜度。相比之下，PSN?YOLOv7算法具有更強的特征提取能力，能夠提取到更多關鍵的語義信息和細節特征，抑制了大量的冗余特征，更加關注目標所在區域，減少了目標誤檢的情況，從而大幅提升了目標的檢測精度。

3 "結 "語

本文以YOLOv7為基準模型，針對光學遙感圖像受多尺度與背景復雜的影響而導致檢測精度低、誤檢、漏檢的問題，通過多種改進措施，提出了一種光學遙感圖像目標檢測算法PSN?YOLOv7。新增160×160的檢測頭增強了網絡檢測小目標的能力；ELAN?P和ELAN?WS模塊加強了網絡提取特征的能力，并抑制無用信息的影響，誤檢目標大量減少，配合新增的檢測頭使得網絡擁有良好的多尺度檢測能力。進一步使用改進的MNI損失函數計算位置損失，抑制了小目標損失造成的網絡不平衡，減小了模型的誤檢率，同時增加了模型的魯棒性與泛化能力。保持高檢測精度的同時平衡了模型各方面的性能，可以滿足光學遙感圖像目標檢測的需求。

注：本文通訊作者為陳媛媛。

參考文獻

[1] 聶光濤，黃華.光學遙感圖像目標檢測算法綜述[J].自動化學報，2021，47（8）：1749?1768.

[2] 馮長峰，王春平，付強，等.基于深度學習的光學遙感圖像目標檢測綜述[J].激光與紅外，2023，53（9）：1309?1319.

[3] OSUNA E， FREUND R M， GIROSIT F. Training support vector machines： An application to face detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 1997： 130?136.

[4] KAYASAL U. Magnetometer aided inertial navigation system： Modeling and simulation of a navigation system with an IMU and a magnetometer [M]. United Kingdom： LAMBERT Academic Publishing， 2009： 74?77.

[5] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2014： 580?587.

[6] REN S Q， HE K M， GIRSHICK R B， et al. Faster R?CNN： Towards real?time object detection with region proposal networks [J]. IEEE transactions on pattern analysis and machine intelligence， 2017， 39（6）： 1137?1149.

[7] HE K M， GKIOXARI G， DOLLAR P， et al. Mask R?CNN [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 2980?2988.

[8] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector [C]// Proceedings of European Conference on Computer Vision. Heidelberg： Springer， 2016： 21?37.

[9] REDMON J， FARHADI A. YOLOv3： An incremental improvement [EB/OL]. [2018?08?13]. http：//arxiv.org/abs/1804.02767.

[10] WANG C Y， BOCHKOVSKIY A， LIAO H Y M. Scaled?YOLOv4： Scaling cross stage partial network [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2021： 13029?13038.

[11] WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： Trainable bag?of?freebies sets new state?of?the?art for real?time object detectors [EB/OL]. [2023?09?30]. https：//doi.org/10.48550/arXiv.2207.02696.

[12] 付宏建，白宏陽，郭宏偉，等.融合多注意力機制的光學遙感圖像目標檢測方法[J].光子學報，2022，51（12）：312?320.

[13] 裴偉，許晏銘，朱永英，等.改進的SSD航拍目標檢測方法[J].軟件學報，2019，30（3）：738?758.

[14] 李安達，吳瑞明，李旭東.改進YOLOv7的小目標檢測算法研究[J].計算機工程與應用，2024，60（1）：122?134.

[15] XU D， WU Y. FE?YOLO： A feature enhancement network for remote sensing target detection [J]. Remote sensing， 2021， 13： 1311.

[16] HUANG W， LI G， CHEN Q， et al. CF2PN： A cross?scale feature fusion pyramid network based remote sensing target detection [J]. Remote sensing， 2021， 13（5）： 847.

[17] LI Z， WANG Y， ZHANG N， et al. Deep learning?based object detection techniques for remote sensing images： A survey [J]. Remote sensing， 2022， 14（10）： 2385.

[18] ZHANG H， ZU K K， LU J， et al. EPSANet： An efficient pyramid squeeze attention block on convolutional neural network [EB/OL]. [2021?05?30]. https：//api.semanticscholar.org/CorpusID：236177840.

[19] LI J F， WEN Y， HE L H. SCConv： Spatial and channel reconstruction convolution for feature redundancy [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2023： 6153?6162.

[20] YU J H， JIANG Y N， WANG Z Y， et al. UnitBox： An advanced object detection network [EB/OL]. [2018?08?13]. http：//arxiv.org/abs/1608.01471.

[21] WANG J W， XU C， YANG W， et al. A normalized Gaussian Wasserstein distance for tiny object detection [EB/OL]. [2022?12?15]. https：//arxiv.org/abs/2110.13389.

作者簡介：陳鑫鈺（1997—），男，甘肅平涼人，碩士研究生，研究方向為計算機視覺和目標檢測。

陳媛媛（1980—），女，山西太原人，博士研究生，教授，博士生導師，研究方向為光電信息處理技術。