基于YOLOv5 無人機小目標檢測技術研究

張豐節，郁書好，王冠凌，代廣珍*

（1.安徽工程大學電氣工程學院，安徽 蕪湖 241000;2.高端裝備先進感知與智能控制教育部重點實驗室，安徽 蕪湖 241000）

在實際應用場景中，無人機獲取的圖像可以看作是一個特殊的物體檢測場景，這些圖像中的小目標信息通常特征較少. 當無人機飛行高度變化時極易導致物體比例發生變化，使得檢測精度降低，在密集場景中可能會存在目標之間相互遮擋的情況，使得一些目標遺失.[1-4]因此，需要設計一種適用于搭載在無人機上的目標檢測模型. 目前，無人機小目標檢測研究取得了較多進展，不少學者在雙階段目標檢測算法Fast R-CNN 和單階段算法YOLO 的基礎上給出了優化方案. 宋建輝[5]等在Faster R-CNN 基礎上，采用骨干網絡ResNet-50 以進行多特征融合，針對正負樣本不均衡的問題采用Focal Loss 損失函數進行優化，大大提高了模型的感受野和平均精度. 黃文斌[6]等基于YOLOv3-SPP 模型，在BN 層中添加縮放因子以進行稀疏訓練和通道剪枝，再對數據及數據集進行優化，這一方法提升了模型的推理速度和檢測精度. 韓玉潔[7]等通過在YOLOv4 上運用空間金字塔池化和路徑聚合網絡的方法以改進特征層之間的連接，采用自對抗訓練、馬賽克法等數據增強方法，提升了無人機對地面小目標的檢測精度；陳旭[8]等參考了YOLOv5s 的網絡結構，設計了一種改進的淺層網絡YOLOv5sm，引入可增大感受野的殘差空洞卷積模塊來提高空間特征的利用率，使得模型的精度在前人的基礎上大大提高. 應用無人機航拍視頻流進行實時目標檢測，對算法模型的檢測速度有較高要求，而無人機上嵌入式機載平臺算力有限、存儲容量小，對于模型參數量較高的雙階段算法，雖然其檢測精度較高但檢測實時性達不到實際需求.

YOLOv5 模型參數量小，具有推理速度快，精度高等優點，推理速度上最快能夠達到140 FPS[9-10].本文采用基于YOLOv5 算法，提出一種無人機小目標檢測方法. 主要從兩個方面進行改進：在模型主干網絡引入CAM-SAM 注意力模塊，在特征融合中采用跳躍式連接方法，進行不同尺度的特征融合；在預測網絡，使用高斯加權的Soft-NMS 替換NMS( 圖1).

圖1 改進的YOLOv5 網絡結構

1 YOLOv5m 算法改進

1.1 注意力機制

注意力機制源于對人類視覺的研究，使神經網絡能夠專注于一個特征子集并選擇特定的輸入，將輸入圖像特征輸出到下一層進行加權組合，增強特征圖中有效特征的積累，并在深度的學習中得到廣泛應用[11-12].本文在CBAM 基礎上進行改進，得到通道-空間注意力模塊CAM-SAM，其結構如圖2 所示.CAM-SAM 利用空間和通道兩個維度的注意力權值，挖掘小目標密集區域的特征信息，提高小目標區域的注意程度.

圖2 改進的通道-空間注意力結構

圖3為注意力機制CBAM 的結構，與通道-空間注意力進行對比，通道-空間注意力的優點在于沒有將CBAM 結構中的特征Ms與通道特征向量F1相乘輸出最終特征圖，而是將特征Ms與通道特征Mc相乘得到的結果作為最后的特征輸出，其優點是減少了該模塊的參數量和計算量，使其能作為輕量級通用 模塊集成到檢測網絡中.

圖3 CBAM 結構

通道和空間注意力采用平行-串聯的方式連接組成通道-空間注意力模塊.首先，將特征F∈RC*H*W輸入通道注意力，進行全局最大池化和全局平均池化，將生成的兩組序列發送給神經網絡MLP，得到兩組特征向量1×1×C，將兩組特征向量相加，并使用sigmoid 函數激活，得到通道注意權值Mc，并與原始輸入特征F相乘得到通道特征向量F1. 計算公式為：

將通道-注意力生成的特征向量F1作為空間注意力模塊的輸入特征，得到兩個H×W×1 特征圖，并利用7*7 卷積核進行降維操作生成一個H×W×1 特征圖，得到空間注意權重Ms，最后與通道注意權重Mc相乘，輸出通道-空間注意力特征圖.F2

[13-14]計算公式為：

上式中，F∈RC*H*W為輸入特征圖，C為特征圖的通道數，H和W分別為特征圖的高度和寬度，MLP為人工神經網絡，表示使用7×7 的卷積核對特征進行卷積處理，σ 為Sigmoid 函數，?表示兩個向量之間的乘法.

1.2 非極大值抑制

NMS 是目標檢測領域中重要的組成部分，在YOLO 算法的后處理階段中，采用非極大值抑制NMS進行檢測框篩選，抑制非極大值的元素.NMS 算法是對每個類別所有檢測框的分類得分進行排序，計算分數最高的檢測框與其他框的IOU 值，刪除大于閾值的框，保留小于閾值的框.[15]其目的是在檢測目標生成的多個候選框中，去除冗余邊框，保留最佳候選框.存在的問題是：當面對多目標且相互重疊遮擋的情況時，NMS 算法易將重疊程度大的邊框得分置為0,從而造成目標漏檢.因此，本文采用Soft-NMS算法并引入分數重置的方法，完成預測框的篩選.通過對大于閾值的框進行懲罰，保留IOU 值大且置信度高的同類別遮擋目標，利用加權降低置信度的方法，取代原NMS 中直接刪除大于閾值的框.Soft-NMS加權的方式有線性加權與高斯加權[16-17]，線性加權的公式如(5)所示.

式(5)中，Si為第i個預測框對應的分類得分，Ni為預設閾值，bi表示第i個預測框，M為每一輪得分最高的預測框，Xiou為預測邊界框面積A與實際邊界框面積B的交集與并集的比值.

高斯加權對IOU 值較大的目標得分衰減更強，而線性加權的分數重置函數是一個斷層不連續函數，為防止檢測序列突然發生變化，提出高斯分數懲罰函數來解決檢測序列不連續的情況.對重疊遮擋的候選框使用高斯加權比使用線性加權有更好的檢測作用.本文在高斯加權的基礎上，對函數進行改進，公式為：

(6)式中，σ 取值0.5,分數重置函數的衰減幅度更大，對于有高度重疊的預測框，有利于預測框bi的置信度得分衰減至分數閾值之下，從而加快預測框的篩選過程.

2 實驗結果與分析

2.1 VisDrone 數據集

本文采用天津大學無人機拍攝的數據集VisDrone-2019.數據集共計包含6 471 張訓練集圖像，548張驗證集圖像，1 610 張測試集圖像，平均每張圖片包含50 多個目標，其訓練集10 類檢測目標樣本數量總計343 205 個，檢測目標類別一共10 類，包括car, bus, motor, people, pedestrian, van, bicycle, truck,tri-cycle,awning-tricycle[18-19]，數據集中，小目標較多.

2.2 評價指標

網絡訓練基于pytorch 深度學習框架，硬件配置：CPU 為AMD EPYC-7543,GPU 為RTX A5000,24 G內存，云臺鏡像環境為pytorch1.7.0,Python3.8,Cuda11.0.

模型相關超參數設置：批量大小(Batch Size) 為4,訓練周期(epochs)為200,權重衰減系數為0.000 5,初始學習率為0.02.實驗評估指標使用平均精度(Averge Precision, AP)、平均精度均值(mean Average Precision, mAP)、參數量(Params)、檢測速率(FPS)檢驗算法的性能，計算公式為：

式(7)和式(8)中，AP代表訓練數據集中各類別目標的平均精度值，mAP表示所有類別目標AP值的平均值[18]，N為預測總類別數.

評價指標交并比(IOU)計算公式如(9)所示.其中，A為實際框，B為預測框.分子部分A∩B的值為預測框和實際框之間的重疊區域，分母部分A∪B為預測框和實際框所占有的全部區域.

2.3 網絡訓練結果分析

選擇YOLOv5m 作為本文改進設計目標的檢測模型. 將YOLOv3, YOLOv4, YOLOv5m 和YOLOv5m+CAM-SAM+Soft-NMS 在相同數據集上進行200 輪訓練，實驗結果表明，YOLOv5m+CAMSAM+Soft-NMS 模型在平均精度均值上要優于其他3 種模型，且4 種模型在訓練約150 輪后逐漸趨于穩定，均沒有出現過擬合與欠擬合的情況.

為了驗證改進模塊的有效性，實驗在輸入圖像分辨率大小為640×640、IOU 閾值0.5、相關超參數和訓練輪數相同的情況下，得到訓練的實驗參數結果如表1 所示.表1 的實驗4 通過引入改進的通道-空間注意力CAM-SAM 和高斯加權的Soft-NMS，大大提高了模型的性能，其mAP 為42.1,與原始YO- LOv5m相比提高了5.8%,檢測速度FPS 提高了3 幀.檢測精度的提高反映出CAM-SAM 注意力機制增加了小目標通道的權重比例，通過挖掘目標特征信息引導模型更加關注小目標相關特征信息，并加強了這些特征的訓練.模型在引入改進的Soft-NMS 后，準確識別了一部分重疊的遮擋目標，加快了模型的收斂速度.在此基礎上分別使用YOLOv3 和YOLOv4 進行對比實驗.結果顯示，改進的YOLOv5m 算法在檢測精度和推理速度上有明顯的提升.

表1 4 種目標檢測算法實驗

2.4 對比實驗分析

2.4.1 YOLOv5 模型版本選擇

YOLOv5 目標檢測網絡中共有4 個版本，分別為YOLOv5s, YOLOv5m, YOLOv5 l, YOLOv5x. 本文需要在這四個版本中選擇一個檢測精度較高、檢測速率合適且易部署在無人機終端的目標檢測網絡模型.因此，使用YOLOv5s, m, 1, x 四種網絡模型進行對比實驗.在輸入圖像分辨率和相關實驗超參數相同的情況下，實驗結果如表2 所示.

表2 YOLOv5 不同版本模型的檢測精度和速度

分析四種模型的訓練結果，YOLOv5l 與YOLOv5x 在mAPs0 值比YOLOv5m 高出不到9%的情況下，模型的檢測速率下降了45%左右，且網絡訓練時間更長，所得到的訓練權重文件更大，難以在無人機中部署，且檢測實時性上不滿足實際需求.雖然YOLOv5s 在檢測速率上能夠達到每秒121 幀，且參數量較少，但其檢測精度相比YOLOv5m 下降了7.3.因此，在權衡下選擇YOLOv5m 作為無人機目標檢測模型.

2.4.2 不同算法實驗對比

為了驗證改進后YOLOv5m 算法的有效性，將改進后YOLOv5m 算法與其他算法進性對比，結果見表3.文獻[6]使用的YOLOv3-SPP 模型是在YOLOv3 的基礎上，在第五層和第六層卷積中添加一個空間金字塔池化SPP 模塊，并使用GIoU 損失函數替代損失模型，提高目標定位的精度，相比YOLOv3,其mAP50提高了18.3%,但檢測速度有所下降.相比文獻[20],在相同數據集和圖像分辨率的情況下，改進模型mAP50值比文獻中的模型提高了27.6%.對比改進模型與其他五種模型實驗結果，可以發現，改進模型在檢測精度要優于其他模型，檢測速度也達到了不錯的效果.

表3 不同目標檢測網絡對比

2.4.3 Soft-NMS 與NMS 對比驗證

用高斯加權Soft-NMS 替換預測網絡中的NMS, 驗證改進的Soft-NMS 模塊對重疊遮擋目標檢測精度的影響.實驗模型中均引入通道-空間注意力機制.AP(NMSo.s)表示IOU 閾值為0.5 時的平均精度，AP(NMSo5)表示IOU 閾值為0.75 時的平均精度.結果見表4.對比NMSo.s 和Soft-NMSo.s 的檢測數據發現，使用高斯加權的Soft-NMS 可以有效減少重疊遮擋目標的漏檢，提高各類別目標檢測的精度.用NMSo75時，因閾值過大，真實預測框被抑制，導致AP 精度顯著降低.

表4 不同非極大抑制方法對精度的影響

采用NMS 在閾值為0.5 和0.75 時與Soft-NMSo.s 對實際小目標漏檢和誤檢的改進效果顯示，使用高斯加權的Soft-NMS 能有效減少重疊目標的漏檢和誤檢問題.

2.5 無人機平臺測試

實驗無人機搭載開源飛控PX4 和 Nvidia Jetson Xavier NX 機載計算機，采用Intel Realsense D435i 深度相機作為視覺傳感器，通過無人機上搭載的深度相機進行圖像采集，利用地面站與板載計算機的高清圖傳進行實時數據交互.

在無人機平臺上使用YOLOv5m 與YOLOv5m+CAM-SAM+Soft-NMS 模型進行測試，將模型訓練得到的權重文件部署在無人機機載平臺上，并選擇一處公園進行實景試飛檢測.實驗結果見圖4.兩種模型都能夠準確檢測出圖中3 個行人小目標，YOLOv5m+CAM-SAM+Soft-NMS 模型在檢測精度數值上分別為0.84,0.80,0.73,高于原YOLOv5m 模型中的0.81,0.79,0.49.

圖4 兩種模型搭載無人機檢測效果圖

3 結論

本文提出了一種改進的YOLOv5m 目標檢測算法，解決無人機航拍圖像中小目標像素信息少、特征表示弱導致的模型檢測準確率低的情況.首先，基于CBAM 提出了一種輕量級通用的通道-空間注意力CAM-SAM 模塊，使小目標群體獲得更大的注意力權重，提高關鍵特征提取能力，并集成在主干網絡中，在頸部網絡中使用跳躍式特征金字塔結構提高模型檢測性能.其次，在預測網絡使用高斯加權的 Soft-NMS 替換NMS 算法，作為遮擋情況下精度優化的方法.改進的模型在保證檢測精度的同時，檢測速度上也得到了保證，在無人機目標檢測實際任務當中得到了較好的應用 .