基于改進YOLOv5的無人機小目標檢測方法研究*

易華輝，宋文治，黃金香，王雨璇，丁 瑞

（西安工業(yè)大學(xué)兵器科學(xué)與技術(shù)學(xué)院，西安 710021）

0 引言

由于國家遙感和農(nóng)業(yè)部門的大力推動，無人機低空航空攝影已成為一項成熟的技術(shù)，并在不同領(lǐng)域?qū)嵤┝耸痉俄椖俊；诘涂諢o人機的航空攝影具有平臺小、成本低、成像分辨率高、操作方便、機動性靈活、應(yīng)用范圍廣等優(yōu)點[1]。它是衛(wèi)星遙感的有力補充。

無人機是低空航空攝影的理想平臺，可以用高清傳感器捕捉地面目標。圖像分辨率遠高于基于飛機的高空航空攝影。在較低的飛行高度，空中圖像不受云層影響，使用高清相機獲得的圖像分辨率可以達到厘米級[2]。

隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，無人機圖像目標檢測有著廣泛的應(yīng)用，包括智能視頻監(jiān)控、森林防火、農(nóng)業(yè)信息、電力線檢測、考古研究、道路橋梁損傷評估、軍事偵察等[3]。此外，無人機圖像在維護社會秩序方面發(fā)揮著至關(guān)重要的作用。

物聯(lián)網(wǎng)與無人機相結(jié)合，可用于實時視頻監(jiān)控，以監(jiān)控盲點。無人機航空圖像數(shù)據(jù)量巨大，無法手動處理視頻。處理視頻內(nèi)容的傳統(tǒng)手動方法將導(dǎo)致遺漏和調(diào)試錯誤。因此，僅僅依靠人力資源進行檢索是不現(xiàn)實的。

近幾年以來，伴隨著深度學(xué)習(xí)技術(shù)快速的發(fā)展，國內(nèi)外的研究者逐漸將深度學(xué)習(xí)技術(shù)應(yīng)用于小目標檢測。Wang 等[4]提出了一種基于SSD（Single Shot MultiBox Detector）的輕量、高效的特征融合模塊，在保持檢測速度的情況下提升檢測精度，對小目標檢測效果有所提升；Gong 等[5]在特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）[6]的基礎(chǔ)上，添加一個融合因子描述相鄰層的耦合度，來控制深層傳遞淺層的信息，提高了小目標檢測性能；Pang 等[7]提出基于多尺度融合的Faster-RCNN 的小目標檢測方法，提高了無人機對地面車輛目標的檢測精度，但是模型參數(shù)較多，計算量大，實時性較低。Zhang等[8]提出了一種用于無人機圖像目標檢測的多尺度空洞卷積方法。增加了多尺度空洞卷積模塊，以增加視野感知并改善網(wǎng)絡(luò)在無人機圖像中的目標分布。目標特征（例如大小和差異）的學(xué)習(xí)能力進一步提高了網(wǎng)絡(luò)對無人機圖像中多尺度和復(fù)雜背景目標的檢測精度。Cui 等[9]提出了一種改進的YOLOv3 模型，結(jié)合超分辨率重建技術(shù)，用于無人機圖像中的實時目標檢測。該算法在復(fù)雜環(huán)境中具有較高的處理速度和魯棒性。Qiu等[10]提出了一種改進的YOLOv3方法，用于無人機圖像識別地面上的小目標。

本文根據(jù)無人機航拍圖像小目標檢測的特點，由于YOLOv5 具有出色的速度和精度，改進了該版本的算法，并提出基于改進YOLOv5 的小目標檢測方法。首先，為了提高對小目標區(qū)域的關(guān)注程度，在骨干網(wǎng)絡(luò)的特征提取模塊中加入高效通道注意力機制（ECA）[11]模塊，以增強對小目標特征的提取能力。其次，為了減少模型參數(shù)量和計算量，將CBL 模塊中的普通卷積更換為Ghost卷積，在保證算法實時性的同時提高算法精度。最后，采用加權(quán)損失函數(shù)，以充分學(xué)習(xí)圖像特征。改良后的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 基于ECA和Ghost卷積的YOLOv5s

2 基于改進的YOLOv5無人機小目標檢測

YOLOv5 是一種單階段檢測算法，可以一次性輸出預(yù)測框的位置和類別置信度，擁有極快的檢測速度和較高的檢測精度，在保證算法檢測速度的同時又兼顧了檢測精度。然而，YOLOv5 實驗通常在MS COCO 數(shù)據(jù)集中進行，并不完全適用于無人機圖像。由于無人機圖像中存在背景復(fù)雜、目標小、目標檢測相互遮擋等問題[12]，YOLOv5算法對部分目標檢測不準確，導(dǎo)致誤檢和漏檢。

YOLOv5框架主要由3個模塊組成，包括骨干網(wǎng)絡(luò)模塊（Backbone）、頸部模塊（Neck）以及輸出模塊（Head），如圖2所示，Backbone 模塊用于提取圖像特征；Neck 模塊則是通過組合（Concat）圖像特征的網(wǎng)絡(luò)層，并將圖像特征輸出給Head 模塊；Head 模塊對圖像特征進行預(yù)測，生成邊界框并預(yù)測類別。在檢測大目標具有明顯的優(yōu)勢，而無人機航拍目標大多為小目標，為此，需要在無人機航拍目標檢測任務(wù)上對原始模型進行改進。

圖2 YOLOv5s網(wǎng)絡(luò)模型整體結(jié)構(gòu)框架

2.1 基于ECA注意力機制的YOLOv5

特征提取模塊是目標識別中最重要的部分，由于無人機航拍圖像中的目標通常比較小，為提高模型的識別精度，將高效通道注意力機制（Efficient Channel Attention，ECA）模塊加入YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)中的特征提取模塊中，既可以強調(diào)小目標所在區(qū)域，又可以抑制不相關(guān)背景區(qū)域。ECA 模塊結(jié)構(gòu)如圖3 所示，將ECA 模塊連接在殘差塊主干分支之后，首先經(jīng)過一個不降低維度的通道級全局平均池化（GAP），在此基礎(chǔ)上再利用一維稀疏卷積操作來捕獲當前通道與它的k個鄰域通道信息的交互，最后再使用一個Sigmoid函數(shù)生成通道權(quán)值，將原始輸入特征與信道權(quán)重組合以獲得具有信道關(guān)注度的特征。

圖3 ECA模塊結(jié)構(gòu)

在無人機航拍小目標檢測任務(wù)中，通過不同的卷積信道提取目標的不同特征將導(dǎo)致太多的訓(xùn)練資源被用于無小目標區(qū)域，從而導(dǎo)致網(wǎng)絡(luò)的訓(xùn)練效率低下。為了解決這一問題，本文將ECA-Net 注意力添加到Y(jié)OLO v5 目標檢測模型的特征提取層，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。通過添加ECA-Net-注意力模塊，將不同的權(quán)重分配給不同的卷積信道，以突出小目標特征，通過適當?shù)目缤ǖ澜换ィ苊饬私稻S對學(xué)習(xí)通道的影響，大大降低了模型的復(fù)雜度，并且通過只添加少量參數(shù)，可以實現(xiàn)客觀的性能改進。

圖4 基于高效通道注意力（ECA）機制的YOLOv5s

權(quán)重的計算公式如下：

式中：σ為Sigmoid 激活函數(shù)；yi為通道；wi為通道的權(quán)重；Ω ki為yi的k個相鄰?fù)ǖ赖募稀?/p>

可以通過卷積核為k的一維卷積實現(xiàn)有效通道注意力模塊，如下：

式中：C1Dk為卷積核為k的一維卷積；y為通道。

通過這種結(jié)構(gòu)，模型可以選擇性地增強包含目標特征更多的細節(jié)，抑制不相關(guān)或弱特征。本文提出的模型如圖4 所示，在骨干網(wǎng)絡(luò)的最后一層加入ECA 注意力機制。

2.2 Ghost卷積

在無人機航拍小目標的檢測任務(wù)中，存在著大量重復(fù)的特征圖。這些冗余的特征圖對小目標檢測不僅沒有幫助，反而會增加檢測模型的參數(shù)量，這些冗余特征圖大多來源于常規(guī)卷積。因此，本文采用了Ghost卷積[13]去減少模型的參數(shù)和計算量以提高檢測速度。

Ghost卷積分為常規(guī)卷積、Ghost生成和特征圖拼接3步，如圖5～6 所示。第一步：使用比較少的卷積核對輸入圖像的特征圖進行特征提取；第二步：進一步對提取出來的這部分特征圖進行線性變換運算；最后通過拼接操作將兩組特征圖中的信息進行組合，生成最終的特征圖。

圖5 普通卷積

圖6 Ghost卷積

與常規(guī)卷積相比較，Ghost卷積計算量很少，僅僅使用線性變換就能產(chǎn)生大部分的特征信息。因此，將模型中CBL 模塊中的普通卷積替換為Ghost 卷積以減少模型的參數(shù)量和計算量，如圖7～8 所示，將GhostNet 卷積作為CBL 模塊的的卷積層，利用Ghost 卷積這些特征，可以減少模型的參數(shù)和計算量，模型更適合無人機航拍圖像的小目標檢測。

圖7 CBL模塊

圖8 改進的CBL模塊

2.3 加權(quán)損失函數(shù)

合適的損失函數(shù)有利于指導(dǎo)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有意義的信息，為了充分學(xué)習(xí)圖像特征，本文所設(shè)計的YOLOv5s模型采用了加權(quán)損失函數(shù)，包括交叉熵損失函數(shù)、DSC 系數(shù)損失函數(shù)、IOU 系數(shù)損失函數(shù)和Focal loss 損失函數(shù)。

（1）交叉熵損失函數(shù)

交叉熵損失函數(shù)如下：

式中：ytrue為真實掩膜圖像；ypre為改進的YOLOv5s 目標檢測網(wǎng)絡(luò)預(yù)測結(jié)果。

交叉熵損失函數(shù)能夠較好地衡量預(yù)測結(jié)果和真實掩膜圖像之間的相似程度，并且不影響模型的收斂速度。

（2）DSC系數(shù)損失函數(shù)

Dice 系數(shù)可以用于衡量兩個集合的相似性，其值在[0,1]之間，定義式如下：

對于目標檢測任務(wù)，其值定義為預(yù)測圖片和掩膜圖像之間重疊像素數(shù)量的兩倍除以二者像素數(shù)量的總和，其定義如下：

預(yù)測圖片和掩膜圖像之間重疊越多，DSC 值越接近于1；故通過下式將其轉(zhuǎn)換為單調(diào)遞減函數(shù)作為EFMYOLOv5s語義分割網(wǎng)絡(luò)的損失函數(shù)：

（3）IOU系數(shù)損失函數(shù)

IOU 系數(shù)用于衡量兩個集和的重疊大小程度，其值在[0,1]之間，定義如下：

式中：ytrue為真實掩膜圖像；ypre為改進的YOLOv5s 的預(yù)測結(jié)果。

Focal loss 能夠使得模型更加專注于較難分類的樣本，從而較好地解決了正負樣本不均衡的問題。最終本模型的損失函數(shù)為上述4個損失函數(shù)的加權(quán)：

3 實驗與分析

3.1 數(shù)據(jù)集

無人機航拍圖像面臨尺度變化大、目標小等問題，為了保證數(shù)據(jù)集的準確性，選用DOTA 數(shù)據(jù)集。該數(shù)據(jù)集是從谷歌地球、中國衛(wèi)星數(shù)據(jù)應(yīng)用中心等來源收集的大型數(shù)據(jù)集，共有21 046 張航拍圖像，是一個用于航空圖像中目標檢測的大型數(shù)據(jù)集，包含了不同比例不同方向和不同形狀的目標[14]。共有15 種目標物體，如飛機、汽車、橋梁、艦船等，圖9 所示為部分數(shù)據(jù)集的樣圖。為了保證模型的有效性，將數(shù)據(jù)集劃分為訓(xùn)練集和驗證集，使用數(shù)據(jù)集中原始圖像的75%作為訓(xùn)練集，25%作為驗證集，訓(xùn)練集有15 749 張圖像，驗證集有5 297 張圖像。

圖9 部分數(shù)據(jù)集

3.2 實驗配置

實驗使用的開發(fā)平臺為Windows10，平臺具體配置如表1所示。

表1 實驗配置

3.3 評價指標

一般來說，評價一個目標檢測模型的好壞，主要需要對精度進行評估，對精度進行評估主要參考平均精度和平均精度均值，因此，本文采用平均精度（Average Precision，AP）和平均精度均值（mean Average Precision，mAP）作為評價該模型的指標，計算公式如下：

式中：TP為正確分類的樣本數(shù)；FP為被錯誤判定為正樣本的負樣本數(shù)；FN為被錯誤判定為負樣本的正樣本數(shù)。

3.4 實驗結(jié)果分析

將DOTA 數(shù)據(jù)集分別通過YOLOv5s 模型和改進后的YOLOv5s 模型進行訓(xùn)練，迭代次數(shù)設(shè)置為100 次，訓(xùn)練過程中對應(yīng)模型的結(jié)果對比如圖10 所示。由圖可知，與原算法相比，改進的YOLOv5 模型的平均精度，預(yù)測率和召回率都有一定的提升，擁有更高的精度。

圖10 YOLOv5s與改進YOLOv5的訓(xùn)練結(jié)果對比

改進的模型檢測的各個類別的精度如表2 所示，對比可知，改進的模型較YOLOv5 模型，每個類別的精度均有所提高。

表2 實驗結(jié)果對比

為了驗證改進算法的先進性，使用同一數(shù)據(jù)集進行模型訓(xùn)練，將改進的算法與現(xiàn)階段最具代表性的3 種單階段檢測模型的檢測效果進行對比，分別是YOLOv3[15]、YOLOv4[16]、以及YOLOv5，檢測結(jié)果如表3 所示。由表可知，相比其他模型，改進后模型的mAP、模型尺寸以及檢測速度上均獲得了比較好的結(jié)果。其中，mAP 比其他的模型精度都高，模型大小與檢測速度YOLOv5相近，模型尺寸約為YOLOv3模型的1/11，YOLOv4模型的1/12,檢測速度比YOLOv3模型提高約62 ms，與YOLOv4相比，比YOLOv4 模型提高約35 ms，在保證原算法YOLOv5 模型檢測速度的同時提高了檢測精度。在檢測精度上，比YOLOv5 提高了1.9%，比YOLOv4 提高了1.59%，相比YOLOv3高13.77%。

表3 主流模型檢測結(jié)果比較

為了驗證了本文改進算法對小目標檢測的有效性，對驗證集進行測試并且與原算法進行對比，結(jié)果如圖11所示。YOLOv5 模型對小目標存在漏檢的情況，改進后的YOLOv5 模型可以改善較小目標的漏檢情況，提高小目標的檢測精度。該實驗結(jié)果表明，通過在YOLOv5 模型中加入高效通道注意力機制，提升了模型對小目標的檢測精度。

圖11 改進前后YOLOv5模型的檢測結(jié)果示例

4 結(jié)束語

本文針對無人機航拍小目標檢測精度不高的問題，提出了基于改進YOLOv5 的無人機小目標檢測算法。該算法通過引入ECA 注意力機制模塊增強網(wǎng)絡(luò)提取圖像特征圖信息，對提高小目標檢測效果有所幫助。針對模型體積大、檢測速度慢的特點，將CBL 模塊中的普通卷積更換為Ghost 卷積，減少了參數(shù)量。為了減輕類間樣本數(shù)量不平衡對模型分類損失產(chǎn)生的問題，使用加權(quán)損失函數(shù)改善無人機航拍小目標類間不平衡所導(dǎo)致的模型檢測精度受限的問題。最后通過在DOTA 數(shù)據(jù)集上進行測試，實驗表明，所設(shè)計模型比原來的YOLOv5 模型有著更高的準確率，在保證檢測速度的前提下有效提高了檢測精度，提升了無人機航拍小目標的檢測準確率。