改進YOLOv5s的輕量化航拍小目標檢測算法

魏雅麗,牛為華

(華北電力大學(xué) 計算機系,河北 保定 071000)

0 引 言

隨著無人機的發(fā)展,“無人機+行業(yè)應(yīng)用”逐漸成為社會剛需,因其輕便性、易操作、低成本等優(yōu)勢得到快速推廣,無人機智能化在交通疏導(dǎo)、安防巡檢、農(nóng)業(yè)防害、物聯(lián)網(wǎng)運輸?shù)确矫嬉舶l(fā)揮重要作用。同時,將目標檢測技術(shù)用于無人機航拍領(lǐng)域也得到越來越多的重視。

在深度學(xué)習(xí)時代,基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的目標檢測技術(shù)顯著提高了目標檢測的性能。現(xiàn)階段目標檢測算法可分為 R-CNN[1]系列雙階段算法和YOLO[2]、SSD[3]系列單階段算法?，F(xiàn)已存在多種基于自然場景數(shù)據(jù)集設(shè)計的深度學(xué)習(xí)目標檢測算法,但由于無人機航拍圖像小目標多且密集,不同類型目標間尺度差異大,背景較復(fù)雜[4],直接將通用目標檢測算法應(yīng)用于無人機圖像目標檢測時,檢測性能通常會大幅降低,因此研究學(xué)者進行了大量的改進,從多個角度出發(fā),在保證檢測實時性的同時提高精度。

文獻[5]對YOLO網(wǎng)絡(luò)結(jié)構(gòu)中的殘差網(wǎng)絡(luò)和主干網(wǎng)絡(luò)進行改進,連接網(wǎng)絡(luò)中具有相同寬度和高度的兩個ResNet單元,同時預(yù)測多個邊界框和這些框的類概率,減少了因感受野受限導(dǎo)致的小目標漏檢問題。文獻[6]通過將小目標檢測分支的通道尺寸加倍,并減少大目標檢測分支的一半通道來優(yōu)化YOLOv5網(wǎng)絡(luò),實現(xiàn)了精度與速度的平衡。文獻[7]提出一種注意力特征融合模塊,根據(jù)不同尺度特征圖自適應(yīng)分配注意力權(quán)重,增強小目標的特征融合效率。文獻[8]在特征提取網(wǎng)絡(luò)的最后一層,加入鄰域注意力轉(zhuǎn)換器以保留足夠的全局上下文信息。文獻[9]根據(jù)小目標的特點引入了多尺度卷積模塊構(gòu)建特征融合預(yù)測網(wǎng)絡(luò),同時利用自適應(yīng)優(yōu)化權(quán)重得到高分辨率特征圖,提升無人機圖像的目標檢測精度。

針對遙感目標尺度變化大、遙感圖像背景復(fù)雜等問題,結(jié)合無人機圖像特點和單階段 YOLO系列算法的實時性和準確性,該文充分利用YOLOv5s的優(yōu)勢進行改進,解決算法參數(shù)多、檢測速度低等問題,有效提高了無人機場景下小目標檢測的精度。

1 YOLOv5s網(wǎng)絡(luò)介紹

YOLOv5s是當前主流的單階段目標檢測算法之一,相較于其他同系列單階段算法,在檢測速度及模型體量上都占據(jù)優(yōu)勢。該算法結(jié)構(gòu)簡單、計算高效,具備良好的檢測效果。因此,選擇YOLOv5s作為基線網(wǎng)絡(luò),針對無人機航拍圖像的特點,在此基礎(chǔ)上進行算法的改進,提高對小目標的檢測能力。如圖1所示,YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)較為簡潔,大致可以分為三部分:用于特征提取的骨干網(wǎng)絡(luò)(Backbone)、用于特征融合的頸部網(wǎng)絡(luò)(Neck)和用于目標類別和位置回歸檢測的頭部網(wǎng)絡(luò)(Head)。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

主要檢測流程如下:首先,通過Mosaic數(shù)據(jù)增強對圖像數(shù)據(jù)進行預(yù)處理,并采用自適應(yīng)錨框來計算不同訓(xùn)練集中的最佳錨框值,以供檢測頭的預(yù)測框更好地匹配目標;其次,主干網(wǎng)絡(luò)使用CBS結(jié)構(gòu)和C3結(jié)構(gòu),即多層卷積池化結(jié)合的算法從輸入圖像中提取特征信息;隨后將提取到的信息輸入到頸部網(wǎng)絡(luò)中,將特征金字塔(Feature Pyramid Networks,FPN)[10]與路徑聚合網(wǎng)絡(luò)(Pyramid Attention Network,PAN)[11]相結(jié)合,路徑從上而下傳遞深層的語義信息,從下而上將淺層位置信息傳遞做補充,從而增強整個網(wǎng)絡(luò)的特征表達能力;最終,使用三個檢測頭,在CIoU邊界框損失函數(shù)以及NMS非極大值抑制的計算約束下輸出檢測分類結(jié)果和置信度。

2 輕量化小目標檢測算法

2.1 跨層級特征融合

深度卷積通過不斷疊加卷積模塊來提高檢測精度,但是無人機圖像小目標眾多,分辨率高,一味增加深度小目標更易丟失位置信息,也會嚴重降低算法實時性。為了在相對保持網(wǎng)絡(luò)檢測速度的同時提高網(wǎng)絡(luò)檢測精度,該文在特征金字塔從上而下傳遞語義信息過程中增加兩條網(wǎng)絡(luò)鏈路傳遞信息。同時引入空間注意力模塊(SAM)[12],將更多的注意力用來學(xué)習(xí)該區(qū)域特征,以便在有限的計算資源下更好地提取信息。

該文在特征金字塔中進行了跨層級連接,如圖2所示,兩條虛線在原有網(wǎng)絡(luò)特征融合基礎(chǔ)上增加特征信息傳播鏈路,融合部分主要分為四部分:特征金字塔(FPN)從上至下傳遞語義信息,路徑聚合網(wǎng)絡(luò)從下至上融合位置信息,跨層級連接避免特征損失,同級前后連接補充特征信息。

圖2 跨層級特征融合圖

同時為了保留更多目標的信息,在特征提取和特征融合過程中添加空間注意力模塊(SAM),可使神經(jīng)網(wǎng)絡(luò)更加關(guān)注圖像中對分類起決定作用的像素區(qū)域而忽略無關(guān)緊要的區(qū)域。工作流程如下:首先,將輸入的特征圖分別經(jīng)過平均池化和最大池化進行壓縮,得到兩個H×W×1的特征圖;其次,將兩個特征圖做通道拼接,再對其進行卷積操作降維,經(jīng)過歸一化獲得空間權(quán)重;最后,使用這個權(quán)重和輸入特征圖相乘得到一個只關(guān)注于目標信息的圖像,如公式1所示:

Fs=sigmoid(conv[AvgPool(F);MaxPool(F)])

(1)

針對YOLOv5s算法,該文提出了引入注意力機制做特征信息增強,在融合過程中提取特征圖中有效信息,抑制無用信息,以增強背景信息對回歸、分類的指導(dǎo);另外修改特征融合網(wǎng)絡(luò),盡可能挖掘小目標密集區(qū)域的特征信息,使每次特征融合過程都能更關(guān)注小目標區(qū)域的特征,提高多尺度特征融合效率,減少背景噪聲干擾,提高檢測精度。

2.2 多尺度檢測頭

現(xiàn)有YOLOv5由三個尺寸不同的檢測頭部構(gòu)成,分別通過輸入圖像(640*640)8倍、16倍、32倍下采樣,并經(jīng)過特征金字塔和路徑聚合網(wǎng)絡(luò)得到,最終輸入到檢測頭部的特征圖層為{P3,P4,P5},其大小分別為80*80*128,40*40*256,20*20*512。淺層網(wǎng)絡(luò)提取的淺層特征圖P3中包含了更多的位置信息,用來檢測小目標;而深層網(wǎng)絡(luò)經(jīng)過多次卷積池化操作,提取的特征圖P5中包含更多的語義信息,用來檢測較大目標。為了提高極小目標的特征信息提取量,將骨干網(wǎng)絡(luò)前期卷積得到的特征圖C2輸入頸部網(wǎng)絡(luò)與{C3,C4,C5}進行特征融合,得到新的特征圖P2進行極小目標檢測,如圖3所示。

圖3 多尺度檢測頭

由于高分辨率的特征圖C2是經(jīng)過輸入圖像4倍下采樣而得,其中保留了更多關(guān)于小目標的細節(jié)信息,因此更有利于圖像中極小目標的檢測。圖中,{C2,C3,C4,C5}是四個尺度大小的特征圖,分別對應(yīng)著{4,8,16,32}倍的下采樣倍數(shù)。特征圖C2與C3,C4,C5通過特征金字塔進行特征融合,由于C2的分辨率更高保留更多關(guān)于小目標的特征信息,在特征信息傳遞的融合過程中提供更充足的目標信息,從而加強網(wǎng)絡(luò)的學(xué)習(xí)能力。

增加多尺度檢測頭有利于檢測極小目標,在保證檢測實時性的同時能大幅提升檢測精度,雖然在FPN+PAN網(wǎng)絡(luò)中增加部分卷積層做特征融合會為算法帶來一些額外的計算量和參數(shù)量,但綜合來看,能在只增加少許的計算開銷的情況下,大幅提升算法對小目標檢測的精確率。采用上述改進措施后,有益于深入挖掘無人機圖像目標檢測的關(guān)鍵特征信息,能夠?qū)崿F(xiàn)對極小尺度目標的檢測,提升YOLOv5s算法在無人機航拍圖像中目標檢測的效果。

2.3 改進損失函數(shù)

在目標檢測中,檢測頭的損失函數(shù)通常由置信度損失、分類損失、定位損失組成,常見的計算定位損失函數(shù)有GIoU Loss[13],DIoU Loss[14],CIoU Loss[15]和SIoU Loss[16]。YOLOv5s中分類和置信度損失均使用二元交叉熵損失函數(shù)(BCE With Logits Loss)來計算,如式2所示,定位損失由CIoU Loss來計算,如式3所示。

Lossobject=Lossloc+Lossconf+Lossclass

(2)

(3)

(4)

式中,Δ是結(jié)合角度損失而得的距離損失值,Ω是形狀損失值,SIoU結(jié)合形狀角度距離多方面因素去構(gòu)建損失函數(shù),具體計算公式如下:

(5)

γ=2-Λ

(6)

圖4 預(yù)測框B與真實框BGT

形狀損失值Ω利用對θ的控制來提升對形狀損失的關(guān)注程度,但為了避免過于關(guān)注形狀損失而降低對預(yù)測框的移動,將參數(shù)θ范圍設(shè)置為[2,6],如式7所示,其中ω分別為預(yù)測框和真實框差值的比值。

(7)

SIoU從預(yù)測框與真實框之間的距離、長寬比、重疊率等因素出發(fā),引入回歸向量角度,重新設(shè)定損失函數(shù),降低回歸自由度。經(jīng)過對比實驗證明,SIoU Loss能帶來更快的收斂和更好的性能,在模型保證精度的同時加快訓(xùn)練速度。

3 實驗結(jié)果與分析

該文基于PyTorch深度學(xué)習(xí)框架,利用NVIDIA RTX A5000 GPU進行實驗,輸入圖像尺寸(image_size)處理為640×640,批處理大小(batch_size)為16,初始學(xué)習(xí)率為0.010 0,使用VisDrone2019數(shù)據(jù)集將提出的改進算法與多種基準算法進行對比實驗。

3.1 數(shù)據(jù)集概述

VisDrone2019[17]無人機數(shù)據(jù)集由多架無人機傾斜俯視拍攝而成,涵蓋了中國14個城市景觀,包含8 629張圖像以及260萬標注信息,其中有6 471張訓(xùn)練集圖像,548張驗證集圖像,1 610張測試集圖像。如圖5所示,數(shù)據(jù)集中類別分布不均衡、小目標眾多、大目標稀少,部分類間方差較小,類別混淆嚴重,是一個極具挑戰(zhàn)性的數(shù)據(jù)集。

圖5 VisDrone2019數(shù)據(jù)集統(tǒng)計圖

3.2 評估指標

為了準確地反映深度學(xué)習(xí)模塊在無人機圖像領(lǐng)域的檢測能力,實驗采取精準率和召回率來分析檢測網(wǎng)絡(luò)的錯檢率和漏檢率,精準率和召回率越高,表示檢測過程錯檢率和漏檢率越低,評價指標P,R的計算公式如下:

(8)

(9)

式中,TP為目標預(yù)測正確的數(shù)量,FP為目標預(yù)測錯誤的數(shù)量,FN為目標預(yù)測漏檢的數(shù)量。在此基礎(chǔ)上,實驗另外采取mAP50,mAP50:95,Params(參數(shù)量,Parameters),GFLOPs,FPS等指標評價模型性能。AP為P-R曲線下的面積,是所有預(yù)測框的準確率與召回率的平均值,其值越高,說明模型的檢測效果越好;mAP為所有類別面積的平均值,mAP50反映數(shù)據(jù)集中各類精度的平均值即不同類別目標的綜合分類能力;GFLOPs為每秒10億次的浮點運算,用于衡量訓(xùn)練模型時的計算復(fù)雜度;Params是模型的參數(shù)量,用于衡量計算內(nèi)存資源的消耗;FPS是指模型每秒能檢測多少張圖像,用于衡量模型的實時性。該文主要考慮模型檢測的精度和速度,使用mAP 和FPS作為衡量算法總體性能的重要指標。

3.3 消融實驗分析

為了驗證提出的多尺度檢測頭、跨層級特征融合的有效性,進行消融實驗評估不同模塊在相同實驗環(huán)境下算法的檢測性能,選取YOLOv5s作為基線模型,輸入圖像分辨率為640*640,每種實驗控制參數(shù)相同,輸出訓(xùn)練300個epoch后的結(jié)果,如表1所示。

表1 消融實驗

模型D在增加小目標檢測層后檢測精度提升明顯,在YOLOv5s的基礎(chǔ)上mAP50提升了4%,證明了其存在的有效性。但增加多余的卷積和池化層來進行操作,同時會增加模型參數(shù)量,且檢測速度與參數(shù)量和計算復(fù)雜度呈明顯的負相關(guān)性,參數(shù)量增加了0.14 M,GFLOPs增加了2.9,導(dǎo)致檢測速度略有降低,每張圖片檢測時間增加3.42 ms。

模型B用SIoU Loss損失函數(shù)替換原本的CIoU定位損失后,mAP50進一步提升0.3%,且模型收斂速度變快,這說明SIoU不僅能提高檢測精度,還可以提高收斂速度。分析認為SIoU增加角度因素后,可以讓錨框更準確定位方向靠近真實框,讓網(wǎng)絡(luò)朝著梯度更快更準的方向下降,因此,提高了精度,加速了收斂速度。

文中算法在多尺度檢測頭的基礎(chǔ)上添加SAM,最終的mAP50提高了1.9%,比YOLOv5s提高了5.9%,進一步說明了這兩個模塊的有效性。最終算法的FPS為74幀/s,相比基線模型有所降低,但能夠滿足基本航拍目標檢測任務(wù)的實時性要求。

3.4 對比實驗分析

另外,為了在多種小目標檢測算法中驗證文中算法的優(yōu)越性,與各種先進目標檢測算法進行對比實驗,設(shè)置同樣的學(xué)習(xí)率與訓(xùn)練輪次,主要評估指標為檢測精度(mAP),結(jié)果如表2所示。

表2 VisDrone2019測試集上不同算法各類別檢測結(jié)果對比 %

通過表2可知,文中算法相較于Faster RCNN,YOLOv4等模型每個類別的AP值都有不同幅度提升;在“pedestrian”,“people”,“motor”等類別像素占比較小圖像中,Faster RCNN和YOLOv7算法檢測效果最好;YOLOv5s在檢測速度最優(yōu)的情況下,在“car”,“truck”等較大目標檢測中精度能與其他算法持恒。文中算法在像素占比小的“pedestrian”類別中mAP提升3.1%,“motor”類別提升2.1%,其他較大目標類別檢測能力也有進步,證實了提出的多尺度特征融合方法在小目標檢測領(lǐng)域的有效性。

根據(jù)表3數(shù)據(jù)可以看出,提出的改進YOLOv5s算法mAP為38.5%,相較于RetinaNet和FasterR-CNN算法分別提升了14.8%和5.4%,速度每秒分別多檢測62幀和59幀;和精度較優(yōu)模型YOLOv7相比,mAP差距11.3%,但模型參數(shù)是其四分之一,在實際工業(yè)級別輕量化應(yīng)用及部署中更有優(yōu)勢;和同類輕量級目標檢測算法YOLOv4-tiny對比,精度提升了19.4%,在便于無人機檢測任務(wù)部署的同時,顯著提高了檢測精度。

表3 不同目標檢測算法對比結(jié)果

另外,針對其他同類文獻實驗結(jié)果對比進一步闡述文中算法的優(yōu)越性。與文獻[7]作對比,精度略低,但檢測速度大幅提升,參數(shù)量也少0.1M;與文獻[18]所提出的輕量級目標檢測算法對比,模型精度提升14.3%,模型參數(shù)量也保持在較低水平;與文獻[19]相比,精度略低,但在模型的檢測速度上每秒多檢測16幀。綜上,證明文中算法在保證檢測實時性的基礎(chǔ)上能提升檢測精度,具有較明顯的優(yōu)越性。

3.5 檢測結(jié)果可視化

由于無人機航拍圖像的背景復(fù)雜多樣,目標較小,另外實際拍攝中還存在失真模糊昏暗的圖像,因此在檢測過程中經(jīng)常會出現(xiàn)誤檢和漏檢。為驗證改進算法在實際場景中的目標檢測效果,該文使用VisDrone2019測試集中具有代表性并且檢測較為困難的圖像進行測試,來驗證模型的檢測性能和魯棒性,預(yù)測結(jié)果如圖6所示。

圖6 檢測效果對比圖

根據(jù)圖6可知,昏暗光線下檢測結(jié)果與其他小目標場景檢測效果,證明光線對改進后模型的檢測精度沒有較大影響;同時針對無人機高空拍攝的圖片,文中算法在保證基線算法檢測框的基礎(chǔ)上,檢測出更多的小目標,避免一部分漏檢;另外在多個目標重疊且受遮擋的情況下,改進后的模型可以準確定位目標框并分類正確?？梢暬Y(jié)果顯示,YOLOv5s算法在大多數(shù)情景下能準確定位并分類,但面對一些目標模糊像素占比小等現(xiàn)象,存在漏檢錯檢的情況,文中算法能在不同情境下準確定位分類,表明該模型準確率較高且具有較好的魯棒性,符合實際情況的使用需求。

4 結(jié)束語

提出的改進YOLOv5s的輕量化航拍小目標檢測算法,通過跨層級特征融合算法,設(shè)置多尺度檢測頭,用低層特征圖去檢測較小目標,又在backbone引入空間注意力機制,將更多注意力聚集到密集小目標區(qū)域,提高小目標特征提取能力,同時改變定位損失函數(shù)為SIoU Loss,加快網(wǎng)絡(luò)收斂速度。結(jié)果表明,相比于YOLOv5s,其在精準率上提升了6.1%,召回率提升了3.6%,mAP達到了38.5%,檢測速度維持在74幀/s,綜合性能得到提升。但相對比自然場景下的檢測精度還稍有遜色,后期工作仍需在提高精度的同時在無人機并行設(shè)備上實施測試部署工作,實現(xiàn)輕量化模型搭載無人機實時監(jiān)測任務(wù)。