改進YOLOv5的無人機影像車輛檢測方法

范江霞,張文豪,張麗麗,余濤,鐘林汕

(1.北華航天工業(yè)學院 遙感信息工程學院,河北 廊坊 065000;2.河北省航天遙感信息處理與應用協(xié)同創(chuàng)新中心,河北 廊坊 065000;3.中國科學院空天信息創(chuàng)新研究院 遙感衛(wèi)星應用國家工程實驗室,北京 100094;4.中科空間信息(廊坊)研究院,河北 廊坊 065001)

0 引言

隨著經濟與科技的迅速發(fā)展,車輛數(shù)量逐漸增加,交通擁堵已成為公路交通領域中的難題[1],智能調控車輛數(shù)量已成為一個熱點問題。車輛檢測是公路交通管理的重要環(huán)節(jié),及時掌握交通信息、了解車輛分布情況,有助于對車流量進行管理、調度以及對交通擁堵情況的排查與預測[2]。

目前常用的車輛數(shù)據(jù)是通過感應線圈、壓電式檢測器、攝像頭等地面?zhèn)鞲衅鬟M行獲取[3]。這類傳感器設備成本比較昂貴,安裝、維修等較為困難,且不易對其進行移動。相較于固定位置傳感器獲取車輛數(shù)據(jù)的方式,航空平臺搭載傳感器則更加靈活、高效。無人機拍攝的遙感影像進行車輛目標檢測成為了新的研究方向[4]。

隨著遙感技術的迅速發(fā)展,遙感影像的分辨率不斷提高,影像上車輛的特征也更加清晰,這為使用遙感影像進行車輛檢測提供了基礎[5]。基于遙感影像的車輛檢測方法可分為基于光譜或幾何結構特征進行車輛檢測、傳統(tǒng)機器學習方法以及深度學習方法3類。基于光譜或幾何結構特征進行車輛檢測的常用方法包括閾值分割法、梯度比較法等。Alba-flores[6]使用多閾值和大津閾值分割法對Ikonos影像上的車輛目標進行檢測;Larsen等[7]提出了雙閾值法對車輛進行檢測提取;曹天揚等[8]通過最大類間方差(OTSU)閾值分割法檢測車輛目標。此外,Sharma等[9]提出了利用光譜特征進行梯度比較的方法識別車輛。該方法中,閾值分割法對車輛密集區(qū)域檢測效果差;梯度比較法誤檢率高,不適用于遙感影像車輛目標檢測。總之,基于光譜或幾何結構特征進行車輛檢測的方法檢測精度較差,魯棒性不強。傳統(tǒng)機器學習方法通過梯度方向直方圖(histogram of oriented gradient,HOG)等方法對車輛目標進行檢測。Kembhavi等[10]通過HOG特征、顏色概率圖特征、汽車結構特征與提取的偏最小二乘法(partial least squares,PLS)特征相結合的方法檢測車輛;Liang等[11]結合HOG特征與哈爾小波轉換特征,使用多核支持向量機(support vector machine,SVM)作為分類器識別車輛目標;陽理理等[12]將二值統(tǒng)計局部特征模式(local feature pattern,LFP)與多尺度多個方向卷積核二者結合對車輛進行檢測。傳統(tǒng)的車輛檢測算法大多依靠人工進行特征提取,不一定能夠符合多樣性變化,且在遮擋情況下,檢測效果不佳,漏檢、誤檢現(xiàn)象較多,其魯棒性與普適性較差。

近年來,基于深度學習的車輛檢測算法相較于傳統(tǒng)算法取得了更好的檢測效果。基于深度學習的車輛檢測算法可分為兩類。一類是基于區(qū)域提取的車輛檢測算法,具有代表性的算法有R-CNN[13]、Fast R-CNN[14]、Faster R-CNN[15]、Mask R-CNN[16]等,該類算法車輛檢測精度較高,但建議框提取階段計算復雜度高,實現(xiàn)實時檢測仍面臨著挑戰(zhàn)[17]。另一類為基于端到端的車輛檢測算法,具有代表性的算法有YOLO(you only look once)[18]、SSD[19](single shot multiBox detector)等,該類算法在速度上滿足了實時性的要求,但相較于區(qū)域提取算法而言精度較低。姜尚潔等[20]使用YOLO算法對無人機遙感影像中的車輛目標進行實時檢測;Chen等[21]使用深層卷積神經網(wǎng)絡對高分辨率遙感影像中的車輛進行了檢測識別。深度學習算法依靠卷積神經網(wǎng)絡(convolutional neural network,CNN)進行圖像特征提取,在一定程度上,該算法解決了傳統(tǒng)算法漏檢、誤檢等情況,但其需要大量訓練數(shù)據(jù)學習車輛特征,花費時間較長,且該算法對硬件設施有較高的要求。

綜上,針對已有的遙感影像車輛檢測算法檢測效果較差、復雜度高、體積大等問題,本文提出了一種基于改進YOLOv5s的輕量級無人機遙感影像車輛檢測算法。以YOLOv5s模型為基礎模型,采用錨框尺寸修正、加權框融合及增加注意力機制網(wǎng)絡3種改進策略,并將檢測結果與YOLOv3及原始YOLOv5s模型進行比較。

1 數(shù)據(jù)和方法

1.1 數(shù)據(jù)集的準備

使用公開的DroneVehicle數(shù)據(jù)集[22]進行訓練與檢測。該數(shù)據(jù)集所有影像均為配備相機的無人機拍攝,包含多場景(道路、居民區(qū)、停車場等)和不同類型車輛目標(汽車、公共汽車、卡車、廂式貨車、貨運車等)的真實影像數(shù)據(jù),大小統(tǒng)一為840像素×712像素。該數(shù)據(jù)集利用4個頂點坐標{((Xi,Yi),i=1,2,3,4)}構成的四邊形邊界框對每個對象進行標注,每幅標注的影像均有相應的XML文件,標注框的位置、大小等在該文件中均可查詢,標注樣本如圖1所示。

圖1 樣本標注

1.2 YOLOv5s網(wǎng)絡體系結構的改進

YOLO算法是一種基于深度神經網(wǎng)絡進行對象識別和定位的算法。該算法將目標提議階段和分類階段融合在一起,是最典型的單階段目標檢測算法之一。它采用卷積網(wǎng)絡提取圖像特征,使用全連接層得到最終預測結果。YOLOv5是YOLO系列的最新版本,它包括YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x 4個架構,它們的主要區(qū)別在于不同的卷積核數(shù)量和特征提取模塊。為了防止過擬合現(xiàn)象的發(fā)生,本文選擇YOLOv5s作為基礎模型。針對無人機影像中車輛目標相對于自然圖像較為復雜的背景,對原始YOLOv5s模型使用3種改進策略:錨框尺寸修正、加權框融合及骨干網(wǎng)增加注意力機制網(wǎng)絡,以提升車輛檢測效果。

1)錨框尺寸修正。錨框是YOLOv5s算法的重要組成部分,利用錨框進行車輛目標定位,可提高車輛定位的準確度。原始YOLOv5s算法中設置3個尺寸的初始檢測錨框:[10,13,16,30,33,23]、[30,61,62,45,59,119]、[116,90,156,198,373,326],用于對小、中、大目標的檢測,對自然圖像車輛目標檢測效果較好。但由于無人機影像中車輛目標尺寸不一、種類多樣,且受拍攝角度影響,其形狀特征發(fā)生改變等特點,初始水平矩形錨框并不適用。本文添加角度回歸實現(xiàn)錨框旋轉,利用K-means聚類算法,對初始錨框尺寸進行改進。該算法將數(shù)據(jù)分為k組,隨機選取k個對象作為初始聚類中心,計算每個對象與各個種子聚類中心之間的距離,最后將每個對象分配給最近的聚類中心。每個聚類中心的值在迭代過程中不斷更新,得到最好的聚類結果后結束。本文使用K-means聚類算法,結合無人機影像中車輛目標的長寬比,將錨框尺寸設置為:[14,34,27,32,72,34]、[11,30,26,13,33,22]、[24,81,30,17,18,36]。如圖2所示,該示意圖呈現(xiàn)了6組錨框。

圖2 改進的錨框結構圖

2)加權框融合。經典的非極大值抑制(non-maximum suppression,NMS)應用于檢測網(wǎng)絡,是目標檢測中常用的預測框生成算法。NMS算法在檢測圖像中的單個目標物時有很好的檢測效果,但在實際場景中,車輛受到光線、建筑物、其他車輛等影響,導致陰影、遮擋等狀況。該算法將置信度低的預測框過濾,提取置信度高的預測框,使車輛在檢測過程中出現(xiàn)預測框計數(shù)不準確的情況。本文使用一種新的邊界框融合方法,即加權框融合(weighted boxes fusion,WBF)。WBF的步驟如下。首先,按照置信度分數(shù)由大到小的順序對所有邊界框進行排序;然后,生成另一個可能的框“融合”列表,通過比較交并比(intersection of union,IoU)和指定閾值的大小,判斷它們與原始框的匹配程度;最后,對框列表中所有框的坐標和置信度分數(shù)進行調整。新的置信度是所有被融合框的平均置信度,對新坐標進行類似的融合和加權,最終生成最合適的預測框,用數(shù)量信息生成正確的坐標。該方法將預測框進行合并,改善了計數(shù)不準確的情況。NMS與WBF預測框對比如圖3所示。

圖3 NMS與WBF生成預測框對比圖

3)骨干網(wǎng)的改進。由于車輛易受到實際場景影響且自身外形、結構、顏色等具有多變性,為了能更加快速準確地檢測車輛目標,本文增加了輕量級注意力機制SE(squeeze-and-excitation)網(wǎng)絡。SE網(wǎng)絡結構特征(圖4)有特征通道數(shù)(channel,C)、特征圖的寬(width,W)、特征圖的高(height,H)。該網(wǎng)絡結構的步驟大體為給定一個輸入X,經過卷積輸出特征圖U。首先,將大小為W×H×C的特征圖U沿著空間維度進行特征壓縮(squeeze);然后,壓縮后的特征圖通過全連接層(fully connected layers,FC)進行激活(excitation),為每個特征通道生成權重;最后,通過加權(scale)操作,將excitation輸出權重應用于原來的每個特征通道,得到最終的輸出結果。該網(wǎng)絡通過學習不同特征通道的重要性,對車輛目標有用特征進行提升,并抑制車輛的無關特征。

圖4 SE網(wǎng)絡結構特征圖

改進的YOLOv5s網(wǎng)絡結構主要包括骨干網(wǎng)絡、頸部網(wǎng)絡和檢測網(wǎng)絡,如圖5所示。骨干網(wǎng)絡用來提取圖像的一些通用特征,包括CSPDarknet53結構與focus結構兩部分。首先,focus模塊將多個切片結果進行堆疊(concat),使其深度連接;然后,將結果送入卷積層(convolutional layer,Conv),通過批量歸一化(batchnormalization,BN)和LeakyRelu激活函數(shù),將結果輸送到BottleneckCSP模塊,用于更好地提取圖像的深層特征。Bottleneck模塊是BottleneckCSP模塊的主要組成部分,它是一種連接了卷積核大小為1×1的卷積層(Conv2d+BN+LeakyRelu激活函數(shù),CBL)和卷積核大小為3×3的CBL的殘差網(wǎng)絡架構。Bottleneck模塊的最終輸出是通過殘差結構將這部分的輸出和初始輸入相加。BottleneckCSP模塊的初始輸入被輸入到兩個分支中,通過兩個分支的卷積運算,特征圖通道數(shù)減半。使用堆疊操作使兩個分支輸出的特征圖深度相連,之后通過BN層和Conv2d層輸出與BottleneckCSP模塊的輸入相同的特征圖。骨干網(wǎng)絡的第10層為空間金字塔池(spatial pyramid pooling,SPP)模塊,它將任意大小的特征圖轉換為固定大小的特征向量,以此來改善網(wǎng)絡的感受野。將卷積層輸出特征圖與通過3個并行最大池化層(maxpooling)下采樣的輸出特征圖深度連接,經過一個卷積層得到最終的輸出特征圖。骨干網(wǎng)絡還加入了注意力機制SE網(wǎng)絡,通過學習自動獲得車輛目標不同特征的重要程度,提升其有用特征,并相應地抑制一些不重要的特征。頸部網(wǎng)絡是融合圖像特征的特征聚合層,主要用于生成特征金字塔網(wǎng)絡(feature pyramid network,FPN),然后將輸出的特征圖傳輸?shù)綑z測網(wǎng)絡。新的FPN結構增強了自底向上的路徑,提高了底層特征的傳遞,增強了對不同尺度物體的檢測。因此,不同大小和尺度的同一目標對象可以被準確識別。檢測網(wǎng)絡是模型的最后一部分,由3個檢測層組成,用于檢測不同大小的圖像對象。每個檢測層最后輸出一個向量,然后生成并標記原始圖像中車輛目標的預測邊界框和類別。

圖5 改進的YOLOv5s結構框架圖

1.3 評價指標

本文利用每秒幀數(shù)(frames per second,FPS)、精確率(precision)、召回率(recall)、平均精度(average precision,AP)以及均值平均精度(mean average precision,mAP)對最后的實驗結果進行評價。

2 結果與分析

2.1 模型訓練結果

本文在AMD Ryzen 7 4800H處理器、NVIDIA GeForce RTX 2060顯卡、16 GB存儲卡的硬件條件下構建了PyTorch深度學習框架,實現(xiàn)了無人機影像車輛目標檢測模型的訓練和測試。模型訓練期間,采用Adam優(yōu)化器進行網(wǎng)絡優(yōu)化,將模型訓練的批量設置為2,訓練迭代次數(shù)為200。圖6為改進的YOLOv5s模型訓練結果示意圖。圖6(a)為訓練損失函數(shù)圖。從圖6(a)可知,模型訓練的前25個階段,損失值迅速下降;160個階段之后,該模型的訓練趨于收斂。圖6(b)為均值平均精度(mAP)圖,該圖表明,在訓練過程中沒有出現(xiàn)過度擬合現(xiàn)象,模型訓練結果較好。訓練結束后,保存YOLOv5s模型的權重文件,并通過測試集對模型性能進行評估。

圖6 改進的YOLOv5s模型訓練結果

2.2 模型檢測結果

為驗證改進的YOLOv5s模型性能,本文選擇755張無人機影像作為測試集進行分析,共有車輛目標10 136輛,其中汽車5 049輛、公共汽車1 272輛、卡車1 847輛、廂式貨車937輛、貨運車1 031輛,真實被檢測到的車輛目標為9 425輛。車輛目標檢測的FPS、precision、recall、mAP分別為30.19、92.10%、91.19%、90.01%。改進的YOLOv5s模型檢測結果如圖7所示。從檢測結果可以看出,本文所提出的模型可以較好地識別車輛目標。

圖7 改進的YOLOv5s模型檢測結果

2.3 消融實驗與不同目標檢測模型檢測結果比較

1)消融實驗。實驗采用3種策略對YOLOv5s模型改進,包括錨框尺寸修正、WBF及增加SE網(wǎng)絡。為了驗證以上策略的有效性,以YOLOv5s為基線模型,分別進行實驗,結果如表1所示。從表1可知,通過將錨框尺寸進行修正,mAP提升了1.11%;在此基礎上,將NMS替換為WBF,mAP增加了2.79%;最后將SE網(wǎng)絡添加到模型中,mAP高于基線模型4.59%,mAP達到了最大值。

表1 消融實驗結果

2)不同目標檢測模型。為了進一步分析改進的YOLOv5s模型性能,本文將755張無人機影像測試集分別使用YOLOv3與原始YOLOv5s模型進行檢測,與改進的YOLOv5s模型檢測結果對比分析,如表2所示。從該表可知,改進的YOLOv5s的mAP值最高,比原始YOLOv5s模型提升4.59%,高于YOLOv3模型5.88%。本文算法精度優(yōu)于原始YOLOv5s模型、YOLOv3模型。改進的YOLOv5s模型 FPS為30.19,相較于原始YOLOv5s提升了5.82,是YOLOv3的2.2倍。表3為Sun等[23]利用不同檢測模型針對此數(shù)據(jù)集的實驗結果。從該表可知,改進的YOLOv5s模型mAP值最高,該實驗的真實框與預測框的IoU大于0.5,則認為車輛目標被真正檢測到。結果表明,改進的YOLOv5s模型不僅保證了車輛目標檢測精度,同時也有效地實現(xiàn)了檢測速度的提升。

表2 不同模型檢測結果比較

表3 無人機車輛數(shù)據(jù)集評估 %

2.4 實驗結果分析

實驗結果表明,改進的YOLOv5s模型對于無人機影像車輛目標的檢測識別有著較好的結果。YOLOv5s主干網(wǎng)CSPDarknet53增強了CNN學習能力,在輕量化的同時保證了精度,優(yōu)于YOLOv3主干網(wǎng)Darknet53,具有更好的車輛檢測能力。但由于無人機影像車輛數(shù)據(jù)集中存在不完整車輛,且如果車輛不完整度等于或大于1/2時,該算法對其檢測識別精度降低,如圖7(b)、圖7(c)所示。

3 結束語

本文使用基于改進的YOLOv5s模型對無人機影像中的車輛目標進行檢測識別。針對無人機影像車輛目標易受實際場景等因素影響,在已有YOLOv5s模型的基礎上做了如下改進。

1)增加角度回歸,實現(xiàn)錨框旋轉,并利用K-means聚類算法高效、收斂速度快且聚類效果較好等特點,對錨框重新聚類。

2)由于WBF在某些情況下能夠改善漏檢、誤檢等問題,所以將模型原有的NMS方法替換為WBF方法。

3)增加注意力機制SE網(wǎng)絡,自動學習不同特征通道的重要程度,通過重要程度提升車輛的有用特征,并抑制了車輛無關特征。

改進的YOLOv5s檢測算法具有以下優(yōu)點。

1)改進的YOLOv5s模型FPS為30.19,相較于YOLOv3、原始YOLOv5s模型具有更快的檢測速度。

2)該模型均值平均精度為90.01%,能夠準確識別車輛目標。

3)本文提出的改進算法檢測模型為輕量級網(wǎng)絡,體積為16.1 MB,對硬件設備配置要求相對簡單,降低了車輛檢測模型的部署成本。