改進YOLOv5s算法的車輛目標實時檢測方法

陳秀鋒 王成鑫 吳閱晨 谷可鑫

摘 要：針對城市道路車輛檢測中小目標車輛漏檢率高和存在異類冗余框的問題，提出一種改進YOLOv5s的車輛實時檢測算法。對YOLOv5s算法網絡結構進行優化，采用增加小目標檢測層，將淺層特征圖與深層特征圖拼接后進行檢測的方法，提升小目標車輛的檢測率；針對異類冗余框問題，采用加權非極大值抑制融合兩邊框信息的方法，提升檢測準確性。實驗結果表明，改進YOLOv5s算法的平均檢測精度（mAP@05∶095）達到6417%，相比YOLOv5s算法，查準率、召回率分別提高172%、 072%；在小目標車輛檢測中，正檢率提高595%，漏檢率降低463%。改進YOLOv5s算法能有效改善小目標車輛的檢測精度和準確率。

關鍵詞：車輛檢測；深度學習；改進YOLOv5s算法；小目標檢測；異類冗余框

DOI：10.15938/j.jhust.2024.01.012

中圖分類號： U4912? 文獻標志碼： A

文章編號： 1007-2683（2024）01-0107-08

A Real-time Detection Method of Vehicle Target Based on Improved YOLOv5s Algorithm

CHEN Xiufeng， WANG Chengxin， WU Yuechen， GU Kexin

（School of Civil Engineering， Qingdao University of Technology， Qingdao 266520，China）

Abstract：Aiming at the high missed detection rate of small target vehicles and the heterogeneous redundant frames in video vehicle detection， a real-time vehicle detection algorithm based on improved YOLOv5s was proposed To improve the detection rate of small target vehicles， an optimization of the YOLOv5s algorithm network structure was established， which added a small target detection layer and spliced the shallow feature map with the deep feature map in the detection For the problem of heterogeneous redundant frames， weighted non-maximum value suppression is used to fuse the information of both frames to improve the detection accuracy The experimental results show that the average detection accuracy （mAP@05∶095） of the improved YOLOv5s algorithm reaches 6417% Compared with the YOLOv5s algorithm， the precision and recall rate are improved by 172% and 072% respectively In the small target vehicle detection， the positive detection rate is increased by 595% and the missed detection rate is reduced by 463% The improved YOLOv5s algorithm can effectively improve the detection precision and accuracy of small target vehicles

Keywords：vehicle detection; deep learning; the improved YOLOv5 algorithm; small target detection; heterogeneous redundant frames

0 引 言

隨著城市化進程的加快和居民出行需求的不斷提高，交通擁堵程度日益嚴峻，對道路交通運行的安全、效率和智能化等提出了更高的要求。智能交通管理中實時準確的信息采集和分析是交通管理措施有效的前提和保障。其中，視頻車輛檢測能夠實時、準確檢測車輛到達從而為交通管控提供有效的數據保障，已成為智能交通領域研究的熱點之一［1］。

Zhang等［2］融合毫米波雷達和相機的位置和速度信息，利用坐標轉換和參數標定生成感興趣區域，提出邊界框回歸算法精確定位和識別檢測目標，但傳感器數據差異使得數據融合效果并不理想。Pablo等［3］利用物體的運動一致性來實現目標檢測，采用高斯混合模型進行背景建模，車輛跟蹤中提出目標空間鄰接的粒子濾波算法，并采用自定義的虛擬環路檢測實現車輛統計，模型能較好地改善道路車輛檢測能力，但在光照變化復雜和陰影環境下的檢測誤差較大。Kachach等［4］提取滑動窗口內方向梯度直方圖特征，利用線性支持向量機實現車輛目標檢測分類。但模型參數的確定較為復雜，在工程應用中的適應性和穩定性有待提高。隨著機器學習技術的發展，先進的深度學習技術逐步應用到車輛目標檢測，并取得了理想的性能。基于深度學習的目標檢測方法分為兩類：一步法和兩步法［5］。一步法的典型算法為You Only Look Once（YOLO）系列算法［6-7］，YOLO將對象分類和檢測過程統一為一個回歸過程［8］，直接利用回歸來檢測目標。兩步法［9］的代表模式為Region Convolutional Neural Network（R-CNN）系列算法［10-12］，采用選擇搜索算法在目標圖像中選擇候選目標區域，提取候選區域目標并按照統一尺寸對圖像進行裁剪，經過神經網絡采集數據輸出特征圖像，利用支持向量機分類器進行判斷和回歸校正，從而得出目標檢測結果。相對于兩步法，一步法更適合實時性的車輛檢測［13］。YOLO系列算法通過卷積神經網絡提取特征來產生目標的位置和類別信息，是一種端到端的目標檢測算法，具有更快的檢測速度。其中，YOLOv5算法在YOLOv4算法的基礎上加以改進，根據不同通道的尺度進行縮放，改變主干網絡和頸部網絡結構加快算法訓練速度。然而，在實際的車輛檢測應用中，由于下采樣、卷積等操作的存在，深度神經網絡架構中的特征映射大小隨著層數的增加而逐漸減小，這導致了網絡傳播過程中特征的丟失，削弱了特征的利用率。與利用深度神經網絡結構的算法類似，YOLOv5算法中也存在對于遠距離小目標的檢測能力不足，小目標車輛漏檢率高、異類冗余框、檢測效率低等問題。

綜上，本文在YOLOv5s算法的基礎上，增加小目標檢測層［14］來解決小目標車輛漏檢率高問題，其次，通過判斷是否存在異類冗余框并融合異類冗余框的兩步操作法，來抑制出現的異類冗余框問題。

1 YOLOv5s算法原理

YOLO系列利用CNN將輸入圖片劃分成網格，每個網格負責檢測目標中心落入網格，然后預測邊界框和邊界框的置信度，最后利用非極大值抑制進行網絡預測［15］。YOLOv5系列算法具有檢測查準率較高、算法運行速度快等優勢，已經部署于道路車輛的實時檢測。YOLOv5系列中包含了4種模式，分別是YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，算法體積逐漸擴大，相應的檢測查準率越高。YOLOv5s算法［16］流程分為訓練和檢測兩個流程部分，其中YOLOv5s的網絡結構如圖1所示。YOLOv5s算法網絡結構分為頭部（Head）、頸部（Neck）和主干網絡（Backbone）。主干網絡由Foucs結構和CSP（center and scale prediction）模塊構成，用于從輸入圖像中提取關鍵特征；頸部網絡由SPP模塊和PA-NET（path aggregation network）組成，用于將主干輸出的特征整合后提供給頭部網絡；頭部網絡負責最后的檢測步驟，將邊界框位置與識別類型構造神經網絡形成最終輸出向量［17］。

圖1中，Conv指代卷積層，BN指代批標準化層，縮放特征圖像使輸入標準化固定每層輸入信號的均值與方差，緩解過擬合；LeakyReLU與SiLU為激活函數；CSP即Cross Stage Partial，指跨階段局部層；MaxPool為最大值池化層；Focus為注意力層；Concat為組合層；SPP即Spatial Pyramid Pooling，指空間金字塔池化層；ResUnit為殘差單元［18］，借鑒殘差神經網絡的思想，解決了卷積網絡隨著深度增加出現梯度消失的問題［19］，使網絡可以傳播更深。

訓練流程部分主要包含損失函數與數據增強兩個模塊，YOLOv5采用 CIOU-Loss 作為邊界框回歸損失函數［20］，有效解決了邊界框不重合時的問題；除翻轉、旋轉、變形、縮放等傳統數據增強方法外，YOLOv5訓練過程額外采用馬賽克數據增強方法［21］，阻止神經網絡學習不相關的特征，緩解過擬合現象，提升算法整體性能。

檢測流程部分，首先，在將圖像輸入 YOLOv5網絡前需要先對圖像進行縮放和補零，使圖像尺寸符合YOLOv5網絡的輸入要求；其次，經YOLOv5算法運算后輸出若干邊界框的位置信息與類型預測結果，再利用非極大值抑制模塊處理輸出邊界框，以減少重復檢測的邊界框數量；最后，將剩余邊界框進行輸出，作為圖像中車輛的檢測結果。

2 改進YOLOv5s車輛檢測算法

2.1 網絡結構優化

YOLOv5s算法的下采樣次數多，降低圖像分辨率的同時導致檢測效果低下，且層數較深的特征圖像很難學習到小尺寸目標的特征信息，無法有效檢測小目標。本文在 YOLOv5s算法中增加小目標檢測層，將淺層特征圖與深層特征圖拼接后進行檢測，如圖2所示。小目標檢測層由上采樣模塊、融合模塊、Bottleneck CSP模塊與卷積模塊組成。紅色柵格區域為小目標檢測層。對第17層圖像特征上采樣后放大輸入圖像細節，使得小目標物體經過上采樣后，特征信息中小目標物體的像素點占具一定比例；將第20層輸出圖像與主干網絡中第2層輸出圖像進行融合，使得深層特征圖與淺層特征圖在語義性和空間性上進行更好的平衡，以優化小尺寸目標檢測效果。在原三組錨框基礎上，增加一組較小的錨框，這些錨框長寬分別為（6，7）、（9，15）、（16，12）。

2.2 異類冗余框抑制

YOLOv5s算法中結果輸出采用非極大值抑制消除同類型重復檢測的邊界框，但存在將目標檢測為不同類型的情況。小汽車被檢測為car后又被檢測為truck，將這組邊界框稱為異類冗余框，如圖3所示。針對此問題，本文在YOLOv5s算法中提出異類冗余框抑制方法，該方法包括異類冗余框判別和融合兩步操作。

YOLOv5s算法結果輸出為二維數組，數組每行代表一條檢測結果，每條檢測結果表示為

pbi=［x1i，y1i，x2i，y2i，Ppi，{ηi∶l}］（1）

式中：pbi為邊界框i的預測結果；x1i與y1i為邊界框左上角點的橫縱坐標（pixel）；x2i與y2i為邊界框右下角點的橫縱坐標（pixel）；Ppi為預測概率；ηi為識別類型；{ηi∶l}為類型字典，l為車輛類型檢測次數。

判別異類冗余框流程為：計算兩兩邊界框間IoU（intersection over union）值，若IoU值高于異類冗余框閾值，

則判定邊界框為異類冗余框。閾值根據非極大值抑制模塊的閾值取值。IoU的計算公式為

IoUij=aIij（ai+aj－aIij）（2）

aIij=max（0，min（x2i，x2j）－max（x1i，x1j））×max（0，min（y2i，y2j）－max（y1i，y1j））（3）

ai=|x2i－x1i||y2i－y1i|（4）

aj=|x2j－x1j||y2j－y1j|（5）

式中：aIij為邊界框i與j重疊區域面積（pixel×pixel）；ai為邊界框i的面積（pixel×pixel）。

融合異類冗余框步驟為：取異類冗余框坐標均值作為融合邊界框坐標，將兩個邊界框類型加權求和后放入類型字典。識別類型不同時，采用加權非極大值抑制以增加注意框面積，豐富模型提取到的細節數據信息，使得邊界框定位更加準確，從而提升算法檢測性能。異類冗余框融合的結果表示為

pbi=x1i+x1j2，y1i+y1j2，x2i+x2j2，y2i+y2j2，Ppi+Ppj2，

ηi∶2aiPpi2，ηj∶2ajPpj2，ηi≠ηj

x1i+x1j2，y1i+y1j2，x2i+x2j2，y2i+y2j2，Ppi+Ppj2，

{ηi∶2}，ηi=ηj（6）

在車輛檢測過程中，若同一輛車被多次檢測，將每次識別類型保存于類型字典中，輸出車輛類型時選擇數值最大的識別類型。

2.3 算法流程

改進YOLOv5s算法車輛檢測系統含有4個子模塊：數據庫建立、網絡結構優化、模型訓練和車輛檢測，如圖4所示。

數據庫提供模型訓練所需的數據集；以YOLOv5s為基準算法，增加小目標檢測層，優化神經網絡小尺寸車輛圖像的檢測能力；在改進YOLOv5s網絡上訓練算法以更新算法參數；利用改進YOLOv5s算法檢測圖像獲得檢測目標的邊界框，基于非極大值抑制模塊消除同類型的重復檢測邊界框，然后利用異類冗余框抑制模塊消除不同類型的重復檢測邊界框。

3 實驗分析與驗證

3.1 實驗環境與數據集

本文實驗軟硬件設置為：Windows10操作系統，Inter-酷睿i5-10200H CPU，NVIDIA GeForce GTX 1650ti GPU，16GB內存，Pycharm Community IDE。

以美國AI-HCM-CITY2020數據集為基準，車輛數據場景涵蓋白天、黑夜、路段、交叉口等共26種，經過數據分析、清洗、馬賽克數據增強技術等制作均衡數據集，最終獲取4671張圖片，其中小汽車樣本13596個，公交或中大型客車樣本6604個，貨車或卡車樣本6195個，以此數據集訓練改進YOLOv5s算法。

采用實際道路交叉口車輛數據驗證改進YOLOv5s算法的有效性。對于小目標檢測效果，本文以青島市市南區香港中路-燕兒島路交叉口南進口2022年5月17日晚高峰10分鐘視頻數據集為研究對象，對前7分12秒視頻圖像每隔5秒截取圖像，共得到80幀作為樣本。對于異類冗余框抑制效果，選取香港東路-海爾路交叉口2022年5月18日早高峰監控視頻數據作為研究對象，取視頻前1分12秒，視頻幀率為25frame/s，每5～125幀輸出一次檢測樣本。

3.2 改進前后YOLOv5s算法的對比分析

3.2.1 改進網絡結構算法性能測試

改進YOLOv5s算法增加小目標檢測層，檢驗對于提升小目標車輛的檢測能力；改進異類冗余框抑制模塊，檢驗對于車輛誤檢率的變換情況。對比改進網絡結構YOLOv5s算法，得出算法在車輛實時檢測中的查準率、召回率、mAP@05、mAP@05∶095和檢測速度的數據指標如表1所示，其指標中的查準率體現了檢測算法拒絕錯誤檢驗的能力，召回率體現了算法正確檢驗的能力，檢測速度體現算法快速檢測目標物體的能力，平均準確率反映了算法對于車輛目標的綜合檢測性能。

從表1可以看出，相比YOLOv5s算法，改進YOLOv5s算法的查準率提高了172%，召回率提高了 072%，mAP@05指標提高了138%，mAP@05∶095指標提高了128%。改進YOLOv5s算法增加了小目標檢測層，檢測速度下降約16216%。

3.2.2 迭代過程可視化分析

在AI-HCM-CITY2020構建的均衡數據集上，將改進前后YOLOv5s算法分別進行訓練，記錄算法前50epoch的變化過程，見圖5。可以看出，在迭代23次前改進YOLOv5s算法的查準率、召回率、mAP@05、mAP@05∶095指標均略低于YOLOv5s算法，說明增加了小目標檢測的改進算法中網絡結構更深，需要的訓練時間更長且迭代初期不穩定。但隨著迭代次數的增加，從數據中提取的特征信息不斷累積，數據特征信息不斷豐富，迭代恢復穩定狀態。改進算法性能指標與YOLOv5s算法基本持平，甚至優于YOLOv5s算法。

3.2.3 小目標檢測效果對比

將改進前后YOLOv5s算法對小目標車輛檢測效果進行驗證，假設不存在車輛重檢或將非車輛物體識別為車輛。如圖6所示，工程應用中視頻檢測器設置于進口道停車線上游，在檢測對向進口道車輛時，YOLOv5s算法出現小目標車輛漏檢（見圖6（a））。改進的YOLOv5s算法在同樣場景下可有效實現小目標車輛檢測（見圖6（b））。說明改進算法增強了分辨率較低情況下對于小目標車輛的檢測能力。本文采用正檢率、誤檢率、漏檢率指標來衡量改進算法的有效性，兩種算法的檢測結果對比如表2所示。

由表2可知，在小目標車輛檢測中，相比較YOLOv5s算法，本文算法的正檢率提高了595%，誤檢率降低了217%，漏檢率降低了463%，均優于YOLOv5s算法，表明改進YOLOv5s算法對小目標車輛檢測有較強的識別能力。

3.2.4 異類冗余框抑制效果對比

采用正檢率、誤檢率、漏檢率和重檢率評價指標對比分析改進YOLOv5s算法對異類冗余框抑制的效果，結果見表3。重檢率為目標檢測中同一樣本被標記為不同類別樣本的比率，其計算公式為

Pδ=∑iΩmδ（i）mall

式中：Pδ為重檢率；mδ（i）為第i 幀重復檢測車輛數。

由表3可見，改進YOLOv5s算法正檢率提高了702%，誤檢率降低了936%，漏檢率降低了124%。YOLOv5s算法的車輛重檢率高達760%，改進算法不存在車輛重檢情況，改進算法有效解決了車輛重檢問題。

YOLOv5s算法與改進YOLOv5s算法部分輸出檢測結果對比如圖7所示?？梢钥闯霾捎酶倪M的YOLOv5s算法，其輸出結果中不存在車輛重檢?？梢姼倪M算法消除了異類冗余框。

4 結 論

本文提出一種改進YOLOv5s算法應用于道路車輛檢測，利用小目標檢測層改進YOLOv5s算法網絡結構，采用異類冗余框抑制模塊提升YOLOv5s算法檢測準確率。在車輛檢測數據集AI-HCM-CITY2020上對改進YOLOv5s算法進行訓練，利用實際道路監控數據進行檢驗，實驗表明，改進YOLOv5s算法查準率、召回率、mAP@05、mAP@05∶095相比YOLOv5s算法有所提高，檢測速度有一定降低，但仍能滿足實時性要求。在后續研究中，需要針對改進YOLOv5s算法導致網絡結構復雜的情況下，實現目標檢測高精度和高速度的平衡。

參 考 文 獻：

［1］ WU T， ZHOU P， LIU K， et al. Multi-agent Deep Reinforcement Learning for Urban Traffic Light Control in Vehicular Networks ［J］. IEEE Transactions on Vehicular Technology， 2020， 69（8）： 8243.

［2］ ZHANG X， ZHOU M， QIU P， et al. Radar and Vision Fusion for the Real-time Obstacle Detection and Identification ［J］. Industrial Robot An International Journal， 2019， 46（3）： 391.

［3］ PABLO B， CHRISTIANO B， FABIANO， et al. A Novel Video Based System for Detecting and Counting Vehicles at User-Defined Virtual Loops ［J］. Expert Systems with Applications， 2015， 42（4）： 1845.

［4］ KACHACH R， CANAS J M. Hybrid Three-dimensional and Support Vector Machine Approach for Automatic Vehicle Tracking and Classification Using a Single Camera ［J］. Journal of Electronic Imaging， 2016， 25（3）： 033021.

［5］ TIAN Y N， YANG G D， WANG Z， et al. Apple Detection During Different Growth Stages in Orchards Using the Improved YOLO-v3 Model ［J］. Computers and Electronics in Agriculture， 2019，157：417.

［6］ REDMON J， DIVVALA S， GIRSHICK R， et al. You Only Look Once： Unified， Real-time Object Detection ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2016： 779.

［7］ REDMON J， FARHADI A. YOLO9000： better， faster， stronger ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2017： 7263.

［8］ REDMON J， FARHADI A. YOLOv3：An Incremental Improvement ［R］. arXiv： 1804. 02767v1， 2018.

［9］ BOCHKOVSKIY A， WANG C Y， LIAO H Y M. Yolov4： Optimal Speed and Accuracy of Object Detection ［J/OL］. arXiv： 109342020. http：//arxiv.org/abs/2004.10934， 2020.

［10］GIRSHICK R， DONHUE J， Darrell T， et al. Region-based Convolutional Networks for Accurate Object Detection and Segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 38（1）： 142.

［11］ZHANG N， DONAHUE J， GIRSHICK R， et al. Part-based R-CNNs for Fine-grained Category Detection ［C］// European Conference on Computer Vision. ECCV， Zurich， 2014： 834.

［12］HE K， ZHANG X， REN S， et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904.

［13］朱茂桃， 邢浩，方瑞華. 基于YOLO-TridentNet的車輛檢測方法 ［J］.重慶理工大學學報：自然科學 ， 2020， 34（11）： 1.

ZHU Maotao， XING Hao， FANG Ruihua. Vehicle Detection Based on YOLO-TridentNet ［J］. Journal of Chongqing University of Technology：Natural Science， 2020， 34（11）： 1.

［14］柳長源， 王琪， 畢曉君. 多目標小尺度車輛目標檢測方法 ［J］.控制與決策，2021，36（11）：2707.

LIU Changyuan， WANG Qi， BI Xiaojun. Multi-target and Small-scale Vehicle Target Detection Method ［J］. Control and Decision， 2021，36（11）：2707.

［15］邵延華， 張鐸， 楚紅雨， 等.基于深度學習的YOLO目標檢測綜述［J］.電子與信息學報，2022，44（10）：3697.

YAN Shaohua， ZHANG Duo， CHU Hongyu， et al. A Review of YOLO Object Detection Based on Deep Learning ［J］. Journal of Electronics & Information Technology， 2022，44（10）：3697.

［16］李海軍， 孔繁程， 林云. 基于改進的YOLOv5s紅外艦船檢測算法 ［J/OL］.系統工程與電子技術：1.

LI Haijun， KONG Fancheng， LIN Yun. Infrared Ship Detection Algorithm Based on Improved YOLOv5s ［J/OL］. Systems Engineering and Electronics：1.

［17］蔡仁昊， 程寧， 彭志勇， 等. 基于深度學習的輕量化紅外弱小車輛目標檢測算法研究［J］.紅外與激光工程，2022，51（12）：357.

CAI Renhao， CHENG Ning， PENG Zhiyong， et all. Lightweight Infrared Dim Vehicle Target Detection Algorithm Based on Deep Learning ［J］. Infrared and Laser Engineering，2022，51（12）：357.

［18］CHOLLET F． Xception： Deep Learning with Depthwise Separable Convolutions ［J］． arXiv preprint arXiv： 1610．02357，2016．

［19］黃英來， 李大明， 呂鑫， 等. 改進YOLOv4算法的袋料香菇檢測方法 ［J］.哈爾濱理工大學學報，2022，27（4）：23.

HUANG Yinglai， LI Daming， L Xin， et all. A Detection Method of Lentinus Edodes Based on Improved YOLOv4 Algorithm ［J］. Journal of Harbin University of Science and Technology，2022，27（4）：23.

［20］Dong X， Yan S， Duan C. ALightweight Vehicles Detection Network Model Based on YOLOv5 ［J］. Engineering Applications of Artificial Intelligence， 2022， 113： 104914.

［21］FAWZI A， SAMULOWITZ H， TURAGA D， et al. Adaptive Data Augmentation for Image Classification ［C］// IEEE International Conference on Image Processing. IEEE， 2016： 3688.

（編輯：溫澤宇）

基金項目： 國家自然科學基金（52272311）；國家自然科學基金青年基金（62003182）

作者簡介：王成鑫（1998—），男，碩士研究生;

吳閱晨（1997—）， 男，碩士

通信作者：陳秀鋒（1977—），男，博士，副教授，E-mail：chenxiufeng@quteducn