基于改進YOLOv5s的復雜場景車輛檢測方法

鄺先驗，劉 平

（江西理工大學電氣工程與自動化學院，贛州 341000）

0 引言

車輛目標檢測在智能交通、智能駕駛、交通安全等方面發(fā)揮著重要作用，其目的是通過圖像處理技術識別出車輛目標并確定其在圖像中的具體坐標位置。目前車輛檢測存在難點主要有二，①需要在視頻流中對行進車輛進行快速實時的檢測。②現(xiàn)實場景中圖像容易受到光照、天氣狀況、道路環(huán)境等各種因素的影響，增加了車輛檢測的復雜度和難度。

近年來，基于卷積神經網絡的車輛目標檢測算法受到學者極大的關注并被廣泛使用，尤其針對在復雜場景下不同尺度和類型的車輛，這類算法相較于傳統(tǒng)圖像處理算法表現(xiàn)出更優(yōu)的檢測效果。當前目標檢測算法主要可分為以RCNN系列為代表的基于候選區(qū)域的雙階段方法和以Yolo、SSD等為代表的基于邊框回歸的單階段方法，通常情況下雙階段法的目標檢測網絡精度高但檢測速度慢，難以滿足車輛檢測的實時性要求，因此目前大多車輛檢測方法集中在單階段法，如黃躍珍等采用Center-Net實現(xiàn)車輛實時檢測，同時針對網絡損失函數(shù)和特征融合進行優(yōu)化提升了檢測效果；張富凱等增強了YOLOv3 特征提取網絡的深度并通過融合網絡中6種不同尺度的卷積特征圖獲得了較高的車輛檢測效果；胡習之等提出一種融合Camshift 與YOLOv4 的車輛檢測算法，依據(jù)哈希值來選擇不同的檢測方式從而獲得速度的提升。上述方法雖然實現(xiàn)了車輛的實時檢測，但是大多在復雜場景下檢測效果不理想，對于光照度低、道路擁堵等道路場景下以及車輛目標小，存在遮擋時容易出現(xiàn)誤檢、漏檢等狀況。

為應對上述問題，本文采用YOLOv5s 來實現(xiàn)復雜場景下的車輛目標檢測，保證滿足車輛檢測任務實時性要求的前提下添加了CBAM（convolutional block attention module）模塊，并通過增加Backbone 中CSP模塊的個數(shù)來加深特征提取網絡的深度，在公共數(shù)據(jù)集BDD100K中獲取所需的車輛標簽數(shù)據(jù)并進行實驗測試及性能比較，同時通過攝像機采集現(xiàn)實道路場景圖像用作模型實際可行性的驗證。

1 YOLOv5模型概述

YOLOv5 由Ultralytics LLC 公 司 于2020 年5月提出，其源碼庫中包含有YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x 四種不同版本，四種網絡版本的深度和寬度依次增加，其檢測精度也隨之遞增，但檢測速度逐漸降低。YOLOv5 網絡結構主要分為4 個部分，分別為Input、Backbone、Neck和Prediction。

在YOLOv5 中，Input 作為圖像的輸入端沿用了YOLOv4所采用的Mosaic 數(shù)據(jù)增強操作，該方法對小目標的檢測效果更為理想，同時將自適應錨框嵌入到源碼中，網絡訓練前會先計算配置文件中錨框的BPR 值（best possible recall），當BPR 低于0.98 時能夠自主學習并調整錨框大小。此外源碼中對自適應圖片縮放進行了改進，對不同尺寸的輸入圖片進行縮放填充時盡可能減少兩端的黑邊填充，避免填充過多造成信息冗余影響推理速度。

Backbone 為網絡的特征提取部分，YOLOv5中在Backbone首端增加了Focus結構，其核心在于切片操作，如圖1所示。以608×608×3圖像輸入為例，圖像接入Focus 結構經過切片后變?yōu)?04×304×12 的特征圖，再經由卷積操作得到304×304×的特征圖，通道數(shù)N 在四個網絡版本中各不相同。同時YOLOv5的主干網絡保持了v4 版本中的CSP 結構，并設計了CSP1_X 和CSP2_X 兩種不同結構分別應用在Backbone 主干和Neck 中，兩種結構如圖2 所示，圖中CBL 為Conv+BN+Leakyrelu 串聯(lián)組合成的模塊，ResUnit為殘差結構，如圖2（a）下方圖所示。

圖1 切片操作

圖2 CSP結構

Neck 是網絡的特征融合部分，在此階段中分別將Backbone 中提取到輸入圖片的1/8、1/16和1/32 特征進行融合并傳遞到Prediction 層，YOLOv5 在Neck 層繼續(xù)采用了FPN+PAN 結構，其中FPN 為自上而下的將高層特征上采樣后傳遞融合，傳達強語義特征，PAN 為自下而上的特征金字塔傳遞強定位特征。較v4 版本，YOLOv5 在Neck 層用CSP2_X 結構替代原有標準卷積，加強網絡的特征融合能力。

YOLOv5 的Prediction 層 采 用GIOU_Loss 作為Bounding box的損失，以此應對邊界框不重合情況下的損失計算，同時采用非極大值抑制（NMS）來獲取最優(yōu)目標框。

2 模型改進方案

網絡能夠實現(xiàn)實時檢測的最低幀率為30FPS，即處理每張圖片的用時不能高于33 ms，本文以此為基準對YOLOv5s 網絡結構進行改進優(yōu)化，在網絡Neck 和Prediction 之間額外添加了注意力模塊CBAM，同時對Backbone 的主干網絡深度進行了加深，保證最低幀率的前提下盡可能地提升網絡檢測精度，最終模型結構如圖3所示。

圖3 改進YOLOv5s網絡結構

首先，注意力機制添加到網絡模型后能夠在增加少量參數(shù)的情況下顯著提升網絡精度，當前已有面向卷積神經網絡的注意力模塊包括Enc模塊、ECA模塊和CBAM 模塊等，其中Enc 模塊和ECA 模塊是為特征通道加權的通道注意力模塊，而本文采用的CBAM 模塊則是同時為特征圖層和通道加權的空間和通道注意力模塊，模塊結構如圖4所示。

圖4 CBAM模塊結構

圖5為通道注意力模塊結構圖，在通道注意力模塊中，輸入特征F 分別經過空間維度上的全局最大池化和全局平均池化之后進入多層感知器MLP，然后將MLP 輸出的兩個特征相加再經過sigmoid 激活操作，生成最終的通道注意力權重矩陣M。

圖5 Channel Attention結構

整個運算過程公式表示為：

其中：為sigmoid函數(shù)。

空間注意力模塊結構圖如圖6所示，其輸入為權重矩陣M與輸入特征進行點乘后所得到的通道加權特征，首先基于通道進行了全局最大池化和全局平均池化操作，將所得結果進行通道上的疊加，再經過一個卷積操作后降維到單通道特征，最后經過sigmoid 函數(shù)激活生成空間注意力權重M。求取過程如公式（2）所示。

圖6 Spatial Attention結構

其中：是卷積核為3的卷積層，[ ; ]表示在通道疊加后的特征。

其次， 注意到YOLOv5 的四個不同版本通過修改配置文件加深和拓寬網絡深度和寬度獲得精度的逐次提升，它們的檢測效果如3.2 節(jié)表3所示，為了保證網絡模型在保持較快的檢測速度情況下提升精度，本文僅對Backbone 主干網絡的深度進行了加深，具體配置參數(shù)如表1所示。

表1 模型部分配置參數(shù)

表 中1～4 分 別對 應 圖3 中Backbone 的4 個CSP 模塊的配置參數(shù)，為相應參數(shù)乘以depth的值。

3 實驗及結果

本節(jié)首先介紹實驗環(huán)境配置及實驗數(shù)據(jù)集的獲取步驟，然后展示YOLOv5s、YOLOv5m 和YOLOv5l 三個網絡版本的檢測性能，并與本文優(yōu)化后的YOLOv5s 的性能進行對比，最后展示網絡的可視化效果和在實際場景下的檢測效果。

3.1 實驗環(huán)境及實驗數(shù)據(jù)

本文實驗均在同一環(huán)境下進行，具體軟、硬件配置如表2所示。

表2 實驗軟、硬件配置

實驗數(shù)據(jù)來源于公共數(shù)據(jù)集BDD100K，該數(shù)據(jù)集是伯克利大學AI 實驗室（BAIR）于2018年發(fā)布的大型駕駛數(shù)據(jù)集，包含有10 萬張帶有道路目標邊界框標注的1280×720 分辨率圖片及json標簽，其中訓練集、驗證集和測試集分別為70000 張、20000 張和10000 張。數(shù)據(jù)集中圖片場景豐富多樣，不僅包含黎明/黃昏、白天、夜晚三個階段下的住宅區(qū)、公路、街道、停車場、加油站、隧道6 種不同場景，還包括晴天、多云、陰天、下雨、下雪和霧天6種天氣狀況，符合本文研究復雜場景下車輛檢測的需求。然而由于BDD100K 數(shù)據(jù)集中標注框共有Bus、Light、Person 等共10 個類別，本文只針對車輛（Car）這一類別進行研究，因此首先通過Python 腳本對數(shù)據(jù)集進行了處理得到僅含有車輛標注的圖片和標簽，處理后的訓練集和驗證集分別為68943張和9882 張，由于測試集標簽官方并未公布，為方便實驗及驗證，最終本文采用的數(shù)據(jù)集測試集和驗證集分別以0.1 的抽取率隨機在上述處理后的訓練和驗證集進行抽取，并在驗證集中額外選取了887張圖像作為測試集。

3.2 實驗結果

為驗證本文提出優(yōu)化算法的可行性和優(yōu)勢，在相同實驗環(huán)境下對YOLOv5s、YOLOv5m、YOLOv5l、 YOLOv5s_cbam 和YOLOv5s_cbam_deep 進行了網絡訓練和驗證， 其中YOLOv5s_cbam 和YOLOv5s_cbam_deep 分 別 指 在YOLOv5s 添加CBAM 模塊后的網絡模型和添加CBAM 模塊并加深后的網絡模型。每次網絡訓練300Epoch，訓練過程采用SGD 優(yōu)化器，初始學習率10，動量和權重衰減系數(shù)設置為0.937和10。最終訓練完成模型在測試集中的性能如表3所示。

表3 模型性能比較

從表中數(shù)據(jù)可以看出，在測試集當中以YOLOv5l 模型的精度最高，推理速度也是最慢，添加CBAM 模塊后的模型較YOLOv5s 在精度上有0.7%的提升，而最終加深主干后的模型則有4.6%的精度提升，與YOLOv5l 的精度相接近，但是其檢測速度遠優(yōu)于YOLOv5l，同時該模型大小僅為YOLOv5l模型的1/4 左右，更加適合在移動端部署。

3.3 可視化效果和實際檢測

為了更好地比較模型的檢測效果，將標簽真實框（綠色）、YOLOv5s 檢測框（藍色）和YOLOv5s_cbam_deep 檢測框（紅色）同時可視化在同一圖片上，可視化效果如圖7 所示。圖7（a）中可以看出，道路擁堵、夜晚光線不足以及車輛存在重疊、遮擋等復雜場景下YOLOv5s 和YOLOv5s_cbam_deep 模型依然能夠實現(xiàn)較理想的檢測效果，圖7（b）和圖7（c）分別顯示出YOLOv5s 在檢測時出現(xiàn)將卡車、行人誤檢為車輛和對遠處小目標車輛漏檢等的情況，而YOLOv5s_cbam_deep 模型在這些方面表現(xiàn)更佳，證明本文所提出優(yōu)化方案的優(yōu)勢和有效性。

圖7 測試集檢測效果可視化

此外，為了檢驗本文提出模型在實際場景中的檢測性能，通過錄制贛州地區(qū)車輛行駛視頻并以1 秒/幀的頻率捕獲了部分道路場景圖像，然后分別使用YOLOv5s 和YOLOv5s_cbam_deep模型進行了車輛檢測，模型以1280×736 分辨率圖像為輸入時平均每張圖片檢測用時分別為19 ms 和23 ms，符合實時檢測的要求。檢測效果對比如圖8所示。在第一行圖像場景中，光照較好的道路場景下兩個模型的檢測性能相當，但是YOLOv5s_cbam_deep 模型的置信度更高，而當?shù)缆分谐霈F(xiàn)較多其他交通參與項（行人、二輪車等）的復雜場景以及光線不佳的黃昏或夜晚時段，YOLOv5s 出現(xiàn)了誤檢、漏檢等情況，如第二、三行中將電動車、路燈誤檢為車輛和第四、五行中未能檢測出被遮擋車輛，對比結果表明，在保證實時檢測的前提下本文模型具有更優(yōu)的實際可行性。

圖8 現(xiàn)實場景下檢測效果

4 結語

本文針對現(xiàn)有車輛檢測算法在復雜場景下性能表現(xiàn)不佳的情況，提出基于YOLOv5s的改進網絡YOLOv5s_cbam_deep，該網絡在YOLOv5s 網絡中添加CBAM 模塊提升網絡的場景理解能力，并加深了特征提取網絡獲得更優(yōu)的特征提取能力，在BDD100K 數(shù)據(jù)集中獲取所需數(shù)據(jù)集后，對YOLOv5 模型及本文提出的優(yōu)化模型進行了性能驗證，實驗表明本文提出的優(yōu)化模型較YOLOv5s 有4.6%的精度提升，在光線不佳和車輛存在遮擋等復雜場景下?lián)碛懈鼉?yōu)的檢測性能，同時在現(xiàn)實場景中處理每張圖片僅需23 ms，滿足實際應用的需求。