基于改進YOLOv4的車輛目標檢測算法

蘇 靜，劉伊智

(天津科技大學人工智能學院，天津 300457)

隨著城市的不斷發展，人口流動更加頻繁，堵車等交通擁擠問題也逐漸得到重視，發展智慧交通成為了重中之重.車輛的目標檢測是實現城市智慧交通的關鍵技術.視覺目標檢測是計算機視覺的經典任務，旨在定位圖像中存在物體的位置并識別物體的具體類別.目標檢測是許多計算機視覺任務及相關應用的基礎與前提，直接決定相關視覺任務及應用的性能[1].

傳統的目標檢測算法以手工設計特征為主，這些特征的泛化能力弱，對復雜場景的性能表現較差[2]，并且存在速度緩慢和準確率低等問題.現如今基于深度學習的目標檢測算法已經成為主流，此類目標檢測算法主要分為兩類：單階段(one stage)算法和兩階段(two stage)算法.兩階段算法的主要代表為R-CNN[3]系列算法，單階段算法最有代表性的是YOLO算法和SSD算法[4]，其中YOLO系列算法更是進行了多次迭代更新，后續分別提出了YOLOv2[5]、YOLOv3[6]、YOLOv4等算法.在城市道路交通中，車輛行駛速度一般在30～120km/h之間，在本文的實驗部分，對Faster RCNN與YOLOv4進行了幀每秒(FPS)的對比實驗，Faster RCNN的平均FPS只有32.4，而YOLOv4原算法FPS為58.1.由實驗可知Faser RCNN算法檢測速度緩慢，不適用于道路上高速行駛車輛的檢測.YOLO系列算法具有檢測速度快、準確率高的優點，可以更好地適用于公路上行駛車輛的目標檢測.YOLO系列的第四代算法YOLOv4具有良好的檢測性能與檢測速度，但是對于一些目標也存在識別率不高等問題.

李挺等[7]將MobileNetv2作為YOLOv4的主干網絡，加入了Bottom-up連接，并融合了CBAM注意力機制，在分類網絡中加入了Inception結構.雖然在行人檢測方面的結果有所提高，但是對行駛車輛的檢測卻會出現漏檢等問題.陳洋等[8]在PANet中加入CBAM模塊，同時使用加強的k均值聚類(k-means)對目標真實框進行聚類，使算法檢測錨框更適合于訓練集，提高了船艦圖像檢測的精度，但是卻增大了網絡參數，使得模型訓練緩慢，不夠輕量.王瀅暄等[9]提出了多標簽檢測方法，建立其約束關系，并提出圖像拼接檢測方法，以提升網絡的運行效率.

因此，本文提出改進YOLOv4車輛檢測算法：將主干網絡改進為輕量型的CSPDarknet53-tiny和GhostModule模塊結合的網絡結構進行特征提取，形成YOLOv4-Ghost-tiny，提高模型的運行速度，減少網絡的規模大小；將SPPNet替換為ASPPNet[10]，增大網絡感受野并減少模型參數；將注意力機制SENet[11]結構嵌入其殘差結構當中，使其能夠對不同特征圖進行相應處理.

1 相關工作

1.1 YOLOv4算法介紹

Alexey Bochkovskiy繼承了YOLO系列的理念，在YOLOv3的基礎上進行了改進，發布了YOLOv4[12].在與EfficientDet網絡性能相當的情況下，該算法的推理速度是EfficientDet的2倍左右，比上一代YOLOv3算法的平均精度(AP)和FPS分別提高了10%和12%.

該算法由主干特征提取網絡CSPDarknet53、特征金字塔SPPNet和檢測結構YOLO-Head構成.主干網絡CSPDarknet53在YOLOv3主干網絡Darknet53基礎上，借鑒了CSPNet的思想，在減少參數計算量的同時保證了準確率.YOLOv4算法在特征金字塔模塊中采用了SPPNet結構，進一步提高了算法的特征提取能力，而YOLO Head特征層則繼續使用YOLOv3的結構.

1.2 GhostModule網絡模塊

GhostModule[13]網絡模塊來自GhostNet網絡，網絡核心是開創了一種全新的Ghost模塊，它可以在使用較少參數的同時能保留更多的特征.Ghost模塊可以替換任何CNN網絡中的卷積操作，其優點是輕量、高效，效果優于輕量級網絡MobileNetV3[14].在神經網絡中，Ghost模塊將一個普通的卷積塊分成兩部分.首先將輸入的特征圖先經過卷積，再通過逐層深度可分離卷積生成其對應的冗余特征圖，最后將卷積生成的特征圖和深度分離卷積生成的特征圖進行堆疊操作.與傳統卷積神經網絡相比，該方法的參數量和計算復雜度均有所降低.

主要核心模塊Ghost Module的原理主要是用Ghost Module代替傳統卷積.首先采用1×1卷積對輸入圖片進行通道數的壓縮，然后再進行深度可分離卷積[15]得到更多的特征圖，最后對不同的特征圖進行拼接操作，使其拼接到一起，組合成新的輸出圖.Ghost Module結構如圖1所示.

圖1 Ghost Module結構Fig.1 Ghost Module structure

1.3 ASPPNet

DeepLabv3[16]網絡的ASPP模塊結構包括1次1×1的普通卷積、3次3×3的空洞卷積和1個全局池化分支.該網絡模塊受到空間金字塔池化的啟發，可以對不同特征的特征圖進行有效采樣以及分類操作.

ASPPNet利用空洞卷積[17]，在不改變其他參數的情況下增大其感受野，該模塊的組成部分為1次1×1卷積和3次3×3卷積，分別進行這些操作計算，最終將4次卷積結果進行拼接疊加.

1.4 SENet注意力機制

通過引入注意力機制，使眾多輸入信息能夠聚焦于更為關鍵的信息，降低對其余參數信息的敏感度，過濾掉無關信息，提高任務處理的效率與準確率.SENet是Momenta公司2017年在CVPR中提出，并獲得最后一屆ImageNet圖像識別冠軍.

SENet模塊結構如圖2所示.首先，對給定輸入特征圖X進行全局平均池化操作，得到一個通道數為C的特征圖；然后，對通道數為C的特征圖進行兩次全連接操作，第一次全連接時的參數量相比第二次全連接時的參數量更少，在兩次全連接操作完成后，對其特征層的每一層通道進行Sigmoid操作，得到權重值；最后，將權重值與其原特征層進行參數相乘操作.該模塊可以用到其他網絡結構中，能夠達到即插即用的效果，對大多數網絡都有所提升.

圖2 SENet模塊結構Fig.2 SENet module structure

2 算法改進

2.1 改進主干網絡

原始的YOLOv4網絡使用了CSPDarknet53作為其算法的主干網絡，CSPDarknet53對圖片特征有著很強的提取能力.但是，由于其網絡結構復雜、參數繁雜，導致其訓練緩慢，在輕量性方面有所欠缺.為了提高速度，將網絡前驅部分DarknetConv2D的激活函數由Mish改為LeakyReLU.由于模型一般在減少參數后準確率往往會降低，因此對其網絡中的Resblock_body模塊進行改進，將該模塊的殘差部分改為GhostModule結構，形成ResGhost_body模塊，彌補準確率降低的缺點.ResGhost_body模塊結構如圖3所示.主干網絡最終提取到3個有效特征層(52×52、26×26、13×13).

圖3 ResGhost_body模塊結構Fig.3 ResGhost_body module structure

2.2 改進特征融合模塊

YOLOv4在其主干特征提取網絡之后連接了特征融合模塊SPPNet，該網絡結構由He等[18]提出，起初是為了解決R-CNN速度緩慢的問題.在原YOLOv4網絡結構中，SPPNet接在了最后一層特征層的卷積里，并對其主干網絡中最后一個特征層進行3次卷積之后，分別利用4個不同大小的池化層對其進行處理，其池化核大小分別為1×1、5×5、9×9、13×13，最后將得到的4個特征模塊圖進行通道拼接，結構如圖4(a)所示.但是，此模塊會導致參數量增大，使網絡結構訓練減慢，運行速度下降.

圖4 SPPNet改進圖Fig.4 SPPNet improved diagram

因此，將SPPNet模塊結構替換為與其相似的ASPPNet，不僅能夠減少參數量，還可以增大網絡的感受野.該網絡結構模塊為1個1×1的普通卷積和3個3×3的空洞卷積.首先對輸入的特征圖進行3次卷積，之后對其進行1次1×1的普通卷積和3次3×3的空洞卷積，最后將得到的4個模塊特征圖進行疊加，其結構如圖4(b)所示.

2.3 嵌入SENet結構

原始特征圖在經過了主干網絡的特征提取及ASPPNet等結構的一系列卷積操作之后，隨著參數量的增大，產生梯度消失等問題，容易失去主要特征，使得最終的準確率下降.因此，在最后的PANet[19]模塊中加入注意力機制SENet結構，讓網絡聚焦更為關鍵的信息.在原始的YOLOv4網絡結構中，主干特征提取網絡有2個分支以及在特征融合模塊之后有1個分支，這3個分支會進入PANet結構中，因此為了保留原始分支中的信息，在PANet模塊中加入注意力機制SENet.改進前模塊和改進后模塊的結構如圖5所示，其中P1、P2、P3代表其3個分支.

圖5 PANet結構對比圖Fig.5 Comparison of PANet structures

3 實驗設計與結果分析

3.1 實驗平臺

本實驗在Windows10操作系統下完成，使用語言為Python，使用框架為PyTorch1.7.0，處理器為Inter i5-9300H，內存為16GB，GPU采用GTX 1650 4GB顯卡.

3.2 實驗數據集

對于車輛的目標檢測，采用自動駕駛BDD100K數據集，其中訓練集50000張，測試集15000張.由于本文主要研究對車輛的目標檢測，因此對數據集進行了篩選和清洗，最終訓練集36400張，測試集9256張.

3.3 評價指標

用精確率(precision)、召回率(recall)和平均精度(AP)對模型進行評估，公式為

式中：NTP為被模型預測為正類的正樣本，NFP為被模型預測為正類的負樣本，NFN為被模型預測為負類的正樣本，P、R、Pav分別表示精確率、召回率和平均精度.

3.4 實驗結果比較

為了驗證本文算法的有效性，實驗在BDD100K數據集上進行了測試，結果見表1.由表1可知：本文算法通過改進殘差模塊，在殘差分支中加入了GhostModule模塊；對原網絡結構中的SPP結構進行改進，增大感受野，提高精度；PANet網絡結構添加了SENet注意力機制模塊，使整個網絡結構得到了優化.較原算法YOLOv4結構，AP提升了2.69%，幀每秒(FPS)也有相應提升，使算法具備更好的檢測效果，AP、召回率、精確率結果對比如圖6所示.

表1 對比實驗結果Tab.1 Results of contrast experiment

圖6 不同算法AP、召回率、精確率結果對比Fig.6 Contrast graph of AP，recall and precision of different algorithm

3.5 實驗效果對比

本文模型與原算法YOLOv4在測試集上進行實驗，部分檢測結果如圖7所示.從圖7中可以看出，原算法對于部分車輛檢測出現了漏檢現象，而本文算法有著更好的檢測性能.

圖7 YOLOv4算法和本文改進算法在測試集上的效果Fig.7 Effects of YOLOv4 algorithm and improved algorithm on the test set

3.6 消融實驗

為了驗證本文提出的改進YOLOv4算法對于原算法的提升效果，對本算法提出的3個改進點分別進行消融實驗，分別為主干網絡殘差邊融合GhostModule、ASPP、SENet.消融實驗結果見表2.

表2 消融實驗結果Tab.2 Ablation experimental result

由表2可知：在AP方面，改進后的算法均比原YOLOv4算法有不同程度的提升，加入ASPP后提升效果最好.

加入SENet模塊之后召回率的提升效果最為明顯，這主要是因為注意力機制可以更加關注重要的特征通道，提升網絡的信息提取能力.ASPP和SENet模塊的精確率相對于YOLOv4算法并沒有提升，而加入了GhostModule之后，精確率有所提升，這是因為在殘差邊部分加入GhostMoudule模塊可以加強其特征提取能力，使得精確率提升.在FPS方面，在將SPP改為ASPP之后，參數量減少，導致模型檢測FPS提升最為明顯.因此在加入上述3處改進點之后，4個指標都有不同程度的增長.本文中的算法同時融合了3處改進點，相對于GhostModule，犧牲了一部分精確率，但是平均精度和召回率均為上述實驗中的最高值，并且精確率和FPS相對于YOLOv4算法也有所提升.

3.7 實際場景中的應用

為了驗證本算法在實際場景中的應用能力，自制搜集相關數據集6000張，對其進行標注并將圖片轉換為voc格式數據集，在實際場景中對數據集進行實驗，實驗結果見表3.

表3 網絡模型在實際場景下的實驗結果Tab.3 Experimental result of network model in real scene

由表3可知，本文算法在實際場景下比YOLOv4算法表現更為優秀，平均精度提高了3.31%，且其他指標都有不同程度的提高，YOLOv4算法與本文算法在實際場景下檢測效果如圖8所示.

圖8 實際場景下檢測效果對比Fig.8 Comparison of detection effects in actual scenarios

4 結 語

(1)本算法在原始算法YOLOv4的主干特征提取網絡的殘差塊中添加GhostModule模塊，提高其檢測精度；同時將特征金字塔中的SPPNet模塊替換為ASPPNet模塊，減少參數量的同時增大網絡感受野；在PANet模塊中的兩個分支插入SENet結構，防止其因為網絡結構復雜而出現梯度消失的問題，增強網絡特征的表現能力.

(2)本文算法通過實驗驗證，解決了在交通道路中對于車輛的漏檢、誤檢情況，經過改進后的YOLOv4算法已經可以滿足道路場景下的實際應用需要.但是，目前圖片數據集還是不夠全面，之后還需要增加一些處于極端天氣下，比如暴雨和沙塵暴天氣下的車輛圖片，從而讓模型能夠在任何條件下都擁有良好的檢測性能.