基于改進YOLOv4-Tiny的交通車輛實時目標檢測

楊志軍，昌新萌，丁洪偉

(1.云南大學 信息學院，云南 昆明 650500；2.云南師范大學 教育部民族教育信息化重點實驗室，云南 昆明 650500；3.云南省教育廳 教學儀器裝備中心，云南 昆明 650223)

0 引言

交通車輛檢測是智能駕駛領域的核心技術之一,可為自動駕駛整體系統提供有效的數據保障。因此,設計強實時性與準確性的交通車輛目標檢測算法具有重要的現實意義。

近年來,基于深度學習的交通車輛目標檢測算法受到越來越多的關注。2012年,Krizhevsky等[1]將CNN用于圖像領域,推動了深度學習在圖像領域的應用。目前,基于深度學習的目標檢測算法主要分為雙階段目標檢測算法和單階段目標檢測算法[2]。在雙階段目標檢測算法中,具有代表性的是R-CNN[3]、Fast R-CNN[4]、Faster R-CNN[5]和SPP-Net[6]等,雙階段目標檢測算法首先生成感興趣區域,然后對感興趣區域進行分類和定位,具有較高的檢測精度,但實時性較差,無法滿足自動駕駛對車輛檢測速度的要求。單階段目標檢測算法主要有SSD[7]、RetinaNet[8]、EfficientDet[9]和YOLO[10]等,單階段的目標檢測算法不再提取候選區域,直接將待檢對象輸入網絡,在輸出網絡中得到待檢對象的目標邊界框和類別信息,處理速度快,能夠滿足車輛檢測的實時性要求。嚴開忠等[10]通過對YOLOv3的改進,提升了目標檢測的速度,但精度下降;Bochkovskiy等[11]提出了YOLOv4,在檢測速度和檢測精度上有明顯提升;2020年6月,Bochkovskiy提出了YOLOv4-Tiny算法模型,模型檢測精度雖有下降,但檢測速度大幅提升。

為了滿足自動駕駛中對交通車輛檢測實時性的需求,本文提出了一種改進的YOLOv4-Tiny交通車輛實時檢測模型。該模型以YOLOv4-Tiny模型為基礎,對YOLOv4-Tiny算法中的特征金字塔網絡(Feature Pyramid Network,FPN)、空間金字塔池化(Spatial Pyramid Pooling,SPP)層等進行改進,同時引入注意力機制。實驗表明,提出的模型在提升準確率的同時保證了實時性,且降低了模型的大小。

1 YOLOv4-Tiny模型概述

YOLOv4-Tiny是一種基于YOLOv4的輕量化目標檢測模型,相較于YOLOv4,檢測精度略有下降,但檢測速度提升明顯,參數量僅為YOLOv4的1/10,降低了對硬件的要求,使其可以適用于可移動設備和嵌入式系統等。

1.1 YOLOv4-Tiny網絡結構

YOLOv4-Tiny由輸入、主干、網絡和預測四部分組成。輸入部分負責圖片的輸入;主干部分使用CSPDarkNet53-Tiny網絡替代YOLOv4中的CSPDarkNet53網絡,負責特征提取;網絡部分包含CBL(Conv2D_BN_LeakyReLU)等負責上下采樣;預測部分獲取由網絡部分提取的特征圖。

殘差模塊跨階段部分連接(Cross Stage Partial Connection,CSP)由CSPNet構成,CBL模塊主要由卷積處理層Conv、歸一化處理層BN以及激活函數層LeakyReLU組成。以輸入圖像的尺寸(416,416,3)為例,輸入圖像在主干部分采用不同尺度的CSP層進行下采樣,獲得3個不同尺度的特征圖;再經過網絡層處理,將深層特征提取后進行上采樣(Upsample)與淺層特征進行拼接(Concat),得到不同尺度的特征圖,增加了特征圖的感受野;最后,預測部分對輸入的不同維度特征進行解碼,解碼的格式為:3×(5+class),其中3表示先驗框數量,5表示預測邊界框信息,class表示分類總數,得到目標檢測結果。YOLOv4-Tiny網絡結構如圖1所示。

圖1 YOLOv4-Tiny網絡結構Fig.1 YOLOv4-Tiny network structure

1.2 SPP

He等[6]在2015年提出SPP結構,將空間金字塔匹配集成到CNN中,并采用最大池化層代替bag-of-words層。Bochkovskiy等[11]介紹了SPP是一組特殊模塊的概念,可用于增強網絡的感受野。使用SPP結構可以有效避免由圖像區域裁剪和縮放操作導致的圖像失真等問題,且解決了CNN對圖像相關特征重復提取的問題,極大地提高了產生候選框的速度,降低了計算成本。其結構如圖2所示,計算方式如下:

式中:w為輸入尺寸,n為輸出尺寸,k為池化窗口尺寸,s為步長,p為邊距,「?和?」分別為向上取整和向下取整。

圖2中,k表示池化核的大小,s表示步長。SPP將特征層分別通過一個池化核大小為5×5、9×9和13×13的最大池化層,然后在通道方向進行拼接以進一步融合,在一定程度上解決了目標多尺度問題。

圖2 SPP結構Fig.2 SPP structure

在YOLO網絡中,SPP可以處理寬高比和尺寸不同的輸入圖像,提升圖像尺度不變性的同時降低過擬合,并且訓練圖像尺寸的多樣化有利于訓練過程的收斂。通過SPP模塊實現局部特征與全局特征的融合,豐富特征圖的表達能力,對于復雜的多目標檢測有較大的精度提升。

1.3 FPN

2017年Lin等[12]提出特征金字塔結構,FPN解決了目標檢測中的多尺度問題,通過簡單的網絡連接變換,在基本不增加原有模型計算量的情況下,大幅提升了小目標檢測的性能,其網絡結構如圖3所示。

圖3 FPN結構模型Fig.3 Structure model of FPN

圖3中,Conv2d表示卷積,s表示步長。每一個特征圖經過1×1卷積層的處理,對不同特征圖的通道數進行調整,以保證融合時通道數相同;對高層特征進行2倍上采樣,保證與下一層特征圖的尺寸大小相同;經上述處理后,上一層與下一層特征圖的形狀完全相同,可進行相加操作。

以ResNet50作為主干為例,對于每個殘差模塊激活后的特征輸出,可以將其表示為:

Ni=fi(Ci-1)=fi{fi-1[…f1(K)]},

(3)

式中:i={2,3,4,5}表示特征層數,K和f分別表示輸入的圖形和相應的卷積操作。

Mi=w(Ni,Ni+1)=f3×3{f1×1[Ni]+f1×1[p(Ni+1)]},

(4)

式中:p表示深層特征上采樣操作,w表示相鄰特征的融合操作,3×3和1×1表示卷積核的尺寸。

2 YOLOv4-Tiny算法的改進

2.1 CSPResNet模塊改進

YOLOv4-Tiny使用3個CSPResNet模塊提取模型中間部分的特征,將梯度變化集成到特征圖中,降低了目標檢測任務對計算成本的依賴。但YOLOv4-Tiny中部分卷積層使用了512個卷積核,導致模型參數較多,降低了模型的檢測速度,不利于交通車輛的實時檢測。

為了降低模型的計算量,將YOLOv4-Tiny中CSPResNet模塊卷積核的數量減半,并將CSPResNet模塊兩端的卷積核大小改為1×1,極大地減少了模型的計算量和大小,但會導致精度的損失。為了盡可能地降低參數量并提高模型的精度,在CSPResNet模塊中使用空洞卷積(Dilated Convolution),在不損失特征圖尺寸的情況下增大了感受野。CSPResNet結構如圖4所示。

(a)原CSPResNet結構

(b)修改后CSPResNet結構

(c)本文CSPResNet結構

2.2 SPP的改進

YOLOv3重新設計了SPP為SPP-YOLO[12],使用SPP-YOLO后,YOLOv3在MS COCO數據集上的AP50提高了2.7%,而只額外增加了0.5%的計算量。YOLOv4同樣使用SPP-YOLO模塊,模型性能超越YOLOv3,達到SOTA級別的物體檢測表現。為了減少參數量,Scaled-YOLOv4[13]采用CSP-SPP跨階段執行下采樣卷積操作。

以上改進的SPP結構雖然可以提高目標檢測模型的性能,但這些結構是為具有大量參數的大規模目標檢測模型而設計,不適合交通車輛的實時目標檢測。為了減少模型的計算量,使模型能夠部署在資源有限的交通車輛設備上,本文重新設計了CSP-SPP并提出CSP-SPPx,其結構如圖5所示。

圖5中,route表示特征矩陣按維度、元素相加,k表示池化核的大小。CSP-SPPx刪除了一個1×1卷積層和一個3×3卷積層,與CSP-SPP相比,模型參數量大幅減少,與CSP-SPP以route方式融合3個不同尺度的最大池化層的輸出特征不同的是,CSP-SPPx以捷徑分支方式融合3個不同尺度的最大池化層的輸出特征,因此,CSP-SPPx輸出特征的通道數是CSP-SPP的1/3,有效減少了模型的計算量,有利于將模型部署在資源有限的交通車輛設備上。

(a)CSP-SPP

(b)CSP-SPPx

2.3 特征金字塔的改進

為了減少模型的推理時間,YOLOv4-Tiny僅采用自下而上的結構,無法將重要的深層特征和淺層特征進行融合。交通車輛在行駛過程中,存在遮擋及路況復雜等情況,若不能實時且準確地對相關物體進行檢測,交通車輛在自動駕駛時將帶來極大的安全隱患。本文對YOLOv4-Tiny網絡結構的FPN進行改進,設計TFPN結構,在參數量和計算量較少的情況下顯著提升模型的性能,其整體結構如圖6所示。

圖6 TFPN整體結構Fig.6 Overall structure of TFPN

自下而上的路徑是TFPN的前饋計算網絡層,將其表示為{c1,c2,c3}。為了聚合特征的空間信息并關注更細節的特征,同時使用最大池化(MaxPool)和平均池化(AvgPool),通過MaxPool和AvgPool聚合特征圖的空間信息,生成2個不同的空間特征Fm1和Fα1,將特征融合后輸入到卷積層,進一步減少模型的參數,最后輸入到下一個MaxPool和AvgPool,以此得到更細化的特征。豐富的特征信息,使交通車輛能夠做出更加準確的判斷,避免事故的發生。

圖6中,route表示特征矩陣按維度、元素相加。在FPN中,最高層的特征自上而下傳遞,與低層特征融合,利用深層特征的語義信息增強低層的特征映射,減少由特征通道造成的信息丟失,但此結構并不適合實時的交通車輛檢測。基于FPN的這些特征,提出的TFPN結構采用了池化特征增強的方法,其中,池化特征增強的具體結構如圖7所示,其計算可以表示為:

Fout=σ(FConv1×1(Fα2)+FConv1×1(Fm2))。

(5)

池化特征增強模塊使用2個大小為1×1的卷積層和池化層,包括一個MaxPool和一個AvgPool。利用MaxPool操作和AvgPool操作,使輸入特征圖生成2種不同的語義信息,為了保證維度一致,在AvgPool操作后進行上采樣操作,之后將2種類型的語義信息傳遞到同一個卷積核大小為1×1的網絡中以產生更深層次的語義特征。通過池化特征增強模塊,模型獲取了更豐富的特征信息,能夠更好地識別被遮擋的車輛信息,提高了交通車輛實時檢測的準確性。

圖7 池化特征增強PFA結構Fig.7 PFA structure improved by pooling feature

2.4 注意力機制

減少YOLOv4-Tiny的參數量雖然降低了計算量,但也減弱了模型的特征提取能力,降低了交通車輛實時檢測的性能。注意力機制自從被提出后,在深度學習領域得到了快速發展,如SE-Net[15]、CBAM[16]、ECA-Net[17]、EPSANet[18]和GCNET[19]等。為了使模型能夠更好地關注通道和空間特征,在模型中添加通道注意力模塊(Channel Attention Module,CAM)和空間注意力模塊(Spatial Attention Module,SAM)[20]。Woo等[16]提出的CBAM模塊結合了CAM和SAM,其性能較僅使用CAM或SAM有明顯提升。為了使模型能夠更好地關注交通車輛的特征,對CBAM模塊進行改進,并提出新的RCBAM模塊,其結構如圖8所示。

圖8 RCBAM模塊Fig.8 RCBAM module

輸入I∈RC×H×W,CBAM的特征圖I先通過一維通道CAM,BC∈RC×1×1,之后通過二維的SAM,BS∈RC×H×W,CBAM的操作表示如下:

O=I?BC(I)?BS(I?BC(I)),

(6)

式中:O是輸出特征,?表示逐個元素相乘。

(7)

圖9 CAMFig.9 CAM

SAM是CAM的細化,其結構如圖10所示。SAM使模型對特征的關鍵區域更加關注,本文SAM首先將CAM的輸出輸入到MaxPool層和AvgPool層,獲取特征圖的通道信息,為了保持特征圖的維度一致,在SAM中添加上采樣層,之后,通過卷積層對特征進行處理和卷積,最后在通道中進行合并,生成一個有效的二維空間特征區域,SAM的計算過程如下:

(8)

式中:σ表示sigmoid函數,F3×3表示3×3的卷積操作。

改進后的YOLOv4-Tiny網絡結構如圖11所示。圖11中,route表示特征矩陣按維度、元素相加。

圖10 SAMFig.10 SAM

3 實驗結果

3.1 實驗環境

本實驗的環境配置如表1所示,對比實驗的硬件配置與該實驗的配置相同。

表1 實驗環境配置Tab.1 Experimental environment configuration

本實驗車輛圖像來自kaggle的交通車輛目標檢測數據集和網絡收集標注,共1 600張,其中70%為訓練集,30%為驗證集,以上數據均采用LabeIimg標注。

模型的默認輸入圖像大小為416 pixel× 416 pixel,初始階段的batch size設置為32,初始學習率設置為0.001 4,共迭代3 000次。

3.2 YOLOv4-Tiny算法改進前后對比

將本文改進的YOLOv4-Tiny算法與原YOLOv4-Tiny算法進行對比,以平均精度均值(mean Average Precision,mAP)、FPS、Model size作為評價指標,其對比結果如表2所示,輸入圖像尺寸統一為416 pixel×416 pixel。mAP可用來評價模型中每一類別的好壞,Recall用來評估模型是否漏檢,計算公式如下:

式中:p表示準確率,r表示召回率,以準確率和召回率分別作為縱軸和橫軸,對pr曲線與坐標軸圍成的區域積分,得到平均準確率 (Average Precision,AP),再對AP取平均得到mAP;TP為真正例,FN為假反例。

由表2可知,原YOLOv4-Tiny算法的精度較低、處理速度較慢且模型較大,與原YOLOv4-Tiny算法相比,本文改進的YOLOv4-Tiny算法的mAP值提高了4.67%,圖片處理速度也有一定提升,模型大小僅為原模型大小的47.26%。從模型整體性能而言,本文改進的YOLOv4-Tiny算法更優。

表2 原YOLOv4-Tiny算法與本文改進YOLOv4-Tiny 算法對比結果

3.3 與其他算法的對比

為驗證可行性,將本文改進的YOLOv4-Tiny算法與Faster R-CNN、YOLOv3-Tiny、YOLOv4-MobileNet v3[16]、YOLOv5s和YOLOv4進行對比,以mAP、FPS和Model size作為評價指標,實驗結果如表3所示。

表3 本文改進的YOLOv4-Tiny算法與其他算法的對比結果Tab.3 Improved YOLOv4-Tiny algorithm compared with other algorithms

由表3可以看出,本文改進的YOLOv4-Tiny算法在FPS和Model size指標上有明顯優勢,相比YOLOv4,YOLOv4-Tiny在特征提取階段未采用Mish激活函數,刪除部分卷積結構,在特征加強層僅采用一個特征金字塔等,從而大大加快檢測速度并降低模型的大小,但由于提取的特征信息不夠豐富,導致其檢測精度低于YOLOv4。本文對YOLOv4-Tiny進行改進后,FPS是YOLOv4的2倍多,Model size僅為YOLOv4的1/23,滿足車輛檢測對精度和實時性的要求。

Faster R-CNN是雙階段目標檢測算法,先生成感興趣區域,然后對感興趣區域進行分類和定位,其圖像處理速度遠低于單階段目標檢測算法且模型較大。與上一代YOLOv3-Tiny算法相比,雖然都采用DarkNet作為骨干網絡,但YOLOv3-Tiny在訓練過程中僅使用了上采樣,而未使用下采樣,是導致其mAP較低的原因之一。YOLOv4-MobileNet v3采用MobileNet v3作為主干網絡,其mAP值較YOLOv3-Tiny有較大提升,但其模型大小呈倍數增加,圖像處理速度下降。YOLOv4同樣采用DarkNet作為主干網絡,雖然取得了較高的mAP值,但其訓練復雜度高且模型大,不適合部署于空間有限的輕量級設備。YOLOv5s在維持精度和FPS的同時,降低了模型的大小,綜合mAP、FPS、模型大小來看,本文改進的YOLOv4-Tiny算法有較好的性能。

與主流的輕量級檢測算法YOLOv3-Tiny、YOLOv4-MobileNet v3、YOLOv5s相比,本文改進的YOLOv4-Tiny算法的mAP均有提升,且模型大小及處理速度均是最優的,同時滿足了車輛檢測對精度和實時性的要求,但模型大小仍有改進空間。

3.4 消融實驗

為驗證本文改進的YOLOv4-Tiny算法的有效性,進行了消融實驗。輸入圖像尺寸為416 pixel×416 pixel,骨干網絡為DarkNet,每次試驗只改變一個變量,實驗結果如表4所示。

表4 本文改進的YOLOv4-Tiny算法消融實驗結果Tab.4 Ablation experiment results of improved YOLOv4-Tiny algorithm

由表4可以看出,在YOLOv4-Tiny中使用CSPResNet和CSP-SPPx后,雖然模型的mAP提升較小,但通過剪枝操作后,模型的參數數量下降,模型大小減小及處理速度明顯提升。采用TFPN模塊后,模型的大小增加,在增加少量計算量的情況下,改進后的模型精度有較大的提升而不影響模型的實時性。引入注意力機制后,模型的大小增加且FPS略有下降,這可能是改進后的算法增加了模型的運算復雜度,導致了模型大小的增加和處理速度的下降。

通過消融實驗,證明了本文對YOLOv4-Tiny算法的改進是有效的,能夠滿足車輛檢測對精度和實時性的要求。

4 結束語

在YOLOv4-Tiny的基礎上,通過對CSPResNet、SPP和FPN的改進,同時引入新的注意力機制,減少了YOLOv4-Tiny的參數量,提升了計算速度,并提高了準確率。本文提出的TFPN結構和CSP-SPPx結構只需少量計算即可提高模型的性能,適用于輕量級目標檢測網絡,與原YOLOv4-Tiny相比,本文模型的精度和處理速度均有較大提升,能夠滿足車輛檢測對精度和實時性的需求。與其他輕量級目標檢測算法相比,提出的改進YOLOv4-Tiny算法性能最優,證明了本文改進方法的有效性和可行性。最后通過消融實驗驗證了本文改進方法的科學性。

提出的改進YOLOv4-Tiny算法在性能上有了較大的提升,但車輛行駛過程中存在遮擋及復雜路況,模型仍存在誤檢和漏檢的情況,后續將優化網絡結構以提高對此種情況的檢測。模型訓練需要大量標注好的樣本,對樣本的大量標注耗時耗力,之后將利用半監督學習的方式,使用較少的已標注樣本,達到較好的訓練效果。