基于YOLOv4-Ghost 交通標志檢測*

羅相好 李澤平 朱紅艷

（貴州大學計算機科學與技術學院 貴陽 550025）

1 引言

計算機視覺在道路場景下的應用通常是交通標志檢測，汽車搭載的設備通常是嵌入式微處理器，具有硬件成本和計算性能較低的特點，高精度大型目標檢測網絡難以在類似平臺上做到實時效果，制約著自動駕駛行業(yè)的發(fā)展。

目前檢測率較高的車載交通標志檢測方案可以分為在線和離線兩種策略，在線策略是從車輛傳感器中獲取到圖像，通過網絡數(shù)據(jù)傳輸?shù)皆品掌鬟M行處理，以滿足高精度的檢測要求，但通過云服務器處理的方式在網絡波動、信號未覆蓋等情況時會出現(xiàn)數(shù)據(jù)傳輸失效，只能作為一種簡單的駕駛輔助。離線策略則例如［1］提出一種基于NI（National Instruments）的車輛目標檢測和信息提取系統(tǒng)，核心算法為模板匹配，在嵌入式環(huán)境下處理駕駛中所需的邊緣計算［2］。在嵌入式平臺上實時運行基于深度學習的目標檢測算法，對模型進行輕量化處理來滿足有限的計算資源［3］。提出基于多粒度剪枝的水下檢測檢測算法，使得壓縮過的模型能嵌入移動式設備中。以上方案在一定程度下平衡了速度與精度之間的關系，有效地解決特定場景下的目標檢測任務，而遷移到道路交通標志檢測場景下，受移動速度和復雜程度更高的極端天氣影響難以得到令人滿意的結果。

為了將道路交通標志檢測模型在低算了硬件上運行，以YOLOv4 網絡模型［4］為基礎模型進行改進，提出輕量化交通標志檢測模型YOLOv4-Ghost。將YOLOv4 的特征提取網絡--CSPDarkent53 改為參數(shù)量更少的GhostNet［5］；使用廉價操作生成特征圖的GhostNet 模塊對YOLOv4 的Neck部分的PANet結構進行簡化，將參數(shù)量進一步減少；考慮到原始YOLOv4 的是基于COCO 大型［6］數(shù)據(jù)集進行優(yōu)化的，采用的交通標志檢測數(shù)據(jù)集中目標種類有限，目標尺度大小在較小的范圍內波動，只保留了YOLOv4 中Head 內兩個針對小目標的檢測器。為了驗證提出的YOLOv4-Ghost網絡模型性能，在具有代表性的道路數(shù)據(jù)集TT100K 上進行了訓練和測試。實驗結果表明，YOLOv4-Ghost模型權重文件大小只有原始YOLOv4 模型的17.5%；最高幀數(shù)（Frames Per Second，F(xiàn)PS）達到了118.4，能夠滿足實時性要求；各類別的平均準確率（mean Average Precison，mAP）比YOLOv4 僅降低了1.42%。

2 YOLOv4-Ghost

2.1 YOLOv4算法

YOLOv4 模型結構如圖1 所示，特征提取網絡為CSPDarknet53；Neck部分引入SPP、PAN［7］結構以改善分辨率下降造成的信息丟失；Head 結構則保持了YOLOv3［8］的三個特征層來實現(xiàn)目標的檢測和分類。

圖1 YOLOv4 模型目標檢測的原理

在YOLOv4 模型中，每個結構模塊由不同的子模塊組成，每個子模塊功能和模塊作用如下。

CBL （Convolution、Batch Normalization 和Leaky-ReLU）是由卷積層、批歸一化層和Leaky-ReLU［8］激活函數(shù)組成的。

CBM （Convolution、batch Normalization 和MISH）是由卷積層、批歸一化層和MISH［9］激活函數(shù)組成的。CBM 和CBL 都用于特征提取，兩者區(qū)別在于CBM 的激活函數(shù)使用了MISH 而不是Leaky-ReLU，允許比較小的負梯度值流入激活函數(shù)，從而保證更多信息在網絡中流動。

SPP（Spatial Pyramid Pooling）是空間金字塔層，將不同大小的卷積特征轉化為尺寸相同特征層，主要作用是將局部信息和全局信息進行融合從而豐富特征圖。

CSP［10］（Center and Scale Prediction）模 塊 通 過將低層特征分成兩部分，然后融合跨層特征來增強模型的學習能力。

2.2 GhostNet

GhostNet模塊將3*3卷積分為兩個子模塊依次執(zhí)行。使用數(shù)量較少的普通卷積核來生成原始特征圖；利用一系列廉價線性運算獲取所需的特征圖進行拼接。廉價操作能消除特征圖中大量冗余信息，在不改變特征圖數(shù)量情況下，降低計算過程中的參數(shù)總量和計算復雜度，加快訓練速度。

如圖3 所示，假設網絡最終輸出通道數(shù)為m，GhostNet模塊對輸入特征圖進行普通卷積，獲得Input 經卷積操作得到的中間通道數(shù)為n（n＜m）的特征圖，計算公式如下：

其中，X 是給定的輸入數(shù)據(jù)，Y 是具有n 個通道的輸出特征圖，f是中間的卷積核，b是偏差項。Y中的h'和w'分別是輸出特征圖的高度和寬度；x 中的c 為輸入通道數(shù)，h 和w 是輸入數(shù)據(jù)的高度和寬度；f 中k×k是卷積核心的內核大小。

在通過式（1）的普通卷積獲得部分特征圖之后，GhostNet模型將對每個原始特征圖通過一系列廉價線性運算生成所需的n 個特征圖，如式（2）所示：

2.3 改進YOLOv4算法

針對原始YOLOv4 算法，提出了以下三個策略來提高其對交標志檢測的檢測精度。K-meams［11］聚類算法對TT100K［12］數(shù)據(jù)集真實標簽進行分析，把聚類結果用于對候選框尺寸的初始化；模擬真實世界中可能出現(xiàn)的天氣情況，對數(shù)據(jù)集進行天氣風格增強；改進特征提取網絡部分并優(yōu)化PANet的結構來實現(xiàn)輕量化。

2.3.1 K-means 聚類分析

YOLOv4 模型初始化的候選框大小是對COCO數(shù)據(jù)集真實框聚類分析獲得，當遷移到其他數(shù)據(jù)集時候，真實框標簽分布情況與初始化候選框分布不一樣。為了更高的預測框精度，使用K-means聚類算法對TT100K數(shù)據(jù)集進行聚類分析。

初始化聚類中心的值對于K-means 聚類算法的好壞有著至關重要影響。先固定k 值，采用隨機方式生成初始聚類中心，結果表明，隨機初始化會得到不同聚類結果，而且聚類效果波動范圍較大，這將導致獲取的k 值和聚類框尺寸不夠準確。為了解決此問題，數(shù)據(jù)的平均值作為開始的聚類中心，篩選數(shù)據(jù)中與第一個聚類中心距離最遠的k-1個值作為其它的初始聚類中心的方法。平均重疊度（AvgIoU）作為目標聚類分析的評價指標，AvgIoU目標函數(shù)f如下所示：

式（3）中：B表示真實標簽；C表示簇的中心；nk表示第k個聚類中心中樣本的個數(shù)；n表示數(shù)據(jù)樣本的總數(shù)；k表示簇的個數(shù)；IIoU(B,C)表示簇的中心框和聚類框的交并比；i表示樣本序號；j表示聚類中心中樣本的序號。

圖2 Ghost模塊基本結構

其中，k 的取值范圍是從0～10，逐一對數(shù)據(jù)集中的樣本進行聚類分析，得到k值與AvgIoU關系如圖3所示。

圖3 K-means 聚類分析結果

由圖3 可以看出隨著k 值的逐步增加，AvgIoU值大小趨于平穩(wěn)。如圖3 所示，k=6 時曲線出現(xiàn)拐點，后續(xù)隨著k 值的增加，AvgIoU 值不再有明顯變化，故選取初始候選框的數(shù)量為6。通過K-means聚類分析為YOLOv4-Ghost模型提供真實交通標志數(shù)據(jù)分布信息，加快模型收斂，減少候選框誤差。

2.3.2 交通標志數(shù)據(jù)增強

TT100K 是中國交通標志數(shù)據(jù)集，也是目前覆蓋面最廣的交通標志數(shù)據(jù)集。由100000 幅街景圖像組成，30000 個交通標志實例對應于45 個類別，已經標注的訓練圖片僅為6107 張，驗證集3073張。該數(shù)據(jù)集中的每個交通標志都用類別標簽、像素掩碼及其邊界框進行注釋。該數(shù)據(jù)集中的圖像分辨率為2048×2048，與車內駕駛人員視野相似。

圖4 TT100K數(shù)據(jù)集

數(shù)據(jù)集中采集到的圖片大部分都是在視野開闊的自然天氣下拍攝的。而真實情況下不僅有白天黑夜，還有春夏秋冬。為了使得模型能夠適應可能出現(xiàn)天氣情況，模仿多種自然風格來增強數(shù)據(jù)，如：雪、大霧、陰天等，在圖5 中為Csnow、Cfog、Cdefocus Dlur 等。除此之外，考慮到車輛行駛過程中速度過快導致圖片模糊、噪聲、失真等情況也會使得模型檢測失誤，我們還添加了高斯模糊（Gaussan Blur）、脈沖噪聲（Cimpulse Noise）、Celastic 變換（Celastic Transform）等算子來增強數(shù)據(jù)集。通過以上多種增強方式將TT100k 可訓練數(shù)據(jù)集擴展為12176張圖片，增強效果如圖5所示。

圖5 模擬真實情況

2.3.3 改進YOLOv4網絡模型

YOLOv4 采用CSPDarkNet53 作為特征提取網絡來優(yōu)化梯度信息冗余，將信息存放于特征圖中，減少重復梯度值和模型的尺寸。然而CSPDark-Net53 隨著卷積和拼接的迭代也會增加參數(shù)量，降低推理速度；防止早期特征圖的信息丟失，在PANet結構（如圖2所示）中使用路徑聚合網絡（Path Aggregation Network）來保證信息通道的流暢性。而路徑聚合網絡中上采樣操作和拼接操作增加了特征圖的通道數(shù)，使得參數(shù)量也隨之增長。針對這兩個問題，分別采用兩種方法來優(yōu)化YOLOv4 模型：1）將YOLOv4 中特征提取網絡改進為GhostNet；2）采用GhostNet 模塊來優(yōu)化YOLOv4 模型內的SPP+PANet結構，如圖6和7所示。

圖6 YOLOv4-Ghost的整體架構

圖7 YOLOv4結構和YOLOv4-Ghost結構

3 實驗驗證

3.1 實驗環(huán)境構成

在訓練過程中，將參數(shù)批量（Batch size）設置為16，學習率設置為1e-3，總共進行1000 次迭代訓練，并應用正則化［13］（Regularization）來防止過擬合。當CIOU LOSS［14］（Generalized Intersection over Union Loss）收斂到0+增長，停止訓練。

3.2 評價指標

使用準確率、召回率、mAP 作為評價指標。根據(jù)交通標志中測試樣本的真實類別與模型的預測類別劃分為真正例（TP）、假正例（FP）、真反例（TN）、假反例（FN）。

準確率（precision）指的是檢測目標中正確個數(shù)占所有檢測目標個數(shù)的比例，衡量了模型預測的準確性。

召回率（recall）指的是檢測正確的目標數(shù)占整個數(shù)據(jù)集目標的比例：

mAP是評估模型性能的主要指標，是對不同缺陷的平均精度（AP）值的平均值，反映了缺陷檢測的準確性。

AP 值由準確率和召回率來計算。平均精度（mAP）的一般定義是找到上面的Pre-Recall 下的面積。

3.3 實驗結果

為測試YOLOv4-Ghost 模型的性能，選擇代表性的輕量化單階段目標檢測模型：YOLOv4，YOLOv4-Mobilenet1［15］，YOLOv4-Mobilenetv2［16］，YOLO4-Mobilenetv3［17］作為比較對象。

YOLOv4-Mobilenet1，YOLOv4-Mobilenetv2，YOLO4-Mobilenetv3 是替換YOLOv4 模型中的特征提取網絡（CSPDarknet53）得到的輕量化目標檢測模型。用于替換特征提取網絡分別是Mobilenetv1，Mobilenetv2，Mobilenetv3。Mobilenet 系列廣泛用于輕量化模型，因此可以作為YOLOv4-Ghost 模型比較對象。使用mAP、權重（Weight）文件大小、參數(shù)量（Parameters）和FPS 作為評價標準。其中，mAP是驗證數(shù)據(jù)集中每個類別的準確度平均值，權重文件是保存模型參數(shù)的文件，參數(shù)量是模型訓練過程中的計算數(shù)據(jù)量，F(xiàn)PS 是用于對推理速度的描述。如表1 所示，mAP 是驗證數(shù)據(jù)集中每個類別的準確度的平均值。YOLOv4-Ghost模型的mAP 值與YOLOv4 模型比較降低了1.42%，權重文件大小僅有YOLOv4 的18.28%。與YOLOv4-Mobilenetv1，YOLOv4-Mobilenetv2，YOLOv4-Mobilenetv3 相比mAP值分別提升了2.02%、0.19%、1.19%，參數(shù)量也是其中最低的。

表1 KT100K數(shù)據(jù)集中各模型的性能結果

為了進一步地評估YOLOv4-Ghost 模型的性能，選取YOLOv3、Faster RCNN 等經典目標檢測算法作為對比，對比實驗依然是在TT100K 數(shù)據(jù)集上進行。選擇mAP、Precision、Recall三項指標對各算法進行評價。

如表2 所示，YOLOv3-SPP 模型將的SPP 模塊將局部特征和全局特征進行融合之后，YOLOv3-SPP 模型mAP 比YOLOv3 高了1.6%，SPP 能穩(wěn)定提升算法精度，推理速度幾乎不變。YOLOv4-Ghost 的mAP 值和FPS 值是最高，比其它模型更有優(yōu)勢。

表2 多模型比較

4 結語

本研究提出輕量化目標檢測算法YOLOv4-Ghost 模型，通過TT100K 數(shù)據(jù)集對提出的模型進行驗證。YOLOv4-Ghost是以代表性的一階段檢測算法YOLOv4 為基礎，分別對原始模型的特征提取網絡和PANet結構進行了優(yōu)化；屏蔽了最大尺寸特征圖的預測器；采用k-means、模擬天氣等策略來增加模型泛化性。YOLOv4-Ghost 與原始YOLOv4 算法相比，mAP 僅降低1.42%，權重文件只有YOLOv4 權重文件的1/5。YOLOv4-Gost 模型在精度和速度上得到了很好的平衡。在后續(xù)工作中，對訓練過的特征提取網絡進行剪枝操作進一步減少模型參數(shù)，減少冗余的參數(shù)。