基于目標檢測網絡的交通標志識別

摘 ?要：在無人駕駛和駕駛輔助領域，交通標志識別是非常重要的。利用YOLOv4算法的實時性檢測效果，本文提出了一種基于YOLOv4的交通標志識別框架，主要識別LISA數據集中的四種交通標志：禁止標志、行人通過標志、前進標志、限速標志，為了進一步提高YOLOv4的實驗性能，采用K-means算法對實驗數據進行聚類分析，確定適合LISA數據集的先驗框大小，實驗結果表明改進后的框架對比原始的yolov4框架和YOLOv3框架，其mAP值分別提高了0.37%和1.04%，說明改進后的YOLOv4框架在交通標志識別方面具有較高的實用價值。

關鍵詞：目標檢測;交通標志識別;K-means算法;LISA數據集

中圖分類號：TP311.5 ? ? 文獻標識碼：A

Traffic Sign Recognition based on Target Detection Network

HE Kaihua

（Zhejiang Sci-Tech University， Computer Technology， Hangzhou 310018， China）

1137730657@qq.com

Abstract： Traffic sign recognition plays a crucial role in the field of unmanned driving and driving assistance. In view of the real-time detection effect of YOLOv4 （You Only Look Once， YOLO） algorithm， this paper proposes a traffic sign recognition framework based on YOLOv4， which mainly identifies four types of traffic signs in LISA dataset： stop， crosswalk， go， and speed limit. In order to improve the experimental performance of YOLOv4， K-means algorithm is used to conduct cluster analysis on the experimental data and determine a suitable size for the LISA dataset. Experimental results show that compared with the original YOLOv4 and YOLOv3 framework， the improved framework's mAP （mean Average Precision） value is improved by 0.37% and 1.04%， indicating that the improved YOLOv4 is of great practical value in traffic sign recognition.

Keywords： target detection; traffic sign recognition; K-means algorithm; LISA dataset

1 ? 引言（Introduction）

目標檢測是計算機視覺領域中一項重要的研究課題，主要是利用機器的自主學習能力來檢測圖像中是否存在預定的目標。目標檢測網絡的定義為在給定的圖像或者視頻中，判斷其中是否存在多個預定義類別的任何目標實例。如果存在，則返回每一個實例的空間位置和覆蓋范圍。傳統的目標檢測算法的基本流程分為：區域選擇、特征提取及分類器分類，區域選擇使用傳統的滑動窗口對整幅圖像進行遍歷，來確定圖像中目標的位置。常用SIFT（Scale-Invariant Feature Transform，尺度不變特征變換）和HOG（Histogram of Oriented Gradient，方向梯度直方圖）對圖像進行特征提取，最后使用SVM（Support Vector Machine，支持向量機）、Adaboost等分類器進行分類。但是傳統的目標檢測算法步驟流程在基于滑動窗口的區域選擇時，時間復雜度高、窗口冗余，并且手工提取特征的魯棒性不高。綜上所述，傳統的目標檢測方法受限條件比較多，很難達到很好的識別準確率。近年來，隨著深度學習廣泛運用于圖像領域，基于卷積神經網絡的目標檢測算法[1]也取得了很大的成就，其大致可以分為兩大類：基于區域生成的目標檢測算法：如R-CNN[2]、Fast R-CNN[3]、Faster R-CNN[4]?；诨貧w的目標檢測算法：如SSD[5]、YOLO[6]系列、retina-net[7]。本文使用YOLOv4[8]目標檢測算法對交通道路場景下的4種主要的交通標志進行識別。

本文主要的工作內容如下：

（1）針對目標定位不準確的問題，對于不同的實驗數據集，重新調整anchor值的大小。

（2）通過圖像增強的方法，分別從旋轉角度、飽和度、曝光量、色度這四個方面來增加實驗數據集的數量。

（3）將YOLOv4、YOLOv3和更改anchor值后的YOLOv4進行了對比實驗，實驗結果表明更新anchor值后的YOLOv4的實驗效果是最好的。

2 ? YOLOv4算法（YOLOv4 algorithm）

2.1 ? YOLOv4框架介紹

YOLOv4目標檢測算法是眾多目標檢測算法中的一種，是一種端到端的檢測算法。主要以CSPDarknet53網絡為基礎，利用殘差網絡來進行深層特征的提取，最終經過多尺寸的特征層得到目標的類別和位置。

YOLOv4網絡的整體框架和YOLOv3[9]網絡是一樣的，主要是在YOLOv3的基礎之上進行四個方面的改進。

（1）輸入端的改進：主要是對輸入數據進行Mosaic增強，通過選取四張圖像進行隨機裁剪、隨機拼接、隨機排布來達到豐富數據集的效果，并且由于拼接操作增加了很多小目標，增加了網絡對于小目標識別的魯棒性。

（2）Backbone主干特征提取網絡的改進：使用CSPDarknet53，相比YOLOv3中的Darknet53網絡多了五個CSP[10]模塊，并且只在主干網絡中使用Mish[11]激活函數，網絡其余部分使用Leaky_relu激活函數。使用Dropblock[12]正則化方式隨機刪除神經元的數量，簡化網絡結構，防止過擬合。

（3）Neck：目標檢測網絡在Backbone和最后的輸出層之間添加了SPP[13]（Spatial Pyramid Pooling，空間金字塔）模塊和FPN+PAN[14]（Path Aggregation Network，路徑聚合網絡）模塊。

（4）預測模塊：將訓練時的損失函數改為CLOU_Loss，將預測篩選框的nms改為DIOU_nms。這樣做的好處是將重疊面積、中心點距離、長寬比這三個因素都考慮到了。

2.2 ? anchors的更新

anchor值的大小對于YOLOv4目標檢測網絡十分重要，它是由當前數據集通過K-means[15]聚類算法統計出來的，合適的anchor值能夠加快網絡的收斂速度，降低誤差。在原始的YOLOv4目標檢測網絡中，anchor值是針對coco數據集的，所以為了提高對于本次實驗物體的定位精度，重新使用K-means聚類算法對anchor值進行更新，更新后的anchor值，詳見表1。

3 ? 實驗（Experiment）

3.1 ? 實驗框架結構

使用CSPDarknet-53網絡時，首先根據檢測的對象對算法中的配置文件進行修改，將檢測類別按照檢測所需修改為四類，然后將CSPDarknet-53網絡加入到YOLOv4網絡中，根據GPU的實際使用情況，修改網絡參數，然后使用訓練集進行模型訓練。

交通標志識別檢測過程，如圖1所示。

首先利用YOLOv4檢測算法對已經完成預處理的圖像數據進行模型訓練，得到適合該場景的最優模型并保存。測試檢測目標時將輸入圖像放入對應的YOLOv4目標檢測測試腳本中，并通過保存下來的最優模型進行多目標測試，最終選擇置信度最高的邊框輸出。由于本實驗的檢測對象為交通場景下的四種主要交通標志，具體為禁止標識、行人通過標識、限速標識和前進標識，所以得到的模型僅能夠檢測這四種交通標識類別。

3.2 ? 實驗數據集的準備

本文的數據集為LISA[16]數據集，主要檢測四種交通標志，分別為禁止標志（Stop）、行人通過標志（Crosswalk）、前進標志（Go）、限速標志（Speed Limit）。其各自的標志樣例，如圖2所示。

實驗數據集參考Pascal voc 2007數據集的制作格式，對數據集中的數據進行標注，標注完成后生成對應的XML文件。本文中的交通標識主要分為四大類，涵蓋了日常生活中最常見的幾種交通標志。一共制作了4750張圖像，數據集會通過旋轉角度、調整飽和度、調整曝光量、增加色度這四個方面來增加數據集的數量，然后按照8：2的比例分成訓練集和測試集。

3.3 ? 網絡的訓練參數及實驗設備配置

在ubuntu18.04操作系統下對YOLOv3、YOLOv4和優化過的YOLOv4網絡分別進行訓練，實驗所用計算機的硬件參數，詳見表2。

訓練的初始參數，詳見表3。在訓練迭代次數達到6400和7200時，將學習率分別降至初始學習率的10%和1%。

本實驗訓練圖像的大小為416×416，因此不同特征對應的尺度是13×13、26×26、52×52，即每一個yolo層會輸出三個預測框（有三個yolo層，故共有九個anchor值），預測種類數為4，則卷積層的輸出維度為3×（4+1+4）=27。這樣能夠在維持準確率的同時，減少網絡的運算量，節約訓練時間，提高實驗模型的檢測精度和檢測速度。

3.4 ? 實驗結果展示

實驗數據AP值，如圖3所示。圖（a）為原始anchor大小下YOLOv4的目標檢測結果、圖（b）為使用K-means聚類后YOLOv4的目標檢測結果、圖（c）為YOLOv3的目標檢測結果。

為了評估網絡模型的檢測效果，本文采用AP（Average Precision）值來衡量模型的效果，其值越大表明效果越好。

（a）YOLOv4+原始anchor值（b）YOLOv4+新anchor值（c）YOLOv3+原始anchor值

圖（a）和圖（c）使用的都是網絡原始的anchor值，實驗結果表明YOLOv4的實驗mAP值比YOLOv3的提升0.67%，更新anchor值后的YOLOv4的實驗結果，如圖（b）所示，相比圖（a）其mAP值提升0.37%。更直觀的實驗結果分析對比，詳見表4。

4 ? 結果（Result）

原始的YOLO架構中的anchor值是對應COCO數據集的，當訓練新的數據集時，需要使用K-means聚類方法對anchor值的大小重新進行計算。從表4可得，這種做法能夠提升實驗的mAP值。并且在測試階段，使用YOLOv3框架平均處理一張圖片的時間為66.31毫秒，而更新anchor值后的YOLOv4框架平均處理一張圖片的時間為52.72毫秒。綜上所述：不管是檢測的準確性還是實時性，更新anchor值后的YOLOv4框架的總體性能是最優的。

5 ? 結論（Conclusion）

本文介紹了道路交通場景下基于YOLOv4目標檢測算法的交通標志識別方法，包括了數據集的預處理、模型訓練、調參優化、檢測結果分析。實驗結果表明，優化后的YOLOv4的交通標志識別模型已經達到很好的效果，四種交通標志類別識別的mAP值能夠達到98.9%，能夠準確快速地檢測出四種交通標志。并且使用相同的數據集和網絡參數在YOLOv3上進行了對比實驗，實驗結果表明YOLOv4框架對比YOLOv3，其mAP值有1.04%的提升，并且前者對比后者的檢測時間快了13.59毫秒。CNN的訓練需要大量的數據，在使用數據增強的方法之后，實驗mAP值提高將近5.02%，使得最終的網絡模型具有非常優秀的檢測效果。

參考文獻（References）

[1] 李杰. 基于卷積神經網絡的交通標志檢測算法研究[D]. 華中科技大學，2019.

[2] Girshick R， Donahue J， Darrell T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. Proceedings of the IEEE conference on computer vision and pattern recognition， 2014： 580-587.

[3] Girshick R. Fast r-cnn[C]. Proceedings of the IEEE international conference on computer vision， 2015： 1440-1448.

[4] Ren S， He K， Girshick R， et al. Faster r-cnn： Towards real-time object detection with region proposal networks[C]. Advances in neural information processing systems， 2015： 91-99.

[5] Liu W， Anguelov D， Erhan D， et al. Ssd： Single shot multibox detector[C]. European conference on computer vision. Springer， Cham， 2016： 21-37.

[6] Redmon J， Divvala S， Girshick R， et al. You only look once： Unified， real-time object detection[C]. Proceedings of the IEEE conference on computer vision and pattern recognition， 2016： 779-788.

[7] Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection[C]. Proceedings of the IEEE international conference on computer vision， 2017： 2980-2988.

[8] Bochkovskiy A， Wang C Y， Liao H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection[J]. Computer Vision and Pattern Recognition， 2020， 17（9）： 198-215.

[9] Redmon J， Farhadi A. Yolov3： An incremental improvement[J]. Computer Vision and Pattern Recognition， 2018， 22（4）： 17-23.

[10] Wang C Y， Mark Liao H Y， Wu Y H， et al. CSPNet： A new backbone that can enhance learning capability of cnn[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops， 2020： 390-391.

[11] Misra D. Mish： A self regularized non-monotonic neural activation function[J]. Machine Learning， 2019， 18（5）： 5-21.

[12] Ghiasi G， Lin T Y， Le Q V. Dropblock： A regularization method for convolutional networks[C]. Advances in Neural Information Processing Systems， 2018： 10727-10737.

[13] Ghiasi G， Lin T Y， Le Q V. Dropblock： A regularization method for convolutional networks[C]. Advances in Neural Information Processing Systems， 2018： 10727-10737.

[14] Liu S， Qi L， Qin H， et al. Path aggregation network for instance segmentation[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018： 8759-8768.

[15] Cover T， Hart P. Nearest neighbor pattern classification[J]. Nearest neighbour pattern classification. IEEE Transactions on Information Theory， 1967， 13（1）：21-27.

[16] Li L， Li X， Cheng C， et al. Research collaboration and ITS topic evolution： 10 years at T-ITS[J]. IEEE Transactions on Intelligent Transportation Systems， 2010， 11（3）： 517-523.

作者簡介：

何凱華（1995-），男，碩士生.研究領域：圖像處理.