基于多尺度卷積神經網絡的交通標示識別研究

摘 要：

交通標示識別在自動駕駛領域有著廣泛的應用前景。在實際場景中，光照、地理位置、檢測方法等因素會對較小交通標示識別產生影響，導致識別精度降低。針對這些問題，提出一種新型多尺度融合卷積神經網絡模型（SF-RCNN）。首先在基礎特征提取網絡中加入多尺度空洞卷積池化金字塔模塊（MASPP），在多尺度空洞卷積采樣后，不改變每一個特征下的信息量，而是通過合并通道數來實現特征圖的融合，這樣既減少了分辨率的損失，也可以捕捉同一圖像的上下文信息；其次在網絡中增加兩個快速拼接模塊（F-concat），融合模型中高層與低層的信息，既豐富語義信息，又可以實現不同尺度信息的重復利用；最后在每個最大池化層之前增加批標準化層（BN），轉換每一層的數據。盡管增加模塊加深了網絡深度，但是BN層可以加快模型收斂速度，使整個訓練時間不發生較大改變。在CCTSDB數據集上進行特征提取。實驗結果表明，該模型利用新型網絡結構SF-RCNN，交通標示識別精度均值達到了87.48%，警告類別識別精度達到89.93%，禁令類別識別精度達到89.25%、方向類別識別精度達到81.08%、指示類別識別精度達到89.66%。

關鍵詞： 卷積神經網絡； 交通標示識別； SF-RCNN； MASPP； F-concat

中圖分類號： TP391.4"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-047-1557-06

doi：10.19734/j.issn.1001-3695.2021.10.0457

Study on traffic sign recognition based on multi-scale convolutional neural network

Liu Wanjun， Li Jiaxin， Qu Haicheng

（School of Software， Liaoning Technical University， Huludao Liaoning 125105， China）

Abstract： Traffic sign recognition has a wide application prospect in the field of automatic driving. In the actual scene， ligh-ting， geographical location， detection methods and other factors will affect the identification of small traffic signs， resulting in reduced identification accuracy. To solve these problems， this paper proposed a new multi-scale fusion convolutional neural network model（SF-RCNN） . Firstly， it added multi-scale atrous spatial pyramid pooling（MASPP） to the basic feature extraction network. After multi-scale dilated convolution sampling， the amount of information under each feature was not changed. In this way， the loss of resolution could be reduced and the context information of the same image could be captured. Secondly， it increased two fast concat modules （F-concat） in the network. The fusion of high and low level information could not only enrich semantic information， but also realize the reuse of information at different scales. Finally， it increased a batch normalization layer （BN） before each maximum pooling layer. Although the addition of modules deepened the network depth， BN layer could accelerate the model convergence speed， so that the whole training time didn’t not change greatly." Feature extraction is carried out on the CCTSDB data set. The experimental results show that this paper uses the new network structure SF-RCNN， extracts the features from CCTSDB dataset， and the average accuracy of traffic sign identification reaches 87.48%. The recognition accuracy of warning category is 89.93%， prohibition category is 89.25%， direction category is 81.08% and indication category is 89.66%.

Key words： convolutional neural network（CNN）; traffic sign identification; SF-RCNN; MASPP; F-concat

0 引言

自動駕駛技術改變了傳統駕駛方式，將汽車變“聰明”，讓生活變得智能化，具有跨時代的應用意義。汽車在自動駕駛過程中需要遵守交通規則，完成對交通標示的采集和分類，從而脫離人為控制，讓交通更便捷，因此交通標示的準確識別是自動駕駛技術的研究熱點。由于交通標示的尺寸、光線、角度、印刷版式存在差異，自動駕駛中的交通標示識別一直是人們研究的重點課題。

傳統圖像識別算法中，主要是利用人工提取的特征，如HOG［1］（方向梯度直方圖）、SIFT［2］（尺度不變特征變換）及CSS［3］（顏色自相似）等，這些方法主要依賴人工設計的提取器，每個方法都要針對應用場景，泛化能力及魯棒性都比較差，同時會有大量冗余的信息生成，學習效率降低，容易在分類中出現大量的假正樣本。

隨著深度學習技術的不斷提高，卷積神經網絡（CNN）［4］被逐漸引入目標檢測領域中。卷積神經網絡可以通過對數據集的訓練，學習淺層次到深層次的圖像特征，這些特征由簡單到復雜，表達能力更強。目前YOLOv3［5］、SSD［6］等模型已經可以較精確地識別交通標示。李旭東等人［7］提出了一種三尺度嵌套殘差結構的交通標志快速檢測算法，采用逐像素相加的跨層連接，增加空間分辨率預測輸出，殘差結構嵌套的方式，在長沙理工大學中國交通標示檢測數據集（CSUST Chinese traffic sign detection benchmark，CCTSDB）三個分類上取得了較好的識別效果。鮑敬源等人［8］提出了一種StrongTiny-YOLOv3目標檢測模型，通過通道的變換，加入short-cut，在減少內存占用的同時使平均精度達到85.56%。陳昌川等人［9］針對特定場景交通標志精度低與識別速度慢的問題，提出了一種交通標志圖像識別 T-YOLO 算法，通過融合殘差網絡，采用多卷積層，在速度和精度上都有所提高。

基于深度學習的目標檢測已經有了很大的提高，但是對于不同目標，識別精度仍存在很大差異。很多網絡模型較深，對圖像進行特征提取后，本身較小的目標會丟失，這對較小交通標示的識別產生了影響。同時由于天氣、拍攝角度不同導致提取到標示的顏色亮度、傾斜角度存在差異；樹木建筑遮擋部分標示等各種因素影響，導致交通標示的準確檢測仍存在很大困難。目前中國交通標示數據集主要分為警示、禁令和指示三個類別，這些分類對于自動駕駛的實際應用是遠遠不夠的，準確地識別施工標示、方向標示、輔助標示等類別能夠讓汽車在行駛中作出準確判斷。

光照、角度、遮擋等外界因素會影響尺寸較小交通標示的識別效果。為了解決這些問題，本文在特征提取網絡VGG16［10］的基礎上，設計一種多尺度融合卷積神經網絡模型（SF-RCNN）。增加一個MASPP模塊，采用不同尺度空洞卷積捕捉信息，降低局部信息損失；增加F-concat模塊，合并通道數來豐富特征數目，實現不同尺度特征的融合，提高識別小目標的準確率；加入batch normalization層，在加深了網絡深度的情況下，也加快了模型的收斂速度；最后豐富了數據集類別，新增方向類，幫助汽車在自動駕駛過程中遵守交通規則、判斷正確的路線、準確到達目的地。

1 目標檢測模型

深度學習已經在目標檢測領域得到了廣泛的應用，Girshick等人［11］在2014年提出應用于目標檢測［12］的圖像特征自動提取的區域R-CNN。R-CNN［13］首先采用選擇性搜索算法從圖像中提取出約2 000個候選區域，經過調整到相同大小后輸入到卷積神經網絡模型中來提取對應特征；最后利用SVM分類器［14］對每個候選區域內的目標進行分類與邊框回歸。R-CNN在實驗中有明顯的性能提升［15］，但是在計算過程中步驟煩瑣，內存占用較大。2015年，Ren等人［16］提出了Faster R-CNN檢測器，Faster R-CNN網絡結構如圖1所示。

3.4 實驗結果與分析

首先在CCTSDB數據集上進行不同IoU的對比實驗，實驗采用了五個不同的閾值進行對比，選出mAP值最高的模型SF-RCNN作為最終模型，與MF-RCNN、CF-RCNN和Faster R-CNN模型進行對比。不同IoU對比實驗結果如表1所示。

在IoU取值為0.7時，mAP可達87.48%，同時模型danger和mandatory類別對應的AP可以達到89.93%和89.66%。根據綜合分析對比，隨著IoU閾值的不斷增加，對候選框的篩選越來越精確，保留的候選框準確率也隨之增加，但是候選框數量也會不斷降低，從而出現閾值過高，過濾掉一部分正確候選框的情況。表1中SF-RCNN模型在不同IoU進行對比，當IoU取值為0.7時，mAP能達到最好的效果，模型在性能上達到最優。SF-RCNN模型與其他幾個模型進行對比，結果如表2所示。

本文實驗設置其他三個模型的IoU為0.7，將SF-RCNN模型與它們進行對比。根據實驗結果分析，Faster R-CNN模型mAP可以達到85.94%，各類類別中的新分類directional方向類較其他三個分類AP較低，主要原因是類別數目劃分不夠均勻；加入BN層的MF-R-CNN對比Faster R-CNN在分類準確率上沒有取得明顯的提升，但是加深了網絡深度后，BN層可以有效地控制輸入數值在一個規定的范圍之內，這一過程可以減少整體參數調整量，加快了模型收斂速度，從而使整體訓練時間不發生較大改變；CF-RCNN加入了MASPP結構，模型有效提升了directional類別的AP，模型最后測試結果可達81.08%，精度照比Faster R-CNN提升了1.4%，這是由于MASPP模塊可以對傳輸進來的不同尺寸特征圖進行采樣，增大感受野的同時，通過不同的尺度膨脹卷積捕捉特征圖上下文信息來融合。與其他類別相比，數據集中directional類別目標尺度不一致，MASPP中并行的膨脹卷積對不同尺度目標圖像進行特征采樣，使輸入該模塊的信息得到充分利用，這樣明顯提高了該類別目標識別準確率。對比CF-RCNN，SF-RCNN加入了兩個F-concat模塊，其mAP達到了87.48%，對比Faster R-CNN平均精度提高了1.54%，各類別的AP都有所提升，其中danger類別精度達到89.93%。經過分析可知，由于danger類別中小目標數量居多，模型加入F-concat模塊雖然增加了計算量，但是有效地融合了更多尺度的信息，這樣部分較小目標信息不會在高層的網絡中丟失，而是直接與高層信息融合，該模塊的加入不但減少了信息量的損失，而且融合了更多尺度的特征信息。數據集中部分目標較小，增加融合模塊可以降低信息損失率，更有利于一些較小目標的識別。

當IoU取值為0.7時，Faster R-CNN和SF-RCNN模型的P-R曲線如圖8所示。

圖8中橫坐標表示召回率，縱坐標表示精度。由對比圖可以看出隨著召回率的增加，模型分類的精確度有所下降，因為這兩者在某些情況下是有矛盾的。如果抽取標示過多或者過少時，召回率和準確率會隨之變化。通過曲線整體趨勢可以看出，SF-RCNN測試各類別的精度略優于Faster R-CNN模型。

3.5 對比實驗

為了驗證本文方法的實時性與有效性，將目前較好的方法與本實驗中SF-RCNN模型作對比，對比方法分別為FSSD、StrongTiny-YOLOv3、YOLOv3-tiny，結果如表3所示。

本文實驗對CCTSDB數據進行了新劃分，在danger、prohibitory、mandatory三個類別的基礎上增加了directional類別，幫助汽車在駕駛過程中按規則行駛。表3中方法均為大型網絡，對比結果顯示SF-RCNN的精度超越了StrongTiny-YOLOv31.92%；SF-RCNN平均精度略低于YOLOv3-tiny、FSSD，但是danger類別精度超過了FSSD，主要原因是在劃分新類別時，方向性類別數量相對其他三類較少，導致mAP值較低，而本文方法兩個F-concat模塊有利于danger類別中許多小尺寸目標的檢測，因此單類別精度有效提升。另外本文在YOLOv4模型上進行實驗并與改進方法進行對比，YOLOv4的檢測精度較高，但相比之下YOLOv4在同一環境下訓練時間較長，本文方法訓練時間每輪約0.8 s，YOLOv4每輪訓練時間約7.5 s，由此可見本文方法減少了資源的占用。另外YOLOv4 屬于one-stage檢測模型，與本文two-stage模型對比，one-stage檢測模型無須生成候選框，可以直接回歸與分類，但是它的靈活性要更差一些，在最后分類階段參數量會明顯增多，這種計算量對單GPU的內存是巨大的，而本文方法采用RoI pooling網絡，可以將分辨率壓縮，計算量相比于YOLOv4減少了許多倍，更加減少成本消耗，同時RPN生成候選框時正負樣本更能平衡樣本數量，具有一定的研究意義。

3.6 測試結果展示

模型單張標示識別對比如圖9所示。圖9中（a）表示Faster R-CNN單張圖片識別效果;（b）表示MF-RCNN單張圖片識別效果;（c）表示CF-RCNN單張圖片識別效果;（d）表示SF-RCNN單張圖片識別效果。

圖片中標示包含了大目標和小目標，可以看出SF-RCNN能夠克服光線、部分遮擋、模糊、亮度等問題帶來的困擾，更準確地對目標進行識別。圖9（d）是SF-RCNN在復雜場景下單張標示識別效果，可以看出SF-RCNN相對于其他三組模型有著較好的識別效果，該模型可以降低外界影響，精準識別出部分小目標。通過該模型的特征提取，能夠有效分離前景圖與背景圖，更準確地定位與分類。

4 結束語

由于受到不同外界因素干擾，交通標示會出現模糊、遮擋、褪色等問題，導致模型識別小目標精確度下降。為了解決這類問題，本文設計了SF-RCNN模型，新增CCTSDB交通標示數據集方向類別。首先加入了MASPP模塊，通過不同尺寸的濾波器對特征圖進行采樣，將提取到的上下文信息融合到一起，解決分辨率損失的問題；其次為了解決高層信息分辨率低、低層信息語義信息弱的問題，增加兩個F-concat模塊，該模塊主要通過合并通道數來融合高低層特征，使模型可以有效地捕捉小目標；實驗設計中增加模塊會導致模型訓練時間變長，但是加入了BN層，模型收斂速度有所提升，使訓練時間不發生較大變化。

SF-RCNN模型在CCTSDB數據集上取得了較好的效果，它能夠更好地識別尺寸較小的目標。本文模型仍存在一些問題，如少部分相近目標會被錯誤識別，同時一些遮擋較大、光線較明或較暗目標會丟失，這些問題仍有待研究。

參考文獻：

[1]賀敏雪，余燁，程茹秋.特征增強策略驅動的車標識別［J］.中國圖像圖形報，2021，26（5）：1030-1040.（He Minxue， Yu Ye， Cheng Ruqiu. Vehicle sign recognition driven by feature enhancement strategy［J］.Chinese Journal of Image and Graphics，2021，26（5）：1030-1040.）

［2]姜桂圓，張桂玲，張大坤.SIFT特征分布式并行提取算法［J］.計算機研究與發展，2012，49（5）：1130-1141.（Jiang Guiyuan， Zhang Guiling， Zhang Dakun. SIFT feature distributed parallel extraction algorithm［J］.Computer Research and Development，2012，49（5）：1130-1141.）

［3]曾接賢，李煒燁.曲率尺度空間與鏈碼方向統計的角點檢測［J］.中國圖象圖形學報，2014，19（2）：234-242.（Zeng Jiexian， Li Weiye. Corner detection based on curvature scale space and chain code direction statistics［J］.Chinese Journal of Image and Gra-phics，2014， 19（2）：234-242.）

［4]周飛燕，金林鵬，董軍.卷積神經網絡研究綜述［J］.計算機學報，2017，40（6）：1229-1251.（Zhou Feiyan， Jin Linpeng， Dong Jun. A review of convolutional neural networks［J］.Journal of Computer Science，2017，40（6）：1229-1251.）

［5]王志偉，普園媛，王鑫，等.基于多特征融合的多尺度服裝圖像精準化檢索［J］.計算機學報，2020，43（4）：740-754.（Wang Zhiwei， Pu Yuanyuan， Wang Xin， et al. Accurate retrieval of multi-scale clothing images based on multi-feature fusion［J］.Chinese Journal of Computers，2020，43（4）：740-754.）

［6]張偉康，楊鵬.基于改進SSD算法的實時交通標示牌檢測［J］.現代電子技術，2020，43（1）：90-92，98.（Zhang Weikang， Yang Peng. Real-time traffic signs detection based on improved SSD algorithm［J］.Modern Electronic Technology，2020，43（1）：90-92，98.）

［7]李旭東，張建明，謝志鵬，等.基于三尺度嵌套殘差結構的交通標志快速識別算法［J］.計算機研究與發展，2020，57（5）：1021-1036.（Li Xudong， Zhang Jianming， Xie Zhipeng， et al. Fast recognition algorithm of traffic signs based on three-scale nested residual structure［J］.Computer Research and Development，2020，57（5）：1021-1036.）

［8]鮑敬源，薛榕剛.基于YOLOv3模型壓縮的交通標志實時檢測算法［J］.計算機工程與應用，2020，56（23）：202-210.（Bao Jingyuan， Xue Ronggang. Real-time traffic signs detection algorithm based on YOLOv3 model compression［J］.Computer Engineering and Applications，2020，56（23）：202-210.）

［9]陳昌川，王海寧，趙悅，等.一種基于深度學習的交通標志識別新算法［J］.電訊技術，2021，61（1）：76-82.（Chen Changchuan， Wang Haining， Zhao Yue， et al. A new algorithm for traffic sign re-cognition based on deep learning［J］.Telecommunications Technology，2021，61（1）：76-82.）

［10]張建華，孔繁濤，吳建寨，等.基于改進VGG卷積神經網絡的棉花病害識別模型［J］.中國農業大學學報，2018，23（11）：161-171.（Zhang Jianhua， Kong Fantao， Wu Jianzhai， et al. Cotton disease recognition model based on improved VGG convolutional neural network［J］.Journal of China Agricultural University，2018，23（11）：161-171.）

［11]Girshick R， Donahue J， Darrell T， et al. Region-based convolutional networks for accurate object detection and segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2016，38（1）：142-58.

［12]Lu Yifan， Lu Jiaming， Zhang Songhai， et al. Traffic signal detection and classification in street views using an attention model［J］.Computational Visual Media，2018，4（3）：253-266.

［13]Uijlings J R R， Van De Sande K E A， Gevers T， et al. Selective search for object recognition［J］.International Journal of Computer Vision，2013，104：154-171.

［14]Wan Yaonan， Yuan Xiaofang. SVM approximate-based internal model control strategy［J］.Acta Automatica Sinica，2008，34（2）：172-179.

［15]甄燁，王子磊，吳楓.融合密度和精細分數的行人檢測［J］.中國圖象圖形學報，2021，26（2）：425-437.（Zhen Ye， Wang Zilei， Wu Feng. Pedestrian detection based on fusion density and fine fraction［J］.Chinese Journal of Image and Graphics，2021，26（2）：425-437.）

［16]Girshick R. Fast R-CNN［C］//Proc of IEEE International Conference on Computer Vision.2015：1440-1448.

［17]Liu Jiamin， Wang D， Lu Le， et al. Detection and diagnosis of colitis on computed tomography using deep convolutional neural networks［J］.Medical Physics，2017，44（9）：4630-4642.

［18]Li Chaojie， Zhou Peng. Improved Faster R-CNN object detection［J］.World Scientific Research Journal，2020，6（3）：74-81.

［19]王粉花，張強，黃超，等.融合雙流三維卷積和注意力機制的動態手勢識別［J］. 電子與信息學報，2021，43（5）：1389-1396.（Wang Fenhua， Zhang Qiang， Huang Chao， et al. Dynamic gesture recognition based on two-stream three-dimensional convolution and attention mechanism［J］.Journal of Electronics and Information Technology，2021，43（5）：1389-1396.）

［20]任坤，黃瀧，范春奇，等.基于多尺度像素特征融合的實時小交通標志檢測算法［J］.信號處理，2020，36（9）：1457-1463.（Ren Kun， Huang Long， Fan Chunqi， et al. Real-time small traffic signs detection algorithm based on multi-scale pixel feature fusion［J］.Signal Processing，2020，36（9）：1457-1463.）