基于輕量型卷積神經網絡的交通標志識別

龍曼儀 李茂軍 張輝 劉芾

摘? ?要：針對卷積神經網絡在交通標志識別實時性不好，對設備硬件要求過高的缺點，提出了一種具有實時性，高精度的基于輕量型卷積神經網絡的改進網絡。一方面引入深度可分離卷積和激活函數Mish，加快網絡的訓練和識別速度，降低對硬件設備的要求;另一方面通過對網絡架構及層次的改進，同時合理改變卷積核的大小和數目，加強圖片特征的表達與傳遞。在BelgiumTSC交通標志數據集上的實驗結果表明，改進后網絡明顯提高了網絡訓練速度，同時識別精度也略高于原網絡，驗證了改進方法的有效性。通過與其他模型相比，該模型能夠更快速準確完成交通標志識別任務，驗證了該方法的可行性。

關鍵詞：卷積神經網絡;交通標識;圖像增強;深度可分離卷積;激活函數

中圖分類號：TP183? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼A

Traffic Sign Recognition Based on Lightweight

Convolutional Neural Network

LONG Man-yi1，LI Mao-jun1 ，ZhANG Hui2，LIU Fu1

（1. College of Electrical and Information Engineering，Changsha University

of Science and Technology，Changsha，Hunan 410114，China

2. College of Robotics，Hunan University，Changsha，Hunan 410114，China）

Abstract：Aiming at the shortcomings of convolutional neural network in the recognition of traffic signs that the real-time performance is not good，and the equipment hardware requirements are too high，a real-time and high-precision improved network based on lightweight convolutional neural network is proposed. Separate convolution and activation function Mish，speed up the network training and recognition speed，reduce the requirements for hardware equipment;on the other hand，through the improvement of the network architecture and level，while reasonably changing the size and number of convolution kernels，the expression of image features and transfer. The experimental results on the BelgiumTSC traffic sign dataset show that the improved network significantly increases the network training speed，and the recognition accuracy is slightly higher than the original network，which verifies the effectiveness of the method in this paper. Compared with other models，this model can complete the task of traffic sign recognition more quickly and accurately，which verifies the feasibility of this method.

Key words：convolutional neural network;traffic sign;image processing;depth separable convolution;activation function

交通標志識別是自動駕駛汽車高級駕駛員輔助系統的重要功能，它能夠從圖像中識別交通標志，預計類別，來給車輛提供道路上的交通信息，以防違章及出現事故[1-2]。早期交通標志識別是通過其顏色空間對圖像劃分閾值進行分類，主要是通過特征提取以及分類器選擇兩步作為研究[3-4]，但隨著2012年AlexNet在圖像識別上嶄露頭角，部分學者漸漸開始將研究重點轉移到神經網絡[5]。Sermanet等人提出多尺度CNN應用于交通標志識別任務，得到了很高的準確率[6]。Ciresan等人使用多列深度卷積神經網絡MCDNN（Multi-Column Deep Neural Network）在GTSRB（German Traffic Sign Benchmark）數據集上獲得99%的準確率，但是運算量大，網絡計算速度較慢[7]。盡管前兩者準確率較高，但其實際可應用性不強，要求較好的硬件設備。傳統卷積神經網絡結構復雜，識別較慢，會導致無法應用到實際場景中檢測交通標志。因此網絡模型選取了層數較少的輕量型網絡LeNet-5[8]作為基層網絡進行改進，并利用了Mobile Net[9]中提出的深度可分離卷積，減少了參數量和計算量，為了提高信息傳遞效率，加強特征的傳遞，將原降采樣層替換為卷積層，加深網絡，并將卷積核尺寸修改為3×3。通過自對比實驗，驗證了改進網絡改進的有效性，通過在BelgiumTSC數據集上訓練和測試，得到了比較好的結果。

1? ?基于輕量級的卷積神經網絡模型

1.1? ?改進深度可分離卷積

在傳統的卷積計算過程中，每一步的計算都會考慮所有通道對應區域的計算，產生大量的參數并且加大計算量。而Mobile Net網絡提出了深度可分離卷積，將常規卷積分成逐通道卷積（Depthwise Convolution，DC）和逐點卷積（Pointwise Convolution，PC），先對每一通道的區域進行卷積計算，然后進行通道間的信息交互，實現了將通道內卷積和通道間卷積完全分離。

常規卷積計算，輸入圖像大小為DF × DF的M通道圖像，用DK × DK大小的卷積核進行卷積，得到輸出的特征圖為DI × DI的N通道圖像，那么標準的卷積核的計算量為DF × DF × DK × DK × M × N。

對于深度可分離卷積，是將逐通道卷積和逐點卷積兩步中的計算量相加。深度卷積部分使用的是一個大小為DK × DK × 1的卷積核進行特征提取，計算量為DF × DF × DK × DK × M。逐點卷積部分是利用N個1 × 1的點卷積對通道間的信息進行融合，實現通道間的信息傳遞并且控制了通道數量，計算量為DF × DF × M × N，因此深度可分離卷積的計算量為DF × DF × DK × DK × M + DF × DF × M × N。

深度可分離卷積與傳統卷積的計算量之比為：

■=

■ + ■? ? ?（1）

N≥1且DK≥1，深度可分離卷積極大的減少了參數量，加快了計算過程。改進網絡中采用的卷積核大小為5 × 5，因此卷積部分的參數量和計算量可以減小到原來的1/25。例圖1為改進后卷積神經網絡C3卷積層的改進過程。

在深度可分離卷積中，為了更好的提取特征，減少參數間依存關系，緩解由于卷積層數加深可能引起的過擬合發生。在每經過一個Depthwise Convolution和Pointwise Convolution的輸出都會經過ReLU非線性激活函數的處理，以加強非線性表達能力。同時為了加快網絡的收斂速度，防止梯度爆炸，提高模型的精度，會在激活函數前加BN層（Batch Normalization）。但是考慮到ReLU可能會使神經網絡的一部分處于“死亡”狀態，會使神經元信息丟失。MobileNet中深度可分離卷積部分在Depthwise Conv模塊后選擇Leaky ReLU代替ReLU作為激活函數，當輸入 時，保持一個很小的梯度，使神經元能夠在非激活狀態下也能夠有一個非零梯度更新參數，避免“死亡”，在Pointwise Conv后選擇利用h-swish函數作為激活函數，來解決網絡層數增加造成梯度消失及過擬合等問題[11]。改進網絡選擇DigantaMisra提出的Mish函數替代ReLU函數，與ReLU函數和swish函數相比，Mish激活函數每一點更加平滑，允許更好的信息深入神經網絡，負值的時候允許較小的負梯度流入，保證信息不會中斷，從而得到更好的準確性和泛化能力。實驗結果表明，當網絡層次加深時，Mish激活函數能夠保持更好的訓練穩定性，在平均準確率和峰值準確率方面也有了全面的提高[10]。

Mish激活函數的表達式如式（2）：

f（x） = x·tanh（ζ（x））? ? ? ?（2）

ζ（x） = ln（1 + ex）? ? ? ?（3）

能夠實現運算精度和運算速度的兼容。優化后的深度可分離卷積如圖2所示：

1.2? ?改進的卷積神經網絡

交通標志識別在行駛過程種會受很多方面的影響，如泥漬，樹枝遮擋，車速過快導致標志采取模糊，霧霾天氣導致標志不能完整顯示，盡管一般的交通標志已經采用了抗氧化反折射的材料，但還是隨著時間的推移不可避免的出現顏色變化的現象，這使得基于顏色分割的識別方式并不可靠。因此如何快速高質量的對交通標志進行識別，是研究的重點。其改進后的網絡結構圖如圖3所示，符號 前數字為特征圖大小，符號 后為特征圖個數。

原神經網絡輸入圖像是32 × 32單通道的灰度圖，但是交通標志在32 × 32的尺度下難以分辨，因此這里將網絡改成了64 × 64的輸入。同時考慮到交通標志的背景以及構成會比手寫數字要復雜得多，因此增加了每層卷積核的個數，原本的網絡卷積層數較淺，特征提取比較粗糙，若運用在結構復雜的交通標志識別上，準確率不高。因此將原來第二層和第四層卷積核為2 × 2，步長為2的降采樣層改為卷積核大小為2 × 2，步長為2 的卷積層。卷積層能夠提取的特征越精細，那么輸入圖片能夠被識別的可能性就越大，識別精度越高。改進后的網絡不包括輸入層一共有八層，包括五個卷積層，一個池化層，一個全連接層以及最后的輸出層，其中輸入為64×64大小的灰度圖像。為了提取更多的信息，這里適當的增加了卷積核的個數。最后通過softmax分類器，輸出62個交通標志類別的概率。

表1為改進后卷積神經網絡每層對應的卷積核大?。↘ernel Size），步長（Stride），和特征圖大?。‵eature map size）及個數（Feature map number）。

卷積層與池化層輸出特征圖維度的計算公式為：

Y = ■ + 1? ? ? （4）

X：輸入的維度，W：卷積核大小，stride：步長，pad：擴充邊緣。

關于第i層卷積層的計算，設xlj代表的是第l層中存在的第j個特征圖，其表達式如下：

xlj = f■xl-1j? ? *klij + blj? ? （5）

其中xl-1j? ? 為第l-1層存在的第 個特征圖，Mj為輸入特征圖集合，k為卷積核，b為偏置參數，f（）為選擇的激活函數，*代表卷積運算。

其中池化層采用最大池化，假如輸入特征映射組為x∈RM × N × D，對于其中每個特征映射Xd，將其劃分為很多區域Yd? ? m，n，1≤m≤M′，1≤n≤N′這些區域可重疊可不重疊。采用最大池化則取一個區域內所有神經元的最大值，公式如式（6）：

Yd? ? m，n = ■xi? ? ? ? （6）

其中xi為區域內Rdk內每個神經元的激活值。

對每一個輸入特征映射Xd的M′ × N′個區域進行子采樣，得到池化層的輸出特征映射Yd = {Yd? ? m，n}，1≤m≤M′，1≤n≤N′。

2? ?實驗過程及結果

2.1? ?數據集準備

BelgiumTSC交通標志數據集的圖像已經截取好且清晰度較好，數據集包括了各個方位的圖片，在實驗初期更適合網絡的訓練。因此選用BelgiumTSC交通標志數據集作為實驗數據進行對比實驗。

BelgiumTSC是比利時一個公開的交通標志數據集，共有62種不同類型的交通標志，包含3773個訓練樣本和2032個測試樣本，圖片大小為 64 × 64。數據集中的62類圖片均為行駛車輛從真道路場景拍攝到所得，涵蓋了不同天氣、背景、污損程度、光照條件的交通標志。圖4為BelgiumTSC交通標志數據集分布直方圖。

但是從BelgiumTSC交通數據集各類交通標志的分布直方圖來看，它的各類交通標志分布并不均勻。增強機器學習魯棒性的最直觀的一個策略就是使用更多的數據來訓練模型，即數據集增強。因此本次實驗對訓練集中數據量較少的類別進行數據擴充，隨機采用了加入隨機高斯噪聲、亮度調整、平移三種數據增強策略，經裁剪和擴充后，訓練數據集達到21076張，新的數據集在擴充之后均衡性得到了提升，擴增后的BelgiumTSC數據集分布直方圖如圖5所示。實驗采用擴增后的BelgiumTSC數據集進行訓練，其中隨機抽取80%為訓練集，20%為測試集。

交通標志數分布情況

2.2? ?實驗過程及結果

實驗平臺為Windows（64 bit）操作系統，12GB內存，采用tensorflow深度學習框架，軟件環境為pycharm。

訓練期間參數的設置：本模型采用Adam優化器，學習率采用衰減的方式，初始學習率設置為學習率為10-3;每一千次降低一次學習率，降低比例為原來的0.1倍。

為了防止訓練過程中過擬合，權重衰減項為0.0005，動量為0.9。由于LeNet-5網絡在迭代5500已經趨于穩定，因此這里將迭代次數設置為5500。與softmax激活函數相對應的loss函數（損失函數），在此為交叉熵損失函數：

L = ■■-■yic log（pic）? ? （7）

其中：N為樣本的總數，M為類別的數量，yic為指示變量（0或1），如果該類別和樣本 的類別相同就是1，否則是0，pic為觀測樣本i屬于類別c的預測概率。圖6為交通標志識別流程。

如圖7為傳統LeNet-5網絡與改進后的卷積神經網絡的準確率曲線以及損失曲線圖。由圖7中準確率曲線可以看到，兩個網絡在迭代3000次左右都趨于穩定，之后逐漸趨于1，沒有出現過擬合現象，說明網絡得到了充分的訓練，改進后的卷積神經網絡準確度有了明顯的提升。從損失曲線圖來看，網絡在訓練了150次左右，逐漸收斂，訓練平穩后改進后網絡損失值更小，準確度更高。說明基于卷積神經網絡的改進是快速而有效的。

關于改進后的卷積神經網絡部分交通標志識別結果如圖8，其中圖8選取了準確率比較低的幾種情況。BelgiumTSC交通數據集一共有62個小類。從圖8的檢測結果來看，在特殊環境下，標志牌表面模糊，部分遮擋，曝光過度等對模型識別準確率有一定的影響，但并未造成圖片誤識。圖片a由于標志遮擋，造成圖片準確率比較低，測試圖片準

確率為86.73%。圖片b由于強光反射造成曝光過度，但由于其標志線條并沒有因為被強光改變，沒有造成識別錯誤，準確率較低，為89.05%。圖片c由于原始圖片采集速度過快，造成了圖片模糊，準確率為83.47%。大部分類別圖片在清晰度，曝光度都正常的情況下，其準確率都在95%以上。通過觀察數據集發現，準確率比較低的類別可能存在以下不同的情況。原數據集圖片比較少且圖片光線較暗的類別如類11，類60等，數據集中圖片類型角度比較單一，網絡能夠學習的特征較少，造成測試集準確率比較低。類別51，其所含的交通標志結構特征比較復雜，學習難度相對大，類別47，類別48，類別49的相似度極大也可能造成圖片誤識。實驗過程中錯誤分類的圖片，大都是曝光過度，過于模糊等肉眼比較難以分辨的圖片。在正常情況下，少量噪聲和光照污染不會影響圖片的識別結果?？偨Y來說，改進后的卷積神經網絡在準確度和性能上來說都有了一定程度的提升。

2.3? ?自對比實驗

為了驗證深度可分離卷積和卷積層與全連接層的連接對實驗結果的有效性，因此進行了自對比實驗。為了驗證深度可分離卷積只對改進網絡的速度有效，并不會影網絡模型的準確度，因此將深度可卷積分離與常規卷積進行對比，即設定改進條件一，即保持在改進卷積神經網絡的基礎上，將卷積層改為常規卷積，設定只采用改進條件一為對比模型一。設定改進條件二為在改進卷積神經網絡的基礎上，將卷積層C2和C4還原為降采樣層，驗證其特征傳遞的有效性，此為對比模型二。實驗中關于其他的超參數設定一致。

關于對比實驗結果如表2，從實驗結果來看，引入深度可分離卷積降低了網絡訓練負擔，訓練時間由50 min減少到了35 min，測試耗時也相對應的減少了，同時也驗證了其改進并不會影響到準確率，而增加的卷積層對準確度有一定的提升作用。網絡識別精度由97.5%提升到了98.7%，盡管網絡的加深會導致計算量的增加，但從對比實驗來看，在未引入深度可分離卷積時，訓練時間為50分鐘，同時加深網絡和深度可分離卷積，網絡的訓練時間明顯降低，因此驗證了本網絡的相關改進是有效的。

2.4? ?算法實驗結果比較

為了客觀的驗證改進網絡的有效性，因此基于相同的數據集將改進網絡模型與其他交通標志識別算法的結果進行比較，表3列舉了不同算法在BelgiumTSC數據集上進行實驗的準確率及訓練耗時，隨機抽取八十張圖片進行測試的耗時，以及模型大小的對比。

表3包含七種相關交通標志識別模型的運行時間和所占內存大小。從表中數據可以看出，改進的卷積神經網絡，在識別準確率上高達98.72%，僅略低于VGG16網絡的98.93%和MCDNN網絡的99.52%;網絡模型訓練時長為35分鐘，高于MobileNetV3網絡的20分鐘和ShuffNet網絡的30分鐘，這是因為網絡層數的不斷加深，雖然網絡精度會逐漸提高，但是對應的網絡訓練時長也會增加;在數據集上的測試速度為3秒，明顯優于表中LeNet-5網絡的10秒，VGG16網絡的12秒，MCDNN網絡的15秒，表明了深度可分離卷積有效的加快了識別速率;在內存占用比上為7.6/MB，相比于表中VGG16網絡的129/MB，MCDNN網絡的153/MB減小了十倍左右。從整體性能來說，改進網絡的性能高于表中其他網絡，實時性和準確率滿足輔助駕駛系統交通識別的要求，同時降低了算法對運行平臺設備的硬性要求。

3? ?結? ?論

提出了一種輕量型交通標志識別模型，對卷積神經網絡的識別精度和速度性能從兩個方面提出改進。一方面通過改進網絡結構，加深網絡層，利用卷積層替換降采樣層，另一方面結合深度可分離卷積，大大減小網絡計算量，提高網絡的識別速度。在擴充后的BelgiumTSC交通數據集實驗結果表明，改進后的網絡相對于原網絡在識別精度和速度性能上都有所提升，同時還降低了設備的占用內存，各項性能均優于原網絡。應用在實際的自動駕駛中，為滿足實際的道路交通情況，要求網絡對小目標的交通標志有更強的識別性，后期可以考慮引入Faster-RCNN中anchor的思想，以及重新設置IOU的閾值來增大對小目標的交通標識檢測率。

參考文獻

[1]? ? 童英，楊會成. 基于改進卷積神經網絡的實時交通標志檢測方法[J]. 激光與光電子學進展，2019，56（07）123-129.

[2]? ? 馬永杰，李雪燕，宋曉鳳. 基于改進深度卷積神經網絡的交通標志識別[J]. 激光與光電子學進展，2018，55（12）：250-257.

[3]? ? 徐巖，韋鎮余. 一種改進的交通標志圖像識別算法[J]. 激光與光電子學進展，2017，54（02）：124-131.

[4]? ? 汪貴平，盛廣峰，黃鶴，等. 基于改進LeNet-5網絡的交通標志識別方法[J]. 科學技術與工程，2018，18（34）：78-84.

[5]? ? KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neuralnetworks [C]//Advances in Neural Information Processing Systems，2012：1097-1105.

[6]? ? SERMANET P，LECUN Y. Traffic sign recognition with multiscale convolutional networks [C]//International Joint Conference ference on Neural Networks，2011：2809-2813.

[7]? ? CIRESAN D，MEIER U，MASCI J. Multi-column deep neural network for traffic sign classification[J].? Neural Networks，2012，32：333-338.

[8]? ? LECUN Y，BOTTOU L. Gradient-based learning applied to document recognition[J].? Proceedings of the IEEE，1998，86（11）：2278-2324.

[9]? ? HOWARD A. Searching for mobile NetV3[C].2019 IEEE/CVF International Conference on Computer Vision（ICCV），Seoul，Korea（South），2019：1314-1324.

[10]? MISR A D. Mish：a self regularized non monotonic neural activation Function[J]. arXiv preprint arXiv：1908.08681，2019.

[11]? 魯寒凝. 基于HOG特征的交通標志檢測與識別算法研究[D].西安：長安大學，2015.

[12]? 于雅潔. 基于DNN技術的交通標志識別方法研究[D].沈陽工業大學，2016.

[13]? SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].? arXivpreprint arXiv：1409.15562014.

[14]? ZHANG X，ZHOU X，LIN M，et al. An extremely efficient convolutional neural network for mobile devices[J].? arXiv preprint arXiv：1707.01083.

[15] SANDLER M，HOWARDA，ZHU M. MobileNetv2：inverted residuals and linear bottlenecks. [C]// IEEE Conference on Computer Vision and Pattern Recognition，2018：4510-4520.

[16]? HUANG G，LIU Z，MAATEN LVD. Densely connected convolutional networks. [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：2261-2269.

[17]? VEIT A，WILBER M J，BELONGIES. Residual networks behave like ensembles of relatively shallow networks.[C]// Neural Information Processing Systems，2016，10（2）：550-558.

[18]? LI Jia，WANG Zeng-fu. Real-time traffic sign recognition based on efficient CNNs in the wild[J]. IEEE Transactions on Intelligent Transportation Systems，2019，20（3）：975-984.

[19]? NATARAJAN S，ANNAMRAJUA K，BARADKAR C S. Traffic sign recognition using weighted multi- convolutional neural network[J]. IET Intelligent Transport Systems，2018，12（10）：1396-1405.

[20]? STALLKAMP J，SCHLIPSINGM，SALMEN J. The German traffic sign recognition benchmark：a multi-class classification competition[C]//2011 International Joint Conference on Neural Networks，2011：1453-1460.