基于深度學習的交通標志識別智能車的設計與實現

熊旋錦 ，潘小琴 ，唐 楷 ，康 勇

（1.西南科技大學 智能機器人創新實踐班，綿陽 621010；2.西南科技大學 工程技術中心，綿陽 621010）

隨著社會經濟愈加發展，現代交通已經非常便利，其中道路交通仍占主導地位[1]。滯后的道路交通安全基礎設施建設、嚴重不足的交警警力、相對薄弱的道路交通安全管理水平和交通參與者安全意識之間的矛盾日益突出，加之環境污染和能源短缺，交通安全和交通阻塞造成了驚人的經濟損失，成為日益嚴重的社會問題。

現在，道路交通問題的解決，需求助于智能車技術。智能車集中地運用了計算機、傳感、信息、通信及自動控制等技術，是集決策規劃、周邊環境感知、道路自動識別等功能于一體的綜合系統[2]。智能車自動行駛的首要任務是交通標志自動檢測與識別，道路交通標志提供警告、指示信息，規范著駕駛員的行為，為便利、安全的駕駛提供可靠保障[3]。

在此提出基于深度學習的交通標志自動檢測與識別的算法，并應用于小型智能車進行模擬測試。該智能車采用樹莓派采集和處理交通標志，以STM32為主控制器對智能車進行運動控制。試驗結果表明，該智能車可以識別43種交通標志，能夠在模擬的十字路口根據交通標志規劃路線，實現主動避障和自動前行。

1 系統總體設計

該智能車需要在模擬的道路中識別出各種交通標志并自動前行。在檢測到有其余車輛的情況下，要判斷出與之相差的距離，并結合路面情況做出等待或前行的處理。為了實現這些功能，該智能車采用雙控制器：樹莓派控制端進行圖像處理，將攝像頭采集到的交通標志和障礙物信息進行分類識別，得到識別結果，將結果傳到STM32控制端，STM32根據信息內容執行相應程序。

2 系統的硬件設計

交通識別自動前行機器人采用四輪結構，以樹莓派和STM32為雙控制器，外接攝像頭和超聲波傳感器，其硬件結構如圖1所示。

圖1 硬件結構Fig.1 Hardware structure

使用樹莓派作為圖像處理平臺，可以直接控制執行結構并與之結合成為一個整體，兼具處理效率性與系統的整體性，使用500萬像素彩色攝像頭采集圖像標識，將目標信號和干擾信號進行處理，把處理結果傳輸至STM32[4]。

運動控制以STM32F103系列芯片為主控制器，外接電機、編碼器、超聲波傳感器等。STM32與樹莓派之間采用CH340串口模塊傳輸圖像處理信息。根據圖像處理信息和編碼器獲取的當前速度，產生相應的控制信號，向電機輸出PWM波，實現雙路電機正反轉，最終控制小車前進、停止、后退、左轉及右轉[5]。

3 系統的軟件設計

將攝像頭采集到的彩色圖像轉化為灰度圖像，用幀差法可將背景與目標分離，再進行圖像閾值分割，應用OpenCV的對比度限制自適應直方圖均衡來提高圖片的可視性。

3.1 圖像處理算法設計

傳統的機器學習算法流程分為數據預處理、特征工程、模型建立及訓練、模型效果評估。其中，特征工程需要大量的專家知識，且針對圖片等復雜的數據源，很難人為從中提取能夠全面反映數據間不同特性的特征。為此，可采用卷積網絡，利用卷積提取局部特征的性質，特征工程融入模型中，讓模型去“學習特征”。同時，為了能夠準確識別交通標識，圖像處理任務將從數據預處理、數據擴增、算法模型3個角度著手，具體程序流程如圖2所示。

圖2 程序流程Fig.2 Program flow chart

由圖可見，首先對原始圖片應用去噪、大小統一等數據預處理的方法處理圖片；為解決數據不平衡和增加樣本多樣性，采用數據擴增的技巧；采用設計模型和處理后的數據進行模型訓練，并對其結果進行評估、驗證分析來改進模型。

3.1.1 ConvNets網絡結構

應用卷積網絡ConvNets解決交通標志的分類任務。ConvNets是一種受生物啟發的多級結構，能自動學習到不由平移旋轉等操作而變化的具有一定層次結構的特征。雖然許多流行的計算機視覺方法通過人工提取特征，如HOG或SIFT特征，但是ConvNets能從原始數據中學習到不同特征級別的特征，所以ConvNet能夠提取出更加復雜和具有一定針對性的特征，能為后期分類處理提供更加有用的特征。

網絡結構在LeCun等人的工作[6]上進行延伸改進，如圖3所示，通過加入Batch Normalization以提高網絡的泛用性。同時，通過在網絡上增加一次卷積采樣提取更加復雜的特征信息，然后通過降采樣來減少平移等行為，保證結構的不變性。

圖3 ConvNets的網絡結構Fig.3 ConvNets network structure

3.1.2 核心算法設計

實際模型在訓練中，存在著以下問題：樣本采樣不平衡，部分圖片由于亮度原因難以識別，模型參數過多且層數過深導致的樣本需求量較大、梯度彌散、梯度爆炸等問題。在此通過直方圖均衡化、數據擴增、Batch Normalization加以解決。

（1）直方圖均衡化

由于一些圖像受到了低對比度（模糊、黑暗）的影響，圖像無法識別，原始圖片如圖4a所示。通過數據探索，在算法中可以應用OpenCV的對比度限制自適應直方圖均衡，以提高圖片的可視性。直方圖均衡化是一種計算機視覺技術，用于增強圖像的對比度，直方圖均衡化效果如圖4b所示。

圖4 直方圖均衡化效果Fig.4 Histogram equalization effect

（2）解決數據不平衡問題

圖5中每個直方柱為該類樣本數量，由此可見，數據不同則樣本分布差距較大，而大多數機器學習算法的基本假設均為數據分布是均勻的[7]。如果將機器學習算法直接應用于當前數據，則無法取得理想的結果。

圖5 不平衡的數據分布Fig.5 Unbalanced data distribution

針對這類不平衡數據集，從數據的角度出發，常見解決方法為抽樣，既然樣本是不平衡的，通過某種策略抽樣，將不平衡的樣本數據轉變為相對均衡數據。但是，僅通過采樣會使樣本量減少，模型得到的數據量不足以用作訓練。此時可通過數據擴增（data augmentation）[8]的方法在原始的數據分布上增加數據。通過隨機移動、旋轉、裁切數據得到的圖片可以增加樣本的多樣性，同時可以解決數據不平衡的問題。

（3）Batch Normalization

隨著深度學習的發展，神經網絡越來越深。由于深度的增加，網絡中權重的根據梯度進行的微小變化將會對后面的網絡層有很大的影響，造成“梯度彌散”（由于當前神經元的梯度和前面的梯度相乘后，縮小了梯度對當前節點的影響，甚至導致當前的梯度為0）或者“梯度爆炸”（放大了梯度對當前節點的影響，甚至導致當前的梯度為無窮大）。為避免影響網絡的效果和訓練時間，不僅采用了改進優化方法，還采用Batch Normalization[9]進行歸一化預理。

采用Batch Normalization進行歸一化預理，可以選擇比較大的初始學習率，加快速度。同時，因為它本身就是一個歸一化網絡層，所以具有提高網絡泛化能力的特性。

3.2 控制程序設計

3.2.1 串口通信

樹莓派與STM32之間的通信采用CH340串口模塊。CH340模塊是一種USB轉TTL的串口模塊[10]。Linux對所有設備的訪問是通過設備文件進行的，串口也是如此。要使用串口，只需打開相應的設備文件即可操作串口設備。在Linux系統下，設備文件位于系統/dev目錄之下。在操作串口前，需在樹莓派上查看串口型號，Linux下/ttyS0和/ttyS1分別表示串口1和串口2，智能車所使用的串口為/ttyUSB0[11]。

樹莓派與STM32之間的通信流程如圖6所示，將USB轉TTL接入樹莓派，進入python編譯環境，安裝serial，用于串口通信及USB通信：

Sudo apt-get install python-serial

調用serial庫：

Import serial

將串口實體化：

ser=serial．Serial（'/dev/ttyUSB0'，9600，timeout=1）

STM32先進行系統時鐘、NVIC，GPIO等一系列初始化，然后進行串口配置，將樹莓派的串口與STM32的串口設備連接起來，再將STM32與樹莓派串口波特率進行匹配，便可實現通信。

圖6 通信軟件流程Fig.6 Communication software flow chart

3.2.2 PID 算法

智能車控制系統包括控制小車電機速度的PID算法和小車位置移動。交通識別機器人的控制程序由Keil For ARM編寫完成，機器人結合PID控制技術，基于反饋的概念來減少不確定性，消除穩態誤差，加快慣性系統響應速度，其控制流程如圖7所示[12]。

圖7 PID程序流程Fig.7 PID program flow chart

PID控制器給定一個需求轉速，將實際測得的轉速與需求轉速相比較后，經計算得到一個輸出信號；將此信號轉化為PWM波的占空比，再反饋在電機的驅動電路上，即可按所需控制電機的轉動，調節小車速度。該系統采用增量式PID算法，增量式數字PID為

式中：TP為比例系數；TI為積分項積分時間常數；TD為微分時間常數[13]。

4 試驗結果

在 Intel i7（3.5 GHz）處理器，8 GB 內存，Mac OS 10.10（64 bit）平臺上，對原型系統進行仿真試驗。 采用GTSRB無人駕駛數據集。其中，有39209個訓練集，12630個測試集，包括43種交通標識，如圖8所示。試驗結果見表1。

圖8 交通標志Fig.8 Traffic signs

表1 測試結果對比Tab.1 Comparison of test results

基于正確分類率對測試集進行評價。由表可知，通過與原有的方法Multi-scale CNN相比較，CNN with BatchNorm在該任務上有較為顯著的提升，網絡能很好地區分正確分類與非正確分類。同時，通過可視化最后一個卷積層，可見網絡很好地捕捉到標志的特征信息，仿真結果比較理想。

隨后，將圖像處理部分與控制部分結合，用于智能車的自動駕駛，測試過程如圖9所示。在模擬的十字路口，智能車可根據交通標志規劃路線，自動前行、停止、左轉或右轉，完成任務。

圖9 十字路口測試Fig.9 Test at intersections

5 結語

隨著社會經濟的發展，現代交通已經非常發達，交通識別技術作為未來交通系統的發展方向，將信息技術、數據通訊傳輸技術、控制、電子傳感技術及計算機技術等集成應用，交通識別技術必將受到越來越廣泛的關注。交通標志識別智能車便是將此種技術初步運用的實驗，提高了機器人的智能型與可控性，取得了良好的效果。

[1] 朱雙東，陸曉峰．道路交通標志識別的研究現狀及展望[J]．計算機工程與科學，2006，28（12）：50-52，102．

[2] 陳暉，張軍國，李默涵，等．基于STC89C52和nRF24L01的智能小車設計[J]．現代電子技術，2012，35（17）：12-15．

[3] 王芳．交通禁止標志的檢測和識別[D]．西安：長安大學，2014．

[4] 郭亮，葉愛民，林濤，等．基于樹莓派和Java語言的溫濕度遠程實時測量系統的設計 [J]．計算機測量與控制，2017，25（6）：4-8，20．

[5] 李森，潘小琴，欽盼琛，等．基于遠程控制的雙輪安防機器人系統設計[J]．自動化與儀表，2017，32（5）：30-34．

[6] Sermanet Pierre，Lecun Y．Traffic sign recognition with multiscale convolutional networks[J]．International Joint Conference on Neural Networks，2011，42（4）：2809-2813．

[7] He H，Garcia E A．Learning from imbalanced data[J]．IEEE Transactions on Knowledge and Data Engineering，2009，21（9）：1263-1284．

[8] Perez Luis，Wang Jason．The effectiveness of data augmentation in image classification using deep learning[EB/OL].2017-12-13．arXiv：1712.04621．

[9] Ioffe S，Szegedy C．Batch normalization：Accelerating deep network training by reducing internal covariate shift[C]//International Conference on Machine Learning，2015：448-456．

[10] 張俊才．嵌入式信息家電平臺中的紅外通信研究與實現[D]．昆明：昆明理工大學，2007．

[11] 郭勇，何軍．STM32單片機多串口通信仿真測試技術研究[J]．無線電工程，2015，45（8）：6-9，42．

[12] 李曉旭，周煥銀．基于STM32智能小車視覺控制導航的設計[J]．電子設計工程，2017，25（9）：105-107，112．

[13] 雷慧杰．基于STM32的直流電機PID調速系統設計[J]．現代電子技術，2016，39（8）：165-167，170．■