基于改進卷積神經網絡的交通標志識別方法①

趙銀玲, 周武能

(東華大學 信息科學與技術學院, 上海 201620)

近年來, 隨著居民汽車保有量的迅速增加, 自動駕駛技術和輔助駕駛技術受到廣泛關注[1]. 其中, 交通標志的自動檢測和識別是其重要的組成部分, 正確并高效地檢測和識別實景道路中的交通標志是實現自動駕駛的前提基礎[2]. 同時, 隨著汽車數量的急劇增長, 在道路行駛過程中發生交通事故的幾率也明顯增加, 交通標志的自動檢測和識別能夠在輔助駕駛系統中為駕駛人起到良好和及時的提醒作用, 為駕駛人的人身安全和交通安全提供保障. 因此, 如何準確高效地識別實景交通標志是目前研究的熱點之一[3,4].

目前, 交通標志的檢測與識別有多種方法, 人工設計特征的提取方法較為普遍, 主要有隨機森林(HOG)算法[5]和線性判別式分析(LDA)[6]等方法, 但這些方法在提取特征的選擇上需要較多的設計, 且所設計特征的優劣將直接影響其識別結果. 基于多特征的Multi-Scal CNN算法[7]可以自動提取特征, 避免了特征661041選擇的困難, 但其主要的不足在于算法復雜度較高, 檢測和識別的時間較長, 不能滿足檢測實時性的要求.

卷積神經網絡是一個新的研究方法, 近年來在機器學習領域快速發展, 目前已在學術界被廣泛關注[8,9],并且已經應用于圖像識別問題[10,11]. 卷積神經網絡具有很好的特征學習能力[12,13], 其所具有的優良特性使其備受關注.

本文將在已有研究的基礎上, 深入研究卷積神經網絡算法的內容和實現方法, 并對其結構進行改進, 將其應用于交通標志的自動檢測和識別中, 為研究和開發實用有效的交通標志自動檢測系統奠定良好的基礎.

1 卷積神經網絡

卷積神經網絡的思想來源于1962年生物學家Hubel和Wiesel對貓腦視覺皮層的研究[14], 他們發現在視覺皮層中的一系列細胞對視覺輸入的局部區域非常敏感, 因此稱之為“感受野”. 感受野所具有的局部作用能夠更好地挖掘出自然圖像中強烈的局部相關性.

卷積神經網絡的結構包括輸入層、卷積層、池化層、全連接層和輸出層幾個部分, 一般來說, 卷積層和池化層會交替出現, 一個卷積層和一個池化層統稱為一個固定卷積層.

卷積層具有稀疏交互性, 即各個神經元之間不一定具有直接聯系, 但必定具有間接聯系. 這也是卷積操作局部性的體現, 一個神經元只與前一層輸入神經元中的局部直接相關, 但是統觀網絡的整體結構, 各個神經元間具有間接聯系.

池化層也稱采樣層, 對上一個卷積層所提取的特征進行采樣. 池化層的存在可以增強卷積神經網絡的抗擾性.

卷積神經網絡的訓練可以直接采用有監督學習訓練方式, 比如可以通過BP算法進行有監督訓練, 經過信息的正向傳播和誤差的反向傳播兩個步驟.

卷積神經網絡可以自動提取特征, 避免了人工特征設計和選擇的困難. 目前, 卷積神經網絡已經運用到圖像分類、人臉識別和音頻檢索等領域.

2 改進的卷積神經網絡

本文采用卷積神經網絡作為交通標志自動檢測的主要方法, 并在其基礎上進行改進. 理論上, 檢測系統的復雜度在很大程度上取決于卷積神經網絡結構的復雜性[15], 卷積神經網絡的層數越深、卷積核數目越多,卷積神經網絡的結構就越復雜, 進而識別系統的檢測識別率也越高. 但是與此同時, 復雜的網絡結構也會使得系統運行的網絡訓練和識別時間增加, 這將會降低識別系統的時間效率.

在交通標志識別的實景應用中對于識別的準確性和實時性都有著較高的要求, 這就使得網絡結構的設計需要在兩者之間取得平衡, 從而盡可能將準確性和實時性兩個條件都滿足. 據此, 本文對傳統的卷積神經網絡進行改進, 力爭在滿足一定準確性的同時提高系統的實時性.

在卷積神經網絡的訓練和運行中, 卷積操作這一環節占據總用時的很大比例[16], 而池化等其它操作則用時較少. 這樣, 相應地減少卷積核的數量就可以使總用時大為縮減. 同時, 增加池化類型, 即增加采樣數量則可以彌補卷積核減少所帶來的準確性影響. 本文采取平均池化方法和最大值池化方法這兩種方法進行采樣.

本文采用的改進的卷積神經網絡結構如表1所示,整個網絡共分為12層, 具體結構如下.

表1 改進卷積神經網絡結構參數

(1) 輸入層為32×32的彩色圖片數據;

(2) 網絡共有3個卷積層, 其卷積核數目為3, 卷積核大小均為5×5, 相較于傳統卷積神經網絡中幾十或上百個卷積核來說, 本文的卷積核數目大為減少, 從而縮短其運行時間. 卷積層中, 步長stride為1, 同時周圍進行大小為2的零填充, 因此卷積層的結果與輸入層圖像大小相同, 保持不變;

(3) 網絡共有3個池化層, 每個池化層中含有兩種池化方式：平均池化和最大值池化, 即對卷積層中輸出的每一個特征圖都進行兩次不同的采樣, 池化窗口大小均為3×3. 池化層中, 步長stride為1, 同時周圍進行大小為1的零填充, 因此每種池化方式取得的結果與卷積層的結果大小相同. 因為每一池化層包含兩種池化方式, 所以池化層總體輸出維數增加;

(4) 在每一池化層后, 都設有一層歸一化層, 使數據進行歸一化操作;

(5) 網絡設有2個全連接層和1個Softmax輸出層. 同時, 特征圖在卷積核池化過程中都保持32×32大小不變;

(6) 在全連接層采用Dropout操作, 使網絡中的神經元隨機失活, 其Dropout概率設為0.5.

3 樣本數據

本文所采用的樣本數據為真實場景下拍攝的道路交通標志圖像數據集GTSRB. GTSRB數據集是以.ppm格式存儲的圖像數據集, 其中包含實景中的42種不同的交通標志, 每種交通標志都含有大量的圖像數據以供訓練和測試.

GTSRB數據集中的交通標志可以分為指示標志類、限速標志類、警告標志類、其他禁令類、解除禁令類和其它6大類交通標志, 其詳細分類如下:

(1) 指示標志類. 起指示作用, 指示車輛、行人行進的標志. 顏色為藍底、白圖案；形狀分為圓形、長方形和正方形;

(2) 限速標志類. 起限制速度的作用, 限制機動車在限速路段內的瞬時最高速度. 顏色為白底、紅邊、黑色數字圖案, 形狀為圓形;

(3) 警告標志類. 起警告作用, 警告車輛、行人注意危險地點的標志. 顏色為黃底、黑邊、黑圖案, 形狀為頂角朝上的等邊三角形;

(4) 其他禁令類. 起到禁止某種行為的作用, 禁止或限制車輛、行人交通行為的標志. 除個別標志外, 顏色為白底, 紅圈, 紅杠, 黑圖案, 圖案壓杠；形狀為圓形、八角形、頂角朝下的等邊三角形;

(5) 解除禁令類. 起到解除某種禁令的作用, 對之前限制或禁止車輛行為的禁令進行解除的標志. 顏色為白底、黑邊、黑色圖案, 并有從右上至左下的五條細線, 形狀為圓形;

(6) 其它. 除以上5中交通標志外的其它交通標志.

同時, GTSRB數據集中的圖片是在真實場景中的交通標志圖片, 包含陰雨、大霧和夜間等天氣因素的影響, 能夠較好地反映真實的道路交通狀況, 使訓練和測試的結果更為真實和全面.

本文所采用的數據集為GTSRB圖像數據集, 包括42種不同的交通標志圖像共51 839張, 其中訓練數據為39 210張, 測試數據為12 631張. 其中, 每張圖片均為RGB三通道的彩色圖像. 另外, 因為多張圖像可能是通過對一張原始的拍攝圖片進行不同程度的裁剪所得, 所以圖像數據的像素大小不盡相同, 交通標志圖像的分辨率從 15×15 到250×250. 圖1為實景狀態下交通標志圖片的示例, 圖2為不同種類的交通標志示例.

圖1 實景狀態下交通標志圖片的示例

圖2 不同種類的交通標志示例

4 仿真實驗

要實現實景交通標志的自動檢測和識別, 本文采用上述改進的卷積神經網絡進行實驗, 通過BP算法進行有監督學習, 其網絡訓練和測試的步驟如下:

Step1. 對數據集中的圖像進行預處理, 將每張圖像的大小調整為32×32像素, 以便對其進行卷積神經網絡的訓練和測試;

Step2. 網絡模型參數隨機初始化;

Step3. 信息進行前向傳播, 逐層計算, 得到輸出結果;

Step4. 將輸出結果與標簽值進行比較, 計算誤差值;

Step5. 根據誤差進行反向傳播, 同時更新網絡參數;

Step6. 重復Step3～5, 直至誤差值小于設定的最大誤差值或迭代次數超過設定的最大迭代次數;

Step7. 改進的卷積神經網絡訓練好后, 將測試數據投入到網絡中, 計算輸出結果, 記錄其測試結果并進行分析.

5 實驗結果與分析

5.1 GTSRB交通標志分類

本文對GTSRB圖像數據集進行訓練, 得到了較為良好的實驗結果. 圖3為模型訓練過程中的Loss值的變化, 圖4為模型準確率的曲線圖. 由圖3和圖4可以看到, 隨著訓練迭代次數的增加, Loss值逐漸變小, 準確率逐漸增加, 最終穩定在98.38%.

圖3 訓練誤差變化曲線

圖4 識別準確率變化曲線

表2為本文模型與其它模型的實驗結果對比, 由表2可以看出以下事實:

(1) 在識別限速類標志上, 本文算法的識別準確率高于隨機森林(HOG)算法、LDA算法和PCA+ELM算法[17];

(2) 在識別警告類標志上, 本文算法的識別準確率高于Multi-Scal CNN算法、隨機森林(HOG)算法、LDA算法和PCA+ELM算法;

(3) 在識別指示類標志上, 本文算法的識別準確率高于Multi-Scal CNN算法和LDA算法;

(4) 在識別其它禁令類標志上, 本文算法的識別準確率高于LDA算法;

(5) 在識別解除禁令類標志上, 本文算法的識別準確率高于隨機森林(HOG)算法和LDA算法;

(6) 在識別其它類標志上, 本文算法的識別準確率高于Multi-Scal CNN算法和LDA算法.

總體來看, 本文方法在GTSRB數據集上的識別準確率低于Multi-Scal CNN方法, 但卻高于隨機森林(HOG)算法、LDA算法和PCA+ELM算法, 其綜合識別率較高.

5.2 時間復雜度

本文方法的實驗環境為Intel(R) Core(TM)2 i5-3210M, CPU主頻2.3 GHz, 內存2 GB, 操作系統為Windows 7, 軟件環境為Anaconda3(64-bit), 仿真程序使用Python語言.

本文算法是對傳統的卷積神經網絡進行改進, 從GTSRB交通標志數據集中隨機選取出2000個樣本,采用與上述相同的方法對樣本圖像進行檢測和識別.將本文的模型算法與Multi-Scal CNN算法進行對比,表3為本文模型與Multi-Scal CNN算法的結果對比.

由表3中可以看出, 本文算法針對單幅圖像所用的平均時間為37.28 ms, 其用時遠少于Multi-Scal CNN算法的用時, 可滿足真實環境下交通標志檢測的實時性要求. 因此本文算法可以在保證較高的識別準確率的情況下用時更少.

6 總結與展望

本文對真實場景中的交通標志識別進行研究, 將卷積神經網絡進行改進, 并將其運用到實景交通標志的識別中, 在仿真實驗中得到了較為良好的實驗結果.該算法的特點是可以大為縮短網絡的運行時間, 使其在實際應用中有更大的價值.

表2 本文模型與其他模型的識別準確率對比(%)

表3 本文模型與卷積神經網絡的結果對比

本文利用圖像數據集GTSRB中的實景交通標志圖像進行了仿真實驗, 得到總體識別準確率為98.38%.在交通標志的識別準確率上, 本文算法達到了較好水平, 同時, 在運行用時方面也有顯著地降低, 這就使得其具有較好的可應用性.

進一步的工作主要是提高各類別的識別準確率,使其能夠更加準確、高效地進行交通標志的識別.