改進LeNet-5網絡用于交通標志識別的方法

李 達，關志偉，2，陳 強，趙若愚

（1.天津職業技術師范大學汽車與交通學院，天津 300222；2.天津中德應用技術大學汽車與軌道交通學院，天津 300350）

近年來，我國的國民經濟水平、汽車保有量、駕駛員人數以及道路通車里程呈較快增長態勢，隨之而來的交通事故時有發生。建立智能交通系統是降低交通事故量的有效途徑，其中交通標志在交通場景中通過不同的圖案和顏色為駕駛員提供前方道路的路況信息，保障交通行駛中的安全，對降低交通事故起到了一定的輔助作用。因此，在自然場景下研究如何提高交通標志的識別精度和識別準確率對開發先進駕駛輔助系統（ADAS）具有重大意義[1]。目前，交通標志檢測主要有模板匹配法、傳統機器學習法和深度學習法等[2]。基于模板匹配的交通標志檢測法利用交通標志特有形狀進行模板的特征匹配。文獻[3]通過對交通標志進行形態學處理后，使用模板匹配算子對交通標志進行分類。針對交通標志特有的顏色形態，文獻[4]使用顏色閾值分割和形狀分析獲取圖像中的交通標志。該類算法魯棒性較差，對環境因素的變化較為敏感，對交通標志特征的要求也較為嚴苛，只能針對某類與模板匹配較好的交通標志進行有效檢測，在交通標志牌發生形變、污染等情況下，檢測準確率存在一定的偏差。基于傳統機器學習法，通過分析不同交通標志間的特征，選取相應的分類器對交通標志進行分類，文獻[5]通過提取感興趣區域的HOG特征輸入訓練好的SVM分類器，得到具體的交通標志識別結果。文獻[6]提出將加權的ELM作為AdaBoost的弱分類器，將二者相結合獲得最優的分類器，進行可靠的交通標志識別。但是，此類方法計算量大，大多無法滿足識別過程中的實時性要求。基于深度學習的交通標志檢測方法利用多層深度學習網絡，自主學習圖像中交通標志的不同特征，如文獻[7]圖像進行HSV顏色空間閾值分割后，利用方向快速旋轉的短特征方法傳入處理后的交通標志圖像識別。文獻[8]對訓練數據集進行偽樣本正則化策略結合Faster R-CNN的交通標志識別方法，有效降低模型在訓練過程中的過擬合現象。文獻[9]提出YOLO網絡，通過單個回歸的網絡框架直接預測圖像中檢測對象的類概率，該類方法計算量較大，模型較為復雜，易出現模型過擬合的現象，影響檢測精度。針對上述研究中的問題，本文以LeNet-5卷積神經網絡為基礎進行改進。

1 GTSRB數據集及算法設計流程

為了對本文提出的網絡模型進行訓練以及與改進前網絡模型進行對比，采用德國交通標志數據集（GTSRB）[10]作為基準數據庫進行測試和驗證。該數據集分別從自然場景中采集包括警告、禁止、指示、其他類等43種交通標志。數據集通過車載攝像頭采集特定場景中的一段視頻進行處理，形成不同尺寸、不同像素的30張圖片為一組，整個數據集一共包含51 839張交通標志圖片，其中訓練集39 209張、測試集12 630張。數據集中交通標志類別展示如圖1所示。

圖1 GTSRB數據集中的43種交通標志

1.1 圖像預處理

由于GTSRB交通標志數據集中采集的交通標志圖像均為自然環境下的道路交通場景，圖像質量受環境因素以及拍攝技術等影響較大。一方面，采用的數據集圖像尺寸分布不均勻，圖像中含有的干擾要素較多，圖片中除包含交通標志信息外，所采集的環境因素對于神經網絡訓練的結果會產生一定的影響；另一方面，數據集中不同種類的交通標志數量分布不平衡，在訓練過程中，部分類別交通標志圖像較少，使得模型的泛化能力較弱。為減弱環境因素的干擾，加強訓練集的均衡性，采用圖像尺寸歸一化以及數據集的增廣技術預處理圖像，強化后續訓練出的模型算法的可靠性。

1.1.1 圖像尺寸歸一化

GTSRB交通標志數據集中采集的交通標志圖片的圖像尺寸范圍為15×15～250×250像素[11]。為了統一圖像的尺寸，減少因圖像尺寸影響卷積神經網絡特征提取的結果，將數據集中所有交通標志圖像尺寸歸一化為32×32像素。

常用的圖像尺寸歸一化算法主要采用差值的方法對圖像尺寸進行處理，如最近鄰插值法、雙線性插值法、雙三次插值法等[12]。本文采取雙線性插值法，根據圖像中像素點相鄰的4個像素點的像素值，利用2次差值計算出尺寸變換處理后圖片中新的像素灰度值大小。經雙線性插值法處理后的圖像，其像素值較為連續，圖像尺寸變化后易出現的鋸齒現象不明顯。該方法不僅可以彌補最鄰近插值法在圖像尺寸變換中出現的嚴重失真問題，同時降低雙三次插值法在圖像尺寸變換中計算量大的問題。

1.1.2 數據集增廣

數據集中各類交通標志的數量分布不均勻，在卷積神經網絡訓練的過程中，易造成對某類交通標志的訓練不夠完全，無法達到應有的訓練效果。為了進一步增加數據集的多樣性，使訓練出的模型具有更強的泛化能力，針對訓練集中部分類別交通標志圖像采取隨機的以中心點為中心，±15°旋轉的操作來補充數據集的數量。該方法取現有GTSRB交通標志數據集中交通標志圖像最多的數量為基準[13]，采用第2類交通標志數量2 250張作為上限，每類數據增加后的交通標志圖像數量yi計算式為

式中：i為某類交通標志的類別；xi為某類交通標志現有的數量。

經過數據集增廣后，訓練集整體數量較之前的39 209張增加到現在的71 398張，各類別交通標志整體數量分布如圖2所示。從圖2可以看出，新的訓練集圖像數量分布平衡性得到一定的提高。

圖2 訓練集增廣后各交通標志數量的統計分布

1.2 LeNet-5網絡及其改進

1.2.1 LeNet-5網絡

傳統的卷積神經網絡模型由輸入層、卷積層、池化層、全連接層和輸出層組成，通過卷積層運算獲取圖像中多種不同參數的特征，利用池化層縮減圖像的大小，降低運算量，全連接層將獲取的參數進行分類后輸出[14]。LeNet-5網絡作為一種傳統的卷積升級網絡模型，自提出后在圖像識別領域得到了廣泛應用，該網絡模型由8層構成，通過卷積、池化以及全連接層的組合對圖像的特征進行準確提取分類后由輸出層的分類器輸出。其網絡算法流程如圖3所示。

圖3 LeNet-5卷積神經網絡算法流程

整個網絡結構由3個卷積層、2個池化層以及1個全連接層組成，由前端輸入32×32尺寸的圖像后，經過多次卷積、池化操作，輸出120個特征圖像至全連接層，全連接層將特征圖像轉換為一維向量后傳遞至輸出層的分類器，對交通標志對應類型進行分類。

1.2.2 改進的LeNet-5網絡

卷積神經網絡中，卷積層的作用主要是對輸入的交通標志圖像進行多維特征的提取，組合的多個卷積層可以實現圖像特定的局部特征提取。由于圖像中相鄰像素存在一定的相似性，卷積層提取的多個特征圖像之間信息存在一定的冗余，且數據量較大，池化層根據定義的窗口大小對輸入數據進行縮減采樣，突出卷積層輸出圖像的特征，減小網絡中的參數數量。為了進一步提取交通標志圖像的特征，取消傳統LeNet-5卷積神經網絡中的C3層，加入新的卷積層和池化層，對前面2層卷積層提取的參數進行更深層次的采樣，加深模型對形狀相似標志中細微差別的學習，對模型的精確度進行進一步提升。

卷積神經網絡均為線性組合，通過引入激活函數可以為模型增加非線性因素。LeNet-5網絡中對卷積層輸出的特征圖使用Sigmoid激活函數進行非線性處理，其函數表達式為

Sigmoid激活函數的值域范圍在（0，1），隨著x值的無限擴大，易產生梯度消失現象。該激活函數在文本識別中效果較好，在交通標志的識別上存在一定的差距。本文在網絡中引入ReLU激活函數，其函數式為

ReLU函數的值域范圍在[0，+∞），隨著x值的無限擴大，函數的值也在擴大，該激活函數可以有效避免梯度消失問題，同時計算簡單，有利于加速模型的收斂速度。

在LeNet-5網絡中，在模型的末端環節僅使用1個全連接層實現交通標志特征的分類提取，對于現有設計的交通標志而言，大多采用圓形和三角形等作為交通標志的主體形狀，主要區別僅存在于不同顏色的差別以及局部文字、圖案等微小的差別。全連接層神經元擬合的效果不一定能滿足現實中交通標志分類的需求，采用2層全連接層結構可以在一定程度上加深模型的復雜程度，使得模型的非線性表達能力得到提升，進一步增加模型的學習能力。

為了防止模型在訓練參數較多時出現過擬合的現象，在模型結構的全連接層后面加入Dropout策略，并通過設置不同的參數，驗證Dropout策略在模型訓練過程中獲得的最好效果。Dropout策略在模型每次訓練的過程中，會隨機地以一定的概率暫時放棄某些神經元的輸出，這在一定程度上減小了網絡結構的規模。這種方法可以在1個模型中使用多個網絡進行交通標志的學習和訓練，同時取多個網絡訓練，最終輸出參數的平均數作為模型的最終輸出，達到提高模型的泛化能力，降低模型在訓練過程中出現過擬合的風險，提高識別的準確度[15]。改進后的卷積神經網絡算法設計流程如圖4所示。

圖4 改進后的LeNet-5網絡算法流程

2 實驗分析

本文實驗硬件環境基于Windows平臺，處理器為Intel Core i5-7500，頻率3.40 GHz，基于TensorFlow開源庫進行算法的整體編寫、運行。GTSRB數據集中的圖片采用不同大小和像素值的30張相同圖片作為一組，取原始訓練集中每組圖片中的1張制作1 306張含有各類交通標志的驗證集，用于測試算法中各關鍵層參數和網絡改進前后算法的性能。

2.1 卷積核尺寸的確定

不同尺寸的卷積核對于圖像特征的提取能力不同，為了驗證卷積核尺寸對于模型準確度的影響，本文在卷積層均采用同一尺寸的卷積核，分別在3×3、5×5、7×7、9×9共4種尺寸下卷積核的卷積層對模型準確度的影響進行對比實驗，實驗結果如表1所示。

表1 不同卷積核尺寸實驗結果統計

由表1可知，在相同條件下，不同尺寸卷積核對于模型準確率的影響較大。其中，在采用5×5尺寸的卷積核進行實驗時，所獲得的驗證集準確率最高，故本文采用5×5尺寸的卷積核進行最終的實驗。

2.2 全連接層神經元個數的確定

全連接層的主要作用是對卷積層、池化層提取的特征進行加權，獲取輸入數據中具有類別區分性的交通標志區分信息[16]。不同神經元代表的圖像特征信息數量不同，通過在相同實驗條件下，比較第2層全連接層神經元數為200、400、600、800下的驗證集準確率來確定最終采取的神經元個數。實驗結果如表2所示。

表2 全連接層神經元數目實驗結果統計

由表2可知，在第2層全連接層神經元數為600時，模型的準確識別率達到最高。因此，本文采用600個神經元進行最終實驗。

2.3 Dropout策略有效性驗證

Dropout策略可減少網絡在訓練過程中的過擬合現象，為了驗證Dropout設置的有效性及合理參數的設置，在算法模型的全連接層后端加入Dropout策略，并設置0.1、0.3、0.5、0.7、0.9和1.0概率參數的Dropout策略進行比較實驗，確定最終模型的Dropout參數，實驗結果如表3所示。

表3 不同參數的Dropout實驗結果統計

由表3可知，在相同實驗條件下，添加合適參數的Dropout策略的卷積神經網絡模型較未添加Dropout策略的卷積神經網絡模型的模型準確識別率有一定程度的提高。對比實驗可以發現，在Dropout概率為0.5時，模型的準確識別率最高，因此本文采用概率為0.5的Dropout策略進行最終的實驗。

2.4 模型改進前后性能對比驗證

為了驗證本文提出的改進的LeNet-5網絡，將本文提出的算法與傳統LeNet-5網絡進行對比，驗證改進前后模型在驗證集中的準確率和損失值變化情況。通過實驗分析驗證，確定改進后的模型中卷積核尺寸、全連接層神經元數以及Dropout參數。最終針對交通標志識別的LeNet-5模型改進前后的各相關參數進行對比，結果如表4所示。

表4 模型改進前后相關參數對比

本文提出的算法與傳統LeNet-5網絡算法在前文增廣的GTSRB數據集進行實驗，結果顯示，模型改進前驗證集準確率為94.48%，模型改進后的準確率為99.42%。

根據2模型的輸出結果得到模型改進前后訓練變化曲線如圖5所示。從圖5可以看出，在模型改進前后，在驗證集中獲得的準確率存在一定的差別，改進后的模型較改進前準確率提高了4.94%。模型未改進前，在前幾個訓練周期中，模型的損失值較大，訓練周期中，損失函數的收斂較慢，無法在短時間內獲得較好的收斂效果；對比改進后的模型，模型的損失值較小，且在較短的訓練周期內模型的收斂效果較好。對比分析模型的準確率變化曲線可以看出，改進后的模型準確率提升較快，在較少的訓練周期中即可獲得較高的準確率，且模型在6個訓練周期后獲得的準確率均達到99%以上，超過改進前模型的最終準確率。最終經過100個周期的訓練，改進后的模型獲得的平均準確率達到99.42%。

圖5 模型改進前后訓練變化曲線

3 結語

本文以LeNet-5網絡為基礎，通過對GTSRB交通標志數據集進行有效預處理和數據增廣后，基于傳統LeNet-5網絡模型進行改進，模型中加入卷積層、池化層和全連接層來增加模型的深度，使用ReLU激活函數替換Sigmoid激活函數使模型更適用于交通標志識別，通過對比實驗確定改進后模型的相關參數。在最終的對比實驗中，本文提出的算法在驗證集中獲得的平均準確率達到99.42%，較傳統LeNet-5網絡模型提高了4.93%，網絡性能得到一定的提升。