基于AlexNet網絡的交通標志識別方法

徐兢成，王麗華

(南京信息工程大學 自動化學院，江蘇 南京 210044)

0 引言

在現有的交通標志識別研究中，已經有很多方法用來識別和檢測交通標志，因為交通標志具有與周邊環境相比更為獨特的形狀和顏色特征，主要的識別方法有基于標志形狀特征的識別方法、基于其顏色特征的識別方法以及結合二者主要特征加入神經網絡進行智能檢測的識別方法。在這些方法中，最早是由Piccioli等[1]提出的基于交通標志特定形狀進行邊緣檢測的模板匹配識別方法，Shen等[2]利用交通標志中的R層信息對圖像進行分割，大略提取出標志的候選區域進行識別的方法，后來經過相關學者的不斷努力，逐漸出現了SNCC(Simplified Normalized Cross Correlation)算法等。如今對交通標志的識別大多采用多尺度多空間相結合的方式進行識別，有基于貝葉斯和馬爾科夫隨機場的識別方法[3]、基于OSPA(Optimal Sub-patten Assignment)距離和特征點采樣的識別方法[4]以及基于卷積神經網絡的識別方法。這些識別方法致力于識別交通標志的形狀以及顏色特征，進行反復訓練提取特征點，在大多數的識別環境下都有著不錯的識別速率與正確性，但是在應對復雜環境下的標志識別時往往還不具備很好的識別效率，缺乏一定的普適性。此外，在現實環境下的標志識別中，還面臨著以下幾點問題：首先在具體的應用中捕捉交通標志的角度不同，對圖像特征的提取是一項很大的挑戰；其次，嚴酷的天氣環境也會大大影響獲取交通標志圖像的質量，進一步提高了識別難度；最后，當交通標志識別運用到車輛行駛過程中時，對圖像捕捉的速度，實時識別的精確度提出了更高的要求。

基于上述存在的問題，也為了能夠在性能和應用條件之間起到良好的平衡[5]，本文提出了一種改進的卷積神經網絡架構用于道路交通標志識別，首先在數據集的處理上采用了多種方法進行數據增強，網絡架構上用批歸一化處理代替了原有網絡的局部歸一化處理，提高了網絡的收斂速度，并且在最終輸入全連接層之前加入了全局平均池化(Global Average Pooling，GAP)層。經過實際測試，該方法相對于傳統的識別手段計算量更小，魯棒性更好，使用泛化性更強，具備良好的應用前景。

1 卷積神經網絡介紹

1.1 卷積神經網絡

卷積神經網絡(Convolutional Neural Network，CNN)的概念取自于20世紀60年代Hubel等人在研究貓視覺皮層細胞時所提出的感受野概念(Receptive Field),然后在80年代Fukushima基于感受野概念的基礎提出了神經認知器(Neocognitron)概念，這便是最初CNN實現的原型。在此之后大量的卷積神經模型相繼涌現，例如LeNet AlexNet VGG NiN GooLeNet等。

傳統的CNN包括輸入層、卷積層、激勵層、池化層和全連接層5個部分。輸入層是對輸入的圖像進行預處理，常見的預處理方法有去均值和歸一化。卷積層是對該層網絡進行卷積處理，由多個特征面(Feature Map)組成，每個特征面又由多個神經元所組成，神經元通過卷積核與上一層特征面的局部相連接，卷積層通過卷積操作自主提取上層特征，因此CNN相對于傳統的全神經網絡而言，既是一個特征提取器又是一個分類器[6]。激勵層的作用是對卷積層的輸出做一次非線性映射，若沒有激勵層的作用，每一層輸出都將與上一層輸入呈現線性關系，不再具備隱層的效果[7]。激勵層的激勵函數有很多，例如Sigmoid、Tanh、以及ReLU函數，近些年研究中應用最多的是ReLU函數，它所具備的單邊抑制性、稀疏激活性都能大大加快網絡的迭代速率，降低網絡復雜度與參數量，有利于網絡進行訓練。池化層的作用是對上層輸出進行池化(Pooling)操作，旨在通過降低特征面的分辨率獲取具有空間不變性的特征[8]，作用是降低特征維度，減少參數數量，從而防止過擬合。常用的池化方法包括最大池化(Max Pooling)和平均池化(Average Pooling)法，本文將采用最大池化的方法。在池化層后是全連接層，全連接層用來整合卷積層或者池化層中具有區別性的局部信息，然后傳輸給輸出層利用損失函數進行分析，從而完成分類任務。

相比于其他的神經網絡結構，CNN具有局部連接、權值共享和池化的特點[9]，其中局部連接使神經元只與前一輸出層的局部區域相連接，權值共享的存在使所有的局部連接都使用相同的參數，最后通過池化的作用減少圖片的規模，減少神經元數目，從而使網絡結構的參數大大減少，計算復雜度降低，過擬合程度減少，從而使網絡模型能夠處理完成更加復雜的分類任務，大大提高了模型的泛化能力。

1.2 AlexNet卷積神經網絡

AlexNet網絡模型由Hinton以及他的學生Alex Krizhevsky所設計，并在2012年的ImageNet競賽中獲得冠軍，其物體分類錯誤率僅有16.4%，相比于傳統的機器學習分類算法而言極其出色。該模型由11層組成，分別為5個卷積層、3個池化層以及3個全連接層，其中圖像特征信息的提取工作主要由卷積層和池化層完成，而全連接層的作用則是整合局部特征信息，將特征信息扁平化處理，傳遞給Softmax層繼續完成分類任務[10]。

相比于傳統的CNN，AlexNet網絡采用了許多有效的改動，例如采用了ReLU函數進行激活，起到稀疏網絡減少參數的作用。ReLU函數的表達式如下：

ReLU(x)=max(0,x)。

(1)

其次，重疊池化(Overlapping Pooling)、局部歸一化處理(Local Response Normalization)、在全連接層采用Dropout處理等等，這些操作大大減少了網絡復雜度以及參數數量，提高了網絡的訓練速度，減少了過擬合[11]。這也是本文選用該網絡的主要原因之一。

2 本文方法

2.1 數據增強

數據增強又稱為數據擴增，具體表現為在不增加數據集的情況下使現有數據產生更多的使用價值。本文使用的數據集來源于互聯網，為了使其具備更強的魯棒性和泛化性能，減少過擬合，擬對所采用的數據集采用以下幾類簡易方法擴充數據集。

2.1.1 圖像旋轉

在線性代數中，如想對某一向量改變方向但不改變原有大小，可以對其乘以旋轉矩陣(Rotation Matrix)，其公式具體如下：

(2)

對現有的數據集分別乘以旋轉矩陣，其角度分別為90°，180°，270°。理論上這樣可以將現有的數據集擴大三倍，大大提高了有限數據集的利用價值，進一步提高了該網絡的學習能力。圖1是對圖像做一次旋轉變換。

圖1 圖像旋轉變換Fig.1 Image rotation transformation

2.1.2 圖像翻轉

通過對圖像進行簡單的豎直或者水平翻轉也可以有效地擴充現有的數據集，圖2為圖像水平翻轉示意。

圖2 圖像水平翻轉Fig.2 Image horizontal flip

2.1.3 Mixup—多樣本數據增強方法

該方法是一種基于鄰域風險最小化原則的數據增強方法，它使用線性插值得到新樣本數據[12]。表示為：

(xn,yn)=λ(xi,yi)+(1-λ)(xj,yj)，

(3)

式中，λ的取值為0～1。通過該混類數據增強方式，本實驗模型的魯棒性和泛化性得到了很大的提高。

2.1.4 顏色擾動

本文還隨機對部分的圖片進行了亮度和對比度的修改，以期能對不同光照條件下的圖片處理能力有所提高。

2.2 數據集

本實驗采用的數據集是 GTSRB-2020，來源于德國交通標志數據庫，共包含43個類別的標志，總計40 000張樣本。本實驗使用其中所有類型，每種類型300～2 000張樣本不等，樣本數據類型為JPG。圖片采集于各類自然環境下交通路口圖景，不僅僅有該類標識清晰的樣本，還有大量的低分辨率、光照強度或大或小環境下的模糊樣本，此外各樣本還或大或小、左右顛倒，具備了實際路況時可能發生的各種條件[13]。除此之外，為避免數據樣本過少可能造成的網絡模型過擬合等現象發生，通過上述各類數據增強方式，對現有樣本數量進行擴大。樣本用于訓練集和測試集的分配比例為7∶3，另外本數據集有單獨的驗證集無需再進行分配。圖3是本文所用到的部分數據集。

圖3 數據集Fig.3 Dataset

2.3 批量歸一化處理

在網絡模型的訓練過程中，由于每一層輸入圖像的特征參數一直在向前傳播，進行更新，導致隱層數據的分布也會一直發生變化[14]，大大降低了網絡的訓練速度。針對該現象，本文采用批歸一化算法(Batch Normalization)對其進行優化處理，其優點是縮短訓練時間、加快網絡收斂、提高網絡的泛化能力。該算法的原理是在每層輸入時加入批歸一化層，使其每一層均值為0，標準差為1，保證了數據的穩定性。主要公式如下：

(4)

(5)

(6)

(7)

式中，m為mini-batch size；ε為一個非常微小的正數；γ，β為2個可學習重構參數。首先對批樣本數據進行均值μ求解，其次計算數據方差，使用求得的均值與方差對批次數據進行歸一化處理，最后加入學習參數，使得輸出的歸一值服從標準的高斯分布。BN算法的加入使得網絡的訓練速度相較于以前提升了10倍左右，相較于LRN算法，是一種更為有效的歸一化處理[15]。

2.4 全局平均池化層

CNN在通常的分類過程中，是對卷積層最后一層的輸出特征圖進行量化，量化后的結果會進入全連接層，但是全連接層結構復雜，參數較多，極易產生過擬合[16]，使模型的泛化能力大大降低，于是本文采用在全連接層輸入之前加入GAP層[17]，對輸入特征圖進行全局池化，每個特征圖都可以得到一個輸出，大大地減少了網絡參數，避免了過擬合的發生。此外，它還使得網絡空間結構更具穩定性。

2.5 本文網絡結構

基于上述方法，本文網絡結構用BN處理取代AlexNet網絡中原有的LRN處理，在原有的全連接層之前加入GAP層并取代它。網絡包含9層，輸入圖像的分辨率為227 pixel×227 pixel×3 pixel。第一卷積層使用步幅為4，尺寸為11×11的卷積核;第二卷積層使用步幅為1，尺寸為5×5的卷積核;之后第三、四、五卷積層均采用步幅為1，尺寸為3×3的卷積核。需要特別標注的是，對所有的卷積層使用ReLU線性激活函數，并且將原有的LRN處理全部修改為BN批歸一化處理。在第一、二、五卷積層之后使用尺寸為3×3，步幅為2的池化層進行最大重疊池化處理。全局平均池化層的內核設置為3×3，最終輸出的神經元數量為43，之后將所提取的特征向量輸入到Softmax中用于交通標志識別分類，最終輸出預測值。表1是本文網絡參數設定，圖4是本文網絡模型結構總體框架。

表1 本文網絡網絡參數設定

圖4 網絡框架Fig.4 Network framework

表1中Type為各層類型，Conv表示卷積層,Max Pooling表示最大池化層，LRN表示局部歸一化操作。第二列參數K表示各層卷積核尺寸，s表示卷積或者池化層的步幅，第三列F表示輸出特征圖的維度，M表示輸出特征圖的數量。

3 實驗與分析

3.1 實驗環境設置

本實驗硬件環境如下：使用一塊GeForce RTX 2060顯卡，CPU型號為i7-9700 k，內存16 GB，平臺為Tensorflow2.4，操作系統為Windows10。在訓練和測試過程中，本網絡模型采用交叉熵作為損失函數，用Adam算法迭代訓練和測試網絡參數，初始學習率設置為0.001。Batchsize設置為64，訓練迭代50次。

3.2 本文優化網絡實驗結果及分析

基于2.2中的數據集，對其進行數據增強后，分別在經典網絡模型AlexNet上和作者所優化卷積網絡模型上運行，epoch均為50次，最終得到數據結果，表2為2種模型的性能比較，2個模型的在驗證集上的表現性能也繪制出了準確度曲線，如圖5和圖6所示。

表2 2種模型的表現性能

圖5 Alex網絡準確率曲線Fig.5 Alex network accuracy curve

圖6 本文網絡準確率曲線Fig.6 Proposed network accuracy curve

改進模型相較于原始網絡不僅是準確度得到了提高，收斂速度也得到了大大提高，二者單次迭代的處理速度比較如表3所示。

表3 2種網絡單次迭代速度比較

可以看出，本文優化過后的網絡相比于之前的網絡準確性與魯棒性都有了很大的提高，傳統網絡即使迭代多次會仍會出現準確率忽大忽小的問題，而這些在本文網絡中都得到了很好的解決。除此之外觀察圖5和圖6，還可以發現網絡不僅僅是準確率得到了提高，收斂速度也明顯加快。這不僅僅得益于合理的Dropout系數設置，也得益于本文批歸一化處理和全局平均池化層的處理，這2種處理大大加快了網絡的處理速度，減少了網絡參數數量。

在實驗過程中還發現，進行有效的數據預處理也能起到優化的作用，本文在采用GTSRB數據集時，通過Python將數據集格式轉為JPG類型之后，在輸入網絡之前全都裁剪成了224×224像素大小的尺寸，與不進行數據預處理相比，網絡效果有一定的改善。此外本文所提及的數據增強的方法，在實際網絡模型訓練過程中為解決樣本可能過少而引起的過擬合問題，也有一定的幫助。

4 結束語

本文提出了一種基于AlexNet網絡優化的CNN模型的交通標志識別方法，與原有的網絡相比，創造性地引入了全局平均池化層，大大減少了網絡的處理深度。本文使用GTSRB數據集進行實驗，實驗結果表明，本文提出的改進AlexNet網絡大大地提高了對交通標志的識別精度，并且網絡的參數量以及過擬合程度減少了很多，進一步促進了網絡模型的訓練。下一步工作要把網絡模型結構作進一步改進，加寬加深，使網絡的識別速度與精度得到進一步提高。從而在現實交通環境下實現對多種復雜的交通標志進行識別處理，真正意義上實現交通網絡的智能化。