基于局部特征的卷積神經網絡車燈識別

王陳甜，張寧，劉禹佳

（1.長春理工大學 光電工程學院，長春 130022；2.長春工程學院 電氣與信息工程學院，長春 130012）

隨著經濟的發展，汽車總量和人均汽車保有量迅速增加，違法使用套牌車輛逃避交通管理和肇事逃逸車輛無法識清具體車型等交通問題頻發，給車輛管控工作帶來了嚴峻的形勢，復雜環境下準確識別車型是重中之重。除此之外，隨著視頻監控高清化和道路監控的普及，海量視頻數據需要挖掘圖片深層信息，有效地提取有用信息，去除冗余信息，在節省數據儲存空間的同時高效處理關鍵信息。

目前傳統的車型識別方法是手工提取特征，在對特征選取和處理方面效率不高，人工選擇特征魯棒性較差、泛化能力較弱，難以滿足人們對車輛識別的要求，在圖像識別領域已經落后。在這種背景下，發展迅速的互聯網技術與車輛模式識別方法開始逐步結合，卷積神經網絡漸漸的靈活應用在道路管理上。

文獻［1］針對于車前臉區域進行定位分析，提出了一種梯度方向直方圖的識別算法，從各個子區域分類器分類，準確率達到了93.5%。文獻［2］提出一種基于卷積神經網絡（CNN）的車標識別方法，通過多層的特征學習，直接從訓練樣本中提取特征，平均準確率達到98.28%和低于每張3 ms的收斂速度，證明了該模型對于車標優化的特異性。利用HOG特征結合支持向量機的識別方法［3］，將傳統車牌識別準確率提高10%左右，車牌識別技術已經趨于成熟化、日常化。孫盛等人［4］以方向梯度直方圖（HOG）為描述算子，表征車前燈區域的形狀特征，利用支持向量機分類器，完成車輛品牌的分類。

汪子杰等人［5］首先引入卷積思想分類器進行分類，在車輛識別精度和速度上有很大提升。隨后張潔等人［6］采用了交叉熵代價函數與損失函數結合，利用深度卷積神經網絡和支持向量機分類，針對復雜背景下的車型細粒度識別有較好的效果。基于卷積神經網絡的各層特征圖，生成加權特征地圖，可以實現細粒度的車輛分類。

蔣行國等人［7］提出一種改進的殘差結構特征提取網絡，對其結構進行加寬改進，結合使用基于可調類間距的度量學習方法（Large-Margin Softmax Loss）進行車型識別，加快整體網絡的收斂速度。

對于圖像分類任務來說，卷積神經網絡通過卷積不同特征可以達到更好的學習效果。在卷積神經網絡中最基礎的就是AlexNet網絡，并且廣泛地應用在圖像分類領域，比如遙感地圖、表情識別、紅外檢測、星圖識別、農作物疾病和醫學圖像檢測等各個方面［8-14］。

本文以車燈為研究對象，截取車輛圖片中車燈局部圖像，以各方向單側車燈圖片為數據集，以便于全面采集車燈局部特征。通過對收集到的小樣本數據集進行數據增強處理，增加該數據集數量的同時也可以減輕網絡過擬合，提升泛化能力，避免因為原始數據量過小使得參數眾多的卷積神經網絡陷入過擬合中。最后，根據原始可視化圖像對于網絡結構進行改進，在卷積層上添加3×3，1×1層，增加可視化能力強的特征中間層，對全連接層進行參數優化，得出IM-AlexNet網絡模型，完成對同一型號下車輛不同品牌的分類任務。

1 車型分類算法相關原理

卷積神經網絡通過訓練多層網絡結構提取圖像特征，最終獲得了能夠表征圖像的高級語義特征。網絡越靠近輸出層，圖像的特征表示就越抽象，高級語義特征就越豐富，就越能表現圖像的本質，在圖像分類任務中識別能力就越強。卷積神經網絡有三個重要特征，權值共享和局部連接減少了網絡參數量，下采樣可以提升模型的魯棒性。

8層神經網絡的AlexNet網絡中，包含5個卷積層（其中有3個卷積層后連接了最大池化層），3個全連接層（包含SoftMax層）。為了防止過擬合，采用了正則化方法“Dropout”；為了提高訓練和運行速度，論文中采用了雙GPU的設計模式［15］，使得網絡運行速度更快。AlexNet網絡的結構及具體參數如表1所示。

表1 AlexNet網絡的具體參數表

AlexNet網絡訓練過程分為前向傳播和反向傳播兩個階段。在前向傳播階段，輸入層首先輸入整個圖像，輸入圖片的尺寸大小為227×227×3，在傳播過程中對每層的輸入圖片進行相應的特征運算，如卷積或池化運算，將輸入的特征進行簡單運算便于分析其特征結構與參數變化。

具體公式如下：

對于有m個樣本的數據集，網絡的前向傳播階段會輸出每個類別的線性預測結果，根據此結果和網絡期望的輸出值，在反向傳播階段（也稱為誤差傳播階段），定義網絡的整體目標函數為：

其中，L(zi)是網絡對應的損失函數，通過迭代訓練最小化損失函數來降低網絡分類誤差，得出誤差最小值；zi為網絡的反向傳播的輸入，即為前向傳播公式中最后一層網絡的輸出；W代表網絡在本次迭代中所占的權值；λ代表相應的歸一向所占比重。

AlexNet網絡所用損失函數為SoftMax分類器，采用分類器輸出并最小化交叉熵的損失函數。SoftMax歸一化概率函數定義如下：

其中，zi是每一個類別線性預測的結果，式（3）的意義在于每個預測結果會和總和中最大結果進行相消，其目的是保持計算時的數值穩定性，因為網絡最后會做歸一化處理，減去最大值不會對最終結果造成影響。同時，根據σi()z來預測輸入zi屬于每一個類別的概率。在此基礎上定義損失函數為：

通過梯度下降算法對正向傳播公式中每一層參數W和bl求導，得到網絡參數的更新值，最小化損失函數以得到效果最好的網絡模型［17］。

2 針對網絡的改進算法

2.1 數據集預處理

由于車輛車燈局部圖片很少，如果直接進行訓練模型容易出現過擬合的現象，所以需要對現存較小的數據集進行簡單處理。本文對收集到的圖像采用數據增強［18-20］的方法，對數據集進行擴充增加，可以得到泛化能力更強的網絡來更好地適應實際應用場景。

數據增強的方法有平移、翻轉、旋轉角度、隨機顏色、隨機裁剪、加入噪聲等增強方法，具體效果圖如圖1所示。本文需要注意的是在進行旋轉操作時，不需要對圖片進行大角度旋轉，因為大角度翻轉不適用于車輛實際場景中，所以進行小角度旋轉即可。

圖1 四種數據增強效果圖

2.2 模型結構的改進

隨著模型的加深，模型可以更好地擬合特征，出現更好的非線性表達能力，可以學習更復雜的變化，從而擬合更加復雜的特征輸入。而隨著網絡的深度加深帶來的梯度不穩定，網絡退化的問題也更加突出，可能會出現網絡加深，性能反而下降的現象，所以網絡的深度不是越深越好。另外，網絡的寬度可以讓每一層學習到豐富的特征，比如不同方向、不同頻率的紋理特征。網絡太窄，每一層能捕獲的模式有限，即使網絡再深都不可能提取到足夠的信息往下層傳遞，并且有些函數是需要足夠寬才能夠表達出來。

對于網絡的中間層特征矩陣進行可視化，如圖2所示，從AlexNet網絡的卷積層輸出可以發現，卷積核尺寸為3×3的卷積層數對于輸入圖像有比較明顯的信息反應。

圖2 不同卷積核下可視化中間層特征圖效果

針對上述信息，本文對于AlexNet網絡作出如下改進：

改進一：增加網絡的深度，將卷積層增加至七層，增加卷積核為3×3的卷積層，使網絡深度增加，泛化能力增強，并且將原網絡中的5×5卷積層替換為兩個3×3卷積層，增加網絡深度的同時，減少了訓練的參數個數，提高網絡的性能。

改進二：第一層卷積核尺寸降低為9×9，再連接3×3的五層卷積，通過步長為2的下采樣層進行池化操作，最后再添加1×1的卷積層，實現跨通道交互和信息整合且不會改變輸入的大小。最后全連接為三層，隨機失活20%的神經元，降低全連接層的神經元為2 048和1 024，減少運算過程中的參數量，加快網絡收斂速度。

由此得出優化后的IM-AlexNet模型，增加了卷積核尺寸為3×3的卷積層，擴大了卷積效果，增加了網絡深度的同時不增加參數量，對分類任務有較好的預測效果。其結構圖如圖3所示。

圖3 IM-AlexNet網絡結構

2.3 模型參數的遷移

遷移學習常用在小數據分類任務中，其意義是在通用領域的任務上對模型參數進行預訓練，然后在具體領域的任務上對預訓練的模型進行微調，從而保證模型有較快的收斂速度，且對目標領域任務中的訓練數據量要求較小。簡單來說就是將一層層網絡中每個節點的權重從一個訓練好的網絡遷移到一個全新的網絡里。

本文采用已經在大型數據集上訓練好的AlexNet網絡，將原有層權重和參數遷移到新的改進網絡中，其效果如圖4所示。它的作用是可以利用遷移學習來提高模型的穩定性和泛化性，不至于因為一個像素的變化而改變分類結果，也能夠在小數據集上有良好的性能。

圖4 層權重遷移學習過程

3 實驗平臺參數及評價指標

本文的實驗流程如圖5所示。首先將數據增強后的數據集隨機打亂后劃分，用于輸入網絡模型中進行訓練。然后構建并且預處理原始AlexNet網絡，針對具體情況，本文將雙GPU通道下并行的網絡進行微調，將所有卷積層的卷積核數量合并，并且在全連接層中為了減少參數量，將全連接層最后一層改為5層，因為本文數據集是針對五類數據進行分類的。訓練后可以得出初始網絡的準確率，參數量和網絡模型等具體參數。同時進行網絡模型的優化，再進行上述步驟訓練模型得出優化后的數據及實驗結果。最后進行對比實驗，針對初步結果和分類評價指標對實驗結果進行具體分析。

圖5 實驗流程圖

3.1 實驗平臺及參數

本實驗采用計算機配置為基于CPU運行的Win10系統，學習框架為tensorflow2+keras，軟件編程環境為python3.7。

本實驗使用自建數據集，該數據集包括5類經網絡搜索的同一品牌大眾旗下車燈局部圖片，以8∶1∶1的比例進行隨機分配訓練集，驗證集和測試集，總計9 358張圖片，每張圖片都包含多個汽車正面一側的單個車燈圖片。經過數據增強的方法，數據集增加了大量不同角度、不同噪聲干擾、隨機剪裁等各種條件下的圖像，能夠較為真實且全面地反映出真實情況。

損失函數是用于表征真實輸出與預測值之間的損失，損失越小則預測值與真實值越接近，模型效果越好。本文選擇分類交叉熵函數（Cat‐egorical_Crossentropy）作為損失函數，不僅適用于多分類問題，而且需要在softmax作為輸出層激活函數的配合下使用。其次，其輸出誤差可以控制學習率，并且在梯度下降時，可以避免均方誤差作為損失函數帶來的學習速率逐漸降低的問題。

優化器的作用是進行梯度更新，最小化損失。本實驗中采用Adam優化器（Adaptive momen‐tum），它是一種自適應動量的隨機優化方法，常作為神經網絡中的優化器算法。它使用“動量”和“學習率自適應”兩種方法來加快收斂速率，本文學習率設定為0.000 1。Adam算法為不同的參數設計獨立的自適應性學習率，使得更新梯度不會相差太大，即梯度可以平滑、穩定的過渡，從而適應各種不穩定的目標函數，獲得更快的收斂速度，計算效率較高［21-23］。

訓練初始時需要初始化參數，輸入圖片尺寸為224×224，每次訓練迭代為100，每組大小為128，偏向于選用2的冪次方，可以更高效地利用運算性能。

3.2 分類評價指標

衡量分類型模型準確度中最基本、最直觀、計算最簡單的方法就是混淆矩陣。其概念是對分類模型的錯誤分類和正確分類的觀測值分別進行計數，然后將結果放入一個矩陣形式的表中。好的模型是可以良好地表達真實預測正值和真實預測負值并且越大越好，表現差的預測負值和預測正值則越小越好。除了混淆矩陣，還有精確率、召回率和特異度也能從側面衡量一個模型的性能，表2對各分類指標進行了簡單介紹。

表2 各分類評價指標的介紹

4 實驗結果分析

為了驗證AlexNet網絡在卷積神經網絡學習的先驗性和基礎性，本文選擇了用HOG-SVM、GoogleNet和VGG16網絡進行簡單實驗對比，從準確率和運行速度兩個方面進行分析。

由表3可知，手工特征提取的方法存在較大誤差，而在卷積神經網絡的對比實驗中，表中用運行速度與參與網絡訓練的總參數量來證明AlexNet網絡可靠性，由表3可知，保證硬件設備和運行環境一致情況下，參數量可以表示參與整個網絡訓練的權重數量，參數量越大，所需要的硬件設備要求越高，運算量越大，影響網絡訓練的收斂速度。在運行速度上AlexNet網絡和改進后AlexNet網絡遠優于其他分類網絡，并且網絡參與訓練的總參數量也遠少于其他分類網絡。因此本文選用AlexNet網絡做基礎改進的思路正確。

表3 四種模型的對比分析/（s/step）

為了驗證參數優化改進后的模型在車燈圖像識別方面是否具有良好的分類效果和準確率，首先將原有AlexNet網絡和IM-AlexNet模型進行實驗對比，從損失值（Loss）和準確率（Accuracy）方面進行分析。

由圖6的兩個圖對比可知IM-AlexNet模型相比于原始模型來說，準確率提高，損失值波動趨近于穩定，在下降后逐步穩定并且低于原始模型的穩定值，IM-AlexNet模型效果具有泛化性和準確性。在Loss曲線圖中雖然模型有較小的差異，但是在Accuracy曲線上隨著迭代次數的增加，訓練準確率和驗證準確率都在逼近1.0，并且兩者差距持續不變，無法判斷模型的表達效果，但是在運行速度上，改進模型拓寬了網絡深度，在參數量增加的同時收斂速度并沒有很大的影響，在運行速度上IM-AlexNet模型達到了3 s/step，收斂速度大大降低。

圖6 改進前后網絡的loss值和accuracy值曲線對比圖

接下來將從更為準確的混淆矩陣和其他分類指標上去分析。原始AlexNet模型和IM-AlexNet模型的混淆矩陣圖的對比分析如圖7所示，雖然整體準確率相近，但在混淆矩陣圖中可以發現，IM-AlexNet網絡模型對于五個類別的數據都有較好的識別效果。在TP和TN所表達的矩陣對角線上能夠較為集中地表達數據特性，與原始網絡的混淆矩陣相比，改進后模型在類別上的分類識別效果更好。由表4所示，在比較精度、召回率和特異性上的數值可知，IM-AlexNet網絡模型優于原始網絡，改進效果良好。

圖7 各個分類指標下的IM-AlexNet網絡訓練結果圖

表4 原始網絡與IM-AlexNet網絡在分類指標上的對比

5 結論

本文根據局部車燈圖片為研究對象，設計并實現了IM-AlexNet網絡模型結構，通過調整模型參數不斷優化，從準確率和運行速度上對比實驗，驗證了本文算法在車輛局部特征車燈上識別車型的合理性和優異度，在應用于局部特征識別車輛型號方面得到了良好的效果。在自建數據集下，改進后的模型在各類別下達到了69%的準確性，在整體上也達到了96%的準確率，沒有過多地增加參數量，收斂速度達到了3 s/step。由于數據集和電腦硬件的限制，本文并沒有對惡劣天氣下的圖片進行分析，仍有改進的空間。