用于車輛識別的深度學習模型的優化

劉澤康，孫華志，姜麗芬，馬春梅

（天津師范大學計算機與信息工程學院，天津300387）

隨著日常生活中汽車數量的增多，單純依靠人工識別已經無法滿足需求，所以需要利用計算機識別代替人工.傳統的車輛識別方法一般可以分為3類：幀間差分法[1]、背景差分法[2]以及光流法[3].傳統方法雖然針對不同問題提出了有效的解決辦法，但是由于模型結構簡單、訓練不充分等問題，依然存在實時檢測性差或過于依賴外部環境等缺陷[4-6].近些年用于車輛識別的深度學習理論迅速發展.文獻[7]結合手工特征和深度玻爾茲曼機方法，將方向梯度直方圖等3種手工設計的特征作為輸入，并通過學習融合各特征的優點，以提高識別精度.文獻[8]在深度置信網絡結構的基礎上，交替使用有監督和無監督過程訓練，有效解決了梯度消失問題.文獻[9]將提取的25種基線特征和局部紋理特征融合，進行棧式自編碼器訓練，簡化了網絡結構，提高了識別精度.卷積神經網絡（CNN）作為深度學習理論的一個重要分支，在車輛識別方面有著突出的貢獻.文獻[10]在CNN的基礎上使用Adaboost算法訓練多個不同的弱分類器，再將弱分類器聯合起來進行車輛識別.文獻[11]通過對遮擋物進行處理，再利用卷積神經網絡，提高了有物體遮擋的汽車的識別精度.文獻[12]將基于卷積神經網絡的車輛檢測用于正面碰撞預警.文獻[13]通過反復堆疊3×3的小型卷積核和2×2的最大池化層構建了16層的卷積神經網絡（VGG16）.文獻[14]通過使用1×1、3×3、5× 5的卷積核尺寸對輸入數據進行卷積，再將3個卷積的輸出結果組合起來構成模型（GoogLeNet）.雖然以上方法有較高的識別精度，但其對于深度學習網絡的改造大多是通過加深模型層數的方法實現的，而網絡層數和網絡參數的增加，會導致模型計算開銷大、響應時間慢，并且對硬件要求較高，所以這些方法不易于運用到現實中的車輛識別中.本文通過參數優化的方法，使模型以較小的網絡層數在短時間內達到理想的精度.另外，本文選取真實拍攝場景中車輛的大小進行建模，針對真實拍攝場景車輛尺寸較小的問題，采用復制邊界的方法降低卷積過程中的信息損失，在特定的分辨率下對比分析了不同大小的卷積核對車輛識別精度的影響.利用公開數據集ImageNet和PKUVD進行實驗，結果表明，用于車輛識別的最佳卷積核尺寸分別為5×5、4×4、3×3，優化后的模型識別精度可達99.74%，優于CNN+Adaboost的97.02%和GoogLeNet-lite的99.35%.

1 網絡結構設計

1.1 基于原邊界保留的卷積神經網絡模型構建

卷積神經網絡模型包括各網絡層的構建以及各網絡層參數的訓練.本文卷積神經網絡由5部分構成，分別為輸入層、卷積層、池化層、全連接層和Softmax分類器.輸入層輸入像素大小為m×n的圖像.卷積層的計算公式為

其中：al為第l卷積層的輸出；f（·）為卷積層的激活函數，wl為卷積核，*代表卷積操作，bl為卷積層的偏置參數.在傳統卷積神經網絡中，圖像通過卷積層后尺寸會減小.為盡量保留圖像中的像素點，卷積層采用保留原邊界像素的方法，即在圖像邊界補零，使得圖像卷積后輸出的圖像尺寸與原圖像尺寸保持一致.池化層選用最大池化，最大池化的公式為

其中：xl為池化層的輸出；g（·）為次抽樣層的激活函數， down（·）為次抽樣函數， βl為池化層權重， bl為池化層的偏置函數.池化層選擇下采樣框中像素值最大的像素點進行下采樣，提取主要特征，進而簡化網絡復雜度.全連接層連接所有特征圖共同做出決策，得到特征向量.全連接層得到的特征向量放入Softmax分類器中進行二分類.圖1為大小64×64的圖像通過3×3的卷積核進行卷積的過程.

圖1 卷積神經網絡搭建過程Fig.1 Construction process of CNN

卷積神經網絡通過訓練自動更新權重和偏置值，網絡參數訓練分為2個階段：正向傳播階段輸入圖像，經過各層過濾，最后由分類器輸出分類結果；反向訓練階段由分類器輸出結果計算出誤差值，反向傳播訓練各層參數.

1.2 圖像預處理

由于卷積神經網絡要求輸入層輸入圖像的大小要保持一致，而通過攝像頭等方式采集到的樣本大小不一致.所以利用多相位圖像插值（Lanczos）算法進行圖像預處理，通過縮放尺寸計算新的像素點，在將圖像縮放到目標大小的基礎上，盡量保留原圖像的特征.

設f（i，j）為縮放前像素點，g（u，v）為縮放后像素點，首先計算縮放前后像素點移動距離（x，y）.其中：x=（u × Win）/Wout， y=（v × Hin）/Hout； Win和 Wout分別為縮放前后的圖像寬度，Hin和Hout分別為縮放前后的圖像高度.則輸出點 g（u，v）可由下式得出

其中：Hout（i，j）為原像素點進行縱向移動后的像素點，LanczosN（x）為濾波函數.圖2為大小4×4范圍內進行的Lanczos算法縮放示意圖.

圖2 預處理示意圖Fig.2 Preprocessing diagram

圖2中，水平相位值PH0=1+x，PH1=x，PH2=1-x，PH3=2-x，垂直相位值 PV0=1+y，PV1=y，PV2=1-y，PV3=2-y.根據上述關系式可得到8個相位值，從而實現多相位濾波.原圖像與經過縮放后的圖像示例見圖3，圖3（a）為像素值 300 × 240的原圖像， 圖3（b）為縮放后像素值64×64的圖像.

圖3 圖像縮放對比Fig.3 Comparison of image zoom

2 樣本庫建立

卷積神經網絡屬于深度神經網絡，需要大量的訓練集進行訓練，本文使用斯坦福大學的ImageNet數據庫和北京大學的PKU-VD[15]數據庫，從中選取了8 588張車輛圖像以及11 375張背景圖像作為樣本庫.其中訓練集樣本占總數的80%，測試集樣本占20%.

2.1 樣本標記

將樣本中的非車輛圖像和車輛圖像分別用“0”和“1”標記.為防止過擬合導致檢測框將含有車輛一部分的背景圖像認定為汽車，本文將設置只包含車輛一部分的圖像為非車輛圖像.訓練集和測試集中樣本具體標記見表1.

表1 樣本標簽統計Tab.1 Sample label statistics

2.2 樣本裁剪

由于收集到的樣本圖像像素大小不同，因此需要將樣本裁剪成大小一致的圖像.按照1.2節的Lanczos算法將所有樣本圖像統一裁剪為像素64×64的圖像作為輸入，裁剪后的部分圖像如圖4所示.

圖4 部分裁剪后圖像Fig.4 Partial cropped images

3 實驗結果分析

3.1 默認參數設置

本文選取5層卷積神經網絡.第1層為輸入層，輸入大小為64×64的裁剪后圖像.中間3層為卷積層，卷積層的卷積核大小按默認設置，然后依次從第1個卷積層逐層改變卷積核大小，分別采用2×2、3×3、4×4、5×5大小的卷積核進行實驗，3個卷積層分別使用32、64、128個卷積核提取特征.全連接層設置500個卷積核進行全連接.之后將輸出的向量放入Softmax分類器進行分類.另外，本文選擇對數損失函數用作多分類，此函數為與Softmax分類器相對應的損失函數，主要使用極大似然估計的方式.學習速率設置為0.001，并且使用隨機梯度下降的算法作為優化器.

3.2 實驗結果對比

輸入層輸入經過預處理后的64×64 RGB圖像，進行卷積神經網絡訓練.首先固定第2層和第3層卷積網絡卷積核大小為默認的3×3，第1層卷積網絡分別使用 2×2、3×3、4×4、5×5大小的卷積核進行實驗，結果見圖5.

圖5 第1層卷積網絡實驗結果Fig.5 Experiment results of the first convolutional layer

由圖5可以看出，卷積核大小為2×2、3×3的神經網絡收斂速度較慢，卷積核大小為4×4的神經網絡收斂速度在前期略高于卷積核大小為5×5的.由于圖5給出的是全部100次訓練的測試結果，隨著訓練次數的增加，不同卷積核網絡的識別精度曲線幾乎重合，為了更準確地觀察識別精度，截取訓練次數為90至100的精度識別曲線，見圖6.

由圖6可見，當訓練次數較大時，使用5×5大小卷積核的神經網絡的整體識別精度高于其他3種尺寸卷積核的網絡.因此，第1層卷積網絡最佳的卷積核尺寸為5×5.

圖6 第1層卷積網絡實驗部分結果Fig.6 Partial experiment results of the first convolutional layer

下面固定第1層卷積網絡卷積核大小為5×5，固定第3層卷積核大小為默認的3×3，第2層卷積網絡分別使用 2×2、3×3、4×4、5×5大小的卷積核進行實驗，結果見圖7.

圖7 第2層卷積網絡實驗結果Fig.7 Experiment results of the second convolutional layer

由圖7可以看出，卷積核大小為5×5的神經網絡收斂速度快于其他3種尺寸卷積核的網絡.這是由于在訓練次數較少的情況下，尺寸較大的卷積核對于圖像像素點的計算更充分，可以使得淺層特征得到充分提取，所以在圖像像素損失不大的情況下可以更快達到較高的精度.但是，隨著訓練次數的增加，各尺寸卷積核網絡的識別精度趨近相同.同樣截取訓練次數為90至100的精度識別曲線，見圖8.

圖8 第2層卷積網絡實驗部分結果Fig.8 Partial experiment results of the second convolutional layer

由圖8可見，訓練次數較大時，卷積核大小為4×4的網絡的識別精度整體高于其他3種卷積核的網絡.這是由于經過長時間的訓練，隨著網絡層數的加深，特征圖尺寸變小，較大尺寸的卷積核會造成特征信息的丟失，而較小尺寸的卷積核又不足以充分提取特征信息.綜合考慮收斂速度和識別精度，第2層卷積網絡最佳的卷積核尺寸為4×4.

固定第1層卷積網絡卷積核大小為5×5，第2層卷積網絡卷積核大小為4×4，第3層卷積網絡分別使用2×2、3×3、4×4、5×5大小的卷積核進行實驗，結果見圖9.

圖9 第3層卷積網絡實驗結果Fig.9 Experiment results of the third convolutional layer

由圖9可見，各尺寸卷積核的網絡收斂速度大致相同，甚至使用較小卷積核（2×2）的網絡收斂速度要稍快于其他較大卷積核的網絡.這是由于深層特征圖尺寸較小，較大的卷積核不能充分提取車輛的細節特征，導致其收斂速度變慢.截取訓練次數為90至100的精度識別曲線，見圖10.

圖10 第3層卷積網絡實驗部分結果Fig.10 Partial experiment results of the third convolutional layer

由圖10結果可以看出，訓練次數較大時，卷積核大小為3×3的網絡效果最好.這是由于深層特征圖尺寸較小，較大的卷積核會造成特征細節的丟失，較小的卷積核又不足以提取車輛特征.因此第3層卷積網絡最佳的卷積核尺寸為3×3.

根據以上實驗結果，分別選取3層卷積網絡卷積核尺寸為5×5、4×4、3×3，搭建卷積神經網絡模型并進行訓練.將車輛圖像輸入訓練好的卷積神經網絡中，車輛圖像經過（卷積層+池化層）處理，得到特征提取圖，部分特征提取圖見圖11.

圖11 特征提取圖Fig.11 Feature extraction map

為驗證本文方法的有效性，選取車輛識別精度較高的 CNN+Adaboost[10]、VGG16[13]以及 GoogLeNet-lite[14]與本文方法進行對比實驗，實驗數據均采用第3節構建的數據集，對比結果如表2所示.

表2 不同算法實驗結果對比Tab.2 Comparison of different algorithms

由表2可以看出，本文優化后模型的最終識別精度可以達到99.74%，高于CNN+Adaboost的97.02%和GoogLeNet的99.35%.另外，優化后模型的F-measure達到99.70%，也高于CNN+Adaboost的99.51%和GoogLeNet的99.36%.由于VGG16的模型結構復雜，一定程度上減小了卷積核大小對于模型識別的影響.所以，VGG16模型的最終識別精度為99.82%，雖然略高于本文優化后的模型，但是其識別時間遠遠大于本文方法，而且本文方法的識別時間在4種方法中是最優的.綜合實驗結果各指標，本文方法更適用于現實場景的車輛檢測.

4 結語

本文根據真實場景車輛大小進行建模，針對真實場景中車輛圖像較小的問題，使用復制邊緣像素進行填充的方法，減小了卷積造成信息丟失的影響，采取控制變量的方法對網絡參數設置進行了優化實驗，通過實驗找到了各網絡層的最優參數設置，并與目前的高精度方法進行實驗對比，結果表明本文方法的識別性能較好.