基于卷積神經網絡預處理的Hog特征車輛檢測算法

楊映波，周欣，曾珍，魏彪

（四川大學計算機學院，成都 610065）

0 引言

車輛檢測作為當今智能交通中一個重要的課題，廣泛的應用于道路監控、車輛追蹤、車輛搜尋定位等領域，具有重大的研究意義。目前車輛檢測的常用方法有以下兩種，基于運動背景的，背景差分法[1]、幀間差分法[2]、光流法[3]等；以及基于車輛局部特征，利用SIFT[4]、Hog[5]、Harr[6]等特征計算車輛特征，放入支持向量機（SVM）[7]分類，進行車輛檢測。前一種方法有一定的局限性，必須基于連續多幀的圖片才能夠進行檢測，同時對背景的要求極高，倘若出現雨雪天氣或者光照變化，會導致識別率降低。后一種方法，SIFT特征擁有尺度不變性以及旋轉不變性，但由于其計算量較大，實時檢測效率較低。Harr特征描述的是紋理特征，更適合于陰影檢測，當相比于SIFT以及Hog特征，缺乏了方向信息，導致在目標識別中有一定缺陷。Hog特征描述的是邊緣方向密度，能夠有效地描述車輛邊緣輪廓，相比于SIFT特征，缺少尺度不變性，但可以通過對檢測圖片進行多尺度縮放來進行檢測，計算量雖然會因此增大，但可根據具體場景進行調節。同時基于車輛局部特征的方法，能夠有效地根據車輛的車尾以及車頭進行車輛檢測，但對車輛的側身識別率依然不高。同時，自2012年以來，深度學習取得了爆發性的突破，卷積神經網絡（CNN）[8]作為其中模型之一，對圖像目標識別分類更有著出色的表現。其通過對圖像進行多次的卷積、激活、池化操作，自主進行特征提取，將高維特征壓縮至低維特征，進行特征分類。然而由于其運算過程如同黑盒，科學家們無法用具體的數學方式去證明、表示其運算過程，因此卷積神經網絡具有一定的不可解釋性，這是當代工程應用無法接受的。

因此，本文基于以上特征與模型，提出一種車輛檢測算法，首先利用卷積神經網絡的多個卷積核對圖像進行特征描述，因其淺層特征是對圖像顏色、邊緣、紋理等特征的描述，根據其淺層特征中，邊緣性較好的圖像，獲取對應的卷積核。用提取后的卷積核對原始圖像進行預處理，然后進行Hog特征運算，放入支持向量機中進行訓練、分類，從而識別出正確車輛。實驗表明，本方法能夠有效地從各個角度檢測出車輛，識別率優于傳統方法以及經典卷積神經網絡。

1 卷積神經網絡原理

卷積神經網絡與本方法中所用到的支持向量機同為有監督學習，區別在于，深度學習作為“端到端”的學習，無需人工特定的選擇特征。深度學習以數據的原始形態作為輸入，經過卷積層、池化層、激活層等多層疊加抽象，從原始數據中自動提取本次任務所需的最終特征，其中所有過程并無夾雜人為操作。以下本文將著重介紹卷積層、池化層與激活層，以便后續展示輸出圖像特征。

卷積層通過一定大小以及數量的卷積核與同等大小圖像區域進行卷積運算，從而獲取圖像顏色、形狀、紋理等局部信息。卷積層中包含三個重要參數，卷積核數量，卷積核大小以及卷積步長。首先我們設Xi，j表示原圖第i行第j列的像素，Wm，n為卷積核第m行第n列的權重，b表示為卷積核的偏置項，卷積核大小為k，ai，j表示卷積后的特征圖在第i行第j列的像素，因此卷積層的計算公式為：

不同的卷積核會分別檢測出圖像的局部信息，卷積核權重由網絡每次“反向傳播”進行修正。通過組合這些卷積過后生成的圖像，整個卷積神經網絡會對訓練圖像有全方位的了解，以便后續提取有效特征。

池化層能夠對特征圖進行降采樣工作，通過去除特征圖不重要的像素信息，進一步減少參數數量，同時保證特征不變性，在一定程度上防止了數據過擬合。池化操作常見的操作有平均值池化以及最大值池化。

本文方法中使用的為最大值池化，在n×n的圖像區域中，取其中最大的像素值，作為本區域的池化過后輸出值。池化公式為：

激活層能夠增加整個卷積神經網絡的表達能力，（1）、（2）兩個公式僅僅為線性操作，只能起到線性映射的作用，無法構成復雜的函數。本文方法中使用ReLU函數作為激活函數，其能夠加速隨機梯度下降方法收斂，收斂速度約比其他激活函數快6倍。ReLU函數為：

2 Hog特征提取

Hog特征全稱Histograms of Oriented，是基于邊緣與梯度的描述子，本文認為即使機器不知道對應的邊緣與梯度的位置，但通過局部梯度方向直方圖也能夠有效地描述局部目標的形狀。因此Hog特征，作為由圖像局部區域的梯度方向直方圖所組合構成的特征，能夠有效的描述車輛邊緣與梯度特征。以下為本文

Hog特征提取過程。

（1）首先輸入圖像為經過灰度化的灰度圖像，計算其像素點（x，y）梯度大小以及方向，像素點（x，y）處的梯度值與方向分別為 G（x，y），θ（x，y），具體公式如下：

（2）將圖像劃分為若干個n×n的cell，各個cell之間不能重疊。在每個cell內劃分相同的9個方向，以9個方向的等距離角度區間作為橫軸，梯度大小作為縱軸，計算出各個cell的梯度直方圖，得到每個cell的9維特征值。

（3）將相鄰的4個cell組合成為一個Block塊。串聯4個單元格的9維特征值，獲得本Block塊的36維特征值，然后對此特征值進行歸一化。

（4）將所有Block塊的特征值串聯起來，從而得到本圖像的Hog特征值。其中各個Block之間可以重疊，以增強Hog特征魯棒性。

3 基于卷積核預處理的Hog特征車輛檢測

綜上所述，傳統Hog特征搭配支持向量機SVM的方法能夠有效對車頭以及車尾進行檢測，但無法有效的獲取車輛側身的邊緣信息。卷積神經網絡能夠自動獲取特征，對圖像中待識別目標有著強大的描述能力。但當它在對原始數據進行不斷的抽象過程中，隨著網絡層數的加深，每層的輸出變得越來越抽象，描述能力也越來越強。而Hog特征是提取像素級的梯度方向特征，對于高度抽象的特征無法提取有效的信息。根據Matthew Zeiler等人于2011年提出的反卷積神經網絡[9]，以及次年的特征可視化論文[10]所述，卷積層第一層與第二層學習的是顏色、邊緣等基礎特征，第三層學習的是紋理特征。往上更高層的特征則越來越抽象。因此第三層以后的輸出特征對于Hog計算來說，已經過于抽象。但第一次卷積后的特征，能夠對圖像基礎信息，例如紋理、顏色、特征等，有良好的描述以及較低的抽象程度。因此本文選擇獲取卷積神經網絡第一層特征，然后進行Hog特征運算，提升原始Hog特征對車輛側身特征的描述，給與它更強的特征描述能力，從而無論從車輛頭部、尾部、側身各個角度，都能夠有效地檢測車輛。以下分節為具體算法流程。

3.1 實驗卷積特征選取

（1）根據公式（1），使用 5個 5×5的濾波器對輸入圖像進行卷積，得到C1層5個126×126的特征圖。

（2）按公式（2）、（3）將 C1 層中每組特征根據 2×2的鄰域進行最大值池化，然后通過一個ReLU激活函數，得到S2層5個63×63大小的特征圖。

（3）根據公式（1），使用 16個 3×3的濾波器對 S2層進行卷積，得到C3層16個61×61大小的特征圖。

（4）同樣按公式（2）、（3）對 C3 層進行下采樣，獲得30×30的特征圖。

（5）將特征圖排列成特征向量。

根據前文所述，我們需要的是卷積神經網絡淺層信息。經過大量實驗，因此本文按上述具體參數構建出五層卷積神經網絡。具體卷積神經網絡結構圖，如圖1所示。

圖1 卷積神經網絡結構示意圖

在獲取了C1層的特征圖之后，除去明顯的顏色特征圖以及其他基礎特征圖，其中部分邊緣圖以人的肉眼無法判斷其邊緣性特征優劣。故本文選取了以下4張具有代表性的邊緣特征圖，如圖2所示，保存對應的4組卷積模型以及卷積核。對整個相同的數據集進行卷積，得出4組輸出特征圖，根據第2小節所述算法，分別計算其Hog特征，代入支持向量機進行訓練，識別率如表1所示。

圖2 原始圖像與四組邊緣特征圖

表1 不同模型實驗效果對比

由表1可知，第一組卷積模型提取的邊緣特征圖能夠更好地描述車輛邊緣性特征。因此保留其模型以及對應的卷積核，具體卷積核如下公式（8）所示，選擇本組卷積特征作為計算Hog的輸入圖像。

3.2 車輛檢測算法流程

根據3.1節所述，實驗可以通過訓練后的卷積神經網絡結構或者提取出的卷積核獲得邊緣特征圖，本文選擇通過已有的卷積神經網絡對原始圖像進行預處理。具體車輛檢測算法流程如下：

（1）根據3.1節訓練過后的網絡模型，對圖像進行預處理，獲得C1層特征圖。選取其中邊緣性最好的邊緣特征圖。

（2）將獲取的邊緣特征圖歸一化為128×128像素大小的灰度圖像。

（3）將灰度圖像劃分為64個16×16大小的cell，根據公式（4）、（5）、（6）、（7），計算每一個 cell內部像素點的梯度大小與方向。

（4）將每一個Cell的梯度方向由0-180°分為9個方向，每個方向范圍為20°。根據每個像素點的梯度大小與方向，投影到9個方向塊中，獲得一個9維的cell塊Hog特征值。

（5）將4個相鄰的cell合并成為一個Block塊，窗口滑動步長為32個像素，因此整張圖片包含16個Block塊。選擇歸一化函數L2-norm，對Block塊進行歸一化，增加對光照的魯棒性。

（6）將每個Block塊的Hog特征值級聯，獲得576維輸出特征，放入支持向量機中進行訓練，其中懲罰系數設為0.1，核函數選擇高斯核函數。

4 實驗結論與分析

4.1 樣本集

本方法中采取標準樣本集與自制樣本集所結合的方式，組成本方法中所用的數據集。自制樣本集來自成都市某路口2448×2048像素高清分辨率監控攝像儀，我們手動截取了攝像頭視角下行駛的各類車輛，以便后期本方法能夠適用于成都市道路監控。標準樣本集來自Stanford大學車輛數據集，有一定的代表性以及權威性。標準集中含有8144張訓練數據，8041張測試數據，以上數據均為正樣本。自制樣本集中含有4000張訓練正樣本數據，4000張測試正樣本數據。其中有關訓練以及測試數據的負樣本，我們通過截取成都市道路監控攝像頭下非車輛的圖片作為負樣本。所有樣本像素大小為128×128。部分示例如圖3所示。

圖3 標準樣本集與自制樣本集部分示例

4.2 實驗結果分析

本文按照以上組合集，選取6000張車輛圖像作為訓練正樣本。其中5000張圖像來自標準樣本集，1000張來自自制樣本集。同時從自制樣本集中選取5000張作為訓練負樣本。選取12041張車輛圖像作為測試正樣本，其中包含8041張Stanford大學標準車輛集以及4000張自制樣本集。從自制樣本集中再取4000張作為測試負樣本。由上文可知，本文利用卷積神經網絡自動學習特征，對原圖像進行預處理，從而獲取良好的邊緣特征圖。在此本文根據基于人工手動設置的邊緣提取算子，對以上數據集進行預處理，部分邊緣特征示例如圖4所示。最后計算相應的邊緣特征圖Hog特征，分別放入支持向量機訓練、分類，實驗結果如表2所示。

圖4 各邊緣提取算子部分樣本示例

表2 不同算子實驗效果對比

由圖4與表3結合所知，Canny邊緣提取算法提取過多無關車輛邊緣特征，導致正樣本識別率（36.24%）較低，總體識別率（51.25%）大幅度低于其他邊緣提取算法。與未經圖像預處理的HOG+SVM經典車輛檢測算法相比，基于Sobel與Robert邊緣提取的算法識別率僅略高于經典算法。而結合由自主學習的卷積神經網絡所提取的邊緣特征圖，能夠較好地保存原圖車輛的細節特征，其算法識別率（99.42%）明顯高于余下算法識別率。

同時將以上數據集代入目前常規的車輛檢測算法，實驗結果如表3所示。

表3 不同算法實驗效果對比

由上表所知，本文所提出的方法識別率為99.42%，，明顯高于經典HOG+SVM車輛檢測算法（96.07%），略高于經典CNN算法（98.64%）。三種算法的正負樣本識別率相對于整體識別率沒有較大的波動，證明數據集設置合理。

5 結語

針對在道路監控中的車輛檢測，本文提出了一種基于卷積神經網絡預處理的Hog特征車輛全身檢測算法。根據卷積神經網絡下采樣層中邊緣性明顯的圖像，提取對應的卷積核，對原始圖像進行預處理，計算其Hog特征，最后交由支持向量機進行分類。實驗證明基于CNN預處理的Hog特征在對車輛全身的描述性上強于基于人工邊緣提取算子預處理的Hog特征以及單一HOG特征，在識別率上略高于經典CNN網絡。相對于經典CNN網絡需要計算性能較好的GPU以及足夠的內存，本文所提方法對設備硬件性能的要求較低，適用面廣，更方便適用于各道路監控等設備，且識別率更高。