一種Haar-like和HOG特征結合的交通視頻車輛識別方法研究

一種Haar-like和HOG特征結合的交通視頻車輛識別方法研究

董天陽，阮體洪，吳佳敏，范菁

(浙江工業(yè)大學 計算機科學與技術學院，浙江 杭州 310023)

摘要：由于前向和后向車輛的表觀特征不同，單純使用主流的HOG或者Haar-like特征來識別車輛會存在對某一方向行駛的車輛識別率低或者誤識率高的問題.針對上述問題，提出了一種Haar-like和HOG特征結合的交通視頻車輛識別方法.在訓練階段，對前后向車輛分別采用Haar-like和HOG特征來提取車輛特征，引入反饋式的AdaBoost算法訓練車輛分類器，提高車輛識別的速度以及準確率；在識別階段，根據車輛運行狀態(tài)確定前后向車輛，再利用對應的車輛分類器進行多尺度遍歷識別.在不同光照強度的高速公路視頻中進行車輛識別實驗，前后車輛的平均識別率達到93%，誤識別為9%.

關鍵詞：特征結合；前后向車輛識別；HOG；Haar-like；AdaBoost

收稿日期：2015-04-02

基金項目：浙江省重大科技專項項目(2013C01112,2012C01SA160034)；杭州市重大科技創(chuàng)新專項(20132011A16)

作者簡介：董天陽(1977—)，男，浙江東陽人，副教授，研究方向為計算機圖形學和虛擬現實，E-mail:dty@zjut.edu.cn.

中圖分類號：391.4

文獻標志碼：A

文章編號：1006-4303(2015)05-0503-05

Abstract:Since apparent characteristics of forward and backward moving vehicle are different, only using HOG or Haar-like features to recognize vehicle will result in lower recognition rate or higher error rate in one direction. This paper presents a vehicle recognition method based on Haar-like and HOG feature combination in order to improve the recognition rate. During training phase, the Haar-like for the frontward vehicle and HOG for the backward vehicle are used to extract vehicle features respectively. The feedback AdaBoost algorithm is used to train vehicle classification. In recognition phase, the direction of vehicle is judged by the vehicle moving status and corresponding vehicle classification is used to traverse and identify vehicle in multiscale. The vehicle identification experiment is tested in the highway video at different light intensities.. The average recognition rate reaches 93% and error rate is 9%.

Keywords:characteristic combination; frontward and backward vehicle recognition; HOG; Haar-like; AdaBoost

Vehicle recognition method based on Haar-like and HOG

feature combination in traffic video

DONG Tianyang, RUAN Tihong, WU Jiamin, FAN Jing

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

基于特征信息的車輛識別，是結合機器學習理論的車輛識別，就是通過對車輛目標大量樣本的學習獲取針對車輛目標的分類器，從而使用分類器可以在圖像或視頻中識別出目標，所以選取合適的車輛表觀特征是關鍵.近年來，車輛特征從單一的邊緣和對稱性等特征向更具魯棒性的車輛特征集轉變.在車輛特征集中，方向梯度直方圖(HOG)特征和Haar-like特征是車輛識別中主流的兩種特征[1]，其次局部二值模式(LBP)特征也有不錯的表現.其中HOG特征聯合SVM分類器來實現車輛識別[2]，HOG特征表現出良好的識別性能，但是計算復雜度高.CHANG等[3]利用Haar特征和AdaBoost分類器從側面識別車輛的前輪和后輪，也有學者分別采用車載的前置和后置攝像頭拍攝，提取車尾和車頭的Haar-like特征來識別車輛[4-5].Chang等[6]提出了一種利用級聯Adaboost分類器進行車輛檢測的方法，WANG等[7]采用了對LBP特征進行統計的方法進行車輛識別取得了較好的效果.然而針對高速公路的固定攝像機采集的視頻，僅僅用LBP特征或Haar-like特征來識別前后向車輛，存在后向車輛的識別率較低的問題；而用HOG特征來識別前向車輛，存在前向車輛誤識率較高的問題.

在分析前向和后向車輛特征的基礎上，借鑒類Haar特征結合AdaBoost分類在人臉檢測中的成功應用[8-9]，提出了一種Haar-like和HOG特征結合的交通視頻車輛識別方法，以解決前向車輛和后向車輛的表觀特征不同帶來的識別率較低或誤識率較高的問題.為了驗證該方法的有效性，在不同光照強度的高速公路視頻中進行了車輛識別實驗，實驗結果表明該方法能實現高速公路前后向車輛的快速和有效識別.

1Haar-like和HOG特征結合的交通視頻車輛識別方法

1.1算法結構

Haar-like和HOG特征結合的交通視頻車輛識別方法分為離線訓練和在線識別兩個過程.

在離線訓練過程中，首先對所有訓練的車輛圖像正負樣本進行灰度化和圖像歸一化(尺度為20×20 pixel)；接著分別對前向和后向車輛正樣本圖像進行遍歷，提取前向車輛的Haar-like特征和后向車輛的HOG特征；然后用提取到的所有特征信息訓練每一級的分類器，最終得到前向車輛AdaBoost分類器和后向車輛AdaBoost分類器.

在線識別過程中，首先根據車輛的行駛狀態(tài)(利用運動檢測方法確定運動區(qū)域，根據運動區(qū)域的面積變化來判斷車輛遠離或者靠近攝像頭)判斷是前向還是后向車輛(來選定相應的車輛分類器)；接著采用不同尺度窗口并行遍歷待識別圖像，將車輛候選區(qū)中的特征輸入到級聯分類器中來識別.如果該候選區(qū)內的所有特征通過所有級的分類器，則認為該區(qū)域為車輛的位置所在；最后通過所有級分類器的候選區(qū)進行合并，確定車輛的最終位置和尺寸.為了進一步提高分類器的識別率，提出了一種基于反饋式的AdaBoost訓練算法，即把在線識別過程中誤識別的樣本加入到負樣本中，迭代訓練來提高識別率.算法的流程如圖1所示.

1.2特征提取

1.2.1Haar-like特征

Haar-like特征是一種簡單的矩陣特征，最先由VIOLA等在人臉識別系統中使用.矩陣特征是用來描述圖像像素灰度值在相鄰區(qū)域內總和的差，能夠良好地體現目標局部特征的灰度變化[10].為了加快Haar-like特征計算的速度，將積分圖的思想用于特征計算.后來，在上述基礎上，許慶等[11]提出了擴展的Haar-like特征.該特征采用了水平、垂直、水平旋轉45度、垂直旋轉45度等作為特征，并針對45度旋轉的矩陣提出了快速計算方法，在滿足速度不受影響的情況下，系統的識別性能得到了明顯改善[11].因此，筆者采用擴展的Haar-like特征來提取車輛特征.

1.2.2HOG特征及誤識別分析

HOG特征是計算局部圖像梯度的方向信息的統計值，將直方圖作為特征向量.HOG特征在各種不同的計算機視覺的任務(包括車輛識別)中表現出良好的識別性能.法國國家計算機技術和控制研究所(INRIA)的研究員Navneet Dalal和Bill Triggs在2005年的CVPR會議上首次發(fā)表了描述HOG特征的論文，用于行人檢測[12].

HOG特征計算的詳細流程如下:

1) 將交通圖像進行灰度化處理，并將灰度圖看成x，y，z構成的三維圖像.

2) 利用Gamma方法對灰度圖進行校正和歸一化.

3) 遍歷圖像中的每個像素，計算其像素對應的梯度大小和方向.

4) 將圖像劃分成小的細胞單元cell(一般取6×6pixel/cell)，并對梯度直方圖的每個cell進行統計，就得到每個cell的特征向量.

5) 將一個block(一般取3×3個cell/block)中所有cell的特征向量串聯起來，并對梯度強度做歸一化處理，就得到了該block的HOG特征向量.

6) 將所有的block的HOG特征向量組合起來，就得到該交通圖像的HOG特征向量，即基于HOG特征的分類器.

表1　HOG特征在不同前車視頻中誤識別分析

在車輛識別中，HOG特征表現出良好的性能，幾乎能夠識別出視頻中所有的車輛(即召回率很高)，但前向車輛識別中仍然存在較多的誤識別.從表1可以看出：同一視頻誤識別的圖像逆變換后得到的圖像和真正車輛逆變換后的圖像很接近，當用該HOG特征進行識別時，就會出現誤識別；同時，兩者HOG特征的可視化結果也極其相似的，因此HOG特征本身存在局限性.

1.3AdaBoost級聯分類器

AdaBoost訓練出來的強分類器只能對特征明顯的物體加以分類，但耗時較長.由于有些簡單的特征就能排除大量的負子窗口，而用更復雜的特征來識別較難分辨的子窗口.根據“先重后輕”的想法，VIOLA等[10]提出了級聯分類器方法，去除大部分負樣本，提高了識別速度.級聯的結構體現在圖像中絕大多數識別的子窗口不是目標，所以級聯在早期就盡可能地將負子窗口都丟棄.基于特征的車輛識別的目的是用盡可能少的時間將非車輛的大部分子窗口去除掉，因此級聯的AdaBoost的分類器很適用于車輛識別的過程.

AdaBoost(Adaptive boosting)算法[13]是Schapire等在1996年提出的，該算法的核心思想是對同一個訓練集訓練不同的弱分類器，再根據不同弱分類器的分類錯誤情況，賦予不同的權重，最后將帶權重的弱分類線性組合形成強分類器.

AdaBoost算法的詳細步驟如下：

1) 依據樣本分布Dt，對訓練集合S進行有放回的抽樣產生新的訓練集合St，并在此訓練集合上訓練弱分類器ht，對訓練集合S所有樣本分類，確定本輪的分類器ht，弱分類器存在誤差εt可表示為

εt=Pri～Di[ht(xi)≠yi]

(1)

(2)

其中Zt為正規(guī)因子，用來確保∑iDt+1(i)=1.

2) 重復迭代步驟2的過程T次，最終的強分類器的輸出為

(3)

每次用一個特征，訓練得到T個弱分類器，將這些弱分類器按權值線性組合得到最終的強分類器，其中權值與訓練錯誤成反比關系.

2實驗與結果分析

目前，實驗收集了1 200張車輛圖片作為正樣本和4 800張非車輛圖片作為負樣本構建成車輛圖片數據庫.其中正樣本我們只考慮車輛的前向和后向，所以在不同光照強度下選取樣本圖片，且只是車頭和車尾圖片，不考慮其他側面，如圖2所示.為了增加負樣本的針對性，除了不含車輛的負樣本圖片外，特別考慮加入了高速公路中的背景圖片以及與交通場景相關圖片，如圖3所示.

圖2　前后向車輛正樣本 Fig.2　The positive samples of front and rear vehicle

圖3　車輛負樣本 Fig.3　The negative samples of vehicle

在我們構建的車輛特征樣本訓練數據庫上，采用Visual Studio 2010和OpenCV2.4.6庫進行編程，驗證算法的有效性.實驗中分別提取前后向車輛的HOG，Haar-like，LBP[14]特征來檢測車輛，并與筆者方法的檢測結果進行比較.對是否存在明顯陰影、是否是前向車輛或后向車輛，共4種不同情況下的視頻進行車輛識別實驗.其中4個視頻依次為HighwayI(存在大量陰影，前向車輛，共440幀，有103輛車)，HighwayII(存在少量陰影，前向車輛，共1 700幀，有32輛車)，VideoI(亮度較暗，后向車輛，共500幀，有51輛車)，VideoII(亮度較強，既有前向車輛，又有后向車輛，共750幀，有50輛車)，分辨率都是320×240.

表2是在4個視頻下識別結果的例圖，從表2可以直觀地看出：在前向車輛識別中，Haar-like和LBP車輛特征的識別效果較好，且速度較快；HOG車輛特征存在相對較多的誤識別.而后向車輛識別中，HOG車輛特征的識別結果明顯優(yōu)于Haar-like和LBP車輛特征，在不同的光照強度下都有不錯的識別效果，但速度較慢；而LBP和Haar-like車輛特征存在大量漏檢.因此，筆者方法在不同場景下依然保持良好的識別效果.

表2　不同場景下車輛識別結果比較

從圖4時間消耗上分析：在相同圖像分辨率(320×240)的情況下，在不同的交通視頻中，車輛特征識別的時間基本保持一致；而HOG特征識別的平均時間為63 ms/frame明顯高于LBP的34 ms/frame和Haar-like的32 ms/frame，而筆者方法的平均時間為46 ms/frame.

圖4　車輛識別中時間消耗的比較 Fig.4　The Compare of time consumption of the vehicle recognition

從表3的識別性能分析可以看出：筆者方法的平均識別率與利用HOG特征進行車輛識別的結果很接近，但是平均誤識率比HOG特征低近10%；從圖4的時間消耗來看：筆者方法的平均時間比HOG特征少20 ms.綜合考慮來說，筆者提出的Haar-like和HOG特征結合的前后向車輛識別方法比Haar-like，HOG和LBP特征的前后車輛識別方法更有效.

表3　不同特征在前后向車輛識別性能分析

3結論

對前后車輛的不同表觀特征進行研究，提出了一種Haar-like和HOG特征結合的前后向車輛識別方法.在訓練階段，在訓練數據庫上分別提取前向車輛Haar-like特征和后向車輛HOG特征，引用反饋式AdaBoost算法訓練得到相應分類器；在識別階段，依據車輛的行駛狀態(tài)(即遠離或者靠近攝像頭)判斷是前向還是后向車輛，再選用相應的分類器來進行車輛識別.在不同光照強度的高速公路視頻上實驗，從時間消耗、識別率和誤識率上綜合分析，證明了提出的方法的有效性.

參考文獻：

[1]SIVARAMAN S, TRIVEDI M M. Looking at vehicles on the road: a survey of vision-based vehicle detection, tracking, and behavior analysis[J]. IEEE Transactions on Intelligent Transportation Systems,2013,14(4):1773-1795.

[2]SIVARAMAN S, TRIVEDI M M. Active learning for on-road vehicle detection: a comparative study[J]. Machine Vision and Applications,2014,25(3):599-611.

[3]CHANG W C, CHO C W. Real-time side vehicle tracking using parts-based boosting[C]// IEEE International Conference on System, Man, and Cybernetic. Singapore: IEEE,2008:3370-3375.

[4]LIU W, WEN X, DUAN B, et al. Rear vehicle detection and tracking for lane change assist[C]//IEEE Intelligent Vehicles Symposium. Istanbul, Turkey: IEEE,2007:252-257.

[5]SIVARAMAN S, TRIVEDI M M. A general active-learning framework for on-road vehicle recognition and tracking[J]. IEEE Transactions on Intelligent Transportation Systems,2010,11(2):267-276.

[6]CHANG Wenchuang, CHO Chihwei. Online boosting for vehicle detection[J]. Institute of Electrical and Electronics Engineers,2010,40(3):892-902.

[7]WANG C C R, LIEN J J J. Automatic vehicle detection using local features-a statistical approach[J]. IEEE Transactions on Intelligent Transportation Systems,2008(1):83-96.

[8]VIOLA P, JONES M. Robust real-time face detection[J]. International Journal of Computer Vision,2004,57(2):137-154.

[9]LIENHART R, MAYDT J. An extended set of Haar-like features for rapid object detection[C]//The IEEE International Conference on Image Processing. New York: University of Texas Press,2002:900-903.

[10]VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features[C] //Conference on Computer Vision and Pattern Recognition. Kauai, HI: IEEE Computer Society,2001:511-518.

[11]許慶,高峰,徐國艷.基于Haar特征的前車識別算法[J].汽車工程,2013,35(4):381-384.

[12]李星,郭曉松,郭君斌.基于HOG特征和SVM的前向車輛識別方法[J].計算機科學,2013,40(11A):329-332.

[13]RAHIM N A, PAULRAJ M P, ADOM A H. Adaptive boosting with SVM classifier for moving vehicle classification[J]. Procedia Engineering,2013,53(7):411-419.

[14]楊先鳳,楊燕.一種基于HOG-LBP的高效車輛檢測方法[J].計算機工程,2014,40(9):210-214.

(責任編輯：劉巖)