多特征融合和交叉核SVM的車輛檢測方法

胡慶新，焦　偉，顧愛華（合肥工業大學計算機與信息學院，安徽合肥　230009）

?

多特征融合和交叉核SVM的車輛檢測方法

胡慶新，焦偉，顧愛華
（合肥工業大學計算機與信息學院，安徽合肥230009）

摘要：為了能夠提高車輛檢測的準確率和效率，利用不同分辨率下圖像中的信息，文章提出一種多分辨率下的方向梯度直方圖特征（multi-resolution histograms of oriented gradients）和局部二值模式算子（local binary pattern）相融合的車輛檢測算法。由于融合后的特征維數明顯高于單一特征，使得檢測的實時性較差，通過主元分析（principal component analysis）來實現對融合后特征降維，并采用直方圖交叉核支持向量機（HIK-SVM）對特征進行分類，完成車輛的檢測。實驗結果表明，該檢測方法有較高的車輛檢測率，且實時性較好。

關鍵詞：車輛檢測；多特征融合；方向梯度直方圖；局部二值模式算子；主元分析；直方圖交叉核SVM

車輛檢測技術是當今計算機視覺、圖像處理和模式識別等技術在車輛安全輔助駕駛系統中的一個重要研究課題［1-4］。車輛檢測要求具有較高的準確性、實時性和魯棒性，同時具有較低的誤判率?；谝曈X的車輛檢測方法具有探測范圍寬、目標信息完整、價格便宜等優點，主要有基于立體視覺、基于運動分析、基于模型、基于特征等方法。基于立體視覺［5］的方法定位準確，但特征匹配難度大，對硬件要求高，成本大，對車輛自身的運動很敏感；基于模型［6］的方法魯棒性好，但是實時性較差；基于運動分析［7］的方法實時性好，但對外部環境的變化敏感，準確性差；基于特征的方法算法簡潔，處理速度快，實時性和魯棒性都好，是車輛檢測中常用的算法。

車輛是一種人造剛體，它含有豐富的特征信息，主要包括：①車輛邊緣特征，該特征很明顯，其方向近似垂直或者水平；②車輛的紋理特征，該特征和道路的紋理有較大的差異；③車輛底部的陰影特征；④車輛輪廓特征，車輛的輪廓大體為矩形，且符合一定的寬高比；⑤車輛的對稱性特征，該特征主要使用灰度對稱特征、豎直邊緣對稱特征、車尾燈對稱特征?；谲囕v的上述特征，可以用對稱性［8］、形狀［9］、陰影［10］、方向梯度直方圖（histograms of oriented gradients，HOG）［1，11］，Shift［12］，Haar-like［13］，Haar［14］等特征檢測車輛。但單一的特征所含信息有限，因此使用多種特征融合的算法，才能取得更好的效果。本文選用多分辨率的方向梯度直方圖（HOG）特征［1，11］和局部二值模式算子（local binary pattern，LBP）相融合的算法，將訓練樣本放大和縮小形成3個不同的分辨率，分別提取其HOG特征，然后再疊加，提取訓練樣本的LBP特征，將疊加后的HOG特征和LBP特征進行融合得到特征向量，相比于單一特征的車輛檢測方法，其檢測率有明顯的提高。本文采用直方圖交叉核支持向量機對特征進行訓練和分類，該方法具有分類速度快、效率高等優點。

實驗圖像來自GTI數據集［15］，實驗表明本文算法有更好的魯棒性和實時性，提高了車輛檢測的準確率和效率。為了驗證算法的有效性，將本文的算法與HOG＋SVM算法在檢測率和實時性上進行了比較，實驗表明多特征融合的算法效果更好。

1　車輛檢測方法概述

本文選擇車輛的局部二值模式算子和多分辨率的方向梯度直方圖特征來檢測圖像中的車輛。

（1）本文使用的正、負訓練樣本的分辨率為64×64，將正、負樣本的分辨率進行放大和縮小，縮小為40×40的分辨率和放大為128×128的分辨率，對3個不同分辨率的圖片分別提取V-HOG特征，再將其疊加，得到圖片的M-V-HOG特征。再提取正、負樣本的LBP特征，將LBP特征和疊加后的V-HOG特征融合生成車輛的訓練特征。

（2）因為特征融合后的維數比單特征高，本文用主元分析（principal component analysis PCA）對融合后的特征降維。

（3）用直方圖交叉核支持向量機（HIK-SVM）對特征向量進行訓練，生成訓練模型。對要檢測車輛的圖片進行分割，再對分割圖片進行分類，把圖片中含有車輛的區域框出來，得到檢測結果。

車輛檢測算法流程圖如圖1所示。

2　特征提取

2.1局部二值模式算子

局部二值模式算子（local binary pattern，LBP）是一種用來描述圖像局部結構特征的無參數算子，具有計算簡單、特征分類能力強、旋轉不變性和灰度不變性等優點。

LBP算子定義在3×3的窗口內，以窗口中心像素為閾值，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0。這樣，3×3鄰域內的8個點經比較可產生8位二進制數（通常轉換為十進制數即LBP碼，共256種），即得到該窗口中心像素點的LBP值，并用這個值來反映該區域的紋理信息。

這樣的LBP二值模式共有256種，為了減少二值模式，Ojala提出了采用一種等價模式（uniform pattern）對LBP算子的模式種類進行降維。Ojala對各類圖像進行統計后發現，在8個鄰域點的情況下，有58種模式所占比例超過90%，也就是等價模式（uniform pattern）。等價模式的LBP紋理描述方法定義如下：

其中，P、R表示半徑為R的圓形區域內含有P個采樣點；U（LBPP，R）表示LBP二進制碼所對應的二進制數從0到1或從1到0的跳變次數。當某個局部二值模式所對應的二進制數的U（LBPP，R）不超過2時，該局部二進制模式所對應的二進制就稱為一個等價模式，對于那些非等價模式，用某個特定的模式表示，稱為混合模式。這樣有效降低了LBP特征的特征維數，因此本文使用這種等價模式。

2.2HOG特征

方向梯度直方圖（histogram of oriented gradient，HOG）特征是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子。它通過計算和統計圖像局部區域的方向梯度直方圖來構成特征。獲得HOG特征的具體方法是將圖像分成小的連通區域，本文稱其為細胞單元（cell），采集cell中的各個像素點的梯度的或者邊緣的方向直方圖，最后把這些直方圖組合起來構成特征描述器。為了提高性能，把這些局部直方圖在圖像的更大的范圍內，即由若干個cell構成的范圍（block），進行對比度歸一化（contrast-normalized），通過歸一化，能夠對光照變化和陰影獲得更好的效果。

提取HOG特征需要決定將梯度方向180°分成多少個方向塊、每個cell的尺寸以及每個block中包含的cell數。

（1）V-HOG。車輛整體的顯著外形特征是車輛所固有的近似矩形的特征，其外形有近似矩形的特征，其組成部分如車輛的牌照、后窗玻璃也是近似矩形，因此車輛中最主要的方向梯度是水平的或者垂直的。為實現有效地提取車輛水平和垂直的方向梯度直方圖特征，使用水平細胞單元或者垂直細胞單元。經典的HOG算法、V-HOG算法、H-HOG算法的cell和block如圖2所示。

圖2　經典HOG、V-HOG、H-HOG的cell和block

圖2a為經典的HOG算法，圖中顯示cell的大小為s1×s2，一個block里包含4個cell。圖2b 為V-HOG算法，圖中cell的大小為h×s1（h為圖片的高度，本文的值是64），一個block里包含2 個cell。圖2c為H-HOG算法，圖中cell的大小為c×s1（c為圖片的寬度，本文的值是64），一個block里包含2個cell。

本文的正、負樣本是64×64的圖像，經過實驗，V-HOG特征和H-HOG特征的特征維數為1 152維，與經典的HOG特征的特征維數1 764維相比，其特征維數有明顯的下降，檢測率卻相差不大，檢測速度更快，提高了實時性。實驗結果顯示使用V-HOG特征的檢測率略高于H-HOG特征，因此本文使用V-HOG特征。

（2）梯度的計算。計算圖像橫坐標和縱坐標方向的梯度，并據此計算每個像素位置的梯度方向值。求導操作不僅能夠捕獲輪廓和一些紋理信息，還能進一步弱化光照的影響。

圖像中像素點I（x，y）的梯度為：

其中，Gx（x，y）、Gy（x，y）、H（x，y）分別表示輸入圖像中像素點（x，y）處的水平方向梯度、垂直方向梯度、像素點（x，y）處的灰度值。像素點（x，y）的梯度幅值和梯度方向分別為：

（3）每個cell構建方向梯度直方圖及重疊塊歸一化。本文采用9個bin的直方圖，也就是將cell的梯度方向180°分成9個方向塊來統計每個cell里的梯度信息。選取GTI數據庫中的圖像做實驗，實驗表明隨著梯度方向數目的增加，分類效果也在逐步提升，但當方向數目超過9個方向塊時，檢測效果就不再有明顯改進了。按像素的梯度方向，將cell中的所有像素的梯度投影到9個區間，選用梯度幅值或者幅值的函數作為投票的權重，形成每個cell各自的梯度方向直方圖。實驗測試表明，使用幅值來表示權值能獲得最佳的分類效果。

在提取特征時，把若干個cell組合成大的、空間上連通的塊block，且block之間根據block步長的取值不同有一定程度的重疊，重疊部分會被計算多次。多次計算意味著會以不同的結果多次出現在最后的特征向量中，為改善最終的檢測結果，在每個block塊內做歸一化處理。通常使用的歸一化函數有L1-范式（L1-norm）、L1-開方根式（L1-sqrt）和L2-范式（L2-norm）。

其中，ξ是一個大于零的、很小的數，是為了防止分母為零而存在的；v是一個特征向量，‖v‖是特征向量的模值。實驗證明，L2-norm對車輛檢測的效果最好。

2.3主元分析（PCA）

PCA是利用降維的思想，在損失很少信息的前提下把多個指標轉化為幾個綜合指標的多元統計方法。轉化生成的綜合指標稱為主成分，其中每個主成分都是原始變量的線性組合，且各個成分之間互不相關。因此，主元分析正是研究如何通過原來變量少數幾個線性組合來解釋原來變量絕大多數信息的一種多元統計方法。

主成分的計算步驟：首先根據特征矩陣X，計算出其協方差矩陣Q；其次計算出協方差矩陣Q的非零特征根及其對應的特征向量，取較大的n個特征根對應的特征向量將其單位化組成矩陣W；最后根據Y＝WTX，可將特征矩陣X變成Y，且Y的維數小于X的維數。降維后的特征向量仍然保留了樣本的主要信息，但數據量有較好的壓縮。

2.5 敲低 lncRNA-8439 能降低 nanog 表達水平和腫瘤細胞懸浮球數量 使用 siRNA-2 在 Huh7和 Hep3B 細胞中敲低 lncRNA-8439 的表達后，分別收集細胞利用實時熒光定量 PCR 和蛋白質印跡法檢測 nanog 的表達量，結果顯示干擾組中的 nanog 表達量在 RNA（圖5A）和蛋白水平（Huh7 細胞：40.57±1.19 vs 435.81±6.75，Hep3B：18.50±0.75 vs 470.13±2.18；圖5B）均降低，與對照組相比差異均有統計學意義（P 均＜0.01）。同時，干擾組的腫瘤細胞懸浮球數量明顯少于對照組（圖5C）。

3　直方圖交叉核支持向量機

SVM分類器分為線性SVM和非線性SVM，其基本思想是通過定義一個線性最優超平面，從而將分類問題轉化為確定該超平面的最優化問題。線性SVM分類器訓練分類速度快，實時性好；非線性核SVM分類器檢測精度高，但運算復雜度較高，實時性較差；AdaBoost分類器分類速度快，但訓練時間長，訓練復雜度隨支持向量的數量增加呈現指數型增長。綜合上述分析，本文選擇直方圖交叉核核函數。實驗結果表明，HIK-SVM比一般的非線性核SVM速度快約2 000倍［16］。直方圖交叉核核函數表達式如下：

根據C-SVM可知，分類函數公式如下：

其中，αl、βl為指標l的權重；b為常數；x為特征向量，維數為n；xl為支持向量，l∈{ 1，2，…，m}。交叉核為：

其中，x、z為2個特征向量；x（i）、z（i）分別為x、z 第i維的特征值；n為特征向量的維度。

由（11）式和（12）式可得分類函數：

（13）式中hi（μ）為μ跟每個樣本的第i維的數值xl，i比較然后累加。首先對xl，i先排序，然后與μ進行比較，可以減小計算量。由此可見直方圖交叉核函數具有計算復雜性低的特點，這有助于SVM將低維空間中線性不可分問題迅速轉化成高維空間中的線性可分問題。

4　實驗結果與分析

本文的實驗程序是在Matlab R2008a下實現的，性能測試實驗在Intel（R）Core（TM）i3 CPU、2 G內存，32位Windows7操作系統的計算機上運行。樣本圖片使用GTI數據庫中的圖片，大小都是64×64，訓練正樣本包含針對所設攝像頭位置的4個區域遠、左、右、中近各800張，訓練負樣本也是針對4個區域每個區域各800張，測試正、負樣本是4個區域每個區域各400張。

對大小為64×64的圖片先進行圖片的縮小和放大，縮小成40×40的圖片和放大成128×128的圖片，分別對3個分辨率的圖片提取V-HOG特征，將每幅圖片在3個分辨率下的V-HOG特征相加得到多分辨率下的V-HOG（M-V-HOG）特征。對64×64的正、負樣本提取LBP特征，將M-V-HOG特征和LBP特征串聯起來形成融合的特征，再使用主元分析對融合后的特征降維得到降維后的特征，即訓練使用的特征向量，再用HIK-SVM對特征向量進行訓練。

為了說明本文方法的優越性，采用本文的算法、經典的HOG特征算法、V-HOG、M-V-HOG算法分別對訓練樣本和測試樣本的4個區域做實驗，對4種算法均使用HIK-SVM分類器分類，4種方法的檢測結果見表1所列。

表1　不同算法的檢測率　%

對M-V-HOG特征和LBP特征融合后的特征進行降維。降為不同維數的檢測結果見表2所列。

表2　PCA降為不同維數的檢測率　%

通過比較，當降為1 600維時，檢測率和直接融合時的檢測率相同，因此本文選擇將特征降為1 600維。為了更直觀地比較本文方法的優劣，用ROC曲線來評估系統的性能，分別定義正確檢測的車輛數、非車輛數、錯檢數和漏檢數。

DTP（True Positive，TP）為正確檢測到車輛。DFP（False Positive，FP）為誤把別的物體當成車輛，錯檢。DFN（False Negative，FN）為誤把車輛當成別的物體，漏檢。DTN（True Negative，TN）為正確檢測到非車輛。

虛警率（False Positives Rate，用RF表示）定義為：

對測試集進行測試時，記錄正、負樣本在分類器下的輸出，通過改變分類器的模型的閾值得到ROC曲線。本文只選擇經典的HOG特征和降為1 600維的M-V-HOG＋LBP特征作比較。不同區域的ROC曲線如圖3所示。

檢測率（Detection Rate，用RD表示）定義為：

圖3　不同區域的ROC曲線

由圖3可見，在檢測率相同的情況下，HOG算法的虛警率高于本文的算法，本文算法的檢測效果較好。

本文使用HIK-SVM分類器對降維后的特征進行分類，分類速度快，與經典的SVM分類器相比較的結果見表3所列。

表3　SVM和HIK-SVM檢測800張測試圖片時間　s

由表3可知使用HIK-SVM分類器分類速度快，更加滿足實時性的要求。

使用本文算法和經典的HOG＋SVM算法部分實驗結果如圖4所示。

圖4　本文算法和HOG算法部分實驗結果

圖4a為HOG算法實驗結果，圖4b為本文算法實驗結果，由檢測結果比較可知，對于圖中部分重疊但是重疊不嚴重的車輛和圖中遠處的車輛，本文算法都可以檢測出來，然而經典的HOG算法卻不能，說明本文算法較好。

5　結束語

在實際應用中對車輛檢測的檢測效率和實時性要求越來越高，本文的特征在輪廓梯度特征的基礎上加以改進，并和紋理特征相融合，經過實驗證明，本文的特征比單一特征含有更多的信息，檢測精度有明顯提高，同時系統的實時性也得到了提高，使車輛檢測系統在總體性能上有較大的提升。但本文方法對車輛高峰期擁堵和重疊嚴重的情況下檢測效果不是很好，這將作為后續的研究重點，以進一步提高車輛檢測系統的性能。

［參考文獻］

［1］Li Xing，Guo Xiaosong.A HOG feature and SVM based method for forward vehicle detection with single camera［C］//IEEE International Conference on Intelligent Human-Machine Systems and Cybernetics，2013：263-266.

［2］Lee C，Kim J，Park E，et al.Multi-feature vehicle detection using feature selection［C］//IEEE International Conference on Systems，Man，and Cybernetics，2013：234-238.

［3］楊強，齊美彬，蔣建國.一種用于車輛檢測的選擇性背景更新方法［J］.合肥工業大學學報：自然科學版，2011，34 （4）：509-514.

［4］蔣建國，劉揚，詹曙，等.灰度視頻序列中駕駛員疲勞實時檢測方法［J］.合肥工業大學學報：自然科學版，2008，31 （9）：1424-1427，1442.

［5］Chiu C C，Chung M L，Chen W C.Real-time front vehicle detection algorithm for an asynchronous binocular system［J］.Journal of Information Science and Engineering，2010，26 （3）：735-752.

［6］Gepperth A R T.Co-training of context models for real-time vehicle detection［C］//2012 IEEE Intelligent Vehicles Symposium，2012：814-820.

［7］Huang J Y，Hu H Z，Liu X J，et al.Research on recognition of motional vehicle based on second-difference algorithm［C］//IEEE International Symposium on Industrial Electronics，2009：292-296.

［8］雷美琳，肖志濤，崔琴.基于雙特征的前方車輛實時檢測［J］.天津師范大學學報：自然科學版，2010，30（1）：23-26.

［9］慕永云，王榮本，趙一兵，等.基于多特征融合的前方車輛檢測方法研究［J］.計算機應用研究，2011，28（9）：3572-3575.

［10］Aytekin B，Altug E.Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information［C］//IEEE International Conference on Systems，Man，and Cybernetics，2010：3650-3656.

［11］張全發，蒲寶明，李天然，等.基于HOG特征和機器學習的工程車輛檢測［J］.計算機系統應用，2013，22（7）：104-107.

［12］王云建，孫志梅，張樺.基于SIFT特征的前方車輛檢測算法［J］.杭州電子科技大學學報，2013，33（3）：33-36.

［13］蔡益紅.多特征融合的道路車輛檢測方法［J］.計算機技術與自動化，2013，32（1）：98-102.

［14］李文波，王立研.一種基于Adaboost算法的車輛檢測方法［J］.長春理工大學學報：自然科學版，2009，32（2）：292-295.

［15］Arrospide J，Salgado L，Marinas J.HOG-like gradient-based descriptor for visual vehicle detection［C］//2012 IEEE Intelligent Vehicles Symposium，2012：223-228.

［16］Maji S，Berg A，Malik J.Classification using intersection kernel SVMs is efficient［C］//2008 IEEE Conference on Computer Vision and Pattern Recognition，Anchorage，AK，USA，2008：1-8.

（責任編輯張淑艷）

Vehicle detection method based on multi-features fusion and intersection kernel SVM

HU Qing-xin，JIAO Wei，GU Ai-hua
（School of Computer and Information，Hefei University of Technology，Hefei 230009，China）

Abstract：In this paper，a vehicle detection method which combines multi-resolution histograms of oriented gradients（HOG）features and local binary pattern（LBP）features as mixed features is proposed by using the image information under different resolutions to improve the accuracy and efficiency of detection.Because the dimension of the mixed features is greater than any single feature and causes the poor real-time performance，the principal component analysis（PCA）is used to decrease the dimension of the mixed features，and the histogram intersection kernel support vector machine（HIK-SVM）is used for the features classification.The experimental results show that the proposed method can detect vehicles with higher detection rate and less calculating time.

Key words：vehicle detection；multi-features fusion；histograms of oriented gradients（HOG）；local binary pattern（LBP）；principal component analysis（PCA）；histogram intersection kernel support vector machine （HIK-SVM）

作者簡介：胡慶新（1965-），男，安徽淮南人，合肥工業大學副教授，碩士生導師.

基金項目：高等學校博士學科點專項科研基金資助項目（20120111110001）

收稿日期：2014-12-12；修回日期：2015-01-07

Doi：10.3969/j.issn.1003-5060.2016.01.016

中圖分類號：TP391.413

文獻標識碼：A

文章編號：1003-5060（2016）01-0084-06