一種基于HOG-LBP的高效車輛檢測方法

楊先鳳,楊 燕

(西南石油大學計算機科學學院,成都610500)

一種基于HOG-LBP的高效車輛檢測方法

楊先鳳,楊 燕

(西南石油大學計算機科學學院,成都610500)

針對形狀特征在車輛檢測中存在的誤檢現象,在分析誤檢原因的基礎上,提出一種融合形狀和紋理特征的車輛檢測方法。對檢測窗口中劃分的胞元進行方向梯度直方圖特征和統一化局部二進制模式算子的求解,統計檢測窗口中各胞元的特征情況,在形成瀏覽窗口的形狀和紋理特征過程中,采用主成分分析解決特征的高維度和冗余問題,結合支持向量機進行特征訓練和檢測實驗。實驗結果證明,該方法有效兼顧車輛圖像的形狀和紋理兩方面的特征,在不影響檢測速度的同時,明顯降低了車輛檢測的誤檢率,在時效和精度兩方面都取得較好的效果。

車輛檢測;誤檢;方向梯度直方圖;局部二進制模式;主成分分析;支持向量機

1 概述

車輛檢測主要用于車輛識別和交通安全等領域,現在已經引起了眾多學者廣泛的研究[1],對于車輛的靜態檢測,目前主要利用基于形狀特征的檢測方法,例如,文獻[2]采用一種對局部特征進行統計的方法在車輛檢測中取得了較好效果,文獻[3]采用Haar特征聯合AdaBoost分類器實現了車輛的檢測和識別。然而,由于檢測環境的復雜性和環境光線等因素的影響,類似的形狀特征檢測方法仍然存在誤檢和漏檢幾率較高的問題。因此,在一些目標檢測中,部分學者為了克服單一形狀特征表達能力的不足,提出采用聯合特征解決單一特征存在的問題。文獻[4]結合方向梯度直方圖(Histogram of Oriented Gradient,HOG)和Haar特征實現了對貓頭部的有效檢測。文獻[5]采用Haar和局部二進制模式(Local Binary Pattern,LBP)特征進行了行人的面部和頭部檢測,取得了一定的成果。文獻[6]結合AdaBoost算法,利用HOG-LBP特征對海鳥進行了特征分析,并利用支持向量機(Support Vector Machine,SVM)進行了分類實驗。文獻[7]主要針對遮擋情況下的檢測問題,采用行人的HOG-LBP特征的同時,利用檢測窗口的分塊類別標注分析判別遮擋情況,最后采用SVM[8]進行訓練和檢測。文獻[9]在文獻[7]研究的基礎上采用基于HOG和LBP特征的聯合直方圖完成了行人檢測分析。

基于以上眾多學者研究成果的啟發以及實際車輛檢測中誤檢問題的分析,本文將HOG-LBP特征應用于車輛檢測,兼顧基于形狀和紋理兩方面的特征進行檢測。

2 HOG特征及其誤檢分析

方向梯度直方圖是文獻[10]提出的一種檢測方法,其核心思想就是通過對目標區域的梯度方向分布統計來描述目標物的外形結構。在HOG計算過程中,首先對圖像進行Gamma空間和顏色空間標準化,統一轉化為灰度圖像,其Gamma標準化如下:

I(x,y)=I(x,y)Gamma (1)

當進行平方根標準化時可以取Gamma=1/2。接著選取(-1,0,1)的Sobel模板加上高斯模糊獲取水平和垂直方向的梯度,并以此計算出梯度幅值和方向。然后將圖像劃分為一定尺度的可以沿橫縱方向滑動的描述塊,在描述塊中劃分等大小的胞元,最后對各胞元的梯度投影到一定方向上進行直方圖統計,形成每個胞元的梯度方向直方圖,進而統計并歸一化得出每個描述塊的梯度直方圖向量[11],稱為HOG描述符。最后把所有描述塊的直方圖向量連接起來形成圖像的HOG特征描述符。其中,檢測窗口包含的特征維數由描述塊和胞元參數決定,假設一個塊包含a個胞元,每個胞元投影方向數目為b,所以一個塊含有ab個梯度直方圖,又因為一個窗口包含c個塊,所以一個窗口包含abc個梯度直方圖。

在目標檢測領域,HOG特征由于其對目標形狀的良好刻畫而獲得了廣泛應用,但仍然存在較多的錯誤檢測。圖1(a)是車輛檢測中出現錯誤檢測的原始圖像,對其進行 HOG特征可視化,如圖1(b)所示,再完成逆變換并將其可視化,如圖1(c)所示。可以看出,該逆變可以獲取和車輛圖像極其接近的圖像,因此,當利用該HOG特征對該圖像進行檢測時,就會錯誤地將其判定為車輛圖像,因為該原始圖像HOG特征與車輛圖像HOG特征是極其相似的,這也是HOG本身存在的表達局限性決定的。通過實驗分析同樣可以得出,當不斷擴大特征維數或者采用更好的學習算法時,該原始圖像仍然會被錯誤地檢測為車輛,誤檢情況仍然無法得以有效改善。

圖1 HOG特征及其逆變換

3 HOG-LBP特征提取

由上一節中的誤檢分析可以看出,由于HOG算子在形狀表達時本身存在的局限性,使其對于目標描述的區分能力有限,因此造成許多誤檢目標。考慮到局部二進制模型[12]具有較好的局部紋理表達能力和單調灰度不變性,本文利用與LBP相似的局部圓形鄰域算子表達目標紋理特征[13],記該局部圓形鄰域算子為LCNP,R,P表示鄰域P;R表示鄰域半徑,對于不在像素中心位置的鄰域點,通過雙線性插值確定其值,如圖2所示。圖2表示P=8,R=1的鄰域,為了計算圓環左上角空心圓點f7的值需要用其周圍的4個像素點進行插值,首先分別計算點1和點2的水平差值,點1的計算如下:

同理計算點2的值:

豎直線性插值計算點3的值:

圖2 P=8,R=1鄰域及其插值計算

對于一個分塊區域來說,標準的LBP算子獲取的二進制模式數目較多,實際位于該分塊區域中的像素數目較少,從而使區域特征失去統計意義,因此,本文采用統一化LBP算子進行紋理特征分析。如上所述,由于實際計算得出的HOG和LBP特征向量都存在高維冗余特性,不僅減緩了檢測和訓練速度,而且部分冗余信息甚至會降低檢測精度。PCA方法[14]的實現簡單高效,更為重要的是其降維后的特征向量仍然具有優秀的描述能力,因此,本文采用PCA對HOG和LBP特征向量進行降維。PCA降維的基本原理是通過對原來的樣本空間進行一個空間變換,求得一個投影矩陣,使得原來坐標投影到一個新的、維度更低的且相互正交的空間上,便可以將高維特征的維數下降到指定的維數。假設一個由n個訓練樣本組成的訓練樣本矩陣為:

其中,向量xi為第i個圖像的特征列向量,且各列向量的平均值u如下:

其中,A=(d1,d2,…,dn);di為第i維特征向量與u的差值矢量。

采用奇異值分解(SVD)定理,通過求解AAT的特征值和特征向量來獲得協方差矩陣c的特征值和特征向量。求出AAT的特征值λi及其正交歸一化特征向量vi,根據特征值的貢獻率選取前p個最大的特征向量及其對應的特征向量,貢獻率表示如下:

則協方差矩陣c可以表示為:

求出原協方差矩陣的特征向量:

則投影矩陣為w=(h1,h2,…,hp),將每一維特征向量與u的差值矢量投影到一個新的特征空間:

得出降維后的訓練集為:

將待檢測的特征向量t與u的差值矢量也可以投影到新的特征空間,得到其特征向量表示為:

最后,將降維后的HOG特征向量yHOG和LBP特征向量yLBP共同作為樣本訓練的特征向量,而zHOG和zLBP作為待檢測窗口的檢測特征向量。結合各特征提取過程,該方法的描述如圖3所示。

圖3 HOG-LBP框架流程

4 實驗分析

實驗中,為了證明本文方法的有效性,以支持向量機(SVM)作為實驗訓練和分類工具,使用UIUC車輛庫作為實驗對象進行訓練和檢測實驗。

4.1 實驗步驟及結果分析

實驗主要包括特征學習階段和車輛檢測階段,其主要實驗步驟如下:

(1)選定正負樣本:在車輛庫中,選取102×42窗口大小的圖片作為訓練的源正樣本。選取102× 42大小的無車輛圖像的隨機圖像作為訓練的源負樣本,本實驗源正樣本選取600個,源負樣本選取1 000個進行學習。

(2)提取HOG和LBP特征。參考文獻[10]中的HOG參數選取評估分析,實驗過程中取描述塊大小為18×18,胞元大小為6×6,描述塊橫縱移動間隔為6,投影方向為18,對檢測窗口進行HOG計算,較其他參數設置將獲取最優的檢測效果。對一個102×42的檢測窗口,按照上節描述,可以將其劃分為75塊,采用 HOG特征描述后可以得到12 150維特征向量。與此同時,參考文獻[7]對LBP參數選取的對比分析,選取鄰域半徑為1的8鄰域對每個胞元進行LBP計算,結合上述描述塊和胞元等參數,可以獲取11 800維LBP特征向量。

(3)按照上節所述的PCA算法,并采納99%的貢獻率對步驟(2)中的高維特征向量進行降維處理,獲取訓練樣本的HOG-LBP特征空間。

(4)將提取出來的HOG-LBP特征采用線性核函數的SVM中訓練,生成基本分類器,采用基本分類器對所有源負樣本進行掃面檢測,將其中檢測錯誤的子圖像歸為困難負樣本,將之前的正樣本和負樣本與困難樣本一起對基本分類器進行二次訓練得到初始分類器,最后將訓練結果保存以供下一階段的檢測。

(5)設置檢測窗口瀏覽圖像,對于每一個尺度和位置的檢測窗口,其PCA降維后的HOG-LBP特征向量被計算,利用學習階段所訓練完成的分類器將所獲特征向量進行分類,將目標區域用矩形標出,其實驗結果如圖4所示。從圖4可以明顯看出,在背景復雜和有遮擋情況下,本文采用的檢測方法都可以取得較為明顯的檢測效果,達到了預期的檢測性能。

圖4 部分檢測結果

為了進一步驗證本文方法的有效性,在不考慮貢獻率情況下,實驗中通過PCA降維維度分析了檢測率和檢測速度2個指標。實驗結合正負樣本的總檢測精度,研究了檢測率和檢測時效同檢測維度的變化關系,其變化關系如圖5所示。

如圖5所示,當檢測維數低于600維時,雖然檢測的耗時較少,但是由于降維深度過大,有貢獻的特征維數減少,在降維減少冗余的同時,另造成了部分重要特征信息的丟失,引起特征表達的不足,檢測正確率降低,正如圖5(a)中,當維數低于600維時,檢測率隨著維數的增加會出現一個較大的遞增過程。當維數高于1 000維時,由于特征信息中逐漸增多了混疊和冗余,檢測時效的消耗有所增加,而且檢測精度降低,正如圖5中,當維數高于1 000維時精度曲線呈降勢,時效曲線呈升勢。當檢測維度在500～800維時,可以達到較好的檢測效果,而所需的時間雖然較500維以下維度有所增加,但是其增加總幅度介于60 ms以內,所以當特征維度在這一范圍內時可以達到理想的檢測效果,其中當檢測維度取600時,檢測精度可以達到最佳的98.22%,而所需檢測時間214 ms,滿足檢測精度和時效要求。

圖5 檢測率和檢測時間對特征維度的影響

4.2 性能對比分析

實驗首先采用文獻[10]的單一HOG特征檢測方法進行實驗,然后采用文獻[4]的HOG-LBP特征方法進行檢測,部分比較結果如圖6所示。第1列表示采用HOG-LBP特征的部分檢測結果,第2列表示采用本文所用方法的部分檢測結果。

圖6 PCA降維前后檢測結果

表1則表示采用HOG、HOG-LBP以及本文方法對500個不包含車輛的負樣本進行檢測的誤檢幾率對比,以及500個包含車輛的正樣本的漏檢率對比。

表1 3種方法檢測精度對比 %

從圖6可以看出,雖然車輛得以正確檢測,但是由于HOG-LBP特征存在大量的冗余信息,當利用分類器對測試樣本的特征進行檢測時,這些特征向量冗余信息會導致特征向量的描述能力降低,從而產生圖6第2行所示的錯誤檢測。表1分析可以得出,基于HOG-LBP特征方法較HOG方法顯著提高了車輛檢測的檢測精度,而本文在HOG-LBP基礎上進行降維處理后的檢測效果較其他2種方法在性能方面都有明顯提升,與圖5結合可以進一步證明本文所采用的方法在車輛檢測中取得了理想效果和準確度。

在配置Intel i3,4 MB內存,Window 7(32)的計算機上,采用本文提出的方法在最佳維度600維時實現了檢測速度測試,并統計了3種方法對分類器訓練時間和200張源圖像檢測的平均檢測時間,其對比結果如表2所示。

表2 3種方法的檢測時間對比 ms

從表2分析得出,本文方法在檢測精度和時效上超越了較單一的HOG檢測方法,而與HOG-LBP方法相比,只要本文方法降維處理滿足最佳維度區間,在檢測時效和精度上同樣優于HOG-LBP檢測方法。

5 結束語

本文首先對HOG目標檢測存在的錯誤檢測進行了分析,進而提出了一種在HOG特征基礎上的快速高精度車輛檢測方法,在準確獲取HOG特征的基礎上,將LBP特征成功融入其中組成新的特征描述向量,并采用主成分分析法(PCA)對高維度和帶冗余的特征向量完成了降維操作,最后將降維后的特征向量采用支持向量機(SVM)進行訓練并完成車輛的檢測。實驗結果證明,在HOG特征基礎上采用HOG-LBP特征可以有效降低HOG特征檢測的誤檢和漏檢率,而在此基礎上采用PCA對特征向量的降維處理,進一步提高了檢測效率,以及過多冗余信息引起的誤檢率。下一步將研究把本文提出的方法應用到實際環境下的車輛檢測中。

[1] Sun Zehang,BebisG,MillerR.On-road Vehicle Detection:A Review[J].Pattern Analysis and Machine Intelligence,2006,28(5):694-711.

[2] Wang R C C,Lien J J J.Automatic Vehicle Detection Using Local Features——A Statistical Approach[J]. IEEE Transactions on Intelligent Transportation Systems,2008,9(1):83-96.

[3] 王國德,張培林,任國全,等.融合LBP和GLCM的紋理特征提取方法[J].計算機工程,2012,38(11): 199-201.

[4] Zhang Weiwei,Sun Jian,Tang Xiaoou.CatHead Detection——How to Effectively Exploit Shape and Texture Features[C]//Proc.of the 10th European Conference on Computer Vision.Marseille,France: [s.n.],2008:802-816.

[5] Corvee E,Bremond F.Haar Like and LBP Based Features for Face,Head and People Detection in Video Sequences[C]//Proc.of International Workshop on Behaviour Analysis and Video Understanding.[S.l.]: IEEE Press,2011.

[6] Chunmei Q,Patrick D.Automatic Nesting Seabird Detection Based on Boosted HOG-LBP Descriptors [C]//Proc.of IEEE International Conference on Image Processing.[S.l.]:IEEE Press,1999:3577-3580.

[7] Wang Xiaoyu,Han T X.An HOG-LBP Human Detector with Partial Occlusion Handling[C]//Proc.of the 12th IEEE International Conference on Computer Vision. [S.l.]:IEEE Press,2009:32-39.

[8] Cortes C,Vapnik V.Support-vector Networks[J]. Machine Learning,1995,20(3):273-297.

[9] 黃 炎,范賜恩.聯合梯度直方圖和局部二值模式特征的人體檢測[J].光學精密工程,2013,21(4): 1047-1052.

[10] Dalal N,Triggs B.Histograms of Oriented Gradients for Human Detection [C]//Proc. of International Conference on Computer Vision&Pattern Recognition. Montbonnot,France:[s.n.],2005:886-893.

[11] Ahonen T,Hadid A,Pietikainen M.Face Description with LocalBinary Patterns:Application to Face Recognition[J].Pattern Analysis and Machine Intelligence,2006,28(12):2037-2041.

[12] Jolliffe I.Principal Component Analysis[M].[S.l.]: Wiley Online Library,2005.

[13] 文學志,方 巍.一種基于類Haar特征和改進AdaBoost分類器的車輛識別算法[J].電子學報,2011,39(5): 1121-1126.

[14] 李 林,吳 躍.一種基于HOG-PCA的高效圖像分類方法[J].計算機應用研究,2013,30(11):3476-3479.

編輯 顧逸斐

A Method of Efficient Vehicle Detection Based on HOG-LBP

YANG Xian-feng,YANG Yan
(Institute of Computer Science,Southwest Petroleum University,Chengdu 610500,China)

According to the feature erroneous inspection that consists in vehicle detection,this paper proposes a vehicle detection method based on the fusion shape and texture characteristics in analysis of the error reason.It calculates the Histogram of Oriented Gradient(HOG)feature and the unified Local Binary Pattern(LBP)operator for all cell in detection window,solves the problem of high dimension characteristic and redundancy by Principal Component Analysis (PCA)in the browser window and texture characteristics-forming process.Combined with the Support Vector Machine (SVM),it does the feature training and test experiment.Experimental results show that this method juggles both sides of the shape and texture characteristics in vehicle image effectively,significantly reduces the error probability of the vehicle detection when meets the detection speed,gets good effect both in efficiency and accuracy.

vehicle detection;erroneous inspection;Histogram of Oriented Gradient(HOG);Local Binary Pattern (LBP);Principal Component Analysis(PCA);Support Vector Machine(SVM)

1000-3428(2014)09-0210-05

A

TP39

10.3969/j.issn.1000-3428.2014.09.042

四川省應用基礎研究計劃基金資助項目(2011JY0060)。

楊先鳳(1974-),女,教授,主研方向:智能識別,數字圖像處理,數據庫技術;楊 燕,碩士研究生。

2013-09-27

2013-11-01E-mail:xianfeng730@163.com