基于改進的HOG與Sobel-LBP融合的快速行人檢測

疏 坤, 蔣建國, 齊美彬, 岳周龍

(合肥工業大學 計算機與信息學院,安徽 合肥 230009)

?

基于改進的HOG與Sobel-LBP融合的快速行人檢測

疏 坤, 蔣建國, 齊美彬, 岳周龍

(合肥工業大學 計算機與信息學院,安徽 合肥 230009)

行人檢測是目標識別領域的一大難題,針對行人檢測存在特征維度高、檢測耗時和精度低等問題,文章提出使用多尺度分塊方式將樣本圖片在3個尺度下分別分割成5個區域,在每個區域中根據行人輪廓置信模板和梯度方向量化權值進行二次加權統計得到梯度直方圖(histogram of oriented gradient,HOG),并將其與Sobel邊緣局部二元模式 (Sobel edge local binary pattern,Sobel-LBP) 算法相融合作為特征,然后采用線性支持向量機(support vector machine,SVM)分類方法學習得到行人檢測分類器,最后使用滑動窗口法檢測出行人。在MIT和INRIA庫上的實驗證明,該特征在學習和檢測速度上都比HOG等方法有明顯優勢,能有效、準確、快速地檢測行人。

行人檢測;梯度直方圖(HOG);行人輪廓置信模板;量化權值;Sobel邊緣局部二元模式(Sobel-LBP)

0 引 言

行人檢測是計算機視覺和模式識別領域中的重要研究方向,在智能輔助駕駛[1]、智能監控[2]及增強現實[3]等領域都有著廣泛的應用。不同行人的身材、姿勢、衣著不同,光照和觀察視角也可能存在很大變化,加之復雜的背景場景以及攝像頭自身的移動和晃動,這都是行人檢測問題的難點。快速、準確地從視頻或者圖像背景中將行人檢測出來,仍然具有挑戰性。

行人檢測方法主要可分為以下2類:① 基于背景建模的方法,先利用背景建模方法提取前景目標,然后利用分類器進行分類,判斷是否包含行人;② 直接采用不同尺度的滑動窗口來掃描圖像、提取特征,并采用基于統計學習的分類器來判別窗口內部圖像是否為行人。該方法是目前最常用的行人檢測方法。提取的特征主要有目標的顏色、灰度、紋理、邊緣、梯度直方圖(histogram of oriented gradient,HOG)等信息。分類器主要包括神經網絡、支持向量機(support vector machine,SVM)、AdaBoost、隨機森林以及深度學習。文獻[4-5]采用級聯AdaBoost學習算法(即選擇超過一定閾值的弱分類器組成強分類器的算法)提取基本Haar-like特征和擴展的2個Haar-like特征,用于視頻監控的行人檢測;文獻[6]提出的HOG是目前使用最為廣泛的行人特征描述子,HOG基于梯度信息并允許塊間相互重疊,因此對光照變化和偏移不敏感,能有效地刻畫人體的邊緣特征,然而由于大量的重疊和直方圖統計,導致其特征維度高,計算速度慢,進而影響實時性,且遮擋處理能力較差;文獻[7]利用局部二元模式(local binary pattern,LBP)特征描述行人,方法計算速度快,對單調變化的灰度特征具有不變性,但對低分辨率下的行人判別能力較差;文獻[8-9]采用HOG+LBP特征用于行人檢測,能很好地刻畫行人的形狀和紋理,然而特征維度很高導致特征計算耗時,行人檢測效率低下;文獻[10]采用隨機森林分類器并提取HOG+LBP特征來做行人檢測,行人檢測準確率較高,然而特征維度也比較高,另外學習分類器比較耗時；文獻[11]采用多特征融合的方式結合SVM學習得到行人檢測分類器,但計算復雜,特征維度高,行人檢測效率低。

基于以上研究存在特征向量維度大、行人檢測效率低、檢測精度低等缺點,本文針對其進行改進。首先將樣本圖片多尺度分塊規格化,然后分別根據行人輪廓置信模板和梯度方向量化權值加權提取HOG特征,并融合Sobel輪廓的LBP統計直方圖特征,最后引入線性SVM作為該特征的分類器,與傳統的HOG特征提取方法不同的是,本文特征將行人圖像在3個尺度下分別提取特征,且在每個尺度下分為5個block,并通過行人輪廓置信模板和梯度方向量化權值進行加權統計得到,梯度方向量化權值由不同區域的輪廓特性得到,由于提取的特征維數低,學習和檢測所用的時間很少,且3個尺度下的特征提取方式滿足一般場景中行人檢測的需求,同時分塊特征描述在行人遮擋情況下的表現比經典的HOG特征要好,本文方法大大提高了行人檢測的效率。

1 改進的HOG特征提取

在行人檢測樣本的學習過程中,行人圖片中背景的干擾可能降低檢測效果,本文首先利用行人置信模板對全局HOG特征進行加權,消除部分背景影響,然后將圖片分別在3個尺度下分成5塊,對每個塊進行梯度直方圖統計,根據行人在不同區域梯度方向的各異性選取合適的權值,對行人置信模板得到的加權HOG特征進行了二次加權,在保證行人檢測效果的情況下,極大地減少了特征維度,提高了檢測效率。

1.1 置信模板加權HOG特征

加權HOG特征提取過程如圖1所示。傳統的HOG特征是針對整張圖片進行提取的,然而由于圖像中背景的干擾,且圖像中除了行人輪廓,其他區域(如上下身內部單一的顏色區域)對行人的差異性描述貢獻不大,HOG特征中存在大量的冗余信息,因此若能有效降低行人輪廓以外區域的特征表達，將對行人檢測準確率的提高有較大幫助。本文針對不同的訓練樣本,通過提取樣本圖片的Sobel輪廓,疊加后對全局像素值進行歸一化生成行人輪廓置信模板,并將圖像中對應區域的梯度通過該置信模板加權得到新的梯度,然后統計得到新的HOG特征。

圖1 加權HOG特征提取過程

輸入圖像中像素點(x,y)的梯度為:

Gx(x,y)=V(x+1,y)-V(x-1,y)，

Gy(x,y)=V(x,y+1)-V(x,y-1)

(1)

其中,Gx(x,y)、Gy(x,y)、V(x,y)分別表示輸入圖像中像素點(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(x,y)處的梯度幅值為:

(2)

加權之后的梯度幅值為:

Gw(x,y)=G(x,y)W(x,y)/255

(3)

其中,W(x,y)為置信模板中對應位置的值；梯度方向為:

(4)

1.2 block選擇和梯度方向量化加權

在文獻[6]的方法中對一般的圖片提取HOG特征時,所有block和cell的大小是固定的,為了最大化提取整幅圖像的HOG特征,總是將圖片規格化為block窗口大小的整倍數,如果行人圖像的寬高比不一樣,那么會導致人體形狀輪廓變形,提取的HOG特征與正樣本比較有較大差異,從而行人檢測識別的效果就會下降。

行人檢測圖片一般常用的大小為64×128,然而有些圖片如 INRIA數據庫[12]部分行人矩形框寬高比為1∶3,若將圖片規格化為統一大小，則行人會出現較大變形,若將該圖用于行人檢測的測試樣本,由于提取的HOG特征存在差異,則檢測結果也將受到影響。另外針對行人遮擋情況,經典HOG特征無法很好地處理。綜上所述,本文提出將樣本圖片進行多尺度分塊后,針對每一個block提取HOG特征,與傳統方法不同的是本文在block內部不再劃分cell,且block數目少,而且該方法根據行人圖片中不同block區域的輪廓特性,賦予了不同梯度方向量化權值,最后將其與每個block區域中的梯度統計直方圖進行加權,因此本文方法的特征維數遠小于HOG特征的維數,且行人輪廓特征在HOG特征中的表達進一步加強。

本文利用無需圖像尺度縮放的行人檢測思想[13]將行人樣本圖片分別在3個尺度下提取特征。實驗結果表明,在3個尺度下提取行人特征是權衡特征維度低和檢測效果好的最佳選擇。

為了解決行人遮擋問題,本文借鑒分塊算法[14],將行人分成5個block,如圖2所示,分別為頭部、上身(左右各一半)和下身(左右各一半)。當行人一半身體被遮擋時仍能保證有另一半的block特征對行人檢測效果做出貢獻。

圖2 行人部位分塊

本文針對每一個block提取加權HOG特征,并通過實驗確定單個block中特征的維數和行人識別率的關系,如圖3所示,本實驗的測試集來自INRIA數據庫,可以看出當特征維度超過10時,行人的識別率開始下降,因此本文將梯度方向量化為10個區間,即梯度方向值為VHOG(x,y)∈{0,1,…,10}。

圖3 單個block中加權HOG特征維度與行人識別率的關系

由(4)式計算出的梯度方向夾角如圖4a所示,不同的輪廓方向對應不同的梯度方向量化區間如圖4b所示。

圖4 不同的輪廓對應的梯度方向量化區間

通過觀察圖1中的行人輪廓置信模板發現,在5個行人分塊中,每個區間內梯度方向的量化權重是不同的,人體頭部區域輪廓梯度方向夾角集中在水平和傾斜兩段,上身區域集中在豎直和傾斜兩段,下身區域則集中在豎直段。人體各區域梯度方向的大致分布特性如圖5所示。該分布為近似高斯分布。

圖5 行人輪廓置信模板分塊及區間權重分布

現實場景中由于人體衣物或者背景的影響,這種分布在某些情況下可能呈現出均勻分布,為了進一步突出行人輪廓區域的梯度特性,本文利用人體各區域梯度方向量化權重分布對HOG特征進行再加權,即

(5)

為了消除陰影、光照以及邊緣變化對特征向量產生的影響,本文采用歸一化區間塊內的特征向量,具體如下:

(6)

將所有的block特征串接生成多尺度分塊加權HOG特征:

(7)

F={Fs1,Fs2,Fs3}

(8)

其中,Fsi為第i個尺度下的分塊二次加權HOG特征。

2 Sobel-LBP特征提取

LBP特征是一種有效的紋理描述算子,然而傳統的做法是對原始圖像直接提取LBP特征,這樣背景的紋理信息會混入其中不利于行人的檢測,因此本文為了進一步加強輪廓信息在行人檢測中的作用,提出了Sobel-LBP特征,即先利用Sobel算子對圖像提取輪廓,然后對輪廓圖進行LBP特征提取,保證不丟失紋理和輪廓信息的同時也降低了背景噪聲的影響。

LBP特征反映的是每個像素與周圍像素的關系,如圖6所示。圖6中,二進制編碼為11100110;LBP=1+2+4+32+64=103。

圖6 LBP特征的計算方式

將LBP的定義進行擴展,3×3鄰域可以擴展到任意鄰域,并用圓形鄰域代替正方形鄰域,改進后的LBP允許在半徑為R的圓形鄰域內有任意多個像素點。半徑為R的圓形鄰域內有P個像素點gp(p=0,1,…,P)的算子表示如下:

(9)

其中,gc為該圓形鄰域的圓心像素值；

(10)

可以發現,隨著鄰域內采樣點的增加,二進制模式個數是以指數形式增加的,為了解決二進制模式過多的問題,提高統計性,文獻[15]提出了“均勻模式”的概念。實驗表明,絕大多數的LBP最多只包含2次從1到0或者從0到1的跳變。基于此,Ojala定義了“均勻模式”，即LBP所對應的循環二進制數從0到1或從1到0最多有2次跳變。因此LBP“均勻模式”定義為:

(11)

U(LBPP,R)=|s(gP-1-gc)-s(g0-gc)|+

(12)

實驗中該方法計算所得的大部分值在這58種中,可達到近90%,因此實驗把值分為59類,其中58個均勻模式各為一類,其他的所有值為第59類。這樣LBP特征就從原來的256維變成了59維。

通過實驗發現將改進的HOG特征和Sobel-LBP特征融合起來進行行人檢測的結果要好于只使用其中一種特征,且利用本文Sobel-LBP特征的檢測準確率要高于使用一般的LBP特征。

3 行人檢測步驟

利用本文特征進行行人檢測的流程如下:

(1) 利用行人正樣本庫統計得到行人輪廓置信模板,并將行人正負樣本以及輪廓置信模板分別規格化為3個尺度(大小分別為原圖的1、3/4、1/2),同時將每個尺度的圖片分成頭部、上下身(左右)5個模塊(block)。

(2) 在每個block中根據梯度方向夾角的區間權重分布(多次實驗得到的經驗值)和行人輪廓置信模板對應位置的大小提取加權HOG特征。

(3) 對樣本圖片進行Sobel邊緣提取,并對處理后的圖像在3個尺度下求取均勻模式的LBP直方圖統計特征,然后進行與HOG特征提取類似的歸一化操作。本文通過實驗驗證可知,若在每個尺度下對每個block中進行LBP直方圖統計得到的特征向量維度為3×5×59=885維,而只對每個尺度進行LBP直方圖統計,則特征向量維度為3×59=177維,對比實驗結果發現維度低的情況下行人檢測率高于維度高的LBP特征。由于在LBP特征提取之前,Sobel邊緣提取抑制了部分背景噪聲,使得若在每個block中統計LBP直方圖將降低目標與背景像素的比重,行人檢測結果反而不理想。因此本文采用對每個尺度進行LBP直方圖統計的方式提取特征。

(4) 將提取的特征依次串接,最終得到的特征維數為(10×5+59)×3=327維。

(5) 最后將特征數據送入SVM學習分類得到行人檢測分類器,利用該分類器即可在圖片中利用滑動窗口法檢測行人。

4 實驗與結果

本文選用的行人庫為MIT數據集[11]和INRIA數據集[12],MIT樣本庫只包含行人的正面和背面2個視角,輪廓清晰,無負樣本,未區分訓練集和測試集,INRIA樣本庫中行人的服飾、姿態、光照和視角等因素的變化很大,是一個難度非常高并且目前使用最多的靜態行人檢測數據庫。本文針對2個庫單獨訓練測試,實驗平臺為Intel酷睿i7四核、3.6GHz的CPU以及16GB內存的PC機。MIT樣本庫的訓練集為庫中的400個正樣本(大小為64×128,取924張行人圖片的前400張)和INRIA樣本庫的1 218張非行人圖片中隨機采集的1 200個負樣本,測試集為MIT庫中余下的524張行人圖片。

本文特征與HOG特征在行人檢測方面的性能比較見表1所列,其中檢測時間為利用相應特征針對一幅640×480大小的圖片進行行人檢測的總耗時,HOG+SVM檢測耗時是由OPenCV自帶的HOG行人檢測子的檢測結果,HOG+LBP+SVM檢測耗時是由文獻[9]提出的方法利用C++編程得到的結果,HOG+LBP+RF檢測耗時是由隨機森林行人檢測方法[10]得到的結果。本文方法檢測耗時是利用本文特征學習得到的SVM分類器在圖片中利用滑動窗口法的檢測結果,可以看出本文方法的行人檢測效率遠高于其他方法。

表1 本文特征與其他特征性能綜合比較

INRIA樣本庫的訓練集為庫中的2 416個正樣本(64×128)和1 218張非行人圖片中隨機采集的7 000個負樣本(64×128)。測試集為庫中的1 126個正樣本(64×128)和453張非行人圖片中隨機采集的7 000個負樣本(64×128)。

為評估系統的性能,分別定義DTP(true positive,TP)為正確檢測到行人。DFP(false positive,FP)為誤把別的物體當成行人,錯檢。DFN(false negative,FN)為誤把行人當成別的物體,漏檢。DTN(true negative,TN)為正確檢測到非行人,沒有漏檢和錯檢。

虛警率RF定義為:

RF=DFP/(DFP+DTNV)

(13)

檢測率RD定義為:

RD=DTP/(DTP+DFN)

(14)

通過比較檢測率與虛警率曲線得到ROC曲線。本文方法在INRIA數據集上的實驗結果如圖7所示。在虛警率為1.2×10-4時,與HOG+SVM方法相比,本文方法在INRIA數據集上檢測率提高了7%；與HOG+LBP+SVM方法相比,本文方法檢測率提高了4%。

圖7 本文方法與其他特征在INRIA數據集上的ROC曲線對比

綜上所述,實驗證明了本文提出的特征在行人檢測的速度和準確性方面比HOG特征和HOG+LBP特征都有很大的提升。

5 結 論

本文針對行人檢測中特征維度高,檢測效率低下的問題,提出一種改進的HOG與Sobel-LBP融合的特征,其中,新的HOG特征是將樣本圖片在3個尺度下分別分割成5個區域,并在每個區域中根據行人輪廓置信模板和梯度方向量化權值進行二次加權統計得到,最后將其與Sobel-LBP融合生成特征向量,該特征向量維度低、學習速度快,在MIT和INRIA行人樣本庫上都取得了不錯的檢測速度和效果。

本研究還存在如下不足,單個的行人置信模板針對不同的樣本庫適應性尚不夠理想;另外對單幅720×1 280視頻圖像中的行人還無法達到實時檢測的要求,同時行人檢測的準確度有待進一步提高。下一步會把復雜場景下的行人檢測作為主要的研究方向,優化行人全局檢測算法,同時將引入深度學習算法,以期待進一步提高行人檢測的性能。

[1] DAVID G,LO′PEZ A M,SAPPA A D,et al.Survey of pedestrian detection for advanced driver assistance systems.[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(7):1239-1258.

[2] LUO R C,CHEN O.Wireless and pyroelectric sensory fusion System for indoor human/robot localization and monitoring[J].IEEE/ASME Transactions on Mechatronics,2013,18(3):845-853.

[3] UDDIN M Z,KIM D H,KIM J T,et al.An indoor human activity recognition system for smart home using local binary pattern features with hidden Markov models[J].Indoor & Built Environment,2013,22(1):289-298.

[4] VIOLA P,JONES M J,SNOW D.Detecting pedestrians using patterns of motion and appearance[J].International Journal of Computer Vision,2005,63(2):153-161.

[5] JONES M J,SNOW D.Pedestrian detection using boosted features over many frames[C]//19th International Conference on Pattern Recognition,ICPR 2008.Cambridge,Mass:Mitsubishi Electric Research Laboratories,Inc.,2008:1-4.

[6] DALAL N,TRIGGS B.Histograms of oriented gradients for human detection[C]//CVPR′05 Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR′05).Washington,D.C.:IEEE Computer Society,2005:886-893.

[7] MU Y D,YAN S C,LIU Y,et al.Discriminative local binary patterns for human detection in personal album[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2008:1-8.

[8] WANG X,HAN T X,Yan S.An HOG-LBP human detector with partial occlusion handling[C]//IEEE 12th International Conference on Computer Vision(ICCV).[S.l.]:IEEE,2009:32-39.

[9] GAN G,CHENG J.Pedestrian detection based on HOG-LBP feature[C]//2011 Seventh International Conference on Computational Intelligence and Security.Washington,D.C.: IEEE Computer Society,2011:1184-1187.

[10] MARIN J,VAZQUEZ D,LOPEZ A M,et al.Random forests of local experts for pedestrian detection[C]//IEEE International Conference on Computer Vision (ICCV),2013.[S.l.]:IEEE,2013:2592-2599.

[11] The Center for Biologyical & Computational Learning. MIT Database[EB/OL].[2015-12-20].http://cbcl.mit.edu/software-datasets/PedestrianData.html.

[12] DALAI N.INRIA Person Database[EB/OL].[2015-12-20].http://pascal.inrialpes.fr/data/human/.

[13] BENENSON R,MATHIAS M,TIMOFTE R,et al.Pedestrian detection at 100 frames per second[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition.Washington,D.C.:IEEE Computer Society,2012:2903-2910.

[14] WU B,NEVATIA R.Detection of multiple,partially occluded humans in a single image by Bayesian combination of edgelet part detectors[C]//IEEE 10th International Conference on Computer Vision(ICCV).[S.l.]:IEEE,2005:90-97.

[15] OJALA T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,24(7):971-987.

[16] 常峰,楊彬,竇建華.基于多特征和級聯分類器的行人檢測算法[J].合肥工業大學學報(自然科學版),2014,37(12):1456-1461.

(責任編輯 閆杏麗)

Fast pedestrian detection based on combinatory feature of improved HOG and Sobel-LBP

SHU Kun, JIANG Jianguo, QI Meibin, YUE Zhoulong

(School of Computer and Information, Hefei University of Technology, Hefei 230009, China)

Pedestrian detection is a major difficulty in object recognition. To further improve the detection rate, decrease the large dimensions of features and solve the time-consuming problem in pedestrian detection, multi-scale blocks mode is integrated to extract features. Firstly, the sample image is divided into five regions in three scales, and the weighted histogram of oriented gradient(HOG) is obtained by corresponding confidence level according to the pedestrian outline incredible template and gradient quantitative weights in every scale, which is combined with Sobel edge local binary pattern(Sobel-LBP) as detecting feature. Afterwards, the linear support vector machine(SVM) classification is learned and used to detect pedestrian with sliding window method. Experimental results at the MIT and INRIA test set indicate that there are obvious advantages in the learning and testing speed compared with HOG and several other methods. The proposed method is effective, accurate and rapid in pedestrian detection.Key words:pedestrian detection; histogram of oriented gradient(HOG); pedestrian outline incredible template; quantitative weight; Sobel edge local binary pattern(Sobel-LBP)

2016-01-27；

2016-03-09

國家自然科學基金資助項目(61371155);安徽省科技攻關資助項目(1301b042023)

疏 坤(1991-),男,安徽安慶人,合肥工業大學碩士生; 蔣建國(1955-),男,安徽合肥人,合肥工業大學教授,博士生導師; 齊美彬(1969-),男,安徽池州人,博士,合肥工業大學教授,碩士生導師.

10.3969/j.issn.1003-5060.2017.07.007

TP391.4

A

1003-5060(2017)07-0898-06