多特征融合的行人檢測算法

康長青

(湖北文理學(xué)院數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院，湖北襄陽441053)

1 引言

行人檢測是研究在視頻中分割行人并精確定位的技術(shù)，在智能視頻監(jiān)控、智能交通等領(lǐng)域應(yīng)用廣泛。由于人體受姿態(tài)、外表、干擾等因素的影響，使得行人檢測技術(shù)成為一個非常有挑戰(zhàn)性的課題。已有的檢測算法可以分為人體模型法［1］、模板匹配法［2－4］和特征分類法［5－9］三類。第一類方法對行人外觀特征和運(yùn)動特征進(jìn)行數(shù)學(xué)建模，缺點(diǎn)是模型求解比較復(fù)雜。第二類方法采用人為經(jīng)驗與實(shí)驗驗證的模板匹配方式，然而人形模板的多態(tài)性和復(fù)雜性很難構(gòu)造出合適的模板。第三類方法通過行人統(tǒng)計特征提取，利用模式分類進(jìn)行行人和非行人的分類，得到了廣泛的認(rèn)可和關(guān)注。典型的方法有DALAL提出的基于梯度直方圖(HOG)的行人檢測算法［5］，表現(xiàn)出了優(yōu)良的檢測性能。后來學(xué)者們對HOG方法進(jìn)行了各種算法改進(jìn)［6－10］。如文獻(xiàn)［6］使用的綜合密度，梯度和空間位置等特征信息的協(xié)方差矩陣法，文獻(xiàn)［7］提出的融合顏色信息的局部二進(jìn)制模式法和文獻(xiàn)［8］提出的融合edgelets，HOG和協(xié)方差矩陣的級聯(lián)法等。分析這些方法可知，它們通過增加不同的低級特征而取得了各自的分類效果，而對紋理這一重要分類特征卻較少考慮。因此本文考慮行人紋理特征，在文獻(xiàn)［5］的基礎(chǔ)上提出融合邊緣，顏色，紋理等豐富特征的行人檢測算法。

2 行人外觀特征

行人的外觀特征通過形成分塊特征向量的方式進(jìn)行。將檢測窗口di分解為一些相互重疊的塊，通過提取每一塊的邊緣，紋理和顏色頻率特征來形成特征向量vi。下面將分別介紹這三個類別特征的提取方法。

2.1 邊緣特征的提取

邊緣特征的提取采用文獻(xiàn)［5］提出的HOG描述特征，HOG特征是針對矩形區(qū)域的梯度方向與強(qiáng)度統(tǒng)計信息而定義的一種特征。其計算過程如下:

(1)計算所有像素點(diǎn)的梯度G(x，y)和方向Ori(x，y)，即:

(2)按空間位置將圖像分成均勻的小塊(cell)，相鄰的cell組成一個大塊(Block)。

(3)在Block內(nèi)進(jìn)行歸一化直方圖來消除光照的影響，形成HOG特征向量。

HOG特征描述的是邊緣的結(jié)構(gòu)特征，位置和方向空間的量化可以抑制平移和旋轉(zhuǎn)帶來的影響;采取在局部區(qū)域歸一化直方圖，可以部分抵消光照變化帶來的影響。

2.2 紋理特征的提取

紋理特征的提取采用灰度共生矩陣法［11］進(jìn)行。灰度共生矩陣通過圖像灰度級之間的二階聯(lián)合條件概率密度函數(shù)來表示紋理，其中P(i，j d，θ)表示在給定的距離d和方向θ上，以灰度i為起點(diǎn)，出現(xiàn)灰度j的概率，表示如下:

其中，#表示集合中元素數(shù);右邊的分子項表示具有某種空間關(guān)系;灰度級分別為i;j的像素對的個數(shù);而分母項為像素對的總個數(shù)。

利用共生矩陣可以計算出大量的紋理特征，利用文獻(xiàn)［11］提出的14個紋理特征，選取其中的角二階矩，對比度，相關(guān)性，方差，差分矩，熵，和平均，和方差，和熵，差分方差，差分熵，方向性等12特征作為特征向量，詳細(xì)的公式參考文獻(xiàn)［11］。

基于灰度共生矩陣的紋理特征可以利用衣服紋理的同質(zhì)性和方向性，來區(qū)分衣服紋理和背景紋理，進(jìn)而為行人和非行人分類提供幫助。

2.3 顏色特征的提取

由于行人的身體部位(如頭/臉)可以提供的顏色特征信息有對放大、縮小、微小變形不敏感的優(yōu)點(diǎn)，有助于改善檢測效果，因此可以將這些信息用顏色頻率來表示的特征。在HSV空間選取顏色空間中梯度最大的幅值來計算每個像素點(diǎn)的梯度值和方向，用每個顏色空間被選擇的次數(shù)來表示顏色特征。

計算方法為:每個Block用一個3維的直方圖分別統(tǒng)計H、S、V 3個顏色空間被選擇的次數(shù)，得到一個3維的顏色頻率向量，并進(jìn)行歸一化。這樣每個Block只用一個3維的向量就可以表示顏色信息。

3 行人檢測分類器的創(chuàng)建

3.1 偏最小二乘法分類器

利用偏最小二乘法［12］(PLS)的主成分分析功能進(jìn)行分類器的創(chuàng)建。

PLS模型可以看作由外部關(guān)系(即獨(dú)立的X塊和Y塊)和內(nèi)部塊間關(guān)系構(gòu)成。X，Y塊的外部關(guān)系分別表示為:

其中，T，U 稱為 X，Y的成分矩陣;tk，uk為相應(yīng)的成分向量;P，Q分別是X，Y載荷矩陣;pk，qk相應(yīng)的載荷向量。E，F(xiàn)是殘差矩陣，分別是X，Y中無法用個潛在變量T，U反應(yīng)的部分。

PLS模型的計算采用NIPALS算法，通過對成分t，u和權(quán)重向量 w，c進(jìn)行迭代求解，最大化以下公式:

其中，cov(t，u)為核心向量t，u的樣本協(xié)方差。

通過NIPALS算法［12］提取一個成分后，對矩陣X，Y進(jìn)行退化，并繼續(xù)提取成分。如此往復(fù)，直到提取的成分進(jìn)行回歸能達(dá)到一個較為滿意的精度為止。NIPALS的算法描述如下:

(1)隨機(jī)初始化向量u

(2)w=XTu

(4)c=YTt

(6)重復(fù)(2)～(5)，直到收斂。

(7)退化矩陣 X，Y:X←X －ttTX，Y←Y－ttTY

用NIPALS算法對通過將從檢測窗口di中提取特征向量vi進(jìn)行預(yù)處理，計算得到主成分?jǐn)?shù)、各主成分?jǐn)?shù)的權(quán)重和主成分問的關(guān)系矩陣。

利用計算出的各主成分權(quán)重，丟掉包含行人概率較低的檢測窗口，對概率較高的檢測窗口，使用全部特征進(jìn)行分類。經(jīng)過這樣處理，不但可以減少特征計算的數(shù)目，還可以減少需要提取的特征塊，進(jìn)而提高行人檢測的速度。

3.2 二次判別分析判別器

經(jīng)過以上PLS特征優(yōu)選后，利用二次判別分析建立判別器。二次判別分析的原理是在已知特征模式的類別數(shù)及其概率分布的前提下進(jìn)行Bayes決策，達(dá)到將特征模式分配到后驗概率最大的類別中。

假設(shè)各個類別的先驗概率相同，條件概率密度采用正態(tài)分布，得到二次判別函數(shù)如下:

對所有的 j≠i，若 gi＞ gj，將 x 歸于 ωi。其中 ui為各類的均值向量，i為各類的協(xié)方差矩陣。ui和i的估計采用極大似然估計。設(shè)模式類別有C類，ni表示第i類訓(xùn)練樣本數(shù)，xij為第i類第j個訓(xùn)練樣本，則各類均值向量和各類協(xié)方差矩陣的極大似然估計表示為:

4 行人檢測算法流程

在前文特征提取和創(chuàng)建的分類器的基礎(chǔ)上，建立多特征優(yōu)選的行人檢測系統(tǒng)，系統(tǒng)分為離線訓(xùn)練階段和在線監(jiān)測階段。如圖1所示。

圖1 行人檢測方塊圖

(1)離線訓(xùn)練階段。首先，收集人臉樣本和非人臉樣本，并利用上文提到的特征提取技術(shù)，提取出樣本中行人的邊緣、紋理和顏色特征，建立豐富的特征集，然后利用PLS降維算法從這些特征集中優(yōu)選出權(quán)重較大的特征及權(quán)重系數(shù)，從而形成QDA分類判別器。

(2)在線監(jiān)測階段。對于新的輸入圖像，利用離線階段訓(xùn)練好的分類器，掃描圖像中行人的候選區(qū)域，對行人進(jìn)行監(jiān)測，得到檢測結(jié)果。

5 實(shí)驗結(jié)果和討論

為了測試本文提出算法的性能，并與其他文獻(xiàn)中的方法進(jìn)行對比，在INRIA數(shù)據(jù)庫上進(jìn)行實(shí)驗。

INRIA數(shù)據(jù)庫包含了訓(xùn)練集與測試集，訓(xùn)練集中含有64×128像素的正訓(xùn)練樣本2416個，以及1218張不含人的背景圖片，測試集中含有同樣大小的正測試樣本1132個，以及453張不含人的背景圖片。利用本文的特征提取方法對對INRIA數(shù)據(jù)庫進(jìn)行特征提取。

灰度共生矩陣的特征提取，采用16×16(步進(jìn)8個像素)和32×32(步進(jìn)16個像素)的塊，在HSV顏色空間里，對每一個顏色通道，d=1，θ=0°，45°，90°，135°創(chuàng)建4個分別對應(yīng)θ灰度共生矩陣，并量化為16 bins。從共生矩陣?yán)锾崛∏拔奶岬降?2個特征，產(chǎn)生63648個特征。HOG特征和顏色頻率特征提取，采用塊的大小12×12到64×128的區(qū)間之間。對于本實(shí)驗中的2478個塊，對一個塊提取36個HOG特征，得到98928個特征。同時對于每一塊，利用顏色頻率提取方法，提取的顏色特征8274個。對于大小為64×128的檢測窗口，共得到170820個向量特征。為了避免特征向量太多，導(dǎo)致的檢測效率降低。

可見無論是在特征向量的提取、分類器的訓(xùn)練與分類中，其計算量都很大。

在實(shí)驗中記錄正測試樣本與負(fù)測試樣本在分類器下的輸出，并通過改變分類器閾值得到DET(Detection Error Tradeoff)曲線，即漏檢率(Miss Rate)對誤檢率(False Positives Per Window，F(xiàn)PPW)曲線，如圖2所示。

圖2 三種算法的漏檢率/誤檢率

從圖中可以看到，本文算法(PLS+QDA)性能優(yōu)于文獻(xiàn)［5］中的HOG和文獻(xiàn)［13］中的PID算法，在FPPW=0.0001時本算法漏檢率為3%左右，在FPPW∈［0.000001，0.0001］本算法的漏檢率均小于HOG和PID算法。圖3為算法的跟蹤效果圖。在算法的計算時間上，本文算法1秒鐘可以處理2929個檢測窗口。

圖3 算法效果圖

6 結(jié)論

針對站立行人的外觀特性，提出融合邊緣，紋理和顏色頻率的多特征融合的行人檢測算法。算法利用偏最小二乘法進(jìn)行重要特征優(yōu)選，形成二次判別分類器。實(shí)驗結(jié)果表明，算法漏檢率小，取得較好的檢測精度;但算法也存在速度不夠快的缺點(diǎn)，下一步研究將使用更好的降維方法來提高檢測的速度。

［1］ Oren M，Papageorgious C，Sinha P．Pedestrian detection using wavelet templates［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，1997，193－199．

［2］ Viola P，Jones M，Snow D．Detecting pedestrians using patterns ofmotion and appearance［C］//Proc of International Conference on Computer Vision，2003，734 －741．

［3］ Mikolajczyk K，Schmid C，Zisserman A．Human detection based on a probabilistic assembly of robust part detectors［C］//Proc of European Conference on Computer Vision，2004，69 －82．

［4］ Su Xiaoqian，Sun Shaoyuan，Ge Man，et al．Pedestrian detection and tracking of vehicle infrared images［J］．Laser＆ Infrared，2012，42(8):949 －953．(in Chinese)蘇曉倩，孫韶媛，戈譙，等．車載紅外圖像的行人檢測與跟 蹤 技 術(shù)［J］．激 光 與 紅 外，2012，42(8):949－953．

［5］ Dalal N，Triggs B．Histograms of oriented gradients for human detection［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition， 2005，886－893．

［6］ Tuzel O，Porikli F，Meer P．Human detection via classification on riemannian manifolds［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，2007，1 －8．

［7］ Mu S，Yan Y，Liu T，et al．Discriminative local binary patterns for human detection in personal album［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，2008，1 －8．

［8］ Zhu Q，Yeh M C，Cheng K T，et al．Fast human detection using a cascade of histograms of oriented gradients［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，2006，1491 －1498．

［9］ Wu B，Nevatia R．Optimizing discrimination-efficiency tradeoff in integrating heterogeneous local features for object detection［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，2008，1 －8．

［10］ Chen Y T，Chen C S．Fast human detection using a novel boosted cascading structure with meta stages［J］．IEEE Trans.On Image Processing， 2008， 17 (8):1452－1464．

［11］ Haralick R，Shanmugam K，Dinstein I．Texture features for image classification［J］．IEEE Transactions on Systems，Man，and Cybernetics，1973，3(6):610 －621．

［12］ Rosipal，N Kramer．Overview and recent advances in partial least squares［J］．Lecture Notes in Computer Science，2006，3940:34 －51．

［13］ Lin Z，Davis L S．A pose-invariant descriptor for human detection and segmentation［C］//Proc of European Conference on Computer Vision，2008，421 －436．