基于視頻的步態(tài)識(shí)別算法

許易操

（同濟(jì)大學(xué)電子與信息工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，上海 201804）

基于視頻的步態(tài)識(shí)別算法

許易操

（同濟(jì)大學(xué)電子與信息工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，上海 201804）

視頻中的行人的識(shí)別問(wèn)題是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。由于人臉識(shí)別極大地受到行人的角度限制，因此步態(tài)識(shí)別在行人識(shí)別中占有更重要的地位。通過(guò)HOG+SVM算法對(duì)視頻進(jìn)行行人檢測(cè)提取行人區(qū)域，對(duì)該區(qū)域使用Grabcut算法分割得到行人二值圖，通過(guò)步態(tài)能量圖和Trace變換得到步態(tài)特征的步態(tài)識(shí)別算法對(duì)該行人進(jìn)行步態(tài)識(shí)別。實(shí)驗(yàn)表明該算法在視頻中能得到很好的識(shí)別效果。

步態(tài)識(shí)別；步態(tài)能量圖；Trace變換；HOG；Grabcut

0 引言

基于圖像的生物識(shí)別技術(shù)一直都受到廣泛的關(guān)注。特別是基于人臉識(shí)別的生物識(shí)別技術(shù)已經(jīng)取得了很多豐碩的成果。但是在處理諸如監(jiān)控?cái)z像之類(lèi)的視頻時(shí)，受到行人角度、口罩、帽子等因素的影響，人臉識(shí)別往往不能發(fā)揮很好的效果。而相比之下，步態(tài)識(shí)別則具備遠(yuǎn)距離識(shí)別、不可隱藏等優(yōu)點(diǎn)。在1994年Niyogi與Adelson提出了一種識(shí)別步態(tài)特征的方法。然后Cunado等人提出了一種基于大腿擺動(dòng)頻率的步態(tài)特征[1]。Murase與Sakai利用時(shí)空相關(guān)匹配的方法識(shí)別不同的步態(tài)[2]。近幾年有人提出了基于平面單應(yīng)性矩陣的識(shí)別方法[3]和基于監(jiān)督Isomap的方法[4]。綜合速度和效果考慮，Han在2006年提出的利用步態(tài)能量圖識(shí)別步態(tài)的方法[5]在這兩方面具有較好的平衡性。TheekhanontP等人在此基礎(chǔ)上進(jìn)一步對(duì)步態(tài)能量圖進(jìn)行Trace變換[10]，提出了一種新的步態(tài)特征。本文在此基礎(chǔ)上結(jié)合行人檢測(cè)和分割算法，提出了一種適用于視頻的步態(tài)識(shí)別方法。

1 預(yù)處理

1.1 行人檢測(cè)

由于一幀圖像內(nèi)會(huì)包含多個(gè)行人，對(duì)每一幀圖像的預(yù)處理工作首先是通過(guò)對(duì)圖像進(jìn)行行人檢測(cè)提取出每一個(gè)行人。在2005年CVPR上，來(lái)自法國(guó)的研究人員Navneet Dalal和Bill Triggs提出的利用基于梯度方向直方圖[6]（Histogram of Oriented Gradient，簡(jiǎn)稱HOG）進(jìn)行特征提取，利用線性SVM作為分類(lèi)器，從而實(shí)現(xiàn)行人檢測(cè)。由于HOG+SVM是速度和效果綜合平衡性能較好的一種方法，本文選擇此算法進(jìn)行行人檢測(cè)。首先提取正負(fù)樣本的HOG特征，步驟如下[7]：

（1）將輸入圖像灰度化；

（2）對(duì)灰度圖進(jìn)行Gamma調(diào)整和濾波以提高算法的抗噪性；

（3）計(jì)算圖像每個(gè)像素的梯度，并對(duì)每個(gè)像素上的梯度模值和方向進(jìn)行加權(quán)統(tǒng)計(jì)；

（4）將圖像劃分成小4×4像素大小的單元；

（5）在每個(gè)小單元內(nèi)進(jìn)行梯度統(tǒng)計(jì)，梯度方向在0°～360°之間，將直方圖分為9級(jí)；

（6）用梯度幅值加權(quán)每個(gè)單元對(duì)應(yīng)的直方圖，將其表示為一個(gè)9維的特征向量；

（7）按照每2×2個(gè)單元組成一個(gè)新的區(qū)域，將單元合并成大區(qū)域，并將所有單元的特征向量聯(lián)結(jié)起來(lái)，構(gòu)成圖像對(duì)應(yīng)的特征向量；

（8）對(duì)特征向量進(jìn)行歸一化處理后便可得到HOG特征向量。

提取出正負(fù)樣本的HOG特征值后，文獻(xiàn)[6]通過(guò)線性分類(lèi)器SVM進(jìn)行訓(xùn)練得到分類(lèi)器。SVM的基本思想是對(duì)于一個(gè)非線性可分的樣本，通過(guò)一個(gè)核函數(shù)將其映射到高維空間中，然后在高維空間中尋找一個(gè)最優(yōu)的超平面來(lái)把不同類(lèi)別的數(shù)據(jù)分開(kāi)。它的優(yōu)點(diǎn)是它的解總是全局最優(yōu)的，并且避免了在訓(xùn)練過(guò)程中出現(xiàn)的過(guò)學(xué)習(xí)和局部最小值問(wèn)題。

最后用得到的分類(lèi)器對(duì)每一幀進(jìn)行行人檢測(cè)。圖2為對(duì)原始圖像圖1進(jìn)行行人檢測(cè)的結(jié)果。

圖1 原始圖像

圖2 行人檢測(cè)結(jié)果

1.2 行人分割

為了得到步態(tài)識(shí)別過(guò)程中需要使用的行人二值圖，本文采用Grabcut算法[8]對(duì)檢測(cè)出的行人圖像進(jìn)行分割。

如圖3所示，本文的分割步驟為：

（1）通過(guò)HOG+SVM算法對(duì)圖像進(jìn)行行人檢測(cè)；

（2）在被檢測(cè)出的行人框中畫(huà)出小矩形框，小矩形框長(zhǎng)寬為行人框的9/10；

（3）將小矩形框外像素標(biāo)記為背景像素，對(duì)行人框進(jìn)行Grabcut分割；

（4）將分割結(jié)果二值化得到二值圖。

2 步態(tài)識(shí)別

2.1 步態(tài)能量圖

步態(tài)能量圖[5]是由Han提出的一種用于步態(tài)識(shí)別的有效特征。對(duì)于連續(xù)N幀行人二值圖的步態(tài)能量圖定義為：

圖3

其中Bt（x，y）表示第t幀中坐標(biāo)（x，y）點(diǎn)的像素值。其中N可以是一個(gè)完整步態(tài)周期所包含的幀數(shù)，也可以是一個(gè)固定值。文獻(xiàn)[9]中提出一種利用人的側(cè)影寬度和高度的比值判斷步態(tài)周期的方法。由于在視頻中受到背包等附加物品以及步行角度和雙手?jǐn)[動(dòng)的限制，文獻(xiàn)[9]中的方法無(wú)法得到很好的效果，因此本文選擇使用一個(gè)固定的N值。

如圖4、圖5所示，圖4為一個(gè)步態(tài)序列，圖5為由圖4的步態(tài)序列得到的步態(tài)能量圖。從圖5中可以看出步態(tài)能量圖包含了行人的身體輪廓特征和步態(tài)周期特征。步態(tài)能量圖中某點(diǎn)的像素值越大，表示人在整個(gè)步態(tài)周期中出現(xiàn)在該點(diǎn)的頻率越高。

圖4 步態(tài)序列

圖5 步態(tài)能量圖

2.2 Trace變換

為了進(jìn)一步從步態(tài)能量圖中提取出步態(tài)特征，文獻(xiàn)[10]中Theekhanont P等人采用Trace變換對(duì)步態(tài)能量圖進(jìn)行特征提取。

Trace變換[11～14]是由Kadyrov和Petrou等人提出一種圖像重建和圖像識(shí)別的方法。它在圖像的射線參數(shù)估計(jì)、模式識(shí)別和特征構(gòu)造中已經(jīng)有了很好的應(yīng)用效果。Trace變換是Radon變換的一般形式。Radon變換是指函數(shù)沿包含該函數(shù)平面內(nèi)的一族直線的線積分，是計(jì)算圖像在某一指定角度射線方向上投影的變換方法。而Trace變換則是沿著直線計(jì)算圖像函數(shù)的某個(gè)泛函值來(lái)描述一幅圖像。即在Radon變換中被變換函數(shù)是圖像函數(shù)的積分，而在Trace變換中，被變換函數(shù)不一定是圖像函數(shù)本身，可以是圖像函數(shù)經(jīng)過(guò)一定的數(shù)學(xué)運(yùn)算然后再進(jìn)行變換。

圖6 跡線參數(shù)定義

圖7為對(duì)圖5的步態(tài)能量圖進(jìn)行Trace變換后的結(jié)果。對(duì)圖7進(jìn)行閾值處理濾去圖像中大部分的平滑區(qū)域后，便可得到如圖8所示的Trace變換特征圖。

2.3 KPCA特征提取[15]

通過(guò)Trace變換得到Trace變換特征圖后，本文使用KPCA算法[16]對(duì)特征圖進(jìn)行特征提取和降維。KPCA算法是PCA在核空間中的非線性推廣，基本思想是將數(shù)據(jù)從輸入空間映射到高維特征空間，然后在特征空間利用PCA計(jì)算主成分。

圖7 Trace變換圖

圖8 Trace變換特征圖

得到均值向量u后，利用u計(jì)算協(xié)方差矩陣D：

最后計(jì)算協(xié)方差矩陣D的特征向量和特征值，將特征向量按照其對(duì)應(yīng)的特征值由大到小排列得到的矩陣就是投影變換矩陣。根據(jù)主元比率Z選取前M個(gè)主元便可得到所有特征中總特征量超過(guò)比率Z的向量V。

2.4 SVM分類(lèi)器

提取出步態(tài)特征后，選取相應(yīng)的分類(lèi)器就成為問(wèn)題的關(guān)鍵。鑒于行人檢測(cè)中使用的SVM分類(lèi)器是一種小樣本學(xué)習(xí)方法，并對(duì)樣本集具有一定的魯棒性，本文在識(shí)別部分依然選擇SVM作為分類(lèi)器。

但是由于SVM本身是一個(gè)兩類(lèi)問(wèn)題的判別方法，不能直接用于多類(lèi)處理，這里采用一類(lèi)對(duì)余類(lèi)法[17]來(lái)將其擴(kuò)展為多類(lèi)分類(lèi)器。其步驟為對(duì)于共有k個(gè)類(lèi)別的樣本，先構(gòu)造k個(gè)兩類(lèi)分類(lèi)機(jī)，其中第i個(gè)分類(lèi)機(jī)把第i類(lèi)同余下的各類(lèi)劃分開(kāi)，訓(xùn)練時(shí)第i個(gè)分類(lèi)機(jī)取訓(xùn)練集中第i類(lèi)為正類(lèi)，其余類(lèi)為負(fù)類(lèi)進(jìn)行訓(xùn)練。判別時(shí)，輸入信號(hào)分別經(jīng)過(guò)k個(gè)分類(lèi)機(jī)共得到k個(gè)輸出值fi（x）=sgn（gi（x））。若只有一個(gè)+1出現(xiàn)，則其對(duì)應(yīng)類(lèi)別為輸入信號(hào)類(lèi)別；若輸出不只一個(gè)+1，即不只一類(lèi)聲稱它屬于自己，則比較gi（x）輸出值，最大值對(duì)應(yīng)類(lèi)別為輸入信號(hào)的類(lèi)別；若沒(méi)有一個(gè)輸出為+1，則說(shuō)明識(shí)別失敗。

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法，筆者拍攝了多段清晰度為856×480的視頻，視頻總比特率為1082kbps，幀速率為25幀/秒。

由于步態(tài)能量圖為對(duì)連續(xù)N幀的步態(tài)二值圖加權(quán)平均得到的結(jié)果，因此對(duì)行人的短暫遮擋有一定的容忍性。圖10為N分別取值10，14和20時(shí)的實(shí)驗(yàn)結(jié)果。從中可以看出，當(dāng)N取值為10時(shí)，行人出現(xiàn)后很快便被識(shí)別，但是被遮擋后馬上失去目標(biāo)。當(dāng)N取值為20時(shí)，行人識(shí)別需要的幀數(shù)較多，但是暫時(shí)的遮擋并不會(huì)導(dǎo)致目標(biāo)的丟失。因此N越大，對(duì)短暫遮擋的容忍性越強(qiáng)，從行人出現(xiàn)到被識(shí)別需要的幀數(shù)也越多。綜合考慮這兩個(gè)因素的平衡性，本文的算法中N的取值為14。

為了進(jìn)一步驗(yàn)證本文步態(tài)識(shí)別算法的識(shí)別效果，筆者將本文的算法與文獻(xiàn)[10]和文獻(xiàn)[18]的算法相比較。每個(gè)行人拍攝3段視頻，其中1段用作訓(xùn)練樣本，2段用作測(cè)試樣本。取測(cè)試樣本中被正確識(shí)別出的幀數(shù)p與被行人檢測(cè)算法檢測(cè)出的幀數(shù)q的比值p/q作為識(shí)別率。

表1中的文獻(xiàn)[18]使用步態(tài)能量圖提取步態(tài)特征圖，然后用KPCA和SVM算法構(gòu)造分類(lèi)器。從實(shí)驗(yàn)結(jié)果中可以看出，本文對(duì)步態(tài)能量圖進(jìn)一步進(jìn)行Trace變換后，分類(lèi)效果得到顯著提高。而文獻(xiàn)[10]采用基于步態(tài)能量圖和Trace變換的算法提取步態(tài)特征圖，然后用模板匹配和基于歐氏距離的KNN算法構(gòu)造分類(lèi)器。相比之下，由于本文使用的SVM分類(lèi)器可以自動(dòng)尋找那些對(duì)分類(lèi)有較好區(qū)分能力的支持向量，由此構(gòu)造出的分類(lèi)器可以最大化類(lèi)之間的間隔，因而實(shí)驗(yàn)結(jié)果體現(xiàn)出更好的識(shí)別效果。

圖10 不同幀數(shù)周期下的步態(tài)識(shí)別結(jié)果

表1 算法比較

4 結(jié)語(yǔ)

本文提出了一種先進(jìn)行行人檢測(cè)和分割，然后用步態(tài)能量圖和Trace變換提取步態(tài)特征后，使用KPCA將特征降維并構(gòu)造SVM分類(lèi)器進(jìn)行行人識(shí)別的算法。實(shí)驗(yàn)中展示了本文算法對(duì)于暫時(shí)遮擋的容忍性；并與相似算法作了對(duì)比，取得了較好的識(shí)別效果。但是處理高清視頻時(shí)，整個(gè)算法的運(yùn)行效率受到HOG+SVM行人檢測(cè)算法的限制。因此下一步工作是將本文算法在GPU上實(shí)現(xiàn)，使其能處理高清視頻。

[1] Cunado D，Nixon M，Carter J.Using Gait as a Biometric，Via Phase-Weighted Magnitude Spectra[J].Lecture Notes in Computer Science，1997，1206:95～102

[2] Murase H，Sakai R.Moving Object Recognition in Eigenspace Representation:Gait Analysis and Lip Reading[J].Pattern Recognition Letters，1996，17（2）:155～162

[3] Seungdo Jeong，Tai-hoon Kim，Jungwon Cho.Gait Recognition Using Description of Shape Synthesized by Planar Homography[J]. Journal of Supercomputing，2013，65（1）:122～135

[4]張善文，張傳雷.基于監(jiān)督Isomap的步態(tài)識(shí)別方法[J].計(jì)算機(jī)應(yīng)用研究，2012，29（11）:4338～4341

[5] Han J，Bhanu B.IndividualRecognition Using Gait Energy Image[J].IEEE Transactionson Pattern Analysis and Machine Intelligence，2006，28（2）:316～322

[6] Dalal N，Triggs B.Histograms of Oriented Gradients for Human Detection:Conference on Computer Vision and Pattern Recognition，2005[C].San Diego:CA，2005:886～893

[7] 葉林，陳岳林，林景亮.基于HOG的行人快速檢測(cè)[J].計(jì)算機(jī)工程，2010，36（22）:206～210

[8] Rother C，Kolmogorov V，Blake A.“GrabCut”-Interactive Foreground Extraction Using Iterated Graph Cuts[J].ACM Transactions on Graphics，2004，24（4）:309～314

[9] 蘇菡，黃鳳崗.一種基于時(shí)空分析的步態(tài)識(shí)別方法[J].模式識(shí)別與人工智能，2007，20（2）:281～286

[10] Theekhanont P，Miguet S，Kurutach W.Gait Recognition Using GEL and Pattern Trace Transform:Proceedings of 2012 International Symposium on Information Technologies in Medicine and Education，Japan，2012[C].Piscataway:IEEE，2012:936～940

[11] Kadyrou A，Petrou M.The Trace Transform as a Tool to Invariant Feature Construction[J].Proceedings.Fourteenth International Conference on Pattern Recognition，1998，2（2）:1～3

[12] Petrou M，Kadyrou A.Affine Invariant Features from the Trace Transform[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（1）:30～46

[13] Kadyrou A，Petrou M.Affine Parameter Estimation from the Trace Transform[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（10）:1631～1645

[14] Kadyrou A，Petrou M.The Trace Transform and Its Applications[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（8）:811～828

[15] 賁晛燁，王科俊，劉海洋.核方法的對(duì)比研究及在步態(tài)識(shí)別中的應(yīng)用[J].智能系統(tǒng)學(xué)報(bào)，2011，6（1）:63～67

[16] Scholkopf B，Smola A，Muller K.Nonlinear Component Analysis as a Kernel Eigenvalue Problem[J].Neural Computation，1998，10（5）:1299～1319

[17] Rifkin R，Clautau A.In Defense of One-vs-all Classification[J].Journal of Machine Learning Research，2004，5:101～141

[18] 梁韶聰，周明，李安安.基于步態(tài)能量圖的KPCA和SVM的步態(tài)識(shí)別方法[J].計(jì)算機(jī)應(yīng)用研究，2010，27（7）:2798～2800

Gait Recognition Algorithm Based on Video Sequences

XU Yi-cao
（Departmentof Computer Science and Technology，School of Electronics and Information Engineering，Tongji University，Shanghai 201804）

Video-based human recognition is the research hotspots of computer version.Since face recognition is greatly lim ited by the angle of human,gait recognition has amore important position in the scale of human recognition.Introduces human detection based on HOG+SVM algorithm.Uses Grabcut algorithm to get the human binary image.Uses gait recognition algorithm based on gait energy image and trace transform to recognize the human.The experimental results show that the introduced algorithm has good performance in video sequences.

Gait Recognition;Gait Energy Image;Trace Transform;HOG;Grabcut

1007-1423（2015）06-0035-05

10.3969/j.issn.1007-1423.2015.06.008

許易操（1989-），男，上海人，碩士研究生，研究方向?yàn)槟Ｊ阶R(shí)別與人工智能

2015-01-04

2015-02-10