基于混合時(shí)空特征描述子的人體動(dòng)作識(shí)別

范曉杰，宣士斌，唐 鳳

(廣西民族大學(xué) 信息科學(xué)與工程學(xué)院，廣西 南寧 530006)

0 引 言

近年來，人體行為識(shí)別已成為計(jì)算機(jī)視覺領(lǐng)域的重要研究方向，并在視頻監(jiān)控、人機(jī)交互等眾多領(lǐng)域得到了廣泛的應(yīng)用[1]。隨著機(jī)器視覺得到越來越多的關(guān)注，作為其中的熱點(diǎn)之一，人體行為識(shí)別成為一個(gè)重要的研究課題。

人體行為識(shí)別中一個(gè)至關(guān)重要的問題就是人體行為的描述。人體行為描述是從人體動(dòng)作中提取部分特征信息來描述人體行為。根據(jù)當(dāng)前的研究方法，人體行為識(shí)別研究可以分為兩類：基于整體運(yùn)動(dòng)信息的方法和基于局部特征的行為識(shí)別方法。

基于整體運(yùn)動(dòng)信息的方法通常采用光流和形狀、邊緣、輪廓形狀等信息對(duì)檢測(cè)出的整體感興趣的人體區(qū)域進(jìn)行描述。盡管整體運(yùn)動(dòng)信息對(duì)實(shí)際環(huán)境中的行為比較適合，但也面臨許多問題，如對(duì)遮擋、噪聲以及視角的變化比較敏感等。Wang等[2]利用軌跡特征模擬連續(xù)幀間的時(shí)間關(guān)系；Zhen等[3]對(duì)運(yùn)動(dòng)歷史圖像(MHI)和三個(gè)正交平面(TOPS)提取的時(shí)空立方體的運(yùn)動(dòng)和結(jié)構(gòu)信息進(jìn)行編碼，并采用二維拉普拉斯金字塔編碼描述符。

基于局部特征方法是通過在視頻中定位一個(gè)局部視頻塊，通過視頻塊描述人體運(yùn)動(dòng)信息。例如，Mota等[4]利用3D-HOG特征和光流特征來描述視頻行為；Tang等[5]提取了視頻序列中的3D-SIFT特征；LAPTEV等[6]結(jié)合HOG特征和HOF特征來描述視頻序列中的時(shí)空立方體；張飛燕等[7]利用HOF特征來描述時(shí)空立方體，取得了很好的識(shí)別效果。

Li Nijun等[8]結(jié)合使用HOG3D與SOM能夠有效地進(jìn)行行為識(shí)別，但沒有充分提取時(shí)空興趣點(diǎn)運(yùn)動(dòng)信息。HOG3D作為一種興趣點(diǎn)描述方法，能夠?qū)εd趣點(diǎn)周圍的形態(tài)信息進(jìn)行描述，但該方法所包含的運(yùn)動(dòng)信息較少。為了能更全面高效地描述興趣點(diǎn)信息，文中提出一種新的多向投影光流特征直方圖(multidirectional projection optical flow histogram，DPHOF)。不僅能有效地表示光流的特征，還能體現(xiàn)興趣點(diǎn)及其鄰域的運(yùn)動(dòng)情況，并通過實(shí)驗(yàn)對(duì)該方法的有效性進(jìn)行驗(yàn)證。

1 局部時(shí)空特征提取

文中算法的第一步就是提取時(shí)空興趣點(diǎn)。為了獲得較多的不同尺度的興趣點(diǎn)，采用比Laptev[9]的STIP(space-time interest points)更稠密的Dollar[10]的STIP作為局部特征。局部時(shí)空特征的計(jì)算是對(duì)視頻的局部區(qū)域進(jìn)行計(jì)算，局部區(qū)域的選擇在時(shí)空興趣點(diǎn)的周圍，以時(shí)間和空間尺度為標(biāo)準(zhǔn)選取興趣點(diǎn)的鄰域塊。興趣點(diǎn)的表示是對(duì)其鄰域塊進(jìn)行描述形成特征向量。最終的視頻描述由一些不同位置、不同尺度特征點(diǎn)的特征向量來表示。

1.1 3D有向梯度直方圖(HOG3D)

由于遵循了HOG3D[11]的提取流程，因此有必要簡(jiǎn)單介紹一下HOG3D的基本思想。STIP的鄰域立方體塊被劃分為一系列的胞腔(cell),同樣一個(gè)胞腔被劃分成一系列的塊(block)。利用“積分視頻(integral video)”計(jì)算每個(gè)塊中的3D平均梯度向量，每個(gè)梯度方向的量化通過常規(guī)的多面體來進(jìn)行，得到每個(gè)塊的直方圖后，疊加一個(gè)胞腔所有塊的直方圖得到胞腔直方圖。最后，級(jí)聯(lián)STIP鄰域立方體中所有胞腔的直方圖得到HOG3D描述子。

假設(shè)STIP鄰域立方體中x和y方向上有M個(gè)胞腔，t方向上有N個(gè)胞腔，每個(gè)胞腔的直方圖維數(shù)是d，則級(jí)聯(lián)所有胞腔直方圖得到M2Nd維的HOG3D描述子。實(shí)驗(yàn)取M=4，N=3，梯度方向量化到Klaser[11]推薦的正20面體的面法向量構(gòu)成的20×3的投影矩陣P中，即d=20，因此HOG3D描述子維數(shù)是960。

1.2 多向投影光流直方圖(DPHOF)

傳統(tǒng)的光流直方圖方法是首先對(duì)圖像塊計(jì)算光流，然后統(tǒng)計(jì)多個(gè)方向的光流分布情況。但傳統(tǒng)的HOF描述方法僅能體現(xiàn)光流在興趣點(diǎn)的特征，不能體現(xiàn)出其鄰域的運(yùn)動(dòng)情況。為了保證特征對(duì)行為的高描述性，提出一種新的多向投影光流特征直方圖(DPHOF)，用金字塔Lucas-Kanade[12]光流算法來計(jì)算光流。光流特征計(jì)算完成后，把對(duì)光流方向分布的統(tǒng)計(jì)轉(zhuǎn)化為光流在多方向上投影分布的統(tǒng)計(jì)，這樣不僅能統(tǒng)計(jì)光流的方向分布情況，也能按照投影的大小對(duì)速度分量進(jìn)行加權(quán)。不同行為的光流特征在其速度分量上的分布是有很大區(qū)別的，用投影的方法對(duì)其進(jìn)行加權(quán)更能準(zhǔn)確高效地描述光流的特征。下面對(duì)DPHOF時(shí)空立方體描述符的構(gòu)造進(jìn)行詳細(xì)描述。

在DPHOF描述方法中，光流場(chǎng)的計(jì)算和HOF的計(jì)算方式一樣，選用金字塔Lucas-Kanade光流算法來計(jì)算光流特征。光流特征計(jì)算完成后，開始計(jì)算時(shí)空興趣點(diǎn)鄰域立方體的描述符，受HOG3D描述符生成方法的啟示，按照同樣的流程生成多方向投影光流直方圖。實(shí)驗(yàn)中，在興趣點(diǎn)的x和y方向上取M=4個(gè)胞腔，在t方向上取N=3個(gè)胞腔，每個(gè)胞腔由2×2×2個(gè)塊構(gòu)成，計(jì)算出每個(gè)塊中的平均光流fb=[vxmeanvymean]，每個(gè)塊中光流的量化是通過將其投影到5×2的投影矩陣P中，生成光流直方圖hb:

hb=P·fb

(1)

P=(cosα,sinα)T

(2)

其中，α的取值范圍為[0°,180°]，并將其平分成5個(gè)扇形區(qū)域。統(tǒng)計(jì)每個(gè)塊的平均光流在各個(gè)區(qū)域的投影，得出每個(gè)塊的投影光流直方圖后，疊加一個(gè)胞腔中所有的塊直方圖得到胞腔直方圖。胞腔直方圖的維數(shù)為d=5。最后，級(jí)聯(lián)STIP鄰域立方體中所有胞腔的直方圖得到時(shí)空立方體的DPHOF描述子。因此DPHOF描述子的維數(shù)就是240，可以有效減輕“維數(shù)災(zāi)難”效應(yīng)。

由上述計(jì)算過程可以看出，利用DPHOF在構(gòu)造光流特征的時(shí)空立方體描述子時(shí)更加緊湊高效，通過投影量化使得在統(tǒng)計(jì)光流特征時(shí)，不僅體現(xiàn)了光流方向的分布情況，還更加精確地利用投影大小對(duì)光流速度分量加入權(quán)值，保證了特征對(duì)立方體信息的高描述性。而且采用的5個(gè)方向的投影矩陣，很大程度上減輕了“維數(shù)災(zāi)難”。

2 基于自組織特征映射(SOM)的全局描述子

2.1 SOM網(wǎng)絡(luò)

SOM網(wǎng)絡(luò)是由芬蘭Helsinki大學(xué)的Kohonen T教授提出的，又稱Kohonen網(wǎng)絡(luò)。Kohonen認(rèn)為，一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ接胁煌捻憫?yīng)特征，而這個(gè)過程是自動(dòng)完成的。SOM網(wǎng)絡(luò)正是根據(jù)這一看法提出的，其特點(diǎn)與人腦的自組織特性相類似。SOM是一個(gè)兩層的全連接網(wǎng)絡(luò)(見圖1)，圓圈代表神經(jīng)元，線段標(biāo)記直接相連的神經(jīng)元。“競(jìng)爭(zhēng)(competition)”、“合作(cooperation)”和“自適應(yīng)(self-adaptation)”是SOM的3個(gè)核心過程。

2.2 全局視頻描述子的構(gòu)造

提取完時(shí)空特征后，就要從所有動(dòng)作類中隨機(jī)選取HOG3D描述子和DPHOF描述子分別訓(xùn)練SOM網(wǎng)絡(luò)。訓(xùn)練完成后，把所有HOG3D描述子送入由HOG3D描述子訓(xùn)練的網(wǎng)絡(luò)，這樣每個(gè)HOG3D描述子就會(huì)激活一個(gè)神經(jīng)元。最后統(tǒng)計(jì)測(cè)試結(jié)果就可以得到一個(gè)神經(jīng)元擊中率直方圖，將這個(gè)直方圖稱為該視頻的HOG3D擊中率直方圖。對(duì)于DPHOF描述子，以同樣的方法送入由DPHOF描述子訓(xùn)練的網(wǎng)絡(luò)進(jìn)行測(cè)試，同樣會(huì)得到一個(gè)擊中率直方圖，稱為DPHOF擊中率直方圖。最后把HOG3D擊中率直方圖和DPHOF擊中率直方圖進(jìn)行歸一化處理，并將兩種描述方法的視頻歸一化直方圖級(jí)聯(lián)在一起作為該視頻最終的全局描述符，就由局部的時(shí)空特征得到了全局的視頻描述子。

3 識(shí)別過程和算法

在測(cè)試過程中，最終的判決結(jié)果由最終全局描述符的最鄰近分類得到，采用χ2距離作為度量。動(dòng)作識(shí)別流程如圖1所示。

圖1 基于時(shí)空特征融合和SOM的動(dòng)作識(shí)別流程

基于HOG3D、DPHOF和SOM的行為識(shí)別如下所述：

算法1：基于HOG3D、DPHOF和SOM的行為識(shí)別。

輸入：有標(biāo)簽的訓(xùn)練視頻序列、測(cè)試視頻序列；

輸出：測(cè)試視頻的標(biāo)簽。

(1)從所有的訓(xùn)練和測(cè)試視頻中提取多尺度的Dollar的STIP。

(2)計(jì)算每個(gè)STIP的HOG3D描述子和DPHOF描述子。

(3)分別用從訓(xùn)練集中隨機(jī)選取的HOG3D描述子和DPHOF描述子訓(xùn)練SOM網(wǎng)絡(luò)。

①初始化具有已知結(jié)構(gòu)的SOM網(wǎng)絡(luò)；

②利用在線學(xué)習(xí)機(jī)制將訓(xùn)練樣本輸入網(wǎng)絡(luò)；

③找到對(duì)應(yīng)于當(dāng)前樣本的獲勝神經(jīng)元；

④更新獲勝神經(jīng)元及其鄰域神經(jīng)元的權(quán)值；

⑤重復(fù)步驟②～④，直至收斂或達(dá)到最大迭代次數(shù)。

(4)分別用訓(xùn)練好的SOM網(wǎng)絡(luò)計(jì)算所有訓(xùn)練和測(cè)試視頻的神經(jīng)元擊中率歸一化直方圖。

(5)將兩種描述方法生成的視頻歸一化直方圖進(jìn)行級(jí)聯(lián)作為視頻的最終全局描述符。

(6)用基于χ2距離的NN分類器分類神經(jīng)元擊中率直方圖得到識(shí)別結(jié)果。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)庫

在3.0 GHz CPU、32位Windows操作系統(tǒng)、Matlab 2012a的實(shí)驗(yàn)環(huán)境下，在UCF-YouTube、KTH兩個(gè)數(shù)據(jù)庫上對(duì)文中方法進(jìn)行驗(yàn)證。兩種數(shù)據(jù)庫均采用5-折疊交叉驗(yàn)證。

4.2 UCF YouTube數(shù)據(jù)庫

對(duì)于UCF-YouTube[13]體育活動(dòng)數(shù)據(jù)集，其數(shù)據(jù)具有復(fù)雜的環(huán)境和場(chǎng)景變化，還有視角、尺度、光照等的變化，是一個(gè)極具挑戰(zhàn)的行為識(shí)別數(shù)據(jù)庫。該數(shù)據(jù)庫包含11種行為，每種行為在25種不同的場(chǎng)景下完成。實(shí)驗(yàn)中訓(xùn)練集的大小為11×25×100，采用5-折疊交叉驗(yàn)證，采用迭代200次的12×12的SOM網(wǎng)絡(luò)進(jìn)行測(cè)試。分別用HOG3D、DPHOF以及混合兩種特征在數(shù)據(jù)庫上進(jìn)行測(cè)試，結(jié)果如圖2所示。

圖2 不同方法在UCF-YT數(shù)據(jù)集上的混淆矩陣

從圖2中可看出，提出的DPHOF特征對(duì)于復(fù)雜的UCF-YT數(shù)據(jù)集更具有辨別性，能大大地提高行為識(shí)別精度。這是因?yàn)閷?duì)于UCF-YT數(shù)據(jù)庫，由于其復(fù)雜的背景，加上相機(jī)運(yùn)動(dòng)會(huì)造成背景中許多不感興趣的STIP，從而影響了SOM構(gòu)造的全局視頻描述符的準(zhǔn)確性，而HOG3D描述子易受相機(jī)運(yùn)動(dòng)的影響，會(huì)給識(shí)別過程帶來許多干擾。而DPHOF描述子作為一種優(yōu)越的運(yùn)動(dòng)特征描述方法，對(duì)光照、相機(jī)運(yùn)動(dòng)的干擾有很好的魯棒性。并且多向投影方法使得不同行為的光流特征更具辨別力。所以文中的描述方法可以更準(zhǔn)確全面地描述興趣點(diǎn)特征，而且使用SOM訓(xùn)練擊中率直方圖來表示視頻，不僅具有局部特征，還包含全局特征。所以文中方法取得了更好的識(shí)別效果。

4.3 KTH數(shù)據(jù)庫

KTH數(shù)據(jù)庫包含6種行為，每種行為在25種不同的場(chǎng)景下完成。實(shí)驗(yàn)中訓(xùn)練集的大小為6×25×100，采用5-折疊交叉驗(yàn)證，采用迭代100次的10×10的SOM網(wǎng)絡(luò)進(jìn)行測(cè)試，結(jié)果如圖3所示。

圖3 不同方法在KTH數(shù)據(jù)集上的混淆矩陣

圖3表明，在同一數(shù)據(jù)庫下，使用DPHOF描述方法要比單獨(dú)使用HOG3D的效果好很多，且兩種局部描述子與SOM結(jié)合構(gòu)造的全局描述符更能高效表示視頻特征。能取得較好的識(shí)別率，一方面是由于提出的DPHOF描述子能高效表示空間局部特征；另一方面是與SOM結(jié)合構(gòu)造的全局視頻描述符能更好地表示視頻特征。使用全局和局部混合特征來進(jìn)行人體行為識(shí)別可以達(dá)到更好的識(shí)別效果。

5 結(jié)束語

提出一種基于混合時(shí)空特征和SOM網(wǎng)絡(luò)的新的行為識(shí)別框架，該框架不需要人體檢測(cè)、跟蹤等復(fù)雜的預(yù)處理步驟。提出一種新的時(shí)空特征描述方法(DPHOF)，用HOG3D和DPHOF來描述局部空間信息，并結(jié)合SOM來構(gòu)造全局的視頻描述符。實(shí)驗(yàn)結(jié)果表明，提出的DPHOF描述符能高效表示時(shí)空興趣點(diǎn)，且由SOM構(gòu)造出的全局視頻描述子可以高效地表示視頻特征。基于SOM的識(shí)別框架在識(shí)別精確度上取得了很好的效果。

[1] 李瑞峰，王亮亮，王 珂．人體動(dòng)作行為識(shí)別研究綜述[J].模式識(shí)別與人工智能，2014,27(1):35-48.

[2] WANG H，SCHMID C.Action recognition with improved trajectories[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2013:3551-3558.

[3] ZHEN X T，SHAO L．A local descriptor based on Laplacian pyramid coding for action recognition[J].Pattern Recognition

Letters,2013,34(15):1899-1905.

[4] MOTA V F,PEREZ E A,MACIEL L M,et al.A tensor motion descriptor based on histograms of gradients and optical flow[J].Pattern Recognition Letters,2014,39(4):85-91.

[5] TANG X Q,XIAO G Q.Action recognition based on maximum entropy fuzzy clustering algorithm[M]//Foundations of intelligent systems.Berlin:Springer,2014:155-164.

[6] LAPTEV I,MARSZALEK M,SCHMID C,et al.Learning realistic human actions from movies[C]//26th IEEE conference on computer vision and pattern recognition.Anchorage,AK,United States:IEEE,2008:1-8.

[7] 張飛燕，李俊峰.基于光流速度分量加權(quán)的人體行為識(shí)別[J].浙江理工大學(xué)學(xué)報(bào)，2015,33(1):115-123.

[8] LI Nijun,CHENG Xu,ZHANG Suofei,et al.Realistic human action recognition by Fast HOG3D and self-organization feature map[J].Machine Vision and Applications,2014,25(7):1793-1812.

[9] LAPTEV I.On space-time interest points[J].International Journal of Computer Vision,2005,64(2-3):107-123.

[10] DALLAR P,RABAUD V,COTTRELL G,et al.Behavior recognition via sparse spatio-temporal features[C]//IEEE international workshop on performance evaluation of tracking and surveillance.Beijing,China:IEEE,2005:65-72.

[11] KLASER A,MARSZALEK M,SCHMID C.A spatio-temporal descriptor based on 3D-gradients[C]//British machine vision conference.[s.l.]:[s.n.],2008.

[12] BOUGUET J Y.Pyramidal implementation of the Lucas Kanade feature tracker:description of the algorithm[R].[s.l.]:Intel Corporation Microprocessor Research Labs,2000.

[13] LIU J,LUO J,SHAN M.Recognizing realistic actions from videos “in the wild”[C]//Proceedings of the computer vision and pattern recognition.[s.l.]:[s.n.],2009.