分層結構的雙人交互行為識別方法

姬曉飛，王昌匯，王揚揚

(沈陽航空航天大學 自動化學院，遼寧 沈陽 110136)

?

分層結構的雙人交互行為識別方法

姬曉飛，王昌匯，王揚揚

(沈陽航空航天大學 自動化學院，遼寧 沈陽 110136)

摘要：針對日常生活中雙人交互行為因運動區域難以分割,造成無法準確識別的問題，提出了一種基于分層結構的雙人交互行為識別方法。該方法首先按照交互行為雙方身體是否接觸作為分界點，將整個交互行為分為開始階段、執行階段和結束階段。將開始階段與結束階段左右兩側人體所在矩形區域分別提取作為該興趣區域，將執行階段雙人所在矩形區域整體提取作為感興趣區域，分別提取HOG特征。使用1NN分類器獲得每個階段的每個對象的識別概率，最終通過加權融合各個階段各個對象的識別概率實現對該交互行為的識別。利用UT-interaction數據庫對該方法進行測試的實驗結果表明，該方法實現簡單，并具有良好的識別效果。

關鍵詞：計算機視覺；交互動作；動作識別；方向梯度直方圖；分層模型；最近鄰分類器；UT-interaction數據庫；加權融合

中文引用格式：姬曉飛，王昌匯，王揚揚. 分層結構的雙人交互行為識別方法[J]. 智能系統學報， 2015, 10(6): 893-900.

基于視頻的人體動作識別研究是計算機視覺領域的重要研究方向，具有廣闊的應用前景[1-2]。根據行為的復雜程度，一般可以把人的行為分成4類：局部行為、單人行為、雙人交互行為、人群行為[3]。目前，在單人的行為識別領域已經有很多研究成果，而對于雙人交互行為的研究還比較少。其主要原因在于，雙人交互行為的識別除了具有動作識別所面臨的主要困難(圖像采集設備的抖動、場景內光照強度的變化、非主要目標的遮擋等)，其最主要的問題在于在雙人交互行為中，如何描述動作執行雙方的身體姿態以及交互行為的復雜的時空關系。目前，對于雙人交互行為的識別方法，大致可分為以下2種，基于整體的交互動作識別和基于個體分割的交互動作識別。

基于整體的交互動作識別方法主要是將交互行為執行雙方看做一個整體，通過描述該整體的時空關系來代表其所表示的雙人交互行為的特征，通過將待測試樣本與訓練模板的特征進行匹配，來實現交互動作的識別和理解[4]。此類方法多關注的是交互動作的時空特征表示及相應的時空匹配算法的研究。Yu等[5]采用金字塔時空關系匹配核對交互動作進行識別。Yuan等[6]提出構造時空上下文核函數進行交互視頻的匹配識別。這些方法特征提取過程實現簡單，但交互動作時空關系匹配的計算復雜度較高，且識別的準確度不高。近年來，一些研究者引入相對復雜的時空特征表示方法對交互行為整體進行描述，以期提高識別的準確度。Burghouts等[7]通過引入時空布局(spatio-temporal layout)描述來提高時空特征的類間區分能力，大大提高了交互行為識別的準確性；Li等[8]提出了基于GA訓練的隨機森林方法及有效的時空匹配方法實現交互行為的識別與理解。綜上所述，基于整體的交互動作識別與理解方法將交互動作作為一個單人動作處理，無需對交互動作的特征進行動作個體的分割，處理思路簡單，但是由于該類方法無法準確表示交互動作中交互的內在屬性，因此其識別的準確性有限，往往需要十分復雜的特征表示及匹配方法來保證識別的準確性。

基于個體分割的交互行為識別與理解方法，就是將交互行為理解為單個人的子動作之間的時空組合，在識別的過程中先識別交互行為中單個個體動作的含義，再結合2個個體之間的時空關系，獲得最終的識別結果。Kong等[9]提出訓練基于SVM的識別模型對交互動作進行識別；Slimani[10]等提出了一種基于共生視覺詞典的方法。該類方法原理簡單、容易實現，但識別準確性不高。總之，基于個體分割的交互動作識別與理解方法或者需要對人體的肢體部分進行跟蹤檢測，或者需要對原子動作進行識別，在復雜的交互行為場景下，由于具有遮擋等因素的影響，準確地得到人體部分區域并準確地識別原子動作是很難保證的。

基于以上分析，本文將能夠完整表述全局信息的基于整體的識別方法與能夠準確描述交互雙方行為的基于個體分割的識別方法相結合，提出了一種分層識別方法。該方法采用將整個交互行為過程分為3層，在交互行為的開始階段與結束階段分別識別交互行為雙方的個體動作，再融合判斷；在交互行為的執行階段，將雙人交互行為作為一個整體進行識別判斷；最終加權融合3個階段的分類概率。

1分層處理

近年來，針對雙人交互行為識別的特征提取，可以分成2種類型：1)將雙人交互行為整體作為感興趣區域進行處理[4-8]，這種方法很好地呈現了雙人交互行為的全局特征，但是無法表現交互行為的內在屬性，所以識別的準確性有限；2)將交互行為的雙方分割開來，分別對其所進行的動作進行識別，然后再將識別結果融合判斷[9-10]。這種方法雖然很好地表達雙人交互行為中人與人之間的運動關系，但是在復雜的交互場景下，由于交互在動作的執行過程中存在身體遮擋等因素，直接影響了運動目標區域獲取的準確性，這對識別單人原子動作產生了較大影響。

為了充分表達雙人交互行為中雙方的運動關系，并且避免交互行為中的遮擋影響單人原子動作的識別，文中采用分層識別的方法對交互行為進行識別，其過程如圖1所示。

首先，將交互行為分為3個階段：交互行為開始階段、交互行為執行階段和交互行為結束階段，對于各個階段的感興趣區域的分割提取，文中采用了不同的方法。

1)交互行為開始階段：在交互行為開始階段，交互行為雙方的位置關系是由遠及近的，在這一過程中，通過幀間差分的方式，可以獲得交互行為雙方的剪影信息，根據2個剪影的邊界信息，可以分別獲得以交互行為雙方為主，冗余信息極少的感興趣區域，其過程如圖2所示。

2)交互行為執行階段：在以交互行為雙方為主的2個感興趣區域間的距離為0時，交互行為雙方身體出現接觸，從這一時刻開始，意味著雙人交互行為的準備階段結束，雙人交互行為進入執行階段。在這一個階段中，為了避免由于交互行為雙方身體接觸遮擋對于單人原子動作分割的影響，本文將雙人交互行為整體所在區域作為感興趣區域，進行分割提取操作，文中采用幀間差分的方法，基于剪影特征的邊界信息分割提取雙人交互行為的感興趣區域。其過程如圖3所示。

圖1　分層識別方法結構圖Fig.1　Structure diagram of hierarchical recognition method

圖2　幀差法提取剪影所在感興趣區域Fig.2　Frame difference extract the ROI

圖3　幀差法提取剪影所在感興趣區域Fig.3　Frame difference extract the ROI

3)交互行為結束階段：當雙人交互行為進行到一定程度時，交互行為雙方結束身體接觸，交互行為雙方的距離逐漸拉開，但是雙方的動作中仍然包含針對不同交互行為的單人原子動作的特性。在這一階段，采用與開始階段相同的感興趣區域分割提取方法，分別切割提取，幀差后交互行為雙方間軀體剪影的邊界信息確定的矩形區域為感興趣區域。

2HOG特征的提取

為了能夠在有效地描述感興趣區域內的全局信息的同時降低特征提取的復雜程度，文中采用HOG描述符對每幀圖像的感興趣區域進行表征。

HOG特征[11]是一種不需要在相鄰幀間進行處理的簡單全局特征表示法，其只需要在當前幀像素點間求取梯度的幅值和方向，并在不同方向區域上對像素點幅值大小進行直方圖統計即可。在完成統計后，對當前幀各個方向區域的像素點幅值統計結果進行歸一化處理，這樣能夠避免感興趣區域變化帶來的尺度干擾問題。本文在提取HOG特征時具體的流程如圖4所示。

圖4　不同階段感興趣區域HOG提取框圖Fig.4　HOG descriptor extraction of ROI in different stages

1)計算圖像的梯度

(1)

(2)

式中：T(xi,yj)和θ分別表示像素點(xi,yj)梯度的幅值大小和方向，Px(xi,yj)和Py(xi,yj)分別為圖像上任意像素點(xi,yj)的水平和垂直方向梯度。如圖4 (b)和(e)分別為圖像中各個像素點上梯度的直觀表示。

2)梯度的直方圖統計

將1)中求取的梯度圖像均等地劃分為P×Q(P=Q=4)個不重疊的子區域，并以每個子區域的中心點為原點的圓周內，分割成大小相同的K(K=12)個不重疊的扇形區間，在每個扇形區域內統計該子區域的所有像素點梯度，疊加所有子區域的直方圖特征構成最后的P×Q×K維特征向量。

3動作識別

3.1幀幀最近鄰識別方法

幀幀最近鄰識別方法是一種簡單有效的識別方法，識別單人動作速度很快[12]。為了簡化達到保證算法的實時性，文中選取了幀幀最近鄰的方法作為最終的識別方法。幀幀最近鄰識別方法如式(3)所示：

(3)

統計待測試動作圖像序列某一階段的每一幀的識別結果，能夠得到該圖像序列在這一階段的分類票數結果，將該分類票數結果進行歸一化操作可得到該圖像序列在這一階段的識別概率：

(4)

(5)

式中：vi代表分類票數，pi代表識別概率。

3.2分層識別概率的加權融合

通過使用幀幀最近鄰分類器可以分別獲得交互行為開始階段單人原子動作的識別概率、交互行為執行階段整體的識別概率以及交互行為結束階段單人原子行為的識別概率。

將3個階段的識別概率進行融合的過程，分為：

1)交互行為開始階段，單人原子行為識別概率的融合：在交互行為開始階段，本文將交互行為雙方身體所在感興趣區域進行分別提取和識別，這樣可以分別獲得交互行為雙方在開始階段的識別概率，通過將兩者加權融合，可以獲得交互行為開始階段的識別概率：

(6)

式中：Pstart為待測試動作圖像序列開始階段的最終的識別概率，Psl為交互行為開始階段左側執行人所做動作的識別概率，Psr為交互行為開始階段右側執行人所做動作的識別概率，wsl是融合過程中，左側執行人動作識別概率的權值，wsr是右側執行人動作識別概率的權值。權值經由大量實驗獲得。

2)交互行為結束階段，單人原子行為識別概率的融合：在交互行為結束階段的單人原子行為識別概率融合的方法與在開始階段融合的方法相同：

(7)

式中：Pend為結束階段的最終識別概率，權值wel與wer經由大量的實驗獲得。

3)三階段識別概率融合：分別獲得3個階段的識別概率后，通過加權融合的方式可以得到待測試動作圖像序列的最終識別概率及結果：

(8)

式中：PFinal為待測試動作圖像序列最終識別概率，Pmiddle為交互行為執行階段識別概率，各個階段的識別概率加權參數ws、wm以及we通過比較3個階段的平均識別率獲得，分別為25%、40%及35%。

4實驗與結果分析

4.1數據庫信息

本文所用實驗數據均來自UT-interaction數據庫[13]，其中包含2個子數據庫，每個子數據庫中包含握手、擁抱、踢、指、推、拳擊6類動作，每類動作下包含有10個動作視頻，除掉指動作，整個數據庫由15人在真實場景下兩兩完成。該數據庫中的視頻場景內大多含有雜亂的背景、相機抖動、變化的光照等挑戰因素。該數據庫被廣泛用于雙人交互行為識別研究中。本文的實驗數據集由UT-interaction數據庫中子數據庫1中的握手、擁抱、踢、推、拳擊5類動作的全部樣本組成。在實驗過程中，采取留一交叉驗證法對數據庫進行了測試實驗。

圖5　UT-interaction數據庫示例圖Fig.5　Exemplar frames from UT-interaction dataset

所有實驗環境為主頻3.2GHz，內存4GB，32位win7操作系統下MATLAB2012軟件平臺上完成。

4.2不同階段雙人交互行為識別性能驗證

在本次試驗中，利用UT-interaction數據庫對分層識別的方法進行了測試。

1)在交互行為的開始階段，分別對左右兩側運動目標所在區域進行了分割提取，使用HOG描述符分別對左右側人體所在感興趣進行描述，通過幀幀最近鄰分類器獲得識別概率，并最終進行加權融合。

表1交互行為開始階段單人原子行為識別結果及加權融合識別結果

Table 1The recognition result of single behavior and weight fusion in the start stages of interaction

區域握手擁抱踢推拳擊識別率/%left605020503042right708050605062final8010060604068

由表1的實驗結果可以看出，在交互行為開始階段，動作的特性往往表現的并不明顯，有些交互行為的開始階段動作相似度極高，所以對這一階段的單人原子動作的識別結果并不理想，但是在對雙人原子行為的識別概率進行加權融合后，識別的效果有了明顯的提升。其最優權值由大量的實驗獲得。如圖6(a)所示，在開始階段的雙人原子行為識別概率加權融合的最優權值分別為：28%和72%。圖6(b)、(c)、(d)中給出了交互行為開始階段左右兩側人體單人原子行為以及識別概率加權融合后的混淆矩陣圖及相應的整體識別率。

(a) 交互行為開始階段最優權值實驗結果

(b)交互行為開始階段左側人體單人原子行為識別混淆矩陣(識別率42%)

(c)交互行為開始階段右側人體單人原子行為識別混淆矩陣(識別率62%)

(d)交互行為開始階段左右兩側人體單人原子行為加權融合識別混淆矩陣(識別率68%)圖6　交互行為開始階段單人原子行為及加權融合后混淆矩陣以及最優權值測試圖Fig.6　The optimal weight and confusion matrixes for the interaction start stage

2)在交互行為的執行階段，雙人交互行為的識別是將交互行為雙方人體所在區域作為一個整體進行分割提取，使用HOG描述符對感興趣進行描述，通過幀幀最近鄰分類器獲得識別概率。交互行為執行階段的識別混淆矩陣如圖7所示。

3)在交互行為的結束階段，分別對左右兩側運動目標所在區域進行了分割提取，使用HOG描述符分別對左右側人體所在感興趣進行描述，通過幀幀最近鄰分類器獲得識別概率，并最終進行加權融合。

由表2的實驗結果可以看出，在交互行為結束階段，動作的特性表現并不明顯，有些交互行為的可辨識度較低，所以在這一階段單人原子動作的識別結果并不理想，但是在對左右兩側人體單人原子行為識別概率進行加權融合后，識別的效果有了明顯的提升。其最優權值由大量的實驗獲得。如圖8(a)所示，在開始階段的雙人原子行為識別概率加權融合的最優權值分別為：36%和64%。圖8(b)、(c)、(d)中給出了交互行為結束階段左右兩側人體單人原子行為以及識別概率加權融合后的混淆矩陣圖及相應的整體識別率。

圖7　交互行為執行階段雙人交互行為識別混淆矩陣(識別率76%)Fig.7　Confusion matrixes for execution of interaction

表2交互行為結束階段單人原子行為識別結果及加權融合識別結果

Table 2The recognition result of single behavior and weight fusion in the end stages of interaction

區域握手擁抱踢推拳擊識別率/%Left906020307054Right708090206064final908080407072

(a) 交互行為結束階段最優權值實驗結果

(b)交互行為結束階段左側人體單人原子行為識別混淆矩陣(識別率54%)

(c)交互行為結束階段右側人體單人原子行為識別混淆矩陣(識別率64%)

(d)交互行為結束階段左右兩側人體單人原子行為加權融合識別混淆矩陣(識別率72%)圖8　交互行為結束階段單人原子行為及加權融合后混淆矩陣以及最優權值測試圖Fig.8　The optimal weight and Confusion matrixes for the interaction end stage

4)交互行為三階段識別概率融合：根據交互行為開始階段以及交互行為結束階段左右兩側單人原子行為識別概率加權融合的最優權值選擇過程，可以發現，交互行為不同對象或不同階段之間的識別概率加權融合的最優權值差值與它們之間的平均識別率差值正相關，如表3所示。

表3交互行為開始與結束階段單人原子行為識別率與融合權值關系

Table 3The relationship between recognition rate and weight of each stage

階段識別率leftright權值leftright識別率差權值差/%開始426228722044結束546436641028

所以，在雙人交互行為識別最終的三階段識別概率融合過程，本文根據各個階段的平均識別率設置的權值為：交互行為開始階段識別概率加權參數25%(該階段平均識別率68%)；交互行為執行階段識別概率加權參數40%(該階段平均識別率76%)；交互行為開始階段識別概率加權參數35%(該階段平均識別率72%)。實驗結果對比如表4所示。通過將最終加權融合的識別結果與各個階段識別結果進行對比能夠發現，動作“握手”、“擁抱”以及“踢”這3種動作的識別率達到100%，動作“推”的識別率達到70%，優于各個階段的識別效果，動作“拳擊”的識別率達到80%，優于各個階段的識別效果。

表4　各個階段與最終融合識別效果

圖9給出了交互行為三階段識別概率加權融合后的最終識別混淆矩陣圖。

圖9　三階段識別概率加權融合混淆矩陣Fig.9　The three stage recognition probability weighted fusion confusion matrix

從混淆矩陣中可以看到，本文方法對大部分雙人交互動作均能夠正確識別，其識別率可達90%，尤其是對“握手”、“擁抱”及“踢”動作能夠100%正確識別。從混淆矩陣的觀察來看，動作“推”和“拳擊”2組動作相互間存在較高的識別誤差，主要原因在于這2組動作的相似性較高造成。

4.3不同方法識別效果比較

在表5中給出了近年來同樣在UT-interaction數據庫中進行雙人交互行為的識別結果。將本文所提出的方法與其進行比較，進而驗證本方法對于雙人交互行為優秀的識別性能。

從表5的實驗結果對比可以看出，本文所提出的方法在識別交互行為的準確率方面要明顯優于其他的識別方法。在識別速度方面，本文提出的方法平均速度達到0.141 6 s/幀，由于樣本集幀數不同，對數據庫的平均識別速度達到9.257 8 s/視頻(各個視頻平均包含65.38幀)。相比于其他的識別方法，本文提出的識別方法的優點在于并不需要建立復雜的概率模型，同時實驗表明識別準確率較高。

表5不同方法在UT-interaction數據庫中的動作識別結果比較

Table 5Comparison of different algorithms for interaction recognition in UT-interaction dataset

方法識別率/%用時/sThreestageHOG+1nn909.2578globaltemplate+local3Dfeature+discriminativemodel[14]85—3DXYTs-tvolume+BoW+co-occurrencematrix[15]41—KLTtrackingdetection+localdescriptors+structuredSVM[15]84—Bipartitegraph+keyposedoublets[16]79.17—2D+ttubes+spatio-temporalrelationshipsgraphmodel[17]78.914.2

5結束語

文中提出了一種將交互行為分階段處理再融合的方法，在交互行為的開始階段和結束階段，對交互行為雙方人體所在區域分別進行分割提取，這樣能夠在最大程度的保留交互動作的動作特性的同時，減少包含復雜環境等因素的冗余背景信息的影響；在交互行為執行極端采用將接觸的雙方整體切割出來的方式，即減少了冗余背景信息的影響，也避免了由于人體遮擋導致誤分割情況造成的錯誤識別。在UT-interaction數據庫上的大量實驗證明，該方法實現簡單，對交互行為有較好的識別效果。本文所提出的方法對相似動作間的區分仍然存在一定誤差，下一步的研究重點將是進一步完善特征的表示和識別模型的構建，進一步提高識別率。

參考文獻:

[1]WEINLAND D, RONFARD R, BOYER E. A survey of vision-based methods for action representation, segmentation and recognition[J]. Computer Vision and Image Understanding, 2011, 115(2): 224-241.

[2]SEO H J, MILANFAR P. Action recognition from one example[J]. IEEE Transactions on pattern Analysis and Machine Intelligence, 2011, 33(5): 867-882.

[3]吳聯世, 夏利民, 羅大庸. 人的交互行為識別與理解研究綜述[J]. 計算機應用與軟件, 2011, 28 (11): 60-63. WU Lianshi, XIA Limin, LUO Dayong. Survey on human interactive behaviour recognition and comprehension[J]. Computer Applications and Software, 2011, 28(11): 60-63.

[4]YU Gang, YUAN Junsong, LIU Zicheng. Propagative hough voting for human activity recognition[C]//Proceedings of the 12th European Conference on Computer Vision, Florence, Italy. Berlin Heidelberg: Springer, 2012: 693-706.

[5]YU T H, KIM T K, CIPOLLA R. Real-time action recognition by spatiotemporal semantic and structural forests[C]//Proceedings of the 21st British Machine Vision Conference. United Kingdom, 2010: 1-12.

[6]YUAN Fei, SAHBI H, PRINET V. Spatio-temporal context kernel for activity recognition[C]//Proceedings of the 1st Asian Conference on Pattern Recognition. Beijing, China, 2011: 436-440.

[7]BURGHOUTS G J, SCHUTTE K. Spatio-temporal layout of human actions for improved bag-of-words action detection[J]. Pattern Recognition Letters, 2013, 34(15): 1861-1869.

[8]LI Nijun, CHENG Xu, GUO Haiyan,et al. A hybrid method for human interaction recognition using spatio-temporal interest points[C]//Proceedings of the 22nd International Conference on Pattern Recognition. Stockholm, Sweden, 2014: 2513-2518.

[9]KONG Yu, JIA Yunde, FU Yun. Interactive phrases: semantic descriptions for human interaction recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(9): 1775-1788.

[10]SLIMANI K, BENEZETH Y, SOUAMI F. Human interaction recognition based on the co-occurrence of visual words[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops. Columbus, Ohio, USA, 2014: 461-466.

[11]JIANG Zhuolin, LIN Zhe, DAVIS L S. Recognizing human actions by learning and matching shape-motion prototype trees[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(3): 533-547.

[12]JI Xiaofei, ZHOU Lu, LI Yibo. Human action recognition based on adaboost algorithm for feature extraction[C]//Proceedings of 2014 IEEE International Conference on Computer and Information Technology. Xi'an, China, 2014: 801-805.

[13]RYOO M S, AGGARWAL J K. Spatio-temporal relationship match: Video structure comparison for recognition of

complex human activities[C]//Proceedings of the IEEE International Conference on Computer Vision. Kyoto, Japan, 2009:1593-1600.

[14]KONG Y, LIANG W, DONG Z, et al. Recognising human interaction from videos by a discriminative model[J]. Institution of Engineering and Technology Computer Vision, 2014, 8(4): 277-286.

[15]PATRON-PEREZ A, MARSZALEK M, REID I, et al. Structured learning of human interactions in TV shows[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(12): 2441-2453.

[16]MUKHERJEE S, BISWAS S K, MUKHERJEE D P. Recognizing interaction between human performers using "key pose doublet"[C]// Proceedings of the 19th ACM International Conference onMultimedia. Scottsdale, AZ, United states, 2011: 1329-1332.

[17]BRENDEL W, TODOROVIC S. Learning spatiotemporal graphs of human activities[C]//Proceedings of the IEEE International Conference on Computer Vision. Barcelona, Spain, 2011: 778-785.

姬曉飛，女，1978年生，副教授，博士，主要研究方向為視頻分析與處理、模式識別理論。承擔國家自然科學基金、教育部留學回國啟動基金等多項課題研究。發表學術論文40余篇，其中被SCI、EI檢索20余篇。參與編著英文專著1部。

王昌匯，男，1991年出生，碩士研究生，主要研究方向為基于圖模型的雙人交互行為識別。

王揚揚，女，1979年生，工程師，博士，主要研究方向為視頻分析與處理、模式識別理論。承擔遼寧省教育廳科學研究一般項目等多項課題研究。發表學術論文20余篇，其中被SCI、EI檢索8篇。

網絡出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20151111.1700.010.html

英文引用格式：JI Xiaofei，WANG Changhui，WANG Yangyang. Human interaction behavior-recognition method based on hierarchical structure[J]. CAAI Transactions on Intelligent Systems, 2015, 10(6): 893-900.

Human interaction behavior-recognition method

based on hierarchical structure

JI Xiaofei， WANG Changhui， WANG Yangyang

(School of Automation， Shenyang Aerospace University， Shenyang 110136， China)

Abstract：To solve the problem of double interaction behavior recognition, in this paper we propose a novel interaction behavior-recognition method based on hierarchical structure. First, the interactive behavior of both areas of body contact is determined as the cut-off point. The interaction process is then divided into three stages-the start, execution, and end stages. We extract the left and right human body regions in the start and end stages, respectively. Both human body regions are extracted as a whole in the execute stage. Next, we utilize a histogram of oriented gradients (HOG) descriptor to describe information on the regions of interest of each stage. Thereafter, we use the nearest neighbor classifier to obtain the recognition probability of each object in each stage. Finally, we obtain the recognition result from the weighted fusion of this recognition probability. The experimental results, using the UT-interaction dataset, demonstrate that the proposed approach is easy to implement and has good recognition effect.

Keywords：computer vision; human interaction; action recognition; histogram of oriented gradient; layered model; nearest neighbor classifier; ut-interaction database; weighted fusion

作者簡介：

通信作者：姬曉飛. E-mail：jixiaofei7804@126.com.

基金項目：國家自然科學基金資助項目(61103123);遼寧省高等學校優秀人才支持計劃資助項目(LJQ2014018);遼寧省教育廳科技研究基金資助項目(L2014066).

收稿日期：2015-05-06. 網絡出版日期：2015-11-11.

中圖分類號：TP391.4

文獻標志碼：A

文章編號：1673-4785(2015)06-0893-08

DOI:10.11992/tis.201505006