基于關鍵姿勢的人體動作識別

劉 博，安建成

(太原理工大學計算智能研究室，山西太原030024)

1 人體動作識別

人體動作識別在計算機視覺方面已經成為了一個流行的話題。在如此多的視頻監控和人機交互系統中，一個可靠有效的解決方法顯得尤為重要。

現在有很多方法來表示動作和提取動作特征，例如基于運動的方法［1］、空間—時間的興趣點［2－3］、空間—時間分割［4］。相對于以上復雜的識別方法，對于給定的動作，人腦可以很快地識別出這個人在干什么，這是因為人腦可以根據這個人的姿勢，不需要看完這個動作過程就可以做出判斷。在人腦識別動作的過程中，不需要任何的時間信息，而是需要去挖掘用姿勢來進行動作識別的潛力。

本文提出一種基于關鍵姿勢的簡單方法，類似于人腦識別方式來識別動作。通過提取人體輪廓，再對輪廓進行線條化處理。對于一個動作，能提取出帶有這個動作特征的幾個或十幾個關鍵姿勢。對于給定的動作幀序列，每一幀中的動作都會被提取出來線條化并與線條化后關鍵姿勢對比，計算相似度。最后，分類動作的幀序列，分類數最多的就是識別結果。

2 關鍵動作的提取

對每個幀提取動作的步驟(圖1)為:首先利用基于序列圖像的人體跟蹤算法［5］，然后在每一幀中用方框框出人的圖像，接著利用背景減除法提取人像的邊緣信息。為了消除由雜亂背景所產生的噪聲的影響，滯后閾值將在下一個步驟添加。在這點就可以從一個給定的幀序列中發現最佳的高和低的閾值，步驟如下:從一個動作序列選擇一個隨機幀，用一個多邊形手動畫出人體圖像的邊緣，在所選區域的邊緣值變化范圍可以用來確定低和高的閾值。為了消除殘留的噪聲，邊緣像素投射到x軸和y軸，則不屬于最大連接組件的像素被去除。之后，剩下的像素點用帶有方向的信息鏈連接起來。這些鏈結構可用來構建一個輪廓段的網絡(CSN)［6］。最后用k鄰接輪廓段(k－Adjacent Segments，k－AS)描述CSN網絡，這也是在物體識別領域里比較流行的做法。

圖1 姿勢提取的步驟

在CSN網中，如果k條線段是按序連接的，即第i條線段與第(i+1)條線段連接(i∈(1，k－1))，則稱這k條線段組成一個k鄰接輪廓線段組，k為其度。隨著k的增長，k－AS能夠描述越來越復雜的局部形狀結構。人類的姿勢，特別是肢體運動，可以用L－shapes來描述。因此，選擇k=2，即2－AS直線對。這樣每個線對由直線段S1和直線段S2組成，即

3 計算姿勢之間的相似性

用線對的集合來描述給定每一幀的姿勢。兩個線對描述(va，vb)的相似性計算為

式(2)的第一部分是計算兩個線對的位置差異，第二部分是計算方向差異，最后一個是計算長度差異，每項的權重wr=4，wθ=2。式(2)只能比較兩個線對的相似性，下文將介紹一種可以計算比較兩幀里多個線對的方法。

在任何由線對組成的兩幀中，把這兩個幀中的線對當成是兩個集合X，Y，為了匹配這兩個集合中的元素，線對的匹配必須要滿足一對一和多對一的模式，所以集合X中的每一個線對元素和集合Y中的每一個線對元素對應。

在f1，f2兩幀中，包含了兩個線對的集合φ1={v1，v2，…，vi，…，vn}和 φ2={v1，v2，…，vk，…，vm}，f1中有n個線對，f2中有m個線對。用φ1中每一個vi和φ2中每一個vk做比較，找出匹配線對，只有在φ2中vk對于vi有最小相似距離和φ1中對于vk有最小相似距離時，vk和vi相似，圖2是相對匹配事例。

圖2 相似姿勢的線對匹配

當滿足這種一對一的匹配屬性時，就可以求出平均的線對匹配距離davg。sim(f1，f2)是f1，f2的相似度計算公式

式中:match(f1，f2)表示匹配成功的線對數量，經過實驗發現，p=2是最優值。

4 關鍵姿勢的提取

關鍵姿態序列一般可以表示一種特殊的動作。直觀地說，視頻中一個關鍵姿勢序列合理地分布在視頻幀中，這個關鍵姿勢序列很好地再現了這個動作形態。用K中心點聚類算法［7］來提取關鍵姿勢，因為聚集的中心點能很好地提取每個動作的姿態。但是，直接用中心點作為關鍵姿勢并不能保證和另一個動作區分開，因為一系列的姿勢可能屬于多個動作。例如，揮手和拍手的動作共享幾個姿勢，都是人在揮動手臂。因此本文采用下文算法來把關鍵的姿勢(能區分開來和其他動作)分類。最后，給每一個動作關鍵姿勢的幀排序，根據其識別度給出分數，然后把分數最高的作為關鍵姿勢。圖3是KTH數據集中6種動作的關鍵姿勢［8］。

圖3 在KTH數據集中6種動作的關鍵姿勢(拳擊、拍手、揮手、慢跑、跑步、走)

提取關鍵姿勢算法具體如下:

1)K=(1，N)，K是關鍵姿勢的數量。

(1)每一個動作ai∈A，A={a1，a2，…，aM}，M是不同動作的數量。用K中心點聚類算法來提取ai中的關鍵姿勢，數量為K;從ai動作提取出來的候選關鍵姿勢序列為ci={ci1，ci2，…，ciK}。

(2)將上述樣本的動作視頻按一幀分開，f為一幀。用f和關鍵姿勢序列匹配ci={ci1，ci2，…，ciK};ciK和視頻中所有的幀f匹配的i∈［1，M］，k∈［1，K］;對每個關鍵姿勢設定個值，如果匹配成功，就給這個關鍵姿勢的值增加1。

2)對每組動作中的關鍵姿勢按他值排序，把值最高的幾個作為這個動作的關鍵姿勢。

5 動作識別

為了分類給定的動作序列，首先每一幀要和所有動作的所有關鍵姿勢對比，把給定視頻中的動作序列和關鍵姿勢進行相似分類計數，就是視頻幀中有多少和給定的關鍵姿勢序列1相似，統計出來，以此類推。圖4說明了分類計數的過程。

圖4 使用關鍵姿勢進行動作識別的過程

6 實驗結果

用 KTH［8］和 Weizmann［9］的數據集來測試本文的動作識別算法。選取了Weizmann 7個動作(蹲、起立、跳、快跑、側面、走、揮手)，這些動作由9個不同的人來演示。選取KTH的6個動作(拳擊、拍手、揮手、慢跑、跑、走)，這些動作由25個不同的人在4個場景下進行表演:室外(s1)、室外不同的地方(s2)、室外穿不同的衣服(s3)、室內(s4)。

對于選用Weizmann數據集合的6個動作樣本，本文在對輪廓進行線對描述，忽略其噪聲。為了評估分類性能，本文采用留一交叉驗證［10］。

對于KTH，認為它是一個單一的大集合，但是其中的樣本在邊緣檢測的結果中有大量的噪聲。為了評估分類性能，采用十倍交叉驗證然后求平均結果。因為計算開銷較大，隨機選擇了一半的數據集，用十倍交叉驗證對75%的樣本進行訓練，剩下的25%在每次測試中運行。在KTH數據集中，每個動作序列幀速率是不一樣的。為了保持一致，把每個動作的幀限定到20～50之間，能使動作流暢地演示一次。

在K=47時獲得了92.6%的識別率，K=78時也獲得了91.5%的識別率，對于KTH的數據集，K是每個動作的關鍵姿勢。對于Weizmann的數據集，還可以提高識別率到95.06%，采用嚴格的幾何約束，對每個幀放到一個二維坐標中，只在同一坐標內線對做匹配。但是，對于一部分KTH的數據集，人的圖像并不完整(例如缺少頭、腿等)，對圖像進行邊緣檢測和對圖像幀進行幾何約束的匹配時，這樣的圖像不能被很好地識別。圖5是平均分類的準確率和關鍵姿勢數量的關系。本文方法需要大量的K值，以達到良好的分類性能，因為不同表演者對同一個動作的演示也是不同的。

圖5 分類的準確率和對每個動作提取關鍵姿勢的數量關系曲線圖

在識別結果方面，局部時空特征的動作識別［11］方法基于Weizmann數據集的識別率是75% ～87%(表1)，局部時空特征的動作識別方法基于KTH數據集的識別率是59% ～100%(表2)。因為本文中的測試數據和基于局部時空特征的動作識別方法采用的數據一致(Weizmann數據集和KTH數據集)，所以從實驗結果看，基于Weizmann數據集大部分動作關鍵姿勢的識別率比局部時空特征高(表3)。在基于KTH數據集，關鍵姿勢的識別方法對比局部時空特征在跑、慢跑、揮手、走的動作識別方面也有一定的優勢(表4)。

表1 在Weizmann數據集中K=47的混淆矩陣

表2 在KTH數據集中K=78時的混淆矩陣

表3 局部時空特征的動作識別率基于Weizmann數據集

表4 局部時空特征的動作識別率基于KTH數據集

此外，對于KTH的數據集，一部分的錯誤分類也是由于場景(s3)中表演者穿不同的衣服，拿不同的東西，在提取輪廓的時候產生額外的線對。

7 總結

本文引入一個新方法——提取動作的關鍵姿勢，試驗這種方式在動作識別方面的準確度。用線對(包含位置、方向、長度信息)來描繪每一幀動作姿勢的形狀特征。因此，把姿勢信息放到直方圖上，該方法可以很好地保存線對(表示姿勢)的空間信息。通過匹配算法，比較兩幀中的線對集合。關鍵姿勢描繪動作的識別上也能明顯區別于其他動作。但是本文方法對邊緣檢測有很強的依賴性，對背景的噪聲也十分敏感，有待進一步研究。

［1］LU G .Motion－based region growing segmentation of image sequences［J］.Journal of Electronics，2000，17(1):53－58.

［2］李永浩，張西紅，彭濤，等.基于視覺注意力模型的紅外人體圖像興趣區域提取［J］.計算機應用研究，2008，28(12):94－96.

［3］支俊.車輛檢測中一種興趣區域提取方法［J］.計算機工程與設計，2007，28(12):3013－3015.

［4］ BLANKM，GORELICK L，SHECHTMAN E，etal.Actions as space－time shapes［C］//Proc.ICCV 2005 .［S.l.］:IEEE Press，2005:2247－2253.

［5］范新南，丁朋華，劉俊定，等.基于序列圖像的人體跟蹤算法研究綜述［J］.計算機工程與設計，2012，33(1):278－282.

［6］ FERRARIV，FEVRIER L，JURIE F，et al.Groups of adjacent contour segments for object detection［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2008，30(1):36－51.

［7］謝娟英，郭文娟，謝維信.基于鄰域的K中心點聚類算法［J］.陜西師范大學學報，2012，40(4):16－23.

［8］ SCHULDT C，LAPTEV I，CAPUTO B.Recognizing human actions:A local SVM approach［C］//Proc.ICPR 2004.［S.l.］:IEEE Press，2004:32－36.

［9］ BLANK M，GORELICK L，SHECHTMAN E，et al.Actions as spacetime shapes［C］//Proc.ICCV 2005.［S.l.］:IEEE Press，2005:2247－2253.

［10］劉學藝，李平，郜傳厚.極限學習機的快速留一交叉驗證算法［J］.上海交通大學學報，2011，45(8):1140－1146.

［11］雷慶，李紹滋.動作識別中局部時空特征的運動表示方法研究［J］.計算機工程與應用，2010，46(34):7－10.