時空興趣點結合HMM的人體動作識別方法

， ，

(1. 佛山職業技術學院 電子信息系，佛山 528137； 2. 華南理工大學 工商管理學院，廣州 510000)

0 引言

近年來由于在智能醫療監控、視頻檢索、自然人機交互、虛擬現實、智能機器人控制及游戲開發有廣泛的應用，現實場景的人體運動識別已為計算機視覺熱門的研究領域[1-3]。人體動作識別涉及視頻捕捉[4]、視頻圖像處理[5]、模型識別[6]等關鍵技術，通過對視頻序列進行處理分析來識別人體動作。然后再結合動作執行環境中的語義信息，進一步借助計算機完成高層語義信息的分析和識別。

當前對現實場景中人體動作描述方法包括基于人體模型特征的方法、基于整體特征的方法和基于局部特征的方法三類[7-8]。基于人體模型的方法基本上采用三維人體模型，優點是不受視角、光照和尺度變化的影響，是描述人體運動最直觀最本質的方法；但人體三維姿態與人體結構越接近，所描述的姿態特征就越精細，其相對應的維度就越大，因此就會帶來分類算法帶來維度災難問題，也就會增加學習動作模型所需的數據量和算法復雜性[9]。整體特征是將人體運動區域從背景中提取出來，把人體表示成二值圖像以區分人體和背景，并對該區域的表觀或運動信息進行語義描述，而忽略人體的表觀和結構信息。通過輪廓描述子描述成一段視頻視為單幀輪廓的時間序列或圖像在時間軸上級聯的時空體，但整體特征生成都需要較多的預處理[10]。許多研究采用基于局部特征的動作描述方法，試圖解決整體特征不足的問題。該類方法不借助人體目標檢測。

時空興趣點檢測是基于局部特征生成的一個關鍵步驟[11]，眾多研究者提出了基于時空興趣點的人體動作識別方法。例如Laptev提出的Harris3D時空興趣點[12], 通過加入時間軸信息，對二維平面上Harris圖像灰度值變化的角點擴展到三維空間和時間上，在時間和空間的3個方向上均有較大變化的時空點，但在現實場景中的前景較小，經常提取不到興趣點，導致該方法提取的興趣點非常稀少。Dollar提出了Dollar時空興趣點[13]，基于分離式的線性濾波器提取時空興趣點，并進一步在時間域上進行Gabor濾波，并通過計算時空響應函數的局部極大值確定興趣點。Willems提出Hes-STIP檢測子[14], 使用基于三維的Hessian矩陣的顯著度評價函數對圖像的空間特色塊進行時空擴展，并在時空域的5個方向上用非極大值抑制的方法確定興趣點。Wong采用非負矩陣分解方法檢測到運動的身體部分，然后基于全局信息選取興趣點，使得提取的興趣點更能描述人體動作特征，從而提高了識別性能[15]。以上分析可知，已有的時空興趣點算法為了提取更優質判別性的和顯著點，時域和空域選擇條件的比較苛刻，使得在視頻序列中提取的興趣點非常稀少，太少的興趣點使得過少的信息量不足以描述復雜的人體動作；其次，為提取具有特征的時空點，需要在多個時域和空域進行篩選，計算量很大。所以經典的時空興趣點算法在現實復雜場景中的效果不是很理想。為這些問題，本文提出一種新的基于旋度的興趣點提取算法，給定一個人體動作視頻序列，先從光流場中篩選出運動變化趨勢較為劇烈的點作為時空興趣點，再利用光流場的旋度找出人體相鄰關節的空間信息，進一步訓練每一類動作的時空興趣點的隱馬爾科夫模型。對提出的方法進行驗證，在運算效率和識別率方面都取得了較好的效果。

1 人體動作時空興趣點提取方法

在人體動作識別過程中結構包括由骨骼組成的軀干和四肢兩部分，骨骼之間經由關節鏈接起來，本文將人體骨架劃分成27個關節點。將軀干分為7個關節點，將四肢劃分成5個關節點。空間相鄰的兩關節點處于某骨骼的兩端，骨骼圍繞著關節做類似于線段繞著支點做旋轉運動，關節處的旋轉方向和旋轉幅度的值比較大，本文提出從光流方程獲得軀干7個關節點和四肢20個關節點空間時序信息并篩選出光流場運動變化趨勢劇烈的點為時空興趣點，形成特征矩陣。

1.1 微分光流約束方程原理

光流法的基本原理是直接對視頻幀序列進行處理，為2D幀序列圖像中的每一個像素點賦予一個速度向量，構成一個圖像運動場。

圖像點(x,y)在時刻t的圖像強度為I(x,y,t)，經過時隔δt后圖像強度為I(x+δx,y+δy，t+δt)，δt→0時輻照度不變，則得式(1)。

(1)

設μ=dx/dt,ν=dy/dt分別為該點光流沿x軸和y軸的分量，將(1)式左邊Taylor公式展開，得式(2)。

(2)

上式中ε為二階無窮小，取極限δt→0，在消去I(x,y,t)后得式(3)。

(3)

Ixμ+Iyν+It=0

(4)

(4)式為圖像序列光流的約束方程。寫成矢量形式為式(5)。

▽Ι·ω+It=0

(5)

ω=(μ，ν)T為像素的光流矢量。

式(4)只能是平面上的一條直線，因此求解光流場是一個不確定問題，為了求解的ω=(μ，ν)T兩個分量必須附加其他的約束。

1.2 Horn-Schunck附加約束

Horn-Schunck提出基于添加平滑約束項的迭代方法求解光流，據約束方程,光流誤差為式(6)。

e2(X)=(Ixu+Iyv+It)2

(6)

對添加平滑約束項的光流，其速度分量平方和積分為式(7)。

(7)

將加權參數控制圖像流約束微分和光滑性微分組合起來得式(8)。

E=?{e2(X)+αs2(X)}dxdy

(8)

α是平滑度的系數因子，圖像數據包含噪聲時，α越大估計精度越高。對式(8)進行變分法求解，其解是一對偏微分方程，如式(9)。

(9)

由于計算的對象是離散化的圖像，經離散化處理變為式(10)、式(11)。

(10)

(vi+1,j-vi,j)2+(vi,j+1-vi,j)2]

(11)

取極小化函數為式(12)。

(12)

E對u和v求偏導為式(13)。

(13)

當上式為零時，則式(2.11)取極小值，得到式(14)。

(14)

利用迭代的方法求解得式(15)。

(15)

迭代次數n與光流初始值和圖像質量有關，通常u0和v0為零。當迭代次數n>32時，相鄰兩次迭代結果小于預定的公差值就足夠精確了。

1.3 基于旋度的提取方法

現實生活中人體做不同的運動時身體會產生局部的旋轉，光流場中就有不同的旋度分布，旋度值與肢體運動的強度有關，旋度值大的部位一般為肢體運動趨勢劇烈的部位。論文提出一種新的基于光流場旋度的時空興趣點方法。

2D光流場中旋度的定義為式(16)。

(16)

具體算法流程如下：先將一個人體動作視頻序列解碼成幀序列，計算出每幀圖像每個像素點的密集光流值；通過式(16)計算出每個像素點位置的旋度值；將幀圖像的左上角作為原點，由于運動方向不同，算出的旋度有正負之分，再統計出像素點旋度的正負極值max+和max-；設置一個閾值為正負極值的百分比(例如15%)，根據設定選取旋度值大于正閾值及小于負閾值的像素點為局部密集點；最后進行間隔為3的空間采樣為最終的興趣點。圖1顯示了在KTH和UCFSports庫上由本文提取興趣點的結果(紅色點所示)，如圖1所示。

圖1 興趣點分布，第1行：KTH；第2行：UCFSports

從實例可以看到提取的興趣點(紅色像素)是聚集在人體運動的關節部位，在一些小區域部位形成密集的點群。

2 人體動作分類器設計

2.1 隱馬爾科夫模型概述

它是馬爾科夫鏈的一種雙內嵌結構的隨機過程，一個是狀態觀測序列，另一個是隱含的狀態轉移序列且處于某類有限序列中，其狀態轉換過程時不可觀察的。

隱馬爾可夫模型有5個基本元素，為λ={S,V,A,B,π}

河南自貿區自建成以來對河南省貿易企業提供諸多優惠政策，河南省國稅局除落實既定稅收優惠政策之余借鑒已經試點上海、廣東、天津和福建自貿區的稅收政策，將相關稅收優惠政策繼續傳承下去。接下來我們一起來分析相關稅收優惠政策。

1)隱含狀態集合:S={S1,…SN}

2)觀測狀態集合:V={V1,…,VM}

3)隱含狀態轉移概率分布矩陣

A=(aij)N×N

Aij=P(Sj/Si),1≤i,j≤N

4)輸出觀測值的概率矩陣

B=(bij)N×M

Bij=P(Oi/Sj),1≤i≤M,1≤j≤N

5)始狀態概率分布矩陣:π=(π1,…,πN)

HMM的評估問題利用前向和后向算法解決方案：前向變量由前向算法公式(17)定義的遞歸關系計算；后向變量由后向算法公式(18)定義的遞歸關系計算；觀測序列 的發生概率可由如公式((19)求得式(17)～式(19)。

(17)

(18)

(19)

HMM的解碼問題通常采用Viterbi算法定義：

δ(t,i)=maxP(q1,…qt-1,qt=Si,o1,…,ot|λ)

HMM的學習訓練問題通過Baum-Welch算法，計算模型當前的最大似然估計解決模型訓練，如式(20)～式(22)。

ξt(i,j)=P(qt=Si,qt=1=Sj|O,λ)=

(20)

(21)

ξt(i,j)=P(qt=Si,qt+1=SJ|O,λ)

(22)

2.2 人體動作識別

HMM模型是一種雙內嵌結構的隨機過程，具有較強的時序建模能力，主要應用于視頻時序信號處理、行為識別等領域中，本文選用高斯混合HMM模型對動作構建模型進行識別。

在分類器訓練中，HMM模型將利用期望最大化，來計算關節點旋度上的依賴關系和特征塊時序維度。其中每一類動作都將被訓練成一個HMM模型，記為{λ1,λ2，…,λc}，其中c表示動作類別數。在得到關節興趣點序列J′后(o′為相應的特征矩陣)，由HMM模型對其動作類別基于最大似然概率進行動作識別，如式(23)。

(23)

同時，為解決傳統HMM模型時間上不連續性，本文采用連續高斯概率核函數計算觀測值序列的概率密度分布，如式(24)。

(24)

其中，G為高斯概率核函數。

3 實驗分析與比較

本文實驗驗證數據選自KTH和Hollywood-2動作數據集。KTH數據集分別是25個執行者在4個不同場景中完成拳擊、走路、慢跑、快跑、雙臂揮舞和拍手的6類動作，包含2 391個視頻序列，大小為160*120像素，數據集中視頻幀率為25fps，平均10至15秒；場景隨著光線的變化、衣服顏色與款式不同的而變化，場景背景單一，每個場景僅包含一個執行者單一動作，本文將數據集分成9個人的測試集(2,3,5,6,7,8,9,10和22)，另外16位執行者作為訓練集；Hollywood-2數據集所有樣本從69部Hollywood電影中抽取出來，包括從現實電影場景中的12個動作類和10個場景共3669個樣本：吃飯、下車、打架、接電話、握手、擁抱、開車、接吻、坐下、跑步、站起來和坐起來，空間分辨率為360 * 288，樣本幀率為4.6 fps，視頻中人的形態、穿著、表情、背景及相機的運動、光照角度、遮擋等變化較大，接近真實場景情況。

本文算法是先采用Opencv提供的代碼從原始序列中計算出光流場以及各像素點的旋度值，從而提取出每幀圖像上時空興趣點;然后采用隨機選擇窗口尺寸的策略確定出每個興趣點，并從后續幀興趣點的跟蹤位置上軌跡線取一個N*N*L的時空體(N為空間窗口)，隨機選擇36, 48, 56, 64四個尺度；時間尺度方面為解決跟蹤興趣點易漂移和去除不穩定的點的問題，本文固定軌跡長度為L(為減少計算量L取20幀)。當軌跡達到L時，則認為形成一條新軌跡，并可以去掉不穩定的點。如圖2所示。

圖2 傳統密集興趣點提取方法與本文興趣點提取方法對比

本文設置隱馬爾科夫模型的有限狀態集為|SW|=3,ω=1,…,W，高斯混合分布總數也為3，為更好地捕獲時空位置信息，將N*N*L的局部窗口分成nσ×nσ×nτ(2,3)的時空子窗口。

本文算法在KTH集中動作識別結果混淆表，如圖3所示。

行為相似度較高的走、慢跑、跑混淆度僅為3.29%，全部行為識別率均超過91%，平均識別精度96.81%，具有很高的區分度。

本文測算旋度、確定閾值，通過比較提取興趣點，隨機選擇窗口尺寸時空體并提取特征，避免了多尺度遍歷，文獻[15]需計算光流場稠密軌跡，每幀圖像均需尺度縮放，因此計算量顯著增加。本文采用KTH庫慢跑動作及Hollywood-2庫開車動作，分別考察其他模型算法的平均耗時及識別精度，如表1所示。

表1 在KTH庫和Hollywood-2庫上耗時與識別精度對比

從表中可以看出，本文算法平均耗時不到文獻[15]和文獻[16]方法耗時的一半，對相似度很高的行為之間的識別精度高，驗證了本文算法在真實場景中的實用價值。

4 總結

基于時空興趣點和隱馬爾科夫模型提出了一種新的人體動作識別算法。為解決以往的時空興趣點算法需考慮多層時空尺度計算復雜度高，提出光流場微分的旋度興趣點算法，時空興趣點大都集中三維關節點的關鍵部位，采用隨機選擇窗口尺寸避免多尺度遍歷節省計算時間；并利用光流場的旋度找出人體相鄰關節的空間信息，并進一步訓練隱馬爾科夫模型，將算法應用到兩個動作數據庫上，都獲得較好的識別能力。

今后的工作重點將考慮到動態背景的影響，進一步提高算法的運動識別能力。