基于圖像的動作識別與評價方法

劉倩，趙柏山

（沈陽工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，沈陽 110870）

1 引言

隨著計算機(jī)視覺技術(shù)的不斷發(fā)展，人體動作識別也在諸多領(lǐng)域得到應(yīng)用，比如智能安防，人機(jī)交互，虛擬現(xiàn)實，運動分析等[1]。其中，運動分析非常適于與體育動作相結(jié)合，用以分析體育動作，比較相似度，來完成識別和評價動作質(zhì)量[2]，達(dá)到輔助訓(xùn)練的效果，提高體育運動的學(xué)習(xí)性和參與性。目前人體動作識別方法主要分為兩種，第一種是通過可穿戴式設(shè)備[3]，利用陀螺儀、加速度傳感器等采集人體運動參數(shù)對人體動作進(jìn)行識別[4]，但是該方法對硬件依賴性高，成本高。第二種是通過RGB視頻或圖像進(jìn)行動作識別，缺點是識別效果容易受到環(huán)境復(fù)雜背景、光照等影響[5]。針對上述問題，在此從骨骼信息出發(fā)，基于圖像使用OpenPose檢測方法[6]提取骨骼關(guān)鍵點信息，將骨骼關(guān)節(jié)信息轉(zhuǎn)化為距離、角度等特征[7]，通過動態(tài)時間規(guī)整算法[8]和KNN分類器[9]解決識別和評價的問題。

2 方法概述

基于圖像實現(xiàn)體育動作識別首先需要錄制動作視頻，將視頻讀取為幀圖像進(jìn)行圖像預(yù)處理；接下來通過OpenPose姿態(tài)估計模型對預(yù)處理后的圖像進(jìn)行骨骼關(guān)鍵點檢測，提取關(guān)節(jié)點坐標(biāo)；然后對關(guān)節(jié)數(shù)據(jù)進(jìn)行處理并構(gòu)建特征向量；最后利用動態(tài)時間規(guī)整算法和KNN分類器進(jìn)行動作識別。

2.1 視頻預(yù)處理

為了更好地滿足動作識別的需要，對動作視頻進(jìn)行以下預(yù)處理：

a)將錄制好的動作視頻數(shù)據(jù)集轉(zhuǎn)為圖像幀。轉(zhuǎn)換后的圖像有270×480、544×960、720×1280三種尺寸。利用OpenCv計算機(jī)視覺庫和Python語言將圖像進(jìn)行統(tǒng)一的縮放裁剪為270×480。

b)圖像濾波。圖像中普遍存在高斯噪聲，此時就需要采用OpenCv中自帶的高斯濾波函數(shù)來實現(xiàn)圖像的去噪聲處理。

2.2 基于OpenPose骨骼關(guān)鍵點檢測

OpenPose模型結(jié)構(gòu)如圖1所示。檢測分為前后兩個階段：

圖1 OpenPose模型結(jié)構(gòu)

階段1輸入圖片，卷積神將網(wǎng)絡(luò)（CNN）對圖片分析處理，由VGG19網(wǎng)絡(luò)的前10層進(jìn)行初始化得到特征圖F；

階段2將得到的特征圖F分成兩個分支，通過貪婪推理預(yù)測身體部分位置信度映射S和一組2D親和度矢量向量場L，用S和L編碼檢測目標(biāo)各部分之間的關(guān)聯(lián)向量場，通過置信度分析檢測目標(biāo)的親和向量場，最終標(biāo)出所有檢測目標(biāo)的2D關(guān)鍵點。

特征圖F經(jīng)過CNN進(jìn)行分析處理，通過多次迭代來預(yù)測結(jié)果。整個過程經(jīng)歷t個階段，t∈{1,2,...,T}。第一階段得到置信圖S1和親和力L1，后續(xù)的T-1個階段將上一階段的兩個分支的輸出和原始特征圖F相結(jié)合，進(jìn)行下一步預(yù)測，如下二式所示：

經(jīng)過多層網(wǎng)絡(luò)的反復(fù)迭代直到收斂，最后在預(yù)測時對于任意兩個關(guān)節(jié)點位置yj1和yj2，計算關(guān)節(jié)點之間的關(guān)聯(lián)程度，用關(guān)節(jié)點的親和度的線性積分來表征，E值越小表示關(guān)聯(lián)程度越小,如下式：

式中，p(u)是yj1和yj2連線上任一值，通過對u均值采樣、求和來近似積分，有：

經(jīng)過以上步驟可完成骨骼關(guān)節(jié)點的預(yù)測，此處所采用的OpenPose模型提取了人體的25個骨骼關(guān)鍵點，如圖2所示。

圖2 骨骼關(guān)鍵點

2.3 數(shù)據(jù)處理與特征提取

2.3.1 數(shù)據(jù)處理

首先要確定主關(guān)節(jié)點。選取人體軀干部分的相對穩(wěn)定的脖子和胯中心關(guān)節(jié)點作為主關(guān)節(jié)點。然后要對部分關(guān)節(jié)點的缺失做出處理。依據(jù)缺失關(guān)節(jié)點（xi,yi）的前后各兩幀圖像關(guān)鍵點進(jìn)行曲線擬合。定義曲線公式如下：

利用前兩幀的坐標(biāo)數(shù)據(jù)和后一幀的坐標(biāo)數(shù)據(jù)求出曲線系數(shù)a1、b1、c1；再利用后兩幀的坐標(biāo)數(shù)據(jù)和前一幀坐標(biāo)數(shù)據(jù)求出曲線擬合系數(shù)a2、b2、c2，將xi=(xi-1+xi+1)/2帶入，得到y(tǒng)1，同理再次帶入得到y(tǒng)2，最終得到y(tǒng)i，如下式：

此外還要剔除冗余關(guān)節(jié)點。由于進(jìn)行的是動作識別，與頭部和腳部無直接關(guān)系，為減少計算量，在后面的階段，去除頭部的5個關(guān)鍵點和腳部的6個關(guān)鍵點。

2.3.2 提取特征向量

首先要提取歸一化距離特征：計算左肘、左腕、右肘、右腕、左膝、左踝、右膝、右踝八個關(guān)鍵點到胯中心點X、Y方向的距離。將距離除以到跨中心點的歐式距離，便得到歸一化特征。

再提取關(guān)節(jié)角度特征：選取右肩、右肘、左肩、左肘、右胯、右膝、左胯、左膝8個關(guān)節(jié)點，根據(jù)余弦定理計算、求解角度，公式如下：

式中，0≤θ≤180°

2.4 動作識別與評價

此部分研究涉及到動態(tài)時間規(guī)整原理，具體為：

假設(shè)有兩個動作序列：A=(A1,A2,...,Ai,...,Am)，B=(B1,B2,...,Bj,...,Bn)，A是測試序列，B是模板序列。當(dāng)m=n時，直接計算兩個動作序列對應(yīng)的特征向量的累加距離，求出兩個動作序列的最小距離。當(dāng)m≠n時，就需要對兩個動作序列進(jìn)行拉伸或者縮短來使得兩個序列對齊，所以需要構(gòu)造一個m×n的矩陣，每一個矩陣元素(i,j)表示曲線上的點Ai到曲線Bj的距離d(Ai，Bj)，如下式：

式中，1≤ω≤N。這個距離使用歐式距離來度量相似度，歐式距離越小，相似性越大。

序列A和B之間對齊的每一個點所經(jīng)過的連線稱為規(guī)劃路徑，如圖3所示。它是從點(1,1)到點(m，n)的最優(yōu)路徑。

圖3 規(guī)整路徑

用W表示規(guī)劃路徑，將它的第k個元素定義為wk=(i,j)k，則有：

其中，max(m,n)≤K≤m+n-1，且動態(tài)規(guī)整路徑W需要滿足邊界約束、連續(xù)性約束、單調(diào)性約束[10]。結(jié)合三個約束性條件可以推出，點(i,j)有且只有三個元素與其相連接，分別為：(i+1,j)、(i,j+1)、(i+1,j+1)。定義γ(i,j)是Ai和Bj的歐氏距離和可以到達(dá)此點的最近元素的距離之和，稱之為累加距離，如下式：

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集的制作

根據(jù)研究需要，實驗使用了自制動作數(shù)據(jù)集。動作選取太極拳中的8式分別為：如封似閉、高探馬、雙峰貫耳、左野馬分鬃、右野馬分鬃、白鶴亮翅、手揮琵琶、單鞭。在此基礎(chǔ)上又分為室內(nèi)和兩種室外場景。涵蓋了復(fù)雜背景和光照干擾，類別較為豐富，具有一定的代表性。

3.2 特征有效性分析

特征有效性需要考慮區(qū)別性和一致性。區(qū)別性是對于同一個人完成不相同的動作時，該特征變化是否具有差異，以此判斷出動作種類是否不同。選擇右腕X方向距離特征和左肘角度特征進(jìn)行實驗，結(jié)果如圖4所示。實驗結(jié)果表明兩個特征表現(xiàn)出不同的變化規(guī)律，具有區(qū)別性。

圖4 右腕X方向距離和角度特征

一致性則是對于不同人完成同一個動作時，該特征變化是否具有一致性，以此來判斷動作種類是否相同。選取單鞭動作右膝的X方向距離和角度特征進(jìn)行實驗，結(jié)果如圖5所示。實驗結(jié)果表明，兩個特征的變化規(guī)律具有一致性。

圖5 右膝X方向距離和角度特征

3.3 動作識別結(jié)果與分析

對自制數(shù)據(jù)集進(jìn)行動作識別實驗，選取KTH和Weizmann兩個公開數(shù)據(jù)集進(jìn)行驗證。KTH數(shù)據(jù)集共有六類動作，Weizmann數(shù)據(jù)集共有十類動作。將距離特征作為特征1，角度特征作為特征2，歸一化距離特征和角度特征結(jié)合作為特征3；通過動態(tài)時間規(guī)整算法計算待測樣本和模板樣本的DTW距離，然后利用KNN分類器進(jìn)行分類識別。識別結(jié)果如表1所示。

表1 三個數(shù)據(jù)集識別率對比

從表中可知，整體上特征3的識別率高于特征1和特征2，這驗證了提取特征對分類的有效性。

實驗同時也可得到混淆矩陣圖，如圖6所示。在混淆矩陣圖中，以橫軸表示預(yù)測的類別，縱軸表示正確分類的標(biāo)簽，對角線上是正確分類的數(shù)量。通過此圖，便可直觀地觀察出每一類被錯誤分類的類別及其數(shù)量。

圖6 混淆矩陣

3.4 動作評價分析

選擇數(shù)據(jù)集中的如封似閉作為評價對象，選取50個樣本作為測試序列，采用DTW算法計算測試序與標(biāo)準(zhǔn)序列的DTW距離，作為相似性評估的指標(biāo)。為減少計算量特征參數(shù)數(shù)量，選取8個角度特征。實驗結(jié)果如圖7所示。

圖7 DTW距離分布

從圖中可以看出，左肘角度的DTW距離大部分分布在700°～1300°，少部分分布在1300°～1500°；左膝角度的DTW距離大部分分布在200°～800°，少數(shù)分布在800°～1200°，將處于這些區(qū)間之外的值舍棄。對剩余6個角度特征進(jìn)行實驗分析，可知：上肢的四個角度——左肩、右肩、左肘、右肘的距離分布比較稀疏；下肢的四個角度——右胯、左胯、左膝、右膝的距離分布比較稠密。這也表明在該招式中上肢的動作幅度較大。

基于上述實驗分析，針對動作如封似閉構(gòu)建評價方法，公式如下：

式中sa表示一個角度特征的得分；sc表示角度分配的分?jǐn)?shù)，它的值為1.25；d1表示DTW距離值，d2表示DTW距離有效區(qū)間內(nèi)的最小值；fc為損失參數(shù)，其值大小與動作變化幅度有關(guān)，幅度大的關(guān)節(jié)點損失參數(shù)小，幅度小的關(guān)節(jié)點損失參數(shù)大。最后總得分為8個關(guān)節(jié)角度得分的總和，即：

4 結(jié)束語

在本研究中，通過OpenPose姿態(tài)估計方法檢測骨骼關(guān)鍵點，得到了關(guān)節(jié)點坐標(biāo)，提取了姿態(tài)特征向量，利用動態(tài)時間規(guī)整算法和KNN分類器實現(xiàn)動作分類識別，對自制數(shù)據(jù)集識別率達(dá)到90%，在KHT和Weizmann數(shù)據(jù)集上識別率達(dá)到85.6%和83.7%。利用角度特征DTW距離構(gòu)建一套動作評價公式，實驗結(jié)果表明本方法具有魯棒性、有效性。