人體動(dòng)作識(shí)別與評(píng)價(jià)綜述

宋震，張宇姝，楊剛

（1.中央戲劇學(xué)院，北京 100710；2.北京林業(yè)大學(xué)，北京 100083）

1 引言

近年來，對(duì)人體動(dòng)作進(jìn)行識(shí)別和評(píng)價(jià)正逐漸成為研究和應(yīng)用熱點(diǎn)。動(dòng)作識(shí)別是指對(duì)給定的動(dòng)作序列數(shù)據(jù)（視頻或三維動(dòng)作序列）進(jìn)行分析，從中識(shí)別并判斷出其包含的動(dòng)作類別。自動(dòng)人體動(dòng)作識(shí)別在監(jiān)控［1-4］，人機(jī)交互［5］，輔助技術(shù)［6］和消費(fèi)者行為分析［7］等方面都有著廣泛的應(yīng)用。動(dòng)作評(píng)價(jià)則是對(duì)某一標(biāo)準(zhǔn)動(dòng)作的完成質(zhì)量進(jìn)行評(píng)價(jià)，其多應(yīng)用于體操、劃船、舞蹈等專業(yè)領(lǐng)域的動(dòng)作評(píng)判和動(dòng)作訓(xùn)練中。動(dòng)作評(píng)價(jià)往往需要在動(dòng)作識(shí)別的基礎(chǔ)上進(jìn)行，通過增加專家知識(shí)來對(duì)專業(yè)領(lǐng)域動(dòng)作的規(guī)范性、流暢性、藝術(shù)性進(jìn)行判斷。

動(dòng)作識(shí)別與動(dòng)作評(píng)價(jià)之間有顯著區(qū)別：動(dòng)作識(shí)別可以看作一個(gè)多分類問題，主要在于定量地比較輸入數(shù)據(jù)和標(biāo)準(zhǔn)參考的相似性，然后輸出動(dòng)作類型的標(biāo)簽；在動(dòng)作評(píng)價(jià)中，則并非單純地進(jìn)行數(shù)據(jù)相似性判定，而是側(cè)重于在專家知識(shí)的指導(dǎo)下，對(duì)專業(yè)領(lǐng)域動(dòng)作的規(guī)范性、流暢性、藝術(shù)性甚至是人體肌肉發(fā)力程度的分析評(píng)價(jià)，衡量的是一種更深層次、更具專業(yè)性質(zhì)的相似度。但動(dòng)作識(shí)別和動(dòng)作評(píng)價(jià)并不是完全獨(dú)立的兩項(xiàng)工作，兩者在技術(shù)環(huán)節(jié)和技術(shù)方法上有著密不可分的關(guān)系，例如，二者都需要對(duì)動(dòng)作序列進(jìn)行時(shí)空對(duì)齊等預(yù)處理、都需要對(duì)動(dòng)作進(jìn)行特征提取等。而動(dòng)作評(píng)價(jià)往往需要在動(dòng)作識(shí)別中特征提取基礎(chǔ)之上，進(jìn)一步結(jié)合專家知識(shí)展開評(píng)價(jià)計(jì)算。

經(jīng)過數(shù)十年的發(fā)展，動(dòng)作識(shí)別的相關(guān)研究工作不僅數(shù)量豐富，而且已經(jīng)取得了很好的效果。而動(dòng)作評(píng)價(jià)相關(guān)研究還處于探索階段，目前雖然已有一些關(guān)于動(dòng)作評(píng)價(jià)的文章、系統(tǒng)，但他們所針對(duì)的主要還是簡(jiǎn)單、重復(fù)性的動(dòng)作，比如高爾夫球［8］、羽毛球［9］、劃船等體育動(dòng)作；比較的也是定量的數(shù)據(jù)，如關(guān)節(jié)角度、速度、加速度等。而健美操［10］、舞蹈［11］、太極拳［12］、京劇表演［13］等動(dòng)作的評(píng)價(jià)則具有更高的復(fù)雜性，對(duì)他們的評(píng)價(jià)不能僅限于簡(jiǎn)單的姿態(tài)參數(shù)，還要分析更高層面的專業(yè)“相似度”。

在廣泛分析相關(guān)研究工作的基礎(chǔ)上，本文對(duì)動(dòng)作識(shí)別與動(dòng)作評(píng)價(jià)的關(guān)鍵技術(shù)環(huán)節(jié)、主要技術(shù)方法進(jìn)行了系統(tǒng)分析與梳理，得到了如圖1所示的技術(shù)框架圖。根據(jù)圖1 所示，動(dòng)作識(shí)別和動(dòng)作評(píng)價(jià)首先都需要進(jìn)行數(shù)據(jù)輸入、數(shù)據(jù)預(yù)處理和特征提取；之后，動(dòng)作識(shí)別會(huì)基于所提取的特征進(jìn)行動(dòng)作分類；而動(dòng)作評(píng)價(jià)則需要結(jié)合領(lǐng)域?qū)＜抑R(shí)，在動(dòng)作特征的基礎(chǔ)上進(jìn)一步提取出評(píng)價(jià)特征，以進(jìn)行動(dòng)作評(píng)價(jià)。

本文將基于圖1 所示的技術(shù)路線展開討論，分別從數(shù)據(jù)對(duì)象、數(shù)據(jù)預(yù)處理、特征提取、動(dòng)作識(shí)別的分類方法和動(dòng)作評(píng)價(jià)研究這幾個(gè)方面出發(fā)對(duì)相關(guān)研究工作進(jìn)行系統(tǒng)、全面地歸納；分析各種典型方法的研究進(jìn)展、優(yōu)缺點(diǎn)及其應(yīng)用情況；并對(duì)當(dāng)前研究的難點(diǎn)問題以及未來的發(fā)展趨勢(shì)進(jìn)行總結(jié)與展望。

圖1 動(dòng)作識(shí)別與動(dòng)作評(píng)價(jià)的技術(shù)框架圖

2 數(shù)據(jù)預(yù)處理

2.1 數(shù)據(jù)類型

人體動(dòng)作識(shí)別和動(dòng)作評(píng)價(jià)中所使用的輸入數(shù)據(jù)一般有兩種：視頻數(shù)據(jù)和3D骨骼數(shù)據(jù)。

基于視頻數(shù)據(jù)的動(dòng)作識(shí)別就是從相機(jī)拍攝的動(dòng)作視頻序列中識(shí)別出人體動(dòng)作，解決這種基于視頻的動(dòng)作識(shí)別問題有兩種思路：一是直接抽取并分類序列的時(shí)空特征的方法；二是提取骨骼信息（2D 或3D 骨骼信息）進(jìn)行訓(xùn)練的方法。基于視頻的動(dòng)作識(shí)別和圖像分類很相似，只是相比于圖像分類，視頻多了一個(gè)時(shí)序維度。由于視頻數(shù)據(jù)的獲取非常方便，因此受到研究和應(yīng)用的青睞，相關(guān)工作層出不窮。但視頻數(shù)據(jù)在拍攝時(shí)容易出現(xiàn)遮擋、抖動(dòng)、視角變化等情況，這也為動(dòng)作識(shí)別帶來了困難。

隨著光學(xué)和慣性動(dòng)作捕捉設(shè)備的進(jìn)步，人們可以直接捕捉人體動(dòng)作的3D 骨骼數(shù)據(jù)。3D 骨骼數(shù)據(jù)具體來說就是骨骼動(dòng)畫數(shù)據(jù)，它是以圖形形式對(duì)人體所進(jìn)行的描述。如圖2 是一個(gè)典型的人體骨骼示例圖。模型骨骼數(shù)量一般都有一個(gè)限制，以使得既能全面覆蓋所需骨骼信息，又能減少數(shù)據(jù)冗余。而且通常會(huì)選擇模型的盆骨做為模型的根骨骼，基于根骨骼，可以遞推出各個(gè)骨骼相對(duì)于根骨的轉(zhuǎn)換矩陣。3D 骨骼數(shù)據(jù)可以更加直接的表示身體部位運(yùn)動(dòng)相關(guān)特征，如關(guān)節(jié)角度、速度等，從而可以更方便準(zhǔn)確地進(jìn)行動(dòng)作識(shí)別［14］。

圖2 人體骨骼示意圖

2.2 數(shù)據(jù)預(yù)處理的方法

為了使數(shù)據(jù)更加精確且便于進(jìn)行后續(xù)工作，對(duì)其進(jìn)行預(yù)處理是動(dòng)作識(shí)別首先要完成的步驟，預(yù)處理包括去噪和時(shí)空對(duì)齊問題。

3D 骨骼數(shù)據(jù)基本不受采集環(huán)境的影響，噪聲很少，因此無需去噪處理。而視頻數(shù)據(jù)，由于測(cè)量時(shí)受到一些外在不確定因素的影響，原始數(shù)據(jù)會(huì)存在信息不穩(wěn)定或者冗余的現(xiàn)象，所以必須進(jìn)行處理。視頻數(shù)據(jù)的去噪處理包括空洞修復(fù)、圖像平滑等操作［15］。Diebel 等人［16］最先提出了一種基于馬爾可夫隨機(jī)場(chǎng)的深度升采樣方法進(jìn)行圖像平滑處理。Park 等人［17］通過改進(jìn)原始馬爾可夫隨機(jī)場(chǎng)模型中的平滑約束項(xiàng)，并使用彩色圖像的分割信息以及彩色圖像的梯度信息作為新的約束項(xiàng)，解決了之前方法處理結(jié)果中的深度圖像邊緣過平滑的問題。

所謂“時(shí)空對(duì)齊問題”是指：在比較兩個(gè)骨骼動(dòng)作時(shí)，需要保證所比較的兩套動(dòng)作在時(shí)間上快慢基本一致，在空間上大小基本相同。具體而言，時(shí)間上，人完成動(dòng)作的快慢是不同的，必須先對(duì)齊兩個(gè)序列，使關(guān)鍵幀能對(duì)應(yīng)起來；空間上，不同人的骨骼大小不同，這對(duì)某些參數(shù)的比較會(huì)造成干擾，比如關(guān)節(jié)角度、角速度等，所以要先進(jìn)行骨骼標(biāo)準(zhǔn)化處理。

關(guān)于對(duì)齊時(shí)間序列，Nowozin和Shotton［18］采用了一個(gè)固定的滑動(dòng)窗口，引入了時(shí)間錨定動(dòng)作的動(dòng)作點(diǎn)概念［19］。關(guān)于對(duì)齊空間骨骼，F(xiàn)otini等［14］在數(shù)據(jù)分析之前，應(yīng)用骨骼標(biāo)準(zhǔn)化作為預(yù)處理步驟，旨在防止由于身體結(jié)構(gòu)差異導(dǎo)致的錯(cuò)誤分析。Asteriadis等［20］使用身體之間（由肩部和軀干3D位置提取）的旋轉(zhuǎn)偏移實(shí)現(xiàn)空間動(dòng)作對(duì)齊。

3 動(dòng)作識(shí)別的特征描述方法

特征描述是動(dòng)作識(shí)別和分析的前提，它是將原始特征轉(zhuǎn)換為一組具有明顯物理意義（如幾何特征、紋理）或者統(tǒng)計(jì)意義的特征，以突出更具有代表性的特征，是一種提取有效信息的方法。從序列中將描述人體姿勢(shì)的有效特征提取出來是保證準(zhǔn)確識(shí)別動(dòng)作的重要前提。

視頻數(shù)據(jù)和3D骨骼數(shù)據(jù)差異比較大，對(duì)其進(jìn)行特征描述的方式也是不同的。視頻數(shù)據(jù)的特征描述可以分為局部描述和全局描述兩類。3D骨骼數(shù)據(jù)的特征描述可以分為三類：（1）基于關(guān)節(jié)的描述符；（2）基于挖掘的描述符；（3）基于動(dòng)力學(xué)的描述符。

下面我們對(duì)這些特征描述方法分別進(jìn)行介紹。

3.1 視頻數(shù)據(jù)的特征描述

3.1.1局部特征描述

局部特征描述是一種由下到上的描述方式，是從特征點(diǎn)周圍提取出有用的幾何區(qū)域，并生成一個(gè)標(biāo)識(shí)性的向量來代表這個(gè)區(qū)域的特征［21］。局部特征不容易受環(huán)境噪聲、物體遮擋或者人體運(yùn)動(dòng)變化的影響，對(duì)縮放、平移和旋轉(zhuǎn)等操作也具有較好的穩(wěn)定性。

局部特征的提取一般分為局部特征區(qū)域的檢測(cè)和對(duì)局部特征區(qū)域描述兩部分。局部特征區(qū)域檢測(cè)一般針對(duì)由運(yùn)動(dòng)突變引起的時(shí)空興趣點(diǎn)，因?yàn)樵谶\(yùn)動(dòng)突變時(shí)產(chǎn)生的點(diǎn)包含了對(duì)人體動(dòng)作進(jìn)行分析的大部分信息。Laptev［22］提出的3Dharris算子在Moravec角點(diǎn)算子的基礎(chǔ)之上進(jìn)行了嚴(yán)格的數(shù)學(xué)建模和改進(jìn)，它能夠檢測(cè)運(yùn)動(dòng)目標(biāo)在局部的時(shí)空維度里同時(shí)產(chǎn)生顯著變化的點(diǎn)，將二維Harris角點(diǎn)檢測(cè)擴(kuò)展到了時(shí)空域。

而局部特征區(qū)域描述，它的核心問題是可區(qū)分性和不變性（魯棒性)，其描述子應(yīng)該對(duì)背景的雜亂程度，尺度和方向變化等均不敏感。局部特征區(qū)域描述中最常用的方法是SIFT描述符，它利用圖像局部的梯度方向，為每個(gè)關(guān)鍵點(diǎn)分配一個(gè)或多個(gè)方向參數(shù)，通過局部梯度的分布或者目標(biāo)邊緣方向來對(duì)局部目標(biāo)的外觀和形狀進(jìn)行特征描述。Wang［23］比較了各種局部描述算子，并發(fā)現(xiàn)在大多數(shù)情況下整合了梯度和光流信息的描述算子其效果最好。

3.1.2全局特征描述

全局特征描述就是把識(shí)別目標(biāo)當(dāng)作一個(gè)整體進(jìn)行描述［24］，全面涵蓋了人體信息，代表著圖像中的高層特征或語意。但由于容易受到識(shí)別目標(biāo)定位的準(zhǔn)確性以及背景剔除等圖像預(yù)處理的影響，全局特征描述也具有一定的局限性，例如對(duì)噪聲、遮擋以及攝像機(jī)視角變化等因素十分敏感。

Bobick等人［25］以兩種方式把監(jiān)測(cè)視頻里運(yùn)動(dòng)目標(biāo)的輪廓變化信息聚合成二維圖像，采用運(yùn)動(dòng)歷史圖（Motion History Image，MHI）來反映不同姿勢(shì)在運(yùn)動(dòng)過程中存在的先后順序。TASWEER 等［26］利用歸一化距離和關(guān)節(jié)流的特征來處理與某些動(dòng)作最相關(guān)的注意關(guān)節(jié)，并設(shè)計(jì)了一種新的基于骨骼的動(dòng)作識(shí)別的注意關(guān)節(jié)圖卷積神經(jīng)網(wǎng)絡(luò)，在三個(gè)公共基準(zhǔn)上達(dá)到了最先進(jìn)的性能。

3.2 3D骨骼數(shù)據(jù)的特征描述

3.2.1基于關(guān)節(jié)的描述符

基于關(guān)節(jié)的描述符旨在建立身體關(guān)節(jié)位置之間的相關(guān)性。最簡(jiǎn)單的關(guān)聯(lián)身體關(guān)節(jié)位置的方法就是考慮所有3D關(guān)節(jié)之間兩兩成對(duì)的距離。Masood 等人［27］在文獻(xiàn)中，通過（1）當(dāng)前幀中所有可能的關(guān)節(jié)對(duì)之間的距離；（2）當(dāng)前幀和前一幀中的關(guān)節(jié)之間的距離；（3）當(dāng)前幀和中性姿勢(shì)（通過平均所有動(dòng)作序列的初始骨架計(jì)算）的關(guān)節(jié)之間的距離來表示身體姿勢(shì)。每個(gè)單獨(dú)的特征值通過K-means聚類為5個(gè)組中的一個(gè)，并用二進(jìn)制向量來表示每個(gè)聚類索引。但這種描述符缺少時(shí)間信息，對(duì)動(dòng)作的描述不夠精確。

3.2.2基于挖掘的描述符

基于挖掘的描述符指根據(jù)身體部位對(duì)動(dòng)作的參與情況來區(qū)分動(dòng)作類別。Wang 等人［28］將人體分成五個(gè)身體部位，采用空間域中的對(duì)比挖掘算法［29］來檢測(cè)身體部位的各種姿勢(shì)，這些身體部位的集合可以形成一個(gè)數(shù)據(jù)字典，通過采用詞袋模型（bag-of-words）方法，動(dòng)作序列被表示為檢測(cè)到的子集的直方圖，并且采用1對(duì)1交叉核SVM（1-vs-1 intersection kernel SVMs）來對(duì)序列進(jìn)行分類。雖然每個(gè)人執(zhí)行相同的動(dòng)作會(huì)有自己的特性，但是通常動(dòng)作涉及的關(guān)節(jié)子集是類似的，因此檢測(cè)參與動(dòng)作的關(guān)節(jié)子集可以幫助區(qū)分不同的動(dòng)作類別。

3.2.3基于動(dòng)力學(xué)的描述符

基于動(dòng)力學(xué)的描述符著重于將動(dòng)作表示為關(guān)節(jié)三維軌跡的集合，可以更加清晰直觀地描述骨骼的特征。Zanfir等人［30］將動(dòng)作表示為隨著時(shí)間的推移身體關(guān)節(jié)位置的連續(xù)和可微函數(shù)，可以在當(dāng)前時(shí)間步的周圍設(shè)置一個(gè)窗口，在窗口中通過二階泰勒變換，在局部近似地逼近這個(gè)表示人體動(dòng)作的函數(shù)。這樣就可以通過當(dāng)前的關(guān)節(jié)位置和人體關(guān)節(jié)的速度和加速度等微分特性來表征局部三維人體姿態(tài)。

4 動(dòng)作識(shí)別的分類方法

通過以上步驟提取出特征之后，就可以基于特征來構(gòu)建分類器以進(jìn)行動(dòng)作的分類。分類算法是動(dòng)作識(shí)別過程中最后也是最關(guān)鍵的一部分，它根據(jù)特征向量進(jìn)行訓(xùn)練，從而給每一個(gè)被測(cè)對(duì)象進(jìn)行不同類別的標(biāo)記。分類算法有很多，在這里分成兩種：傳統(tǒng)的方法和基于深度學(xué)習(xí)的方法進(jìn)行介紹。傳統(tǒng)的方法包括隱馬爾可夫模型、支持向量機(jī)等；而基于深度學(xué)習(xí)的方法是目前使用最廣、性能最先進(jìn)的方法。

4.1 傳統(tǒng)方法

隱馬爾可夫模型（HMMs）是歷史比較長(zhǎng)、應(yīng)用非常廣泛的一種方法。HMMs是一種與時(shí)序有關(guān)的，基于轉(zhuǎn)移概率和傳輸概率的隨機(jī)模型，系統(tǒng)當(dāng)前所處狀態(tài)的概率只與前一個(gè)時(shí)刻的狀態(tài)有關(guān)，與其它歷史狀態(tài)條件無關(guān)。在HMMs的識(shí)別過程中，首先提取出特征向量序列，然后通過學(xué)習(xí)算法進(jìn)行模型參數(shù)訓(xùn)練，最后對(duì)未知的運(yùn)動(dòng)序列進(jìn)行識(shí)別分類。Yamato等人［31］首次用HMMs進(jìn)行人體動(dòng)作姿態(tài)的識(shí)別，之后又出現(xiàn)了HMMs的各種改進(jìn)模型并成為人體動(dòng)作識(shí)別的主流方法。Duong等人［32］提出了S-HSMM(Switching Hidden-semi Markov Model）模型，S-HSMM的識(shí)別性能高于HHMMs，但是算法復(fù)雜度較高。

支持向量機(jī)（Support Vector Machine，SVM）是機(jī)器學(xué)習(xí)領(lǐng)域最常用的一種分類方法，它是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器，其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面［33,34］。使用SVM進(jìn)行姿態(tài)識(shí)別的文獻(xiàn)很多，1995年，Corinna Cortes 和Vapnik提出了軟邊距的非線性SVM并將其應(yīng)用于手寫字符識(shí)別問題，這份研究為SVM在各領(lǐng)域的應(yīng)用提供了參考。Manzi 等人［35］利用X-means 算法提取關(guān)鍵位姿特征，經(jīng)過自組織特征映射網(wǎng)絡(luò)優(yōu)化訓(xùn)練后采用多類SVM進(jìn)行分類識(shí)別。該方法識(shí)別準(zhǔn)確率高，但是不能識(shí)別數(shù)據(jù)集以外的未知?jiǎng)幼鳌?/p>

4.2 基于深度學(xué)習(xí)的方法

近年來，動(dòng)作識(shí)別的算法研究仍然在逐步地發(fā)展，尤其是基于深度學(xué)習(xí)的動(dòng)作識(shí)別算法，使得動(dòng)作識(shí)別的準(zhǔn)確率大大提高。

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的代表算法之一，在動(dòng)作識(shí)別領(lǐng)域也有廣泛的應(yīng)用。Mohamed等人［36］利用RGB-D相機(jī)提供的不同類型的視覺數(shù)據(jù)，分別采用SVM和CNN兩種方法進(jìn)行了對(duì)比。SVM使用的是3D基礎(chǔ)骨骼特征，CNN使用的是2D深度圖像。最后在FLIC數(shù)據(jù)集和LSP數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，這兩種方法性能差異不大且都具有較高的精度，在深度圖像上應(yīng)用時(shí)，基于CNN的方法更勝一籌。

而Simonyan 等［37］提出的雙流網(wǎng)絡(luò)（Two-Stream Network）采用兩個(gè)分支的網(wǎng)絡(luò)架構(gòu)，分別捕捉視頻的空間和時(shí)間信息。空域利用RGB圖像作為輸入提取外觀特征，時(shí)域利用光流信息作為輸入提取時(shí)序特征，并通過多任務(wù)訓(xùn)練的方法對(duì)兩個(gè)行為識(shí)別數(shù)據(jù)集進(jìn)行分類，去除過擬合，進(jìn)而獲得更好的效果。這是目前的基準(zhǔn)之一，許多網(wǎng)絡(luò)結(jié)構(gòu)也是在此基礎(chǔ)上進(jìn)行的后續(xù)探索。雙流結(jié)構(gòu)的優(yōu)點(diǎn)在于精度高，但它的速度比較慢。

綜上所述，不同的動(dòng)作識(shí)別算法由于自身算法結(jié)構(gòu)的差異性以及所采用的特征描述不同，因此適用范圍也有差別，不存在適用所有的分類問題的完美通用的算法，因此要使人體動(dòng)作識(shí)別效果達(dá)到相對(duì)較高的水平，根據(jù)不同的特征描述和適用范圍選取合適的算法具有重要意義。

5 動(dòng)作評(píng)價(jià)研究現(xiàn)狀

動(dòng)作評(píng)價(jià)是近些年才逐步發(fā)展起來的研究領(lǐng)域，目前尚沒有研究者對(duì)其給出明確的概念定義和理論闡述。根據(jù)動(dòng)作評(píng)價(jià)的目的和主要處理過程，本文認(rèn)為：動(dòng)作評(píng)價(jià)是指將輸入的“學(xué)習(xí)者”數(shù)據(jù)在動(dòng)作識(shí)別之后，與相應(yīng)的“專家”數(shù)據(jù)進(jìn)行對(duì)比，綜合定量相似性和專家知識(shí)，對(duì)專業(yè)領(lǐng)域動(dòng)作的規(guī)范性、流暢性、藝術(shù)性分析評(píng)價(jià)，并給“學(xué)習(xí)者”以反饋。

5.1 動(dòng)作評(píng)價(jià)的特征描述

動(dòng)作評(píng)價(jià)的整體流程和步驟與動(dòng)作識(shí)別有一些共通之處，比如對(duì)輸入數(shù)據(jù)的預(yù)處理，對(duì)序列的特征描述等。但是針對(duì)動(dòng)作評(píng)價(jià)的特征描述，是決定評(píng)價(jià)結(jié)果是否和人類的感受一致以及是否符合專家知識(shí)非常關(guān)鍵的一步，而且它和動(dòng)作識(shí)別中的特征描述的側(cè)重點(diǎn)也不太相同，因此，動(dòng)作評(píng)價(jià)的特征描述是今后需要研究的重點(diǎn)，下面對(duì)已經(jīng)出現(xiàn)的動(dòng)作評(píng)價(jià)研究中關(guān)于特征描述的一些想法進(jìn)行思考討論。

動(dòng)作評(píng)價(jià)的工作都會(huì)試圖引入更獨(dú)特的特征描述方法，目的是尋找一種更具各領(lǐng)域?qū)I(yè)性的數(shù)學(xué)表達(dá)來表示身體關(guān)節(jié)特征。第一，對(duì)于不同的專業(yè)動(dòng)作，每個(gè)身體關(guān)節(jié)在動(dòng)作中起到的作用是不同的，那么就可以根據(jù)專家知識(shí)給各關(guān)節(jié)分配權(quán)重，這會(huì)給動(dòng)作評(píng)價(jià)打下更好的基礎(chǔ)；第二，可以將動(dòng)作評(píng)價(jià)與大數(shù)據(jù)結(jié)合起來，這樣一來，對(duì)每一個(gè)動(dòng)作細(xì)節(jié)如何進(jìn)行評(píng)價(jià)都有據(jù)可依，大大增加了動(dòng)作評(píng)價(jià)的可靠性；第三，對(duì)于某些糾正性的研究，可以自定義規(guī)則并給所有可能的錯(cuò)誤制定標(biāo)簽，評(píng)價(jià)動(dòng)作執(zhí)行的正確性。

Julia Richter等［38］提出了一種自動(dòng)和動(dòng)態(tài)加權(quán)的方法，基于動(dòng)作參與程度，賦予不同骨骼關(guān)節(jié)不同的重要性，再加上基于動(dòng)能的描述符采樣，將自動(dòng)分段和識(shí)別的動(dòng)作實(shí)例饋送到動(dòng)作評(píng)估組件，該組件將它們與相應(yīng)的標(biāo)準(zhǔn)參考進(jìn)行比較，判定它們的相似性。然后利用模糊邏輯提供語義反饋，便于用戶更準(zhǔn)確地執(zhí)行操作。呂默等［10］為了輔助裁判對(duì)健美操難度動(dòng)作打分，設(shè)計(jì)了基于大數(shù)據(jù)和動(dòng)作識(shí)別算法的健美操輔助評(píng)審系統(tǒng)。文中通過擴(kuò)充動(dòng)作數(shù)據(jù)建立了評(píng)分比對(duì)標(biāo)準(zhǔn)數(shù)據(jù)庫。現(xiàn)有的數(shù)據(jù)庫中記錄的數(shù)據(jù)多為簡(jiǎn)單的動(dòng)作，并不能滿足健美操中高難度動(dòng)作的識(shí)別和評(píng)價(jià)，故他們?cè)贛SR Action3D 數(shù)據(jù)集的基礎(chǔ)上，采集大量高水平運(yùn)動(dòng)員的標(biāo)準(zhǔn)動(dòng)作，再結(jié)合國(guó)際權(quán)威標(biāo)準(zhǔn)制作出了比對(duì)數(shù)據(jù)庫和評(píng)分比對(duì)體系。Fotini Patrona等［14］關(guān)于治療性相關(guān)鍛煉的研究也有一定參考價(jià)值。他們自己先定義特定于運(yùn)動(dòng)的規(guī)則，并確定適當(dāng)?shù)拈撝怠Ｕ_的運(yùn)動(dòng)練習(xí)動(dòng)作帶有類別標(biāo)簽C，其余的類別標(biāo)簽UB，F(xiàn)O，BK，WP和NBK對(duì)應(yīng)于自己規(guī)定的運(yùn)動(dòng)錯(cuò)誤，這樣就可以分析病人的動(dòng)作執(zhí)行情況，給出評(píng)價(jià)和指導(dǎo)。

5.2 動(dòng)作評(píng)價(jià)的評(píng)價(jià)標(biāo)準(zhǔn)

引言中提到過，動(dòng)作評(píng)價(jià)的標(biāo)準(zhǔn)和動(dòng)作識(shí)別的相似性是不能混為一談的。動(dòng)作識(shí)別判定相似性是通過定量數(shù)據(jù)，如關(guān)節(jié)角度、速度、加速度等，對(duì)比待識(shí)別動(dòng)作和標(biāo)準(zhǔn)參考，從而將待識(shí)別動(dòng)作分類。而動(dòng)作評(píng)價(jià)則不僅要對(duì)比定量相似性，還要對(duì)比更高層次的規(guī)范性、流暢性、藝術(shù)性等，側(cè)重于對(duì)各種專業(yè)領(lǐng)域的動(dòng)作，結(jié)合專家知識(shí)的指導(dǎo)，提出獨(dú)特的特征描述方法，再進(jìn)行分析與評(píng)價(jià)，衡量的是一種專業(yè)相似性。因此，提出獨(dú)特的評(píng)價(jià)標(biāo)準(zhǔn)是動(dòng)作評(píng)價(jià)非常關(guān)鍵的一部分。

首先是定量數(shù)據(jù)（關(guān)節(jié)角度、速度、加速度等）的對(duì)比，它也是動(dòng)作評(píng)價(jià)中不可或缺的一部分。陳學(xué)梅等［8］所研制出的高爾夫揮桿評(píng)價(jià)系統(tǒng)，可以將訓(xùn)練者進(jìn)行揮桿動(dòng)作時(shí)的關(guān)節(jié)角度與標(biāo)準(zhǔn)揮桿動(dòng)作進(jìn)行對(duì)比，并給出關(guān)鍵動(dòng)作處訓(xùn)練者的姿態(tài)與標(biāo)準(zhǔn)姿態(tài)的差異，輔助球員的練習(xí)。李奎［9］的工作定義了標(biāo)準(zhǔn)羽毛球揮拍動(dòng)作，并用非定長(zhǎng)稠密軌跡算法對(duì)這些動(dòng)作進(jìn)行表征，然后以這些標(biāo)準(zhǔn)動(dòng)作為基準(zhǔn)，通過計(jì)算待分析動(dòng)作與標(biāo)準(zhǔn)動(dòng)作之間的切比雪夫距離來衡量他們之間的相似度，再運(yùn)用評(píng)分公式對(duì)羽毛球揮拍動(dòng)作進(jìn)行分析評(píng)估。

然后是更深層面動(dòng)作流暢性、藝術(shù)性等的比較。但結(jié)合了專家知識(shí)的動(dòng)作評(píng)價(jià)研究目前非常稀少，很大程度是因?yàn)樵S多領(lǐng)域的專家知識(shí)是專家常年積累出的感性感受，是一種經(jīng)驗(yàn)式的知識(shí)，而且“使用基于動(dòng)作的特征面臨的最大挑戰(zhàn)之一，就是語義相似的動(dòng)作可能不一定在數(shù)值上相似”［39］。王臺(tái)瑞等人在京劇教學(xué)中，基于3D動(dòng)捕得到的數(shù)據(jù)分析了專業(yè)表演者與學(xué)習(xí)者動(dòng)作的異同。京劇表演的內(nèi)容、形式，演員的表情、招式都是按照一定的程式來呈現(xiàn)的，而非由演員隨意發(fā)揮，如何從客觀定量數(shù)據(jù)中評(píng)價(jià)演員對(duì)藝術(shù)性的表現(xiàn)，是一件很困難的工作。研究有9個(gè)受試者，其中有科班學(xué)生、戲曲學(xué)校學(xué)生（非科班）、有扎實(shí)的舞蹈基礎(chǔ)的學(xué)生以及其他普通學(xué)生，實(shí)驗(yàn)監(jiān)測(cè)了每個(gè)人的速度、加速度、角速度，并讓京劇專家分別對(duì)他們的表現(xiàn)評(píng)分。結(jié)果專家評(píng)分高的學(xué)生，骨骼數(shù)據(jù)與專家之間的相似性并不一定高，所以要把客觀數(shù)據(jù)與藝術(shù)性等的評(píng)價(jià)很好地結(jié)合起來有著巨大的挑戰(zhàn)性，是今后研究的重點(diǎn)內(nèi)容。

6 總結(jié)與展望

6.1 研究難點(diǎn)

近年來，人體動(dòng)作的識(shí)別和評(píng)價(jià)研究已經(jīng)取得了非常重要的成果，展現(xiàn)出了良好的發(fā)展前景。但下述幾個(gè)方面仍是今后研究的難點(diǎn)問題：

（1）特征選擇的困難。特征向量的選擇非常關(guān)鍵，直接影響到所采用的識(shí)別、評(píng)價(jià)方法以及識(shí)別、評(píng)價(jià)的性能。如果選取過多的特征，特征向量維數(shù)就會(huì)過大，相應(yīng)地就會(huì)增加計(jì)算的復(fù)雜度，相反，如果選取的特征過少，又可能無法獲取較高的識(shí)別準(zhǔn)確率。因此必須在選取合適的特征和獲取較高的識(shí)別、評(píng)價(jià)準(zhǔn)確率之間進(jìn)行折中權(quán)衡。

（2）專家知識(shí)應(yīng)用的難度。進(jìn)行動(dòng)作評(píng)價(jià)時(shí)，特征描述必須基于各領(lǐng)域的專家知識(shí)。但專家知識(shí)專業(yè)性非常強(qiáng)，而且一般與計(jì)算機(jī)領(lǐng)域沒有過多的聯(lián)系，要想找到能夠較好表征專業(yè)性動(dòng)作的特征描述方法還是非常具有挑戰(zhàn)性的。

6.2 未來發(fā)展趨勢(shì)

根據(jù)本文的廣泛調(diào)研，之前的大部分研究側(cè)重于自動(dòng)人體動(dòng)作識(shí)別，并且已經(jīng)取得了很不錯(cuò)的成果，而動(dòng)作識(shí)別和動(dòng)作評(píng)價(jià)雖然是兩種不相同的工作，但動(dòng)作評(píng)價(jià)有很多部分是基于動(dòng)作識(shí)別的，他們之間有著千絲萬縷的聯(lián)系，關(guān)于未來發(fā)展趨勢(shì)的展望如下：

1.動(dòng)作識(shí)別方面

（1）運(yùn)用深度學(xué)習(xí)，一般性動(dòng)作識(shí)別已經(jīng)可以達(dá)到相當(dāng)高的程度，彭偉等人［40］首次基于神經(jīng)架構(gòu)搜索自動(dòng)生成圖卷積結(jié)構(gòu)，在NTU RGB+D和Kinetics數(shù)據(jù)集上準(zhǔn)確性已經(jīng)高達(dá)95.7%，刷新了人體動(dòng)作識(shí)別準(zhǔn)確率。

（2）但對(duì)于專業(yè)性更強(qiáng)的復(fù)雜動(dòng)作識(shí)別，其實(shí)當(dāng)前的模型還是有著“力不從心”的問題：

（a）對(duì)一些密集、快速的運(yùn)動(dòng)，如健美操里的各種空翻，不一定能準(zhǔn)確識(shí)別出每一次的動(dòng)作；

（b）空間語義信息存在細(xì)微差別，如在健美操或者京劇表演中腿部姿態(tài)的些微不同可能代表著不同的語義，但目前并不能很好地識(shí)別出它們之間的不同。因此高層視覺的理解表示是一個(gè)巨大的難題。

2.動(dòng)作評(píng)價(jià)方面

（1）目前雖然有一些關(guān)于動(dòng)作評(píng)價(jià)的文章，以及高爾夫、健美操、舞蹈、太極等方面的評(píng)價(jià)系統(tǒng)，但他們所分析評(píng)價(jià)的基本還是簡(jiǎn)單、規(guī)范、標(biāo)準(zhǔn)的動(dòng)作。不過他們提出的一些對(duì)特征進(jìn)行描述的思想也可以運(yùn)用到之后的研究中，比如給各個(gè)關(guān)節(jié)分配不同的權(quán)重、考慮動(dòng)作質(zhì)量與運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)的聯(lián)系等等。

（2）復(fù)雜動(dòng)作評(píng)價(jià)還面臨著如下挑戰(zhàn)：

（a）如何提出更獨(dú)特的特征描述方法來對(duì)專業(yè)動(dòng)作進(jìn)行評(píng)價(jià)，這將是今后研究的一個(gè)重點(diǎn)；

（b）怎么將人類的感知和量化的數(shù)據(jù)通過一定的規(guī)則進(jìn)行轉(zhuǎn)換，將專家知識(shí)更好地融入評(píng)價(jià)標(biāo)準(zhǔn)中,深層地理解動(dòng)作的語義以更好地進(jìn)行評(píng)價(jià)。

集前人的工作精華，有助于更好地實(shí)現(xiàn)動(dòng)作識(shí)別和動(dòng)作評(píng)價(jià)。未來研究可以著眼于深入研究動(dòng)作的高層語義理解，從而實(shí)現(xiàn)真正的“智能”識(shí)別與評(píng)價(jià)。