基于深度學(xué)習(xí)算法的健美操動態(tài)姿勢識別分析系統(tǒng)

賀 莉，項(xiàng)亞光

（皖西學(xué)院 體育學(xué)院，安徽 六安 237012）

0 引言

隨著生活水平的提高，人們對自身健康的關(guān)注程度也越來越高[1]。健美操由于韻律性強(qiáng)、步法簡單逐漸成為一種主流的健身方式，但大多數(shù)運(yùn)動者缺乏對自身姿態(tài)的正確認(rèn)知，且由于動作要領(lǐng)不當(dāng)?shù)葐栴}，極易因自身姿勢變形而引起運(yùn)動性損傷。如果能對運(yùn)動者的動作姿勢進(jìn)行識別與分析，并提出相對合理的改善意見，將能夠最大程度上降低因姿態(tài)不當(dāng)而帶來的非必要損傷[2-3]。傳統(tǒng)時空權(quán)重姿態(tài)運(yùn)動特征型識別方法能夠根據(jù)人體姿態(tài)視頻幀間的時空特征，確定動態(tài)節(jié)點(diǎn)之間的時序建模關(guān)系，再利用大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)對關(guān)聯(lián)節(jié)點(diǎn)的按需識別。然而此方法對于健美操動態(tài)姿勢的捕捉精準(zhǔn)性水平較差，且由于計算量相對較大，易造成位姿數(shù)據(jù)識別時間的無限延長[4]。深度學(xué)習(xí)網(wǎng)絡(luò)的實(shí)質(zhì)就是對人類腦神經(jīng)系統(tǒng)的模擬，在應(yīng)用過程中，同時包含多個隱藏層結(jié)構(gòu)。一般來說，與前面隱藏層組織匹配的輸入數(shù)據(jù)特征等級較低，而與后面隱藏層組織匹配的輸入數(shù)據(jù)特征等級較高，為保證分類行為的準(zhǔn)確性，所有高級數(shù)據(jù)特征都是由低級數(shù)據(jù)特征轉(zhuǎn)化而來的。深度學(xué)習(xí)網(wǎng)絡(luò)的“深度”主要體現(xiàn)在網(wǎng)絡(luò)層組織的連接數(shù)量上，與傳統(tǒng)算法相比，該類型網(wǎng)絡(luò)的應(yīng)用層級數(shù)量水平明顯更高。同一網(wǎng)絡(luò)模型中往往包含多個相互對應(yīng)的非線性映射關(guān)系，這樣的優(yōu)點(diǎn)在于低級特征能夠通過變換處理的方式，逐漸轉(zhuǎn)變成中級特征，并隨著網(wǎng)絡(luò)層次性等級的改變，最終累積成為高級特征。對于人體行為識別而言，深度學(xué)習(xí)網(wǎng)絡(luò)能夠總結(jié)行為幀的空間特征，一般包含連續(xù)圖像的物體輪廓、前景、背景、顏色、紋理等。由于深度學(xué)習(xí)網(wǎng)絡(luò)具備以上優(yōu)勢，為了解決上述問題，本文引入深度學(xué)習(xí)算法的應(yīng)用思想，并以此為基礎(chǔ)，設(shè)計一種新型的健美操動態(tài)姿勢識別分析系統(tǒng)。

1 硬件特化人體骨架模型

以健美操運(yùn)動為例，人體的動作可被看作是一系列隨時間變化而出現(xiàn)的位姿數(shù)據(jù)，相較于其他方法，人體骨架這一特殊的運(yùn)動學(xué)特征模型在描述姿勢變化狀態(tài)方面具有極大的應(yīng)用優(yōu)勢。

為了在少量傳感器元件配合的情況下使用反饋微調(diào)框架，人為規(guī)定健美操動態(tài)姿勢識別分析系統(tǒng)所使用的特化人體骨架模型必須是二維存在形式的，這有利于準(zhǔn)確識別二維特征（例如蹦跳、揮手、晃動等）較強(qiáng)的動作位姿，但對于三維特征（例如旋轉(zhuǎn)、翻轉(zhuǎn)等）較強(qiáng)的動作而言，則具有較為明顯的局限性。

（1）關(guān)節(jié)點(diǎn)

在健美操運(yùn)動過程中，特化骨架模型將人體結(jié)構(gòu)簡化成了11個獨(dú)立的關(guān)節(jié)點(diǎn)傳感器及它們之間的連接線段，這11個獨(dú)立的關(guān)節(jié)點(diǎn)分別為右手、右手肘、右腳、右膝蓋、左手、左手肘、左腳、左膝蓋、腰、頭還有鎖骨。當(dāng)運(yùn)動行為發(fā)生變化時，這些關(guān)節(jié)表現(xiàn)出的變化情況極為明顯，對于較為關(guān)鍵的節(jié)點(diǎn)組織而言，根據(jù)它們的運(yùn)動學(xué)特征，就可以大體上掌握人體的基本動作趨向[5]。利用10根線段將上述11個關(guān)節(jié)節(jié)點(diǎn)連接起來，就可以得到一幅初始的人體特化骨架模型。

（2）關(guān)節(jié)角

人在進(jìn)行健美操運(yùn)動的時候，各關(guān)節(jié)處連接的骨頭的擺動頻率及幅度都具有很明顯的特征，且這些物理量指標(biāo)都可以由關(guān)節(jié)點(diǎn)傳感器直接測量得到，根據(jù)這些物理量，能夠準(zhǔn)確描述各個身體部位的實(shí)際運(yùn)動情況。將對應(yīng)的關(guān)節(jié)節(jié)點(diǎn)作為頂點(diǎn)，與之相連的兩條線段作為兩個邊，那么由它們所構(gòu)成的物理夾角，也就叫與對應(yīng)關(guān)節(jié)相關(guān)的關(guān)節(jié)角。

（3）關(guān)節(jié)角的角加速度

關(guān)節(jié)角的角加速度描述了進(jìn)行健美操運(yùn)動時，各個身體軀干部分的動作幅度，將其與關(guān)節(jié)點(diǎn)傳感器測量得到的標(biāo)準(zhǔn)動態(tài)姿勢樣本對比，從而研究受識別者的運(yùn)動學(xué)動作特征，并給出相應(yīng)的分析意見。

（4）關(guān)節(jié)點(diǎn)的重疊

在深度學(xué)習(xí)算法支持下，健美操動態(tài)姿勢識別分析系統(tǒng)所提取出的人體骨架是二維形式的，因此，隨著運(yùn)動行為的展開，特化人體骨架模型中勢必會出現(xiàn)一定程度的節(jié)點(diǎn)重疊現(xiàn)象，此時關(guān)節(jié)點(diǎn)傳感器直接提取出來的關(guān)節(jié)點(diǎn)數(shù)量也就相對較少[6]。

（5）特殊化

對于特定的健美操動作，在實(shí)施姿勢分析與識別時，需要忽略一些不必要的關(guān)節(jié)點(diǎn)動態(tài)行為，從而達(dá)到改變各個數(shù)據(jù)所屬權(quán)重值的目的。

2 基于深度學(xué)習(xí)算法的動態(tài)姿勢識別

基于深度學(xué)習(xí)算法的動態(tài)姿勢識別包含動態(tài)姿勢數(shù)據(jù)整合、RBM系數(shù)調(diào)節(jié)、識別系數(shù)反饋微調(diào)三個處理環(huán)節(jié)，具體操作方法如下。

2.1 動態(tài)姿勢數(shù)據(jù)整合

對于健美操運(yùn)動而言，動態(tài)姿勢數(shù)據(jù)整合是一個相對復(fù)雜的處理環(huán)節(jié)。在深度學(xué)習(xí)算法支持下，可將健美操運(yùn)動看成是多個分級節(jié)點(diǎn)的連續(xù)表達(dá)形式，且根據(jù)節(jié)點(diǎn)所處位置的不同，這些姿勢數(shù)據(jù)所展現(xiàn)出的表達(dá)形式也會有所不同。若將整個深度學(xué)習(xí)網(wǎng)絡(luò)看作是一個同時包含X軸、Y軸、Z軸的坐標(biāo)空間，每一個動態(tài)姿勢節(jié)點(diǎn)也會因?yàn)樗幬恢玫牟煌宫F(xiàn)出不同的坐標(biāo)組成形式[7-8]。一般來說，位置靠上節(jié)點(diǎn)的Y軸坐標(biāo)值相對較大，置于身體前側(cè)節(jié)點(diǎn)的Z軸坐標(biāo)值相對較大，而置于身體左側(cè)節(jié)點(diǎn)的X軸坐標(biāo)值相對較大。設(shè)健美操運(yùn)動的起始坐標(biāo)點(diǎn)為O（x0, y0,z0），s1(x1, y1, z1)、s2(x2, y2, z2)、…、sn(xn, yn, zn)分別代表n個不同的動態(tài)姿勢點(diǎn)坐標(biāo)，在深度學(xué)習(xí)網(wǎng)絡(luò)空間內(nèi)，參數(shù)n的取值結(jié)果無限趨于+∞ 。聯(lián)立上述物理量，可將基于深度學(xué)習(xí)算法的健美操動態(tài)姿勢數(shù)據(jù)整合結(jié)果表示為：

公式（1）中，兩個動態(tài)姿勢點(diǎn)坐標(biāo)之間的影響關(guān)系如下：

其中，a0、a1、…、an-1分別代表n個不同的節(jié)點(diǎn)坐標(biāo)整合系數(shù)。數(shù)據(jù)集合中的每一個動態(tài)姿勢坐標(biāo)都對應(yīng)一個獨(dú)立的節(jié)點(diǎn)分類條件，當(dāng)完成所有的坐標(biāo)樣本處理后，將數(shù)據(jù)集合存入深度學(xué)習(xí)網(wǎng)絡(luò)中，以便于系統(tǒng)下一階段指令的直接調(diào)用[9-10]。

2.2 RBM系數(shù)調(diào)節(jié)

RBM系數(shù)調(diào)節(jié)是健美操動態(tài)姿勢識別分析系統(tǒng)設(shè)計過程中的必要處理環(huán)節(jié)，在深度學(xué)習(xí)算法的作用下，該處理步驟以層層遞增的方式，確定整合后動態(tài)姿勢數(shù)據(jù)的實(shí)用性價值，再通過計算隱藏層、可見層結(jié)構(gòu)體之間干預(yù)權(quán)值的方式，來判斷系統(tǒng)內(nèi)識別分析指令所處的實(shí)時傳輸位置[11]。從這個層面來看，RBM系數(shù)調(diào)節(jié)對于健美操動態(tài)姿勢識別分析系統(tǒng)的構(gòu)建至關(guān)重要，在普通深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過程中，最難解決的問題就是怎樣選擇最為適宜的初始化參數(shù)賦值結(jié)果，從而使得整個系統(tǒng)保持較強(qiáng)的操作靈活性，如果這個參數(shù)的選擇結(jié)果不能完全滿足實(shí)際應(yīng)用需求，往往會導(dǎo)致系統(tǒng)主機(jī)對于健美操動態(tài)姿勢的捕捉精準(zhǔn)程度下降，并最終造成位姿識別結(jié)果出現(xiàn)較大偏差[12-13]。

圖1展示了深度學(xué)習(xí)網(wǎng)絡(luò)每層RBM結(jié)構(gòu)之間的具體調(diào)節(jié)過程。

圖1 基于深度學(xué)習(xí)算法的RBM系數(shù)調(diào)節(jié)原理

對于健美操動態(tài)姿勢識別分析系統(tǒng)而言，所有RBM系數(shù)首先執(zhí)行由可見層到隱藏層的轉(zhuǎn)換，且經(jīng)歷了這次的轉(zhuǎn)換處理之后，系統(tǒng)主機(jī)能夠以隱藏層組織作為基層結(jié)構(gòu)，對健美操動態(tài)姿勢數(shù)據(jù)進(jìn)行抽樣處理隱藏層，在準(zhǔn)確掌握隱含層節(jié)點(diǎn)存在狀態(tài)的同時，根據(jù)深度學(xué)習(xí)算法，反推可見層節(jié)點(diǎn)的執(zhí)行應(yīng)用能力[14]。一般來說，完成這次轉(zhuǎn)化處理后，還要再按照上述流程，進(jìn)行一次由可見層到隱藏層的轉(zhuǎn)換處理，這也是保障健美操動態(tài)姿勢數(shù)據(jù)抽樣指令能夠得以連續(xù)執(zhí)行的主要原因。

2.3 識別系數(shù)的反饋微調(diào)

深度學(xué)習(xí)算法的反饋微調(diào)主要包含如下三個實(shí)現(xiàn)過程：加載動態(tài)姿勢數(shù)據(jù)文件、構(gòu)造待識別的數(shù)據(jù)立方體、循環(huán)調(diào)節(jié)[15]。其中，前兩個執(zhí)行過程能夠?yàn)樽R別分析系統(tǒng)的響應(yīng)做足前期準(zhǔn)備工作，而最后一個執(zhí)行過程中則能夠直接影響深度學(xué)習(xí)算法在反饋微調(diào)機(jī)制中的應(yīng)用能力。

圖2描述了健美操動態(tài)姿勢識別分析系統(tǒng)系數(shù)指令的反饋微調(diào)執(zhí)行流程，整體結(jié)構(gòu)形式分為5層，在深度學(xué)習(xí)算法的作用下，隨著層次數(shù)量的增加，該層級結(jié)構(gòu)中識別系數(shù)的維度水平逐漸降低。在反饋微調(diào)階段，系統(tǒng)主機(jī)首先根據(jù)深度學(xué)習(xí)算法，自底向上執(zhí)行識別系數(shù)的轉(zhuǎn)換，而到了最高層的Layer（4）識別層次結(jié)構(gòu)之后，再進(jìn)行自下而上的數(shù)據(jù)轉(zhuǎn)換處理，從而實(shí)現(xiàn)對整個反饋微調(diào)結(jié)構(gòu)的二次構(gòu)建[16]。

圖2 識別系數(shù)指令的反饋微調(diào)流程

（1）加載動態(tài)姿勢數(shù)據(jù)文件。在實(shí)施識別系數(shù)的反饋微調(diào)之前，經(jīng)歷了多次完整的RBM系數(shù)調(diào)節(jié)流程，這就使得深度學(xué)習(xí)網(wǎng)絡(luò)的每個層級結(jié)構(gòu)都被分配了與之相關(guān)的鏈接權(quán)值結(jié)果。

（2）構(gòu)造待識別的數(shù)據(jù)立方體。這一過程的執(zhí)行目的與健美操動態(tài)姿勢識別分析系統(tǒng)的執(zhí)行需求完全相符，經(jīng)歷了RBM節(jié)點(diǎn)的調(diào)節(jié)處理之后，動態(tài)姿勢數(shù)據(jù)的傳輸速率不斷加快，這也是新型系統(tǒng)在識別運(yùn)動位姿數(shù)據(jù)方面所需消耗時間相對較短的主要原因。

（3）循環(huán)調(diào)節(jié)。這一過程是識別系數(shù)反饋微調(diào)體系的主體部分，能夠在深度學(xué)習(xí)算法的作用下，對健美操動態(tài)姿勢數(shù)據(jù)進(jìn)行全局調(diào)度處理。

3 健美操動態(tài)姿勢識別分析系統(tǒng)功能設(shè)計

在深度學(xué)習(xí)算法的支持下，按照特化人體骨架模型構(gòu)建、行為識別數(shù)據(jù)集確定、信號特征提取的處理流程，實(shí)現(xiàn)健美操動態(tài)姿勢識別分析系統(tǒng)的設(shè)計與應(yīng)用。

3.1 行為識別數(shù)據(jù)集

在健美操動態(tài)姿勢識別分析系統(tǒng)中，行為識別數(shù)據(jù)集可以分為RGB視頻數(shù)據(jù)集、RGB-D深度視頻數(shù)據(jù)集兩種，一般來說，這兩種形式的數(shù)據(jù)集信息都是由深度相機(jī)直接采集得到的，如常見的骨架關(guān)節(jié)點(diǎn)、深度圖像序列等[17]。RGB視頻數(shù)據(jù)集的每一段數(shù)據(jù)都只包含一個運(yùn)動行為種類，對于健美操運(yùn)動而言，由于關(guān)節(jié)點(diǎn)姿態(tài)的變化，這種數(shù)據(jù)集采集方式就顯得略微單一。RGB-D深度視頻數(shù)據(jù)集的每一段數(shù)據(jù)都包含多種運(yùn)動行為種類，并且不對關(guān)節(jié)點(diǎn)的姿態(tài)存在形式進(jìn)行嚴(yán)格要求[18]。假設(shè)健美操行為識別數(shù)據(jù)集是動態(tài)姿勢數(shù)據(jù)整合集的子集存在形式，ε表示動態(tài)行為系數(shù)，聯(lián)立公式（1），可將健美操運(yùn)動的動態(tài)行為識別數(shù)據(jù)集表示為：

其中，p1表示RGB視頻數(shù)據(jù)集中的信息識別條件，p2表示RGB-D深度視頻數(shù)據(jù)集中的信息識別條件，x表示既定關(guān)節(jié)點(diǎn)處的運(yùn)動姿勢變化量。一般來說，行為識別數(shù)據(jù)集的覆蓋范圍越廣泛，就表示健美操動態(tài)姿勢節(jié)點(diǎn)的存在數(shù)量越多。

3.2 信號特征提取

信號特征提取是一種從行為識別數(shù)據(jù)集中提取能夠準(zhǔn)確表示健美操動態(tài)姿勢運(yùn)動特性的過程中。通過提取信號特征的方式能夠減少運(yùn)動行為信號的維度，這樣能夠最大化提升系統(tǒng)主機(jī)對于運(yùn)動位姿數(shù)據(jù)的識別與分析速度。在深度學(xué)習(xí)算法作用下，信號特征提取能夠清晰、簡單地表現(xiàn)出健美操動態(tài)姿勢的變化情況，且在特化人體骨架模型中，由于關(guān)節(jié)點(diǎn)數(shù)量相對較少，線段相互交疊事件的發(fā)生幾率可以得到較好控制，這也是健美操動態(tài)姿勢識別分析系統(tǒng)能夠?qū)\(yùn)動位姿數(shù)據(jù)進(jìn)行精準(zhǔn)捕捉的主要原因[19-20]。假設(shè)θ0代表動態(tài)姿勢節(jié)點(diǎn)的初始識別系數(shù)，θn代表動態(tài)姿勢節(jié)點(diǎn)的最大化識別系數(shù)，聯(lián)立公式（3），可將信號特征提取結(jié)果表示為：

上式中，表示健美操動態(tài)位姿信號的維度特征值，f表示既定的運(yùn)動位姿數(shù)據(jù)，λ表示基于深度學(xué)習(xí)算法的信號識別系數(shù)，β表示特化人體骨架模型中的線段交疊向量。至此，實(shí)現(xiàn)了各項(xiàng)指標(biāo)參量的計算與處理，在深度學(xué)習(xí)算法的支持下，完成健美操動態(tài)姿勢識別分析系統(tǒng)的設(shè)計。

4 仿真實(shí)驗(yàn)

為證明設(shè)計系統(tǒng)的應(yīng)用價值，設(shè)計如下仿真對比實(shí)驗(yàn)。利用計算機(jī)軟件模擬如圖3所示的健美操動態(tài)姿勢，在連續(xù)運(yùn)動過程中，分別采用傳統(tǒng)的時空權(quán)重姿態(tài)運(yùn)動特征的人體骨架行為識別方法[4]與設(shè)計方法對運(yùn)動行為進(jìn)行控制，其中前者作為對照組、后者作為實(shí)驗(yàn)組。

圖3 健美操動態(tài)姿勢

嵌入維數(shù)能夠反映識別主機(jī)對于健美操動態(tài)姿勢的捕捉精度水平，一般來說，嵌入維數(shù)值越小，則表明識別主機(jī)對于健美操動態(tài)姿勢的捕捉精度水平越高，反之則越低。

下面將針對實(shí)驗(yàn)組、對照組的嵌入維數(shù)值展開深入研究。

分析圖4可知，動作1、動作2的運(yùn)動幅度相對較小，與之相關(guān)的嵌入維數(shù)值變化形式也較為簡單，整個實(shí)驗(yàn)過程中，實(shí)驗(yàn)組、對照組曲線都保持著單一的上升變化狀態(tài)，且實(shí)驗(yàn)組嵌入維數(shù)值的均值水平一直低于對照組。

圖4 動作1、動作2的嵌入維數(shù)值

分析圖5可知，動作3、動作4的運(yùn)動幅度相對較大，與之相關(guān)的嵌入維數(shù)值變化形式也就更為復(fù)雜。隨著運(yùn)動幅度的增大，嵌入維數(shù)的數(shù)值水平也會不斷增大，但在整個實(shí)驗(yàn)過程中，實(shí)驗(yàn)組曲線始終存在于對照組曲線下部。

圖5 動作3、動作4的嵌入維數(shù)值

為便于后續(xù)的實(shí)驗(yàn)操作，在對位姿數(shù)據(jù)識別時間進(jìn)行檢測時，規(guī)定關(guān)節(jié)角數(shù)值只能在1°至10°之間不斷變化。具體實(shí)驗(yàn)情況如表1所示。

表1 運(yùn)動位姿數(shù)據(jù)識別時間

分析表1可知，當(dāng)關(guān)節(jié)角數(shù)值保持在1°至5°之間時，實(shí)驗(yàn)組、對照組運(yùn)動位姿數(shù)據(jù)識別時長的變化趨勢基本保持一致，只不過對照組時間均值水平略高。當(dāng)關(guān)節(jié)角數(shù)值保持在6°至10°之間時，實(shí)驗(yàn)組運(yùn)動位姿數(shù)據(jù)識別時長則出現(xiàn)連續(xù)上升的數(shù)值變化趨勢；此時，對照組運(yùn)動位姿數(shù)據(jù)識別時長出現(xiàn)先上升、再穩(wěn)定的變化趨勢，只不過對照組的均值水平明顯高于實(shí)驗(yàn)組。

綜上可知，隨著基于深度學(xué)習(xí)算法的識別分析系統(tǒng)的應(yīng)用，系統(tǒng)主機(jī)檢測出的健美操動態(tài)姿勢嵌入維數(shù)值水平雖然出現(xiàn)了一定程度的上升變化趨勢，但無論位姿動作的簡單與否，嵌入維數(shù)的數(shù)值水平都能得到較好控制，其平均值始終低于時空權(quán)重姿態(tài)運(yùn)動特征型識別手段的檢測數(shù)值，這對于精準(zhǔn)捕獲健美操動態(tài)姿勢具有較強(qiáng)的促進(jìn)性作用。在識別時長方面，隨著關(guān)節(jié)角數(shù)值的增大，深度學(xué)習(xí)算法始終能夠?qū)珳?zhǔn)識別健美操運(yùn)動位姿數(shù)據(jù)所需時間進(jìn)行有效控制，與傳統(tǒng)時空權(quán)重姿態(tài)運(yùn)動特征型識別方法相比，更符合實(shí)際應(yīng)用需求。

5 結(jié)束語

在深度學(xué)習(xí)算法的支持下，本文設(shè)計的健美操動態(tài)姿勢識別分析系統(tǒng)，可以通過整合動態(tài)姿勢數(shù)據(jù)的方式對RBM系數(shù)的調(diào)節(jié)能力進(jìn)行控制，再根據(jù)反饋微調(diào)原理，定義特化人體骨架模型。由于行為識別數(shù)據(jù)集結(jié)構(gòu)的存在，信號特征提取結(jié)果能夠直接影響與系統(tǒng)主機(jī)匹配的位姿數(shù)據(jù)捕捉能力。而且對于連續(xù)的健美操動作而言，設(shè)計系統(tǒng)始終能夠較好控制嵌入維數(shù)值的表現(xiàn)情況，且當(dāng)關(guān)節(jié)角變化幅度相對較小時，系統(tǒng)主機(jī)所需的運(yùn)動位姿數(shù)據(jù)識別時間也始終較短。