基于AlphaPose姿態識別模型的武術評價研究與實驗

王 帥，姚翠莉，楊雨龍，劉 昊，魏 維

（1. 大連理工大學電子信息與電氣工程學部，大連 116024；2. 大連理工大學創新創業學院，大連 116024；3.大連理工大學體育與健康學院，大連 116024）

0 引言

運動是居民日常生活中鍛煉身體的主要方式，同時國家體育總局下發《關于大力推廣居家科學健身方法的通知》［1］以及冰雪運動的推廣等號召，均體現出運動是當今時代的主題之一。近十年隨著國家對于傳統武術的大力推廣，武術愛好者數量不斷激增，同時近年來受疫情影響，人們對于居家健身的需求不斷增加，運動空間需求較小的武術運動成為人們的理想選擇之一。

傳統武術指導需要專業教練，這種人工手段已經無法滿足多數人對于運動的學習需求。利用神經網絡、計算機視覺相關技術可以在體育領域中對人體運動姿態進行深入剖析，因此無論是為運動員動作識別與矯正提示提供科學參考，還是對于個人居家武術健身的科學性，使用人工智能技術實現此類功能已成為大勢所趨。

目前相關研究中姿態識別任務的應用化還處于初級階段，基本只停留在識別骨骼圖本身，以姿態識別進行動作分類為主［2-8］，例如使用姿態估計來預測目標是否進行特定動作，評價方式較為單一，缺少有效的動作評分方式［9］，缺少對武術及其他體育項目的專業適應性，該類動作評價任務仍存在較大的研究空間。

本文使用AlphaPose 模型［10］提取骨骼點，然后對動作相關骨胳點進行時間和空間序列匹配度計算，針對測試者動作進行骨胳向量繪制，并依據學習得到的評分擬合算法，給出每一時刻的動作分數。

本實驗設計中主要工作有：設計有效的動作評價方式；將遷移向量與被測試目標身體骨骼比例相匹配；設計了多體任務中的同幀動作向量計算模型；對于具有預存儲模型的單體評價與矯正提示任務，解決了標準動作向量與被測試目標動作向量之間的時間序列和空間序列匹配問題。

1 AlphaPose模型

AlphaPose 模型使用區域多人姿態估計框架，該框架主要由三部分組成：對稱空間變換網絡、參數化姿勢非極大值抑制和姿勢引導區域發生器。該框架改善了基于單人姿態估計的人體姿態估計算法的性能。

該框架設計了一個新的對稱空間變換網絡，與單人姿態估計網絡相連，從一個不準確的目標框中提取高質量的目標區域；針對冗余檢測問題，引入了參數化姿態非極大值抑制方法，通過使用新的姿態距離計算方法來比較姿態的相似性進而消除冗余姿態；提出了一種新型的姿態引導數據生成器，通過學習不同姿勢下人體檢測器的輸出分布，模擬人體目標框的生成，從而產生大量訓練樣本。

該框架的流程為：

（1）使用人體目標檢測器獲得人體目標框。

（2）將人體目標框送入“對稱空間變換網絡+單人姿態估計”模塊，自動生成姿態估計。

（3）生成的姿態估計由參數化姿態非極大值抑制進行優化，消除冗余的姿態估計結果。

該框架在多人姿態估計任務中的定位、識別方面誤差較小，雖然使用兩階段姿態估計方式會對檢測速度造成一定影響，但相較于單階段模型，該模型可以做到相對兼顧識別的準確率和實時性，更適合作為武術動作的姿態估計模型。

2 武術評價任務整體流程

武術評價任務的整體流程如圖1 所示，包括骨骼向量提取與表示、任務分類和分數函數擬合。

圖1 武術評價任務整體流程

2.1 骨骼向量

使用AlphaPose 模型提取武術練習者的骨骼向量。該信息被分為兩級儲存，第一級為骨骼點對，其中第一點為起始點，第二點為終止點。第二級信息由字典格式儲存骨骼點對應的實際像素點位置，以便在后續的匹配任務和分數計算中進行計算。

武術評價要求能夠直觀表示和輔助矯正被測試目標的武術動作，因此需要將標準動作向量遷移至被測試目標對應動作位置進行繪制，該過程需要選擇一個關節點作為骨骼向量遷移的對齊匹配中心點。本文實驗了兩種方式，第一種是以頭部作為中心，整體進行遷移。第二種是通過對所有關鍵骨骼點進行加和求平均值來計算匹配中心點。在實際使用中，由于二維圖像中骨骼向量比例的變化和三維世界不同，缺少了深度信息，在具有肢體前后重疊的動作中計算位置與實際位置偏差較為嚴重，很難如理想狀態下將匹配中心點定位在被測試目標的正中心處，因此最終選擇以頭部點位為起始點。在得到起始點位后，由該點位進行延伸，按照骨骼點對中儲存的順序，依次在目標人物對應位置繪制標準動作骨骼向量。

針對骨骼向量的長度表示，本文設計了兩種方式。第一種是直接遷移，即不改變基準目標的骨骼向量長度信息，直接遷移至被測試目標。由于被測試目標和基準目標骨骼向量的長度存在差異，會對最終的分數計算造成影響，因此第二種方式是對骨骼向量長度進行比例自適應調整，即將標準骨骼向量乘上一個比例系數，以此來消除標準骨骼向量長度與被測試目標骨骼向量長度不匹配的問題。

式中：leni為被測試目標人物i的肢體長度；lenj為基準動作者j 的肢體長度；εx,i和εy,i分別表示被測試目標肢體起始骨骼點和終止骨骼點沿著x和y方向變化的像素值；εx,j和εy,j分別表示基準目標肢體起始骨骼點和終止骨骼點沿著x和y方向變化的像素值。

在動作匹配計算模型中，如果被測試目標動作錯誤較為嚴重，和標準動作的計算過程產生較大誤差（例如標準動作是向下微伸，而被測試目標為向下伸張），此時由于深度信息未被計算在內，標準動作向量長度與被測試目標動作向量長度之比所得系數將受到較為嚴重的影響。

針對這一問題，本文采用了一個權衡的解決方案。在大多數武術動作或運動中，第一幀中標準動作與被測試目標動作一般來說是差距最小的狀態，記錄此時的比例值來作為整體比例系數，能夠在一定程度上緩解這個問題。

2.2 任務分類

多體評價任務，是在圖像中存在可以代表標準武術動作的目標人物的任務，即其中一個人物作為教練員（基準目標），其他人物作為學員（被測試目標），在兩類目標之間進行骨骼向量遷移和分數評價。

本文實驗將最右側目標作為基準目標，其他目標與其進行動作匹配計算，在實際使用中，也可以將該選擇設計為超參，來使其他位置的目標作為基準。也可以選取一定的約束，例如以總人數除二取整選取基準目標，使標準動作人物定位在中心。

在該類任務中，本文采取同幀計算，即在視頻相同的一幀內進行被測試目標與標準動作目標的相關計算。這種同幀計算任務可以滿足某些特殊的需求，例如某些難以找到標準動作視頻的武術或運動項目，同時對于某些團體項目，該方案可以便捷地計算武術團隊的整體協調度。

單體評價任務，指的是圖像中沒有基準目標而只有被測試目標的評價任務。此時需要在標準動作目標人物的武術動作視頻中提取所需的骨骼向量數據文件，并與被測試目標即輸入視頻中的目標人物進行相關計算。

對于此類任務，由于輸入視頻與提取出的標準動作向量數據所對應的原視頻并未經過對齊，二者在時間上沒有必然聯系，本任務需要避免細微的時間差異導致動作匹配過程發生嚴重的錯位，從而導致分數評價出現較大偏差。針對這一問題，本文對時間序列進行修改，計算輸入視頻在當前時刻的各肢體動作向量，與一定時間范圍內每一時刻的標準動作向量的誤差關系，選擇誤差總量最小的時刻作為對齊時刻，以此進行相關計算，詳細流程見算法1。

其中：T表示輸入視頻當前時刻，x表示時序匹配的前后時間范圍，Ls表示歐氏距離和，Ls_m表示歐氏距離最小誤差之和，t表示當前標準視頻對應的時刻。

2.3 分數擬合

得分函數需要一個參數d作為擬合函數的自變量，本文使用歐氏距離和向量方向兩種方式進行試驗。

計算被測目標動作向量與標準動作向量之間誤差值的歐氏距離，如公式（3）所示。在評價計算過程中，若未采用身體骨骼向量長度進行等比例自適應調整，則會產生由于肢體長度不同而導致的誤差。因此使用相同的技巧，即取第一幀圖像，也就是雙方動作差距較小的狀態，為本次評價中的人物骨骼向量長度提供一個校準值。

式中：l_pair的下標i代表第i個骨骼點對，也就是第i個肢體動作，0、1分別代表被測試目標和基準目標，pixel函數表示取對應肢體動作的像素變化值。

計算雙方動作向量間角度的差值，在一定程度上緩解了使用歐氏距離時遇到的長度比例問題，但角度計算由于缺失了深度信息，對于處于同一角度的動作，事實上可以對應很多不同的深度情況，這些情況難以區分，如果想要估算深度，則需要由骨骼向量長度進行反推。

式中：ɑ和b分別表示基準目標和被測試目標。

在實際應用中，前置肢體（例如大臂）發生錯誤而后置肢體（例如小臂）動作準確無誤的情況，相較于后置肢體發生錯誤而前置肢體動作準確無誤的情況，會對被測試目標的評價造成更大的消極影響，因此需要為每個部位提供不同的權重系數。

針對運動中每個動作都有微小差距和某部分肢體動作出現嚴重偏差這兩種情況相比，其差值總和可能相同，但前者對于評價者的感官影響和評價均優于后者，這意味著動作誤差在數值上的變化與評價人觀感與評價上的變化并非線性匹配，因此誤差值變化與分數變化是一個非線性的關系，也就是一個梯度單調遞增的擬合函數。

針對本文武術項目，對訓練集中的任務抽取足量的時間點，由大連理工大學武術社團的同學和老師對其進行人工標注，得到感官評價分數，同時計算這些時刻的誤差值，即可得到動作誤差值與其對應的分數，以此擬合得分函數。根據得到的擬合曲線進行適當的人工調整，得到對應各肢體動作的最終擬合函數。為防止抽取點數不足而導致擬合關系變為線性，在實驗中使用e作為底來進行指數函數擬合，最終得到的得分函數形如式（6）所示：

其中：μi為擬合的比例系數，ki為各部位權重系數，εi為每一項的線性補償。

3 分數擬合消融實驗

多體任務和單體任務的測試結果如圖2、圖3 所示。其中圖2 展示的多體評價任務使用了等比例自適應調整方法。圖3 處展示的單體評價任務，沒有使用等比例自適應調整方法，對比多體任務，此時繪制的標準骨骼向量與被測試目標的骨骼向量長度并不完全匹配。根據圖3所示圖片可以看出，即使輸入視頻與預存視頻并未直接進行對齊，經過時序匹配算法后，被測試目標處繪制的標準動作向量仍可以比較接近此刻被測試目標的動作，說明使用時序匹配算法能夠緩解動作難以對齊這一問題。在下面的消融實驗中，本文將定量比較這兩種算法的效果。

圖2 多體評價任務測試效果（使用骨骼向量長度等比例自適應）

圖3 單體評價任務測試效果（使用時序匹配算法）

多體任務、單體任務的驗證分別使用如圖2、圖3 中截圖所示的完整視頻（分數擬合的訓練過程使用同類武術動作的其他自制視頻），在得到完整的評分視頻后進行抽樣并對抽樣點進行人為打分標注。對于多體任務進行等比例自適應方法的效果驗證，對于單體任務進行時序匹配算法的效果驗證。分數擬合消融實驗結果見表1。

表1 分數擬合消融實驗結果

4 結語

本文成功將動作評價任務的研究工作由分類任務轉化為更精確的回歸任務，使用自制的訓練集（用于擬合曲線）和測試集（用于驗證算法有效性）獲得相應武術動作的分數擬合函數，設計并驗證了骨骼向量長度等比例自適應和時間序列匹配算法的有效性，為以武術動作評價為例的各類運動提供便捷有效的智能動作評價和輔助矯正功能。