基于人體骨架特征編碼的健身動作識別方法

郭天曉，胡慶銳，李建偉，沈燕飛

（1.北京體育大學運動人體科學學院，北京 100084；2.北京體育大學體育工程學院，北京 100084）

（*通信作者電子郵箱jianwei@bsu.edu.cn）

0 引言

隨著計算機視覺和圖像處理技術的高速發展，基于視覺信息處理的智能化訓練系統逐漸被應用于運動訓練［1］和康復醫療領域［2］。對于初學者而言，接受及時有效的指導和反饋不僅能夠幫助其掌握動作［3］，還能夠有效避免運動損傷［4-5］。傳統的健身動作指導是在教練員的監督引導下糾正錯誤動作以實現良好的鍛煉效果，要求在特定場地下由專人指導進行練習，不適用于居家環境以及利用碎片化時間鍛煉的場景。而當前已經出現的依托智能設備的健身指導方案［6］大多缺少對運動過程的有效監控且無法給出反饋和建議，不利于初學者掌握動作［7］。運動技能學習過程的起始階段為泛化階段［8］，其學習重點為掌握動作要領，需要通過重復觀看示范和接收反饋來糾正錯誤動作［9］。通過技術手段對運動過程進行監控和評估，不僅能夠幫助運動者掌握動作，還能夠節省人力成本，增加訓練過程的趣味性和互動性。

智能健身系統［10-11］是集成了人體運動信息采集，數據處理與交互，用戶終端與設備等模塊的綜合訓練平臺。健身動作識別作為其中的核心環節之一，通過采集和分析人體運動特征區分受試者執行的不同動作。目前，人體動作識別主要分為基于慣性傳感器［12-13］和基于視覺特征采集［1，14］的兩大類方法。前者通過可穿戴設備采集人體運動學信息完成動作識別，但在各關節處附著傳感器不僅提高了成本，也會影響運動體驗；而采集視覺特征進行動作識別的方法能夠依托各類相機完成非侵入式［15］的動作識別，更適用于健身場景。

當前，利用人體視覺特征進行動作識別的方法主要分為基于傳統特征提取和基于深度學習的兩大類：基于深度學習的動作識別方法構建神經網絡［16-20］描述人體運動特征，在大型動作數據集上實現良好的檢測效果，此類方法通常依賴大量數據進行模型訓練且對計算資源要求較高，限制了其在不同場景下的應用；相對而言，基于傳統特征提取的方法［21-22］對數據量和計算資源的要求較小，能夠根據不同需要提取相應動作特征完成識別。在運動訓練領域的相關研究中，研究者根據訓練目的和項目特點設計動作特征提取方法來完成各類動作的識別和分析：?rücü 等［14］針對上肢力量訓練中對動作執行標準程度的評價和指導問題，依托Kinect V2設計了一套智能訓練系統，該系統通過提取受試者上肢各關節點的運動數據監控和評估日常訓練過程，實驗結果證明該系統能有效改善動作質量；Li等［23］為了對比賽視頻中運動員的動作進行分析，通過分層提取視頻特征獲取運動員動作的關鍵運動學參數并據此完成動作識別，輔助教練員完成比賽錄像分析；Ting等［1］針對羽毛球運動中復雜技術動作的分類問題，采集各動作RGB-D視頻并提取四元數特征向量對10類羽毛球動作進行識別，所選取的三維動作特征能有效表示各類羽毛球動作。

針對健身動作的識別問題，除了考慮所選取特征對動作的描述能力外，還應當考慮后續動作評價的可行性。健身動作評價通過捕捉人體各環節間的相對運動來評估動作執行的標準程度。人體整體位移是無關的干擾特征，如跑步時在水平方向的行進位移、跳躍時的垂直高度等。因此，提取健身動作中人體各環節間的相對運動特征不僅有利于區分相似動作，而且能為動作評價創造條件。但在以往基于傳統特征提取的動作識別方法［24-29］中，很少考慮到人體運動過程中無關位移對動作識別的影響。此外，健身動作識別場景通常包含多變的背景和光照條件，而基于背景消除提取人體特征的方法對于多變背景的魯棒性相對較差［30-31］。隨著人體姿態估計技術［32-33］的發展，語義特征提取方法［34］為人體動作特征的提取提供了新的思路：通過提取圖像中的人體骨架信息來描述動作特征并進行動作識別。提取出的人體關節位置信息是具有高度代表性的人體運動特征，能夠表示動作視頻中的人體活動空間分布［35］，有利于捕捉人體各環節間的組合特征［36］，且在一定程度上避免了傳統特征提取方法依賴于圖像分割效果的問題，對于視頻中多變的背景和光照條件也具有較好的魯棒性［34］，能夠為健身動作識別任務提供具有高度代表性的人體運動骨架信息。

針對上述問題，本文提出了一種基于人體骨架特征編碼的健身動作識別方法，包含3 個步驟：首先，根據健身動作特點構建包含15 個關節點的精簡人體模型，并利用人體姿態估計技術［33］獲取視頻中的運動骨架信息；然后，通過人體中心投影法消除運動過程中整體位移對識別結果的干擾，并對投影區域的軌跡特征進行縮放以降低人體體型差異對識別結果的影響并提高識別速度，通過優化函數確定縮放比例以在保證識別率的基礎上獲得有效特征更為集中的動作特征區域；最后，對特征區域進行線性編碼以獲得描述健身動作的特征向量，并設計了一個基于支持向量機（Support Vector Machine，SVM）［37］的多分類器進行模型訓練和識別。為了檢驗本方法對健身動作的識別效果，構建了一個包含28 種健身動作的數據集進行實驗，結果表明本方法能夠有效識別健身動作，識別率達到了97.24%。在公開的KTH（Kungliga Tekniska H?gskolan）數據集［26］和Weizmann數據集［24］上，本方法的識別率分別達到91.67%和90%。

本文貢獻主要體現在以下3 個方面：1）通過人體中心投影法消除健身動作中人體整體位移對動作識別的影響，對利用骨架信息進行動作識別的方法具有普適性；2）提出一種高效的骨架信息編碼方法，能夠有效表示健身動作，并使得方法具有較高的識別精度和速度；3）構建了一個健身動作數據集，能夠支持健身動作識別以及后續動作評價方法的研究。

圖1 所示為本文提出的健身動作識別方法流程，首先通過人體姿態估計技術提取運動骨架信息，然后通過人體中心投影法和縮放投影區域消除干擾，最后將特征區域進行線性編碼實現動作分類。

圖1 本文健身動作識別方法流程Fig.1 Flowchart of the proposed fitness action recognition method

1 基于人體中心投影的動作特征提取

從健身動作視頻中提取動作特征區域包括兩個步驟：人體運動骨架信息提取和基于人體中心的動作特征區域提取。

1.1 人體運動骨架信息提取

人體骨架信息是具有高度代表性的人體運動特征。本方法利用人體姿態估計技術［33］獲取運動過程中人體各環節位置信息并據此提取動作特征。根據健身動作的特點，選取包含25個關節點的Body_25人體模型進行簡化，刪除對動作識別貢獻有限的雙目特征點、雙耳特征點，以及足趾和足跟關節點。獲得包含15 個關節點的精簡人體模型，相比原模型更關注人體軀干和四肢的動作，有利于提高計算效率。

圖2所示為Body_25模型和精簡人體模型和對比。根據精簡人體模型，對包含N幀圖像的健身動作視頻進行姿態估計，提取出人體關節坐標序列{(xi，j，yi，j)}，其中1 ≤i≤N，1 ≤j≤15，xi，j∈R和yi，j∈R分別為第i幀中第j個關節點在圖像坐標系中的坐標。

圖2 模型對比Fig.2 Comparison of models

1.2 基于人體中心的特征區域提取

動作特征區域提取主要是基于人體中心投影法，在人體中心坐標系中提取動作特征所在區域。

1.2.1 人體中心投影法

健身動作一般由人體各環節間的相對運動和人體整體位移兩部分組成，其中前者是健身動作識別和評價的主要內容，反映動作執行是否標準有效，而人體整體位移通常不納入評價體系中，對動作識別而言是無關的干擾特征。另外，健身動作識別可看作相似序列的搜索匹配問題［38］，同類動作不同樣本間的時間差異會增加樣本的類內差異性，從而影響動作識別結果。

綜合考慮上述因素，本文提出基于髖關節中點的人體中心投影法消除人體整體位移和動作執行時間差異。如圖3 所示（O-XY表示圖像坐標系，B-UV表示人體中心坐標系），以位于人體中心的髖關節中點作為坐標系原點建立人體中心坐標系B-UV，通過投影變換獲取在人體中心坐標系下的運動骨架信息。在齊次坐標下的人體中心投影過程如式（1）所示：

圖3 人體中心投影法Fig.3 Human central projection method

其中：(ui，j，vi，j)和(xi，j，yi，j)分別為第i幀中第j個關節點在人體中心坐標系和圖像坐標系下的坐標，(xi，hip，yi，hip)為圖像坐標系中髖關節中點坐標。

通過人體中心投影法可以將關節坐標序列轉換至人體中心坐標系，使得動作軌跡圍繞人體髖關節中點分布，消除了人體整體位移和動作執行時間差異對動作識別的影響。

1.2.2 特征區域提取

特征區域提取的目的是獲取動作軌跡的空間分布信息，尋找一個最小區域使其能包含全部關節坐標點。在人體中心坐標系中，假設存在一個以坐標系原點為對角線交點的正方形區域Q，能夠包含任一關節坐標(ui，j，vi，j)，即滿足式（2）：

其中：l為特征區域的邊長，其取值如式（3）所示：

式（3）基于人體最大活動范圍獲取投影區域，原始尺寸l×l較大，完整保留了不同動作執行者之間的體型差異。為了降低體型差異的影響并提升動作識別算法的效率，對投影區域進一步壓縮以獲得更為有效的特征區域Q′。即將投影區域縮放為一個尺寸為l′×l′的特征區域Q′，在l′充分小的情況下能夠包含足夠的有效特征。假設特征區域Q′中包含K個動作軌跡特征點，則縮放投影區域變換如式（4）所示：

其中(uk，vk)表示第k（1 ≤k≤K）個動作特征點坐標。通過投影變換，不僅獲得了有效特征更為集中的特征區域表示人體動作，而且可以降低體型差異對動作識別的影響。

2 基于特征區域編碼的健身動作識別

從動作特征區域中提取特征向量進行動作識別包括兩個步驟：動作特征區域線性編碼和基于SVM的健身動作識別。

2.1 特征區域編碼

將特征區域進行線性編碼的目的是提取動作特征向量。令S={sk}表示含有K個元素的集合，sk為第k個動作特征點(uk，vk)在特征區域中的位置編碼。集合大小K隨特征區域Q′中包含動作特征點多少而變化，sk取值如式（5）所示：

則集合S中包含特征區域中動作特征點的位置分布信息。基于集合S繼續構造一個長度為l′×l′的特征向量Z表示特征區域Q′。特征向量Z的初值為全零向量，根據特征區域中動作特征點的位置分布更新各元素：將Z中sk位置的值置1以表示特征向量中的運動軌跡信息，其余值不變表示背景區域。經過以上步驟，可以獲得一個固定長度的特征向量Z來表示一次動作特征。

2.2 動作識別與特征向量長度優化

2.2.1 基于SVM的健身動作分類

本文基于SVM 設計了一個多類分類器對特征向量集進行分類。假設D={(Za，La)}(1 ≤a≤n)是一組含有n個樣本的特征向量集，Za∈Rl′×l′是第a個樣本的特征向量，La是第a個樣本的類別。對樣本的分類識別可以等價于一個約束最優化問題，如式（6）所示：

s.t.La(wZa+b) ≥1-ξa，ξa≥0，1 ≤a≤n

其中：ξa為松弛變量；C為懲罰因子，取值越大對誤差的容忍程度越低，相對來說容易出現過擬合，反之則容易欠擬合。針對數據集的樣本量和特征向量維度，選用徑向基函數（Radial Basis Function，RBF）作為核函數［37］。懲罰因子C和核函數參數gamma的選擇決定分類器的性能，前者調整擬合和預測樣本的能力，后者則與樣本劃分有關。在本文的實驗中，通過對特征向量訓練集進行網格尋優以獲取最優參數（C=64，gamma=0.007 812 5）完成模型訓練，實現動作識別。

2.2.2 特征向量長度優化

由于不同長度的特征向量中包含的動作特征點數量不同，會對識別精度和速度產生影響。在本方法中，特征區域Q′的尺寸l′×l′決定特征向量的長度。為了兼顧識別精度與速度，需要對l′取值進行優化。

本方法預設了一系列l′的離散取值，通過比較實驗結果進行參數選擇。對于特征向量集D，當l′取一定值時，將D中第a個樣本識別為類別且=La的概率為pa(l′)=p(L～a=La|l′)，識別該樣本的時間為ta(l′)。l′的取值應當在保證識別率的基礎上提高檢測速度，其優化函數如式（7）所示：

其中：β為平衡識別精度和識別速度的權重值，在本實驗中取值為0.5。

3 實驗與討論

本章首先介紹所使用的三個數據集，然后介紹在不同數據集上的實驗結果及討論。實驗均在Inter CoreTM i7-7700 CPU 3.60 GHz處理器，Ubuntu16.04系統的計算機上實現。

3.1 動作識別數據集

本實驗使用的3 個動作識別數據集，分別是健身動作數據集、KTH數據集和Weizmann數據集。

健身動作數據集 該數據集使用兩臺主光軸相互垂直的GoPro Hero 7 Black 對15 名運動者進行同步拍攝，分別命名為主機位和副機位，主機位相機用于拍攝主動作特征平面。在執行不同的動作時，根據動作特點決定使用主機位拍攝運動者的矢狀面或冠狀面。每位受試者執行28 種健身動作，動作分類和部分動作示例如表1和圖4所示，這些動作包含力量練習、拉伸練習和綜合練習，進一步可細化為器械和徒手練習、靜態和動態練習。選擇主機位和副機位相機拍攝的24 人次共5 854組（每組包含主副機位）視頻作為視頻數據集，數據集拍攝及受試者相關信息如表2所示。

圖4 健身動作數據集部分動作Fig.4 Some actions in fitness action dataset

表1 健身動作數據集的動作分類Tab.1 Classification of actions in fitness action dataset

表2 健身動作數據集信息Tab.2 Information of fitness action dataset

KTH數據集包含6種人體動作（行走、慢跑、奔跑、拳擊、揮手和鼓掌），由25 名受試者在四種不同的場景下完成：室外環境、室外環境（縮放鏡頭）、室外環境（不同著裝）和室內環境。共包含598 段平均時長為4 s 的視頻，由固定相機拍攝完成，拍攝幀率為25 fps，分辨率為160×120。

Weizmann數據集 包含10種人體動作（彎腰、開合跳、跳躍移動、原地跳躍、奔跑、側向跨步移動、單腿跳躍移動、行走、單側揮手、雙側揮手）。該數據集由9 名受試者拍攝完成，共包含90段視頻，拍攝幀率為50 fps，分辨率為188×144。

3.2 實驗結果

3.2.1 健身動作數據集上的實驗結果

為了驗證本方法各模塊對識別結果的影響，在健身數據集上分別進行了以下3 部分實驗：1）分別在包含主副機位拍攝動作的數據集上使用不同長度的特征向量表示動作，觀察其對識別結果的影響并驗證算法對拍攝視角和背景變化的魯棒性；2）應用人體中心投影法，觀察其對識別結果的影響；3）使用不同數據量的訓練集訓練模型，觀察其對識別結果的影響，并驗證本方法在較小樣本量數據集上的可遷移性。

特征向量長度對識別結果的影響 為了探究特征向量長度對識別結果的影響并驗證算法對拍攝視角和背景變化的魯棒性，在包含主副機位動作視頻的數據集上進行實驗。隨機選取9人次共2 062組視頻作為測試集，其余15人次共3 792組視頻作為訓練集。分別使用長度為16、64、144、256、400、576、784、1 024的特征向量表示動作。實驗結果如圖5～6所示。

圖5 不同長度特征向量的識別率對比Fig.5 Comparison of recognition rate of different feature vector lengths

對比不同特征向量長度下的識別率，長度為16 的特征向量描述動作特征的能力較弱，難以捕捉一些位于四肢環節處的動作區分特征導致識別結果欠佳；當特征向量的長度增加到64 時，對于大多數動作都能夠較好地識別，同時主機位拍攝動作的識別率達到接近90%；使用長度為144 及以上的特征向量時，識別主機位動作的正確率基本穩定在95%以上，副機位識別率也超過80%。當長度為576 的特征向量作為分類器輸入時，主機位識別率最高達到了97.24%，副機位識別率也超過90%。測試不同長度特征向量下的識別速度結果如圖6 所示，識別樣本的時間與特征向量長度同向變化且上升趨勢明顯。識別主副機位動作在使用相同長度特征向量時識別速度相同，故圖6 只顯示主機位數據集上的實驗結果。綜合識別精度和速度，根據式（7）特征向量長度優化函數確定參數l′為24，對應特征向量長度為576。

圖6 不同長度特征向量的識別時間對比Fig.6 Comparison of recognition time different feature vector lengths

對比算法對主副機位拍攝動作的識別率，對副機位拍攝動作的識別率總體低于主機位。其原因有兩部分：1）相比主機位拍攝健身動作的主特征平面，副機位所拍攝平面中關節遮擋較為嚴重，造成提取動作特征更加困難；2）主副機位的拍攝背景不同也會對識別結果造成影響。盡管如此，算法對副機位拍攝動作的識別率最高仍能達到91.77%，證明方法對相機視角的變化和背景改變具有一定魯棒性。

人體中心投影法對識別結果的影響 為了驗證所提出的人體中心投影法對識別結果的影響，對比了應用人體中心投影法和圖像坐標系投影識別主機位拍攝健身動作的結果。對比結果如圖7 所示，相比圖像坐標系投影，應用人體中心投影法使得動作識別率在大部分情況下都有所提升。

圖7 人體中心投影法與圖像坐標系投影的識別率對比Fig.7 Comparison of recognition rates of human central projection and image coordinate system projection

由于健身動作數據集中所有動作均在原地執行，運動過程中整體無關位移對動作識別造成的影響較小，故人體中心投影法對動作識別性能的提升幅度有限。

訓練集大小對識別結果的影響 為了驗證本文方法在數據量較小的數據集上的識別能力，在主機位拍攝的健身動作數據集中進行實驗。分別使用包含1、2、3、7、10、13和15人次動作視頻的訓練集進行訓練，仍用包含9 人次視頻的測試集進行測試。實驗結果如表3 所示：識別率與訓練集數據量同向變化，但隨著數據量的增長，增加訓練樣本對于識別正確率的提升幅度逐漸下降。當使用1人次健身動作視頻（每類動作含有1～10 個樣本不等）作為訓練集時，測試能夠獲得85.45%的正確率，這是由于一方面本文方法使用了最優化長度的特征向量表示動作，另一方面所使用的分類器對于小樣本量數據集也有較好的識別效果。結果說明本方法在較小樣本量的數據集上擁有較好的識別能力。

表3 不同訓練集數據量的識別率對比 單位：%Tab.3 Recognition rate comparison with different training data sizes unit：%

3.2.2 公開數據集上的實驗結果

KTH 數據集 按照Schüldt 等［26］的方法劃分測試集和訓練集，訓練集包含16名受試者的動作視頻，測試集包含9名受試者的動作視頻，用本文方法對其進行數據處理，實驗結果如表4所示。

表4 本文方法在KTH數據集上識別率結果 單位：%Tab.4 Recognition rate of the proposed method on KTH dataset unit：%

應用人體中心投影法對識別結果的改善對比如圖8所示。結果顯示，對于KTH 數據集中的6個動作，應用人體中心投影能夠對除拳擊動作外的五個動作進行更為精確的識別，特別是對行走、慢跑、奔跑三個動作的改進效果更為明顯。這是由于在圖像坐標系中，行走、慢跑、奔跑動作中大范圍的人體整體位移覆蓋了動作間的有效區分特征，在將其消除后識別率得到大幅提高。最終在KTH數據集上算法識別率達到91.67%，應用人體中心投影法使得整體識別率提升了14.57%。

圖8 應用人體中心投影法前后識別率對比Fig.8 Comparison of recognition rate before and after applying human central projection

拳擊動作是唯一在應用人體中心投影法后識別率下降的動作類別，誤識別為慢跑或奔跑。其原因是：在消除了較大范圍的整體位移后提取出奔跑和慢跑動作的特征與拳擊動作發生混淆。通過觀察動作識別結果，發生誤檢的拳擊動作中受試者出拳幅度往往較小且方向水平，與奔跑和慢跑動作的上肢環節運動軌跡相似，從而引起誤檢。針對此類個別動作類別間的混淆問題，后續可通過增加局部運動特征權重予以解決。

Weizmann數據集 將數據集劃分為包含6名受試者的訓練集和包含3 名受試者的測試集，用本文方法進行數據處理、訓練和測試，實驗結果如表5和圖9所示。除奔跑和原地跳躍兩個動作外，對其余8 個動作的識別率均為100%，在Weizmann數據集上平均識別率為90%。

表5 Weizmann數據集識別率 單位：%Tab.5 Recognition rate on Weizmann dataset unit：%

圖9 應用人體中心投影法前后識別率對比Fig.9 Comparison of recognition rate before and after applying human central projection

圖9 中呈現的四類動作在應用人體中心投影法前識別率較低，通過消除運動中的整體位移使得各自的識別率得到了較大程度改善，其中跳躍移動和側向跨步移動的識別率達到了100%。對該數據集總體識別率提升了16.67%。

在KTH 數據集和Weizmann 數據集上的實驗結果表明，本方法對于同類型的數據集具有較好的泛化能力，能夠應用于類似的動作識別任務。另外，應用人體中心投影法能夠消除健身動作中的人體整體位移從而提升識別率。盡管改進投影策略使得對KTH 數據集中拳擊動作識別率降低，但從整體上較大幅度地提高了算法對各類動作的識別率。另外，消除人體整體位移使得算法能夠提取各關節間的相對運動特征完成動作識別，這對于進一步提取人體局部運動特征和進行動作質量評價是非常重要的。

本文方法與其他方法實驗比較 為了驗證本文方法在公開數據集上的識別能力，與其他同類型方法進行了比較。表6 列出四種動作識別方法在兩個公開數據集上的識別結果，均為基于特征提取的動作識別方法。四類方法分別利用局部時空特征［26］、時空興趣點［27］、隨機時間規劃［28］和方向梯度直方圖［29］描述動作特征，并結合分類算法完成動作識別。如表6 所示，本文方法在兩個公開動作識別數據集上的識別精度均高于同類型其他方法。

表6 本文方法與其他方法識別率對比Tab.6 Comparison of recognition rate of the proposed method with other methods

4 結語

針對健身動作識別場景，本文結合人體中心投影法和運動骨架編碼提出了一種高效的動作識別方法，能夠有效且快速識別健身動作。首先，基于精簡人體骨架模型提取人體運動骨架信息；然后，通過人體中心投影提取運動特征區域，消除健身動作中人體整體位移的干擾；最后，進行骨架信息編碼和動作識別。在自建健身數據集和公開數據集上均獲得了較好的識別效果，并證明本方法在由固定相機位拍攝的動作數據上有較好的可遷移性，所提出的人體中心投影法能夠消除運動過程中人體無關位移的影響從而改善動作識別效果。在今后的研究中，將考慮關節點之間的相對關系以及人體局部運動特征，進一步提高動作識別率并為動作評估創造條件。未來的工作將在本文的研究基礎上對健身動作進行相應的評級和評分，完善智能健身指導系統。