基于人體姿態感知的運動相似度計算系統設計與實現

葛亞坤

（北方工業大學信息學院 北京市 100144）

1 引言

隨著短視頻的興起，人們對跟隨視頻學習動作越來越感興趣。運動能夠緩解身體疲勞，使人們可以更加輕松地學習生活。但是觀看運動類視頻后盲目跟練可能傷害身體?，F有的視頻教學軟件缺少跟練效果的反饋，因此，開發一個操作簡單、交互自然、反饋完善的人體運動相似度計算系統是必要的。

2 相關工作

人體姿態感知技術可得到圖像中所有人體的骨骼數據信息。在獲取二維骨骼關鍵點時，文獻[1]提出了基于DeepPose 的人體姿態感知方法，第一次使用深度學習技術進行人體姿態感知。文獻[2]建立空間融合模型，提出了基于CNN 網絡的人體姿態感知方法。文獻[3]介紹了基于部件響應圖預測骨骼關鍵點的方法。文獻[4]提出了OpenPose 的人體姿態感知方法。在獲取三維骨骼關鍵點時，文獻[5]使用了基于序列幀的光學運動捕捉系統方法。文獻[6]提出了機械式運動捕捉系統的微調方法。文獻[7]提出了基于kinect 三維骨骼節點的動作識別方法。相似度計算技術是人體運動相似度計算系統中實現運動學習結果對比反饋的關鍵技術之一。文獻[8]提出了基于商品相似度的協同過濾推薦方法。文獻[9]提出了改進的Dynamic Time Warping （DTW）方法。文獻[10]使用差異矩陣比對運動相似度。在研究了人體姿態感知和運動相似度計算方法存在的優缺點之后，本文設計并開發了人體運動相似度計算系統。

3 基于人體姿態感知的運動相似度計算系統設計與實現

為提升用戶使用的便捷性和體驗感，達到計算并分析運動相似度的主要目的，進行課題調研與需求分析，本文設計的運動相似度計算系統使用戶可以根據模板視頻的分解動作進行學習并提交系統等待評分反饋，獲得反饋后可以及時修正該分解動作。

3.1 系統模塊劃分

本文設計的運動相似度計算系統主要分為五個主要模塊，分別是視頻加載模塊、動作學習模塊、姿態感知模塊、相似度計算模塊和人機交互模塊。

3.2 系統模塊實現

3.2.1 視頻加載模塊

視頻加載模塊的功能為將多種種類的模板視頻加載到系統中，供用戶進行有針對性、選擇性地學習。視頻加載模塊分為兩大部分，分別為模板視頻加載和用戶視頻加載。模板視頻加載文件夾包括調研后選擇的六類熱門運動訓練項目，分別為戲曲、瑜伽、太極、健身操、廣場舞、流行舞。每類中均有多種片段供用戶選擇作為模板視頻進行跟練。用戶視頻加載文件夾為動作學習模塊中用戶保存的跟練視頻，可加載進入系統總結經驗。

3.2.2 動作學習模塊

動作學習模塊供用戶觀看視頻加載模塊導入的模板視頻，并根據模板視頻的動作跟練。用戶開始學習時，可以選擇學習視頻關鍵動作，待所有動作學習完成后，再跟練完整視頻。選用紅外傳感器實時跟練拆解動作，并根據反饋結果及時矯正動作。完成拆解動作學習后，選用單目攝像頭進行跟練并保存視頻，方便姿態感知模塊提取二維骨骼關鍵點。單目攝像頭和紅外傳感器需要簡單的初始化。

圖1：人體運動相似度計算系統模塊圖

3.2.3 姿態感知模塊

姿態感知模塊分為兩大部分，分別為二維骨骼關鍵點提取和三維骨骼關鍵點提取。完成人體姿態感知后，骨骼數據以關鍵點連線形成骨架的形式繪制在視頻中人體相應位置，使用戶可以清晰明了地查看。

（1）二維骨骼關鍵點提取。為了較準確地提取二維骨骼關鍵點，本文采用優化的vgg-19 網絡獲取圖像特征，其次訓練關鍵點置信度網絡預測骨骼關鍵點的位置；同時根據親和度向量網絡輸出結果生成骨骼關鍵點對的集合；接著聚類關鍵點；獲取人體完整的二維骨骼數據，從而完成二維骨骼關鍵點提取。

（2）三維骨骼關鍵點提取。傳統提取三維骨骼關鍵點的運動捕獲技術需要寬闊的場地和繁雜的設備，不便于家庭或者個人用戶使用。因此，使用紅外傳感器提取三維骨骼關鍵點。獲取深度圖像后創建分割蒙版，訓練分類器并預測骨骼關鍵點，方便提取用戶的三維骨骼關鍵點。

3.2.4 相似度計算模塊

相似度計算模塊根據模板視頻和用戶視頻姿態感知的骨骼數據計算運動相似度。該模塊主要有三個功能，首先，進行視頻序列的人體姿態相似度的計算，計算結果換算為百分制的數值，方便用戶理解。數值越高，相似度越大。用戶可以查看視頻序列相似度得分柱狀圖，從而觀察自己肢體的動作得分。之后，查看學習視頻圖像幀的人體姿態相似度，觀察每個圖像幀的相似度，計算結果為百分制的數值。最后，查看視頻人體每部分肢體的相似度，通過選擇各肢體部位，生成整個時間序列上該肢體相似度計算結果的曲線，更細致地提供需要訓練修正的時刻信息，以便針對性地糾正動作。

3.2.5 人機交互模塊

人機交互模塊主要包括功能界面和反饋提示。為方便用戶使用功能界面實現各種功能，系統首頁展示給用戶一些操作指導的使用說明文字。功能界面中將系統設計并實現的功能通過按鈕、文字等方式引導用戶使用并實現各種功能的效果。反饋提示為用戶根據系統提示進行相應操作后，系統將提供基于該操作對應的反饋結果供用戶查看。為方便用戶使用，系統增設了音頻提示等功能。

4 實驗結果與分析

本系統硬件環境為Intel(R)Xeon(R) E5-2620 2.40GHz 的CPU、32GB 內存、NVIDIA Quadro M4000 顯卡；軟件環境為Windows10操作系統，Pycharm2018.1.2；編程語言為Python3.6。系統的圖像界面開發工具為Python 的PyQt5 工具包。

如圖2所示為系統人體姿態感知界面。其中界面的左上側區域為選擇的模板視頻，右上側區域為選擇的用戶視頻。對視頻每幀進行人體姿態感知，并計算相似度。在下側區域展示繪制于視頻中的二維骨骼關鍵點及相似度得分。

圖2：人體姿態感知界面

如圖3所示，進行計算相似度后，分別得到視頻序列與圖像幀的相似度得分可視化結果，由得分曲線追溯用戶動作得分較低幀數并進行有針對性地糾正。

圖3：運動相似度計算界面

5 總結展望

為解決視頻教學軟件反饋較少的問題，本文設計并實現了運動相似度計算系統。該系統基于本文使用的人體姿態感知、運動相似度計算的方法，實現了系統的功能。該系統主要分為五個主要模塊，分別是視頻加載模塊、動作學習模塊、姿態感知模塊、相似度計算模塊和人機交互模塊。針對每個模塊的功能與實現進行了清晰的說明，將系統中每個模塊的功能效果進行了展示。系統運行效果表明，本文設計的運動相似度計算系統運行穩定、效果良好。