人體運動形態估計技術發展綜述

林浩翔 黃靖敏 李萬益 鄔依林 黃用有

摘要：人體運動形態估計技術是目前國內外研究的熱點方向，該技術主要用于體育、音樂、舞蹈等運動形體化教學;制作角色動畫、3D人物的立體電影;人體運動形態識別、檢測及跟蹤監控;醫學保健和無人駕駛;AR體育賽事運動追蹤以及輔助評分系統等很多領域。文章以人體運動形態估計為主題，對該技術的應用和發展做一個綜述，供相關方向讀者了解。

關鍵詞：人體運動形態;三維可視化;技術應用和發展

中圖分類號：TP18? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）16-0003-05

1 前言

人體運動形態估計也稱人體運動形態三維可視化，是目前國內外研究的熱點方向。其可以把二維圖像的人體運動形態進行三維化展示，該技術主要用于體育、音樂舞蹈等運動三維形體化教學[1- 2];制作角色動畫、3D人物的立體電影[3-5];醫療保健、無人駕駛、AR、智能評審輔助系統;人體運動形態識別，檢測，跟蹤監控[6- 7]等很多領域。該技術發展已經有一段時間，國內外許多學者都在研究，并且所研究的成果都能在各個領域成功運用，發揮了關鍵作用。下面本文就運動形體化教學、角色動畫制作、無人駕駛、智能評審輔助系統、人體運動跟蹤、運動形態識別與檢測監控幾個方面技術發展和缺陷進行綜述。

2 三維形體化教學

形體運動教學[1-2]是大多數教學機構開設的必備課程，其涉及體育、音樂舞蹈的學習，可以為參與教學的人提供一套立體的姿態進行參考學習、矯正動作。其可以在各個角度去查看正確的姿態動作，并可以通過所錄視頻還原自己三維運動形態進行對比，是形體運動教學良好的教學材料。國內外目前形體運動三維可視化這類教學材料比較少，需要更穩定技術進行制作和開發，該技術應用如圖1所示。

形體運動的三維可視化的案例如圖1所示，其均為單視角人體運動形態的三維估計。該三維可視化效果比較真實，其姿態表示清晰，可以供使用者參考標準姿態，并且對照自己的訓練姿態進行矯正，在形體化教學上有巨大的促進作用。教學3D可視化結合深度學習會取得比較理想的教學效果。

運動形態視頻三維可視化過程中的2D關鍵點檢測，對于高速運動圖像和模糊圖像要適當地處理，保證2D關鍵點檢測的位置準確，以此確保估計出的3D人體運動立體模型的準確。目前，一些姿態檢測技術還要進行不斷完善，才能還原出更準確三維運動形態。

3 角色動畫制作

制作角色動畫及3D人的立體電影通常用于媒體發布、游戲開發。這類技術應用很廣[3-5]，比如騰訊視頻中的3D國漫，在國漫中人物打斗、人物一些運動姿態展、動物角色場景合成現等都可以運用本項目的技術;還有一些大型游戲中游戲角色的模型設計，角色的動作設計及相關配套的連貫性姿態表示也可以用本項目的技術，如圖2所示。目前，國內外相關基礎研究還在進行中，技術還存在很多地方需要提升，比如多人姿態估計、角色間的姿態交互設計，以及姿態和語音匹配的設計等問題仍需進一步解決。

圖2為形體運動可視化的3D角色模型生成的一些應用。圖2（a）顯示單視角圖像進行輪廓提取預處理，然后場景分割，再生成場景深度圖，利用深度學習的神經網絡模型預測出3D角色模型，該模型可以在此基礎上進行細節修改。圖2（b）顯示了3D角色模型可以用于場景融合，融入生活的場景中，該應用用于電影制作和游戲過場動畫制作也比較常見，較難拍攝的動作姿態和場景都可以通過3D角色模型與視頻場景進行融合。圖2（c）展示了所計算3D角色模型與相應視角的匹配程度，如果模型在相應視角的投影能和該視角的人物基本重合，就說明該模型大小與真實人物大小基本匹配，同時也說明了形體運動的三維可視化的真實性可以達到比較高的精確水平。

視頻或圖像三維可視化時，如何實現多或單角色模型互動的三維人體運動估計，并且所生成人體運動立體模型（骨架）換算成3D角色模型細節的計算和生成方法需要得出，其中有身高、體重、皮膚、肢體粗細等細節計算和生成。3D角色模型如何自然地融入真實世界的視頻和場景，并且實現和場景的物品或環境進行交互，比如打電話、丟垃圾等。該技術涉及的圖像預處理技術比較多，非常依賴于圖像預處理技術的好壞。

4 運動形態識別、檢測與監控

形體運動的三維可視化可以很好地實現人體運動形態識別、檢測及跟蹤監控[6-7]，可以對人的一些設定的高危動作進行識別，并進行實時監控。比如乘坐地鐵或其他交通工具，站立乘客需要扶好車內扶手欄桿，若乘客疏忽時，可以語音提示乘客，此時姿態識別的應用就派上用場，形體運動可視化就可以計算站立乘客的3D姿態，判斷是否拉好扶好的姿態。部分檢測樣例如圖3所示。目前這個方向的研究，國內外也還是在進行，也是一個熱點方向，技術拓展也需要大幅度提升。同時也存在一些問題，比如，多人物的動作識別和分類如何進行建模。其可通過形體運動的三維可視化形成多個人體運動立體模型，并對多個立體模型的肢體位置進行建模計算，做約束模型并實現最后分類，把分類結果輸出到原二維視頻。此外，姿態的多分類問題，姿態相互遮擋識別問題等都需要進一步去解決。

從圖3可以看出，運動形態識別在運動形態三維可視化的基礎上進行判斷，在還原出三維運動形態的同時，進行較完善的數學建模，根據數學模型判斷姿態的類型。

5 無人駕駛

無人駕駛同樣可以運用到3D人體姿態估計技術[8]，倘若車內有人，可以根據人體的姿態判斷合理的車速和更加平緩的路線。如圖4 （a）所示，人在看書，前方有車輛，無人自動駕駛系統會自動降速并選擇安全路線，就可以在行駛時減少意外發生的可能。

隨著社會的發展進步，智能汽車、無人駕駛技術逐漸成為近幾年汽車行業研究和發展的重點，而行人檢測作為智能汽車外部環境感知中的核心技術之一，也一直是研究的熱點。人體三維姿態估計技術的實時性和高精確度性可有效提升無人駕駛汽車智能化水平。如圖4（b）所示能實時檢測到行人3D姿態，并對人體姿態信息進行快速判斷識別（如行人打車、揮手等典型動作、交警指揮動作等），則能有效提升無人駕駛汽車的智能化水平。運用面向無人駕駛的交通行人三維姿態檢測和估計方法，可實現分層式優化，實時計算求解行人的3D姿態，可以達到實時準確檢測行人的要求。

6 訓練機器人

人體姿態估計技術亦可運用到機器人的訓練中，既可以給機器人提供大量的數據參考，也可以按照比例將動作還原，讓機器人的自我學習速度大幅增加，也可根據數據去糾正錯誤。在醫療保健領域，可以通過機器人實施康復訓練。運用傷患以往的姿態估計數據，更快地配合機器人實施康復訓練，讓傷患的恢復效果更好。

康復機器人目前是一個新興的研究領域，隨著社會老齡化和肢體殘疾患者康復意識的崛起，康復機器人產業越來越受到重視。通過康復機器人，患者可以進行重復運動，重新學會控制運動系統。此外，機器人可以幫助物理治療師進行工作輔助，設定康復目標，將物理治療師從繁重的工作中解脫。

如圖5（a）所示，上肢康復機器人[9]和老年人互動樣例，上肢運動功能障礙是腦卒中、創傷性腦損傷、脊髓損傷、多發性硬化癥的常見后遺癥，嚴重影響患者的日常生活能力。研究人員希望這種機器人系統能夠優化患者大腦運動功能神經的重塑，恢復大腦對上肢運動的有效控制，從而提高患者的日常生活能力。

下肢康復機器人的研發，一直是國際康復醫學的難點、熱點和痛點。主要適應于有腦卒中病人、脊髓損傷病人、高齡老人等引起下肢功能站立無力、肌肉萎縮、關節僵硬等癥狀。可以幫助病人重新站立、恢復行走的功能，很多國家都在探索這個領域。

康復機器人還配有顯示器，病人在使用機器人進行鍛煉恢復時，顯示器上會顯示騎馬、跑步、走路等游戲，通過游戲建立的虛擬場景，能幫助病人激活腦部重塑，幫助他們更好地康復。圖5（b）所示為下肢康復機器人訓練樣例。

隨著人類衰老，人形機器人將會在中風和癡呆等老年病的治療中越來越普遍地應用。而人形機器人中社交輔助機器人的使用案例較多。不久的將來，社交輔助機器人能夠幫助嚴重功能障礙患者提高生存率，對患者進行更細致地照顧。機器人將成為病人康復中的伴侶，鼓勵患者完成康復訓練，并詳細記錄康復數據。

7 體育競賽評審輔助系統

人體運動形態三維可視化可用于體育競賽評審輔助系統[10]，如圖5（a）所示上肢康復機器人，該評分系統可通過向選手的身體及其周邊投射紅外線，完成動作追蹤，AI技術根據動作的三維立體圖像進行分析，結合歷史表演數據，按照打分標準判斷該技術的完成度。裁判在此類技術的協助下，可以提供更加準確的分數。不僅如此，AI評分系統還可捕捉運動員的瞬間動作和身體扭轉角度（三維立體圖像舉例），并清晰展現給觀眾，讓觀眾通過畫面了解更多的比賽細節，提高比賽的娛樂性。在系統功能實現的過程中，可以依靠深度特征和骨骼關節數據實現特征數據提取，然后利用傅里葉算法完成特征融合和動作分類識別。從系統功能測試結果來看，能夠用于準確識別各組難度動作，滿足競賽評審輔助需求。

體操競技的動作華麗炫目、動態感十足，且技術難度大，對于裁判而言，評分也愈發困難，歷屆奧運會上質疑裁判員評分不公的情況多有發生。為了讓賽事評分更加公正，此次東京奧運會在體操項目上引進了由日本富士通公司開發的AI評分輔助系統，在本屆東京奧運會運動員的最終得分，就是結合AI和裁判的判斷，再經裁判綜合判斷后，最終打出的分數。總而言之用AI技術協助評判，可以大大降低判罰不公之類的情況。一些關于AI評分系統的應用如圖6所示。

綜上所述，開發的體育競賽評審輔助系統能夠幫助人員從繁重的評審處理工作中解脫出來，在節省賽事管理人力、物力的同時，保證比賽結果公平、公正。實際在系統開發與實現過程中，需要加強計算機智能算法應用，通過與標準動作比較，完成運動員3D動作識別，輔助人員合規開展評審工作，繼而使競賽評審技術水平得到有效提升。

8 運動員追蹤功能

人體運動三維可視化技術被應用在英特爾開發的3DAT（3D Athlete Tracking，3D運動員追蹤）技術，該技術可通過攝像機捕捉和AI智能算法把計算機視覺和AI技術結合在了一起，再結合阿里巴巴的云計算技術，構建3D網格并捕捉運動員的多個關鍵骨骼點，并在幾秒鐘內提供運動員速度、身體角度、加速度、步長等方面的數據，實現對運動員3D形態的數據提取，這是過去運動員和教練員用肉眼無法捕捉到的信息。

因此在平時訓練中，3D運動員跟蹤技術可以作為運動員的“隱形教練”，借助3DAT技術，記錄運動員的歷史數據還能夠實現對訓練趨勢的追溯，在精準分析運動姿態、聚合運動數據的基礎上，教練員可以整理并提出科學訓練計劃和專家策略，有效提升訓練效率，可以極大地幫助運動員通過更科學的手段實現運動表現的突破。

在2021東京奧運會的田徑賽場上首次出現的“3D運動員跟蹤技術”，成為賽事轉播的新亮點。例如在田徑短跑項目中，通過3DAT技術觀眾可以看到每個運動員的實時奔跑速度，并在即時回放中對比賽亮點進行分析、解讀和復核，能為奧運會觀眾帶來全新的體驗。該技術的一些應用如圖7所示。

9 結束語

人體運動形態估計技術是一項比較前沿的技術，計算機視覺熱點的研究技術，也是人工智能發展的關鍵技術之一。人體運動形態估計技術涉及的應用遠遠不止本文提及的幾個方面，其還涉及遙控遙感技術、AR人機交互和罪犯追蹤等研究領域，是一項應該廣泛的核心技術。人體運動形態估計的研究目前仍然在繼續中，只要不斷完善該項技術，就能使得計算機視覺乃至人工智能領域有本質上的突破。該項技術的研究還依賴于計算機硬盤的配置，必須配置高端性能的計算機才能很好地完成計算任務。總體來說，該技術是一項值得重點發展的技術。

參考文獻：

[1] Zhen J N，Fang Q，Sun J M，et al.SMAP： Single-Shot Multi-person Absolute 3D Pose Estimation[C].Proceedings of the ECCV 2020， Glasgow， United kingdom， Springer Science and Business Media Deutschland GmbH，2020：550-566.

[2] Benzine A，Luvison B，Pham Q C，et al.Single-shot 3D multi-person pose estimation in complex images[J].Pattern Recognition，2021，112：107534.

[3] Ionescu C，Papava D，Olaru V，et al.Human3.6M：large scale datasets and predictive methods for 3D human sensing in natural environments[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（7）：1325-1339.

[4] Pe?a-Tapia E，Hachiuma R，Pasquali A，et al.LCR-SMPL：toward real-time human detection and 3D reconstruction from a single RGB image[C]// Recife，Brazil：2020 IEEE International Symposium on Mixed and Augmented Reality Adjunct. IEEE，2020：211-212.

[5] Bogo F， Kanazawa A， Christoph Lassner， Gehler P， et al. Black. Keep it SMPL： Automatic estimation of 3D human pose and shape from a single image[C]. Scottsdale，AZ，United States：Proceedings of the 21st ACM Conference on Computer and Communications Security， CCS 2014.Springer Verlag， 2016： 561-578.

[6] Bagautdinov T，Alahi A，Fleuret F，et al.Social scene understanding：end-to-end multi-person action localization and collective activity recognition[C]// Honolulu，HI，USA：2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE，2017：3425-3434.

[7] Zhu K J，Wang R X，Cheng J，et al.A novel skeleton-based action recognition method via cuboid rearranging[C]// Wuyishan，China：2018 IEEE International Conference on Information and Automation.IEEE，2018：286-292.

[8] 徐彬，鄭燕萍，曹高興.面向無人駕駛的行人三維姿態估計方法[J].科學技術與工程，2018，18（34）：85-91.

[9] 吳炳堅.基于互聯網的上肢康復機器人[J].機械制造，2021，59（7）：6-10.

[10] 尹霞.基于計算機智能算法下的體育競賽評審輔助系統開發與實現研究[J].現代科學儀器，2020（1）：50-53.

【通聯編輯：唐一東】