基于距離感知自上而下的多人三維姿態估計

林浩翔 李萬益 鄔依林 黃用有 林慕飛

摘要：人體姿態估計是計算機視覺領域的一個熱門研究方向。人體姿態估計的技術發展已有一段時間，相關的方法已經提出比較多，這些方法基本都局限于單人的三維姿態處理。在大多場景下，三維運動形態呈現多人交互的情況，所以多人姿態估計的問題需要處理。隨著深度學習的理論發展，該文提出基于距離感知自上而下深度學習，處理多人三維姿態估計的問題。

關鍵詞：計算機視覺;多人三維姿態估計;深度學習

中圖分類號：TP391.41? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）11-0077-02

1 引言

基于深度學習的三維單人姿態估計研究已經取得了一定的成果[1-5]。單人姿態估計方法適用的模型也比較多，其估計效果已經比較理想。單人估計的模型可以將角色模型融合到真實世界的視頻和場景[6]，可實現和場景的人物交互。但是在大多場景中，多人姿態交互的情況出現也有很多，比如集體舞蹈教學、多人體育競技展示、多人動作交互三維重構等[7-9]，多人三維姿態估計是常見并且需要處理的問題。該問題能否有效解決關系到三維姿態估計的核心技術能否有所突破。

在多人三維姿態估計中，人體肢體的相互遮擋、三維與二維圖像的映射歧義以及模型建立與訓練的問題比之前單人三維姿態估計要嚴重很多[10]。因此，為了較好實現多人三維運動形態估計，本文提出基于距離感知自上而下深度學習處理。該方法結合圖像深度值計算，關鍵點檢測進行估計，提出的方法不僅繼承了傳統單人三維姿態估計方法的優點，還具有多人檢測并實時估計的特點，具有良好的穩定性。所提方法估計出的三維模型為常用的骨架模型[11]，該模型可以轉換成更高級的體型模型[12]，對該高級模型的身高、體重、皮膚、肢體粗細等細節計算具有良好的促進作用。

本文提出的方法，首先檢測二維圖像的中心根節點，然后自上而下尋找其他肢體的節點，如腕部、腳踝位置的節點等，將這些關節點進行連接，組成一個人體二維骨架模型，接著計算中心根節點的深度值，確定相應三維模型的空間位置，最后通過神經網絡估計出三維姿態。多人估計的實現依靠對二維圖像人體個數的檢測，還有對單幅圖像多人肢體中心根節點和其他肢體關鍵點進行檢測，以及神經網絡在三維空間中估計的相應位置。本文進一步討論所提方法并進行實驗測試，測試分為單人三維姿態測試，體型模型轉換測試以及多人三維姿態估計測試，測試結果顯示所提算法具有較強的有效性、穩定性和準確性。

2 基于距離感知自上而下深度學習

深度學習是最近幾年提出的熱點理論，其可以處理語音、圖像，以及語言數據等，對大量的數據可以成功地構建復雜的映射關系，并且能成功地進行訓練和預測。本文提出的方法以深度學習理論為基礎，可以處理大量的人體姿態數據樣本。由于多人動作交互的圖像需要標注人體的肢體關鍵點，對關鍵點的三維空間位置進行預測，所以本文所提方法要計算圖像的相關信息深度值，以此確定其關鍵點具體的三維空間位置。本文提出的方法基于文獻[8]，其方法框架如圖1所示。

所提出方法是通過計算各個單人三維骨架模型的主要根節點位置以及其他關鍵節點（無空間位置信息） 的關鍵點整合到一個空間來實現。檢測網絡用于檢測二維圖像中的人體姿態在圖像中的位置，以便能進行圖片切割，得到相應的人體姿態二維圖像，縮小二維圖像的處理范圍，如圖2所示。得到人體姿態二維圖像后，通過根節點網絡預測二維圖像中人體的根節點的位置，并對其深度值進行計算，如圖3所示。然后通過二維圖像的根節點計算其深度值，確定其在三維空間的位置，其具體方法如圖4所示。用姿態預測網絡預測非根節點的其他關鍵點（肢體關鍵點） ，得出絕對三維姿態和根節點的三維空間信息進行結合，輸出三維空間中的單個三維姿態骨架模型。

3 實驗與評價

本文提出的基于距離感知自上而下深度學習方法，不僅可以處理單人三維姿態估計，還可以處理多人三維姿態估計。下面對所提出方法進行實驗測試。首先，進行單人的三維姿態估計進行測試，測試數據選用Human3.6M數據[6]進行測試，動作姿態選“吃東西”姿態片段，選取任意一幀進行展示，如圖5所示。從圖5中，發現所提方法估計的三維姿態與真實值很接近，該現象表明所提的方法估計單人三維姿態的準確度比較理想，不會出現左右相反的情況。

接下來，用所提出的方法對所估計的三維動作姿態進行體型模型轉換測試，測試結果如圖6所示。首先用所提方法進行二維動作姿態估計，得到二維圖像的動作姿態，然后通過根節點預測網絡、姿態預測網絡以及深度值計算，得到骨架模型的根節點和其他肢體關鍵點組成相應的骨架三維模型，再通過體型計算得到相應的體型模型。從圖6中發現，所得到的體型模型和相應的圖像很匹配，說明所提出的方法估計的骨架模型對體型模型的計算有良好的輔助作用。

最后，在Human3.6M數據庫[6]及其他數據庫中選用不同的視頻片段進行單人和多人的三維姿態估計測試，如圖7所示。從實驗測試可知，所提方法的性能較穩定，估計出的三維人體骨架模型投影到原圖像后，與二維圖像的人體肢體很匹配，并且估計的視覺效果比較理想，動作姿態展示準確。在多人姿態相互遮擋的情況下，所提的方法也能克服，得到比較理想的結果。圖7的結果再次證明所提算法的有效性、穩定性和準確性。

4 結束語

基于距離感知自上而下深度學習的訓練需要通過大量數據樣本的收集來實現，這樣才能構成較完美的根節點預測網絡和姿態預測網絡，最終實現較理想的實驗效果。再者，經過實驗測試，所提方法估計的骨架模型對體型模型的轉換也起著較好的基礎作用。隨著社會的現代化發展，人體三維姿態估計作為計算機視覺領域的研究分支，其技術日益顯得重要。該技術對集體舞蹈教學、多人體育競技三維展示、多人動作交互三維重構等有良好的促進作用。

參考文獻：

[1] Zhou XW，ZhuML，PavlakosG，etal.MonoCap：monocularhuman motion capture using a CNN coupled with a geometric prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2019，41（4）：901-914.

[2] Hassanpour M，MalekH.Learning document image features with SqueezeNet convolutional neural network[J].International Journal of Engineering，2020，33（7）：1201-1207.

[3] HosnyKM，KassemMA，Fouad M M.Classification of skin lesions into seven classes using transfer learning with AlexNet[J].Journal of Digital Imaging，2020，33（5）：1325-1334.

[4] McNeely-WhiteD，Beveridge J R，DraperBA.Inception and ResNet features are （almost） equivalent[J].Cognitive Systems Research，2020，59：312-318.

[5] Wang JB，TanSJ，ZhenXT，etal.Deep 3D human pose estimation：a review[J].Computer Vision and Image Understanding，2021，210：103225.

[6] IonescuC，PapavaD，OlaruV，etal.Human3.6M：large scale datasets and predictive methods for 3D human sensing in natural environments[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（7）：1325-1339.

[7] KamelA，LiuBW，LiP，etal.Aninvestigation of 3D human pose estimation for learning Tai chi：ahumanfactor perspective[J].International Journal of Human-Computer Interaction，2019，35（4/5）：427-439.

[8] Moon G，ChangJY，LeeKM.Camera distance-aware top-down approach for 3D multi-person pose estimation from a single RGB image[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.October 27 - November 2，2019，Seoul，Korea （South）.IEEE，2019：10132-10141.

[9] Jianan Zhen， Qi Fang， Jiaming Sun， Wentao Liu， Wei Jiang， HujunBao， Xiaowei Zhou. SMAP： Single-Shot Multi-person Absolute 3D Pose Estimation[C]//Proceedings of the ECCV 2020， Glasgow， United kingdom， Springer Science and Business Media Deutschland GmbH，2020：550-566.

[10] BenzineA，LuvisonB，PhamQC，etal.Single-shot 3D multi-person pose estimation in complex images[J].Pattern Recognition，2021，112：107534.

[11] Li WY，ZengYQ，ZhangQ，etal.Humanmotion capture based on incremental dimension reduction and projection position optimization[J].Wireless Communications and Mobile Computing，2021，2021：5589100.

[12] BogoF，KanazawaA，LassnerC，etal.Keep it SMPL：automatic estimation of 3D human pose and shape from a single image[C]//Proceedings of the 21st ACM Conference on Computer and Communications Security， CCS 2014， Scottsdale， AZ， United states， Springer Verlag：2016： 561-578.

收稿日期：2021-12-20

基金項目：本課題由國家級大學生創新創業訓練計劃項目（No. 202114278009X），廣州市基礎與應用基礎研究項目（No. 202002030232），廣東省普通高校青年創新人才項目（No. 2019KQNCX095），廣東省高等學校教學質量與教學改革工程項目（廣東第二師范學院計算機實驗教學示范中心， 2019年， No. 18），廣東第二師范學院網絡工程重點學科（No. ZD2017004） 資助

作者簡介：林浩翔，男，本科生，研究方向為圖像處理，深度學習;通信作者：李萬益，男，博士，講師，研究方向為圖像理解、機器學習、深度學習。