基于多監督的三維人體姿勢與形狀預測

張淑芳，賴雙意，劉嫣然

基于多監督的三維人體姿勢與形狀預測

張淑芳，賴雙意，劉嫣然

(天津大學電氣自動化與信息工程學院，天津 300072)

三維人體重建技術指通過圖像或視頻建立有相應姿勢和體型的三維人體模型，其在虛擬現實(VR)、網游、虛擬試衣等方面有著十分廣泛的應用前景．其中，參數化的三維人體模型由于參數數量的局限，重建精度較低，缺少細節特征．為了提升參數化三維人體模型的重建精度，增加其臉部與手部細節，提出一種基于多監督的三維人體模型重建方法．該方法結合傳統的回歸方法和優化方法，利用卷積神經網絡回歸出參數化人體模型的參數，得到一個較為粗糙的人體模型，將該模型作為初始模板進行擬合和迭代優化，將帶有臉部和手部的全身密集關節點信息和輪廓信息作為回歸網絡的2D監督，同時使用迭代優化后的人體模型作為回歸網絡的3D監督，最終可由一幅圖像獲得一個多細節、高精度的參數化三維人體模型．定性分析結果表明，該方法為人體擬合過程提供正確的擬合方向，可有效減少非自然姿勢的出現，提高三維人體模型重建的準確度．全身密集關節點監督可為模型增加更多手部與臉部的細節，而輪廓監督可減少重建的人體模型與圖像中人體的像素級偏差．定量分析表明，該方法在數據集Human3.6M上的平均逐關節位置誤差(MPJPE)為59.9mm，較經典方法SPIN減少了4.16%，對關節點進行剛性對齊后模型的平均逐關節位置誤差(MPJPE-PA)低至38.2mm，較SPIN減少了7.06%．

三維人體模型重建；多監督；回歸方法；優化方法

隨著計算機視覺技術和計算機硬件性能的不斷提高，基于圖像的人體三維模型重建技術得到了前所未有的進展，通過迭代擬合優化或者回歸方法可重建出參數化的三維人體模型(如蒙皮多人線性模型[1](skinned multi-person linear model，SMPL)和SCAPE[2]模型)，從而達到估計整個人體形狀和姿勢的目的．其中，基于優化的方法使用給定的SMPL[1]模型作為初始化模板，通過不斷擬合輸入圖像中人的關節點、輪廓、部分分割等2D特征，最終得到較好的擬合結果．Bogo等[3]提出SMPLify方法，使用統一的SMPL模型迭代擬合圖像中人體的2D關節點，數次迭代后獲得重建的三維人體模型；Pavlakos等[4]對SMPLify方法進行改進，提出了SMPLify-X方法，將2D關節點擴展到帶有面部、手部等的全身關節點上，豐富了模型的表達能力．此類方法都以平均姿勢模型作為模板，整個擬合過程十分緩慢；而且由于對模板的依賴性較強，對于復雜的人體姿勢預估精度較差，會出現不自然的姿勢與形狀，即實際人體無法做到的姿勢，無法很好地適用于復雜姿勢下的人體三維重建．Song等[5]利用神經網絡來預測每次迭代擬合參數的更新規則，增快了迭代速率，有效改善了擬合方法的精確度和收斂性，但其打破了端到端的學習框架，增加了局部最優化的風險．

基于回歸的方法使用2D特征信息作為回歸網絡的弱監督，如輪廓、關節點[6]、分割信息[7]等，以回歸人體模型的重投影與2D信息之間的誤差作為整個網絡的損失．Kanazawa 等[8]提出人體網格重建(human mesh recovery，HMR)網絡，將一張圖片輸入神經網絡直接回歸三維人體模型的參數，該方法雖然減少了時間的消耗，傾向于生成合理的人體形狀和姿勢，但最終得到的模型和原始圖片往往不能較好地對齊．Omran等[9]提出NBF(neural body fitting)網絡，該網絡分為兩個階段：先使用卷積神經網絡預測人體分割圖，以去除原始RGB圖片中光照、外觀、服裝等信息對于預測SMPL參數的影響；再將分割圖輸入卷積神經網絡回歸SMPL模型參數．該方法過于依賴分割圖預測的準確度，且受網絡自身局限性，在準確度方面達不到現有需求．Zhang等[10]提出了一個金字塔網格對齊反饋(PyMAF)循環策略，給定當前預測的參數，利用特征金字塔，并根據回歸網絡中的網格圖像對齊狀態顯式校正預測參數，改善了2D圖像平面上人體模型網格和圖像的對齊度．

盡管上述方法對于三維人體模型重建有一定的效果，但受人體數據集缺乏3D標注的影響，這些方法的重建精度有待提高．SPIN(SMPL optimization in the loop)[11]將回歸方法和擬合優化方法進行融合，其核心思想是將回歸網絡預測的結果作為優化方法的初始值，從而加快了迭代優化的速度和準確性；迭代優化的結果作為網絡的一個強先驗，兩種方法相互輔助形成一個自我改善的循環，使整個算法具有自我提升的能力．SPIN改善了擬合方法速度慢和回歸方法精度低的不足，也在一定程度上緩解了人體3D數據集缺乏的問題，但仍然存在模型和圖像之間不能較好地對齊，以及缺乏手部和臉部細節的問題．

因此，本文延續回歸方法和擬合優化方法相結合的框架，提出一種新的參數化人體模型重建方法，即多監督的人體網格預測(multi-supervision human mesh prediction，MSHMP)模型．該方法基于SMPL-X人體模型，使用2D密集關節點和輪廓作為整個網絡的弱監督，既減小了人體模型和標準模型之間的偏差，又增加了手部和臉部的細節信息，提高了三維人體模型的精度；同時本文還將通過回歸網絡得到的密集關節點人體模型作為擬合過程的初始化模板，經過迭代擬合獲得擬合模型，使用擬合模型與回歸網絡得到的模型之間的3D頂點誤差作為網絡的強監督，彌補了數據集缺少3D標注的問題．經過對MSHMP網絡進行訓練，最終可由一幅圖像獲得多細節、高精度的參數化三維人體模型．該三維人體模型可廣泛應用于虛擬試衣、動畫建模、醫學教學等領域．

1 基于多監督的三維人體模型重建

現有的三維人體模型重建精度較低，缺乏臉部和手部細節，為此本文提出了一種基于多監督的重建方法．方法網絡框架如圖1所示，分為回歸模塊和擬合模塊，回歸模塊通過卷積神經網絡回歸出初始的粗糙人體模型，然后送入擬合模塊進行迭代優化，從而生成多細節、高精度的人體模型．

圖1 MSHMP網絡結構

1.1 人體三維表示

1.2 回歸模塊

MSHMP方法在回歸模塊中使用輪廓信息和帶有手部和臉部的關節點信息作為回歸網絡的2D監督，改善了回歸模型與圖像中人體的像素級偏差，使得參數表征出的人體模型更加貼合圖像中的人體，具有更清晰的細節．

圖2 MSHMP的回歸模塊

1.3 擬合模塊

式中表示肘部和膝蓋．

本文擬合模塊帶有性別分類器，男性和女性在身材方面具有不同的比例和形狀，如果僅使用中性模型對圖片進行擬合，將無法滿足現實需求，本文方法在擬合過程中能自動識別性別，并按照性別特征的不同，使用不同性別的人體模型進行迭代擬合，使得最終優化出來的模型更具有真實性．與SMPLify-X方法不同的是，本文使用回歸模塊獲得的人體模型作為擬合模塊的輸入，這樣大大減少了迭代的次數，加快了迭代優化過程的速度，而且緩解了因姿勢復雜等情況造成的模型難以收斂的問題．

經過一定程度的回歸和優化之后，將獲得與圖像中人體姿勢和形狀更加貼合、面部和手部細節更加清晰的三維人體模型．本文只保留最好的三維擬合模型，具體方法是：每獲得一個新擬合的三維人體模型，都比較新模型和原本保留的三維人體模型的關節2D重投影損失判斷是否對唯一保留的模型進行更新，從而消除偶爾的錯誤擬合對回歸過程的影響，在一次回歸過程中將此優化迭代60次的結果作為反饋.

2 實驗結果與分析

2.1 數據集及量化指標

本文使用Human3.6M[15]、MPI-INF-3DHP[16]和LSP[17]數據集進行訓練，使用Human3.6M、COCO[18]數據集進行測試．這些數據集涵蓋了人在受限的室內場景和復雜的室外場景中運動、生活、娛樂等的不同姿態，數據量十分龐大，共有超過300多萬張人體姿勢圖像，且部分數據具有姿勢注釋和關節點標注．

本文使用平均逐關節位置誤差(mean per joint position error，MPJPE)和通過剛性對齊后的平均逐關節位置誤差(MPJPE-PA)兩個量化指標來對不同方法的重建性能進行定量分析．其中MPJPE指標表示預測的三維人體模型與真值三維人體模型對應關節點之間的均一化歐氏距離，MPJPE-PA是經過普氏分析(Procrustes analysis)法之后的MPJPE，計算了不考慮平移和旋轉情況下的模型重構誤差．兩個量化指標均用于衡量人體模型姿勢的重建精度，值越小則表示預測的三維人體模型越接近真值．

2.2 對比實驗

為了驗證本文所提方法的性能，在COCO數據集和Human3.6M數據集上將本文方法與目前較為經典的回歸方法HMR[8]、擬合方法SMPLify-X[4]和SPIN[11]進行對比實驗比較，圖像分辨率為224×224．

如圖3所示，從左至右分別為原始輸入圖像、HMR、SMPLify-X、SPIN和本文方法重建的三維人體模型，前3行和后3行分別為Human3.6M數據集和COCO數據集的重建效果．圖4分別為圖3第4行人體模型頭部和第5行人體模型手部放大后的結果．

（a）輸入圖像 （b）HMR （c）SMPLify-X （d）SPIN （e）本文方法

圖3 不同方法的三維人體模型重建效果對比

Fig.3 Comparison of the reconstruction effect of a 3D human body model among different methods

從圖3可以看出，通過HMR和SPIN方法獲得的三維人體模型與真實的包含人體的輸入圖像之間有著較大的偏差，并且忽略了細節(例如臉部表情、手部姿勢等)．本文方法重建出的三維人體模型具有偏差小、細節多的優點，這是由于本文在提取2D特征的過程中，不僅獲得了2D人體關鍵點的信息，而且獲得圖像中人體的輪廓信息，將兩者共同作為網絡的二維監督，在改善重建出來的三維人體模型與真實圖像中人體之間的偏差方面起到了至關重要的作用．SMPLify-X方法在擬合過程中由于姿勢復雜和初始模板單一等原因增加了人體模型產生畸形的風險(如圖3(c)和圖4(c))，對于復雜姿勢有較大的局限性．與此同時，不同于SPIN，本文使用 SMPLify-X應用于擬合的過程，作為整個網絡的3D監督，既緩解了3D數據缺乏的難題，又增加了重建模型在手部和臉部上的細節．如圖4所示，本文方法重建的三維人體模型在臉部五官上更加清晰，手部的關節點彎曲與更加符合圖像中手部姿勢．

（a）輸入圖像 （b）HMR （c）SMPLify-X （d）SPIN （e）本文方法

圖4 不同方法的臉部和手部重建細節對比

Fig.4 Comparison of the reconstruction details of the face and hands among different methods

本文將網絡回歸出的人體模型作為擬合過程中的初始化模型，有效縮短了擬合優化的時間．以平均模板作為擬合過程初始化模型的SMPLify-X方法的擬合時間約為260.54s，本文方法的擬合時間約為15.21s，重建速度提升超過10倍，有明顯的加速模型收斂的優勢．本文在數據集Human3.6M上進行了定量分析，如表1所示，本文方法的MPJPE-PA指標為38.2mm，較SPIN下降了7.06%，MPJPE指標為59.9mm，較SPIN下降了4.16%．

表1 不同三維人體模型重建方法的定量比較

Tab.1 Quantitative comparison among different recon-struction methods for the 3D human body model mm

2.3 消融實驗

為了驗證本文方法的可行性、有效性和對于三維人體模型重建的意義，本文設計了兩組消融實驗：在擬合優化的過程中有/沒有使用SMPLify-X方法；在2D監督中有/沒有使用輪廓信息．

首先，驗證本文所提方法在擬合過程中使用SMPLify-X方法對于重建模型的手部和臉部的影響．圖5為三維人體模型整體效果，圖6為圖5第1行臉部和手部放大后的效果．其中圖6(b)為本文方法未使用SMPLify-X方法的情況下重建的三維人體模型，其面部細節較粗糙，雙手均為五指張開狀，手指無法彎曲，無法準確地重建手部姿勢；圖6(c)為使用SMPLify-X方法的情況下重建的三維人體模型，該模型有著十分明顯的五官，手部細節上也更加貼合圖像中人體的手部姿勢，表現出更好的效果．由此可知使用SMPLify-X方法進行擬合對于局部細節的重建有十分優越的表現．

將未使用SMPLify-X的本文方法與使用SMPLify-X的本文方法在Human3.6M數據集進行定量地比較，如表2所示．定量分析可知，使用SMPLify-X方法進行擬合優化的比未使用SMPLify- X方法在MPJPE指標上降低了1.16%；在MPJPE-PA指標上降低了2.30%．數據表明將SMPLify-X方法作為擬合過程不僅提高了手部和臉部細節上視覺效果，而且對于三維人體模型的重建精度也有一定的改善．

（a）輸入圖像（b）未使用SMPLify-X （c）使用SMPLify-X

圖5 使用/未使用SMPLify-X方法的比較

Fig.5 Comparison of the results with and without SMPLify-X method

（a）輸入圖像（b）未使用SMPLify-X （c）使用SMPLify-X

圖6 使用/未使用SMPLify-X方法的臉部和手部重建細節比較

Fig.6 Comparison of the reconstruction details of the face and hands with and without SMPLify-X method

表2 使用/未使用SMPLify-X的本文方法定量比較

Tab.2 Quantitative comparison of the proposed method with and without SMPLify-X mm

其次，驗證加入輪廓信息作為監督對減小重建的模型與圖像中人體的偏差的影響，其他實驗設置均按本文方法進行設置．如圖7所示，圖7(b)未使用輪廓信息，重建的模型在人體的手部和腿部與圖像中的人體無法對齊，且未對齊區域較大(如圖中黃色方框所示)；而圖7(c)中使用輪廓信息進行監督，重建的人體模型姿勢和體型偏差得到了明顯改善(如圖中綠色方框所示)，人體模型網格與圖像的對齊度更高．

（a）輸入圖像 （b）未使用輪廓信息 （c）使用輪廓信息

圖7 加入/未加入輪廓信息的比較

Fig.7 Comparison of the results with and without sil-houette information

將未加入輪廓信息的本文方法與加入輪廓信息的本文方法在Human3.6M數據集進行定量的比較，如表3所示．加入輪廓信息后網絡的MPJPE-PA指標由39.7mm降至38.2mm，MPJPE指標也由60.8mm降至59.9mm，重建精度有所提高．

表3 加入/未加入輪廓信息的本文方法的定量比較

Tab.3 Quantitative comparison of the proposed method with and without silhouette information mm

3 結 語

本文對基于參數化模板的三維人體模型重建方法進行了研究，針對直接回歸方法存在精確度較差、擬合方法存在擬合時間長和受初始化模板影響大的不足，本文將兩種方法進行融合，將回歸的人體模型作為擬合過程的初始模板，擬合的SMPL-X模型作為回歸網絡的3D監督，并且在2D監督的關節點損失中使用密集關節點，縮短了擬合時間，提高了重建的準確度，為模型增加了手部和臉部的細節．另外，本文在回歸網絡中加入了輪廓損失，從而減少最終的模型與真實圖像中人體之間的偏差．實驗結果表明本文所提方法具有較好的可行性和有效性．

目前基于Transformer方法[19]重建效果優于卷積神經網絡，但Transformer神經網絡數據量龐大，對硬件設備要求較高，未來會考慮將Transformer神經網絡與卷積神經網絡進行結合，進一步提高三維人體模型的重建精度，而且使其更加便于應用到實際之中.

［1］ Loper M，Mahmood N，Romero J，et al. SMPL：A skinned multi-person linear model[J]. ACM Transactions on Graphics(TOG)，2015，34(6)：1-16.

［2］ Anguelov D，Srinivasan P，Koller D，et al. Scape：Shape completion and animation of people[C]//ACM SIGGRAPH 2005 Conference. Los Angeles，USA，2005：408-416.

［3］ Bogo F，Kanazawa A，Lassner C，et al. Keep it SMPL：Automatic estimation of 3D human pose and shape from a single image[C]// European Conference on Computer Vision. Amsterdam，the Netherlands，2016：561-578.

［4］ Pavlakos G，Choutas V，Ghorbani N，et al. Expressive body capture：3D hands，face，and body from a single image[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：10975-10985.

［5］ Song J，Chen X，Hilliges O. Human body model fitting by learned gradient descent[C]// European Conference on Computer Vision. Glasgow，UK，2020：744-760.

［6］ Moon G，Lee K M. I2l-meshnet：Image-to-lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image[C]// European Conference on Computer Vision. Glasgow，UK，2020：752-768.

［7］ Rueegg N，Lassner C，Black M，et al. Chained representation cycling：Learning to estimate 3D human pose and shape by cycling between representations[C]//Pro-ceedings of the AAAI Conference on Artificial Intelligence. New York，USA，2020：5561-5569.

［8］ Kanazawa A，Black M J，Jacobs D W，et al. End-to-end recovery of human shape and pose[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA，2018：7122-7131.

［9］ Omran M，Lassner C，Pons-Moll G，et al. Neural body fitting：Unifying deep learning and model based human pose and shape estimation[C]//2018 International Conference on 3D Vision(3DV). Verona，Italy，2018：484-494.

［10］ Zhang H，Tian Y，Zhou X，et al. PYMAF：3D human pose and shape regression with pyramidal mesh alignment feedback loop[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal，Canada，2021：11446-11456.

［11］ Kolotouros N，Pavlakos G，Black M J，et al. Learning to reconstruct 3D human pose and shape via model-fitting in the loop[C]//Proceedings of the IEEE/CVF Interna-tional Conference on Computer Vision. Seoul，Republic of Korea，2019：2252-2261.

［12］ Cao Z，Simon T，Wei S E，et al. Realtime multi-person 2D pose estimation using part affinity fields[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii，USA，2017：7291-7299.

［13］ Gong K，Gao Y，Liang X，et al. Graphonomy：Universal human parsing via graph transfer learning[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：7450-7459.

［14］ Zhou Y，Barnes C，Lu J，et al. On the continuity of rotation representations in neural networks[C]//Proceed-ings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：5745-5753.

［15］ Ionescu C，Papava D，Olaru V，et al. Human3.6M：Large scale datasets and predictive methods for 3D human sensing in natural environments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，36(7)：1325-1339.

［16］ Mehta D，Rhodin H，Casas D，et al. Monocular 3D human pose estimation in the wild using improved CNN supervision[C]//2017 International Conference on 3D Vision(3DV). Qingdao，China，2017：506-516.

［17］ Johnson S，Everingham M. Clustered pose and nonlin-ear appearance models for human pose estimation [C]//Proceedings of the British Machine Vision Conference. Wales，UK，2010：1-11.

［18］ Lin T Y，Maire M，Belongie S，et al. Microsoft coco：Common objects in context[C]//European Con-ference on Computer Vision. Zurich，Switzerland，2014：740-755.

［19］ Lin K，Wang L，Liu Z. Mesh graphormer[C]//Pro-ceedings of the IEEE/CVF International Conference on Computer Vision. Montreal，Canada，2021：12939-12948.

Prediction of 3D Human Pose and Shape Based on Multi-Supervision

Zhang Shufang，Lai Shuangyi，Liu Yanran

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

The three-dimensional(3D)human reconstruction technology refers to the establishment of 3D human body model with corresponding pose and shape through images or videos，which has a wide application prospects in virtual reality，online games，virtual try-on，etc. Among them，the parametric 3D human body model has low reconstruction accuracy and lacks detailed features due to the limited number of parameters. To improve the reconstruction accuracy of the parametric 3D human body model and add details to the face and hands of the model，a novel human body model reconstruction method based on multi-supervision is proposed. This method combines the traditional regression method and optimization methods and uses a convolutional neural network to regress the parameters of a coarse parametric human body model，which is used as an initial template for fitting and iterative optimization. The dense joints of the whole body with the face and hands and silhouette information are used as a 2D supervision of the regression network，and the iteratively optimized model is used as a 3D supervision of the regression network. Finally，a multi-detail and high-precision parametric 3D human-body model can be obtained from a single image. In the qualitative analyses，the proposed method provides a correct direction for the human body fitting process，which can reduce the appearance of unnatural poses and improve the accuracy of the reconstructed 3D human body model. The supervision of the whole-body dense joints can add more details to the face and hands of the human body model，while the silhouette information can reduce the pixel-level deviation of the reconstructed human body model from the human body in the image. Meanwhile，quantitative analyses show that the mean per joint position error(MPJPE)of the method on the Human3.6M dataset is 59.9mm，which is 4.16% lower than that of the classical method skinned multiperson linear(SMPL) model，and the MPJPE after the Procrustes analysis is as low as 38.2mm，which is 7.06% lower than that of SPIN.

3D human body model reconstruction；multi-supervision；regression method；optimization method

TP37

A

0493-2137(2024)02-0147-08

10.11784/tdxbz202211011

2022-11-05；

2023-02-27

張淑芳（1979— ），女，博士，副教授，shufangzhang@tju.edu.cn.

劉嫣然，yan_ran_liu@163.com.

天津市研究生科研創新資助項目.

Tianjin Research Innovation Project for Postgraduate Students.

(責任編輯：孫立華)