基于改進分段鉸鏈變換的人體重建技術

張小蒙， 方賢勇， 汪粼波， 田利利， 孫有為

(安徽大學計算機科學與技術學院媒體計算研究所，安徽 合肥 230601)

從圖像或視頻序列中恢復人體模型的重建技術，可以應用到電影、游戲[1]和虛擬試衣等多個領域。本文通過改進基于分段鉸鏈變換的人體重建技術對著裝寬松衣服下的人體模型恢復問題進行了研究。

近些年，研究人員采用多視角、多相機[2]的方法，或采用單幅 RGB圖[3]進行估計的簡單方式獲取待建人體模型數據信息。多視角方式的不足為，多相機不能協同工作，較大的誤差可導致重建結果失敗。而單幅圖像的方法則相對部署簡單，不存在協同問題，是本文感興趣的技術。

但現有的單幅圖像方法常常因為手臂、衣服等對身體部位的遮擋以及因視角產生的自我身體遮擋而無法準確進行關節檢測，從而導致骨骼追蹤失敗和變形區域的畸變，難以恢復完整人體模型。在已有的方法中，基于分段回歸的(piecewise regression，PR)的剛性配準技術[4]雖然能夠很好地展示出鉸鏈模型的優勢，但難以處理柔性人體中的關節、模型姿勢變化和高維人體模型數據問題。因此，結合基于分段鉸鏈變換模型，通過關節連接2個剛體部分，并允許兩者之間做轉動操作，在前項分段回歸(FPR-PEM)算法驅動下，最大角度調節各肢體姿勢，并在高維數據上具有很出色的表現。在此基礎上，提出了基于單幅圖像的人體重建方法，最大程度減少了關節在轉動時產生的畸變。該方法利用人體2D關節標簽和3D人體骨架互補的優勢，實現更加準確的3D建模。

目前三維重建領域已有許多獲取自由變形的物體模型方法，如線性變分變形、變形圖、子空間變形、關節變形、4D時空表面、不可壓縮流、動畫制圖[5]、準剛性運動和方向場等等。這些技術常用于多幅圖像、視頻(多視點)或單幅圖像(單視點)等的人體3D重建。

多視點方法：多視點提供了更多的互補數據，可以顯著降低噪聲和遮擋的影響，因此可以有效地解決三維人體重建數據信息缺失問題。早期的方法[6]需要數小時的處理時間，并且對于相機的安裝擺放和校準都有較高的要求，因此不適合日常使用。新近的方法[7]具有較好的性能，但仍然需要大量的處理時間；另外，對于硬件和軟件的要求也非常高。多臺深度相機的方法也獲得了較好的實驗結果，但需要專門配備具有深度成像功能的相機。

單視點方法：GUAN等[8]根據用戶提供的RGB圖像結合SCAPE模型估計初始3D人體的姿態和形狀，并結合輪廓、邊距等信息對身體形狀進行高度約束估計，實現3D人體模型提取。CHEN等[9]采用 2個階段的方法：①學習人體形狀、姿態和衣服的訓練數據集；②通過指定服裝類型和2D關節點，以平均形狀初始化模型生成初始3D人體形狀，再結合二維輪廓信息迭代優化參數進行模型匹配。蔡青宏[10]通過 Kinect采集人體正面數據，以包圍盒作為約束參照，統一點云與模型高度。首先將模型與點云進行粗略的配準，然后使用法向量約束確立對應關系，最后使用蒙皮技術進行進一步擬合。

近年，基于深度學習的單幀圖像恢復人體模型的方法越來越多。通常采用給定的二維彩色圖像和SMPL模型，經過網絡指導訓練估計人體姿勢。OMRAN等[11]則使用2D體部分分割作為中間表示估計SMPL參數。YAO等[12]通過編碼器-解碼器的CNN直接回歸人體網格，利用UV圖解決3D人體姿勢和形狀估計問題。TAN[13]利用編碼器-解碼器架構估計SMPL參數，使用唯一的2D輪廓監督。PAVLAKOS等[14]使用2D人體關節熱圖和掩模做中間表示，分別預測 SMPL姿勢和形狀參數。VAROL等[15]用3D人體形狀估計任務的體積，且將3D關節位置預測作為中間結果。上述方法均需要進行大量的3D數據監督和前期訓練。本文方法通過自動的檢測骨骼關節點，能夠直接約束模型的姿態，其創新點為：

(1) 設計基于人體分段鉸鏈變換的柔性變形模型。該模型通過機械零件思想進行人體姿勢變換，在模型點云部件分割的基礎上結合 SMPL模型實現靈活的線性建模，達到人體模型的機械式構造，實現模型的柔性變化。

(2) 提出以骨骼和輪廓作為約束，借助改進的鉸鏈模型進行鉸鏈式線性模型的FPR-PEM回歸，得到目標圖像人體形狀姿勢。

1 方法概述

針對人體骨骼關節分布特點，結合具有零件模型計算優勢的鉸鏈式三維重建框架，實現具有真實感的形狀姿勢重建。本文提出新的基于單幅圖像的人體重建方法。

1.1 系統流程

從單幀圖像恢復三維人體模型，如圖1所示。首先，對輸入的RGB圖像進行數據集的輪廓覆蓋和邊緣距離等的計算，從而固定模型點云表皮的形狀。接著，借助CNN神經網絡[16]預測人體關節點，從而保障能夠準確快速地預測2D人體關節點位置，引導3D模板骨架的定位跟蹤。進一步，SMPL模型擁有24個關節旋轉向量，本實驗則通過檢測的15個關節與SMPL模型進行軀干關節的對應圖5(b)，以此嵌入到鉸鏈模型的各關節部位，形成完整的人體鉸鏈模型。然后，根據人體鉸鏈模型的原理，將人體三維模型通過骨骼關節和輪廓形狀進行姿態形狀參數化，其中每個身體部分對應一個節點，軀干位于根節點。最后，對這一分段鉸鏈方法處理過的參數化模型施加2D輪廓和3D骨骼等約束，并在薄板樣條(thin plate spline，TPS)的插值下進行3D模型的恢復重現。

圖1 系統流程圖

1.2 能量模型

本文提出的基于分段變換鉸鏈的恢復技術，通過輪廓和骨骼雙重約束，能夠較好的回歸人體形狀和姿勢。總能量式為

其中，λ為各部分權重；Edata為模型數據項；Emodel為鉸鏈式模型項；E2D為模型 2D約束；Ejoint則為關節骨骼項。

2 改進的鉸鏈模型

分段鉸鏈模型是基于人體零部件的3D形狀姿勢參數化的模型。模型由14個部分組成，每一部分均被設計為身體的局部零件，各零件使用骨骼關節進行連接，并且依賴于各自身關聯節點實施獨立的3D旋轉變換。

2.1 人體鉸鏈模型

人體鉸鏈模型類似一個機械裝置，通過關節部位的轉動角度改變各部件之間的相對位置，改變模型的姿勢變化。每個身體部分使用規范的、剛性的3D三角形網格表示，2個部位之間定義一個關節相連接。身體所有關節點分布似樹形結構的圖形模型[17]，設置節點索引為i∈[0,···,14]，節點部位可表示為

其中，oi為節點在全局幀位置的3D矢量；di為線性形狀系數矢量，表示關節相關位置的變形；ri為部件相對于參考姿勢的旋轉的三維羅德里格斯矢量；t為根基節點的一個全局平移向量。

2.2 面向線性建模的SMPL模型改進

構建SMPL的線性化，需要對其表面點云進行重新分割整合。

(1) 根據SMPL模型網格拓撲結構，預先定義一個初始平均形狀s0。對于每一關節部分的形狀dk，模型形狀S為

(2) 從SMPL模型的實例中學習人體鉸鏈模型，確定模型各關節分布位置以此分割各模塊(圖2)。為了減弱關節剛性變換的影響，對訓練的形狀進行普氏分析(Procrustes analysis)對齊

其中，tp為每個點的剛體平移向量；R為θ角度的旋轉矩陣；sp為一個重排列的2×N矩陣。

圖2 人體鉸鏈模型

2.3 基于SMPL鉸鏈模型的構建

假設鉸鏈模型肢體在運動變化的某一范圍內服從某種斜率不同的線性關系，且使用指示變量對各段(即不同肢體)數據同時擬合，進行統一的模型回歸。因此可以將其轉化為一個狀態估計問題，假設點集的分布符合高斯混合分布，待配準的頂點集為x=[x1,x2,···,xn]T，其概率密度函數為

鉸鏈模型和三維網格數據將頂點和法向量之間的匹配關系定義為模型頂點與3D數據之間的距離，能量項為

其中，Ci為第i個關節點所關聯的身體部位；Pprior= m inS(ξ) + t ，且姿態形狀參數ξ=(rT,dT)T，t為根節點全局平移向量。

另外，對于鉸鏈模型部分，采用頂點與線性模型的偏差表示該模型的線性變化，通過加入一個法向量約束，使其與臨近點變化方向一致

圖3 鉸鏈模型3D姿態回歸

3 鉸鏈模型約束

通過邊界約束和關節骨骼約束完成模型形狀姿勢的正確變換。

3.1 基于SMPL鉸鏈模型的構建

邊緣輪廓可以提供更加精確的定位目標位置(圖 4)。本文方法通過邊界約束解決身體部位的遮擋現象，實現更加準確的人體建模。使用像素覆蓋分割算法對圖像進行人體分割以獲取輪廓。采用彩色信息聚類和圖像二值化的方法，即：將像素Ii,j的輪廓值Bi,j定義為

其中，Ai,j為Ii,j周圍8-領域內所有像素點的幾何；N(Ai,j)為該鄰域內的像素點總數。

圖4 輪廓邊緣

因模型頂點邊緣投影對應于可見圖像輪廓邊界，所以圖像Bi,j和模型可使用標準距離函數。通過投影模型表面三角面片法線與相機到邊緣中點的光線間點積的符號變化，對檢測到的輪廓進行歐式距離變換

其中，vs為模型圖像頂點邊界；bs∈{-1,+1}為權重；γ= 0 .1。

3.2 2D/3D關節骨骼約束

為了能夠更好的優化鉸鏈模型參數，需采用雙向約束機制，即3D到2D姿勢投影和2D到3D姿勢變換(圖 5)。在檢測圖像中所有關節點時，需定義基于2D的重投影約束，即

其中，ΠK是參數為K的相機從3D到2D的投影；ωj為 CNN神經網絡 2D關節檢測置信度；ρ為Geman-McClure懲罰函數；J()β為基于CNN的骨架關節回歸網絡；Rθ(J(β)3D,i)為每一個3D關節j以Rθ的角度進行剛性變換。通過最小化3D骨骼關節和檢測2D關節之間的重投影誤差，強制所有投影的關節位置均接近其相應的檢測值。另外，定義了模型骨骼J(β)3D,i和 3D檢測骨骼J3D,i之間的3D-3D對齊項

其中，t′ ∈ R3為回歸后的三維關節位置J3D,i從以根為中心的局部坐標系轉換為全局坐標系的輔助變量。這樣，根據參數化骨骼模型的骨骼長度和姿勢重新縮放回歸骨骼進行2D和3D的關節對準約束，式(1)中的Ejoint為

其中，ω2j和ω3j的值均設置為0.1。

圖5 關節骨骼

4 人體模型求解

人體模型求解可通過FPR-PEM的細節優化及鉸鏈模型點云的重采樣和細化完成。

4.1 基于FPR-PEM回歸求解

FPR-PEM 算法迭代步驟，首先挑選和當前殘差最相關的自變量，然后計算自變量的簡單最小二乘法系數的當前殘差，接著迭代相加到自變量系數上，直到相關系數最小。本文能量式(1)由4項組成，采用從粗到精的漸進策略進行計算。首先，對模型項和數據項實施最小化，恢復模型的形狀和姿態；然后通過關節骨骼的約束，獲取精細的人體細節，從而精確計算出模型。

對Emodel實施變形，恢復2D圖像人體形狀和姿勢

最小化式(12)時，需先對d求偏導，然后轉換為線性方程求解。采用列文伯格-馬夸爾特(Levenberg-Marquardt，LM)進行非線性求解Edata。根據FPR-PEM回歸對于E(r,σ2) 部分進行簡化，即

其中，σ2為超參數；pold(m|xi)為已知參數且

式(13)化簡后得到QTQx=QTe(Q為雅克比矩陣)。

骨骼Ejoint項中的線性方程E3D需采用線性方法求解，而非線性的E2D部分，則首先進行Taylor展開，然后進行梯度迭代求解

其中，F(x)為對應的誤差項。將式(1)的參數設置為：γdata=1，γmodel= 0 .1，γ2D=1，γjoint=0 .01。

4.2 重采樣和細化

基于 Delaunay準則剖分的三角網格，由于三角形不重疊，得到的曲面更光滑。本實驗采用了TPS中的線性三角網法的空間數據插值方法，進一步解決模型關節部位的變形問題。

為尋找一個通過所有的控制點且彎曲最小的光滑曲面，需在每一步迭代中，對模型中的每個節點ji(關節)和肢體頂點x(s)i均進行重新采樣。TPS得到的曲面不一定要通過所有的控制點，所以對于三角網格化具有很大的幫助，也可以有效地控制變形區域凹凸的平滑度(圖 6)。首先，對人體樣本和參考模型進行網格劃分，使其具有相同的拓撲結構，達到一個粗對齊；然后針對人體樣本和參考模型對應分塊之間構建局部 TPS方程，實現每一個分塊的對齊，從而實現人體的精對齊。

圖6 點云細化重采樣

5 試驗和分析

采用定性和定量的方式對實驗結果進行評估。實驗操作系統為Ubuntu16.04LTS，硬件設施是16 G DDR4內存和GEFORCE GTX TITAN X顯卡。實驗采用的數據集為 Human3.6M 和 UP-3D，其中Human3.6M擁有超過360萬不同姿態視頻幀圖像數據；UP-3D的數據集源于Leeds Sports Pose及其本身的擴展版本，具有豐富的分割、姿勢和骨骼關節等數據信息。利用SMPLify[4]和HMR[18]2種方法對比重建效果，SMPLify通過檢測12個關節點，從單幀圖像中估計 3D人體形狀姿態；HMR采用端到端的最小化關鍵點的重投影損失進行形狀姿勢學習估計任務。

5.1 定性評估

本文方法的重建效果如圖7所示。對輸入圖像(圖7a)分割和計算邊緣以及估計出目標人體2D關節點后(圖7b)，使用3D骨骼進行匹配擬合得到完整的人體模型(圖7(c))。

圖7 重建結果流程圖

圖8為不同方法對形狀大小、姿勢各異的人體重構對比。本文與2種方法比較，通過TPS線性插值能夠平滑地處理關節變形處的凹凸褶皺問題，并且在 FPR-PEM 算法下展現出良好的重構效果。

圖8 人體估計方法對比展示

由于 SMPLify方法只能粗略地估計出人體姿態，對于關節處的變形與旋轉角度均與實際的姿態有很大的差距，并且頭部的校準(脖子彎曲度)也具有較大誤差。HMR的結果相對于SMPLify的擬合更加精確，直觀的視覺效果更好，但是對于關節角度的調整比較僵硬。另外在某視角下重疊身體部分不能很好地控制各部分之間的距離，導致重建的結果不理想，且不能準確地調整頭部的姿態。

圖9為大尺度運動下的重建實驗結果。本文是以先驗形狀姿勢為基礎且能夠準確定位人體關節，在大尺度運動的圖像中，也能夠重建出較佳的模型。圖10顯示了本文方法通過處理預先訓練的女性模型形狀姿勢，完成了女性模型姿勢的恢復。

5.2 定量評估

采用頂點方向誤差檢驗人體鉸鏈建模性能，并與其他方法對準確性進行比較。在不考慮手部和腳部形狀姿勢的情況下，直接估計模型與3D掃描得到的每個頂點真值之間的距離誤差，圖11采用了熱度圖形式。

圖9 運動中的人物圖像擬合

圖10 女性模型重建效果

圖11 模型頂點誤差對比

通過圖11可以看出，本文方法估計的模型與真實模型和其他2種方法相比，總體誤差最小。而其他 2種方法因無法滿足正常人體姿態先驗，導致結果具有很大的偏差，所以不能正確地引導模型重建。

另外，圖12從重建結果深度錯誤率角度對本文方法和其他方法進行比較。采用Kinect v2相機進行彩色數據和深度數據采集，并將彩色圖像恢復的形狀模型反投影到圖像平面上，從而計算與對齊的深度數據間的歐氏距離誤差。

圖12 算法深度信息錯誤率對比

進一步，計算骨骼關節檢測的錯誤率(圖13)。本文對軀干上的15個關節點進行觀測并完成計算。

5.3 不足與分析

本文借助 SMPL模型的特點與鉸鏈模型相結合，進行基于零部件思想的機械式變換，從2D圖像中恢復3D人體模型的形狀和姿勢。某一關節的旋轉變化影響著其相鄰關節角度的旋轉變化，即：前節點的旋轉可引起相鄰2個節點的變動，其可導致鉸鏈模型的錯誤形變，而失敗。使用形狀姿勢先驗能夠縮小變化的差距，從而部分減少鉸鏈模型在形變過程中產生的扭曲變異，使其更加接近于形狀姿勢的微調變化形式。

另外，本文中輪廓邊緣的約束在一定范圍內具有矯正姿勢錯誤變化的作用，但對于人體大動作雙手、雙腿交叉或者大面積身體的自我遮擋等極端情況還存在一些不足，在后續的工作中將會進一步研究解決。

6 結 論

本文基于剛性的前向分段回歸概率期望最大化技術，提出了一種針對柔性物體的基于分段鉸鏈模型的人體建模技術，實現了僅在單幅RGB圖像上新的任意姿態下的人體模型重建方法。該方法通過精確的人體骨骼關節點的檢測并結合輪廓約束，運用局部到全局的層次化迭代，實現準確的3D人體建模，克服復雜遮擋帶來的建模挑戰。

本文的構想為今后的工作開辟了許多方向，特別是，身體的形狀和姿勢不僅可以從輪廓和特征點等其他線索中受益，還可以將其擴展到多幀之間實時動態轉換效果。在將來的工作中，還可以考慮增加一些額外的約束，如三維特征。另外，還可以考慮利用GPU編程實現算法的實時運行。