基于中國人數據集的參數化人體建模

徐增波, 趙 娟

(上海工程技術大學 紡織服裝學院,上海 201620)

參數化人體重建方法依賴于統計得到的人體參數化模型,僅需一組低維向量即可描述人體形狀。目前常見的參數化人體模型有SCAPE[1]、SMPL[2]、SMPL-X[3]等。Cheng等[4]對幾種主流參數化人體模型的速度和準確性進行了比較,結果表明,SMPL模型在速度和準確性方面都比SCAPE具有更好的性能。

傳統參數化人體重建方法通常使用特殊設備獲取人體三維點云數據或深度數據,然后通過點云配準、模板變形等方式擬合SCAPE參數,從而重建三維人體形狀。此類方法[5-7]的人體重建結果主要取決于Kinect獲取的深度圖質量。但由于Kinect的硬件限制,深度圖往往含有較大噪聲,這嚴重影響了重建質量。不同于利用掃描數據擬合人體,一些研究采用諸如人體2D關節點坐標、人體輪廓等其他數據形式來約束參數化人體幾何形狀重建。如Guan等[8]以輪廓和渲染圖作為優化項擬合SCAPE參數,但該方法需要用戶事先手動對人體2D關節點進行標注,無法自動化完成三維人體建模。Bogo等[9]使用一個二維的姿勢卷積網絡檢測2D關節點,并以此作為約束求解SMPL模型參數。該工作在重建姿勢方面取得了顯著效果,但并沒有較好地約束體型。近年來,基于深度學習的參數化人體形狀重建方法變得越來越流行。Kanazawaa等[10]在其提出的端到端人體網格恢復(Human mesh recovery,HMR)網絡中采用2D關節的重投影損失,并借鑒生成對抗網絡(Generative adversarial network,GAN)思想,引入判別器來檢測生成人體網格的合理性。然而,該方法并未有效監督人體體型,并且人體姿態也與輸入圖像中的人體相差較大。王巧麗[11]將基于深度學習和優化的人體建模算法結合起來重建人體模型,首先利用OpenPose獲取圖像2D關節點,并基于HMR獲取模型的參數作為初始值,通過深度學習方法獲取人體的分割輪廓,然后將所得數據應用到能量函數進行優化求解。其中,能量函數以2D關節約束來保證人體模型姿態的準確性、以人體輪廓約束來避免優化過程中體型出現誤差,經過若干次優化迭代最終獲得與圖像中人體姿態和體型相似的人體模型。

參數化人體建模及與其密切相關的非剛體配準研究已經較為成熟。然而,這些參數化人體模型大多是基于西方人體體型開發的,其形體與中國人形體存在一定的適配性問題。基于中國人數據集的重建鮮有報道,故本研究從構建中國人數據集的角度提煉創新點并開展相應的研究工作。

1 算法描述

1.1 三維人體數據采集及處理

本研究共采集152名中國成年女性凈體的輕量級樣本,樣本的身高、身體質量指數(Body mass index,BMI)、年齡分布如圖1所示。采集時要求受試者站立在指定腳印標志上并直視前方,手臂從體側自然向外展開。考慮到采集樣本的一部分個體辮子會影響后續模型擬合精度,借助于Meshlab開源軟件預先人工交互修剪,進行辮子部位去除。此外,由于線激光三維掃描設備固有缺陷(如遮擋、準平行于發射光源平面等),人體網格中存在大大小小的破洞,采用屏蔽泊松重建算法[12]預先進行重建修補。同時,三維點云包含大量冗余數據,權衡后續模型匹配的精度和速度,采用二次邊折疊抽取的降采樣方法[13]將采集網格面數降至20 K(平均原始點云網格面數600 K以上)。

圖1 目標樣本的身高、BMI、年齡分布Fig.1 Distribution of height, BMI and age of the target sample

由圖1(a)可知,目標樣本的身高基本符合正態分布規律。其中,155～159 cm的樣本量最多,而最新統計數據中中國成年女性身高50百分位為158 cm,正好位于155～159 cm內,目標樣本可以較好地體現中國成年女性人群的身高分布情況。由圖1(b)可知,目標樣本的BMI分布(依據中國參考標準)同樣符合正態分布規律,“正常”水平的區間值為18.5～23.9 kg/m2,比其他區間大,故該區間樣本量明顯大于其他區間。目標樣本分布在各級BMI分類中,對于中國成年女性人群的BMI分布情況具有較好的表征作用。根據圖1(c)可知,目標樣本的年齡較為均勻地分布在各個年齡區間,整體來說可以較好地表征年齡差異特點。

1.2 三維人體網格配準

Pishchulin等[14]提出的非剛性模板擬合方法對初始站姿要求較高,而且每個頂點有12個自由度,計算負荷和收斂穩定性較差;基于深度學習的LoopReg算法[15]計算效率較低,且與人體網格點云對應點精度誤差仍然在厘米級以上。

在綜合考慮配準精度和效率基礎上,本研究采用“粗—精”的兩步配準策略,首先基于基點集(Basis point sets,BPS)對點云進行高效學習[16],將SMPL模型網格點快速初始配置至掃描網格點附近;然后采用基于迭代最近鄰點(Iterative closest points,ICP)的非剛性網格配準算法進行精配準,只優化頂點位移D分量,生成精準匹配的SMPLD模型。設M(vi,x):J×x→R3,表示將標準人體表面MT?R3上的三維頂點vi?J映射到按照模型參數x∈x變形后的三維點的人體模型。SMPL+D模型中x={θ,β,D},對應于姿態θ、形狀β和非剛性變形D,這里D可理解為由{θ,β}重建后的SMPL模型各頂點偏移。標準的配準方法是找到一系列對應的由x重構后模型點集Cv={c1,…,cNv}和人體掃描點{s1,…,sTv}(si∈S),并最小化損失:

(1)

式中:Cf={f1,…,fNf}表示SMPL模型網格面集合,其網格頂點數Nv=6 890、三角網格面片數Nf=13 776,Tv為待匹配網格點數,Cf0表示由BPS粗配準后的初始網格面,Lap表示拉普拉斯算子,dist(·)是可微分的點到表面的距離,ci∈MT是連續的表面點,M(·)表示對離散模型頂點vi∈J定義的模型函數M(·)進行重心插值,di為重建后的SMPL模型各頂點偏移,α、β和γ為動態加權系數。

式(1)可以使用ICP進行最優搜索。每次迭代過程中,先計算人體模型—SMPLD模型的對應點對,然后利用梯度或高斯牛頓優化器對模型參數進行更新,使掃描點與對應模型點之間的距離最小。

1.3 統計形體分析

三維人體模型的形體空間被定義為一個平均模板和主成分形狀方向。它是通過在多形體數據集上,對配準樣本的形體進行主成分分析(Principal component analysis,PCA)[17]計算得到的。

圖2 位姿校正Fig.2 Pose correction

1.4 模型重建

最終構建的適配中國人形體的參數化人體模型為:

(2)

2 結果及分析

2.1 數據采集分析

篩選泊松曲面重建及其降采樣結果如圖3所示。鑒于曲面重建后出現腳底平面失真,本研究還進行了地板平面的切削處理。

圖3 篩選泊松曲面重建及其降采樣結果Fig.3 Screened Poisson surface reconstructionand its downsampling results

2.2 三維人體網格配準分析

掃描數據的LoopReg預測及擬合SMPL模型如圖4所示,其中第1列為原始網格(灰色)與粗匹配網格(藍色)融合圖,第2列為第1列的側視圖,第3列為粗配準三角網格圖,第4列為配準誤差圖,其網格點顏色對應配準誤差,誤差色表如最上方圖所示(下同)。圖4中,樣本粗配準平均誤差分別為2.08和1.88 cm。掃描數據的BPS粗配準SMPL模型網格輸出如圖5所示。圖5中,樣本網格頂點匹配平均誤差為0.91和0.79 cm,同LoopReg算法結果相比,平均精度提升了2倍多。

圖4 LoopReg配準結果Fig.4 LoopReg registration results

圖5 粗配準結果Fig.5 Coarse registration results

基于Python平臺下Pytorch 1.17.0+cu11.0開發套件實現非剛性模板精配準,非線性優化采用Adam方式,學習率lr=0.005,betas=(0.9,0.999)。圖6為圖5精配準的能量迭代曲線,其中系列1對應第1行樣本擬合結果,系列2對應第2行樣本擬合結果。由圖6可以看出,迭代至30次時,目標函數基本收斂。圖7為精配準結果,其中第1行和第2行樣本精配準平均匹配誤差為0.56 cm和0.54 cm,與粗配準平均匹配誤差相比,下降近50%。

圖6 精配準的能量迭代曲線Fig.6 Energy iteration curve of fine registration

152個樣本的粗配準和精配準網格點平均匹配誤差如圖8所示,基于BPS的粗配準平均匹配誤差的最大值、最小值及平均值分別為1.15、0.75 cm及0.90 cm,對應的基于非剛性模型匹配的精配準的最大值、最小值及平均值分別為0.60、0.48 cm及0.53 cm。

圖7 精配準結果Fig.7 Fine registration results

圖8 152個樣本的粗配準和精配準網格點平均匹配誤差Fig.8 Average matching error of grid points in coarseand fine registration of 152 samples

“粗—精”兩步配準代碼運行硬件平臺配置為:Intel i7-9750H,16 G內存,Win64系統,GPU為NVIDIA GeForce RTX 2070 with Max-Q Design,8 G內存。所有關鍵代碼都基于GPU運行,而基于同樣平臺,傳統人體三維掃描后的非剛性匹配每樣本大致需要15 min(包含姿態預配準、非線性迭代等)。基于深度學習的BPS預配準,在保證相對較高的匹配精度同時,每樣本平均耗時僅0.5 s,同時基于Pytorch 1.17.0+cu11.0編制的精配準過程每樣本平均耗時僅50 s左右。因此,基于BPS預配準和非剛性模板擬合的“粗—精”兩步配準方法不僅保證了非線性模型配準精度,而且極大地提升了配準效率(每樣本配準精度提升了2倍多,配準效率提升了15倍多)。

2.3 形體統計分析

位姿校正前后結果如圖9所示,其中第1列為精配準結果、第2列為位姿校正結果、第3列和第4列為融合示意(白色表示校正前,藍色表示校正后)。主成分分析的目的是在給定有限的形體方向條件下,相對于平均形體,最大化頂點偏移的可解釋性方差。前10個主成分的方差累計貢獻為89.180 97%>85.000 00%。前10個主成分分析的可視化結果如圖10所示,表示每個PCA參數(±5)單獨變化時的人體形體圖,其中中間圖為平均形體。

圖9 位姿校正前后結果Fig.9 Results before and after pose correction

圖10 前10個主成分分析的可視化Fig.10 Visualization of the first ten PCA

圖10中,PC1代表整個人體的大小和胖瘦,初始(平均模型)為0的情況下,正向變胖小,負向變瘦大,正向身體前傾;PC2正向變胖小,負向變瘦大,負向身體前傾;PC3負向表示肚子變大,手臂和腿變瘦長,可以調整上下身的比例;PC4人體橫向壓縮拉伸,正向壓縮,正向肩膀變低;PC5人體橫向壓縮拉伸,正向壓縮,負向肩膀變寬;PC6正向上半身向前傾斜+整體變胖;PC7負向上半身向左傾斜+整體變瘦;PC8人體縱向壓縮拉伸,負向壓縮;PC9負向胸部變小,腹部和臀部變大,正向胸部變大,腹部和臀部變小;PC10代表胸部、腹部、臀部的大小,初始為0的情況下,負向變大,正向變小。

2.4 重建模型分析

SMPL平均模板(第1列及后兩列的藍色,且進行了位姿校正)與基于中國人數據集重建的參數化模型平均模板(第2列及后兩列的白色)的比較如圖11所示。由圖11可知,中國成年女性形體與歐美成年女性存在明顯差異。

圖11 平均模型比較Fig.11 Average model comparison

3 應 用

本研究將重建模型和SMPL模型分別應用于王巧麗[11]提出的基于單幅圖像的三維人體建模,所得重構結果如圖12、圖13所示。其中,圖12(a)基于重建模型;圖12(b)基于SMPL模型。圖13第1列:基于重建模型;第2列:基于SMPL模型;第3、4列為兩者重構模型的融合(藍色表示SMPL模型,白色表示重建模型)。

圖12 基于圖像的人體三維重構結果Fig.12 3D reconstruction results of human body based on image

圖13 重構結果比較Fig.13 Comparison of reconstruction results

本研究選取重構結果的細節差異處進行對比,如圖12(b)中的4處紅圈部分。明顯可以看出,基于中國人數據集的參數化模型重建結果更加貼合人體。再將兩個模型擬合結果中關節平均誤差和頂點平均誤差數據進行對比,如表1所示。

表1 誤差對比Tab.1 Error comparison

從表1可以看出,相比基于SMPL模型的擬合結果,基于重建模型的擬合結果關節誤差和頂點誤差均有所降低,實驗對象1關節平均誤差和頂點平均誤差分別降低了26.2%、20.0%;實驗對象2關節平均誤差和頂點平均誤差分別降低了19.4%、16.1%;實驗對象3關節平均誤差和頂點平均誤差分別降低了21.7%、12.5%。整體而言,基于中國人數據集的參數化模型重建能夠明顯提升模型擬合精度。

4 結 語

本文創新性采用了“BPS粗配準+基于ICP的非剛性網格精配準”兩步配準策略構建了適合中國人體的參數化模型平均模板。與先進配準算法LoopReg相比,“BPS粗配準+基于ICP的非剛性網格精配準”兩步配準每樣本配準精度提升了2倍多,配準效率提升了15倍多。但是配準結果還存在一些問題:襠部中間存在重構黏連及雙手重構失真現象,而且右手存在粗配準誤差,導致精配準時右手大拇指最近點云最優搜索出現錯誤,這些問題還需在后續研究中進行修正。在基于單幅圖像的三維人體重建中,與基于SMPL模型平均模板的擬合結果相比,基于重建模型平均模板的擬合結果關節誤差和頂點誤差均有所降低,3個實驗對象的關節平均誤差分別降低了26.2%、19.4%、21.7%;頂點平均誤差分別降低了20.0%、16.1%、12.5%。整體而言,基于中國人數據集的參數化模型重建能夠明顯提升模型擬合精度。

《絲綢》官網下載

中國知網下載