單目RGB穿衣人體的手部精細化重建

摘 要：為解決單目穿衣人體在復雜姿態下手部形狀重建存在遮擋和缺失的失真問題，提出了一種結合ECON與MANO手部模型，實現高效穿衣人體的手部精細化重建方法H-ECON（hand-focused explicit clothed humans obtained from normals）。具體而言，該方法首先以類型無關的手部檢測器聚焦手部區域并進行翻轉和裁剪；然后，引入注意力機制用于增強對手部區域的感知能力，空洞螺旋卷積則更好地捕捉手部不同尺度的特征；最后，獨特的融合模塊確保了手部重建與整身模型的融合效果。在FreiHAND和HanCo公開數據集上與其他方法的定量定性對比結果表明了H-ECON的有效性，其獨立手部模塊明顯優于ECON中的替代手部模塊。H-ECON實現了對人體手部幾何和姿態變化的精確描述，進一步縮小了2D圖像生成到3D人體網格之間的差距。

關鍵詞：手部重建；穿衣人體；注意力機制；空洞螺旋卷積；深度幾何學習

中圖分類號：TP391.9"" 文獻標志碼：A

文章編號：1001-3695（2025）01-042-0300-07

doi： 10.19734/j.issn.1001-3695.2024.02.0112

Hand-focused reconstruction of monocular RGB clothed humans

Abstract：To solve the problem of occlusion and missing distortion in hand shape reconstruction of monocular clothed human body under complex posture， this paper proposed an efficient hand refinement reconstruction method H-ECON， which combined ECON and MANO to achieve efficient hand refinement reconstruction in the clothed body. Specifically， the method firstly focused on the hand region with a type-independent hand detector and performed flipping and cropping. Then， the method enhanced the perception ability of the hand area through attention mechanism， and dilated spiral convolution can better capture the features of the hand at different scales. Finally， the unique fusion module ensured effective integration between the hand reconstruction and the entire body model. Quantitative and qualitative comparisons with other methods on the FreiHAND and HanCo publicly available datasets demonstrate the effectiveness of H-ECON， and its standalone hand module is significantly superior to the alternative hand module in ECON. H-ECON enables accurate descriptions of the geometry and pose changes of human hands， further narrowing the gap between 2D image generation and 3D human mesh.

Key words：hand reconstruction; clothed human; attention mechanism; dilated spiral convolution; deep geometry learning

0 引言

通過單目RGB圖像重建三維人體是構建計算模型以理解人類行為線索的核心技術之一。究其本質，人類行為的細微差別往往是通過臉部、手勢和身體姿勢甚至著裝來傳達。而手部作為人與世界交互的主要媒介之一，在VR/AR、智能機器人和人機交互等領域備受矚目。然而，傳統的整身重建方法在捕捉手部的細節特征上仍然存在一些挑戰，單獨處理手部重建則會導致缺乏整體人體結構和動作的上下文信息。為了克服這些局限性，近年來的研究趨勢強調了對整身重建的局部性研究，以獲取更為完整和準確的人體模型，而相較于復雜的多視角攝影系統，基于單張RGB圖像的重建方法更為經濟和便捷。

得益于SMPL[1]、STAR[2]、SMPL-X[3]等參數化人體模型的成功，包含手部的整身人體重建日益流行，但無論是基于像素對齊隱式函數的PIFu[4]和PIFuHD[5]，基于預測的人體法向圖和SMPL人體模型的ICON[6]及后續ECON[7]，還是結合NeRF[8]相關的人體重建方法，通常是訓練單個模型來評估整個人體部位，本質上受到缺乏準確和多樣的全身運動數據的限制，雖能確保人體各部分的一致性和協調性，但其手部在面對行為分析、動畫和醫療等細分領域中的重建效果較差。

現有手部重建方法以及SMPL-X模型的手部多基于MANO[9]手部參數模型，直接回歸MANO形狀和姿勢系數簡潔且直接，但系數估計是一個高維抽象的問題，忽略了空間相關性。為減少內存消耗，Moon等人[10]基于體素表示并使用一維熱力但仍效果欠佳。Karunratanakul等人[11]利用隱式函數具有連續性和高分辨率的優點重建手部都取得了不錯的效果，但分辨率的增加往往以占用大量內存為代價。近年來有NIMBLE[12]手部模型結合肌肉和骨骼以實現更高精度，但其頂點數將近MANO模型20倍，難以滿足消費級應用所需的實時性和交互性。

整身重建易導致手部細節缺失，而手部單獨重建缺乏整體運動依賴。從單張RGB圖像重建穿衣人體的最新工作ECON同樣存在手部失真問題，通過在SMPL-X上疊加d-BiNI[7]生成的前后表面得到穿衣人體，其手部區域極易受到前后表面誤差的干擾，雖提供了手部替換方案，但面對遮擋、交叉等問題仍不如單獨手部重建，由于ECON本身內嵌SMPL-X人體模型，使得利用更為先進的手部工作替換裸露手部成為可能。

為解決上述研究面臨的手部重建精度不足以及內存消耗問題，本文提出了融合帶有注意力機制的殘差模型和空洞螺旋卷積的單目RGB手部頂點回歸方法。得益于殘差連接的設計，殘差模型避免了梯度消失和參數爆炸等問題，注意力機制的引入能更好地關注手部區域特征。傳統的卷積神經網絡通過卷積和池化層逐漸減小特征圖的空間分辨率，而空洞螺旋卷積能在不損失空間分辨率的情況下進行特征提取，并且能更好地抓取手部頂點在不同空間尺度上的信息。通過SE-ResNet[13]和空洞螺旋卷積[14]組成的編碼-解碼器直接預測3D頂點坐標，對比傳統基于CNN回歸手部參數的方法，消除了對手部空間關系的不良影響。通過簡單有效地整合模塊，能夠將手部工作嵌入在無縫、極端姿勢下表現良好并且帶有衣服褶皺的全身姿態估計輸出中。本文的主要貢獻包括：

a）提出端到端的手部精細化人體重建模塊化系統H-ECON，解決了原ECON在進行手部重建時的姿態失真問題，以單張RGB圖像作為輸入即可重建出手部精細化的穿衣人體網格模型。

b）引入與手部類型無關的檢測模塊，聚焦手部區域，完成識別、裁剪和翻轉等操作，為后續的手部重建提供準確的輸入數據。

c）提出帶有注意力機制和空洞螺旋卷積的手部模塊，無須大規模數據集，手部即使存在遮擋也能實現良好的重建效果。

d）選取模糊核與數據集進行卷積，通過運動模糊增強數據集，提高了模型的泛化和魯棒性。

1 相關工作

1.1 統計身體建模

作為人體統計模型中的代表，SCAPE[15]和SMPL簡單地忽略手部關節和面部表情，并將身體變形分解為身份依賴和姿態依賴。SCAPE首次將人體幾何分解為三部分變形：姿態相關的形狀變化、個體差異導致的形態變化以及基于人體鉸鏈結構定義的剛性變形。引入軟組織變形可作為SCAPE的延伸，雖能夠模擬各種真實的軟組織運動，然而，基于三角形旋轉變形的方法存在額外的內存開銷，并且與大多數動畫軟件不兼容，限制了SCAPE的通用性。

SMPL是基于頂點的線性模型，結合身份變形與骨架蒙皮變形成為現使用最廣泛的人體模型。在此基礎上，SMPL+H[9]增加對手部細節的處理，Hesse等人[16]提出了類似SMPL的統計嬰兒模型SMIL，STAR引入參數稀疏算法，將參數量減少到了多人線性蒙皮模型的20%，這些都極大地促進了SMPL譜系的發展。本文采用SMPL模型的改進版本：SMPL-X，加入了對面部表情、手指、眼睛等細節的建模，以增強對人體表面細節的表達能力，同SMPL一樣支持可微渲染，對后續使用深度神經網絡回歸SMPL-X的參數提供了基礎，該模型包含10 475個人體表面頂點和54個人體關節點（在本文中僅考慮52個，不包括左右眼姿勢）。

1.2 MANO手部模型

手部重建中，主流方法多基于MANO，一種可進行非剛性形變的手部網格模型。然而，基于MANO模型的方法需要估計模型的低維姿態和形狀參數，微小的參數變化會沿運動學樹傳播到許多網格頂點，導致手部姿態發生明顯變化。相比之下，不依賴模型的方法通過深度神經網絡直接估計手部表面網格頂點的3D位置，但對密集手部表面網格頂點的位置進行估計較為困難。基于CNN回歸網格頂點坐標的方法[17]破壞了輸入圖像中像素之間的空間關系，而Moon等人[10]則通過線性熱圖對手部表面網格的3D熱圖進行拆分，保留了圖像與像素之間的空間關系，以更小的代價實現更精細的手部重建。

本文采用了一種新的思路，將手部表面網格看作是由頂點數目和連接關系確定的圖結構數據，通過基于GCN的網絡恢復手部表面網格。利用SE-ResNet和空洞螺旋卷積構建的神經網絡結構，避免了基于CNN的回歸方法對手部空間關系的不良影響，這種方法能夠從粗略到細致地恢復網格頂點，確保了手部重建網絡的魯棒性。

1.3 穿衣人體重建

引入幾何先驗SMPL不僅提高了人體重建姿態的穩定性，還為穿衣人體重建奠定了基礎。SMPL+D（SMPL model + displacements）模型是通過在SMPL頂點上添加偏移來模擬緊身服裝，其表示簡單而緊湊，但在處理與SMPL拓撲結構不一致的衣物并進行頂點綁定時，容易產生扭曲。為克服參數化對穿衣人體復雜拓撲的限制，一些研究采用了隱式表示進行人體重建。Jackson等人[18]使用端到端的體素回歸網絡，直接對各種輸入進行三維人體幾何體素回歸。TetraTSDF[19]通過單個RGB圖像和TSDF技術實現穿衣人體的重建，而ARCH[20]則結合了SMPL參數化的人體網格和隱式曲面函數，為重建的網格物體分配蒙皮權重并支持動畫。盡管隱式表示能夠靈活表示復雜幾何結構，但仍難以解釋。

當前SOTA的ECON結合顯式參數模型和深度隱式函數，將人體的先驗信息SMPL-X depth作為幾何軟約束引入到法線積分的優化方程中，并使用d-BiNI只在法線貼圖上進行積分，以保持與附近表面的連續性，這使得結果已包含嚴格的SMPL-X參數化模型。這對本文的關鍵工作如手部替換以及將來生成完全可設置動畫的化身提供了有力支持。ECON通過PIXIE[21]來回歸SMPL-X參數，但更注重于臉部表情和皮膚紋理，可能導致手部失真問題。為解決這一問題，本文運用類型無關的手部檢測器來準確識別目標區域的手部姿態，通過直接回歸手部頂點的方法完成手部的精確重建，以此完成ECON中的手部替換。

2 H-ECON模型設計與實現

本文提出H-ECON模型，如圖1所示。首先，接受單目圖像I作為輸入，通過PIXIE方法生成SMPL-X的赤身人體模型，并將其與輸入圖像I輸入ECON，獲得待處理的完整人體模型。然后，手部區域被重塑為224×224×3的手部RGB圖像，在輸入網絡之前，左手被翻轉成右手，通過編碼-解碼器結構回歸MANO手部模型頂點。最后，通過整合模塊將MANO手部模型替代ECON中相對簡單的手部模型，從而得到完整的輸出模型O。

2.1 手部檢測模塊

手部區域的截取依賴于兩個關鍵組件：身體姿勢估計器（pose estimator）和類型無關的手部檢測器（hand detector）。首先，通過第三視角圖像輸入，pose estimator對整個圖像進行分析，重點關注人體關鍵點的定位，如頭部、肩膀、手腕等。根據pose estimator輸出的手腕關鍵點位置確定目標區域，然后在該區域內使用專門的hand detector，用于快速而準確地檢測手部的位置和姿態。

2.2 手部頂點回歸

手部模塊如圖2所示，編碼器使用帶有注意力機制的殘差網絡從輸入圖像中提取特征，解碼器利用帶有池化層的空間卷積直接解碼圖像編碼以回歸手部模型頂點。

2.2.1 SE-ResNet殘差編碼

如圖3所示，編碼器采用了融合SENet模塊和ResNet網絡的SE-ResNet-50作為主干網絡，解碼器則使用空洞螺旋卷積技術以捕獲手部多尺度特征。

SENet中注意力機制的實現主要依賴全局平均池化層和兩個全連接層。首先，通過全局平均池化層對C×W×H特征圖進行降維，得到1×1×C的特征向量，接著使用兩個卷積層來學習通道之間的關聯性。第一個全連接層壓縮C個通道為C/r，本文中取r=16以獲得最佳效果。而第二個卷積層則對壓縮后的特征解碼并加權，在實驗中用帶有3SymboltB@3卷積核的卷積層來替代，以減少圖片的語義損失。最終，這些加權的特征被用來增強原始特征，以更好地捕捉圖像中的語義信息。

表1顯示了三種不同網絡結構的配置：ResNet-18（左）、ResNet-50（中）、SE-ResNet-50（右）。方括號內描述了殘差模塊的形狀、操作和具體的參數設置，而方括號外指明了每個階段中堆疊的塊數量。在fc后表示SE模塊中兩個卷積層的輸出尺寸。以單次224×224像素的輸入圖像正向傳播為例，ResNet-50需要大約3.86 GFLOPs，而SE-ResNet50則需要約3.87 GFLOPs，計算復雜度增加了0.26%，但在一半的計算開銷下接近了更深的ResNet-101（7.58 GFLOPs）網絡所實現的性能。

2.2.2 螺旋卷積解碼

1）螺旋算子 在解碼器中，采用螺旋補丁算子來構建空間鄰域。Lim等人[22]提出了一種定義中心頂點v的相鄰螺旋選擇方法，如式（1）所示，按照特定順序對k盤元素進行操作。這個方法有助于確定頂點的鄰域結構，從而進一步提高解碼器的性能。

0－ring（v）={v}（k+1）－ring（v）=N（k－ring（v））＼k－disk（v）k－disk（v）=∪i=0…ki－ring（v）（1）

其中：N（V）是與集合V中的任何頂點相鄰的所有頂點的集合。

將螺旋長度表示為l，那么S（v，l）是由k環串聯的l個頂點組成的有序集。通過只連接最后一個環的一部分，以確保固定長度的序列化。將其定義如下：

S（v，l）（0－ring（v），1－ring（v），…，k－ring（v））（2）

螺旋卷積利用相鄰頂點固定螺旋序列化的性質，可以用與Euclidean CNN[23]等效的方式將其定義為

其中：X（k）i代表i的節點特征；γ表示多層感知機；‖是連接操作，并且按照S（i，l）中定義螺旋序列順序連接節點特征。

2）空洞螺旋卷積 為了在不損失分辨率或覆蓋率的情況下擴展感受野，引入了空洞螺旋卷積算子，與普通的均勻采樣相比，其在保持相同螺旋長度的情況下引入不同的采樣率，實現了多尺度的信息捕獲，并且不會增加計算開銷或復雜性。這使得模型能夠更好地適應不同尺度和層次的特征，從而提高了其性能和泛化能力。

Qu（q，i）=λi，Qu（q，j）=λjQu（q，k）=λk，Qu（q，l）=0（4）

其中：l{i，j，k}，由于不屬于三角形頂點vi、vj、vk的其他頂點，其在上采樣過程中與被丟棄的頂點vp之間沒有直接的權重關聯，故將元素Qu（q，l）設置為零。圖4為通過逐步上采樣矩陣的手部拓撲結構，每一層包含的頂點數為（49，98，195，389，778）。

4）螺旋結構 給定人體圖像I，圍繞手部進行裁剪得到手部圖像H，通過Stem Block塊將其嵌入到具有64個參數的潛在向量Z，通過解碼器獲得潛在向量Z′=Eimage（Z），并生成網格M=Dmesh（Z′）。使用空洞螺旋卷積解碼器的結構如圖5所示。FC（d）代表輸出為d的全連接層；R（d1，d2）表示向量重塑為矩陣d1×d2;UP（p）為上采樣因子p;C（w，l）則是具有w個卷積核和螺旋長度l的空洞螺旋卷積。為了解決由于錯誤的三角剖分或網格邊界問題導致螺旋序列長度不足的情況，本文采取了一種填充策略：將額外的節點填充為最初以0為中心的節點，以確保螺旋序列的長度與所需的序列長度一致。在實驗中，選取了Leaky ReLU作為激活函數，并將序列長度設置為27。通過采用2倍遞增的方式逐層增加渲染節點數，交替進行上采樣和螺旋卷積操作，得到最終的包含網格節點的結果預測。

2.3 整合模塊

MANO手部模型和SMPL-X人體模型相互兼容，為將手部模塊整合進ECON中提供了可行性。通過一個手部融合模塊，將MANO手部模型的網格表示合并到SMPL-X人體模型中，步驟如下：

a）坐標系變換。MANO手部模型采用右手坐標系，而基于SMPL-X的ECON采用左手坐標系。因此，需調整坐標軸的方向和旋轉方向，以完成坐標系的變換。

b）Scale參數調整。單獨的手部區域重建與整身人體重建并不是一個統一的標準空間，為了適應這種差異，根據重建出的手部網格A與替換手部網格B的中心點，計算Scale參數。

c）平移向量計算。根據手部關鍵點，即手腕位置來計算手部替換區域的平移向量，與ECON類似，通過手腕關節確定手部mesh。

d）旋轉矩陣。通過奇異值分解（singular value decomposition，SVD）來計算旋轉矩陣。首先計算兩個手部網格A和B的協方差矩陣H：

在實驗中，通過傳統的頂點和面片方式獲取手部姿態參數并將其替換進ECON，將會導致嚴重的畸形手部表示，這是因為ECON引入了自己的手部參數定義，與傳統的手部參數不兼容。因此，為取得更準確的手部姿態和形狀表達效果，本文采用了一個折中的手部整合模塊，將在3.3節中詳細闡述，該模塊表現出色，能夠有效地整合手部表示到ECON中。

2.4 訓練目標

3 實驗

3.1 數據處理

在實驗中，采用了FreiHAND[25]和HanCo[26]的cam1作為原始訓練集，其中cam1包含原始數據的1/8，共107 538張RGB圖像，從中隨機選擇80%的樣本用于訓練數據，剩余20%的樣本用于驗證。在本文中，采用了通用的數據增強策略，包括隨機縮放、隨機平移、顏色抖動和隨機旋轉，旨在于增加數據集的多樣性，有助于模型更好地學習數據的特征，提高模型在新樣本上的表現。此外，還對圖像應用了運動模糊增強，為實現這個增強效果，本文使用了文獻[27]生成模糊核，然后將模糊核應用于圖像進行2D濾波，以添加運動模糊效果。圖6展示了運動模糊增強的示例圖像，從上到下是FreiHAND和HanCO數據集示例，從左到右分別是原始圖像和應用不同運動模糊內核后的增強圖像。

3.2 實驗設置

本文實驗使用GTX 3090 GPU，Linux操作系統。 算法基于PyTorch 1.12.1，CUDA 11.3，Python 3.7實現，并使用Adam優化器進行訓練，學習率為1SymboltB@10-4并采用MultiStep學習率調度方式，每經過30輪次學習率以0.1的因子進行衰減，持續訓練50或者100輪次。圖像歸一化是基于從ImageNet訓練集計算的平均值和標準差，而輸出網格的歸一化則基于從訓練數據的子集計算的統計數據。

3.3 實驗評估

3.3.1 評估指標

MPJPE/MPVPE定義為預測每個關節/頂點位置和測量值之間的平均歐氏距離。

PA-MPJPE/MPVPE是對MPJPE/MPVPE的一種修改，采用Procrustes對齊方法對預測的姿態進行了調整，使其與真實姿態更加匹配，簡寫為PJ和PV。

F-score[28]是兩個網格在特定距離閾值下召回率和準確率之間的諧波平均值，F@5/F@15對應于5 mm/15 mm的閾值。

AUC[29]是正確關鍵點的百分比PCK與0 ～ 50 mm錯誤閾值曲線下的面積。

3.3.2 手部評估

本文使用FreiHAND_pub_v2_eval數據集進行本地評估。如表2定量分析所示，同樣應用ResNet-18，結合本文空洞螺旋卷積解碼的方法相比于文獻[30]，在PJ、PV、 F@5和F@15方面分別提升了33.1%、31.6%、 40.0%、5.1%。與其他方法相比，FreiHAND，YotubeHand[29]，I2L-MeshNet均采用ResNet-50作為主干網絡，約2 500萬參數和3.86 GFLOPs，本文采用的SE-ResNet-50，相比ResNet-50 多10%參數量和0.26%浮點數運算，在僅使用FreiHAND數據集的情況下，本文方法達到了超越I2L-MeshNet的精度水平。如表2最后一行，利用FreiHAND和部分HanCo數據集，并將SE-ResNet-50的殘差塊層輸出設置為以256為首并逐層倍增，PJ、PV、 F@5和F@15均超出HIU-DMTL[31]1.4%、2.7%、2.14%、0.3%，相較替換由PIXIE產生手部的ECON，各性能指標分別提高了41.7%、41.3%、52.6%、6.3%。這些結果表明，本文方法在手部姿態估計方面取得了顯著的性能提升。為了評估手部姿勢估計和網格重建性能，本文測量了網格誤差的平均歐氏距離，以及不同錯誤閾值的正確點百分比PCK和曲線下面積AUC。圖7在FreiHAND 數據集上定量地顯示了采用RseNet-18和空洞螺旋卷積的本文方法接近使用ResNet-50的YoutubeHand的性能水平，而采用SE-ResNet-50的本文方法更是顯著優于其他方法。

如圖8所示，從左到右分別是帶有手部檢測區域的單目RGB人體圖像、重建手部mesh的可視化、手部區域的特寫圖像，第三列從上到下依次為原圖手部、ECON重建手部、本文方法重建手部。從圖8（a）～（c）可以定性地看出，本文方法H-ECON在手部重建姿態、空間相對位置相較于ECON有明顯提升。得益于參數化手部模型MANO以及包含遮擋物的手部訓練集，如圖8（d）～（f）所示，在手部區域被遮擋、人物帶有手套、雙手有交叉等復雜情況下，H-ECON仍具有較強的表達能力。結果表明，本文方法在手部姿勢估計和網格重建方面取得了顯著的性能提升，特別是在處理復雜情況下具有優勢。

3.3.3 整身評估

ECON是目前為止泛化性最好的單圖穿衣人重建算法，它將RGB圖像和估計的SMPL-X身體作為輸入來重建穿衣人體。然而，就其手部而言，如圖9的第7列所示，僅采用ResNet50結構的PIXIE會導致錯誤的手部姿態估計，甚至在進行手部區域替換時產生裂縫。

本文的H-ECON采用了單獨的手部區域處理方法，其特殊的編碼-解碼器結構能夠充分利用其最先進的性能進行手部姿態估計。如圖9的第3列所示，融合模塊結合ECON的效果明顯，即使在不同視角下，H-ECON沒有產生脫離實際的扭曲。在輸入視角觀察不到的地方，如圖9的第4～6列所示，H-ECON仍具有強大的表達能力。ECON如若進行手部與臉部細致化的重建，每張圖片需處理2～3 min，本文方法重建手部每張圖片僅需1.12 s，可以在幾乎不增加處理時間的情況下，取締原ECON的手部工作，如圖9第8列所示。H-ECON手部相較于原ECON在手部位姿方面具有較大提升。

3.4 局限性

H-ECON方法也存在一些限制，首先，它依賴于SMPL-X的手腕旋轉信息，前者的錯誤可能會導致替換手部區域出現縫合偽影。為了改進這一點，可以考慮加入更多的人體數據集，特別關注手腕處的姿態特征并且使用HTML[32]、DART[33]等更為精準但同樣兼容MANO的手部模型以提高準確性。另一個限制是H-ECON僅重建了三維幾何體，而未恢復底層骨架和蒙皮權重。為了實現完全可設置的動畫化身，可以考慮使用SSDR[34]等方法來額外恢復底層骨架和蒙皮權重，這對虛擬試穿、游戲和影視制作等產業無疑影響深遠。

4 結束語

本文提出了H-ECON，實現了從單張RGB 圖像重建帶有精細化手部的著衣人體。實驗證明，該模型在復雜姿態下仍具有良好的魯棒性并能顯著改進人體重建中手部姿態失真的問題。其特有的手部模塊僅用部分數據集的情況下，達到了同類主干網絡利用近百G數據集的性能指標。相較于原ECON，手部各性能指標分別超出41.7%、41.3%、52.6%和6.3%。盡管存在局限，但H-ECON出色的手部模塊使其在行為分析、動畫和醫療等細分領域同樣具有很大的應用潛力。此外，H-ECON可以將頭發、衣服或者配飾從重建結果中分離出來以實現可編可控的下游任務，在沒有精細化標注的情況下，H-ECON的重建結果甚至可以作為神經化身的數據集，未來計劃進一步結合深度蒙皮和3D Gaussian splatting[35]等技術重建可編可控的人體動畫化身。

參考文獻：

[1]Loper M， Mahmood N， Romero J，et al.SMPL： a skinned multi-person linear model [J]. ACM Trans on Graphics， 2015， 34 （6）： 1-16.

[2]Osman A A A， Bolkart T， Black M J. STAR： sparse trained articulated human body regressor [C]// Proc of the 16th European Confe-rence on Computer Vision. Cham： Springer， 2020： 598-613.

[3]Pavlakos G，Choutas V， Ghorbani N， et al.Expressive body capture： 3D hands， face， and body from a single image [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2019： 10967-10977.

[4]Saito S， Huang Zeng， Natsume R， et al.PIFu： pixel-aligned implicit function for high-resolution clothed human digitization [C]// Proc of IEEE/CVF International Conference on Computer Vision. Pisca-taway， NJ： IEEE Press， 2019： 2304-2314.

[5]Saito S， Simon T，Saragih J， et al.PIFuHD： multi-level pixel-aligned implicit function for high-resolution 3D human digitization [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscata-way， NJ： IEEE Press， 2020： 81-90.

[6]Xiu Yuliang， Yang Jinlong， Tzionas D， et al.ICON： implicit clothed humans obtained from normals [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 13286-13296.

[7]Xiu Yuliang， Yang Jinlong， Cao Xu， et al.ECON： explicit clothed humans optimized via normal integration [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2023： 512-523.

[8]Mildenhall B， Srinivasan PP， Tancik M， et al.NeRF： representing scenes as neural radiance fields for view synthesis [J]. Communications of the ACM， 2021， 65 （1）： 99-106.

[9]Romero J，Tzionas D， Black M J. Embodied hands： modeling and capturing hands and bodies together [J]. ACM Trans on Graphics， 2017， 36 （6）： 1-17.

[10]Moon G， Lee K M. I2l-MeshNet： image-to-lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image [C]// Proc of the 16th European Conference on Computer Vision. Cham： Springer， 2020： 752-768.

[11]Karunratanakul K， Spurr A， Fan Zicong， et al.A skeleton-driven neural occupancy representation for articulated hands [C]// Proc of International Conference on 3D Vision. Piscataway， NJ： IEEE Press， 2021： 11-21.

[12]Li Yuwei， Zhang Longwen， Qiu Zesong， et al. NIMBLE： a non-rigid hand model with bones and muscles[J]. ACM Trans on Graph，2022，41（4）： 1-120.

[13]Hu Jie， Shen Li， Albanie S. Squeeze-and-excitation networks [C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press，2018： 7132-7141.

[14]Gong Shunwang， Chen Lei， Bronstein M， et al.SpiralNet+： a fast and highly efficient mesh convolution operator [C]// Proc of IEEE/CVF International Conference on Computer Vision Workshops. Pisca-taway， NJ： IEEE Press， 2019： 4141-4148.

[15]Anguelov D， Srinivasan P， Koller D，et al.SCAPE： shape completion and animation of people [J]. ACM Trans on Graphics， 2005，24（3）： 408-416.

[16]Hesse N， Pujades S， Romero J，et al.Learning an infant body model from RGB-D data for accurate full body motion analysis [C]// Proc of the 21st International Conference on Medical Image Computing and Computer Assisted Intervention. Berlin： Springer-Verlag ，2018： 792-800.

[17]Baek S， Kim K I， Kim T K. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press，2019： 1067-1076.

[18]Jackson A S， Bulat A， Argyriou V，et al.Large pose 3D face reconstruction from a single image via direct volumetric CNN regression [C]// Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press，2017： 1031-1039.

[19]Onizuka H，Hayirci Z， Thomas D， et al.TetraTSDF： 3D human reconstruction from a single image with a tetrahedral outer shell [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway， NJ： IEEE Press，2020： 6011-6020.

[20]Huang Zeng， Xu Yuanlu， Lassner C， et al.Arch： animatable reconstruction of clothed humans [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 3090-3099.

[21]Feng Yao， Choutas V， Bolkart T， et al.Collaborative regression of expressive bodies using moderation [C]// Proc of International Confe-rence on 3D Vision. Piscataway， NJ： IEEE Press， 2021： 792-804.

[22]Lim I，Dielen A， Campen M， et al.A simple approach to intrinsic correspondence learning on unstructured 3D meshes [C]// Proc of European Conference on Computer Vision. Cham： Springer， 2019： 349-362.

[23]LeCun Y， Boser B， Denker J S，et al.Backpropagation applied to handwritten zip code recognition [J]. Neural Computation， 1989， 1 （4）： 541-551.

[24]Chen Xingyu， Liu Yufeng， Dong Yajiao， et al.MobRecon： mobile-friendly hand mesh reconstruction from monocular image [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 20512-20522.

[25]Zimmermann C， Ceylan D， Yang Jimei， et al.FreiHAND： a dataset for markerless capture of hand pose and shape from single RGB images [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press，2019： 813-822.

[26]Zimmermann C， Argus M， Brox T. Contrastive representation lear-ning for hand shape estimation [C]// Proc of DAGM German Confe-rence on Pattern Recognition. Cham： Springer， 2021： 250-264.

[27]Boracchi G， Foi A. Modeling the performance of image restoration from motion blur [J]. IEEE Trans on Image Processing， 2012， 21 （8）： 3502-3517.

[28]Knapitsch A， Park J， Zhou Qianyi， et al.Tanks and temples： benchmarking large-scale scene reconstruction [J]. ACM Trans on Graphics， 2017， 36 （4）： 1-13.

[29]Kulon D， Guler R A， Kokkinos I，et al.Weakly-supervised mesh-convolutional hand reconstruction in the wild [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2020： 4990-5000.

[30]Hasson Y， Varol G，Tzionas D， et al.Learning joint reconstruction of hands and manipulated objects [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 11807-11816.

[31]Zhang Xiong， Huang Hongsheng， Tan Jianchao， et al.Hand image understanding via deep multi-task learning [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2021：" 11261-11272.

[32]Qian Neng， Wang Jiayi， Mueller F， et al.Parametric hand texture model for 3D hand reconstruction and personalization [C]// Proc of International Conference on Computer Vision. Cham： Springer，2020： 54-71.

[33]Gao Daiheng， Xiu Yuliang， Li Kailin， et al.DART： articulated hand model with diverse accessories and rich textures [J]. Advances in Neural Information Processing Systems， 2022， 35： 37055-37067.

[34]Le B H， Deng Zhigang. Smooth skinning decomposition with rigid bones [J]. ACM Trans on Graphics， 2012， 31 （6）： 1-10.

[35]Kerbl B， Kopanas G， Leimkühler T， et al.3D Gaussian splatting for real-time radiance field rendering [J]. ACM Trans on Graphics， 2023， 42 （4）： 1-14.