基于ICP的非剛性曲面擬合方法

陳林偉

（四川大學計算機學院，成都 610000）

基于ICP的非剛性曲面擬合方法

陳林偉

（四川大學計算機學院，成都 610000）

高真實感三維人臉模型重建是三維人臉動畫合成技術的關鍵技術，可應用于虛擬現實、三維動畫制作等多個領域。為此，提出一種快速生成高精度、高真實感三維人臉模型的方法。該方法是一種基于最近點迭代的非剛性曲面擬合方法，通過對待擬合點云孔洞、邊界等進行約束，可快速擬合出目標點云局部特性，最終獲得高真實感三維人臉模型。實驗結果表明，該方法可有效地擬合出目標點云獲得高真實感三維人臉模型。

三維人臉；曲面擬合；最近點迭代

0 引言

近年來，基于三維人臉計算機視覺研究得到廣泛重視，特別地，隨著虛擬社交等虛擬現實技術的發展對高真實感三維人臉模型提出了較高要求。因而，如何獲取高精度高真實感三維人臉模型成為了一個較為重要的研究方向。為獲得高真實感三維人臉模型，研究方法主要可分為基于主成分分析（Principal Component Analysis，PCA）模型的方法[1-4]和基于三維配準的方法[5-8]。Blanz[1]最早開始研究基于PCA統計模型三維人臉重建，其研究思路為首先使用高精度三維掃描儀掃描出幾百張具有不同特征（包括年齡、性別、地區等）的人臉，并將它們轉化三維點云數據格式，然后將這些人臉點云化數據做成PCA模型，最終將人臉空間轉化為一個維數較低的有限維空間，三維人臉建模問題轉化為求解線性方程問題，這樣通過降低計算復雜度，縮短了建模時間，但這也使得基于PCA模型的方法獲得的人臉模型缺乏真實感與精度。相比之下，基于三維點云配準的方法可獲得較高真實感三維人臉模型，但其缺點也較為突出，包括計算復雜度高，對模板網格與待匹配點云的初始位置、尺度等依賴性強。基于最近點迭代方法（Iterative Closet Point，ICP）是最常用的三維點云配準方法[6，8]。ICP方法較依賴目標點云中的點與模板網格中點之間一一對應關系，對應關系的好壞往往決定最終配準的效果。此外，傳統ICP算法存在收斂速度慢、易陷入局部最優等缺點。

高精度、低噪聲、密度大的初始人臉點云數據對獲取高真實感三維人臉模型十分有利，然而，一般情況下，可滿足該需求的設備價格貴，操作技術性較強（如三維激光掃描儀），不適用虛擬社交等VR場景。相對而言，通過采集人臉不同角度視頻或圖片再通過三維重建方法生成或使用價格便宜的深度相機獲取初始三維人臉點云數據更具可行性。但這些方法獲得的初始點云數據一般存在噪聲較大，存在孔洞，點云邊界不齊整等問題。為此，本文提出了一種基于ICP的曲面非剛性曲面擬合方法，能很好適應初始點云數據噪聲大，孔洞填補，邊界約束等問題，最終生成高真實感的三維人臉模型。

1 問題描述與建模

曲面擬合問題，涉及一個模板網格S=（ν，ε），其中ν={νi|i=1，…，n}表示n個網格點的集合，ε={ek=（νi，νj）| νi∈ν，νj∈ν，k=1，…，m}表示m條網格邊的集合；一個待擬合目標點云τ={ui|i=1，…，t}，該目標點云可以是一切可以搜索最鄰近點的3D點云數據，Nτ（νi）={uj|uj∈τ∧‖νi-uj‖＜σ}表示任意點νi的σ鄰域內屬于目標點云τ的點的集合。非剛性曲面擬合問題可表述為：對模板網格S中的任意網格點νi，計算其三維變換矩陣X= {Xi|i=1，…，n}，使得變換后的模板網格S'=（ν'，ε）中所有點vi'到目標點云τ的距離之和最小，其中ν'={vi'=Xiνi| νi∈ν}是由變換后的網格點組成的集合。非剛性曲面擬合保持模板網格的拓撲結構不變，即模板網格邊的關系保持不變。

為了便于求解變換矩陣Χ，構建關于X的能量方程：

其中，Ed（X）為距離懲罰項，Es（X）為平滑懲罰項，α為其權重系數，El（X）為標記點懲罰項，β為其權重系數。

距離懲罰項:為了使非剛性變換后的模板網格能有效擬合目標點云，要求模板網格中網格點與目標點云之間距離之和盡可能小，受到文獻[9]的啟發，將變換后模板網格中各個網格點到目標點云之間的距離之和作為距離懲罰項，當距離之和越小則表示變換后的模板網格與目標點云之間的擬合程度越高，反之亦然。同時考慮到目標點云孔洞的存在以及目標點云可能不是一個完整三維物體外表面，因此模板網格中必將存在在目標點云中沒有合適匹配點的網格點（對網格點vi存在合適匹配點uj是指存在uj∈T，使得‖νi-uj‖2＜ρ，其中ρ為給定閾值），對這些網格點希望它盡量保持原模板網格中的位置，因此有如下方程：

其中dist（·，·）表示三維空間中歐氏距離函數，dist（v，τ）=minu∈Nτ（v）dist（ν，u）表示τ中距離ν最近的點u到v的距離作為ν到τ的距離；wi的取值為1，當且僅當網格點νi在目標點云τ中存在合適對應點且對應點不為邊界點時，wi的取值為0.5，當且經當網格點vi在目標點云τ中存在合適對應點且對應點為邊界點時，否則，wi的取值為0。根據wi的取值不同，可處理初始點云的孔洞以及邊界問題。

平滑懲罰項：目標點云是真實物體外表面的三維點云表達，真實物體外表面通常是平滑的，因此，希望變換后的三維網格模型也具有平滑性。同時，變換前的模板網格模型是平滑的，所以，為了能使得模板網格模型在變換后能保證最大限度擬合目標點云的同時保證網格的平滑性，希望相鄰網格點的變換矩陣盡可能相同，轉化為方程如下：

其中，‖·‖F為矩陣的F范數，用來量化相鄰網格點變換矩陣的差異大小，其中系數矩陣W=diag（1，1，1，λ），用來權衡變換矩陣中平移項與其他項之間的比重。

標記點懲罰項：通常情況下，模板網格數據與初始目標點云具有不同尺度，為了使的變換后的模板網格具有與初始點云具有相同尺度，需要給定一些在模板網格數據與初始點云數據對應的標記點，標記點的集合記為L={（νl1，l1），…，（νls，ls）}，為了量化變換后模板網格與目標點云尺度的相似度，給出如下方程：

2 算法實現

算法包括以下幾個步驟：

第一步：給定初始變換矩陣Xi=X0，平滑懲罰項系數αj=α1，標記點懲罰項權重系數β，執行第二步；

第二步：判斷αj＜αmin，如成立，則結束算法，否則，執行第三步；

第三步：在變換矩陣為Xi情況下，確定模板網格中網格點在目標點云中的對應點，執行第四步；

第四步：利用Levenberg-Marquardt算法求解方程（1），解得變換矩陣Xi+1，執行第五步；

第五步：判斷‖Xi+1-Xi‖＜ε是否成立，若成立，減小αj為αj+1，再執行第二步，否則，執行第三步。

本算法包含兩層循環，第一層循環（外循環）為第二步到第五步，是由平滑懲罰系數α引起的，第二層循環（內循環）為第三步到第五步是由變換矩陣X引起的。執行外循環時，當αi取值較大時，算法局部剛性約束較強，允許的局部非剛性變換程度較低，此時，內循環效果近似剛性ICP。隨著αi取值的不斷減小，內循環剛性約束變弱，允許的局部非剛性變換程度變大，可更好地擬合目標點云的局部特性。

算法流程如圖1所示。

圖1 算法流程圖

圖2 目標點云

圖3 模板網格

圖4 擬合結果

3 實驗結果分析

實驗結果如圖4所示，圖2所示為待擬合目標點云，圖3所示為模板網格。

4 結語

本文提出了一種基于ICP非剛性曲面擬合算法，該算法能有效適應初始目標點云噪聲大、存在孔洞、邊界不平滑等缺點，通過分別對噪聲、孔洞、邊界添加約束統一優化，最終可獲得高真實感的曲面擬合結果，可廣泛應用于三維動畫制作、網絡會議、虛擬現實等領域。本文算法本質上是迭代優化算法，雖然運行時間較短，但還不能滿足實時建模的需求。因此，在不改變算法執行效果的前提下，進一步縮短算法時間復雜度將是我們今后工作的主要方向。

參考文獻：

[1]Blanz，Vetter V，Thomas.A Morphable Model for the Synthesis of 3D Faces[J].Computer Graphics Proceedings Siggraph'，1999:187-194.

[2]Zhao W，Chellappa R，Phillips P J，et al.Face Recognition:A Literature Survey[J].Acm Computing Surveys，2003，35（4）:399-458.

[3]Zhang L，Snavely N，Curless B，et al.Spacetime Faces:High Resolution Capture for Modeling and Animation[J].Acm Transactions on Graphics，2008，23（3）:546-556.

[4]Blanz V.A Morphable Model for the Synthesis of 3D Faces[C].Conference on Computer Graphics and Interactive Techniques.ACM Press/Addison-Wesley Publishing Co.2002:187-194.

[5]Ichim A E，Bouaziz S，Pauly M.Dynamic 3D Avatar Creation from Hand-Held Video Input[J].ACM Transactions on Graphics，2015，34（4）:1-14

[6]郭俊輝.基于KDTree改進的ICP算法在點云配準中的應用研究[J].微型機與應用，2015，34（14）:81-83.

[7]蓋赟.基于曲面形變的三維人臉樣本配準[J].計算機科學，2014，41（s2）:116-118.

[8]林源，梁舒，王生進.基于非剛性ICP的三維人臉數據配準算法[J].清華大學學報自然科學版，2014（3）:334-340.

[9]Allen B，Curless B，Popovi，et al.The Space of Human Body Shapes:Reconstruction and Parameterization from Range Scans[J].Acm Transactions on Graphics，2003，22（3）:587-594.

[10]Zhang X J，Zhong-Ke L I，Wang X Z，et al.Research of 3D Point Cloud Data Registration Algorithms Based on Feature Points and Improved ICP[J].Transducer&Microsystem Technologies，2012，31（9）:116-248.

Non-Rigid Surface Fitting Method Based on ICP

CHEN Lin-wei
（College of Computer Science,Sichuan University，Chengdu 610000）

High realistic of 3D facial reconstruction is a key technology of facial animation and it can be applied in a wide range of fields such as virtual reality,3D animation and so on.Proposes a rapidly reconstruction method which can gain a high-accuracy and high realistic 3D facial model.This method can gain a high realistic model since it take both the hole and border of target point cloud as constraint condition and can rapidly fitting the local features of target point cloud.The experimental results also show that this method can get a realistic 3D facial model by fitting target point cloud.

3D Face;Surface Fitting;ICP

1007-1423（2017）08-0070-04

10.3969/j.issn.1007-1423.2017.08.015

陳林偉（1991-），男，安徽蕪湖人，碩士研究生，研究方向為三維重建

2016-12-20

2017-03-10