基于Kinect 2的三維人臉個性化建模

李佳，任慧

(1.中國傳媒大學 理工學部，北京 100024；2.視聽技術與智能控制系統文化部重點實驗室，北京 100024)

1 引言

在3D動畫、電子通訊(可視電話、視頻會議)[1]，醫療和法醫應用(如顱頜面外科手術模擬，基于頭骨數據的面部重建[2]，虛擬老化)等領域，3D人臉建模發揮著不可替代的增強現實的作用。三維建模系統可分為主動視覺和被動視覺系統兩種。

主動視覺系統通過測量從外部設備(如三維激光掃描儀或帶有結構光的校準立體像片的相機)照射的光束來捕捉三維點云，計算三維坐標和貼圖數據，進而生成網格人臉。Lee[3]提出根據激光立體掃描儀的景深數據和色彩數據重建個性化模型的方法。Liao[4]在美化人臉五官的研究中也使用三維激光掃描儀獲取人臉網格和貼圖。Briggs[5]使用面部激光掃描器來制作用于局部放療治療的醫用口罩。這些方法也有若干缺點，如耗時多，而且需要的設備比較昂貴等。

基于被動視覺的建模系統指的是一個不需要發光器件并且三維空間人臉信息從二維數字圖像中估計的系統。三維信息可以通過分析基于多視角相關特征點的相機空間參數得到，也可以通過調整3D統計模型符合人臉圖像來獲得。

基于對應特征點的研究方案中，Pighin[6]的個性人臉擬合系統采取了散亂數據插值的技術。該算法的優點是變形不需要與目標網格相同的頂點數；缺點是如果變形控制點超出了所在區域，該變形在邊界區域會變得不連續。

Blanz和Vetter等人[7]使用主成分分析法從一個數字化真人人臉數據庫中提取構象參數。該方法的缺點是不是一個直觀的參數空間，而且需要通過優化查找的方式匹配人臉。

Kuo[8]等人提出了一種估計方法，即根據一幅沒有深度數據的正臉二維灰度圖合成對應的人臉側面，基于數據集采用最小均方誤差估量理論從正面人臉參數估量出側面參數。三維通用人臉模型然后根據從圖像中提取的正面坐標和它們的估計深度進行擬合。

Furukawa[9]提出一種高精度、高密度和高魯棒性的多視點立體圖像匹配與重建(MULTI-view stereo，MVS)算法，取得了完整度更高的形狀模型。Bouaziz[10]的人臉建模算法中根據手持電話的相機拍攝的一組圖片序列，使用MVS生成了個性人臉點云，然后用形變統計模型去匹配注冊這個點云，得到了真實度較高的人臉模型。

2 基于五官形狀和肌肉模型的人臉建模算法

2.1 微分網格變形算法

微分坐標模式的網格變形技術的核心是回歸一個線性方程組Ax=B，其中A是一個大型稀疏陣列。

(1)基于拉普拉斯算子的微分坐標的定義

令M=(V，Ea，F)是一個有n個頂點的三角網格。V是頂點的集合，Ea是邊的集合，Ea是面的集合。網格的頂點鄰接矩陣A和網格的頂點自由度矩陣D表示如下。其中，di是與頂點i鄰接的所有頂點的個數。于是定義圖拉普拉斯矩陣K=D-A。

(1)

(2)

每個v都用笛卡爾坐標空間下的絕對位置描述，即為：vi=(xi，yi，zi)。

(3)

其中M(i)={j|(i，j)∈Ea} 且ni=|M(i)|是頂點i鄰接頂點的個數。LS=K，x是包括了網格中全數子點水平方向絕對坐標分量的一個n維單列陣，y以及z也一樣，得到了網格的微分坐標之后，我們要考慮的就是怎樣操作這些微分坐標(4)，并完成重建，最終得到變形后的三維網格模型：

Lsx=Dδ(x)，Lsy=Dδ(y)，Lsz=Dδ(z)

(4)

(5)

(2)網格的變形與重建

通過線性代數矩陣運算的數學處理，可得到三維的大型矩陣求解方程，這些方程可解耦分別運算后再重耦合得到變形網格的拓撲信息。在實際應用中我們通常采用的方法是在網格上選取多個約束點，并用最小二乘法來處理這些約束。即不是用其去除線性系統中的某些特征點序號對應的行和列，而是將其作為額外的行逐次添加到已更新的線性系統中。經過上述處理我們就有了一個可以求解的線性系統：

(6)

(7)

如果保持約束頂點新位置不變，送入微分網格求解器求解后得的模型將變得光滑，相當于將原來棱角的誤差擴散到全部網格。可以舉例說明，下圖1右邊為網格平滑結果。總體而言，該方法實現簡捷、效果良好、操作簡便、交互性高。可以舉例說明如下，用facegen[11]生成的有5832個頂點的高模，在手動控制特征點后的變形效果如圖2。

圖1 微分網格算法的平滑網格作用

圖2 手動控制特征點變形效果

2.2 基于五官和肌肉模型的微分網格編輯算法

Waters[12]將人臉肌肉分成了三種基本類別：線性肌肉、括約肌和片狀肌肉。其中括約肌分為口部括約肌和眼部括約肌，片狀肌肉主要是額肌。臉部還有臉頰肌和蘋果肌。圖3分別對這四種肌肉模型原理以及基于微分網格法的肌肉變形模擬實驗進行介紹。

根據人臉網格變形的實際需要，于傳統特征約束的前提下，本文加入人臉肌肉模型約束，在約束集合大小為r時，E和I的矩陣含義相同，S(x)為肌肉函數，則微分網格變形算法的數學依據為(8)，以x空間為例：

線性肌肉彈性變形與圓錐體模擬

括約肌彈性變形與環狀體模擬

片狀肌肉彈性變形與立方體模擬

球狀肌肉彈性變形與球體模擬圖3

(8)

圖4 模擬網格變形

以下說明添加肌肉模型約束的必要性。單獨考慮人臉的某一塊區域，選擇含16×16個四邊形，頂點數為289的網格，取中心點[144]與中心點左側邊緣點[280]為控制點，分別模擬肌肉質心與五官約束。左圖表示當[144]與[280]都向右側水平移動0.25后的結果，其中深色藍為移動后的網格；中圖綠色表示當[144]向右移動0.25，但[280]向左移動0.15的變形結果，表明若不考慮肌肉形狀約束將導致肌肉影響區域的畸變；右圖綠色為添加位置約束(包括中心點左上角[252]，左下角[240]，右上角[48]，右下角[36])后，其他約束和中圖一致后得到的變形效果，可見在保持五官特征驅動的情況下也極大得保持了肌肉的基本形狀和拓撲結構。本文選取特征點的依據具體如下：

圖5 肌肉位置約束特征點形狀(上)，模型上的分布(中左)及添加肌肉形狀約束前后模型拓撲結構對比示意圖(中右，下)

圖5的中右圖為kinect2獲得的個性人臉模型，下左圖為僅考慮五官特征點的優化變形結果，下右圖為綜合考慮五官特征點和肌肉形狀特征點的優化變形結果。假定kinect2獲得模型的肌肉形狀是規范的，那在使用五官特征點變形kinect2模型時也應該盡量保持這些肌肉的拓撲和形狀是規范的。這樣才能在之后的表情動畫實現時確保正確合理的肌肉運動，為表情動畫奠定良好的模型基礎。

3 面向人臉重建的特征點優化

特征點的信息提取直接影響了特征約束的可靠性。本文主要對檢測人臉特征點的一些算法和相關實驗做闡述。主要對比分析了ASM、正則化均值漂移、kinect和face++四種路徑和方法。

3.1 ASM算法

本節人臉變形采用的基于正面照的特征點檢測算法步驟如下，其中中性模型由facegen軟件生成：

1.截取3D中性模型的正面照，并使用ASM算法檢測77個特征點，存入數組ref_x，ref_y；

2.相應地使用ASM檢測參考人臉的特征點；

3.以中性人臉特征點作為參照點，將個性人臉的面部的特征點通過仿射變換正則化并存儲到spec_x，spec_y。

4.以X坐標為例，給出了基于中性模型的特征點自動移動的公式：

modelNew_X=modelX_+(spec_x-ref_x)×D

(9)

(10)

圖6 基于ASM算法的人臉建模

3.2 正則化均值漂移算法

正則化均值漂移算法是核密度描述的估量算法[13]。本文基于正則化均值漂移關鍵點檢測算法，做了相關微分網格人臉變形的實驗可以發現，模型和真人相似度比較高，但由于鼻翼部分特征點的缺失會導致鼻子整體結構的建模失真。

圖8 不同人臉基于Kinect2的建模結果

3.3 kinect五官特征建模

本文是在kinect建模中間結果基礎上的優化。下圖為不同人臉基于Kinect2 的建模結果，從圖8的結果中對比發現，不同人臉的眼部、鼻子、臉型特征同樣并不夠明顯。

3.4 face++五官特征建模與模型改進

由于正臉角度，人臉還不能更好地表達個性特征，所以本文通過face++人臉識別的特征點來約束指導Kinect2建模的人臉變形。針對face++鼻梁和鼻翼特征點不足的問題，通過觀察對比，新補充添加的特征點如圖9。

鼻翼形狀的S形曲線特征

新添加的鼻部特征點N0-N5圖9

(11)

XN0=XN1=(X56+X60)/2 YN2=YN3 =(Y60+Y63)/2

(12)

(13)

圖10 補充鼻翼特征點約束后的實驗結果(左一為未添加鼻翼特征點的建模結果，左二為基于face++的改進結果，右邊兩幅為參照圖片)

通過對比ASM、正則化均值漂移和face++三種算法獲得的人臉特征點來選擇更精確的位置，最終本文選取89個特征點用于Kinect2中性人臉模型的五官個性化變形優化，這89個特征點構成了面向人臉重建的特征點優化模型，即多任務局部最優點集合模型。與此同時，肌肉形狀約束量有43個，將用于肌肉個性化的保持及形變。

圖11 同一人臉的不同特征點檢測結果(從左至右，圖一為ASM結果，圖二為正則化均值漂移的結果，圖三為face++結果)(上)及特征點整合優化(下)

算法眉毛眼睛鼻子嘴巴臉頰ASM60060正則化均值漂移204017face++8188122face++拓展00600

4 人臉真實感優化

在人臉變形完成后，可根據優化過的照片的五官特征點位置指導uv貼圖坐標移動變形，從而實現利用平面微分網格法進行貼圖自適應匹配。以下為自適應變形前后的uv坐標示意圖；UV坐標的基于拉普拉斯微分方程自適應變形的算法依據為：

(14)

(15)

實驗結果如下，左邊為對三維模型平面映射后在maya的UV貼圖編輯器中的結果，右圖為經過微分網格自適應變形的uv坐標分布結果：

圖12 自適應變形前后的uv坐標示意圖

下圖左為未添加次表面散射時的模型外觀，右為添加次表面散射后的模型外觀。但由于本文僅使用了人臉照片，故本文主要用后置散射貼圖來渲染[14]。注意照片本身有皮膚紋理精度低的缺點且自帶模糊性。

圖13 次表面散射模擬前后對比

5 實驗結果

圖14 算法流程

圖15 本文實現的效果

6 結論

本文深入鉆研了三維人臉個性化建模的相關方法，在傳統基于微分坐標的網格變形算法基礎上加入面向人臉的肌肉形狀約束，使得人臉模型在五官外表和肌肉解剖級層面都保持良好的魯棒性。然后研究對比人臉特征點檢測算法，提升了Kinect2中間模型的個性精確度。最后通過基于微分坐標的網格變形算法實現了紋理的自適應保細節映射，同時加入次表面散射貼圖，提升了Kinect2中間模型的個性真實度。未來可通過深度學習檢測人臉側臉的特征點，為人臉個性化建模提供更多、更精確的側臉信息。

[1]Sansoni G，Trebeschi M，Docchio F.State-of-the-art and applications of 3D imaging sensors in industry，cultural heritage，medicine，and criminal investigation[J].Sensors，2009，(9)：568-601.

[2]K K?hler，J Haber，H Yamauchi，H P Seidel.Reanimating the Dead：Reconstruction of Expressive Faces from Skull Data[J].ACM Trans Graphics(Proc SIGGRAPH 2003)，22(3)：554-561，July，2003.

[3]Lee Y，Terzopoulos D，Waters K.Realistic modeling for facial animation[C].Proceedings of the 22nd annual conference on Computer graphics and interactive techniques，ACM，1995，55-62.

[4]Liao Q，Jin X，Zeng W.Enhancing the symmetry and proportion of 3D face geometry[J].IEEE transactions on visualization and computer graphics，2012，18(10)：1704-1716.

[5]Briggs M，Clements H，Wynne N.3D printed facial laser scans for the production of localised radiotherapy treatment masks-A case study[J].Journal of Visual Communication in Medicine，2016，39(3-4)：99-104.

[6]Pighin F，Auslander J，Lischinski D.Realistic facial animation using image based 3d morphing[J].Microsoft Research，1997.

[7]Blanz V，Vetter T.A morphable model for the synthesis of 3D faces[C].Proceedings of the 26th annual conference on Computer graphics and interactive techniques，ACM Press/Addison-Wesley Publishing Co，1999，187-194.

[8]Kuo C J，Huang R S，Lin T G.Synthesizing lateral face from frontal facial image using anthropometric estimation[C].Image Processing，1997，Proceedings International Conference on IEEE，1997，(1)：133-136.

[9]Furukawa Y，Ponce J.Accurate，dense，and robust multiview stereopsis[J].IEEE transactions on pattern analysis and machine intelligence，2010，32(8)：1362-1376.

[10]Ichim A E，Bouaziz S，Pauly M.Dynamic 3D avatar creation from hand-held video input[J].ACM Transactions on Graphics(ToG)，2015，34(4)：45.

[11]Face Gen Modeller3.2(Free version)[OL].http：//www.facegen.com.

[12]Waters K.A muscle model for animation three-dimensional facial expression[J].Acm siggraph computer graphics，1987，21(4)：17-24.

[13]Saragih J M，Lucey S，Cohn J F.Deformable model fitting by regularized landmark mean-shift[J].International Journal of Computer Vision，2011，91(2)：200-215.

[14]Nguyen H.Gpu gems 3[M].Addison-Wesley Professional，2007.