基于改進肌肉模型的三維人臉自適應參數配置

2022-07-12 14:03:38周悅劉凱

計算機應用與軟件 2022年6期

周悅劉凱

(四川大學電氣工程學院四川成都 610065)

0 引言

隨著計算機技術的發展，逼真的人體建模與動作模擬在動畫、游戲、教育、醫學研究等領域[1-2]有了普遍的應用。在人體行為模擬中，由于真實人臉表情復雜多變，是情感表達的重要載體，三維表情模擬一直是計算機圖形學領域內研究的熱門與難點。

自20世紀70年代初Parke[3]開創式地設計出第一個可以模擬表情的人臉模型以來，國內外專家學者在三維表情合成領域做了大量研究工作，目前存在的方法大致可分為以下四類：(1) 基于關鍵幀插值的方法[4]，通過對表情變化時頂點移動軌跡的計算，只需定義臉部少數關鍵幀，即可產生一段簡單表情動畫，但產生的表情真實感較差；(2) 基于參數的方法[5-6],通過對人臉表面參數的控制實現表情合成,但控制點多，參數設置復雜；(3) 基于生理模型的方法[7]，利用解剖學知識，對真實人臉的骨骼、肌肉、皮膚進行建模，模仿真實表情的形變。這類方法合成的人臉逼真表情豐富，但模型復雜，在人臉上搭建困難；(4) 基于偽肌肉模型變形的方法[8-9]，利用幾何形變模擬人臉肌肉運動，此類方法相比肌肉模型結構簡單，但缺少對表情細節的模擬。

本文對傳統肌肉模型缺點作出改進，使仿真的表情更具有真實感，并提出一種自適應肌肉參數配置方法，快速獲取特定人臉上各個肌肉的參數。

1 人臉肌肉模型

1.1 三維人臉數據

三維人臉模型是表情合成的基礎，經過許多研究學者的探索，目前三維人臉模型的來源通常有以下幾種：基于三維建模軟件的方法，最常見的軟件有Maya、3dmax、Rhino等；基于二維照片特征對一般人臉模型形變的方法[10-11]；基于激光掃描真實人臉的點云重建方法[12-13]。

在這些方法中，因為二維圖像獲取的門檻低、速度快，本文便基于單幅正面人臉圖片對平均人臉模型變形獲得特定三維人臉模型。

對于一個三維人臉模型，可表示為形狀向量和紋理向量的組合。設平均人臉模型的形狀向量S和紋理向量T的定義如下：

S=(x1,y1,z1,x2,y2,z2,…,xn,yn,zn)

(1)

T=(R1,G1,B1,R2,G2,B2,…,Rn,Gn,Bn)

(2)

式中：(xi,yi,zi,)是三維網格模型中第i個頂點的三維坐標；(Ri,Gi,Bi,)是第i個頂點的紋理值；n是網格模型中的頂點總數。用主成分分析法對形狀和紋理向量進行統計剖析，那么特定人臉模型的形狀S′和紋理T′可表示為：

S′=S+λα

(3)

T′=T+τβ

(4)

式中：λ和τ分別是前m個形狀和紋理特征向量組成的特征矩陣；α和β分別是形狀和紋理系數向量。

因為人臉模型的形狀復雜，僅考慮剛性形變很難從模板人臉轉化為特定人臉，在二維人臉圖像上選取11個特征點作為模型非剛性形變的依據，具體特征點選擇見圖1。

(a) 模板人臉 (b) 輸入人臉圖1 二維圖像人臉特征點

1.2 肌肉模型

抽象肌肉模型是根據人體解剖學和肌肉力學知識，通過模仿肌肉的收縮或拉伸牽扯網格模型發生形變，模擬出人臉表情。Waters[14]基于解剖模型，在人臉上劃分出18個肌肉群組作為表情模擬的肌肉向量，并將常用肌肉模型定義為兩大類：一種是括約肌，另一種是線性肌。括約肌控制實現嘴唇部分的變形，其影響范圍可用橢球體表示。線性肌的數學模型是一個向量，向量的兩端分別代表肌肉附著在相應骨骼上的固定端點和肌肉與皮膚組織相連的移動端點。在傳統肌肉模型中，大部分人臉肌肉的運動都是通過線性肌模擬實現的。

(5)

(6)

圖2 線性肌模型[14]

上述數學模型較好地模擬出了人臉肌肉對于皮膚的牽扯作用，在學術研究、工程實踐中均有了廣泛的使用。但在實際操作中發現這種線性肌模型存在不足之處：當受力系數較大時，形變后的網格會堆積在肌肉固定端，出現尖銳突起現象；而當受力系數過大時，網格拓撲結構被破壞，人臉模型出現破損，如圖3所示。

(a) 受力系數為0 (b) 受力系數為3

1.3 斥力彈簧

由人體肌肉力學與實際現象可知，肌肉收縮或拉伸造成的皮膚形變在靠近肌肉起點處逐漸緩和，最終在固定點處平滑。為了修復尖銳突起問題，使合成的表情更接近于真實，本節對線性肌模型提出改進。

三角面片受到來自肌肉固定端的拉力發生形變，被控點P受到的拉力為fmp，但同時，根據生理學知識，肌肉是具有彈性的彈簧模型，皮膚組織在被肌肉牽引的同時，也會承受因肌肉收縮帶來的斥力，基于此原理，本文在線性肌模型靠近骨節點處加入斥力彈簧模型，對網格被牽引產生的位移進行修正。

設彈簧的起點為固定端V1，作用半徑為R，位于作用范圍內的一網格頂點在松弛狀態的坐標為Pi，在受到線性肌牽引力移動后的坐標為Pj，那它受到彈簧模型的斥力為：

(7)

式中：Δp=Pj-Pi；k為勁度系數。對于肌肉彈簧模型作用范圍內每一點，勁度系數并不是一個常量，它與被控點所位于彈簧中的初始位置相關，當網格越接近肌肉固定端，形變改變就越困難，即勁度系數越大。因此，用非線性函數(式(8))對勁度系數進行調節：

(8)

式中：α是非線性因子；k0為初始勁度系數。

1.4 邊約束

在近固定端加入斥力彈簧模型后能解決尖銳突起問題，使網格形變在近固定端處變得圓潤平滑，因為斥力彈簧勁度系數的非線性特性，對于不同的網格產生的斥力不同，當彈簧區域內的網格形變被斥力抵消一部分后，位移修正程度小或不受到斥力修正的網格會重疊甚至穿過修正程度大的網格，造成網格拓撲結構被破壞，這也是傳統線性肌模型需要解決的第二個問題。圖4是三角網格在外力作用下發生形變的示意圖，三角網格拓撲結構破壞的原因是因為網格頂點與其對邊重疊甚至越過了對邊，如圖4中(c)和(d)兩種情況。

(a) (b)

為了解決該問題，參考皮膚彈性模型[15]，對網格模型引入邊約束。邊約束的思想是在三角網格的頂點與其所在三角面片的對邊之間垂線相連建立質點彈簧模型，其作用使得節點始終不能越過對邊網格。

(9)

式中：di為初始狀態下彈簧pei的長度；β是應力強度因子；δ是應力尺度因子。

圖5 邊約束模型

在加入兩種改進后的人臉模型中肌肉作用范圍內網格頂點除了受到來自線性肌的拉力fmp，還受到斥力彈簧的斥力fR以及周圍網格的邊約束力fers的合力，總受力變為：

(10)

2 自適應肌肉參數

若要實現肌肉模型控制人臉實現表情動畫，需要給三維人臉模型裝配上相應肌肉模型的固定端、移動端、起始半徑、終止半徑和控制范圍等參數。在以往研究中很少有對特定人臉相應肌肉參數特定化的研究，多為手動調試實現。為了減少手動調試時間，快速實現肌肉參數特定化，本節基于一般人臉與特定人臉的特征映射關系，提出一種自適應肌肉參數獲取方法。

人臉主要由臉形、眼睛、鼻子、嘴唇等元素組成，一般人臉模型可以看作一張具有所有人臉基本元素但不具備任何明顯特征的人臉，而根據人臉照片特征點對一般人臉模型形變生成的具有個性特征的人臉模型便是特定人臉模型。一般人臉模型與形變生成的特定人臉模型均具有MPEG- 4定義的人臉通用特征。

參考Waters肌肉模型，在人臉模型上設置18個線性肌模型用來合成表情，具體分布情況見圖6(a)，因為特定人臉模型的形變程度并不是整體均衡分布，通過分析線性肌與MPEG- 4定義的人臉特征點的分布(圖6(b))，將人臉模型劃為6個區塊(左半張臉劃分見圖6(c))，劃分時盡可能讓功能相同的肌肉模型分布在同一區塊內，每個區塊內肌肉模型的參數便取決于該區塊的局部形狀分析。

(a) (b) (c)圖6 肌肉模型分布與區塊劃分

將一般人臉模型的每個肌肉向量的所有參數設為pk，特定人臉模型對應肌肉參數為qk，通過分析肌肉向量與人臉特征點的關系和所在區塊的形狀特征，得到參數的映射關系使pk→qk。

肌肉模型參數中最為重要的便是肌肉端點位置，它是能擬合真實感人臉表情的基礎。Waters設置肌肉模型時，參考了真實人臉表情肌分布，由人臉解剖學知識可知[16]，肌肉通過收縮牽扯五官和皮膚位置形狀改變產生表情，對于不同的人臉均有著相同的面部表情肌結構，且表情肌的分布位置相對其作用區域的五官特征的位置是大致不變的，如此才可使長相各異的人們產生同樣的表情。但每個區塊內可能有上千個頂點，直接從區塊內根據特征點相對位置關系搜尋符合要求的頂點耗時長且誤差大，為了縮小查找范圍，再對區塊進行細分。對于人臉劃分后的區塊Si(i=1,2,3,…,6)，其寬度w、高度h和深度d分別是所在區塊內頂點坐標在X軸、Y軸和Z軸上最大與最小的差值。因為三維人臉模型是一個由曲面構成的模型，對于一般人臉模型和特定人臉模型，都沿著X軸和Y軸方向分別將對應區塊等分為M和N份。對于人臉區塊中任意網格頂點p，它對應的單元塊編號為Vij：

(11)

式中：cx=(Xmax-Xmin)/M；cy=(Ymax-Ymin)/N。

對于肌肉向量的兩個端點，可以通過與其相近的三個人臉特征點的相對位置關系獲得。設一般人臉上該肌肉端點V和對應的三個相近人臉特征點為A、B和C，特定人臉上對應的肌肉端點為V′，對應特征點為A′、B′和C′。端點V所在的單元塊編號為Vmn，則在特定人臉該區塊內同樣位置編號的單元塊內，搜索滿足以下關系的頂點坐標：

(12)

式中：D(,)是兩點間在曲面上的測地線距離；δ是設置的閾值。若單元塊內滿足位置關系的頂點不止一個，采用求和均值的方式選定。

(13)

3 實驗結果與分析

本文實驗研究所用特定人臉模型由二維圖片重建獲得，共獲取45個不同正臉樣本數據，一般人臉模型使用人臉制作軟件FaceGen Modeller導出，由12 108個三角面片、36 324個頂點組成。實驗采用Intel? CoreTMi7- 8500U 2.0 GHz、16 GB內存的PC平臺。

第1節中針對Waters傳統肌肉模型的缺點提出兩種改進，一是加入斥力彈簧模型，二是在網格模型中加入邊約束。為了驗證本文方法的效果，分別在二維肌肉模型上進行仿真,并與當前方法進行對比。

圖7是同一線性肌模型在相同較大受力系數情況下二維網格形變效果。文獻[17]通過設置形變終止半徑來解決尖銳突出的問題。可明顯看出，本文方法與文獻[17]均能解決近固定端的尖銳突出，且均存在網格拓撲結構被破壞的問題。但對比可見，文獻[17]改善后的網格形變在終止半徑處戛然而止，形變過渡突兀，最終形變處不像真實表情皮膚形變一樣圓滑。而本文所提出的斥力彈簧方法改善后的網格形變效果過渡自然，在近固定端逐漸變得圓潤平滑。

(a) 原始線性肌模型

(b) 加入文獻[17]方法

圖8是同一線性肌模型在相同過大受力系數情況下二維網格拓撲結構崩潰效果。文獻[18]提出對網格產生的位移進行約束改善拓撲結構被破壞的問題。圖8中改善前后效果對比證明了文獻[18]方法與本文邊約束方法均能解決網格因受力過大而超出肌肉模型控制區域的問題，但文獻[18]方法改善后在肌肉控制區域內部網格仍然存在頂點與對邊重疊的現象，而本文所提出的邊約束方法改善后肌肉控制區域內部網格間也無重疊現象。

(a) 原始線性肌模型

(b) 加入文獻[18]方法

圖9是在三維人臉模型上以左顴大肌為參考肌肉加入本文所提出的兩種方法改進前后對比結果，上圖為改進前，下圖為改進后。可以看出，改進后的線性肌模型能明顯避免網格拓撲被破壞，并緩和了固定端處尖銳突出現象。

圖9 改進前后三維人臉肌肉變形效果

圖10 人臉建模和肌肉端點定位

表1 左半張臉肌肉參數誤差值

經過多次測試，本文方法可以大大縮短為三維人臉配置肌肉模型的時間，能在10分鐘至20分鐘內完成肌肉模型參數計算和后續微調，與當前主流手動添加模型相比，效率明顯提升。特定人臉模型裝配上肌肉模型后，能通過調整受力系數，模擬出真實表情。

4 結語

本文提出一種基于改進肌肉模型的自適應參數獲取方法。針對傳統肌肉模型的缺點，對線性肌提出兩點改進，一是在肌肉模型中加入斥力彈簧模型；二是對網格進行邊約束。經過實驗發現改進效果好，杜絕了網格拓撲受損壞的問題。自適應肌肉參數通過特定人臉與一般人臉的映射關系獲得，顯著提升了為三維人臉配置肌肉模型的效率，減少了表情合成所需時間。

但是本文的研究均基于線性肌，對于控制眼睛和嘴巴開閉的括約肌模型沒有研究，下一步將在人臉模型中加入括約肌，并研究其自適應參數算法。