基于樣例的面部表情基生成

高婭莉,譚光華,郭松睿,范曉偉

(湖南大學信息科學與工程學院,長沙410082)

基于樣例的面部表情基生成

高婭莉,譚光華,郭松睿,范曉偉

(湖南大學信息科學與工程學院,長沙410082)

針對現(xiàn)有blendshape表情基的生成多依賴手工建模和微調(diào)的問題,提出一種基于樣例的表情基自動生成方法。以一組通用的面部模型為先驗模型,實現(xiàn)每個blendshape的表情語義逐步求精。通過該方法生成的blendshape表情基能夠?qū)⑼ㄓ媚Ｐ偷谋砬檎Z義和表情動態(tài)映射到目標模型上,從而實現(xiàn)模型在應用上的可擴展性,使用戶能夠按照自身需求逐步計算出更為豐富的面部表情模型。實驗結(jié)果表明,在梯度空間建立形變約束,并將其轉(zhuǎn)化為一個關(guān)于blendshape的優(yōu)化問題,能更加有效地控制blendshape表情基的變化趨勢,并且計算時間更短,真實感更強。

blendshape表情基;基于樣例;迭代優(yōu)化;梯度空間;真實感;表情動畫

1 概述

人臉模型參數(shù)化是特效電影和計算機游戲中構(gòu)建虛擬角色的一項重要工作。基于blendshape的動畫技術(shù)能夠逼真地創(chuàng)建出各種虛擬角色的表情動畫。由于其直觀的控制方式,深受動畫師們喜愛。然而,為了追求高度的真實感,動畫師即使已經(jīng)最大限度地控制了一個特定面部的各種細微變化,也還需要調(diào)整數(shù)百個blendshape表情基。例如,電影《指環(huán)王》中的Gollum模型總共用了946個blendshapes［1］。因此,需要動畫師既要高效地建立一組個性化的面部表情基又能夠使其自動調(diào)整以匹配表演者的面部表情。

文獻［2-5］使用多線性的主成份分析(Principal Component Analysis,PCA)模型,提出了面部表情基的自動創(chuàng)建方法,然而最終的線性表情基對于表情動畫的控制并沒有直觀上的意義,導致動畫師無法直接使用。文獻［6］提出一種基于非線性聯(lián)合學習的三維人臉表情合成方法,該方法的表情重定向合成結(jié)果較好,但通過系數(shù)插值合成表情時可能產(chǎn)生由于過度變形導致的扭曲表情。文獻［7］提出了一種通用的面部表情模擬技術(shù),該方法能有效地對3D

模型或2D圖像進行表情轉(zhuǎn)移,但該方法計算效率不高且真實感不夠好。

本文提出一種基于樣例的blendshape表情基自動生成方法。該方法利用一組通用的面部模型作為先驗模型,與新創(chuàng)建的目標模型作為輸入,將模板模型的表情動態(tài)映射到目標網(wǎng)格上［8］,最終采用迭代優(yōu)化算法求解最優(yōu)blendshape表情基及對應的混合權(quán)重。該方法摒棄了每一個blendshape必須與一個精確表情對應的限制,而只需要一組數(shù)量較少的樣例模型及滿足粗略初始猜想的混合權(quán)重即可。

2 基于樣例的blendshape表情基自動生成

2.1問題描述

基于樣例的表情基生成問題可描述為:給定已知樣例人臉模型S和S′,如何根據(jù)目標人臉模型T生成T′。

創(chuàng)建新的目標模型(其中包括自然表情和m個其他表情)作為輸入。根據(jù)非剛性匹配算法［10］將通用模型的自然表情S0與目標模型對齊,產(chǎn)生一組網(wǎng)格集合T={T1,T2,…,Tm}作為訓練表情。本文的目的是計算一組新的blendshape表情基B={B0,B1,…,Bn},使之能夠最大程度匹配表演者的面部外觀特征和運動特征。因此,需要求解出目標blendshape表情基Bi以及對應的權(quán)重xij,使得表情基的線性組合與訓練表情的誤差最小,即:

該問題是一個雙線性問題,它的求解存在2個主要問題:(1)在訓練表情很少(m＜n)的情況下,如何計算目標表情基Bi;(2)在相同權(quán)重設(shè)置下,如何確保模板模型和目標模型之間的表情語義距離最小。

為了解決上述問題,本文采用了如下迭代優(yōu)化方法交替迭代進行求解,其步驟如下:(1)保持混合權(quán)重xij不變,優(yōu)化blendshape表情基;(2)保持blendshape表情基不變,優(yōu)化混合權(quán)重。為了提高計算速度,用戶需選擇適當?shù)幕旌蠙?quán)重合成一個初略的表情Ej,使其與訓練表情Tj大致對應,從而產(chǎn)生逼近的權(quán)重,為步驟(1)提供初始值,為步驟(2)提供表情的語義約束。開始訓練表情基時,只需設(shè)定幾個足夠表現(xiàn)力的表情的混合權(quán)重即可,通常不超過4個,即m≤4。

2.2 目標blendshape模型的重構(gòu)

在明確問題之后,首先需要將形式化的問題與實際網(wǎng)格模型建立起聯(lián)系,即:為了實現(xiàn)模板模型的表情能映射到目標模型上,需要對各個模型的網(wǎng)格進行操作,假設(shè)源模型和目標模型都是由三角網(wǎng)格構(gòu)成,則可以針對網(wǎng)格中任意一個由頂點v1,v2,v3構(gòu)成的三角形r,定義一個3×3的矩陣Ar=［v3-v1,v2-v1,n］,n=(v3-v1)×(v2-v1)為三角形的法向量。這里將源三角形r到目標三角形d的變形梯度定義為Hr→d=Ad·Ar-1。其次,在梯度空間建立約束形成優(yōu)化問題,求解這個優(yōu)化問題便能重構(gòu)出最終的blendshape表情基。

2.3 優(yōu)化混合權(quán)重

給定blendshape表情基集合B,就能求出最優(yōu)的混合權(quán)重xij,使用最小二乘擬合算法重構(gòu)訓練表情Tj。定義如下公式求解xij:

3 實驗結(jié)果與分析

首先,選用文獻［8］中的面部網(wǎng)格作為模板模型S。其次,創(chuàng)建目標模型作為訓練表情集合T。模板模型中包括10種基本表情,分別是自然表情、生氣、哭泣、暴怒、露齒笑、嘲笑、憤怒、悲傷、微笑、驚訝。

每次設(shè)置中,主要控制參數(shù)α和λ,便能調(diào)整輸出最優(yōu)的blendshape表情基。當α?1時,輸出的blendshape模型接近于直接進行變形傳輸后產(chǎn)生的結(jié)果。在這種情況下,即便λ=0,實驗中也觀察不到明顯的變化。當α接近于0.1時,輸出的blendshape有可能組合后逼近訓練表情,但其變化可能比α?0.1時更敏感。所有的實驗中,僅使用了10次交替迭代,其中第一次迭代時α=0.5,λ=100。最后一次迭代時權(quán)重逐漸減小到α=0.1,λ=10。

ij增加隨機變量x后對模型的影響。

圖1 初始混合權(quán)重的變化對模型擬合效果的影響

圖2顯示了參數(shù)α對式(4)中E的影響。它有效地控制了通用模型和目標模型之間的映射。當其減小到0.05時出現(xiàn)過擬合現(xiàn)象,在重構(gòu)blendshape表情基時導致失真。實驗發(fā)現(xiàn)α=0.1時折中地滿足了精度和魯棒性的要求。

圖2 參數(shù)α對誤差E的影響

本文應用的方法主要針對非標記面部表情動畫。實驗表明很少的訓練表情(4個)便足以精確地表達一個密集的表情空間。如果沒有基于樣例進行優(yōu)化,blendshape表情基模型將不具備足夠的表現(xiàn)力。

本文與3種具有代表性的方法:基于主成份分析(PCA)的方法［5］、面部表情模擬(Facial Expression Analogy,FEA)方法［6］和非線性協(xié)同學習(Nonlinear Co-learning,NCL)方法［7］進行比較。不同表情基生成方法對比如圖3所示。從表1可以看出,對于4個訓練表情,進行優(yōu)化的實驗大約需要81 s,約等于分別進行blendshape優(yōu)化、重構(gòu)和參數(shù)優(yōu)化所用的時間總和。

圖3 不同表情基生成方法對比

表1 4種方法消耗時間比較s

本文方法假定訓練樣例對應有效的表情blendshape組合。例如,使用先驗模型無法表達鼓嘴吹氣的表情。然而,通過驗證E是否超過某一閾值就可以檢測出模型中的表情是否丟失。因此,需增加語義不同的表情補充表情基空間。輸入其他模型產(chǎn)生的效果如圖4所示。目前,算法的交互速率還不夠快。算法的復雜度為O(a(m+N)),非線性求解部分的復雜度為O(n3)。

圖4 輸入其他模型產(chǎn)生的效果

4 結(jié)束語

本文從自動生成個性化的blendshape表情基入手,根據(jù)樣例表情迭代地優(yōu)化表情基和混合權(quán)重,從而達到提高動畫師工作效率,甚至讓非專業(yè)用戶也能很快地生成個性化的blendshape模型的目的。相較于單純依賴手工建模并微調(diào)每個blendshape模型的方式,本文方法更方便快捷且具有可擴展性。從實驗結(jié)果可以看出,本文方法是可行的,真實感高,能夠生成高質(zhì)量、個性化的blendshape模型。下一步工作將嘗試如何使用較少的樣例實現(xiàn)與更多的表情基自動建立對應關(guān)系,同時,進一步提高表情映射的精度。

［1]Lewis J P,Mooser J,Deng Zhigang,et al.Reducing Blendshape Interference by Selected Motion Attenuation［C］//Proceedings of Symposium on Interactive 3D Graphics and Games.Washington D.C.,USA:［s.n.］, 2005:25-29.

［2]Blanz V,Vetter T.A Morphable Model for the Synthesis of 3d Faces［C］//Proceedings of the 26th Annual ConferenceonComputerGraphicsandInteractive Techniques.NewYork,USA:ACMPress,1999: 187-194.

［3]Blanz V,Basso C,Poggio T,et al.Reanimating Faces in Images and Video［J］.Computer Graphics Forum,2003, 22(3):641-650.

［4]Vlasic D,Brand M,Pfister H,et al.Face Transfer with Multilinear Models［J］.ACM Transactions on Graphics, 2005,24(3):426-433.

［5]Weise T,Gool L V,Venue M P,et al.Face/off:Live Facial Puppetry［C］//Proceedings of Symposium on Computer Animation.［S.l.］:ACM Press,2009:7-16.

［6]Song Mingli,Zhao Dong,Theobalt C,et al.A Generic Framework for Efficient 2-D and 3-D Facial Expression Analogy［J］.IEEE Transactions on Multimedia,2007, 9(7):1384-1395.

［7]黃曉欽,林裕旭,宋明黎,等.非線性聯(lián)合學習的三維人臉表情合成方法［J］.計算機輔助設(shè)計與圖形學學報,2011,23(2):363-370.

［8]Sumner R W,Popovic'J.DeformationTransferfor Triangle Meshes［J］.ACM Transactions on Graphics, 2004,23(3):399-405.

［9]Liu Xuecheng,Mao Tianlu,Xia Shihong,et al.Facial Animation byOptimizedBlendshapesfromMotion Capture Data［J］.Computer Animation and Virtual Worlds,2008,19(3-4):235-245.

［10]Coleman T F,Li Yuying.An Interior Trust Region ApproachforNonlinearMinimizationSubjectto Bounds［J］.SIAMJournalonOptimization,1996, 6(2):418-445.

［11]Li Hao,Adams B,Guibas L J,et al.Robust Single-view GeometryandMotionReconstruction［J］.ACM Transactions on Graphics,2009,28(5).

［12]馬昌鳳.最優(yōu)化方法及其Matlab程序設(shè)計［M］.北京:科學出版社,2010:166-178.

編輯 顧逸斐

Facial Expression Radical Generation Based on Example

GAO Yali,TAN Guanghua,GUO Songrui,FAN Xiaowei
(College of Information Science and Engineering,Hunan University,Changsha 410082,China)

To solve the problem of blendshapes generation mostly depending on manual modeling and fine-tuning,this paper proposes an automatic generation method about example-based expression blendshapes.Using a set of generic face models as the prior,it makes each generated blendshapes approach to its real semantics.Expression blendshapes generated by this method can map semantics and expression dynamics from the generic model to the target model.The method achieves model’s scalability in application and enables users to gradually calculate more expression models according to their own needs.Experimental results show that the method,constructing a gradient space to optimize blendshapes, outperforms the state-of-the-art methods both in speed and reality.

blendshape expression radical;example-based;iterative optimization;gradient space;reality;facial animation

高婭莉,譚光華,郭松睿,等.基于樣例的面部表情基生成［J］.計算機工程,2015,41(3):258-261.

英文引用格式:Gao Yali,Tan Guanghua,Guo Songrui,et al.Facial Expression Radical Generation Based on Example［J］.Computer Engineering,2015,41(3):258-261.

1000-3428(2015)03-0258-04

:A

:TP391

10.3969/j.issn.1000-3428.2015.03.048

國家科技支撐計劃基金資助項目“文化旅游資源挖掘與體驗式平臺研發(fā)與示范”(2014BAK08B00,2014BAK08B01)。

高婭莉(1988-),女,碩士研究生,主研方向:計算機動畫,數(shù)字圖像處理;譚光華,助教、博士;郭松睿,博士研究生;范曉偉,本科生。

2014-04-02

:2014-05-09E-mail:gaoyali2007@163.com