計算機人臉表情動畫技術(shù)綜述

(廈門大學 軟件學院，福建 廈門 361005)



摘要：真實感的計算機人臉表情動畫是計算機圖形學領(lǐng)域最基本的問題之一。由于其具有廣闊的應(yīng)用前景，引起了越來越多的研究者的關(guān)注與極大的興趣。針對近幾十年來該領(lǐng)域的發(fā)展狀況，對計算機人臉表情動畫技術(shù)進行綜述。通過將人臉表情動畫技術(shù)分為基于幾何學的方法和基于圖像的方法，詳細闡述并比較了相關(guān)的研究成果，分析和討論了它們的優(yōu)缺點，并對人臉表情動畫技術(shù)的未來發(fā)展進行了展望。

關(guān)鍵詞：人臉表情動畫； 基于幾何學的方法； 基于圖像的方法

中圖分類號：TP3919文獻標志碼：A

文章編號：1001-3695(2008)11-3233-05



Survey on computer facial expression animation technology



YAO Jun-feng， CHEN Qi



(School of Software， Xiamen University， Xiamen Fujian 361005， China)



Abstract:Realistic computer facial expression animation is one of the most important issues in computer graphics field. Because of its broad application prospects， it attracts widespread concerns and great interest for a growing number of researchers. Based on development in this field in recent decades， the article reviewed computer facial expression animation technologies. This paper classified the facial expression animation technologies into geometry-based methods and image-based methods. It elaborated and compared the relative research results in facial expression animation field， analyzed and discussed their advantages and disadvantages. At last， it provided some perspectives on what the future may have in facial expression animation field.

Key words：facial expression animation; geometry-based methods; image-based methods

0引言

人臉建模與動畫技術(shù)包括人臉的建模技術(shù)以及模擬真實人臉的動畫技術(shù)，而真實感的計算機人臉動畫是計算機圖形學研究領(lǐng)域最基本的問題之一；同時，由于人臉的生理結(jié)構(gòu)十分復雜以及人們對人臉的細節(jié)變化十分敏感，它也就成為了最困難和最具挑戰(zhàn)性的問題之一。

Noh等人^[1]總結(jié)了研究人臉建模與動畫的最終目標是：建立具有高度真實感的動畫，能夠?qū)崟r運行，盡可能自動化以及自適應(yīng)的人臉建模與動畫系統(tǒng)。

由于計算機人臉動畫有著廣泛的應(yīng)用領(lǐng)域，它引起了越來越多的學者的極大興趣。電影和計算機游戲等娛樂行業(yè)是計算機人臉動畫的主要推動力量，它不僅可以用來制作虛擬現(xiàn)實環(huán)境中的各種虛擬人物，還可應(yīng)用于虛擬主持人、可視電話、遠程網(wǎng)絡(luò)會議等多媒體的制作和傳輸；另外，它還可以應(yīng)用于科學可視化的領(lǐng)域，如醫(yī)學輔助治療、醫(yī)學美容、法庭輔助辨認分析等；它在人機交互等日益增長的信息通信技術(shù)領(lǐng)域也有著很好的應(yīng)用前景。

本文主要總結(jié)了目前已經(jīng)使用過的技術(shù)以及在已有研究的基礎(chǔ)上對人臉動畫領(lǐng)域的未來趨勢作了預(yù)測。

1人臉表情動畫方法的分類與關(guān)鍵研究成果

計算機人臉表情動畫方法可以分成兩類：基于幾何學的方法和基于圖像的方法^[1，2]。基于幾何學的方法是指由頂點組成多邊形并展示其表面的三維模型的處理；基于圖像的方法是指從一張二維圖像或照片變換到另一張二維圖像或照片進而得到想要的動畫效果。基于幾何學的方法包括關(guān)鍵幀插值法、參數(shù)化方法、基于偽肌肉變形的方法以及基于肌肉的方法；基于圖像的方法包括Morphing方法^[3]、表演驅(qū)動方法^[4]和表情編碼系統(tǒng)。

人臉建模及動畫與人臉表情的合成是相對應(yīng)的^[2，5]。人臉動畫得益于而又先于普通人體動畫。在基于肌肉的建模與動畫中，普通人體動畫與人臉動畫有許多相似的研究問題，如肌肉和軟組織的變形等，包括有限元方法和質(zhì)點—彈簧模型方法^[6，7]；然而人臉動畫與人體動畫也有許多不同的地方，如參與人臉表情的肌肉數(shù)量更多、軟組織變形要求更強的真實感、人的頭部具有多自由度。基于圖像的變形技術(shù)是主要的人臉動畫技術(shù)，而不經(jīng)常用于普通人體動畫。

11基于幾何學的方法

111關(guān)鍵幀插值法

關(guān)鍵幀插值法是最簡單也是最常用的方法。它指的是在三維空間中獲取空間頂點并將它從一個位置移動到另一個特定的位置，計算機計算這兩點之間的所有點，然后將該點沿計算得到點的軌跡運動。如果該頂點是多邊形的一部分，觀察者將產(chǎn)生表面變形的幻覺。

人臉表情動畫可以采用對關(guān)鍵幀的多種插值方式。一個新的人臉表情不但可以通過插值兩個關(guān)鍵位置生成，而且可以對四個關(guān)鍵位置插值生成(雙線性插值)，或插值八個關(guān)鍵幀(三線性插值)來生成。插值算法可以是線性的、非線性的或混合的。在插值時，虛擬人臉模型可以是具有固定的拓撲結(jié)構(gòu)，也可以是具有變化的拓撲結(jié)構(gòu)：當拓撲結(jié)構(gòu)相同時，可以直接對曲面頂點或控制點進行插值；當拓撲結(jié)構(gòu)不同時，可以先將各關(guān)鍵幀中的人臉模型轉(zhuǎn)換為拓撲結(jié)構(gòu)相同的模型，再進行插值。

Parke^[8]最早在計算機人臉動畫領(lǐng)域使用此方法，他定義了大約400個頂點，由這些頂點構(gòu)成250個多邊形；然后由這些多邊形組成多邊形表面，通過利用余弦插值方法來產(chǎn)生不同表情的中間幀，進而產(chǎn)生動畫序列來模擬人臉表情變化。這些初始的表情幀是通過多幅照片得到的。該方法通過較少的多邊形描述人臉表面，以使得邊和點與動畫需求相一致，在當時可以容易地獲得每一關(guān)鍵幀的數(shù)據(jù)；而隨著真實感要求的提高，頂點數(shù)量以數(shù)量級增長，模型復雜度增大，獲得每一關(guān)鍵幀數(shù)據(jù)將是行不通的。

插值方法的優(yōu)點是迅速、操作直觀，只需定義少數(shù)關(guān)鍵幀即可產(chǎn)生一段基本臉部動畫。其缺點是：a）它不能在大范圍內(nèi)創(chuàng)建各種真實感的人臉形狀；b）不適宜不同人臉的組合；c）不是基于解剖學原理的。

112參數(shù)化方法

Parke^[9]提出一個稱為直接參數(shù)化的方法。該方法仍然用多邊形描述人臉表面，但用更少的參數(shù)來描述運動變化。用戶可以通過改變這些參數(shù)的值直接、方便地創(chuàng)建各種人臉的形狀和表情。這些參數(shù)包括：a)形狀參數(shù)。用于控制個性人臉的形狀，包括人臉的大小、形狀、人臉各個特征的相對位置以及控制人臉全局特征的參數(shù)，如高度、寬度比等。b)表情參數(shù)。用來控制表情，如眼睛區(qū)域的表情參數(shù)包括眼簾睜開、瞳孔的大小、眉毛的形狀和位置等。該方法是基于經(jīng)驗描述虛擬的人臉特征，不考慮各個區(qū)域之間低層次的連接關(guān)系，不但可生成一個特定臉的表情，而且支持多個人臉之間的轉(zhuǎn)變。

Dipola擴展了Parke的模型，使得人臉滿足非對稱性和較大范圍的臉的類型。該模型具有全局的、局部的壓扁、拉伸和更多的表情參數(shù)。Cohen等人^[10]增加了唇和舌頭的參數(shù)、圖像紋理映射參數(shù)、膚色變換參數(shù)等。Pearance等人^[11]將語音的音素也作為參數(shù)映射到原始參數(shù)模型上，它是最小的語言理解和處理的原型。

參數(shù)化方法有如下優(yōu)點：a）克服了簡單插值法的一些限制，它通過選取一組獨立的參數(shù)值來定義人臉表情；b）有別于插值技術(shù)，參數(shù)化方法能對特殊的人臉形狀進行精確控制；c）通過參數(shù)的組合，只需少量計算就能提供較大范圍的臉部表情。同時它也具有如下缺點：a）無法對受壓力下的人臉皮膚進行變形；b）當兩個參數(shù)施加于同一頂點時，將產(chǎn)生參數(shù)沖突，從而使產(chǎn)生的人臉表情失去真實感，對此，人們曾試圖加以改進，如只在臉部特定區(qū)域使用參數(shù)化方法，但這樣又會在臉部畫面形成運動邊界；c）對基于人臉網(wǎng)格的拓撲選擇參數(shù)集進行完全參數(shù)化是不可能的，而且由于設(shè)置參數(shù)值時涉及大量的手工調(diào)節(jié)，可能導致不真實的運動或形狀。

113基于偽肌肉變形的方法

基于偽肌肉變形的方法比以上兩種方法計算更加精確。它利用基于幾何學的變形方法模擬肌肉運動，如自由變形(free-form deformation，F(xiàn)FD)^[12]和有理自由變形^[13，14]等。

FFD最早由Sederberg等人^[12]在1986年提出，它通過控制點的操作對具有一定體積的物體進行變形。該方法由以下四個步驟組成：a)構(gòu)造一個足夠大的三參數(shù)自由體（如張量積NURBS體）；b)將欲變形的物體嵌入到自由體中，變形物上各點都可以對自由體進行反求參數(shù)；c)改變自由體控制頂點；d)對變形物上各點，由參數(shù)按得到的新控制頂點計算該點變形后的新位置，得到新的變形體。

Sederberg等人^[12]最初引入的是基于三變量B樣條的變形工具Lattice，其形狀為平行六面體，這在一定程度上限制了它的運用。Coquillart^[15]消除了非平行六面體Lattice的限制，提出拓廣的自由變形（EFFD），初始的Lattice只允許棱柱和圓柱這些形狀，因而增加了FFD的適用范圍。

FFD方法具有如下優(yōu)點：a）將變形控制的形式從對實際曲面描述轉(zhuǎn)移到不再依賴于曲面本身的形式，既能用于任何形式的曲面（如平面、二次曲面、參數(shù)曲面等），又能用于實體造型，而且不受表示模式的制約；b）它既能對原始曲面進行局部變形，又能進行全局變形，而且參數(shù)曲面經(jīng)變形后仍然是參數(shù)曲面。同時，它在應(yīng)用上也存在一些限制：a）計算量大，當被變形曲面的控制頂點多時速度慢；b）只能在對變形后的物體尺寸沒有嚴格要求的情況下使用。

有理自由變形(RFFD)則對每一個控制點增加了一個權(quán)重因子，從而在變形時新增了一個自由度，即可以通過改變權(quán)重因子而不是改變控制點的位置進行變形。當所有的權(quán)重因子都為1時，RFFD就變成了FFD。

有理自由變形相對關(guān)鍵幀插值法和直接參數(shù)化方法來說會得到更好的結(jié)果，但是忽視了皮膚表面的細節(jié)變化，如皺眉等；該方法只對人臉皮膚表面的肌肉運動效果進行模擬，無法模擬真實的肌肉，因此，無法保證皮膚的變形與它們的運動相一致。

114基于肌肉的方法

Platt等人^[16]最早研究基于肌肉的模型。在他們的系統(tǒng)中，構(gòu)造了一個質(zhì)點—彈簧模型，將肌肉作為抽象層。該方法用來模擬人體真實的肌肉與肌肉運動。具有里程碑意義的是Waters^[17]提出的模型，該模型是第一個單純的基于肌肉的人臉模型。他根據(jù)肌肉的運動特性定義了三種不同類型的肌肉，即線性肌、塊狀肌和括約肌。這些肌肉不依賴于骨骼結(jié)構(gòu)，使它們可以適應(yīng)不同的面部拓撲結(jié)構(gòu)。Waters的基本原理也是目前大多數(shù)基于物理的模型多采用的基本原理。但是，他把皮膚描繪成沒有基本結(jié)構(gòu)的幾何表面，通過對表面進行簡單的幾何變形來實現(xiàn)模型的變形，而無法實現(xiàn)細微的組織變形。

Terzopoulos等人^[18]通過對肌肉模型引入解剖學原理得到更加真實的人臉變形。他們將肌肉嵌入到基于解剖學的人臉皮膚模型上。該人臉皮膚模型由三個皮膚層組成，這些皮膚層構(gòu)成質(zhì)點—彈簧模型，通過對肌肉施加壓力來變形該模型，從而產(chǎn)生人臉表情。同時，該方法也增加了計算量。

Zhang等人^[19]用非線性的質(zhì)點—彈簧模型對皮膚進行建模，可以模擬動態(tài)的真實皮膚，該模型不再被看做是連續(xù)的表面，因為每個質(zhì)點和每個彈簧可以被單獨地控制。

Pasquariello等人^[20]和Bui^[21]通過將他們的模型分割成多個區(qū)域，可以達到對肌肉運動更好的控制。Pasquariello等人通過計算頂點的物理位移來模擬皺紋，可以模擬真實的皮膚，但是他們不能對肌肉和皮膚的彈性行為進行物理模擬。Bui通過將法線方向上受影響的點轉(zhuǎn)移到肌肉運動方向上來模擬皺紋。

Tang等人^[22]介紹了一個基于肌肉的非均勻有理B樣條系統(tǒng)。該系統(tǒng)首先定義了多個控制點，然后通過改變這些控制點的權(quán)重來達到肌肉變形。

Sifakis等人^[23]使用Teran等人^[6]的更加一般的肌肉構(gòu)造原理構(gòu)造了一個在解剖學上非常精確的人臉肌肉模型。該模型是基于有限元算法，其肌肉行為能與環(huán)境交互，也就是說，肌肉的運動能夠受碰撞等外界產(chǎn)生的力的影響。

簡言之，基于肌肉的方法所采用的模型一般由多層組成，層間由彈性單元連接，彈性單元可以模擬節(jié)點的相互作用，達到真實地模擬人臉及其表情變化的效果。但該方法需要大量的計算，不同的模型在考慮的深度和復雜性上差別很大：簡化的模型很難達到理想的視覺效果；復雜的模型則計算量大，即使一般復雜度的模型也難以達到實時。

12基于圖像的方法

121Morphing方法

由于電影等娛樂行業(yè)對真實感的強烈要求，基于圖像的技術(shù)仍然是常用的方法。其中比較常用的是Morphing方法。該方法實現(xiàn)兩個指定圖像和模型之間的變形轉(zhuǎn)換。首先，在兩個圖像或模型上確定一套特征點集，用映射函數(shù)確定兩個目標對象之間特征點集中特征點的對應(yīng)關(guān)系；然后用相關(guān)函數(shù)確定中間圖像的特征點位置或紋理空間的坐標值；最后用插值函數(shù)計算非特征點的位置或紋理空間的坐標值。Morphing方法包括2D Morphing和View Morphing。2D Morphing能夠產(chǎn)生真實的臉部表情圖像，但是該方法要求確定特征點之間的對應(yīng)關(guān)系以及沒有考慮對視點和對象姿勢的變化處理，使得真實的頭部運動無法實現(xiàn)。View Morphing克服了上述缺點，它利用傳統(tǒng)的射影幾何學的理論，與2D Morphing相結(jié)合能夠準確地實現(xiàn)3D對象之間的變形，但是變形結(jié)果會受到圖像中目標對象可視度變化的影響。

Beier等人^[24]最早提出了兩個圖像之間的Morphing方法。

Pighin等人^[25]將2D Morphing技術(shù)與幾何模型的3D變形相結(jié)合來自動產(chǎn)生具有較高真實感的3D人臉表情。該方法利用人臉照片產(chǎn)生真實感的三維人臉模型，然后通過不同人臉模型之間的變形實現(xiàn)不同人臉表情之間的平滑過渡。首先從多張未經(jīng)校準的人臉照片出發(fā)，利用手工操作進行相機定標；然后利用散亂數(shù)據(jù)插值的方法對通用人臉網(wǎng)格模型進行變形，使其適配到特定人臉；最后為模型選取一張或多張紋理照片進行紋理映射。這個過程要在特定人臉的不同表情中重復執(zhí)行。為了實現(xiàn)這些表情間的平滑過渡，他們在相應(yīng)人臉模型間進行3D形狀變形，在這個過程中同時也實現(xiàn)了相應(yīng)紋理間的融合。

Oka等人^[26]實現(xiàn)了一個從人臉照片到網(wǎng)格模型的實時紋理映射系統(tǒng)。Bregler等人^[27]提出了一個視頻重寫（video-rewriting）技術(shù)。該技術(shù)首先在訓練膠片中跟蹤說話人嘴巴上的特征點，然后利用變形方法將這些嘴巴動作結(jié)合到最終的視頻序列中，從而達到根據(jù)語音合成嘴巴的運動變化，產(chǎn)生人物說話的效果。Ezzat等人^[28]對該方法進行了一些改進，并且減小了表情庫。Cosatto等人^[29]獲得了較好的真實感效果，并且實時地合成動畫。

122表演驅(qū)動的方法

該方法捕捉在各種面部表情下真實人臉部的特征來驅(qū)動臉部模型產(chǎn)生真實的臉部表情。主要做法是在一個表演者的臉上設(shè)置許多特征點，在表演者表演各種面部表情時，捕捉這些特征點的運動向量，然后使用這些運動向量來驅(qū)動臉部模型的相應(yīng)特征點產(chǎn)生臉部表情。它提供了一種直觀和有效的方式直接控制臉部表情的產(chǎn)生。而且，它們不依賴于實現(xiàn)，也就是說，既可以用基于圖像的方法實現(xiàn)，也可以用基于幾何學的方法實現(xiàn)。

Williams^[4]最早使用一個人的靜態(tài)臉部紋理圖像捕捉2D特征點的運動產(chǎn)生臉部表情動畫。Guenter等人^[30]作了進一步的研究，他們建立了一個系統(tǒng)，該系統(tǒng)從視頻流中獲得幾何、顏色、紋理等人臉表情數(shù)據(jù)，然后利用高質(zhì)量的可變形的由動態(tài)紋理映射的多邊形網(wǎng)格模型真實地再現(xiàn)人臉表情。該系統(tǒng)通過3D掃描儀獲得表演者人臉的幾何數(shù)據(jù)，接著在人臉上定義了182個特征點，為了得到人臉的表演數(shù)據(jù)，利用多個不同分辨率的攝像機同時從不同的角度記錄臉部的運動；然后利用由攝像機得到的特征點的數(shù)據(jù)對網(wǎng)格模型進行變形得到人臉表情；最后，利用在攝像機跟蹤特征點的表演數(shù)據(jù)的過程中得到不同分辨率的視頻圖像，根據(jù)它們在不同位置的不同權(quán)重生成人臉紋理，進行紋理影射。

Blanz等人^[31]將基于圖像的技術(shù)與基于幾何學的技術(shù)相結(jié)合來模擬表演者沒有表演出來的動作以增強真實感。Zhang等人^[32]也將基于圖像的技術(shù)和基于幾何學的技術(shù)相結(jié)合，利用多張不同的人臉表情圖像中的皺紋等細節(jié)信息產(chǎn)生更具真實感的人臉表情，人臉特征點在這些表情圖像中的幾何位置必須被事先標定。他們還利用了一種能夠預(yù)測在跟蹤人臉過程中可能丟失特征點的技術(shù)來自動地從這些圖像中恢復特征點數(shù)據(jù)，這就降低了對特征點跟蹤和恢復技術(shù)的要求。

在Gutierrez-Osuna等人^[33]的系統(tǒng)中，用含有滿足MPEG-4規(guī)范的面部特征點的多邊形模型，通過肌肉運動可以得到人臉表情，這些肌肉運動與MPEG-4規(guī)范相一致。

123表情編碼系統(tǒng)

表情編碼系統(tǒng)可以被認為是表情映射方法的替代技術(shù)。它提供了一個用于產(chǎn)生所有可能的面部表情的肌肉運動的數(shù)據(jù)庫，可以通過簡單地編寫想要的表情而讓計算機去模擬。最常用的表情編碼系統(tǒng)是臉部運動編碼系統(tǒng)(facial action coding system，F(xiàn)ACS)^[34]和MPEG-4模型^[35，36]。

FACS是一個被廣泛應(yīng)用的臉部表情編碼系統(tǒng)，它最早是被作為心理學的工具由Ekman等人^[34]提出。FACS以自上而下的方式將臉的運動分割成一系列運動單元(AU)，這些單元是最基本的單位，不能分為更小的動作單元。FACS采用了44個能夠獨立運動的表情運動單元（如上嘴唇翹起(AU10)、眼瞼閉合(AU17)等）來描述面部動作，并與使面部表情改變的肌肉結(jié)構(gòu)緊密相連。一個AU可以由多個肌肉運動引起，而一個肌肉運動也可以影響多個AU，因此，AU和肌肉運動之間是復雜的多對多關(guān)系。在這個系統(tǒng)中，還定義了六種最基本的表情（驚奇、恐懼、厭惡、憤怒、高興、悲傷）以及其他33種不同的面部表情傾向，通過改變這些運動單元的相關(guān)屬性，就可以產(chǎn)生不同的人臉表情。后來，一些學者在該系統(tǒng)的基礎(chǔ)上進行了一些改進。其中，國內(nèi)的研究中提出了FACS’(轉(zhuǎn)換FACS)的表情編碼，在FACS的規(guī)則基礎(chǔ)上，把運動單元的運動轉(zhuǎn)換為基于物理結(jié)構(gòu)和肌肉模型的運動特征向量序列對眼部和嘴部分別進行表情編碼，使得產(chǎn)生的人臉表情更加逼真。

FACS考慮了臉部的解剖學原理，反映了所有基本的肌肉運動，而且每個肌肉運動都可以獨立控制，進而產(chǎn)生大范圍的人臉表情，但是它還遠遠沒有包括所有臉部的底層運動。例如，由嘴唇、下顎運動帶來的復雜肌肉運動是很難用FACS來描述的。

MPEG-4第一次對支持三維人臉動畫的工具進行標準化。為了獲得真實感的人臉建模與動畫，定義了三種不同類型的人臉數(shù)據(jù)：a）人臉動畫參數(shù)(FAPs)。用來產(chǎn)生三維人臉動畫，包括重構(gòu)人臉運動、表情、情感、說話等，該組參數(shù)包含68個參數(shù)，其中66個用來描述嘴唇、嘴巴、下巴、眼睛、面頰、鼻子等的運動。b）面部定義參數(shù)(FDPs)。它用來定義人臉模型，既可以配合已有的模型使用，也可以重新定義新的模型。c）FAP插值表(FIT)。它使得MPEG文件只需包含少量描述人臉動畫的FAPs，然后利用這些FAPs和基于FIT的插值方法計算其余的FAPs，進而產(chǎn)生人臉動畫。

2對人臉表情動畫技術(shù)未來的展望

以上對人臉表情動畫進行了分類，歸納和總結(jié)了關(guān)鍵的研究成果。需要指出的是，關(guān)鍵幀插值法和參數(shù)化方法比較適用于計算機硬件水平較低的時代。其中參數(shù)化方法相對關(guān)鍵幀插值法有優(yōu)勢，因為它大大降低了動畫所需的數(shù)據(jù)量。但是由于可能產(chǎn)生的參數(shù)沖突和缺乏對受壓力下的皮膚變形機制，而使得研究者和開發(fā)者很少選擇這種技術(shù)。

目前，基于肌肉的方法是最常用的方法之一，這種趨勢可能將會持續(xù)下去。軟件系統(tǒng)等方面的自動化能力的提高和人工干預(yù)的減少將是一個重要的研究方向，特別是關(guān)于眼睛、牙齒、舌頭的建模。將基于圖像的技術(shù)與基于幾何學的方法進行適當結(jié)合也將是有意義的研究課題。強調(diào)頭發(fā)的重要性和獲取更加精確的嘴唇變形數(shù)據(jù)也將是一個研究方向。

在基于圖像的變形方法中，主要是對Morphing方法進行改進。該方法經(jīng)常被用在電影特效的制作中，如指環(huán)王等。該方法的缺點在于，需要大量的人工操作才能獲得一個成功的動畫效果。目前已經(jīng)可以對渲染算法進行改進，但是它只考慮到幾何學信息。該算法在紋理信息上的擴展將是未來的工作之一。在表演驅(qū)動的方法中，光流跟蹤算法的使用使得錯誤隨著程序的運行而積累，因此，減少甚至消除這些錯誤是必要的；改進獲取數(shù)據(jù)的方法使人工操作降低到極小值，減少甚至消除設(shè)置在人臉上的特征點，降低對硬件的需求等都是需要解決的問題。機器學習方法的研究與改進也是未來的方向之一。

此外，加強人臉表情動畫技術(shù)的應(yīng)用也是重要的趨勢之一。隨著相關(guān)領(lǐng)域的軟硬件技術(shù)的成熟，加強基于網(wǎng)絡(luò)或單機的相關(guān)軟硬件的研究與探索，以滿足電影、游戲等娛樂行業(yè)以及醫(yī)學等科學可視化的需要將是未來面臨的挑戰(zhàn)之一。

3結(jié)束語

本文對人臉表情動畫技術(shù)的研究現(xiàn)狀作了簡要的概括和總結(jié)，指出了它們的優(yōu)缺點以及在應(yīng)用上的限制；對人臉表情動畫技術(shù)領(lǐng)域的發(fā)展趨勢進行了展望。基于幾何學的方法和基于圖像的方法都有它們各自的優(yōu)缺點，很難判斷哪種技術(shù)更好以及將在未來占據(jù)統(tǒng)治地位，而且它們都有值得研究的廣泛的應(yīng)用領(lǐng)域。基于幾何學的方法靈活、快速，但由于其得到的結(jié)果真實感差的缺點，主要被用在計算機游戲和實時動畫等領(lǐng)域。然而，基于圖像的方法在真實感方面將產(chǎn)生更好的結(jié)果，但是它們具有明顯的缺陷，如速度慢、可伸縮性差等，因此經(jīng)常被用于電影行業(yè)等對真實感要求高于實時性要求的領(lǐng)域。人臉表情動畫技術(shù)將會變得日益復雜和跨學科性，對這些技術(shù)的應(yīng)用也將是該領(lǐng)域未來發(fā)展的主要方向之一。

參考文獻：

［1］NOH J， NEUMANN U. A survey of facial modeling and animation techniques[R].California: University of Southern California， 1998.

[2]KRINIDIS S， BUCIU I， PITAS I. Facial expression analysis and synthesis: a survey[C]//Proc of the 10th International Conference on Human-Computer Interaction (HCI 2003). Crete， Greece:[s.n.]， 2003:1432-1436.

[3]DENG Z， CHIANG P， FOX P，et al. Animating blendshape faces by cross-mapping motion capture data[C]//Proc of ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games (I3D). 2006:43-48.

[4]WILLIAMS L. Performance-driven facial animation[C]//Proc of the 17th Annual Conference on Computer Graphics and Interactive Techniques. 1990:235-242.

[5]TERZOPOULOS D，LEE Y，VASILESCO M.Model-based and image-based methods for facial synthesis， analysis and recognition[C]//Proc of the 6th IEEE International Conference on Automatic Face and Gesture Recognition. 2004:3-8.

[6]TERAN J， SIFAKIS E， SALINAS-BLEMKER S， et al. Creating and simulating skeletal muscle from the visible human data set[J]. IEEE Trans on Visualisation and Computer Graphics，2005，11(3):317-328.

[7]MAUREL W. 3D modeling of the human upper limb including the biomechanics of joints， muscles and soft tissues[D].Lausanne， Swit-zerland:Ecole Polytechnique Federale De Lausanne， 1999.

[8]PARKE F. Computer generated animation of faces[C]//Proc of ACM Annual Conference. Boston， Massachusetts:[s.n.]， 1972:451-457.

[9]PARKE F. Parameterized models for facial animation[J]. IEEE Computer Graphics and Applications，1982，2(9):61-68.

[10]COHEN M， MASSARO D. Modeling coarticulation in synthetic visual speech[J]. Tokyo:Springer-Verlag， 1993:l41-155.

[11]PEARANCE A， WYVILL B， HILL D. Speech and expression: a computer solution to face animation[C]//Proc of Graphics Interface’86. 1986:136-140.

[12]SEDERBERG T， PARRY S. Free-form deformation of solid geometric models[C]//Proc of the 13th Annual Conference on Computer Graphics and Interactive Techniques. 1986:151-160.

[13]KALRA P， MANGILI A， MAGNENAT N， et al. 3D interactive free form deformations for facial expressions[C]//Proc of Compugraphics’91. Lisbon:[s.n.]， 1991:129-141.

[14]KALRA P， MANGILI A， MAGNENAT N， et al. Simulation of facial muscle action based on rational free form deformations[C]//Proc of Eurographics’92. Cambridge:[s.n.]，1992:59-69.

[15]COQUILLART S. Extended free-form deformation: a sculpturing tool for 3D geometric modeling[J].Computer Graphics，1990，24(4):187-196.

[16]PLATT S， BADLER N. Animating facial expression[J]. Computer Graphics， 1981，15(3):235-252.

[17]WATERS K. A muscle model for animating three-dimensional facial expressions[J]. Computer Graphics，1987，21(4):17-24.

[18]TERZOPOULOS D， WATERS K. Physically-based facial modeling， analysis and animation[J]. Visualization and Computer Animation，1990，1(4):73-80.

[19]ZHANG Y， PRAKASH E， SUNG E. Real-time physically-based facial expression animation using mass-spring system[C]//Proc of Computer Graphics International Conference. 2001:347-350.

[20]PASQUARIELLO S， PELECHAUD C. Greta: a simple facial animation engine[C]//Proc of the 6th Online World Conference on Soft Computing in Industrial Applications. 2001.

[21]BUI T. Creating emotions and facial expressions for embodied agents[D].Netherlands:Department of Computer Science， University of Twente. 2004.

[22]TANG S， LIEW A， YAN H. Lip-sync in human face animation based on video analysis and spline models[C]//Proc of the 10th International Multimedia Modeling Conference (MMM’04). 2004:102-108.

[23]SIFAKIS E， NEVEROV I， FEDKIW R. Automatic determination of facial muscle activations from sparse motion capture marker data[C]//Proc of SIGGRAPH， Skin Faces. 2005:417-425.

[24]BEIER T， NEELY S. Feature-based image metamorphosis[C]//Proc of SIGGRAPH. 1992:35-42.

[25]PIGHIN F， HECKER J， LICHINSKI D， et al. Synthesizing realistic facial expressions from photographs[C]//Proc of the 25th Annual Conference on Computer Graphics and Interactive Techniques. 1998:75-84.

[26]OKA M， TSUTSUI K， OHBA A， et al. Real-time manipulation of texturemapped surfaces[C]//Proc of SIG GRAPH. 1987:181-188.

[27]BREGLER C， COVELL M， SLANEY M. Video rewrite: driving vi-sual speech with audio[C]//Proc of SIGGRAPH. 1997:353-360.

[28]EZZAT T， GEIGER G， POGGIO T. Trainable video realistic speech animation[C]//Proc of SIGGRAPH. 2002:388-397.

[29]COSATTO E， GRAF H. Photo-realistic talking heads from image samples[J].IEEE Trans on Multimedia，2000，2(3):152-163.

[30]GUENTER B， GRIMM C， WOOD D， et al. Making faces[C]//Proc of SIGGRAPH. 1998:55-66.

[31]BLANZ V， BASSO C， POGGIO T， et al. Reanimating faces in images and video[C]//Proc of EUROGRAPHICS’03. 2003:641-650.

[32]ZHANG Qing-shan， LIU Zi-cheng， GUO Bai-ning， et al. Geometry-driven photorealistic facial expression synthesis[J].IEEE Trans on Visualisation and Computer Graphics，2006，12(1):48-60.

[33]GUTIERREZ-OSUNA R， KAKUMANU P， ESPOSITO A， et al. Speech-driven facial animation with realistic dynamics[J]. IEEE Trans on Multimedia， 2005，7(1): 33-42.

[34]EKMAN P， FRIESEN W， HAGER J. Facial action coding system: the manual[EB/OL]. (2002) [2007-10-10].http://face-and-emotion.com/dataface/facs/manual/TitlePage.html.

[35]DOENGES P， LAVAGETTO F， OSTERMANN J， et al. MPEG-4: audio/video and synthetic graphics/audio for mixed media[J].Signal Processing: Image Communication，1997，9(4):433-463.

[36]OSTERMANN J. Animation of synthetic faces in MPEG-4[C]//Proc of Computer Animation. Philadelphia:[s.n.]， 1998:49-51.