維塔數字智能面部動畫系統在電影《阿凡達：水之道》得到成功應用

近年來多部影片使用面部動作編碼系統（Facial Action Coding System,FACS）采集演員各種不同表情，形成表情庫，并在片場與演員的面部表情數據匹配后，形成逼真的數字演員。在2019年制作完成《阿麗塔：戰斗天使》后，制作公司維塔數字（Weta Digital）認為FACS 系統存在諸多問題，如面部肌肉分離、覆蓋、大規模冗余等。例如，當FACS 映射一個面部表情時，為了獲得足夠真實可信的效果，FACS可能會綁定多達900個FACS 形狀。這是因為，FACS 不是一個基于動態時間和對話動作的面部動畫系統，而僅僅是情感表達，只能從外部模擬一張臉，缺乏姿勢過渡信息。

圖1 APFS面部動畫系統

對此，維塔數字研發團隊決定重新處理整個面部制作系統。團隊開始從解剖學角度研究人臉肌肉，重點關注肌肉如何分布、彼此如何連接。團隊發現，做一個表情會激活一塊肌肉，而其他肌肉也被串聯激活，或被動拉動。由于肌肉的相互連接方式類似于神經網絡，于是開發團隊決定構建一個直接基于肌肉的人工神經網絡（Artificial Neural Network, ANN）系統，讓動畫師能夠直接控制臉部的每一塊肌肉，實現下巴、眼睛和肌肉的任意組合運動。

維塔數字新開發的面部動畫系統名為符合解剖學的面部系統（Anatomically Plausible Facial System,APFS），其基于肌肉纖維曲線作為解剖基礎，是一個以動畫師為中心、以解剖學為靈感的面部建模、動畫和重定位傳輸系統。APFS 基于178 條肌肉纖維曲線實現，這些曲線可以收縮或松弛，以提供細粒度的高保真面部表情。該系統既可由內向外實現，面部由肌肉纖維曲線驅動，也可由外向內，通過動畫師拖拽和移動面部來實現。該系統已成功應用于電影《阿凡達：水之道》中。

1 面部重點區域：眼瞼、下巴與眼睛

APFS 系統中，每條肌肉曲線都有一個關聯的應變值。肌肉曲線并沒有真正扭曲，但應變值在其局部空間中提供了沿曲線的收縮或擴張。從某種意義上說，它是長度變化的百分比，每個應變值獨立發揮作用。例如眨眼這一動作，涉及沿睫毛線的水平、垂直、上下以及眼睛周圍的肌肉曲線。這種情況下，水平曲線的實際應變值變化不大，因為它在眼球上方旋轉，而垂直曲線的應變值變化很大，更重要的是，垂直曲線沿著肌肉曲線的形狀縮放，與眼球的曲線相匹配。

因為對面部狀態的主要控制是下巴，尤其是在對話中，下顎不斷移動，是面部狀態的主要驅動力，因此在APFS 系統中下巴和嘴唇尤為重要。開發團隊注意到，所有人的下顎只能以盾牌的軌跡形狀移動，下頜骨或下顎骨通過顳下頜關節與顱骨相連，并由韌帶和肌肉固定。因此，可通過追蹤頜上的一組概念點來映射頜的運動范圍，當系統將一組這樣的點映射到一個人所有可能的表情上時，就會得到一個盾牌形狀，被稱為盾牌。然后對演員進行數字頭骨擬合，再計算出下頜的運動范圍，最后使用立體頭戴裝置（HMC)進行求解以提取深度信息。

此系統的眼睛模型與演員的鞏膜、角膜和虹膜相匹配。通過旋轉眼球在每一幀中調整眼睛注視方向，使虹膜模型與角膜緣環和瞳孔對齊。由于眼睛晶狀體及其顯示的折射光線很難通過系統模擬，所以會使用多個相機角度來驗證對準，確定角膜折射的光，以增強角色眼睛的真實感。

2 傳輸姿勢庫

動畫師習慣于使用姿勢庫，但姿勢庫不會對運動進行編碼，組合使用很容易脫離模型。對此，維塔團隊為動畫師構建了基于應變值的動作庫，結合使用一個自動編碼器，保證應變向量保持在合理的面部動畫邊界內，這種由外到內的方法提供了曲線的反向映射，可直觀進行拉伸和收縮肌肉。

3 電影《阿凡達：水之道》中的定制化設計與應用

在電影《阿凡達：水之道》中，許多演員都需要在水中進行表演捕捉，但他們的大部分面部動畫則需要在陸地上進行二次捕捉，然后與水下表演捕捉相融合。

在進行水下面部表情捕捉時，演員們需佩戴一個HMC，維塔團隊開發了一種名為Deep Shape 的可視化工具，用于提供可從任何角度觀看的演員實際表演的3D點云重建。該技術相當于動畫師在演員面前架設一個虛擬攝影機，不會出現廣角失真，可準確查看嘴唇和下巴的延伸，為比較和判斷APFS 仿真提供了面部真實性的關鍵參考。

為了最大程度實現演員與角色面部的匹配，維塔數字專門設計了角色模型訓練過程，利用人工智能深度學習模型與算法，以學習演員的潛在肌肉行為。該系統使用用戶定義的權重圖精準映射皮膚，分別處理眼睛和下巴區域，以便更準確地傳遞面部關鍵部位的表情。這一過程中，考慮到納威人獨特的外形，還需將演員的下頜綁定與角色匹配，用來彌補牙齒和頭骨解剖的偏差。

曲線肌肉系統具有一組向下延伸到頸部區域的曲線，這樣可以與身體表演捕捉更好地結合。但耳朵的動畫獨立于這一系統，因為人類耳朵本身并不驅動任何面部肌肉，但對于納威人來說，他們的耳朵有著豐富的表現力，無法在人類身上表現，所以耳朵部分由一個單獨系統來控制。