利用面部實時動態(tài)捕捉技術(shù)進(jìn)行動畫制作
——Character Animator應(yīng)用實例

馬金秀

(中國電影科學(xué)技術(shù)研究所，北京100086)

1 概述

隨著計算機(jī)技術(shù)的不斷進(jìn)步，動畫的制作軟件也在不斷發(fā)展當(dāng)中，我們看到的美妙絕倫的3D動畫片，比如片中隨風(fēng)擺動的真實感的毛發(fā)，都是當(dāng)今主流3D動畫制作軟件帶給我們的視覺盛宴，但這種電影專業(yè)級別的動畫制作無一例外，需要耗費(fèi)大量的財力和人力。隨著短視頻的興起，如何能在幾分鐘的視頻短片中多一種視覺語言表達(dá)?在中國電影科學(xué)技術(shù)研究所影院放映質(zhì)量信息服務(wù)系統(tǒng)平臺的建設(shè)過程中，拍攝了一系列稍顯枯燥的技術(shù)短片，講述影院放映機(jī)的拆卸、安裝等，為了增加技術(shù)短片的趣味性和觀賞性，制作人員在片中增加了一個動畫人偶，讓其和講述人穿插互動。這個動畫人偶的制作，如果采取傳統(tǒng)的3D制作軟件——3DMAX或MAYA建模來制作，會耗費(fèi)過多的精力和人力，不具備可操作性。所以，能快速、便捷制作出動畫人偶，能有基本動作和講述人進(jìn)行互動，能方便和視頻短片進(jìn)行合成是我們的基本技術(shù)需求。最終用到了一款由Adobe打造的2D動畫制作軟件——Character Animator 2020。這款軟件最主要的特征是采用面部實時捕捉和追蹤技術(shù)，把人臉的表情和人偶進(jìn)行綁定，根據(jù)面部的實時動作，即能實時生成人偶的動作。這對于動畫制作來說，省卻了建模，手動制作人偶動作，節(jié)省了大量時間。對于表演者面部表情的捕捉也使得人偶的表情非常生動和逼真。相較于其他的動畫制作軟件，Character Animator使得動畫制作過程更為便捷、迅速。這種便捷還體現(xiàn)在人偶的設(shè)置過程，只需要幾秒鐘就可以創(chuàng)建一個動畫人偶。圖1展示了動畫人偶影小智和技術(shù)短片合成后的效果。本文將從Photoshop中創(chuàng)建人偶，導(dǎo)入Character Animator進(jìn)行骨骼綁定，到實時捕捉表情進(jìn)行動畫錄制，導(dǎo)出動畫等幾個部分講述如何通過面部實時捕捉技術(shù)進(jìn)行人偶的制作。

圖1

2 機(jī)器人的動畫人偶制作實例

2.1 人偶制作的三種方式

Character Animator提供了3種人偶制作的方法。

2.1.1 內(nèi)置人偶模版

Character Animator內(nèi)置了多種人偶模版，有些只有面部和身體的人偶，面部和手可以設(shè)置人偶的動作，有些人偶帶有腿部，可以進(jìn)行走動等動作設(shè)置 (圖2)。

圖2

2.1.2 通過角色設(shè)計制作人偶

點(diǎn)擊圖2中內(nèi)置人偶中的圖片即可進(jìn)入角色設(shè)計界面。這里提供兩種方式：一是把表演者自己變成人偶；二是導(dǎo)入圖片。經(jīng)過分析，把圖片里的人物變成人偶，此過程用到了Adobe Sensei AI(人工智能)技術(shù)。你甚至可以把蒙娜麗莎都變成動畫人偶。

(1)把表演者自己變成人偶

面對攝像頭，根據(jù)提示錄制基本表情、微笑、皺眉、驚訝等以及一些簡單的語音，如圖3。然后系統(tǒng)會自動生成人偶，如圖4。可以選擇不同的藝術(shù)模式，制作完成后，即可以對人偶進(jìn)行實時動畫錄制，如圖5。

圖3

圖4

圖5

(2)導(dǎo)入人物圖片創(chuàng)作藝術(shù)人偶

我們選擇蒙娜麗莎的人物肖像，可以選擇左側(cè)列表中多種藝術(shù)模式，有泥塑、簡筆畫等，進(jìn)行藝術(shù)人偶的制作。圖6是把蒙娜麗莎設(shè)計成人偶。

圖6

(3)從Photoshop或Illustrator中導(dǎo)入已設(shè)計好的人偶

這種方式應(yīng)該是創(chuàng)作自己的人偶最常用的方式，在Phtotoshop或Illustrator中設(shè)計制作自己的人偶。人偶分正面組、左側(cè)面組、右側(cè)面組，每個組別下，又細(xì)分成頭部、身體、胳膊和腿部，以規(guī)范的方式命名每一個圖層 (目前只支持英文)。從Photoshop或Illustrator中導(dǎo)入已設(shè)計好的人偶，Character Animator可以自動識別規(guī)范命名的分層文件，從而進(jìn)行下一步骨骼綁定。

2.2 機(jī)器人人偶設(shè)計

2.2.1 Photoshop設(shè)計機(jī)器人人偶

這個機(jī)器人人偶設(shè)計制作最終要和講述放映機(jī)等技術(shù)短片合成，增加短片的可觀看度，所以設(shè)計思路以投影機(jī)作為設(shè)計元素，突出機(jī)器人可愛、靈動的特征，以增加視頻短片的親和力和趣味性。

機(jī)器人人偶在片中要進(jìn)行走動，所以要設(shè)計腿部，并且具備正面站立、左側(cè)面和右側(cè)面三種形態(tài)(如圖7)。如果只是制作人偶的上半部分，不需要行走的動作也可以不做腿部設(shè)計。

圖7

2.2.2 Photoshop中規(guī)范的文件命名及動作分層

人偶的命名方式一定要規(guī)范，這樣便于導(dǎo)入Character Animator時對于人偶分層文件的識別。注意要使用英文命名。每一個部件都有單獨(dú)的圖層命名對應(yīng)，如果這個部件有多個圖層替換使用，例如 “眼睛包含了眨眼、睜眼兩種可識別的狀態(tài)”則需要在圖層名前加上 “+”號用于行為識別。每一個部件進(jìn)行編組操作，目前Character Animator中的可識別行為屬性只能賦予 “組”。這個機(jī)器人人偶的分層文件大致分為3個組：Frontal(正面)、Left profile(左部分)、Right profile(右部分)。

下面具體看一下每個組別下如何細(xì)分，比如Frontal組。其他Left profile和Right profile分層文件名是一致的。在Frontal組里，具體又分為：The Head(頭部組)、Body(身體組)、Left arm(左胳膊組)、Right arm(右胳膊組)、Left leg(左腿組)、Right leg(右腿組)。在The Head里又包含Left Eyebrow(左眉毛)、Right Eyebrow(右眉毛)、Left Eye(左眼睛)、Right Eye(右眼睛)、Mouth(嘴部)。眼睛組還可以細(xì)分成Blink(眨眼睛)、Eyeball(眼球)、Eyeline(眼線)等。嘴部也可以制作多種嘴形，張嘴、閉嘴、哈哈大笑等多種形態(tài)。人偶制作越精細(xì)，在進(jìn)行后面動畫錄制的時候，動作就更靈動。

2.3 Character Animator機(jī)器人人偶動畫制作

2.3.1 人偶文件導(dǎo)入

打開Character Animator，首先看到一個比較簡潔的界面 (如圖8)，左側(cè)為項目區(qū)，新建項目或打開項目，右側(cè)為內(nèi)置的人偶模版和一些簡單的教學(xué)區(qū)。現(xiàn)在導(dǎo)入Photoshop設(shè)計好的機(jī)器人。

圖8

(1)點(diǎn)擊左側(cè)新建項目，為項目命名后會進(jìn)入一個新項目。

圖9

(2)選擇上部菜單下——文件——導(dǎo)入——選擇之前設(shè)計好的機(jī)器人psd文件進(jìn)行導(dǎo)入。雙擊左側(cè)導(dǎo)入的機(jī)器人名稱，即會出現(xiàn)如圖9所示的操縱界面，在這個界面進(jìn)行人偶的骨骼綁定。

2.3.2 人偶的骨骼綁定

(1)人偶的獨(dú)立組別。在人偶的操縱界面，有一欄以皇冠的圖標(biāo)顯示，每個圖層組都可以選中(顯示黃色)或者取消皇冠圖標(biāo)。選中后可以使得圖層獨(dú)立于其父組，黃色王冠和名稱表示控制所選圖層的根組，相同根組下的非獨(dú)立圖層可以一起變形。如圖10，在Frontal組里，The Head和Body組不是獨(dú)立組，如果把The Head設(shè)置成獨(dú)立組，會出現(xiàn)頭部和身體分離的狀況 (如圖11)。

圖10

圖11

(2)為人偶添加骨骼。在操縱界面底部有一排為人偶添加關(guān)節(jié)和骨骼的工具。手柄工具添加的是關(guān)節(jié)點(diǎn)，比如肩部、肘部、腕部、臀部、膝關(guān)節(jié)、腳后跟、腳趾等。骨架工具為人偶添加骨架，顧名思義，類似于人類的骨頭，添加了骨架，人偶的行走等動作就有了硬度和力度，否則走路會像面條一樣軟綿綿。

圖12

點(diǎn)擊底部的手柄工具為機(jī)器人添加關(guān)節(jié)，關(guān)節(jié)對應(yīng)右側(cè)軟件當(dāng)中人偶的關(guān)節(jié)。點(diǎn)擊骨架工具，為機(jī)器人添加骨骼。添加完成的機(jī)器人人偶左胳膊如圖12所示。

(3)用相同的方法為機(jī)器人人偶的頭部、身體、腿部添加對應(yīng)的骨骼。

需要注意的是，胳膊、腿部和身體部分，有重疊的關(guān)節(jié)位置，左胳膊組的左肩和身體組的左肩，右胳膊組的右肩和身體組的右肩，左腿組的臀部和身體組的左臀，右腿組的右臀和身體組的右臀，這4個點(diǎn)都要重疊。拖動關(guān)節(jié)設(shè)置的時候身體部分會呈綠色區(qū)域顯示，會比較容易找到重疊點(diǎn)。如果未重疊，胳膊或腿部就會和身體脫離。完成骨骼綁定的機(jī)器人人偶如圖13所示。

圖13

2.3.3 為人偶添加行走行為

(1)添加行走行為。骨骼綁定完成后，如果想讓人偶動起來，比如走路，那么需要為人偶添加走動的行為。

在操縱界面人偶的名稱旁邊有一個+號，點(diǎn)擊打開下拉列表 (圖14)，選擇為人偶添加走動。這個行為要賦予整個人偶，只是添加到腿部人偶是不會行走的。

(2)參數(shù)設(shè)置

界面右側(cè)有屬性面板，可以修改走動的參數(shù)設(shè)置 (如圖15)。在模式下拉菜單有立即、向左和向右箭頭鍵、原地三個選項，這是設(shè)置人偶開始走動的控制方式。選擇立即，在錄制界面，不用任何操作人偶會一直立即進(jìn)行并一直保持走動的狀態(tài)；選擇向左和向右箭頭鍵，則是用鍵盤上的方向鍵控制人偶的走動；選擇原地，人偶位置不會改變在原地走路。樣式下拉列表提供了走動、暴跌、站立、騰躍、潛行、跑動和撞頭7種人偶形態(tài)，可以根據(jù)需要選擇。其他參數(shù)比如步長、步速、身體速度、擺臂幅度、肩部搖擺等都可以進(jìn)行調(diào)整。

圖14

圖15

圖16

在臉部屬性面板中，提供了多種參數(shù)可對人偶臉部的參數(shù)進(jìn)行修改。比如眉毛強(qiáng)度，可以設(shè)置增加或減少抬升或降低眉毛時的眉毛移動量。比如頭部縮放強(qiáng)度，可以設(shè)置增加或減少頭部接近或遠(yuǎn)離相機(jī)移動時頭部的縮放強(qiáng)度，參考圖16的對比效果。

2.3.4 動畫錄制

我們錄制歌曲的時候會分軌錄制，分別錄制吉他、貝斯、鼓和人聲等。Character animator使用同樣的概念，不同的是使用眼睛注視、唇形同步、臉部等，可以分別進(jìn)行錄制。點(diǎn)擊軟件左側(cè)上部的“錄制”，進(jìn)入錄制界面，如圖17所示。

圖17

(1)界面簡介

錄制界面和一般軟件類似，左側(cè)是項目區(qū)，中間部分是人偶表演舞臺，下部是時間線區(qū)域，右側(cè)上部是表演者面部捕捉區(qū)域，右側(cè)下部是屬性設(shè)置面板。

(2)新建場景

在錄制界面，點(diǎn)擊項目區(qū)里的新建場景，為設(shè)計的動畫人偶設(shè)置場景舞臺。點(diǎn)擊右側(cè)面部捕捉區(qū)“設(shè)置休息姿勢”即可自動捕捉到人臉，為動畫人偶設(shè)置初始狀態(tài)。點(diǎn)擊場景舞臺下方的紅色圓點(diǎn)即可進(jìn)行動畫錄制。

(3)屬性設(shè)置

在場景界面也有屬性面板，可以修改幀速率，使錄制的動畫更流暢，以及調(diào)整場景的寬度和高度。

在錄制的界面，點(diǎn)擊項目區(qū)里的人偶，點(diǎn)擊final robot 2機(jī)器人人偶的名稱，再進(jìn)行錄制的時候，會出現(xiàn)人偶軌道行為面板，選中或取消前面的紅點(diǎn)，即可同時錄制或分別錄制臉部或唇形的動作。也可調(diào)整里面的具體參數(shù)，比如眉毛移動的高度等，參數(shù)設(shè)置和操縱面板中的一致。

(4)動畫錄制

一切準(zhǔn)備就緒，在時間線中選擇要錄制的動畫人偶 (可以導(dǎo)入多個人偶)，點(diǎn)擊紅色錄制按鈕就可以進(jìn)行錄制了。可以使用鍵盤和鼠標(biāo)控制人偶的肢體動作，鼠標(biāo)可以拖動手臂運(yùn)動，左右方向鍵可以控制人偶的走動 (走動的模式設(shè)置為向左或向右鍵)。不需要錄制全部內(nèi)容，可以導(dǎo)入音頻，然后點(diǎn)擊時間軸——從場景音頻計算唇形同步，可以分析語音，并生成所有唇形。

(5)修改已錄制的動畫

混合分次錄制的場次。新錄制的場次會在時間線最上層，之前錄制的場次呈灰色不顯示，調(diào)節(jié)場次兩邊的混合手柄，讓不同的表演混合在一起，使得過渡和動畫更平滑。

對錄制場次進(jìn)行微調(diào)。拖拽已錄制的場次，可以在時間上移動。

修改已錄制的唇形。在唇形同步軌道，點(diǎn)擊右鍵，可以修改已錄制好的唇形。

添加關(guān)鍵幀。可以為動畫添加透明度、位置等關(guān)鍵幀，Character Animator可以在兩個關(guān)鍵幀中間進(jìn)行自然過渡。

圖18是機(jī)器人在表演者實時面部表情捕捉和追蹤時錄制的動畫。

圖18

2.3.5 導(dǎo)出動畫

軟件右上角有 “共享”按鈕，可以選擇輸出的格式，可以導(dǎo)出視頻，也可以導(dǎo)出圖片序列，還可以單獨(dú)導(dǎo)出人偶。另外還有直播選項，可以將實時場景流傳輸?shù)狡渌O(shè)備或應(yīng)用程序。如果要在其他軟件，比如AE、Final cut等進(jìn)行合成，選擇帶阿爾法通道進(jìn)行導(dǎo)出。

3 Character Animator和其他軟件的動畫合成

從Character Animator導(dǎo)出的帶通道的視頻文件可以導(dǎo)入其他軟件進(jìn)行進(jìn)一步制作。本案例導(dǎo)入Final cut與實際拍攝的視頻短片進(jìn)行合成。需要注意的是，視頻短片中的主持人和機(jī)器人要進(jìn)行互動，為了合成的精準(zhǔn)度，視頻短片和動畫人偶應(yīng)該同等時長，才能匹配。那么在前期，視頻短片拍攝時，需要空出動畫人偶的表演時長。在動畫人偶錄制時，以另外的設(shè)備內(nèi)放已剪輯完成的視頻短片，同時進(jìn)行動畫人偶的錄制，之后導(dǎo)入Final cut進(jìn)行合成剪輯。

4 結(jié)語

在這次機(jī)器人動畫人偶的制作過程中，使用Character Animator面部實時捕捉和跟蹤技術(shù)，為短片最后的完成提供了良好的使用體驗，非常簡單、方便的設(shè)計和骨骼綁定就生成了可以進(jìn)行動畫錄制的人偶。這里特別想強(qiáng)調(diào) “錄制”這兩個字，以前講到動畫片的制作，用到的都是 “制作”，而利用面部實時捕捉技術(shù)，進(jìn)行動畫人偶的錄制，提供了另外一種生成動畫的方式，降低了動畫制作的門檻。另外利用表演者人臉捕捉技術(shù)生成的動畫，也非常生動和靈活，一些參數(shù)的設(shè)置和修改，可以讓表演更真實。但這個軟件制作的動畫人偶僅限于2D范疇，并且不是傳統(tǒng)意義上的制作動畫電影的級別，它更適合進(jìn)行短片制作。在短視頻蓬勃發(fā)展的今天，可以利用它創(chuàng)作出更豐富多樣的動畫語言表達(dá)，可以制作多種人偶的純2D動畫，也可以合成在已拍攝的視頻短片中。