數(shù)字替身工作流程探究

馬緒怡 李雪松

(1.北京電影學(xué)院中國(guó)電影高新技術(shù)研究院,北京 100088)

(2.北京電影學(xué)院影視技術(shù)系,北京 100088)

1 傳統(tǒng)替身在電影拍攝中的運(yùn)用及不足

替身演員一直以來(lái)都是電影拍攝過(guò)程中必不可少的角色。無(wú)論是在以前還是現(xiàn)在,演員在電影拍攝過(guò)程中,如果涉及到武打、爆炸等危險(xiǎn)性較高的鏡頭設(shè)計(jì),都會(huì)使用替身演員。例如電影 《見(jiàn)龍卸甲》劉德華的替身演員杜奕衡,在拍攝一場(chǎng)馬戲時(shí),差點(diǎn)被失控的戰(zhàn)馬踩死。可以看出,如果沒(méi)有替身演員,電影劇組可能會(huì)因?yàn)橐粋€(gè)小小的不慎便造成難以挽回的損失。隨著影視作品的蓬勃發(fā)展與各種各樣的拍攝需求增加,替身演員根據(jù)其起到的作用,可以分為文替、武替、光替、手替等類(lèi)別。

文替即文戲替身,主要工作是拍攝主演“不露臉”的戲份,文替多用于檔期緊張的演員;武替即武術(shù)替身,主要工作便是代替演員拍攝武打等高難度動(dòng)作戲份,往往是由一些具有武術(shù)功底的演員承擔(dān);光替即燈光替身,主要的工作為代替演員站位,方便燈光師調(diào)整燈光,不讓主演空等;手替即手部替身,主要工作為完成一些特寫(xiě)手部技巧性較高的動(dòng)作或樣貌的鏡頭。

可以看出,傳統(tǒng)替身的分類(lèi)已經(jīng)十分詳細(xì),但是傳統(tǒng)的替身演員卻也存在著相當(dāng)大的不足,例如有時(shí)候合適的替身演員千金難求,亦或是鏡頭難度太大沒(méi)有人愿意作為替身。而隨著計(jì)算機(jī)圖形學(xué)的發(fā)展,數(shù)字替身應(yīng)運(yùn)而生。為此,筆者將在此文探討當(dāng)下數(shù)字替身的作用和具體的工作流程,并以相應(yīng)的貼圖為示范,探討數(shù)字替身的具體工作流程和一些具體的細(xì)節(jié)。

2 數(shù)字替身的定義及優(yōu)勢(shì)

在此給出數(shù)字替身 (Digital Double)的定義:通過(guò)使用計(jì)算機(jī)生成的圖像和聲音,創(chuàng)建或重建一個(gè)人或者是一個(gè)人的部分,使得和實(shí)拍的人難以被區(qū)分,從而起到替身作用。根據(jù)替身的作用,筆者將數(shù)字替身分為以下三種類(lèi)型:傳奇 (Legend)、在世(Living)和創(chuàng)造(Creation)。

其中,傳奇型的數(shù)字替身為重現(xiàn)已經(jīng)過(guò)世或者是電影中曾經(jīng)存在的人物,已經(jīng)無(wú)法實(shí)拍;在世型的數(shù)字替身為目前仍然存在卻因?yàn)槟撤N原因?qū)е聼o(wú)法實(shí)拍;創(chuàng)造型的數(shù)字替身則為根本不存在的人或者生物,本就無(wú)法實(shí)拍。

例如,當(dāng)下電影在拍攝時(shí),部分演員的選角會(huì)自帶流量,然而自帶流量的演員往往容易被詬病演技不佳。因此,如果能夠在這些電影的拍攝上使用數(shù)字替身技術(shù),那么甚至流量演員本身都不需要親自去演,只需要向他們進(jìn)行授權(quán),進(jìn)行形象等協(xié)議的簽約,然后使用一些“實(shí)力派”的數(shù)字替身演員進(jìn)行拍攝,處理得當(dāng)?shù)脑?說(shuō)不定會(huì)有奇效。

如果使用了數(shù)字替身技術(shù),便可以“隨心所欲”地拍攝出想要的人物而不需要該人物親自登場(chǎng),這對(duì)于一些檔期緊張或演技不佳的演員具有很多優(yōu)勢(shì)。甚至可以從頭到尾不需要演員到劇組現(xiàn)場(chǎng)拍攝,只需要獲得演員的授權(quán),然后由數(shù)字替身來(lái)處理,以獲得更好的預(yù)期效果。

3 數(shù)字替身的工作流程

如圖1,數(shù)字替身的制作可以分為以下幾個(gè)部分:首先是尋找一個(gè)數(shù)字替身演員,這個(gè)演員最好和正身演員的體型接近,這樣在制作數(shù)字替身模型的時(shí)候,便可以只考慮臉部的更換,從而大幅減少工作量;數(shù)字替身演員在表演時(shí),也只需要對(duì)其進(jìn)行面部表情捕捉。其次是對(duì)于正身演員,要對(duì)其進(jìn)行數(shù)據(jù)采集,一是采集正身的骨骼信息用于后面的綁定,二是使用照相測(cè)量法或者激光掃描進(jìn)行人物建模,建完模型后,進(jìn)行真人和模型的外貌匹配;同時(shí)還要對(duì)正身演員進(jìn)行光臺(tái)拍攝,使用光臺(tái)來(lái)模擬最終的光效;最后是使用一些插件去制作數(shù)字替身模型的毛發(fā)、眼睛、牙齒等,將所有部分進(jìn)行最終的合成匹配。

圖1 數(shù)字替身工作流程

3.1 光臺(tái)拍攝

之所以使用光臺(tái),是因?yàn)橐谝曈X(jué)上逼真地重現(xiàn)三維物體,光有三維模型是不夠的。同一個(gè)物體的表面在不同光照環(huán)境下會(huì)呈現(xiàn)出不同的反射效果,能否模擬出與真實(shí)物體表面一致的反射特性,對(duì)提高計(jì)算機(jī)渲染和成像的逼真度至關(guān)重要。由美國(guó)USC ICT Graphic Lab (University of Southern California Institute for Creative Technologies Graphic Lab,南加州大學(xué)創(chuàng)新技術(shù)研究所圖形實(shí)驗(yàn)室)的保羅·德貝維奇 (Paul Debevec)所領(lǐng)導(dǎo)開(kāi)發(fā)的光臺(tái)(Light Stage)技術(shù)拍攝,便可以做到高保真的三維采集重建。如圖2所示,經(jīng)過(guò)技術(shù)迭代,光臺(tái)拍攝技術(shù)目前已經(jīng)是一種集后期重打光、高級(jí)建模、紋理制作和表情捕捉為一體的解決方案。光臺(tái)技術(shù)在前期主要為兩個(gè)部分,一是打光 (Lighting)和重打光(Relighting);二是通過(guò)FACS (Facial Action Coding System,面部行為編碼系統(tǒng))獲取表情信息。

圖2 光臺(tái)拍攝系統(tǒng)

對(duì)于一個(gè)數(shù)字替身模型而言,在實(shí)際的拍攝過(guò)程中,往往會(huì)尋找一個(gè)身高體型相似的演員,這樣在后期的過(guò)程中,只需要專心處理面部即可。而對(duì)于面部的三維模型,往往是通過(guò)圖片建模的方法,通過(guò)多機(jī)位套偏振片加多角度燈光套偏振膜的方法,多機(jī)位同時(shí)拍攝靜態(tài)圖像或動(dòng)態(tài)圖像,對(duì)人物面部進(jìn)行掃描,獲得一個(gè)三維模型。

然而在實(shí)際的過(guò)程中,為了在大銀幕上逼真地重現(xiàn)人物,僅有三維模型是遠(yuǎn)遠(yuǎn)不夠的。一方面,直接得到的面部模型在清理完之后,模型的uv和材質(zhì)仍需要重新制作,并和正身演員進(jìn)行匹配,使得普通觀眾難以區(qū)分;另一方面,使用渲染器渲染出的燈光效果應(yīng)當(dāng)和真實(shí)世界燈光打在人物上效果相匹配,而使用光臺(tái)則可以通過(guò)光的加性原則和反射函數(shù)實(shí)現(xiàn)模擬任意光線,并在任意視角下合成光照。

3.2 FACS和面部封裝綁定

FACS是在圖片建模前期拍攝時(shí),演員所需要做的表情集合。如圖3,FACS 通過(guò)將人類(lèi)的表情進(jìn)行分類(lèi),將人臉劃分成若干個(gè)運(yùn)動(dòng)單元 (AU,Action Units),并給出了AU 的運(yùn)動(dòng)特質(zhì)及其所控制的主要區(qū)域。

圖3 FACS運(yùn)動(dòng)單元

對(duì)于演員來(lái)說(shuō),當(dāng)他們?cè)诒粧呙璧倪^(guò)程中,他們需要作出FACS的表情,以便后期提取面部的幾何特征。如圖4,一般而言,演員要做40～60個(gè)表情。在做表情之前,如圖5,也需要對(duì)演員面部貼上標(biāo)記點(diǎn),標(biāo)記點(diǎn)的數(shù)量可以用RMSE (均方根誤差)來(lái)衡量。

圖4 FACS下真人做的表情

圖5 標(biāo)記點(diǎn)的數(shù)量與RMSE

顯然,標(biāo)記點(diǎn)并不是越多越好,主要遵循以下三個(gè)原則:

(1)避免攝像頭邊角變形區(qū);

(2)演員做極端表情時(shí)不會(huì)被藏到褶里;

(3)放在肌肉頂峰處。

在遵循上述三個(gè)原則的條件下,便可以對(duì)演員進(jìn)行跟蹤點(diǎn)的標(biāo)記,可以使用可擦的中性筆來(lái)畫(huà)在臉上,也可以使用反光球粘在臉上。貼標(biāo)記點(diǎn)的目的是為了后期軟件能夠精準(zhǔn)地識(shí)別跟蹤點(diǎn),方便VFX 的制作。

在有了模型之后,如圖6,使用 Wrap3 和ZBrush等軟件進(jìn)行進(jìn)一步的雕刻和處理,使得模型不再有頭發(fā)和其他雜質(zhì),并制作人物皮膚的紋理貼圖,同時(shí)可以結(jié)合FACS wrapped (面部運(yùn)動(dòng)編碼系統(tǒng)封裝)制作相應(yīng)的控制點(diǎn)。

圖6 人物模型與控制點(diǎn)

3.3 人物皮膚的重建

人臉通常情況下可分為低頻、中頻和高頻三種幾何信息。無(wú)論是低頻還是高頻的幾何信息,都是通過(guò)多通道的貼圖來(lái)完成的。如圖7,在USC ICT使用光臺(tái)所完成的“Digital Emily”項(xiàng)目中,重建的數(shù)字演員艾米麗效果。數(shù)字演員艾米麗的貼圖合成方法如圖8所示。通過(guò)制作不同通道的貼圖,如圖9,依次為數(shù)字演員艾米麗的Diffuse map (漫反射貼圖)、Displacement Map (置換貼圖)、Single scatter(單散射貼圖)、Specular map (高光貼圖)通道的貼圖,在合成軟件里調(diào)整,再進(jìn)行合成,可以實(shí)現(xiàn)高質(zhì)量的幾何信息,從肉眼上達(dá)到難以區(qū)分的效果。

圖7 Digital Emily人臉重建效果

圖8 Digital Emily的合成步驟

圖9 Digital Emily的合成貼圖

3.4 最終合成

演員的表演對(duì)影片的呈現(xiàn)至關(guān)重要,正所謂“眼睛是心靈的窗戶”,對(duì)于數(shù)字替身更是如此。數(shù)字替身演員在前期拍攝時(shí)的眼睛,無(wú)法直接使用。不真實(shí)的眼神對(duì)表演的影響巨大,同時(shí)人臉除了眼睛以外,還有眉毛、舌頭與牙齒等其他部位也會(huì)影響到表演,這些都需要后期重新制作貼圖合成到三維模型上。如圖10,為數(shù)字替身的舌頭、嘴唇與牙齒的漫反射貼圖與法線貼圖。在最終的合成過(guò)程中,這些貼圖都會(huì)在三維軟件里和三維模型一起渲染出來(lái)。

圖10 漫反射貼圖與法線貼圖

4 數(shù)字替身的應(yīng)用

數(shù)字替身的方法一旦使用,便可以規(guī)避當(dāng)下很多電影無(wú)法避免的拍攝問(wèn)題,如拍攝進(jìn)度和拍攝難度等。例如電影 《速度與激情7》遇到的不可抗力事件。電影主演保羅·沃克在拍攝進(jìn)度過(guò)半之時(shí),因?yàn)橐黄饑?yán)重的車(chē)禍而意外身故。于是電影劇組便選擇了保羅·沃克弟弟真人補(bǔ)拍和數(shù)字替身相結(jié)合的拍攝方式。因?yàn)槭掳l(fā)突然,沒(méi)有辦法詳盡采集保羅·沃克的個(gè)人數(shù)據(jù)。所以保羅·沃克的本身數(shù)據(jù)只能通過(guò)前六部的鏡頭進(jìn)行采集,這對(duì)影片的制作產(chǎn)生了極大的難度。幸運(yùn)的是,保羅·沃克有兩個(gè)弟弟,可以進(jìn)行代替拍攝。可以想象,如果發(fā)生了類(lèi)似的不可抗力事件,對(duì)整個(gè)電影的拍攝和呈現(xiàn)都將會(huì)是災(zāi)難性的。

再比如說(shuō),要拍攝嬰兒和危險(xiǎn)動(dòng)物。而在電影拍攝中,最難拍的便是小孩和動(dòng)物。如果一部電影,既要拍攝小孩,又要拍攝危險(xiǎn)動(dòng)物,還要拍攝小孩和危險(xiǎn)動(dòng)物之間的互動(dòng),實(shí)拍可以說(shuō)是無(wú)法實(shí)現(xiàn)。在電影《查理與巧克力工廠》中,劇組花費(fèi)了10個(gè)星期,訓(xùn)練了40 只松鼠。如圖11,從它們出生開(kāi)始便每天都進(jìn)行訓(xùn)練,劇組為此付出了大量的時(shí)間和金錢(qián)。而電影 《雷蒙斯尼奇的不幸遭遇》則采用了數(shù)字替身的技術(shù),給小孩和動(dòng)物做了數(shù)字替身。如圖12和圖13,從而使得小孩可以完成各種各樣的高危鏡頭,如吃石頭、鐵管,或者是和巨蟒在一起玩耍。

圖11 《查理與巧克力工廠》松鼠截圖

圖12 電影 《雷蒙斯尼奇的不幸遭遇》嬰兒吃拐杖

圖13 電影 《雷蒙斯尼奇的不幸遭遇》嬰兒和巨蟒玩耍

5 數(shù)字資產(chǎn)與數(shù)據(jù)庫(kù)的建立

制作數(shù)字替身所產(chǎn)生的貼圖與模型等數(shù)據(jù),均是寶貴的數(shù)字資產(chǎn) (Digital Asset)。從數(shù)字資產(chǎn)的角度來(lái)看,只需要滿足以下三點(diǎn),便是一個(gè)數(shù)字資產(chǎn):(1)是一個(gè)數(shù)字文件,(2)能夠提供價(jià)值,(3)可搜索和可發(fā)現(xiàn)(通常使用元數(shù)據(jù))。

數(shù)字資產(chǎn)的潛力是無(wú)窮的。可以看出,任何一部影片使用了數(shù)字替身的手段拍攝,其中間和最后所產(chǎn)生的物料往往是非常寶貴的。在制作的過(guò)程和存儲(chǔ)的流程規(guī)范的前提下,可以通過(guò)數(shù)字資產(chǎn)管理系統(tǒng) (DAM,Digital Asset Management)制作數(shù)據(jù)庫(kù)來(lái)產(chǎn)生新的價(jià)值。如果一部電影要拍續(xù)集,可能要30年以后,例如電影《銀翼殺手》和《銀翼殺手2049》,亦或者是要拍一個(gè)已經(jīng)過(guò)世的人物的傳記。如果能夠直接使用先前影片制作產(chǎn)生的物料,不僅可以縮短制作周期,還可以保證制作的質(zhì)量。對(duì)于數(shù)字資產(chǎn)本身而言,其必須能夠被搜索和發(fā)現(xiàn),否則便沒(méi)有意義。

而數(shù)字資產(chǎn)價(jià)值主要是體現(xiàn)在其本身的元數(shù)據(jù)(Metadata)上。數(shù)字資產(chǎn)的元數(shù)據(jù)可分為兩類(lèi),一個(gè)是技術(shù)性元數(shù)據(jù),另一個(gè)則是描述性元數(shù)據(jù)。技術(shù)性元數(shù)據(jù)是指分辨率、位深、幀速率、文件大小等;描述性元數(shù)據(jù)則是指資產(chǎn)的內(nèi)容,例如標(biāo)題、描述或者是關(guān)鍵字等。通過(guò)合理的記錄和描述元數(shù)據(jù),結(jié)合DAM,使得有制作需求的藝術(shù)家可以快速地入手其需要的數(shù)字資產(chǎn),可以讓電影變得更加豐富多彩。

6 總結(jié)

計(jì)算機(jī)圖形學(xué)的不斷發(fā)展使得電影內(nèi)容呈現(xiàn)出無(wú)數(shù)種可能,雖然相比較于傳統(tǒng)的替身演員,數(shù)字替身的優(yōu)勢(shì)和前景是極大的。但是同樣的,想要?jiǎng)?chuàng)作出能夠真正令人信服的數(shù)字替身難度也是極大的,高品質(zhì)的數(shù)字替身需要?jiǎng)?chuàng)作者付出巨大的心血。每個(gè)環(huán)節(jié)都極其考驗(yàn)制作者的耐心和經(jīng)驗(yàn),如果其中有一個(gè)環(huán)節(jié)沒(méi)有做好,都會(huì)使得數(shù)字替身模型遭遇恐怖谷效應(yīng),令觀眾產(chǎn)生反感。所謂的恐怖谷效應(yīng),是指擬人物或其他的人造物做得與人類(lèi)非常相似、但又不完全一致的時(shí)候,會(huì)使人發(fā)自內(nèi)心地產(chǎn)生恐懼的情緒反應(yīng),它的恐懼指數(shù)曲線類(lèi)似一個(gè)山谷,因此得名恐怖谷效應(yīng)。

除了本文所述的數(shù)字替身制作流程以外,越來(lái)越多簡(jiǎn)潔的制作流程也在出現(xiàn)。例如著名的游戲公司Epic 使用了Meta Human Creator,通過(guò) Meta Human這樣的一個(gè)云端流送應(yīng)用,可以高效地制作出豐富多樣,具有特色的數(shù)字人類(lèi)。Meta Human是通過(guò)使用一個(gè)不斷增長(zhǎng)的、豐富的人類(lèi)外表與動(dòng)作庫(kù)進(jìn)行繪制,并且以數(shù)據(jù)約束的合理方式,與在庫(kù)中的實(shí)際示例之間進(jìn)行混合,制作出數(shù)字人類(lèi)的模型。有了數(shù)字人類(lèi)的模型,便可以更加高效地制作出數(shù)字替身。再例如Pifuhd,可以直接通過(guò)給出一張高清照片,生成3D 模型。相信隨著技術(shù)的發(fā)展和替身的需求不斷增加,數(shù)字替身的制作流程會(huì)更加簡(jiǎn)潔,這樣也會(huì)被更加廣泛應(yīng)用到各個(gè)領(lǐng)域中。?