AIGC 賦能下數字人在電影中的應用概述

謝 韻 曾可依 李 秀

清華大學深圳國際研究院，深圳 518000

1 引言

數字人是一種通過計算機技術模擬和復制人類構造、形態和行為的虛擬實體。隨著科技的不斷進步和創新，電影制作團隊能夠利用數字人技術為觀眾呈現出更加逼真和震撼的視覺效果。這種技術的飛速發展為電影行業帶來了無限的可能性，許多優秀的電影作品都運用了數字人技術，使歷史人物、虛構角色和神奇生物在銀幕上栩栩如生。比如，詹姆斯·卡梅隆執導的科幻巨作《阿凡達：水之道》就采用了先進的數字人技術，將人類與納美族的虛構世界相融合，為觀眾提供了逼真的視覺享受。《復仇者聯盟4：終局之戰》這部漫威超級英雄大片則利用數字人技術成功實現了許多角色的復刻和重塑，使觀眾能夠看到年輕版的托尼·斯塔克、史蒂夫·羅杰斯和索爾·奧丁森等角色，這些數字人角色與真實演員的表演無縫銜接，為電影增添了情感沖擊和戲劇張力。

2012 年深度學習（DL）技術進入大眾視野，數字人產業從費用高且耗時較長的動畫制作開始逐步向人工智能（AI）制作過渡，大幅降低了數字人的制作成本并提升了制作效率。在人工智能生成內容（AIGC）技術的有力賦能下，虛擬數字人作為多個跨領域技術的集成體，在顯著提升電影制作效能與質量的同時，為往后的應用發展提供了更多的可能性。

2 數字人在電影行業中的應用

真人數字替身和虛擬創造角色是數字人發展的兩個階段。真人數字替身利用數字技術代替真實演員進行場景拍攝，而虛擬創造角色是完全由計算機程序生成的數字人。隨著技術的發展，真人數字替身和虛擬創造角色的制作精度與技術不斷提升，為電影創作提供了更廣闊的創作空間，也使數字人的表演更加逼真。

2.1 真人數字替身

真人數字替身是數字人發展的早期類型，替身是指利用數字技術制作的人物，代替真實演員出現在電影中。傳統的電影拍攝由于涉及到武打爆炸與特效等危險性較大的情節設計，往往會采用數字替身的形式降低風險與成本。數字替身最早可追溯到1985年的電影《少年福爾摩斯》，工業光魔公司（ILM）創造了電影史上第一個CG 角色，通過對騎士的數字替身制作實現了戰斗的鏡頭。1997 年，電影《泰坦尼克號》的水下場景首次使用了完全由計算機技術制造的數字替身演員，使得水下片段更真實、震撼。

通過掃描真實演員構建對應的數字人替身是電影工業中的常用做法，電影制作公司通過光臺拍攝獲得高保真的三維采集重建演員形象，通過模擬環境光、膚色重建、面部綁定等將真實演員的形象數字化，再將數字形象與實際演員的表演結合在一起，實現數字替身進行拍攝的效果，從而規避很多電影無法避免的拍攝挑戰，如時間進度、拍攝難度、影片質量等[1]。

當電影全面進入數字時代后，數字替身便進入了以二維圖像換臉與三維動作捕捉換臉的階段。例如，電影《速度與激情7》中的主演保羅·沃克在影片拍攝過程中遭遇嚴重車禍不幸去世，為了保證電影的順利制作，劇組選擇了二維數字圖像換臉技術，通過保羅·沃克生前存留的影像資料及其弟弟的替身表演完成了最終拍攝。而數字替身在三維動作捕捉換臉技術的應用則更為廣泛，無論是《雙子殺手》中角色與自身克隆體遭遇的場景，亦或是突破年齡限制、出演不同年齡段的同一角色的電影《銀翼殺手2049》《金剛狼3：殊死一戰》等，三維動作捕捉換臉技術讓真人數字替身的演出更為精湛逼真，也為導演提供了更多的創作空間。

隨著技術的發展，真人數字替身技術的制作成本及實現效果都獲得了顯著優化。早在2008 年，為電影《本杰明·巴頓奇事》制作特效的特效公司就已經運用面部捕捉技術將主角的表演與3D 數字模型結合，實現了讓主角跨越老年、中年、青少年和嬰兒四個人生階段的“返老還童”般演繹，并斬獲了2009年奧斯卡最佳視覺效果獎。2019 年奧斯卡最佳影片《綠皮書》中主角彈奏鋼琴鏡頭的拍攝也是通過替身鋼琴師與AI換臉技術進行后期合成。

在技術優化上，AI 深度合成技術門檻正在不斷降低，該類技術的發展迭代為系列電影中保持演員外觀不變的難題提供了解決方案。漫威電影《蜘蛛俠:英雄無歸》中就利用AI換臉合成技術讓章魚博士和綠魔看起來更年輕;《愛爾蘭人》里羅伯特·德尼羅、阿爾·帕西諾和喬·佩西三位年逾七旬演員實現了無痕減齡扮演年輕版的自己。繼2020 年發布高分辨率版本Deepfake 工具后[2]，迪士尼近期又發布了首個可適用于真實場景、自動化的AI 視頻人臉處理模型FRAN（Face Re-Aging Network）[3]，該模型進一步提升了AI 改變演員外貌視覺效果的能力。FRAN 能夠使用數據信息來預測真人演員面部會老化的區域，以及實現將皺紋和下巴疊加到既有視頻片段上，或者從既有畫面的人物臉上刪除皺紋。FRAN 算法的出現為數字替身的使用擴展了創作空間。

在實時反饋上，英國生成式AI 代表公司Metaphysic 提出了Metaphysic Live 產品，該產品能夠在演員現場表演的基礎上實時創建高分辨率、逼真的換臉和去老化效果，無需進一步合成或視效（VFX）工作，并能夠以30FPS 的速度將AI 生成的逼真內容流傳輸到現實世界場景。電影《Here》就是通過AIGC快速實時展現現場演員表演驅動的超真實換臉和去老化技術，讓導演、演員和制片人得以實時查看并調整表演，極大地縮短了影片制作周期，同樣的減齡工作在2019年的《雙子殺手》中曾花去制作公司兩年的時間。

2.2 虛擬創造角色

虛擬創造角色是數字人發展的中期類型，它們是指完全由計算機程序生成的數字人，沒有實際的物理形體與現實身份，只存在于計算機的虛擬空間中。CG技術的發展讓數字人不再局限于真人演員的生物模型，而是可以通過藝術家創造和計算機合成等形式創造出無法在電影中進行實拍的人物及生物。

早期的虛擬創造角色可以追溯到1989 年詹姆斯·卡梅隆的《深淵》，該影片中外星智慧生物操控水柱運動到男女主角面前，水柱呈現出了與男女主角一樣的面容。2001 年，彼得·杰克遜的《指環王1：護戒使者》創造了一個具有里程碑意義的虛擬創造角色咕嚕姆。后來，維塔數碼推出“金剛”和《猩球崛起》系列中的“凱撒”等虛擬角色形象。2006 年，電影特效公司工業光魔在《加勒比海盜2：亡靈的寶藏》里創造了一位會彈管風琴的章魚船長，徹底開啟了虛擬創造角色在電影制作中的應用。

動作捕捉技術的發展讓虛擬創造角色在電影制作中更顯自然。2001 年，由游戲衍生的科幻電影《最終幻想：靈魂深處》作為動作捕捉史上的一部標桿性作品，不僅女主角Aki的全程動畫都由動作捕捉技術進行驅動，同時也讓她擁有了一頭纖毫畢現、輕柔飄逸的頭發，這是虛擬創造角色首次實現毛發在CG 世界里甩動、旋轉，并對其進行光線動態處理。2004年，執導過《阿甘正傳》的羅伯特·澤米吉斯拍攝了好萊塢第一部全真人CG 電影《極地特快》，奧斯卡影帝湯姆·漢克斯在影片中先后飾演了包括圣誕老人在內的6個虛擬數字角色，所有的數字人動畫均由動作捕捉技術實現。

在AI 技術的加持下，虛擬創造角色無論在制作精度上還是在效果呈現上都有了飛速提升。2019年《阿麗塔：戰斗天使》影片的主角阿麗塔就是第一位完全采用數字人技術制作的超高精度角色。工程師們為了實現阿麗塔臉上細小絨毛的自然毛發效果，利用AI算法設計了全新的毛孔生長技術，使阿麗塔擁有超寫實的數字人形象。在驅動方面，《阿麗塔：戰斗天使》將動作捕捉升級到了“表演捕捉”，維塔工作室通過演員“羅莎·薩拉查——CG 羅莎·薩拉查——阿麗塔”的流程重定向表演，讓阿麗塔的面部表情追蹤更能真實帶入表達演員的情感和表演。同樣，在《復仇者聯盟3:無限戰爭》中，迪士尼使用了AI算法對演員的臉部進行高分辨率掃描，并自動將人臉圖像映射到滅霸的身體上，使滅霸能夠展現出逼真擬人化的表演。在《阿凡達：水之道》中，維塔工作室開發出了全新的APFS 系統(Anatomically Plausible Facial System)為虛擬創造角色的表演提升了質量。這個系統在輔助工作人員繪制面部動畫的同時，還會收集大量的面部掃描數據以用于之后的神經網絡模型訓練，通過AI深度學習模型與算法，學習演員的潛在肌肉行為，快速輔助納美人的面部動畫生成，并結合納美人的獨特外形修復彌補牙齒和頭骨解剖的偏差[4]。

3 AIGC 賦能數字人在電影中的制作與應用

3.1 AIGC 助力數字人生產

高成本投入和較長的制作周期一直是數字人在電影制作中面臨的兩大挑戰。傳統的數字人生產流程幾乎全部依賴人工實現，從人物建模到動畫制作再到語音合成，各個環節都需要大量的時間成本和人力投入。而隨著生成算法、預訓練模型和多模態等技術的不斷創新，AIGC 的發展大幅加速數字人的生產流程，并顯著降低數字人的制作成本，極大提高數字人的制作效能。

數字人生產制作流程主要可分成三個板塊，分別為形象生成、語音合成、動畫驅動。在AIGC 技術的加持下，形象生成可利用算法模型快速生成高精度的數字人形象，語音合成能夠利用語音轉換等技術生成逼真的語音表達，動畫驅動則可利用深度學習模型驅動數字人的表情和動作。

（1）數字人形象的智能化生成

傳統的寫實數字人生成過程依賴于設計師使用諸如Maya、3ds Max 和CAD 等3D 建模軟件手動創建人體的三維模型。然而，由于這些軟件的學習成本高且建模效率低，很難快速批量生成數字人形象。

隨著AI 生成算法的提速迭代，針對寫實虛擬人的形象生成，現階段出現了兩種主要的模型生成方式：第一種是基于圖像和視頻的生成，已經初步實現產品化，并能夠達到次時代游戲人物的精度水平。用戶可以通過上傳照片或視頻來生成寫實類型的數字人。這種生成方式的代表性應用有英偉達的Omniverse Avatar 和Unreal Engine 的MetaHuman Creator，用戶可以通過自定義方式快速生成對應的數字人形象。第二種方式是基于參數化模型進行數字人生成，此領域也是近年來學術界的研究熱點。該類方法通過參數化模型將原本復雜的數字人空間解耦，將數字人抽象為規則約束下一定數目的參數，這也是近年來學術界的研究熱點。

基于圖片和視頻的數字人形象生成已經具備較為成熟的制作流程。以MetaHuman Creator 為例，它是基于云端的在線編輯器，可以選擇混合取樣庫中的元素或自定義建模來實現所需的結果。根據圖片生成寫實數字人的過程從圍繞真實人物進行拍照開始，通過多張臉部拍攝照片，將其導入RealityCapture等軟件中生成高質量的網格體和貼圖。接下來再通過將網格體導入Unreal Engine 中進行面部標記幀追蹤，并運行身份解析，將模型的網格體提交到Meta-Human 后端，即可快速生成對應的人物模型。此外，還可以在MetaHuman Creator 中繼續編輯數字人的皮膚、眼睛等五官細節和服裝、發型、身材比例等。

而基于參數化模型的數字人生成也是AIGC 在數字人建模領域的研究熱點。該類方法的思路是通過大型真實人體掃描模型數據庫，學習人體結構的共性，構建統一的參數化模型，將原本復雜的人體網格空間解耦為有限的參數表達。這些參數覆蓋了身高、體型、肌肉定義、臉部特征等人體信息，通過調整這些參數的數值，可以實現對人體模型的變形和定制。2015 年基于線性的混合模型SMPL[5]實現了通過少量的參數來表示和改變人體的姿勢和形狀。SMPL-X[6]在其基礎上引入了人臉和手勢的參數化表示，該類參數化模型被廣泛應用于ICON[7]等人體重建任務中。除了真實人體外，RaBit[8]模型對卡通人物的參數化模型進行了探索，可通過更改參數得到卡通人、熊、兔子等多種卡通生物的個性化3D 模型，其提出的SVR 方法可以通過單張卡通圖片重建得到相同模樣與姿勢的卡通模型。

（2）數字人語音的智能化合成

高自然度和個性化語音合成也是數字人制作中的重要模塊，相較于數字人生產的其他板塊，語音AI合成技術已進入成熟期，現被廣泛應用于廣播電視、網絡視聽等多個領域。語音合成技術是AIGC 領域中的重要分支之一，能夠快速將文本轉化為音頻，使計算機實時自動生成高質量的語音音頻。

2016 年谷歌提出WaveNet[9]，其利用膨脹因果卷積解決語音的大跨度時間依賴問題，使得模型能在短時間內完成高質量語音合成。2017 年，在WaveNet 基礎上，谷歌提出首個端到端的TTS 語音合成模型Tacotron[10]，并于2018 年發布Tacotron 2。Tacotron 2 由聲譜預測網絡和聲碼器組成，其中聲譜預測網絡將輸入的字符序列映射為梅爾頻譜的幀序列，聲碼器則負責將預測得到的梅爾頻譜幀序列還原為波形[11]。2019 年，浙江大學聯合微軟提出Fast-Speech 模型[12]，FastSpeech 是一個非回歸模型，較于之前的自回歸TTS 模型，其具有更快的生成速度和更好的語音質量，一年后FastSpeech 2 發布，能直接從文本生成預測音頻波形，且訓練速度達到Fast-Speech 的3 倍[13]。近年來，語音合成任務開始轉向表現力語音合成（Expressive TTS），相比TTS，其更關注如何合成語音的風格、韻律、情感等。由于該類訓練所需的標注數據較少，因此此類方法通常采用無監督學習方式，從參考音頻中解耦出情感和韻律特征，然后將這種特征與文本向量結合，實現風格可控化[14][15]。

（3）數字人動畫的智能化驅動

除了外形表現，身體動作的自然性和面部表情的靈活性對于虛擬人的真實感至關重要。與虛擬人形象生成不同，動畫驅動數字人不僅需要具備流暢性、真實感，還對交互反饋的實時性有一定要求，該類動畫制作復雜，短短幾分鐘的動畫便需要一個經驗豐富的動畫師花費幾小時。而隨著AIGC 技術的發展與應用，迭代更新后AI 算法已經可以生成符合人體運動學的動作和表情。

真人驅動依賴動作捕捉技術。動作捕捉技術可分為慣性式動作捕捉、光學式動作捕捉及基于視頻的動作捕捉三類。業內通常采用光學式動作捕捉，利用攝像機陣列和傳感器來記錄和跟蹤人體的運動數據，但該類方法成本較高，讓不少人望而卻步。隨著AIGC 技術的發展，基于視頻的低成本動作捕捉技術越發成熟。Zhang提出的實時面部捕捉系統能利用固定的數字人頭部結合輸入的任意視角的人臉視頻實現精細到微表情級別的人臉視頻輸出[16]。而DeepMotion等基于視頻的全身動作捕捉應用的出現使得全身動作捕捉門檻大大降低，用戶上傳的視頻通過姿態估計等AI算法計算出視頻中人體的全局位置及關節旋轉信息，從而得到一段與視頻對應的骨骼動畫序列。

隨著動作捕捉技術和視頻內容數據的豐富，動作數據的積累變得更加簡單，這為AI 算法驅動數字人動畫提供了龐大的數據基礎。目前AI算法驅動的數字人主要是通過文本、音樂和視頻的形式跨模態生成數字人動畫，根據生成內容也分為三個方向：唇部動畫生成、面部動畫生成與身體動作生成。

唇部動畫根據輸入的不同，可分為文本驅動和語音驅動。無論是文本特征或是語音特征，在指定語言限制下其與唇部運動之間是一對一的簡單映射關系，這種映射關系易從數據中學習到，相對簡單，目前該類模型在行業內已經廣泛應用。

面部動畫生成主要是通過對3D 模型對應的Blendshape 的向量表達。截至目前，國內外科技企業在數字人面部動畫智能合成方面都有一定進展，國際上如Reallusion 公司研究的利用語音生成面部表情的Craytalk 技術已在動畫制作中被成功商用，國內搜狗、相芯科技等公司也有部分項目落地應用。

動作生成主要指由動作序列或文本、音樂、視頻等跨模態信息驅動生成的骨骼動畫。這類輸入與骨骼動畫之間都是多對多的映射關系，同一個輸入對應真實空間可能包含各種各樣的肢體動作，這給3D化身動畫提出了兩大挑戰：個性化動作生成和可控制的動作生成。以文本驅動為例，用戶通過給定文本腳本生成身體動作，需要對輸入文本進行特征提取，再利用提取到的文本特征指導動作生成模塊工作。人體動作生成擴散模型（Human Motion Diffusion Model）[17]利用CLIP提取文本描述特征，結合擴散模型生成動作序列，而Action-GPT[18]則基于GPT-3 的架構，采用了自回歸的方式生成動作序列，通過生成細粒度高的動作描述指導解碼器生成動作。上述模型都得到了較好的短時動作生成效果，但生成長時動作序列時易出現動作凍結、動作模糊等情況，離落地應用還有一段距離。

3.2 應用前景

在AIGC 技術支撐下，數字人的批量化生成和智能化交互為其在電影制作中的應用發展提供了更多可能性。

隨著數字人制作流程的優化加強，這類數字資產的生產必將變得成本更低且更加高效[19]。利用批量化生成替代真人背景演員是數字人在電影制作中一個可行的發展方向。首先，相比于真實演員，生成的虛擬數字人具有高靈活性和高可控性，可以根據導演需求進行實時調整和控制。他們可以在不同的場景和角色之間快速切換，無需擔心時間限制或合同問題。而制作人員可以根據具體需要隨時調整虛擬數字人的數量、外貌和動作，以實現更好的視覺效果。其次，虛擬數字人完美解決了與真實演員相關的人力資源管理問題，減輕管理和協調工作，且具有額外的保密性優勢，可以避免潛在的信息泄露問題。

同時，愈加智能化的“獨化數字人”也成為繼真人數字替身、虛擬創造角色后數字人在電影制作中新的發展階段。獨化數字人指的是具有完整的人格和意識，擁有自主思考和行動能力的數字人，它們具有人類的智慧和意識，能夠自主思考、學習和行動，它們具備智能體（Agent），依托于先進的人工智能技術，例如深度學習（DL）、自然語言處理（NLP）、神經網絡等[20]。在交互性更強的“引擎電影”以及在傳統電影技術的持續深挖中，計算機驅動數字人應用嘗試逐漸增多已成事實。

早期的獨化數字人概念主要存在于元宇宙電影中，它們體現了導演對于人工智能技術在未來與人類關系的一切遐想，《銀翼殺手》《終結者》《我，機器人》中均出現了具有獨立意識的數字人。隨著自然語言處理（NLP）、多模態轉化等領域的不斷突破，數字人的智能化得到顯著提升，獨化數字人不再以單純的概念存在于電影內容中，而是以真實形象出現在現實世界里。

以曾出品獲得奧斯卡提名的《至愛梵高·星空之謎》的Bondit Media Capital 公司投資拍攝的科幻電影《b》為例，由日本AI 機器人Erica 擔任主演，開發團隊為Erica 進行了電影演技培訓。Erica 在片中本色出演AI 機器人，突破傳統以特效制作機器人的拍攝模式，引起了國內外觀眾的關注和討論，成為第一部由人工智能擔任主演的電影。2022 年，一位由北京蔚領時代科技有限公司推出的虛擬數字人演員春草正式面世，在其背后的AI算法支撐下，春草能夠對人類的指令做出及時反饋，同時也能在與人類的溝通中不斷學習。正如其CEO 宋震在訪談中提到：“春草的定位除了游戲《春草傳》外，導演也可以直接與這位演員互動講戲，然后讓她現場表演。”

由此觀之，AIGC 技術為數字人在電影制作的應用帶來了更多可能性，包括批量化生成的虛擬數字人替代背景演員和智能獨化數字人的交互應用。這些數字人技術的進步發展為電影創作提供了新機遇，也為今后電影行業的發展提供了更多創造性與可能性。

4 結語

數字人作為電影制作的關鍵要素，已經成為電影敘事過程中不可或缺的重要組成部分。本研究主要介紹了數字人在電影行業中的應用現狀和未來發展趨勢，在形象生成、語音合成以及動畫驅動方面對現有AIGC 技術進行梳理總結，為電影行業的數字人制作效能優化流程提供一些參考，并在批量化生成與智能化交互方面，為數字人對電影行業的創新變革應用提供了一些啟示。

隨著AIGC 技術的不斷發展和支持，數字人的應用將超越過去僅僅在特效方面的應用，擴展到更廣泛的領域，如自主劇情發展、實時情感反饋等方面。未來，數字人的進一步發展將為電影制作帶來更多創造性和技術上的突破，豐富電影體驗并引領電影行業向著新的輝煌時代邁進。