實時交互預演系統在真人動畫電影中的技術應用
——以影片《飛向月球》為例

單傳蓬 曾 義

1.北京電影學院數字影視動畫創作教育部工程研究中心，北京 100088 2.北京元客視界科技有限公司，北京 100041

1 引言

電影自誕生之日起即與奇幻、把戲和魔術等雜耍方式密不可分。真人動畫電影是利用現代電影制作技術和特殊拍攝方式將真人演員角色和動畫虛擬角色合成到同一敘事畫面中的電影。作為特效電影的重要呈現，真人與動畫的合成效果往往包含著大量特技鏡頭，其中又以實拍場景人物與動畫場景人物的交互合成畫面最為普遍，也最難處理。將真人角色和虛擬角色相互融合無疑對電影創作者的技術能力和藝術水平提出了挑戰[1]。既要求塑造出真實可信的虛擬角色，又需在合成視覺效果上讓人認可，是真人動畫合拍電影成功與否的關鍵。實時交互預演以全數字環境為基礎，對制作內容進行實時可視化呈現，在電影制作的每個實際生產環節之前進行，使得創作人員在提高藝術創造力的同時，節省拍攝時間，提高拍攝效率。實時交互預演技術將實時動作捕捉、實時渲染合成和實時拍攝剪輯三大技術手段集成應用，推動了攝制流程的實時化、高效性，而后期前置使得動畫表演和鏡頭合成更加便捷且直接。

在數字時代，智能化、信息化的深入為電影技術的迭代提供了動力，如何進一步優化真人動畫電影的制作流程，減少合成師、動畫師和剪輯師的工作任務，釋放導演、攝影和演員等主創人員的創作力與想象力，是生產高品質特效電影亟需解決的核心問題。本文結合影片《飛向月球》的實際拍攝過程，對實時交互預演系統的具體技術、流程和規范進行研究，通過分析實時交互技術對真人動畫電影的作用和影響，梳理出拍攝該類電影的可行性技術方案，以期促進同類型特效電影制作的標準化流程建立和示范應用落地。

2 真人動畫電影發展脈絡中的交互預演演變

真人動畫電影自誕生至今已有一百多年的歷史，其作為一種重要的電影類型不斷發展演進。當今，實時交互預演技術作為真人動畫電影的重要特攝技術之一被廣泛應用，為電影創作者帶來了前所未有的交互性與實時性體驗，為特效鏡頭的高質量實現提供了一定便捷性。隨著真人動畫電影的發展，交互預演技術經歷了從無到有、從模擬到虛擬的發展演變過程。從實現手段來看，真人動畫電影可分為傳統攝影技法、傳統二維手繪、特效物理化妝和電腦動畫技術四種類型。

2.1 傳統攝影技法

二十世紀初，愛迪生、盧米埃爾兄弟、梅里愛等早期電影家拉開了電影技術與藝術的發展序幕。布萊克頓(J.Stuart Blackton)先后創作了《奇幻的圖畫》(The Enchanted Drawing)和《滑稽臉的幽默相》(Humorous Phases of Funny Faces)。這兩部影片沒有明確的故事情節，均采用動畫角色結合真人表演方式，通過魔術式的畫面效果戲謔觀眾，吸引人們眼球。原本工作于愛迪生實驗室的布雷克頓通過停機再拍的早期特技手段，實現了真實人物、動畫人物及動畫道具互動表演的奇幻效果，這類作品后被稱為“把戲電影”（Trick Film）[2]。此階段只能通過服化道和攝影技巧來實現動畫效果，借助演員排練預演以接近導演要求，并通過拍攝后的放映來判斷特效完成效果。

2.2 傳統二維手繪

隨著美國動畫電影的發展，一類二維手繪與真實拍攝相結合的電影開始登場。華特·迪士尼影片公司（Walt Disney Productions）第一部長篇真人動畫電影《南方之歌》（Song of the South）于1946 年上映，影片動畫角色和真人演員結合巧妙。《南方之歌》的出現，標志著真人動畫電影從實驗動畫階段逐步發展到劇情動畫階段。之后相繼推出《歡樂滿人間》（Mary Poppins，1963）、《飛天萬能床》（Bedknobs and Broomsticks，1971）等多部類似影片。中國動畫的發展始于二十世紀二十年代，在經歷了戰亂、萌芽時期，達到過兩次民族文化的高潮，并取得了較為豐碩的成果。早期我國動畫作品類型多樣且充滿活力，在國際上獲得了很高的評價，奠定了結合自身民族風格的發展之路[3]。上海美術電影制片廠先后制作出品了真人動畫《瓷娃娃》（1982）和《三十六個字》（1984）。兩部影片均采用先實拍再手繪的制片方式，優勢在于成熟的二維動畫技術和相對簡單的制作流程；劣勢則在于逐幀繪制方式的工作量較大，且實景與二維動畫合成效果的代入感較低。這個階段依舊沒有特別好的預演預判方法，多通過創作前期的故事版和視覺草圖給出特效預期效果。

2.3 特效物理化妝

相較于傳統二維手繪的扁平化效果，基于特效物理化妝術的第三種類型，則擁有更加逼真立體和強代入感的真實質感。“特效化妝”一詞對應英文中的“Prosthetic Makeup”，是指通過特定材料和機械驅動的物理技術改變演員體貌特征或創造全新模型，重塑一個全新的虛構角色。1895 年《蘇格蘭女王瑪麗的行刑》（The Execution of Mary，Queen of Scots）被認為是面部特效造型技術的真正濫觴；1902 年，科幻電影鼻祖喬治·梅里愛在《月球旅行記》（Le voyage dans la lune）中通過特效化妝塑造了奇特的“月球人”形象；而1977年起上映的《星球大戰》三部曲，則是特效化妝技術的集大成者，其通過使用特制道具和化妝技術，塑造了經典的達斯·維德、楚巴卡、格里多以及“布偶感”十足的尤達大師（正傳三部曲中均為手工制作布偶）等特異形象[4]。特效效果達標與否，多由導演通過監視器實時監看進行判斷。

2.4 計算機動畫技術

二十世紀九十年代末，計算機動畫（Computer Animation）技術逐步成熟并被廣泛應用于電影制作中，由此，特效電影中的虛擬角色和奇觀場景開始閃亮登場，并沖擊著傳統的特效化妝行業。特效化妝師尼克·達德曼（Nick Dudman）曾說：“以前我們只用傳統的化妝方法和假肢道具來處理特效，然而當復雜的怪物特效盛行時，我們就必須學會如何運用無線電控制、裝備以及其他相關的技術。當電腦開始為電影制作出神奇的怪物——如侏羅紀公園——我們開始擔心化妝師的實際化妝技術還能維持多長時間。事實上，盡管看起來電腦可能會占領所有傳統的實際化妝領域，但是我們現在發現這兩者之間有合作的空間——電腦特技和實際化妝技術兩者可以相輔相成。”[5]事實確實如此。

動作捕捉在二十一世紀才在影視領域大規模應用，并成為特效電影的核心技術之一，動作捕捉技術的出現，使后續特效電影中的動畫效果與制作效率較傳統特技都有了質的提升。第一部應用動作捕捉技術制作的動畫影片《Brilliance》于1985 年上映，當時的制作過程依舊使用后期特技合成手段，在真人動畫合成的數據匹配上，往往會出現不確定性和反復性。1990 年上映的科幻電影《全面回憶》（Total Recall）就出現過類似問題。其制作公司Metrolight 工作室在一家光學動作捕捉設備運營商的協助下，嘗試使用動作捕捉技術完成機場安檢X 光機器顯示人體骨架運動的動畫特效鏡頭[6]。但由于當時沒有實時預演技術，導演無法實時觀看動作演示及合成效果，后期發現動作捕捉數據問題時為時已晚。當此類問題在真人動畫電影拍攝中頻繁出現時，實時交互預演技術應運而生。

2.5 實時交互預演技術

電影實時交互預演技術是當前國際上電影制作流程的最新發展趨勢之一，由于它是連接導演、攝像、美術、燈光、特效和后期制作等技術流程的橋梁[7]，被業界稱為是“下一代電影工業技術流程”中的重要一環。在國外，高精度的動作捕捉技術與實時交互預演技術已然成為真人動畫電影《阿麗塔：戰斗天使》《失控玩家》等影片制作過程中不可或缺的特攝技術手段，并擁有完善的實時交互預演制片流程體系。影片《阿凡達》（2009）正式開拓了虛擬攝制領域，通過使用光學捕捉系統對演員進行精準的表演捕捉；運用Autodesk MotionBuilder 軟件對虛擬場景進行實時渲染，實現了“所見即所得”的實時監看效果。高精度的動作捕捉技術與實時交互預演技術最終成就了《阿凡達》的技術傳奇。

二十世紀九十年代末，隨著國內電影業市場化改革和好萊塢大片引入中國，國內導演也開始模仿好萊塢模式，拍起了中國式大片，如2002年張藝謀導演的《英雄》、陳凱歌的《無極》等國產大片，不僅使用好萊塢運用的技術，還請來好萊塢團隊參與攝制，好萊塢電影制作流程也被部分引進，其中，虛擬預演（PreViz）便是其中一個[8]。2015 年起，《捉妖記》《瘋狂的外星人》《刺殺小說家》《流浪地球》等優秀作品紛紛面世，國產真人動畫電影在技術工業化、制片規范化上日趨成熟。

3 《飛向月球》對實時交互預演技術的實際應用

真人動畫電影的真人拍攝與動作捕捉拍攝就像太極圖中的黑白兩極，只有無縫銜接、互相配合才能組成一個完美的圓。真人動畫電影《飛向月球》于2018 年策劃啟動，并在前期策劃和籌備階段，主創團隊根據影片特點，制定了嚴密的拍攝方案和技術實現手段。在電影籌備期，制片團隊根據實現方式不同，將鏡頭劃分為純實拍鏡頭、純虛擬鏡頭、虛實結合鏡頭三種類型。而實時交互預演技術一直貫穿整個拍攝周期，其中包含了動作捕捉技術、實時監看技術、真實與虛擬交互的代理物體應用、同步觸發打板系統研發等四大技術應用點。

3.1 動作捕捉技術：光學與慣性的融合使用

動作捕捉技術是實時交互預演技術中非常重要的一環，它在完成虛擬角色動畫預演功能的同時，同步采集角色骨骼運動的動作捕捉數據，并傳輸給后期制作公司完成后續的動畫數據修復和鏡頭合成。影片《飛向月球》中有大量必須在綠幕環境下攝制的鏡頭，因此選擇了對場地沒有限制的慣性動作捕捉完成（圖1）；也有在真實場景或虛擬場景下的動畫角色鏡頭，出于拍攝精準度和抗干擾性考慮，部分鏡頭選用通過光學動作捕捉設備完成（圖2）。

圖1 《飛向月球》慣性動作捕捉技術在綠幕拍攝中的應用

圖2 《飛向月球》光學動作捕捉設備

光學動作捕捉是一種較為常用的影視級動作捕捉技術，是指在搭建好的特定空間內，在演員身體關節指定部位貼上反光標記點，當演員運動時，攝影機陣列就能夠捕捉到這些標記點，并通過將它的位置變化投影到多個攝影機的成像平面上進行三角分割，從而推斷出時間到空間的位移[9]。《飛向月球》劇組從數據捕捉度、排練場地容量、制片成熟度等方面綜合考慮，選用OptiTrack 系統在約1000 平方米的動作捕捉棚內完成了光學動作捕捉板塊的攝制；而慣性動作捕捉技術是基于傳感器技術與人體動力學、無線傳輸技術和計算機技術的高度融合而研發的具有綜合性的動作捕捉技術[10]。擺脫了光學動作捕捉技術對于攝像機硬件設施與動作捕捉拍攝場地的限制，符合影片《飛向月球》中部分綠幕和實景動畫鏡頭攝制的動作捕捉需求，之所以選擇Xsens 慣性動作捕捉系統，是因為它是為數不多可以達到影視級動畫效果的慣性動作捕捉設備。實際拍攝過程中，動作捕捉方案的具體選用取決于相應特效鏡頭的屬性分類。對電影特效屬性的分類和分級是一項非常重要的工作。制片部門在拿到劇本的特效分析數據后，需要與技術團隊一起對這些數據和資料展開分類工作，同時根據特效制作周期和制作難度對特效鏡頭進行難度分級，最終整理成特效分類及難度列表[11]。

3.2 實時監看技術：所見即所得的拍攝現場

電影虛擬制作中實時監看系統，可以讓導演實時監看合成畫面，以保證最終拍攝的鏡頭真實而準確。影片《飛向月球》主要體現在動作捕捉數據傳輸預覽的實時性、虛擬角色調度與空間匹配的實時性，以及虛擬場景渲染的實時性。

3.2.1 動作捕捉數據傳輸的實時性

動作捕捉數據的實時傳輸解決了以往特效電影表演問題后置化的弊端，具體體現在三個方面：第一，因為動畫表演特別是微表情數據傳遞會出現不同程度的衰減，需要實時監看表演的準確性，并現場做出決策；第二，動畫角色的造型與動作捕捉演員往往差距很大，甚至是生物類、機械類角色，在形體結構、骨骼比例上差距大，需要實時看到動畫角色的動畫效果以便判斷；第三，鏡頭內往往同時有多個實拍角色和動畫角色，他們需要視線對位甚至肢體發生交互，此時，演員和導演需要實時監看角色之間視線和動作的匹配度。

《飛向月球》動作捕捉數據的實時傳輸畫面，演員表演〔圖3（a）〕的數據記錄借助動作捕捉數據實時傳輸到操作工作站〔圖3（b）〕中。而動作捕捉數據監看功能的實現使用了切換臺預覽總線技術（圖4），動作捕捉現場軟件內置畫面、MotionBuiler 角色語言畫面、UE 場景預演畫面、現場表演場監畫面等四個通道的視頻輸入現場切換總控臺（圖5），根據項目需求切換輸出至動作捕捉指導、動畫指導、表演指導等大屏實時監看。這一操作順序旨在方便導演及特效指導在動作捕捉有效區域指導演員表演的同時，實時對比核實動作捕捉數據的有效性和準確性，做到在現場及時發現問題并解決問題。其中，實時監看所使用的虛擬攝影機從功能上看，它是一個配有監視器的交互接口。一方面，CG 場景與虛擬角色的動作捕捉數據實時呈現在監視器上，使得導演能夠實時監控虛擬環境下的演員表演；另一方面，虛擬攝影機與現場攝影機同步捆綁，操作數據同步傳輸，攝影師就能在虛擬環境中模擬任何實拍攝影機的運動效果，如變焦、軌道運動、穩定器等[12]。

圖3 《飛向月球》動作捕捉數據的實時傳輸過程

圖5 現場視頻切換總控制臺架構圖

3.2.2 虛擬角色調度與空間匹配的實時性

電影的角色塑造通常要求演員在有限空間內通過表演調度來完成。這種常見的演員演繹方式在真人動畫電影拍攝時卻變得沒那么容易，虛擬角色的表演調度與真實空間位置匹配、現場動作捕捉演員的表演調度與虛擬空間位置的匹配是攝制團隊必須要面對的拍攝問題。

影片《飛向月球》在這一問題上采用了實體測量、等量縮放作為解決方案。影片主角董小寶是數字虛擬角色，在影片的實拍場景和虛擬場景中出現近70 分鐘，制作團隊首先需要解決其空間走位和交互的問題。在實拍現場最初的待機走位環節，由技術人員對實拍場景進行尺寸測量〔圖6（a）〕，之后按照一定的比例計算方式對其進行等比建模，最后導入UE 軟件中，與綁定好的董小寶模型進行實時渲染合成和動作捕捉數據錄制。

圖6 《飛向月球》的實景測量及其虛擬場景的等比例搭建

根據筆者調研了解，在真人動畫電影中應用空間匹配計算方式的文獻并不多見。在進行實際場景的虛擬化建模時，劇組遵循了等比例縮放的計算公式，此處以餐桌前董小寶過生日的鏡頭為例。在實拍現場，通過米尺測量記錄實拍場景的固定尺寸，如a 米高的桌子，并繪制頂視圖和前視圖。下一步明確數字角色在故事中的約定身高，即董小寶b 米高，最后通過使用UE 內置的米尺工具獲得數字角色在虛擬場景中的絕對尺寸，影片中為10 個單位并等比例計算出實拍場景在軟件中的尺寸X。

具體的計算公式如式（1）（2）所示：

根據式（1）（2）計算結果，創作者們在UE 軟件中，通過建模方式將實景中a 米高的桌子生成為X 單位高的虛擬桌子，再通過計算獲得虛擬桌子的寬和長，最終得到桌子〔圖6（b）〕乃至整個場景的虛擬尺寸。

3.2.3 虛擬場景渲染的實時性

在實時虛擬預演系統中，實時性是系統進行及時交互的關鍵，而實時渲染技術解決了畫面實時渲染的問題。動作捕捉數據傳輸的實時性旨在及時預判表演的精準度和空間的匹配度，這要求畫面的實時渲染實時合成，以便動畫效果及時反饋。對于傳統的渲染引擎RenderMan、V-Ray 和Arnold 這類離線渲染器而言，使用光線追蹤算法進行單機位渲染的效率極低，雖然渲染出的畫面效果十分逼真，但渲染速度決定了其無法應用在實時預演系統中[13]，因此我們選擇了最有代表性的UE。

3.3 代理物體：真實與虛擬的紐扣

同樣作為真人動畫電影，《誰陷害了兔子羅杰》（Who Framed Roger Rabbit，1988）在制作時首先對實景與真人演員進行了拍攝，演員以兔子玩偶或其他道具作為視線和表演參考[14]。這類輔助真人匹配拍攝的道具我們可以稱之為代理物體。代理物體最早出現在特效電影的實景藍幕/綠幕拍攝中，由于動畫角色的表演拍攝同樣需要匹配對手搭檔的視線和空間尺寸，代理物體在動作捕捉出現后被應用其中。

在《飛向月球》的綠幕和動作捕捉拍攝現場，經常會看到大小不一、形狀各樣的代理物體。代理物體的模型主要是用來模擬場景或角色的位置、高度、比例等，通過使用代理物體快速解決真實演員與虛擬角色之間的比例匹配與交互難題。《飛向月球》拍攝現場，根據應用對象的不同分成了場景代理和角色代理。

場景代理是為了實現虛擬角色調度與空間匹配的實時性，需要通過計算得出虛擬物體的尺寸，現場在進行演員動作數據捕捉時同樣需要1:1 復原原實拍現場的物體并使用場景代理做好標記，創作團隊對代理物體進行精準的定位和擺放，就是對演員表演范圍區域的捕捉（圖7）。

角色代理根據功能還可以分為角色代理物體、角色代理兼動作捕捉演員。《飛向月球》的創作團隊對動畫角色董小寶制作了兩類代理物體：一類是角色代理物體〔（圖8（a）〕，該模型的固定高度起到引導視線的作用，同時其下方的滑輪裝置可以在工作人員的推動下，同步模擬動畫角色的運動路徑，以便后續動作捕捉演員的表演定位；另一類代理物體是由真人扮演的代理物體〔圖8（b）〕，演員外部套的綠色服裝可以為后期摳像所使用，其胸前紅色十字用于標記董小寶的眼睛高度，便于引導董大寶的視線，此時的代理物體在起到視線引導、路徑模擬作用的同時，還具備獲取慣性動作捕捉數據的功能。

圖8 《飛向月球》角色代理物體

3.4 同步觸發打板系統：多源信息的觸發者

在傳統實拍電影的拍攝現場，打板是場記的主要工作之一，目的是為了記錄每個鏡頭的信息和始末，方便后期剪輯處理。而在動作捕捉現場，我們同樣需要打板環節，并且難度會更大，因為除了錄制表演視頻外，還要考慮演員肢體、手指和面部動作捕捉數據錄制、現場收音同步的問題，而多源異構信息采集一旦出現延遲就會造成動作捕捉數據丟失或聲畫不同步的問題。因此，同步觸發打板系統應運而生。

同步觸發打板系統是根據電影拍攝自主研發的拍攝系統，包括電子打板器與信號同步器兩個主要模塊。電子打板器以傳統場記板〔圖9（a）〕為基礎，裝配電子按鍵器〔圖9（b）〕，其中的無線傳輸模塊以單片機為基礎開發邏輯電路。場記板在拍下瞬間觸發電子按鍵器響應，由主控芯片將生成的模擬信號轉換成數字信號，通過無線網絡發送至動作捕捉片場的主控單元；而信號同步器則以電子電路技術為基礎，用來接收片場主控信號，通過數字信號轉換為模擬信號，經過濾波、功放等處理后以多通道方式同步輸出至片場表情捕捉、錄音和攝影等設備作為啟動控制，確保片場數據錄制信息同步開始，解決多源信號同步問題（圖10）。

圖9 《飛向月球》同步觸發打板系統

圖10 《飛向月球》同步觸發打板系統使用流程圖

4 結語

實時交互預演通常指在能夠滿足實時可視化、反饋、編輯的環境下，采用多種交互方式來輔助完成鏡頭畫面預演的技術，是電影虛擬攝制體系的重要組成部分[15]，也幾乎成為真人動畫電影虛擬化制作體系中的標配。制片組根據需求選擇合適的拍攝方案尤其重要。在電影《飛向月球》正片拍攝之初，團隊進行了8 分鐘的樣片拍攝，測試了影像合成效果、核心拍攝技術，并梳理了拍攝方案、團隊架構和制片流程等，為后面整部影片的順利進行奠定了基礎。

在藝術與技術融合的創作需求下，《飛向月球》的創作者們同樣感受到了中國電影技術研發環節提質升級、科技人才儲備面臨擴充的迫切需求。《飛向月球》在多項虛擬攝制新技術上進行探索應用，這些實踐經驗也逐漸應用于北京電影學院的日常教學中，反哺學生創作及人才培養。本次拍攝在實時交互預演技術制片流程、引擎技術與傳統三維動畫兼容性等方面還存有若干技術難點，我們會在后續的真人動畫電影創作中逐步完善，梳理出中國本土化的實時交互預演系統及相關攝制方案。