游戲引擎在電影工業中的應用研究

焦垚楠

1.浙江傳媒學院華策電影學院,浙江杭州 310018 2.北京師范大學藝術與傳媒學院,北京 100091

游戲引擎 (Game Engine)是為視頻游戲開發設計而提供的軟件框架,其核心功能通常包括渲染引擎、物理引擎、聲音系統、動畫系統、腳本引擎、輸入系統、人工智能及場景管理等,目的是讓開發者、設計師及其他創作者能夠不從零開始,利用現有工具便捷地構建出自己想要的游戲或相關項目。提及游戲引擎,如今已是Unreal和Unity二分天下的局面,而在電影工業生產中,Unreal則占據著不可逾越的位置,回顧游戲引擎的發展歷史,便可看出游戲與電影的制作生產是如何產生交集的。

游戲引擎根本上是一種代碼的重用,即借助別人已經開發的工具,來進一步完成自己的設想。自20世紀80 年代開始,大量的電子游戲涌現市場,這些游戲往往各自獨立開發和發行,盡管某些游戲公司和開發者可能在自己的游戲中重用了部分代碼,但不同游戲的代碼不會相互公開,也沒有人試圖借助別人的代碼來創建自己的游戲。直到20世紀90年代,受益于游戲開發共享需求,以及家庭計算機和游戲機的普及,游戲引擎的概念開始出現。

Id Software的Doom (《毀滅戰士》,1993)和Quake(《雷神之錘》,1996)兩款風靡一時的游戲發布后,其他開發者可以直接借助軟件的核心部分來設計他們自己的圖形、角色、武器和關卡,將特定的游戲規則與通用的游戲框架分開,極大優化了團隊的分工和工作效率。

隨后,Id Software的Quake III Arena和Epic Games的虛幻引擎(Unreal Engine)均采用該思路進行設計,引擎和內容分別進行開發,可重復使用的引擎使開發游戲續作更快更容易,這在競爭激烈的視頻游戲行業顯得尤為重要。2000年左右,Epic和Id Software之間還存在著激烈的競爭,但不久后,Epic的虛幻引擎取得了壓倒性的優勢,并在近些年延伸到了虛擬仿真、建筑、教育、裝飾、主題樂園等各個領域。

電影作為現代高品質數字視聽技術的應用綜合體,不少游戲引擎都意愿涉足其中,例如德國Crytek公司的CryEngine 就試圖基于該引擎開發出Film Engine,首次提出將電影制作流程嵌入游戲引擎,它聲稱將提供一套集成的工具,允許用戶在電影制作中涉及的所有不同領域 (例如預演、動畫、照明和剪輯)并行和實時地工作。除了這種實時電影制作流程外,Film Engine還利用了其它實時技術,尤其是在虛擬攝制中使用的技術,例如動作捕捉、攝像機跟蹤、機器學習模型和綠屏合成。

然而,Film Engine卻未能如愿發布,而虛幻引擎則在隨后的幾年內在電影領域得到應用。虛幻引擎4 (UE4)能夠帶來接近電影畫面質量的實時渲染效果,而Epic最新推出的虛幻引擎5 (UE5)更是憑借虛擬化微多邊形系統Nanite和Lumen實時動態全局照明系統兩大核心功能,顛覆了傳統電影制作,突破了電影與游戲生產的邊界。

1 游戲引擎與電影工業

游戲引擎最初是作為視頻游戲的一種底層管道開發的,近些年越來越成為電影制作人喜愛的工具,他們借助引擎將實時視覺效果添加到部分制作過程中。起初,好萊塢對游戲引擎的使用主要限于斯皮爾伯格和工業光魔(ILM)開創的前期可視化流程,但隨著實時計算優化的圖形處理芯片組變得越來越強大,游戲引擎在整個工作流程中發揮著越來越多的作用,從前期預演的參考影像逐步擴展至后期制作,甚至直接以最終影像出現在影院銀幕上。

實際上,游戲引擎作為游戲開發工具,其特性與電影制作過程在諸多方面存在契合。

首先,游戲制作與電影內容制作本就使用大量相同的軟件工具,諸如Maya、3Ds Max、Zbrush等三維內容制作軟件,以及Photoshop、After Effects等視頻圖像處理軟件,均廣泛應用在電影視效制作流水線、CG 動畫電影和預演當中,同時也是游戲引擎資產對接的重要工具。

第二,游戲引擎和電影虛擬攝制對于CG 類虛擬資產的需求是幾乎一致的,主要包括虛擬角色數字資產、虛擬置景數字資產以及虛擬攝制設備數字資產三類,為滿足電影虛擬攝制實時效果,三類資產往往依據具體資產對象的實際制作目的,將模型、材質、貼圖、動畫、燈光、流體與粒子特效 (如海浪、火山爆發、破碎、房屋倒塌、煙火)、數字繪景及渲染數據等內容和效果集合于一體。基于各類資產內容構建虛擬資產庫,可為快速預演鏡頭的創建提供基礎素材,同時,從前期概念設計到后期成片制作,整個工業流程都將受益于虛擬資產庫所帶來的高效性和實時化。

第三,電影制作中的一些非CG 數字資產,也可劃歸在游戲制作和電影制作的共同資產庫中,例如影像素材、色彩查找表 (LUT)、剪輯決策表(EDL)等視覺資產,音樂、音響、語言等聽覺資產,鏡頭畸變數據、運動軌跡數據、跟蹤數據等其它數字資產。

最后,電影與游戲中均存在燈光、景深、物理交互等元素需求,隨著電影創作者對虛擬角色、場景、光照、粒子特效等元素的實時交互的需求不斷提升,無論是虛實布光匹配,還是虛擬角色與真人演員實時交互,都無法離開游戲引擎技術,在影棚里拍電影的過程,愈來愈像玩家玩游戲的過程。

游戲引擎使得攝影師在現場可以非常方便地對虛擬場景的燈光風格進行控制,實時GPU 渲染可以模擬光的顏色、亮度、陰影、范圍、交疊等效果,并做出符合物理原則的視覺表現,通過組合不同的燈光以形成不同的布光方式,如三點照明法、人物輪廓光表現、靜物、空間表現等方式,很多攝影的經典布光技巧和風格在模式整合下可以快速表現。此外,游戲引擎對攝影機焦點、景深、運動模糊等物理屬性及虛擬角色動畫、空間布局的實時調整,使得導演和攝影師可以任意調控虛擬環境中的任何元素,為其現場創作帶來了極大的便利。

根本上來說,游戲行業借助游戲引擎已有的代碼和工具來完成自己的項目,而虛擬攝制背景下的電影工業,則借助游戲引擎已有的資產和工具來完成內容生產,游戲引擎于游戲和電影有著幾近等同的價值。

2 游戲引擎在電影工業生產中的應用案例分析

最初的游戲引擎往往不具備電影制作能力,虛幻引擎的虛擬相機沒有焦距或靶面設置,僅有一個視場角,而如今它不僅有焦距、底片、景深、光圈、ISO 和快門速度等電影攝影機參數,甚至包含了ACES色彩工作流程。像第三樓(The Third Floor)這樣的可視化預演工作室,在項目中利用虛幻引擎和其它實時引擎來進行前期預演、技術預演,以及在生產流程的各個階段使用的各類型動畫,其作品涵蓋多部漫威電影、星戰系列電影,以及 《曼達洛人》《權力的游戲》等流行劇集。

圖1 《奇幻森林》中基于Unity引擎的現場實時預演

將游戲引擎首次引入影片虛擬拍攝現場的是2016年上映的影片《奇幻森林》()。這部由迪斯尼出品、Jon Favreau 執導的奇幻冒險片,改編自Rudyard Kipling的同名小說 《森林王子》(),以1967年迪斯尼同名動畫電影作為參考,是一部利用CGI技術與真人實拍實現完美融合的精良之作,故事講述了在狼群中長大的小男孩毛克利被迫逃離森林,在動物朋友的幫助下,不斷對抗危機、探索自我的過程。負責影片視覺特效的兩家主要公司是MPC (Moving Picture Company)和維塔數碼 (Weta Digital)。影片中除男主角以外的所有動物角色、叢林場景均為全CGI制作,作為一部以動畫片方式制作的真人電影,該片憑借逼真的特效與一流的視覺表現,贏得了第89屆奧斯卡最佳視覺特效獎的榮譽。

《奇幻森林》的視效總監Legato表示,制作團隊完全模糊了拍攝前后期的界限,沒有嚴格的前期預演、現場拍攝、后期預演和后期視效制作的生產線之分。當然,這并不意味電影制作流程是隨意的,MPC的Adam Valdez強調他們的拍攝計劃和創作意圖在制作過程中起著非常關鍵的作用,他們以一種創造性的、循環迭代的電影虛擬攝制新形式來制作《奇幻森林》,從而讓主創能夠像拍攝實景真人電影一樣完成整部“動畫”電影的制作。

這部影片的成功得益于商業游戲引擎在電影現場預演中的應用。《阿凡達》虛擬拍攝中使用的動畫軟件MotionBuilder,擁有較好的實時渲染效果,但照明效果與畫面細節表現一般,《奇幻森林》采用了Unity來完成三維虛擬場景的實時可視化,Unity是一款免費的游戲引擎,許多PC 和移動端游戲都基于該引擎開發。借助該引擎,制作組可以在工作中隨時控制虛擬世界的光照,如光線方向、強弱、色溫等,并實時與現場光照進行匹配,以營造故事所需的環境效果,除了精心布置的燈光,現場還將LED 面板進行編程來創造大象或水牛經過時的特殊陰影。此外,Unity可對實拍所用的Alexa攝影機進行實時模擬,并能隨時根據實際需求更換鏡頭,在虛擬空間呈現不同的景深和曝光效果。引擎還能實時添加煙塵、雨霧、火焰等粒子效果,對于氣氛營造和視覺處理有著相當出色的表現。

《奇幻森林》對于電影虛擬化制作技術的充分利用,體現了新技術為電影藝術表達、故事創作帶來的全新變革,正如影片導演Favreau所說,這不僅是對影視技術的應用和發展,更是一次重要嘗試,讓你能夠在現場看到更多、想到更多,從而在成片之前就能對最終效果進行評判和決策。隨后,他們在2019年上映的動畫電影《獅子王》中利用VR 與游戲引擎開發出了一套全新的虛擬攝制流程。他們在虛幻引擎內構建好所需的虛擬制作工具,利用VR 設備在虛擬空間中模擬真人電影制作,所有的虛擬環境都是由MPC 的藝術家提前做好,每個角色都有相應的關鍵幀動畫。主創可以像走進真實場景一樣走入故事世界,將攝影機放在任何想要的位置,如同真實拍攝一般完成虛擬內容創作。

圖2 《獅子王》結合VR 與虛幻引擎進行前期創作

哥本哈根信息技術大學計算機游戲研究中心助理教授保羅·布雷利在 《游戲攝影:從攝像機控制到玩家情緒》中指出,虛擬攝影機和真實攝影機之間最明顯的區別在于虛擬攝影機是一個抽象的結構,它定義了虛擬世界呈現給用戶的方式,旨在模擬真實世界攝影機的行為,在當前最先進的計算機圖形技術中,通過虛擬攝影機生成的圖像與真實鏡頭已經無法區分。然而,與現實世界的攝影機不同,虛擬攝影機在虛擬世界中沒有物理存在,其屬性可以隨著時間的推移而改變,并適應拍攝的事件,這些優勢讓虛擬攝影機能夠以更高的自由度和表現力拍攝場景。

游戲引擎配合攝影機跟蹤,使其成為電影工業領域舉足輕重的“預演”工具,直到2019年末開播的美劇《曼達洛人》,基于LED 背景顯示墻和虛幻引擎的StageCraft系統,讓團隊在現場就完成了影片的最終鏡頭效果,從此,游戲引擎成為 “最終像素”的生產工具。《曼達洛人》中有超過一半的鏡頭借助該系統完成,極大減少了對外景地的依賴,該系統的“所拍即所得”根本上得益于虛幻引擎接近于電影級別的實時渲染能力。借助虛幻引擎創建跟蹤對象和演員周圍攝像機運動的虛擬場景,實時渲染到大型LED 背景顯示墻和大氣照明系統,同時實時合成鏡頭、即時編輯虛擬布景,能夠在短時間內拍攝多個場景,最終呈現的效果比傳統綠幕摳像效果看起來更自然。在StageCraft方案中,引擎內容不再只作為虛擬元素,而是成為實拍的一部分,影響了實拍現場的光線,實時渲染的影像真正成為現實中的環境。

圖3 《曼達洛人》中基于LED和虛幻引擎的StageCraft虛擬拍攝系統

經過近兩年的技術更新和推廣,該方案已在《西部世界》第三季 (2020)、《新蝙蝠俠》 (2022)等劇集和影片中得到應用,國內特效公司、影視基地、研究機構以及大型互聯網公司也開始積極探索基于LED 屏和虛幻引擎的虛擬制片流程,一方面順應了影片制作 “后期前置化”的趨勢,另一方面也適應了疫情環境下人員出行受限、團隊合作模式分布化的現狀。

在電影后期制作階段,Autodesk 的Maya 和3Ds Max等傳統3D 動畫軟件長期在視覺效果方面占據著重要位置,這些3D 軟件追求最終圖像質量,而犧牲了效率,圖像渲染時間很容易延長到每幀數小時甚至數天,具體取決于鏡頭的復雜性和硬件的計算能力。游戲引擎相對于傳統的計算機動畫軟件迭代時間要快得多,盡管在渲染質量上遜于傳統離線渲染器,但某些鏡頭依然可根據故事需求、影像特征需求以及成本考量采用游戲引擎直接渲染。如2016年上映的《星球大戰外傳:俠盜一號》中,機器人K-2SO 的部分鏡頭便是由虛幻引擎進行渲染。虛幻引擎5的出現,為實時渲染進入電影工業后期環節進一步打開了大門,配合圖形顯卡的性能和軟件算法的提升,未來的電影制作將不斷突破時間與效果的限制。

3 疫情時代游戲引擎的應用價值

隨著2020年新冠肺炎疫情的到來,電影制作逐漸向封閉式創作、遠程交互協作的方向發展,游戲引擎給大團隊協作與小規模創作帶來極大便利,越來越多電影工作者使用游戲引擎提升電影制作效率。

在疫情發生之前,影片拍攝現場往往擠滿了技術人員和工作人員,受限于疫情防控之下避免人員聚集的相關政策,原始方式制作電影變得極為困難,跨地區外出取景也因之受限,制片公司需要不斷采取新的數字手段完成電影制作。如今,借助游戲引擎,電影人可以完全在數字環境下創作電影,通過現場LED 屏幕和游戲引擎來創建場景擴展,電影制作者可以將演員和工作人員帶到世界任何地方。許多導演正在嘗試使用這類工具來完成他們的制作,借助其它軟件進行視頻通信并記錄游戲引擎內部所做的每一個更改,所有工具完美結合,讓員工可以全程遠程工作。

2021 年10 月發布的懸疑短片,是團隊借助虛幻引擎5搶先體驗版和Meta Human Creator在六周時間內完成的創作,影片講述了星際維修工Valentina被派往一顆遙遠星球修理無人機,在那里她遇到了一只充滿敵意的外星生物和一股不讓她離開的陌生勢力。影片中的飛船和環境通過TurboSquid和Quixel Megascans在虛幻引擎內創建,團隊試圖將所有的創意都圍繞著如何使用這些資產創作一個故事,這是一種與傳統影像創作截然不同的思路和流程。故事中,原本由真人演員出鏡的Valentina則由Meta Human Creator進行創建,他們在一小時內便制作出了一個逼真的數字人類。最終畫面則在虛幻引擎5中進行渲染,同時使用了虛幻商城資產創造灰塵、顆粒、天空、云霧等環境效果。新的技術應用下,創作方式會變得極為不同,他們整個過程都沒有使用劇本,而是直接錄制了一些旁白文件,用于在引擎中探索敘事的可能性。

動畫導演Neth Nom 與他的240人團隊,則使用Unity引擎完成了他的動畫短片,一切內容創建和處理流程都在引擎內完成,而不需要任何實體工作室來工作,因此他們可以遠程工作,一些團隊成員甚至在不同的國家。此外,Unity引擎的實時渲染特性使制作擺脫了昂貴的制作工具和巨大的渲染農場。一切都是實時的,他們可以立即檢查并查看他們所做的每項更改的結果,同時,生產成本也大大降低。可見游戲引擎對獨立電影制作團隊來說是一個很好的選擇,盡管大的制片公司并未打算拋棄他們現有的制作技術,例如工業光魔 (ILM)依然以傳統制作軟件作為核心,注重各種工具之間的合作互通,但在某些情況下他們也會依賴于虛幻引擎的一些定制版本。

4 總結與展望

如今,電影制作不斷趨于虛擬化、實時化、沉浸式創作和生產,游戲引擎作為實時渲染工具,在電影、游戲、VR、AR、互動敘事等各個與影像相關的領域占據著不可替代的作用。

從誕生之初作為不同游戲的共享框架,到渲染質量逐步逼近電影工業水準,由于游戲本身對實時性和交互性有很高的要求,因而與電影虛擬化制作的方向高度契合,游戲引擎逐漸滲透在電影前期預演、現場拍攝、后期制作的各個階段,從2017 年《奇幻森林》將Unity實時渲染引擎引入了影片的虛擬拍攝現場,到2019年《獅子王》利用VR 與游戲引擎進行全片的鏡頭設計與可視化預演,再到2019年底美劇《曼達洛人》以LED 背景顯示墻讓團隊在現場就完成影片的最終鏡頭效果,游戲引擎不斷以更多方式參與到整個電影工業當中。

2021年底,為宣傳 《黑客帝國4:矩陣重啟》而推出的交互敘事游戲 《黑客帝國覺醒》采用了虛幻引擎5進行制作,這是電影與游戲融合的又一標志性事件,游戲愈來愈注重電影級的質感、敘事和視聽,而電影制作過程的實時交互、可視化反饋也愈來愈與游戲體驗相近,游戲引擎作為二者的連結體,不僅對電影工業和游戲行業的發展至關重要,也對未來影像的表達、敘事形式的探索、新型媒介的創造有著不可估量的價值