虛幻引擎在虛擬拍攝中的應用

徐 立

(上海戲劇學院電影學院,上海 200040)

1 引言

視覺特效 (VFX)行業在過去30 年中取得了長足的進步:從1985年上映的《年輕的夏洛克·福爾摩斯》()電影中完全由計算機生成的角色,到2019 年真人版 《獅子王》()等令人難以置信的計算機三維全環境制作。視覺特效技術的發展主要由大型工作室和故事背后的一批創意頭腦推動,他們在看到強大虛幻引擎背后的潛力和視覺特效行業需求指數增長后,甚至創建了內部實驗室來開發其全部潛力。

影視制作方發現最好地有效控制整個制作流程就是:可以在導演、燈光、攝影、演員之間創造一個更具協作性的環境,讓他們協同工作一次性完成最終的拍攝鏡頭,而無需后期特效部門將幾個不同的鏡頭合成為最終的拍攝鏡頭,這樣就大大降低了后期的制作成本和時間。虛擬制作即將改變制作電影的方式,這不再是新聞。隨著電腦硬件、軟件以及配套硬件的不斷技術更新,越來越多的工作室開始使用虛擬制作這一影視制作方式,主要有以下幾個原因:

(1) 它降低了新興電影制片人進入影視拍攝的門檻。

(2) 它幫助了制作人對拍攝環境和設計鏡頭的完全地創造性控制。

(3) 對于外景拍攝的后勤保障來說,它大大地降低了各種成本,同時也節省了時間。

虛擬制作是電影制作的新領域,其他行業也開始注意到這一點,利用游戲技術打開了一個充滿可能性的世界。虛幻引擎和虛擬制片的完美結合在影視制作行業正在不斷推廣和發展,不斷更新發展的虛幻引擎,也給影視制作行業帶來了一場革命。虛幻引擎中包含的技術進步將使電影和動畫制作變得更加容易,游戲公司將繼續擴展他們的虛幻引擎來構建整個三維環境和重塑虛擬生產工作流程的能力。

這方面研究將集中于四項主要技術,以及它們如何協同工作以實現虛擬制片。這些技術包括:虛擬勘景和制作拍攝預覽、LED 幕墻、虛幻引擎和運動跟蹤攝像機。

2 虛擬勘景和制作拍攝預覽

這項技術的主要目的是為現實生活中尚未創建的場景創建一個3D 環境,并確保每個元素都適合制作。利用虛擬現實,導演和攝制組可以 “站”在這個計算機生成的環境中,預先想象他們計劃拍攝的鏡頭。這樣,如果需要任何更改,可以在實際拍攝之前發現,并為生產節省時間和金錢。

拍攝預覽和勘景是兩個獨立的事情,但本質上,它們在虛擬生產環境中使用相同的工具。它們都使用實時游戲引擎,通過虛幻引擎制作虛擬場景將真實世界環境引入游戲引擎,并與創意團隊遠程探索,以確定該場景是否適合制作。在虛幻引擎中,可以模擬不同的現實世界的照明風格,解決一些最復雜的后勤挑戰,而無需踏足現場。顯然,這可以節省整個創意團隊帶到遠方所需的旅行機票、餐飲、酒店、交通、安保等巨大成本。如果需要拍攝的場景現實中還不存在,比如一些科幻場景,以及舊時的許多場景,可以在工作室中使用虛幻引擎從頭開始構建。

影視作品實拍之前的拍攝預覽可以在虛幻引擎中制作完成。在已完成的虛擬勘景基礎上,將整部或部分作品在虛幻引擎中制作完成,在這個層面上,導演的創作意圖可以在實拍之前在虛幻引擎軟件中進行虛擬制片、編輯和導出整個電影序列或場景。這有助于創作團隊確定當天在拍攝現場要做出哪些創造性選擇,以避免重拍或代價高昂的延遲。雖然拍攝預覽在電影和電視界并不新鮮,但在游戲引擎中實時創建拍攝預覽的方式讓不懂3D 軟件的創作團隊中的不同成員更能接受這種工作方式,這種方式確保主創團隊中每個人都能通過觀看拍攝預覽,認可和確認最終要拍攝的視覺內容。

3 LED幕墻

在迪士尼的 《曼達洛人》取得巨大成功后,隨著工業光魔公司 (ILM)發布該系列的幕后制作花絮,LED 幕墻技術開始為公眾所知。這個特效制作公司主要展示了他們的LED 顯示技術,LED 顯示墻通過顯示在軟件中實時渲染好的虛擬場景,讓演員和導演能夠直接與虛擬的場景進行互動,以便他們能夠拍出更好的作品。

LED 幕墻技術正在取代傳統影視作品拍攝中使用的藍色和綠色屏幕技術。早期和目前的影視特效中大量用到綠幕技術,綠幕技術是使用一個大的綠色背景,放置在拍攝的背景中,以便以后使用數字特效將被拍攝素材中的綠色部分用特效軟件摳掉并保留其他被拍攝的部分。拍攝好的鏡頭需要交給特效制作部門以便利用軟件合成到需要的其他場景中,對拍攝好的鏡頭還需要對鏡頭中的燈光、畫面的色調等進行調整以匹配其他場景鏡頭的燈光、畫面的色調,這種工作量巨大而且非常繁瑣。現在通過LED 屏幕直接改變一切,被拍攝物體的反射、LED上顯示的虛擬背景場景和道具都在一個燈光環境中,它們在同一個燈光環境中的光影變化可以實時表現出來,看上去非常真實自然。這樣就無需特效制作部門進行不同鏡頭素材的合成匹配工作。

4 虛幻引擎

虛幻引擎是英佩游戲公司 (EPIC)開發的專有游戲引擎,于1998年首次與同名的第一人稱射擊游戲《虛幻》一起推出。自成立以來,虛幻引擎已擴展到三維游戲領域,并已發布最新的迭代版本虛幻引擎5(UE5)。虛幻引擎5通過在令人驚嘆的視覺內容、基于節點結構的特效系統、高性能物理系統、世界建筑等方面引領行業,將互動體驗提升到新的水平。

目前它不僅是一款優秀的游戲制作軟件,而且許多電影制作人已經開始將虛幻引擎應用于電影拍攝、電視拍攝、視頻制作和其他商業項目。作為一項高新技術,虛幻引擎仍處于視頻專業人士開發和應用的階段。它的全部用途尚未完全實現,但其為虛擬制片提供了一種強大的方法,可以將虛擬現實和增強現實與CGI和拍攝到的場景無縫地結合起來。工作室可以在舞臺上拍攝并實時查看虛幻引擎生成的虛擬圖形,改變拍攝位置就像換掉背景一樣簡單,導演、演員可以看到最終拍攝出的影視素材并立即在虛幻引擎中進行更改。虛幻引擎引領著跨行業的虛擬制作,為創意的拓展提供了豐富的可能性。

如果沒有英佩游戲公司開發的虛幻引擎的幫助,這種LED 幕墻技術將難以實現。虛幻引擎既可以進行實時照片級真實感渲染和實時光線跟蹤,而且還有一個額外的好處,即在拍攝過程中能夠在相機和物體之間獲得精確的視差。另一個不同尋常的特點是,通過虛幻引擎還可以制作逼真自然的虛擬三維角色和場景中的動畫,并讓演員與之進行一定程度的互動。目前,越來越多的工作室使用虛幻引擎進行虛擬制片。

使用虛幻引擎為虛擬制作創建數字文檔有助于團隊中的每個人從拍攝開始就理解最終的拍攝視覺效果。這是因為使用實時游戲引擎比其他三維動畫軟件可以做更多的工作。它可以幫助導演、場景設計師、演員和其他工作人員了解虛擬場景的“真實”物理性,從而創建高質量的視覺效果,跟上不斷的拍攝調整和場景變化,避免長時間審查的瓶頸和重新拍攝的風險。現在,拍攝團隊的每個人都可以快速做出決策并實時調整虛幻引擎中的數字文檔。

假設拍攝團隊正在創建一個將顯示在LED 墻上的背景。在任何人進入片場之前,虛擬藝術團隊可以使用虛幻引擎建造三維樹木、山脈、城市、街景和其他組件。這些數字文檔可以在拍攝整個電影中使用,而且可以反復使用以滿足不同的拍攝要求。特效團隊不需要在拍攝完成后進行后期特效處理,使用虛幻引擎進行虛擬制片可以將人物、道具等與虛擬物體和場景一次拍完,而不需要綠幕摳像技術的介入。

這些數字文檔甚至可以用于其他拍攝項目。如果制作人員以正確的方法管理和存儲這些數字文檔。工作室可以對這些創建的內容稍加修改和調整,以便快速交付給其他項目使用。這使得整個創作過程更加高效和一致。

虛幻引擎的強大功能之一就是可以儲存大文件和海量的數據,同時制作人員可以實時快速調用這些數據,這使得虛幻引擎成為一個高效穩定的系統。

在2022年發布的新版本虛幻引擎5中,有兩個新增加的主要功能Nanite和Lumen,更新后的虛幻引擎功能得到了實質性的增強。

使用虛擬化微多邊形幾何體系統Nanite,可以供用戶輕松創建擁有海量細節的游戲和其他極其復雜的三維模型。Nanite系統可以直接導入由數百萬多邊形組成的影視級高精度的數字模型以及相關的數字文檔(包括通過Zbrush軟件創作的任何雕塑以及攝影測量掃描資產),將它們在虛擬場景中反復布置數百萬次之多,在其操作中始終保持實時幀率,同時沒有任何明顯的保真度損失。Nanite可智能流送并處理你能觀察到的細節,在極大程度上解除了多邊形數量和繪制調用的限制,并省去了一些極其費時的工作,讓你專注于創意工作。使用Nanite的好處包括:

(1)可使用幾何體的復雜程度增加了多個數量級,可視的三角形和物體數量比以前實時顯示要多得多。

(2)幀預算不再受多邊形數量、繪制調用順序和網格內存使用的限制。

(3)現在可以直接導入電影質量的原始文件,例如ZBrush造型和攝影測繪掃描。

(4)使用高多邊形細節而不是將細節烘焙到法線貼圖紋理中。

(5)細節級別 (LOD)自動處理,不再需要手動設置單個物體的LOD。

(6)物體顯示精度損失很少或不存在,尤其是LOD的轉換。

Lumen是一套全動態全局光照解決方案,可以讓你創造出動態、可信的場景——在這里,間接光照會根據直接光照或幾何體的變動實時發生改變:例如根據天時改變太陽光角度、打開手電筒或打開一扇通向戶外的門。有了Lumen,你再也無需編輯光照貼圖UV,等待光照貼圖生成完成或放置反射捕捉;Lumen 會自動生成附近場景表面的參數化,稱為Surface Cache。它用于快速查找場景中光線命中點的照明。Lumen從多個角度捕獲每個網格的材料屬性。這些捕獲位置 (稱為卡片)是為每個網格離線生成的。你只需在虛幻編輯器中創建并編輯光源,就能看到和游戲在主機上運行時完全相同的最終光照效果。

5 運動跟蹤攝像機

虛幻引擎能在攝像機拍攝中實時捕捉到攝像機在空間運動中的位置,并把捕捉到的位置信息傳輸回虛幻引擎。虛幻引擎將根據這些攝像機的位置信息實時調整虛幻引擎中的虛擬攝像機的位置,這樣虛幻引擎中呈現的虛擬場景畫面就會和真實的攝像機的拍攝視角完美地匹配。在虛幻引擎中可以使用工具捕捉物體、演員或相機的運動,是虛擬制作中一個重要的部分。事實上,真實的類人運動可以實時編碼到3D 圖形引擎中,以完成大量工作,包括:

(1) 捕捉人體的運動,將其應用到動畫角色上。

(2) 捕捉道具的移動,將其應用到復雜動畫上。

(3) 捕捉三維空間中虛擬攝像機的運動,以便保持攝像機運動和虛擬攝像機運動產生視覺扭曲的同時,改變虛擬場景中的背景。

6 總結

2019年新冠肺炎疫情后,由于人們的出行受到一定的限制,導致使用虛幻引擎進行虛擬制片技術的應用不斷增加。在這段時間里,人們通過可以遠程控制的虛擬環境,同時讓導演、攝影導演和藝術家一起在室內工作。這些技術主要在大型影視作品的拍攝中進行了探索和完善,《曼達洛人》和《權力游戲》等節目是虛擬制片中一些技術的應用典范。現在,隨著這些技術的不斷傳播,我們已經看到許多新的影視作品都在使用虛幻引擎進行虛擬制片。越來越多的影視制作團隊之所以在虛擬制片中使用虛幻引擎是因為虛幻引擎可以制作出照片級逼真的全三維場景和虛擬角色,制作中使用的貼圖根據需要可達到8K 的分辨率;不僅可制作靜態的場景,而且可以制作豐富的三維動畫;虛幻引擎中三維場景和虛擬人物在拍攝中隨時可以根據創作團隊的拍攝要求進行動態調整,調整后的視覺效果是實時輸出的,這樣就節省了大量渲染時間,從而降低了拍攝成本和時間。計算機硬件的不斷完善和提升是虛擬制片得以發展的一項前提條件,特別是CPU 和GPU 每出現一個新版本,虛幻引擎的功能就更加強大,這意味著圖像真實度會進一步提升。當然,專業公司將繼續開發虛幻引擎,以利用諸如光線追蹤這類全新實時技術,從而進一步提高圖像質量。

根據特效部門的制片人、視覺特效藝術家和電影制片廠、制片人的介紹,好萊塢電影行業可能正在達到使用傳統的電影制作方法的上限。而使用虛擬制片的思路和各種制作工具不僅讓更好的創意得到實現,而且極大地降低了電影制作的時間和成本。

電影拍攝的實時可視化有助于加強整個制作流程的規劃,提高拍攝效率并減少昂貴的重新拍攝的發生。以好萊塢電影行業為例,重拍行為是常見于高預算電影制作,其重拍費用比例占總成本的5%到20% (甚至有時更高)。雖然不是每個劇本或導演都非常適合使用演員直接在LED 幕墻前表演這種拍攝制作方式。但是,毋庸置疑虛擬拍攝節省了拍攝團隊的旅行費用、拍攝設備的運輸、和搭建實景的成本,從而大大降低了整個制作成本。一些高預算的影片如科幻片和魔幻片,其特效制作成本高達總預算的20%,利用LED 幕墻進行拍攝可以減少后期合成和摳像(Rotoscoping)的步驟,同時拍攝人員可以在拍攝前快速進行反復測試以確定其最終效果。

總之,虛擬拍攝具有迭代性和創造性。在整個制作中,虛幻引擎為虛擬制片而制作的各種數字資產可用于目前的拍攝策劃和拍攝制作。由于其數字屬性使得其容易在整個過程中不斷完善修改最終的外觀和感覺。同時,虛幻引擎制作的這些數字資產又可以被其他的拍攝項目重復使用并按照制片人、導演的意圖進行修改,節省了大量制作時間和拍攝成本。計算硬件的不斷完善和提升是虛擬制片得以發展的一項前提條件。特別是,CPU 和GPU 每出現一個新版本,虛幻引擎的功能就更加強大。這意味著圖像真實度會進一步提升。當然,英佩游戲公司將繼續開發虛幻引擎,以利用諸如光線追蹤這類全新實時技術,從而進一步提高圖像質量。

①引自https://www.unrealengine.com/zh-CN/unreal-engine-5。