VR在虛擬影視拍攝中的應(yīng)用

Norman Wang

（Glassbox 公司，美國 洛杉磯 90036）

1 虛擬制作

自2016 年HTC Vive 發(fā)行以來，我們見證了好幾部將VR 技術(shù)廣泛應(yīng)用于其制作的電影大片。首先是史蒂芬·斯皮爾伯格的“頭號(hào)玩家”，其中來自Digital Domain 的團(tuán)隊(duì)利用VR 來幫助可視化和設(shè)計(jì)“Oasis”：一部充滿未來感的虛擬現(xiàn)實(shí)世界，很多電影中的故事情節(jié)都發(fā)生在其中。另一個(gè)最近的例子是“獅子王”，它使用真實(shí)的照片，用動(dòng)畫的方式再一次重現(xiàn)了1994 年迪士尼的這部經(jīng)典電影，導(dǎo)演喬恩·法夫羅，視覺特效（VFX）主管Robb Legato 和攝影師Caleb Deschanel 使用VR 進(jìn)行了可視化、設(shè)計(jì)、創(chuàng)作以及編排虛擬表演和攝影。

喬恩·法夫羅（Jon Favreau）在最近的美國導(dǎo)演協(xié)會(huì)（DGA）數(shù)字世界2019 活動(dòng)的最新講話中強(qiáng)調(diào)，使用真實(shí)演員和場景制作電影與使用虛擬演員和虛擬場景制作電影沒有區(qū)別，因?yàn)椤疤摂M制作”技術(shù)使他可以使用傳統(tǒng)制作中的技術(shù)、技能和工作流程，即使“獅子王”中的所有內(nèi)容都是虛擬的。

虛擬制作最初是為了詹姆斯·卡梅隆的“阿凡達(dá)”而創(chuàng)造的，顧名思義，它是對(duì)傳統(tǒng)電影制作的虛擬仿真。在傳統(tǒng)的電影制作中，導(dǎo)演使用物理攝像機(jī)在一個(gè)物理場景中捕捉真實(shí)演員的身體表演。相比之下，虛擬制作使用虛擬攝像機(jī)在虛擬場景中拍攝數(shù)字演員的虛擬表演。“阿凡達(dá)”開創(chuàng)了3 項(xiàng)核心創(chuàng)新——虛擬電影攝影、表演捕捉和協(xié)同工作攝影機(jī)，其中虛擬元素與攝影圖像實(shí)時(shí)混合。

虛擬制作與傳統(tǒng)VFX 的不同之處在于，虛擬制作完全“實(shí)時(shí)”運(yùn)行，其中，虛擬圖像是在由攝影導(dǎo)演或攝影機(jī)操作員控制虛擬攝影機(jī)的情況下，在不到1s 的時(shí)間內(nèi)生成的，而非一般典型的“離線”或“預(yù)渲染”方法，其中每個(gè)圖像可能要花費(fèi)數(shù)小時(shí)或數(shù)天才能生成。自“阿凡達(dá)”問世以來的1 年中，虛擬制作技術(shù)已廣泛應(yīng)用于大多數(shù)現(xiàn)代大片中，如上文提及的“頭號(hào)玩家”和“獅子王”以及大獲成功的電影和電視劇，如“復(fù)仇者聯(lián)盟：殘局”“戰(zhàn)斗天使：艾麗塔”和“權(quán)力的游戲”。

2009 年，虛擬制作委員會(huì)由美國電影攝影師協(xié)會(huì)（ASC）、藝術(shù)導(dǎo)演協(xié)會(huì)（ADG）、視覺效果協(xié)會(huì)（VES）、預(yù)視化協(xié)會(huì)、美國制片人協(xié)會(huì)（PGA）和國際電影攝影師協(xié)會(huì)（ICG）的成員組成而正式成立。

2 現(xiàn)代虛擬制作

虛擬制作需要實(shí)時(shí)生成圖像。這種速度要求是以圖像質(zhì)量為代價(jià)的，因此，傳統(tǒng)的虛擬制作主要是出于可視化和預(yù)制作的目的。此外，傳統(tǒng)的虛擬生產(chǎn)需要高度專業(yè)的設(shè)備和技術(shù)人員運(yùn)行和操作。因此，虛擬生產(chǎn)主要用于高端項(xiàng)目，在這些項(xiàng)目中，大量制作和后期制作成本保證了對(duì)虛擬生產(chǎn)的投資。

在電影行業(yè)之外，實(shí)時(shí)渲染技術(shù)迅速發(fā)展。在視頻游戲和VR 行業(yè)的推動(dòng)下，當(dāng)前的實(shí)時(shí)游戲引擎能夠使用現(xiàn)成的消費(fèi)類硬件實(shí)時(shí)創(chuàng)建逼真的圖像。這導(dǎo)致了新一代虛擬產(chǎn)品的更迭，這些產(chǎn)品由游戲引擎以及現(xiàn)成的VR 和游戲硬件提供支持，如HTC Vive 在“頭號(hào)玩家”和“獅子王”中的使用。

借助游戲引擎的功能，現(xiàn)代虛擬制作越來越多地創(chuàng)建更加逼真的圖像，并具備基于物理的照明、陰影、大氣、粒子、景深等效果，以便導(dǎo)演可以更好地可視化并傳達(dá)有關(guān)復(fù)雜元素的決策。若使用早期方法生成的低質(zhì)量圖像，照明、構(gòu)圖和VFX 則無法實(shí)現(xiàn)。

ILM 的工作越來越明顯地依賴于消費(fèi)者硬件，ILM 的工作是在iPad 上連接Vive 控制器以創(chuàng)建無線虛擬相機(jī)，以及通過The Third Floor 和Glassbox Technologies 做出更多新作品，其中虛擬相機(jī)的跟蹤完全由蘋果公司的ARKit 完成。大體上，Valve在2016 年創(chuàng)建的使用綠屏和Vive 控制器來推廣HTC Vive 和SteamVR 的混合現(xiàn)實(shí)演示，允許物理相機(jī)的運(yùn)動(dòng)控制虛擬相機(jī)，與“雷神”“仙境傳說”和“復(fù)仇者聯(lián)盟”產(chǎn)品使用的技術(shù)相同。

使用以消費(fèi)者為中心的技術(shù)，可以使用數(shù)千美元而不是數(shù)百萬美元的技術(shù)交付現(xiàn)代虛擬產(chǎn)品。在2019 年8 月，Epic Games 與虛擬制作委員會(huì)協(xié)商后發(fā)布了長達(dá)98 頁的虛擬制作工作指南。

3 超越虛擬：實(shí)時(shí)制作

雖然虛擬制作很復(fù)雜，但是其核心仍然是物理膠片制作的虛擬仿真，在AI、云計(jì)算和實(shí)時(shí)光線追蹤方面的最新進(jìn)展，出現(xiàn)了一個(gè)明顯的趨勢，即實(shí)時(shí)渲染的圖像可以接近以前只能通過傳統(tǒng)離線VFX 實(shí)現(xiàn)的圖像。NVIDIA 通過發(fā)布“ Turing”一代圖形處理單元（GPU）促使了對(duì)“實(shí)時(shí)VFX”的最新推動(dòng)，該圖形處理單元（GPU）利用早期的設(shè)計(jì)改進(jìn)了Tensor Processor，從而創(chuàng)建了專門針對(duì)實(shí)時(shí)優(yōu)化的硬件和軟件驅(qū)動(dòng)程序光線追蹤。該功能于2017 GDC（游戲者開發(fā)大會(huì)）在Epic Games、ILMxLab 和NVIDIA 之間的協(xié)作演示中首次展示。在2019 年，Epic Games 獲得了高級(jí)圖像學(xué)會(huì)（Advanced Image Society）的盧米埃獎(jiǎng)，該獎(jiǎng)項(xiàng)特別認(rèn)可了該引擎的實(shí)時(shí)光線追蹤功能。

擁有訪問實(shí)時(shí)的真實(shí)照片的能力，現(xiàn)代電影制片人正試圖超越虛擬制作，進(jìn)入實(shí)時(shí)制作領(lǐng)域。實(shí)時(shí)制作是虛擬制作的擴(kuò)展，除了在實(shí)時(shí)生產(chǎn)中，工作人員正在創(chuàng)建最終圖像或非常接近最終圖像，在此場景上，無需依賴虛擬元素進(jìn)行離線的后期制作。實(shí)時(shí)制作可以分為3 個(gè)主要關(guān)注的領(lǐng)域：實(shí)時(shí)VFX、實(shí)時(shí)相機(jī)內(nèi)VFX 和實(shí)時(shí)交互式照明。

實(shí)時(shí)VFX 是指在其他傳統(tǒng)的VFX 流程中使用實(shí)時(shí)生成的圖像。這可能意味著直接從引擎渲染最終圖像，就像ILM 在“星球大戰(zhàn)外線：俠盜一號(hào)”中以及Pixomondo 在“星際迷航：發(fā)現(xiàn)”中所做的，創(chuàng)建完整的動(dòng)畫，如Digital Dimensions所做的Zafari。根據(jù)Epic Games 發(fā)布的實(shí)時(shí)制作白皮書，這些工作室報(bào)告說明，與傳統(tǒng)的離線制作相比，實(shí)時(shí)VFX 可以節(jié)省30%～50%的時(shí)間。位于英國的現(xiàn)場設(shè)施和位于西班牙的MR 工廠等設(shè)施正在使用綠屏將實(shí)時(shí)逼真的虛擬圖像合成到攝影圖像上，以直接創(chuàng)建最終圖像。

實(shí)時(shí)相機(jī)內(nèi)VFX 是相機(jī)內(nèi)VFX 的實(shí)時(shí)擴(kuò)展，通過投影儀和其他顯示技術(shù)在攝像機(jī)內(nèi)捕獲視覺效果，如遺忘星球的標(biāo)志性建筑天空塔、梭羅河、星球大戰(zhàn)和登月第一人。在一些最新的作品中，結(jié)合了虛擬和實(shí)時(shí)制作技術(shù)的大型LED 墻用于在工作流中顯示實(shí)時(shí)渲染和經(jīng)過透視校正的圖像，該工作流完全取代了傳統(tǒng)的綠色屏幕。

實(shí)時(shí)交互式照明是實(shí)時(shí)相機(jī)內(nèi)VFX 的直接產(chǎn)品。然而，并非顯示虛擬圖像以使其在相機(jī)中被捕獲，實(shí)時(shí)交互式照明關(guān)注的是使用實(shí)時(shí)虛擬世界來控制真實(shí)世界的照明。這可以通過高亮度LED 和LCD 屏幕以及啟用DMX 的專業(yè)燈來完成。

4 結(jié)語

實(shí)時(shí)制作是在穩(wěn)定的技術(shù)上的最新進(jìn)展，始于阿凡達(dá)的虛擬制作技術(shù)。結(jié)合了最新的AI、云計(jì)算、渲染、游戲引擎和XR 技術(shù)，實(shí)時(shí)制作有望比傳統(tǒng)制作流程節(jié)省大量成本和時(shí)間。