影視制作中虛擬制作技術的成因研究

劉陽

摘要：隨著半導體產業的飛速發展，集成芯片的運算能力常年成倍增加。在影視制作領域，算力進步的春風讓更多技術手段成為了可能。目前虛擬制作（Virtual？Production）技術正順著這股春風逐漸被運用在影視制作領域。本文簡述了該技術的原理，并結合技術結構，從LED顯示屏、計算機圖形算力等角度分析該技術在近年興起的原因。

關鍵詞：虛擬制作；影視制作；動作捕捉

2019年，在美國洛杉磯會展中心SIGGRAPH會議的一個角落里，EPIC GAMES公司為觀眾帶來了一場虛擬制作技術的首秀。攝影機正在拍攝著一位跨坐在摩托車上的男主角，而在他的身后的卻是四塊超大的LED屏幕。屏幕中的畫面隨著攝影機的運動而變化，實時顯示出與攝影機透視相匹配的背景場景。摩托車的高光面清楚的映著周圍環境的倒影。一旁的工作人員手指一點，場景的光線就由白天切換到了晚上。殊不知一場影視制作領域的革命性技術就此來臨。在不久前上映的《曼達洛人》第一季中，有超過一半的鏡頭使用了該技術進行拍攝。

虛擬制作技術原理簡述

虛擬制作主要是以實時3D場景渲染為核心，LED墻面顯示屏為載體，動態捕捉技術為紐帶的新興影視制作技術。其主要實現的效果為：在碩大的墻面顯示屏上實時顯示與攝像機運動相匹配的背景畫面。該項技術的基本運行流程為：1.動態捕捉設備確定攝影機在空間中的運動方向、角度。2.計算機結合攝影機的鏡頭焦段、焦點、光圈等參數，實時渲染出與之匹配的3D場景。3.將的3D場景在LED墻面顯示屏上顯示出來。4.使用攝影機將被攝主體和墻面顯示屏上的背景一同拍攝下來。

一、虛擬制作技術形成原因分析

（一）LED墻面顯示屏技術的進步

在早年，LED墻面顯示屏多以單色（紅色居多）大間距（像素點間距≥P10mm）為主。以顯示飛字為主要目的。隨著LED制造水平的發展，以及顯示IC主控芯片能力的增強。在單位面積內，可受控的像素數量有了較大的突破。同時，可顯示的顏色也從原來的單色逐漸進化成全彩（RGB）。并且在灰階響應速度、刷新頻率、對比度、亮度和色深等方面都有著顯著的突破。近年隨著制造工藝水平的進步，像素點間距由P10mm逐漸下降至P2.5mm，俗稱小間距LED顯示屏。單位面積內像素點的間距P值越小其像素密度（Pixels Per Inch）就越高。通俗來說就是畫面更清晰。根據2019年TrendForce LED研究（LEDinside）報告，隨著高分辨率與高動態對比顯示需求爆發，預估2019～2023年小間距LED顯示屏（點間距≤P2.5）產值年復合成長率將達27%，而超小間距（點間距≤P1.1）產品由于目前出貨基數較低，未來成長動能最大，預估2019～2023年的CAGR為58%。這一報告體現出市場對于高質量小間距LED顯示屏產品有著強烈的需求。在高質量LED墻面顯示屏基礎上，虛擬制作技術中渲染出來的虛擬背景才有顯示的載體。

（二）計算機圖形處理器運算能力的增加

計算機圖形處理器（以下簡稱GPU）作為計算機圖形的計算單元，其能力直接決定了渲染畫面中模型細分的精細程度、貼圖質量、圖像分辨率、幀率等重要指標。隨著NVIDIA和AMD全球兩大GPU芯片廠商在新產品制程、架構、算法等方面的研究貢獻。GPU的算力不斷提高。以NVIDIA分別在2014年、2020年推出的旗艦級顯卡GTX980和RTX3090為例。GTX 980擁有4.6T Flops/S的單精度浮點運算速度。而6年后的RTX3090取得了近8倍于前者的進步，速度達到了35.7T Flops/S。同時依托于GPU技術的創新，先后涌現出HDR（高動態范圍）、DLSS（深度學習超級采樣技術）、RTX（光線追蹤技術）等新興處理技術。特別是RTX光線追蹤技術的誕生，讓GPU從原有的光柵化計算轉為光線化計算。畫面中的陰影過度更自然、倒影更真實、畫面如同讓人置身其中一般。這讓虛擬制作技術中的渲染內容有了硬件基礎。

（三）游戲引擎技術的發展和普及

在擁有了強大硬件計算能力的基礎上，軟件技術的進步也是不可或缺的因素之一。隨著近年來個人電腦的普及，游戲市場的用戶基數越來越大。隨之推動的即是游戲引擎的開發與運用。例如Unity Technologies公司的Unity系列、EPIC公司的虛幻（Unreal engine）系列以及Crytek公司的Cry Engine系列引擎等。在近年的產品迭代中，他們都展現出了驚人的畫面擬真能力。特別是在貼圖質量、粒子特效、物理碰撞、毛發模擬和光線追蹤等方面。當然游戲引擎和現實世界間“橋梁”的建成讓影視行業的從業者發現了一個全新的拍攝“影棚”。以虛幻4引擎為例，DMX512信號可以經由引擎從電腦輸出到影視燈具，從而控制真實空間中的照明強度、方向、顏色。更是有時間碼同步等影視專業功能。再加上，各大引擎的個人版本多以免費的形式開放下載，這無疑大大降低了游戲引擎的學習成本。讓更多的影視制作人員了解和使用虛擬制作技術進行創作。

（四）運動捕捉技術的發展和普及

在虛擬制作中另一項非常重要的環節就是確定攝影機在空間中的位置以及追蹤其運動。早在2000年的動畫電影《辛巴達歷險記》（Sinbad： Beyond the Veil of Mists）就已經開始運用該技術來捕捉演員的動作，并將其動作映射到動畫的虛擬人物上。在此之后的20年間，運動捕捉技術得到了飛躍性的發展。逐漸形成了以紅外光學捕捉為主要技術手段的主/被動捕捉系統。目前在業內以Vicon、OptiTrack和Mo-Sys的產品為主。其延遲和誤差分別在4.2ms和0.4mm左右。主要原理為1、在需要運動捕捉的主體上粘貼可反射紅外線的反射點。2、發射紅外線。3、通過多個攝像頭拍攝紅外線的反射圖像，結合多角度圖像分析，最終求出物體在空間中的坐標和運動軌跡。該項技術已經廣泛運用于影視特效領域。然而這類系統價格昂貴，以OptiTrack公司的8支prime-13系統為例。其性能可在3m*3m的面積內追蹤1個物體，售價為22萬人民幣。但是有賴于VR產品在消費級市場的發力。以2015年HTC VIVE為代表的Lighthouse室內定位技術將運動捕捉徹底的平民化。與前面提到的OptiTrack產品原理不同，Lighthouse主要原理是從基站發出特定角度和頻率的紅外線，結合追蹤器上不同立面傳感器接收到紅外線的時間差異，最終計算出空間坐標和運動軌跡。因為其銷量大，設計原理簡單，省去了攝像頭和圖像分析環節，所以單體成本較低。HTC VIVE1.0可在3.5m*3.5m的面積內追蹤1個物體，其價格為5000元人民幣。而且它也有著較低的延遲（10ms）和不錯的追蹤精度（誤差在2mm左右）。這讓越來越多的人可以接觸到原本動輒幾十萬的運動捕捉技術。降低了虛擬制作的研發和使用門檻。

二、影視制作行業的主觀要求、探索

虛擬制作技術的諸多優點能夠切實的幫助到影視制作工作。在影視制作中特效（VFX）的運用是非常普遍的。但是傳統的綠幕特效方案因為其“拍攝-剪輯-特效”的制作流程。無法讓導演在拍攝現場看到特效的效果，而只能憑空想象。這讓前期拍攝的容錯率變得很低。有時到特效制作階段才發現拍攝中的一些問題，成片質量不是很理想。而虛擬制作“拍即所得”的技術特點徹底顛覆了這一情況。“特效-拍攝-剪輯”的制作流程讓導演在拍攝現場就能看到成片的效果，從而更好的把握影片的質量。同樣因為制作流程的改變，虛擬制作技術將影視制作的成本大大降低。無需長時間的后期制作、特效合成步驟，縮短了制作周期。因為LED墻面可以顯示出任意場景，這就免去了一些場景攝制組出外景的必要，減少轉場時間，進一步降低了拍攝預算。上一場戲在非洲大草原探險，下一場戲在東京街頭飆車，僅僅需要動一動鍵盤和更換影棚內的前景即可在兩個場景間切換。也因為這一特性，顯著降低了影視制作中美術制景的工作難度和成本。以電影《八佰》為例，光場景投資就高達數億元人民幣。如果轉為使用虛擬制作技術這筆制景費用將會大大降低。

三、結語

目前，雖然虛擬制作技術為影視制作帶來了諸多便利，但該技術尚處于起步階段，仍有較多的問題有待解決。如運動捕捉-渲染-顯示的延遲問題；與演員產生交互的道具、地面無法虛擬化的問題；LED顯示屏成本較高的問題等。但是相信在未來透明顯示屏、人工智能等技術的加持下虛擬制作技術的缺點將會被逐步解決。影視制作行業將迎來一次發展的新契機。