基于LED背景墻的電影虛擬化制作實踐探索與未來展望

趙建軍 陳 軍 肖 翱

(北京電影學院影視技術系,北京 100088)

1 前言

基于LED 背景墻的電影虛擬化制作 (下稱“LED 虛擬化制作”)是指:利用高顯示性能、小點距的LED 顯示屏作為背景墻,通過實時渲染引擎,采用多屏同步的實時渲染方法,利用攝影機內外參跟蹤同步系統,將高畫面質量的三維場景渲染到LED 背景墻上,并通過實時渲染引擎調整,同步現場的燈光、場景機械裝置等拍攝用具,由攝影機直接拍攝,將真實的演員表演、道具陳設與LED 背景墻實時合成,從而達到 “所見即所得”的新型電影制作方法。

與傳統電影制作方法不同,電影虛擬化制作是將傳統視效影片中的三維資產制作等環節移至影片實際拍攝之前,將渲染、合成環節在拍攝現場實時完成,給電影制作流程帶來了革命性改變。而相較于實時交互預演中前期制作內容僅供現場預覽參考的情況,LED 虛擬化制作中,前期制作的內容則是直接用于最終合成畫面,即 “攝影機內視效拍攝”。

2 研發測試總結

圖1 北京電影學院影視技術系LED虛擬化制作棚

北京電影學院影視技術系針對LED 虛擬化制作技術展開了詳細的研究測試工作,聯合青年電影制片廠完成搭建并開發了一套完整的基于LED 背景墻的電影虛擬化制作系統。其中包括:多款LED 屏的搭建施工方案和LED屏幕顯示分發控制器、視頻信號處理器的各項參數滾動測試;攝影機內外參跟蹤同步系統的測試與研發;基于實時渲染引擎的“攝影機內視效”虛擬化制作系統的研發;依托實時渲染引擎的交互燈光控制與數字燈光矩陣研發;多機同步渲染方案的對比測試;系統色彩管理方案研究;不同虛擬場景的鏡頭拍攝實踐測試等。分階段完成了共四輪研發測試工作。

表1 多輪測試硬件方案

攝影機跟蹤設備方案HTC Vive(Steam VR Station 2.0*4+Vive Tracker 2.0);NCAM;LightCraft Optitrack(Optitrack PrimeX22*12+被動跟蹤設備)Optitrack(Optitrack PrimeX22*12+紅外主動跟蹤設備);RedSpy Optitrack(Optitrack PrimeX22*12+自主定制紅外主動跟蹤設備)攝影機焦點焦距同步設備基于UDP協議的鏡頭內參同步系統基于OSC協議的鏡頭內參同步系統基于OSC協議的鏡頭內參同步系統(增加了交互控制調整功能)渲染服務器配置(Core i7 8700K+RTX2080+32G)*4(Ryzen 5950X+RTX3090+128G)*4網絡配置私有千兆局域網絡私有萬兆局域網絡

2.1 LED背景墻的硬件搭建

在長達一年多的測試過程中,課題組分別針對拍攝用背景墻、側面照明用背景墻、頂部照明用背景墻進行了多批屏幕的滾動測試,并對弧形屏和多面背景墻之間的銜接進行了測試。

其中對于拍攝用背景墻,課題組分別測試了雷迪奧視覺(ROE)的BP2、DM2兩款型號的LED屏,其點間距分別為2.8mm、2.6mm。對比測試得出,在點間距相近的情況下,面板吸光度、屏幕亮度色域等顯示指標是相對重要的參考指標。如BP2屏體組成的背景墻,顯示的動態范圍較DM2有明顯提升,攝影機內視效拍攝時前后景的動態范圍更加匹配。針對照明用背景墻,則測試了ROE的CB5、CB8兩款型號,作為環境照明使用的背景墻,點間距不再是重要參數,面板亮度和顯色能力則更為重要。經過不同屏體的性能測試和交叉對比,攝影機內視效拍攝對點間距的要求與拍攝距離強相關,拍攝距離越遠,點間距就可以越大。但是LED屏的點間距越小,其生產制造難度越大,能達到的亮度、色彩等顯示性能也越差。因此不應盲目追求更小的點間距,而應根據拍攝環境綜合考慮,選取適合的LED顯示屏搭建背景墻。

在大面積的LED虛擬化制作攝影棚中,針對組成拍攝環境的多面背景墻之間的銜接問題研究,課題組分別測試了多塊5°至10°固定件組接的連續弧面、27.5°定制固定件組接的夾角、無固定件有接縫夾角。經跨屏拍攝測試,當使用面板吸光能力達到一定程度,且夾角大于90°時,LED 背景墻之間的相互光照影響較小,只要內視錐映射關系正確,攝影機內視效拍攝時不會出現太明顯的夾縫現象。但當沒有固定件固定產生屏幕接縫或內視錐渲染位置有偏移時,背景墻之間的接縫非常明顯,不能滿足拍攝需求。

2.2 LED背景墻的視頻同步與多機渲染同步

多面LED 背景墻之間可以利用時間碼同步。課題組的研究工作中,使用邦騰科技的視頻處理器和分發器直接處理來自渲染節點的視頻信號,視頻處理器可以接收時間碼發生信號來完成背景墻之間的同步,并且可以與攝影機的時間碼完成拍攝時同步,以避免滾動快門攝影機拍攝時的畫面撕裂問題。

在測試中發現,相比LED 背景墻和攝影機的同步,對拍攝影響更大的是多機渲染的同步。在課題組通過n Display系統完成的多屏映射渲染中,默認狀態即可通過網絡信號同步,但這一同步方式精度低,僅能滿足靜態場景下基本的跨屏拍攝需求。nDisplay系統還可以借助Quadro顯示計算處理單元和同步單元的同步功能,接收外部同步鎖相(Genlock)信號達到精準同步以實現更苛刻的攝影機內視效拍攝。

2.3 數字燈光與數字燈光矩陣

LED 背景墻提供基礎光照的情況下,仍需要利用燈光設備補充光照,以彌補背景墻照明窄光譜低顯色、無方向性、無硬光的問題。

課題組利用南光的Dyno 650C、Dyno 1200C 等LED 照明燈具,通過DMX 或Art-Net數字燈光控制協議,可以將數字燈光和虛擬場景聯動;通過實時渲染引擎直接控制燈光,可以高效率地完成照明環境的搭建。

此外,借助于諾華視創的六基色LED 燈光矩陣,測試了寬光譜的燈光矩陣和大面積柔光布作為頂面照明的方案,有效補充了照明。但該方案對具有反射、透射材質的道具照明效果欠佳,還需進一步完善。

2.4 攝影機跟蹤設備

作為攝影機內視效拍攝的核心技術之一,攝影機跟蹤主要有由外而內 (Outside-In)的光學動捕、由內而外(Inside-Out)的主動視覺定位等方案。

由外而內 (Outside-In)的光學動捕方案中,課題組主要測試了HTC Vive、Optitrack兩種跟蹤解決方案。在HTC Vive 方案中,課題組架設了四個掃射紅外激光的定位基站,由攝影機上的跟蹤器接收激光來實時計算攝影機位置。這一跟蹤方案不受環境干擾,成本低、架設難度小、操作容易,但由于本身定位是游戲設備,標定等環節專業的可操作方式少,二次開發難度大,因此較適合可移動的低成本制作需求。而在Optitrack 方案中,課題組在10.5 米×11 米的拍攝空間中,吊裝了12 臺Prime 22X 相機,通過在攝影機上安裝自己定制的紅外發光點固定支架來跟蹤攝影機。這一方案精度極高,不易受環境干擾,而且可以通過控制端軟件Motive便捷地完成標定、位置信息廣播等工作,具有較強的專業操作性,只是經濟和施工成本都較高,適合用于相對固定的攝影棚。

由內而外 (Inside-Out)的主動視覺定位方案則主要測試了NCAM、LightCraft和RedSpy三款設備。NCAM 通過安裝在攝影機結構上的兩個魚眼相機拍攝現場環境,實時解算自己位置完成跟蹤,避開LED 背景墻顯示畫面,主要采集前景鋪設的美術置景畫面。這種方案受到環境干擾也較小,但大范圍移動會導致跟蹤點減少、積累誤差等情況。LightCraft和RedSpy均是通過專有的跟蹤目標布設作為跟蹤點,前者需要在拍攝環境中鋪設專用的定位圖案,后者則是在攝影機上方或下方隨機撒反射材質跟蹤點,但這兩種跟蹤點方案都會影響頂面LED 背景墻、前景美術置景的工作。

2.5 焦點焦距同步

攝影機內參同步是虛擬攝影機和真實攝影機同步的另一關鍵環節,其中焦點、焦距的實時同步尤為重要:虛擬攝影機的焦距影響內視錐的畫面大小,從而影響內視錐是否能完全覆蓋真實攝影機畫面;焦點則會影響內視錐的畫面景深,從而影響拍攝畫面的景深匹配。

課題組研發了一套基于OSC (Open Sound Control)控制協議的焦點焦距同步設備,通過旋轉編碼器實時獲取鏡頭焦點環、焦距環的位置信息,并利用鏡頭標定數據映射當前攝影機的焦點、焦距值,通過OSC協議實時傳輸至引擎完成同步。但是由于LED 背景墻上顯示帶有景深的內視錐畫面,會被真實攝影機的光學鏡頭再次虛化,仍會導致景深不匹配的問題,這一問題需要通過改進渲染的景深映射計算方法來解決。因此目前通過OSC協議公開了偏移量調整接口,并設計了相應交互控制界面,由攝影部門主觀調整內視錐景深關系來緩解這一問題。

3 制作流程中存在的優勢與局限性

圖2 LED虛擬化制作流程示意圖

電影虛擬化制作中最重要的特征是 “后期前置化”,即現場拍攝之前,就需要完成大量的數字資產和虛擬場景制作任務,因此將整個流程大致分為前期籌備、前期制作、現場制作、后期制作四個部分。在LED 虛擬化制作中,前期制作的虛擬內容直接用于現場制作的攝影機內視效拍攝,得到合成后的畫面,大大減少了后期制作的視效工作量,提高了制作效率,但同時也存在一些亟待解決的問題。前期籌備的環節與傳統制作流程相似,下面則從前期、現場、后期三個制作環節出發,分析LED 虛擬化制作的優勢和局限性。

3.1 前期制作的優勢與局限性

將傳統后期制作階段的數字資產制作環節前置,數字資產的制作可以更加貼近美術概念設計和影片畫面內容的構思,不受到現場拍攝內容的限制。

在傳統制作流程中,常常會因為現場拍攝的環境等限制,拍攝內容一定程度上偏離了創作者的最初意圖,為了匹配現場拍攝的畫面,后期制作數字資產時也會與創作者想法產生偏差。在基于LED 背景墻的電影虛擬化制作中,數字資產是組成拍攝環境的重要部分,因此在數字資產制作環節,創作者可以擁有更大的表達空間,也可以通過動態預演的方式更加直觀地看到預期結果并進一步迭代調整創作。

但同時,實時渲染的特點也為前期制作數字資產帶來了一些挑戰。實時渲染的畫面直接作為成片背景使用,對背景墻顯示內容觀感要求接近于離線渲染,需要極高的畫面質量與精度,而實時渲染本身建立在降低計算精度的基礎上,這對數字資產的“性能”也提出了更高的要求。如需要在滿足渲染畫面精度要求的情況下對不同的資產做層次細節(LOD)處理,對材質做貼圖烘焙、紋理映射(Mipmap),對靜態光照預烘焙等。這要求制作人員在關注美術觀感與精細程度的基礎上,還要更進一步地了解實時渲染的處理管線和優化方法。

3.2 現場制作的優勢與局限性

現場制作中,各部門創作者都能從LED 虛擬化制作中受益。

對導演和美術而言,虛擬場景不再是一個固定的陳設,移動一張桌子、一棵樹、甚至一棟樓都只需要簡單拖動物體坐標軸。在正式拍攝之前,根據攝影機取景內容,再進一步調整場景,這帶來了極大的創作自由。導演還可以利用虛擬現實勘景設備沉浸式地進入虛擬場景,觀察場景細節,選取表演區域,拍攝位置角度,從而提高創作效率。

燈光、機械組也可以通過這種方式,根據LED背景墻顯示效果和現場環境,調整現場燈光、機械的位置或參數,使得現場照明、器械運動、特殊效果與虛擬場景相匹配,帶來更加沉浸式的拍攝制作體驗。借助LED 背景墻上的環境照明和數字燈光照明,可以直接為現場道具提供豐富的環境光照,甚至為具有反射、透射材質的道具提供正確的反射、透射圖像。還可以通過實時渲染引擎設計動態光照、互動光照,為前景帶來更加豐富、更加逼真的照明效果。

攝影部門則可以真正實現“所見即所得”。攝影機的內外參數均能夠實時反饋到實時渲染引擎,使得內視錐的背景畫面以正確的透視關系顯示在背景墻上,與前景運動相匹配,因此攝影機可以直接拍攝到前后景合成后的畫面,即所謂的 “攝影機內視效拍攝”。如此,攝影師就可以通過取景器內的畫面效果來選取構圖、光照關系,甚至自由選擇攝影機內視效拍攝或是內視錐綠幕拍攝,得到符合創作意圖的畫面。

而對在LED 背景墻環境中的演員而言,表演時不再需要對著綠幕憑空想象,而是直接面對背景墻上的虛擬畫面表演。場景中的參考物、環境變化都可以直觀地在LED 背景墻上呈現,演員可以直接看到不存在于真實場景中的太陽、飛船、爆炸、外星人等,通過“身臨其境”的真實體驗,使表演更加真實自然。

但與此同時,LED 背景墻的拍攝環境也帶來了一些問題。其局限性在于拍攝環境、照明環境、背景真實感、虛實匹配等多個方面。

一是LED 屏要求拍攝距離距屏體3米以上(對點間距2～3mm 的LED 屏),且焦點不能在屏上,否則會出現摩爾紋,因此對拍攝區域帶來了一定限制;二是當攝影機運動過快時,也會因為系統延遲產生內視錐位置未覆蓋攝影機、內視錐視角有所偏差的情況;同時由于LED 屏體的特點,LED 背景墻圍繞的環境中的溫度相對較高,且拍攝期間不能使用大功率噪聲電器,演員的表演環境相對受限。

LED 窄光譜等特征則會帶來現場光照環境的問題,窄光譜照明內容在攝影機中的顏色可能與LED背景墻上的顯示效果不一致,尤其是在人體皮膚上呈現的光照效果不自然等問題較為顯著。此外,LED 背景墻僅能作為基礎環境光照,光源不具備方向性,無法滿足硬光等光線塑造手段的創作需求。因此LED 虛擬化制作現場會大量利用數字燈光或數字燈光陣列補充照明,但這也會產生數字燈光、LED 背景墻、攝影機畫面之間的色彩管理與匹配問題。

由于背景需要實時渲染并映射投影到LED 背景墻上,背景畫面的真實感距離傳統視效制作中的離線渲染畫面還存在一定差距。常見的實時渲染引擎提供了大量針對渲染效率的優化方法,但同時也犧牲了畫面內容的真實感,如渲染優化導致的遠景存在閃爍,材質渲染精度不足導致的畫面游戲感重、動畫播放不夠流暢、特效模擬缺乏細節等問題。

最后一點則是LED 背景墻作為背景可能存在顯示效果與前景不匹配、景深與前景不匹配等問題。由于LED 屏的顯示性能和面板吸光能力上仍存在不足,LED 背景墻上顯示的背景畫面往往很難達到前景真實場景的效果,如動態范圍不足、色彩過渡不平滑等問題都很難與前景完全匹配。尤其是后者,實時渲染引擎對景深的模擬是基于對焦距離的,沒有對LED 屏體的物理空間關系進行映射,前后景經過真實鏡頭拍攝后,以鏡頭主節點距前景物和真實屏體的距離形成景深效果,而背景墻上顯示的內容又僅能以鏡頭到虛擬場景中被攝物的距離來計算,因此真實成像的背景畫面是兩次景深效果的疊加,而真實的景深效果并不能通過這種簡單疊加來抵消。目前實時渲染引擎也無法通過簡單的偏移量來消除這種疊加效果,且由于對焦到屏體上又會帶來摩爾紋的問題,不能通過真實攝影機選取大景深來消除影響,因此出現了前后景景深難以匹配的問題。在縱深明顯的制作內容中,就會產生背景看起來像“貼片”的虛假感。

3.3 后期制作的優勢與局限性

基于LED 背景墻的虛擬化制作方式的確大大減輕了后期制作的壓力。后期制作階段,視效部門獲得攝影機內視效拍攝畫面,不再需要傳統視效制作中耗費時力的摳像、光照匹配等環節,僅需要對部分鏡頭進行前景視效內容的合成;對內視錐綠幕方式拍攝的鏡頭,也可以得到非常純凈均勻的綠色背景,同時外視錐的虛擬場景還保障了光照的匹配,因此摳像工作相對簡單,無需處理復雜的溢色等問題。

色彩、光照匹配和景深匹配上存在的問題,目前來說尚無較完善的解決方案,需要通過多種特殊的后期來減緩觀感上的不適,如風格化的調色、適度的畫面模糊等處理。

4 未來發展方向

基于LED 背景墻的電影虛擬化制作作為新興的制作技術,尚存在諸多限制與不足,未來發展的方向需要從軟硬件系統多方面進行探索研究。

4.1 LED顯示技術的發展

LED 顯示技術作為推動虛擬化制作發展的重要因素,也是支撐內容質量的關鍵要素,進一步研發主要需從顯示效果和照明效果兩方面出發。

顯示效果反映了攝影機直接拍攝到的背景畫面的質量,其發展方向主要是顯示能力的提升,如高分辨率、高幀率、高動態范圍、廣色域。高分辨率要求LED 點間距進一步減少,開口率進一步提升,從而可以減緩拍攝畫面中摩爾紋的出現;高幀率則要求屏幕刷新速度的提升;高動態范圍要求LED 顯示亮度足夠高、黑位足夠低,因此燈珠的亮度、面板的吸光能力都要進一步提高;而廣色域則對不同顏色燈珠的熒光粉技術提出更高要求。同時,為了達到較高的顯示性能,也需要具備處理高技術格式圖像的視頻處理器、LED 顯示分發器及高速輸入輸出設備來支持。

另外,LED 背景墻還需要提供現場的光照環境,因此可以向高照度、寬光譜等現代燈光研發方向發展,例如使用多基色發光等技術,尤其是不作為拍攝內容的照明用背景墻,甚至可以適當犧牲點距來提升照明效果。除此,LED 視頻處理分發設備也應具備更加高效、易用的局部調光功能來幫助現場光照環境的搭建。

4.2 實時渲染引擎與計算載體的發展

目前在影視制作中使用的實時渲染引擎多為游戲引擎,尚不能很好地滿足影視制作的不同需求。在繼續提升渲染算法效率、真實感渲染效果的同時,可以適當提供多機并行高質量渲染、景深映射計算、針對單個資產的色彩調整等面向影視制作的功能。可以在這些方面繼續開發,甚至形成專門針對影視制作的版本,以期更進一步提高制作效率。

對于承擔渲染計算的服務器或計算中心,則需要更加強勁的圖形計算處理能力和更加方便的并行同步計算搭建方法,來處理影視級可用的實時渲染任務。

4.3 攝影機內外參跟蹤同步系統的發展

對于攝影機的外參同步即攝影機跟蹤系統,LED 虛擬化制作在要求更高的精度、更低的成本的同時,還要求:更低的傳輸計算延遲,不受復雜光環境變化影響的穩定性,現場搭建不影響背景墻等其他設施架設的采集硬件,更加易用于后期的跟蹤數據記錄方式等。

內參同步則主要通過鏡頭編碼器和鏡頭校正系統來實現,由于實時渲染引擎對攝影機內參的模擬沒有偏移映射處理,當前攝影機內參在前后景并不能很好地匹配,尤其是景深等效果。故而攝影機內參同步系統需要提供更加易用的交互調整功能,讓攝影師能夠手動調整背景畫面來盡可能地完成匹配。該部分功能另一種可能的解決方式是通過實時渲染引擎來完成。

4.4 數控燈光、機械、道具的發展

為了進一步減少現場制作人員的重復性體力工作,提高影片拍攝制作效率,與引擎聯動的數控燈光、數控道具、數控拍攝輔助設備也是虛擬化制作的重要發展方向。如此,現場的數控燈光、數控道具、數控拍攝輔助設備均可以通過不同的通信協議被引擎直接驅動,并根據虛擬場景情況做出相關的響應,更好地完成虛擬場景與真實環境的匹配,如燈光的位姿、照明效果控制、運動控制系統等機械系統的同步,拍攝道具的效果觸發等。

4.5 信號傳輸與現場制作的發展

由于虛擬化制作的協同工作需求更加迫切,因此需要更加高效的信號傳輸與現場制作系統,如引入基于IP的架構等新興信號制作方式,能夠根據現場的需要傳輸更多數據,并以更加方便的方式傳輸到各個部門。此外也能夠為后期制作記錄更多數據,為制作提供更多的幫助。

5 總結

基于LED 背景墻的電影虛擬化制作是當下最前沿的影視制作新技術,也是影視制作流程的一次革命性的探索。該技術在影視拍攝中已經進行了初步的應用,但仍然存在一些不足,也有諸多需要進一步完善和改進的空間。相信在從業者的共同努力下,它能給創作者提供更加自由、直觀的創作環境,推動影視技術發展,帶動影視產業升級,助力中國電影工業體系建設再上新臺階。?