LED虛擬拍攝系統中的照明控制和照明匹配方法研究

方捷新 李 娜

中國電影科學技術研究所(中央宣傳部電影技術質量檢測所),北京 100086

1 前言

近年來LED 虛擬拍攝技術已成為電影、電視和娛樂內容制作領域的熱門前沿技術。由于全球正持續遭遇新冠肺炎疫情影響,外景地拍攝日程無法掌控,該技術也成為了制片團隊用棚拍替代外景的最佳選擇方案之一,并已在 《曼達洛人》《新蝙蝠俠》等影視作品中得到應用,美國、歐洲等地已有大量LED 虛擬攝影棚建設和改造案例,我國的影視領域科研機構、技術公司和制作基地也已開展了大量研究測試和試驗試用工作。

LED 虛擬拍攝從通俗角度理解,就是以LED顯示屏打造的沉浸式背景來代替傳統虛擬棚拍中的綠幕,具體而言,是指在拍攝現場借助攝影機實時定位追蹤技術、GPU 實時合成渲染技術和LED 顯示技術等,將事先利用游戲引擎生成的虛擬背景顯示在攝影棚中的LED 背景墻上,并隨著攝影機位變化不斷更新 “內視錐” (攝影機拍攝到的鏡頭內部分)畫面,實現現場實拍、實時監看的技術。其主要優勢有:無需摳像步驟,避免綠幕制作的“溢色”問題(指從綠幕反射到拍攝對象上的有色光),當道具為透明材質時,透射的顏色和光效更為自然逼真;將部分后期工作前置到與拍攝工作同期進行,通盤考慮最終成片效果,避免拍攝與后期制作時空不同步造成的配合不善,節省部分后期制作成本;營造沉浸式表演氛圍,使演員更快融入情境、快速進入情緒,節約實拍時間等。

電影是光影的藝術。LED 虛擬拍攝本質上是虛擬的(LED 屏上的虛擬資產)和現實的 (表演舞臺上的演員、照明和置景)光線和影像在攝影機前的實時組合;虛擬空間和現實空間雖然在物理上互相獨立,但在光影上互相影響并融為一體。為使最終畫面真實可信,LED 背景墻上虛擬資產的光線氣氛需要和棚內實體照明氣氛成為統一的整體。LED 屏幕發光的特性,一方面造就了LED 虛擬拍攝系統營造真實感光氛圍的優勢特點,一方面也加強了攝影照明布光的復雜程度。因此,LED 虛擬攝影棚內照明與傳統棚拍有一定差異,對照明控制和照明匹配有著獨特的需求,除攝影師、燈光師等專業人士現場主觀評價之外,還需要額外的、科學合理的評價方法。

2 LED虛擬拍攝中的特殊照明需求和照明方式

2.1 LED屏幕可提供背景光,需影視燈具完成主光

在LED 虛擬攝影棚中,LED 背景墻作為背景使用,部分LED 虛擬拍攝系統不僅設有背景屏,還設有頂屏,如《曼達洛人2》拍攝 (圖1)。LED 背景屏和頂屏可為被攝主體和現場環境提供背景光。在LED 攝影棚的舞臺體積內需構建立體化、藝術化的照明,包括合理利用屏幕照明、額外部署環境照明,以便照亮表演區域,并適當為演員提供 “好萊塢”照明效果,美化明星、渲染情緒、營造氣氛。

圖1 《曼達洛人2》拍攝時LED攝影棚舞臺體積

在實際使用中,可以利用游戲引擎在虛擬世界中的非 “內視錐”部分添加 “數字光卡 (Digital Light Card)”,這一過程類似在真實世界中添加反光板。LED 屏幕很少以最大亮度拍攝,一般情況下屏幕留有的亮度余量可以打出比周圍環境更亮的“數字光卡”,只是光卡位置僅限于LED 屏幕上,無法靠近拍攝對象。LED 屏幕主要在背景范圍內發光,光源不具備方向性,拍攝時需要電影燈具打正面主光,避免人物面部過暗。在需要大功率、高亮度天光的時候,可能還需要拆掉部分LED 屏幕以架設高亮度影視燈具(圖2)。

圖2 《曼達洛人2》中使用的光卡和拆掉部分LED屏幕架設影視燈

2.2 LED屏幕光譜連續性差,需高顯色性電影燈具補足光譜

由于LED 屏幕主要為了實現觀看效果而非照明效果,其設計時注重顯示畫面的亮度和色彩還原性,且LED 屏幕光譜較窄,光譜連續性較差,造成顯色指數(Color Rendering Index)較低(40左右),其光照無法很好地還原物體的顏色,尤其是黃種人膚色,因此僅依靠屏幕光照拍攝,會產生偏色現象。根據《電影攝影棚建筑設計規范》(征求意見稿)和GY 5066-2000《電影攝影棚燈光系統設計規范》,電影攝影棚拍攝用燈光顯色指數應不小于85,而目前的LED 頂屏和側屏無法達到這一數值。

目前國產和進口電影燈具中,白光LED 燈具可通過加入缺少顏色的熒光粉使光譜平坦,彩色LED燈具則通過光譜擬合計算優化選擇多色光源的波段成分,并通過優化算法對燈具逐一校正,鎖定燈具輸出每個色點中各種光源顏色燈珠的工作功率混合占比,從而實現高顯色指數 (Ra 90以上)。圖3-圖5分別是日光、典型LED 屏幕、某國產品牌電影燈在雙色溫狀態的光譜和顯色指數。

圖3 日光光譜

圖4 典型LED屏幕光譜

圖5 某國產品牌LED電影燈產品在雙色溫下的光譜和顯色指數

由此對比可見,在LED 虛擬攝影棚中,高顯色指數LED 燈具作為主光必不可少,有不少LED 虛擬攝影棚采取了在頂棚架設LED 攝影燈光陣列的方式提供主光,如阿萊 (ARRI)為奈飛/網飛 (Netflix)劇集《1899》搭建的MRPS制作系統(圖6),頂部僅1/3部分使用LED 屏幕,用于輔助光源和視效,另外2/3 部分采用了ARRI的Sky Panel LED柔光燈,作為拍攝現場準確還原真實光效的光源;也有一些影棚采取了 《曼達洛人》的方案選用了可拆卸式頂屏。

圖6 阿萊 (ARRI)為奈飛/網飛 (Netflix)《1899》劇集搭建的MRPS制作系統

2.3 LED屏幕表面反射布光不可避免,需處理好拍攝現場雜散光

在LED 虛擬攝影棚主舞臺體積內拍攝時,作為主光源的現場布光投射到屏幕上造成反射不可避免,尤其是強光源照射對LED 屏幕的畫面顯示會造成較大影響,使暗部背景無法暗下來,我們使用不同亮度的D65光源照射在放映Finalcolor 16bit無壓縮測試圖(圖7)的某廠家LED 屏幕上,產生的干擾程度如表1所示。

表1 LED 屏幕受光照影響情況

圖7 Finalcolor 16bit無壓縮測試圖

反光也會影響屏幕可視角度,需注意拍攝角度。早期演播室使用LED 屏幕時,點陣間隙反光造成若干光斑的情況尤為明顯,當前電影虛擬拍攝用LED屏幕已通過表面啞光處理減小反光,但仍需盡量避免高亮度主光源聚光照射在屏幕 “內視錐”區域。主屏和側屏、頂屏之間會產生光的反射作用,從而造成一些光干擾。我們使用D65光源2°觀察者測試了3款不同LED 屏幕的表面反射率,在光源不同波長位置,LED 屏幕的反射率不同,如圖8所示。表面反射率越低,反光越小,觀感越好。3款LED 屏幕都有不錯表現,但依然不能完全避免反光問題。

圖8 樣品LED屏幕反射率

為避免反光和光干擾,在布光時可以注意以下幾點:

(1)改變光源硬度,利用蝴蝶布、米波羅等進行遮擋、反射,讓點光源變成面光源,使光線柔和。(2)改變光源高度,從上方照射前景,避免照射到顯示“內視錐”部分的屏幕,盡量做到 “人亮屏不亮”。(3)在搭建頂屏的拍攝場景,以及上方布置燈光矩陣并撐上蝴蝶布的拍攝現場,要適當留出垂直空間,避免在頂棚較低的狹小空間內拍攝,防止現場反射的雜散光過多影響布光效果。

2.4 LED 虛擬拍攝使用的燈具類型和燈具控制方式

LED 虛擬棚拍使用燈具,考慮到實際拍攝情況,如散熱、電壓、功率、安全架設等因素,應用最多的還是LED 電影燈具,LED 燈已可滿足絕大部分場景的拍攝照明要求,在高亮度大功率照明時,可應用HMI燈作為補充。

由于LED 背景由虛幻引擎驅動,內容則由虛擬資產提供,較傳統實景和棚拍場景變換速度更快,對現場燈光置景效率需求也更高,尤其對于棚頂LED 燈光陣列而言,傳統的手工調整方式無法滿足現場工作的要求,而近年來基于DMX512協議的數控燈光已成熟應用,因此LED 虛擬拍攝中的燈光、尤其是棚頂的照明,一般采用數控燈光,從而方便控制和切換。對于通道總數量較少的燈光控制,可使用電腦軟件或iPad應用進行有線或無線控制。對于通道數量較多的大型燈光陣列,可在使用軟件的同時,使用專業調光臺進行燈光控制,以實現更多通道的穩定控制,并可實現豐富預設編程效果。虛幻引擎 (UE)的像素映射、Mad Mapper等軟件,可輸入圖片并計算打出氣氛圖,如圖9所示。

圖9 UE像素映射功能和Mad Mapper的光映射工具

另外,UE還可提供燈光模擬功能,圖10左是現場活動燈光模擬(UE DMX 插件),圖10右則是LED 虛擬拍攝燈光模擬(后文實驗用工程)。

圖10 UE DMX 自帶的藍圖模板工程和本文實驗自建的虛擬拍攝燈光模擬工程

3 LED虛擬拍攝的照明匹配原理和方法探討

3.1 LED虛擬拍攝燈光測試中照明匹配的必要性

電影照明是攝影造型中不可替代、最直接的參與者,在電影創作中的地位舉足輕重[1]。當前電影拍攝所使用的電影照明器材種類繁多,在拍攝前都需要做好試光工作。對于虛擬拍攝而言,照明匹配是試光過程中的重要步驟。綠幕虛擬拍攝的前期布光和后期特效打光分離,可能存在效果不一致的情況,導致畫面觀感怪異不真實。LED 虛擬拍攝從一定意義上而言起到了后期前置作用,虛擬背景打光需要契合現場燈具布光,倘若在現場拍攝時妥善完成了照明匹配工作,就可省去部分后期工作;換言之現場拍攝無法做好照明匹配,后期特效打光、調色都需要花費額外的人力物力,而且和綠幕拍攝后期特效制作的影片一樣,前期出現的問題并非都可以通過后期來解決,可能在藝術上留下永遠的遺憾。因此LED 虛擬拍攝照明匹配工作十分必要。

3.2 LED虛擬拍攝照明匹配的基本原理

人工照明是光源系統、被照物體和觀察者三者之間聯動的綜合效應。由于電影觀眾只是通過畫面觀看場景中的光照和物體,而畫面由攝影機 (這里暫不考慮后期調色)決定,因此電影燈光照明的效果本質上是光源、拍攝物體和攝影機感光器件聯動的綜合效應。而在現場拍攝情況下,燈光效果的判斷則主要憑借攝影師、攝影助理、燈光師等人觀察監視器效果的主觀評價,因此觀察者環節存在著監視器差異和人的主觀因素差異等因素。

照明匹配指的是實拍和虛擬合成內容的照明光線匹配,包括氛圍匹配、方向匹配、強度匹配等,從而使實拍和虛擬部分的光照氣氛一致,空間統一沒有割裂感,以實現真實感場景的營造。具體而言,即實體空間中的色彩還原情況和虛擬空間中的色彩還原情況接近,二者環境下同一顏色的色差可控,這樣在后期調色才可能將所拍攝的畫面作為一致的空間進行調色。要驗證是否實現照明匹配,可以在虛擬環境和實體環境中設置虛擬色卡和實體色卡,通過主觀評價完成匹配,拍攝圖像并計算色差進行驗證。

3.3 色差計算方法和照明匹配實驗中色差衡量方案

色差計算原理在影視行業、攝影行業被廣泛用于檢查相機、攝影機、鏡頭等光學系統以及顯示終端、監視器的色彩還原情況,用于相機拍攝圖像、攝影機拍攝視頻的色彩校正,并可用于測試燈光系統的顯色性和色彩還原情況。其中,攝影系統的色彩還原性能測試,與照明匹配過程有類似之處。該過程采用成像色差分析方法,拍攝在給定色溫的光源下(D65光源或者按需選擇)的24色標準色卡,并將拍攝的結果圖像通過軟件等進行分析,從而評價攝影系統產生的色彩還原(色差)、白平衡和噪聲表現。在這一過程中,光照和色卡是給定的常量,測量的是攝影系統的情況。相關工具有Imatest、iQstest、iSeetest等,可測量各色塊的L*、a*、b*三分量,并和標準值進行對比,如圖11所示。

圖11 Imatest的24色色卡模式被廣泛用于鏡頭測試

根據LED 虛擬拍攝的照明匹配需求,可在虛擬空間和實體空間分別設置虛擬色卡和實體色卡,并使兩種色卡的24色色差處于可控范圍。在這一過程中,色卡和攝影機的特性作為常量,考量的是光照的情況。

4 LED虛擬拍攝的照明匹配方法驗證

4.1 照明匹配需滿足的基礎條件

要做到實體環境光照下的色卡和虛擬環境中的色卡的色彩還原度一致或相近,使色差處于可控的范圍內,照明環境需要滿足以下要求:

(1) 實體環境中照明燈具具備必要的色彩還原水平

實體環境中照明燈具的色彩還原水平是攝影棚環境得以模擬真實環境的重要前提。色彩還原水平由顯色性指數決定,根據GY 5066-2000 《電影攝影棚燈光系統設計規范》,電影攝影棚拍攝用燈光顯色指數(Ra)應不小于85。一般燈具都會在指標中標記顯色指數,也可通過儀器儀表測量,或者通過色卡在自然光照下實拍、燈具照明下實拍的色差來驗證。

本文實驗中使用的燈具Ra標稱值為95,實際利用儀器測試,不同輸出亮度和不同色溫的顯色指數數值見表2。

表2 實驗中燈具顯色指數實測數據

圖12左、右分別為自然光、電影照明燈具下利用Red攝影機實拍,經達芬奇套攝影機LUT 后輸出的圖像,可以看到圖像在波形上差異明顯。說明電影照明燈具與自然光終究存在差異。

圖12 自然光、電影照明燈具下實拍和校正后輸出的圖像

將圖片導出后,分別輸入Imatest軟件,利用軟件24色色卡功能,測量并分別導出兩個圖像的L*、a*、b*三分量,并計算色差如圖13所示。本文色差均以ΔE*00公式計算,下同。經計算,平均色差為1.86,最大色差為4,說明色差已控制得很好,即使并排對比,也很難分辨出差異,照明燈具已具備必要的色彩還原水平。

圖13 自然光、電影照明燈具下實拍圖像的24色色差和平均色差

(2)LED 屏幕與標準值的色差在可控范圍之內

在使用LED 屏幕時,需要確保LED 屏幕與標準值的色差在可控范圍之內,可以采用校色儀和校色軟件進行色彩校準,并可在校準后用色度計測量色差。在校準和測量時,需要確定LED 屏幕的實際亮度,該值有時和標稱的輸出亮度有一定偏差。

在沒有色度計的情況下,采用拍攝圖像并利用軟件測量評價的方式也可了解屏幕的色差情況,這一方式類似于成像式色度計,且與拍攝設備緊密相關,因此需要采用未來拍攝中實際使用的攝影系統進行測試。在同一畫面中拍攝照明燈具下的實體色卡和LED 屏幕上顯示的電子色卡,且照明燈具的色溫需和LED 屏幕的色溫一致,如圖14所示。實際上調節一致較為不易,可以參考設備的顯示值,多試幾組相近色溫,并利用主觀觀感進行評價,尤其是24色色卡第四行的灰階圖像,對于光線偏色有很好的鑒別作用。注意拍攝時把焦點對在實體色卡上,并且調整光圈,避免LED 屏幕實焦造成摩爾紋,影響匹配和軟件取色。

圖14 照明燈具下的實體色卡和LED屏幕上打出的電子色卡

雖然經過一系列調整,且在人眼視覺上已經比較相近,但拍攝的圖像依然有一些色差,尤其是從最后一行灰階可看出,相比而言虛擬色卡顏色偏紅,實體色卡顏色偏藍。將圖片導出后,分別輸入Imatest軟件,利用軟件24色色卡功能,測量圖像并分別導出兩個圖像L*、a*、b*三分量,計算色差(圖15)。經過計算,平均色差=4.89,最大色差Δ=9.02,目前從圖像上來看,最后一行圖像明顯偏紅,但現場人眼觀看時并不能發現色差。

圖15 實體色卡和電子色卡24色色差和平均色差

用于圖像處理、影視制作等對色彩有非常高要求工作的LED 顯示設備,一般要求Δ＜3,而這整個系統目前包括了燈具、攝影機等因素,4.89這一數值已較為理想。除最后一行的深色灰階外,另外兩個膚色色塊是色差最明顯的。目前色差的來源主要還是LED 屏幕的因素。如果進一步使用屏幕校正技術,可以降低這一數值,也可以更進一步精細化調整燈光,使這一數值進一步縮小。

我們使用同一光源不同色溫直接照射24 色色卡,在2°觀察者和10°觀察者測量各色塊的L*、a*、b*三分量,測量結果如表3 所示。可以看出,觀察角度對于L*、a*、b*三分量會造成一定影響。拍攝時攝影機應盡量平視,同時虛擬色卡和實體色卡與攝影機的水平夾角應相近,減小角度帶來的色差影響。

表3 24色色卡經光照后不同觀察者角度的L*、a*、b*三分量數值

另外,色溫的改變較角度變化而言,更容易造成L*、a*、b*三分量的明顯變化。因此可以參考不同色溫下色卡L*、a*、b*三分量的變化趨勢進行照明燈光色溫的調整,從而完成照明匹配工作。

4.2 照明匹配驗證過程和色差計算

LED 虛擬拍攝使用UE 生成虛擬場景顯示在LED 屏上,作為背景和舞臺上的人物和物體一起被拍攝。本實驗為了模擬這一過程,在一小塊LED 顯示屏上顯示UE 中的虛擬色卡,實體燈光下演員手持實體色卡,如圖16所示。

圖16 虛擬色卡和實體色卡的照明匹配

虛擬場景中的虛擬燈光由UE 虛擬場景的天光(HDRI圖自帶)和UE像素映射光線提供;實體照明由手動控制調整的LED 燈具,以及頂部由UE 像素映射功能控制的LED 燈具提供。利用主觀評價調整虛擬燈光和實體燈光,充分利用UE 自帶虛擬色卡組件的反射球功能調整光照方向,并盡量依靠最后一行色卡的灰階來判斷一致性。

由于亮度后期很容易調整,比如更改LED 屏幕的輸出功率,或者更改LED 照明燈的輸出功率,因此可以試著計算飽和度差ΔC*00,即不考慮L*分量,衡量一下a*、b*兩個分量的差。

圖17 虛擬色卡和實體色卡的24色差和色飽和度差

在包含了UE、屏幕、燈具等因素產生的色差的情況下,這樣的數值整體可控,可實現虛擬空間和實體空間近似,為后期調色打下了一致性基礎,但仍有進一步調整的空間。

5 結論

LED 虛擬拍攝的布光工作需要快速高效,且需要做好照明匹配工作,做到虛擬空間和實體空間的光線氣氛匹配和一致,從而為LED 虛擬拍攝提供良好的基礎。如果無法做到照明匹配,會造成虛擬空間和實體空間氣氛的割裂,由此造成的技術瑕疵無法通過后期調色解決,需增加后期特效打光環節,造成大量人力物力的浪費,LED 虛擬拍攝 “輕后期、輕特效”的優勢也因此無法體現。要實現照明匹配,需要保證兩個基礎條件:一是實體環境中照明燈具具備必要的色彩還原水平,或曰燈具的顯色性達到電影級拍攝要求;二是LED 屏幕顏色還原與標準值的色差在可控范圍之內,盡量將色差ΔE 控制在5以內,如數值過高,在屏幕具備一定顏色還原能力的情況下,可使用校色儀和校色軟件進行校準優化。兩個基礎條件對LED 虛擬拍攝提出了硬件要求門檻,同時也提示了行業,布置LED 虛擬拍攝影棚時,需對設備的相關性能做性能指標測量或測試,因為電視演播廳、舞臺演藝、XR 等領域使用的LED 屏幕和燈具,可能不足以用于電影級LED虛擬拍攝;在達不到門檻要求的設備設施上進行操作,是無法達到預期效果的。

LED 虛擬拍攝場景搭建表面上是一個藝術過程,其背后需要扎實的技術支撐,尤其在照明匹配方面,傳統測光表作為布光參考的手工調光對于LED 虛擬拍攝的照明矩陣而言,無法滿足效率需求。為此,本研究使用虛幻引擎和其他專業燈光編程控制類軟件,結合燈光控制臺可以實現基于DMX512協議的矩陣燈光控制和調整, 并結合電影特效領域照明匹配經驗,通過色卡和反射球完成照明匹配工作,同時基于電影行業色彩還原測試經驗,通過拍攝虛擬色卡和實體色卡并分析二者色差,實現照明匹配驗證。本研究雖然已實現了照明匹配和驗證流程,但目前驗證環節還需將畫面導出、后期軟件處理成圖像、加載到Imatest軟件讀值,并利用開源程序算出色差,全程所需的時間在20分鐘左右。未來將工具和方法集成,有望實現圖片拍攝、圖傳導出和一鍵上傳、分析,將對LED 虛擬拍攝的布光過程的數值化、科學化大有裨益。

當前,我國LED 虛擬拍攝發展迅速,電影檢測技術的應用和相關測量方法的發展,對于科學解決生產實踐中的問題提供了數據支持和方法論,對提升虛擬攝制技術應用水平有很大助推作用。相關測試經驗和方法可在行業中進一步推廣,從而實現技術與藝術的深度融合,為制作領域技術進步和效率提升貢獻力量。?