LED虛擬化制作中基于深度圖像的LED虛擬實時綠幕變形方法

侯 爵 趙建軍 盧柏宏 陳 軍

(北京電影學院影視技術系,北京 100088)

1 引言

1898年,特效電影藝術家喬治·梅里愛把一塊涂有黑色顏料的玻璃板作為蒙板,用它擋住鏡頭的一部分,使得膠片的一部分不會感光,拍攝完成后,再用蒙板擋住鏡頭的另一部分繼續拍攝,如此一來,不同的場景經過多次曝光后就會留存在同一副膠片上。這種手法被后人視為綠幕合成技術的原始雛形。

此后的幾十年間,合成技術進入了一個高速發展期,期間出現了“黑幕技術”“鄧寧藍幕技術”“黃幕技術”等基于傳統膠片電影制作流程的合成技術。上世紀90年代開始,數字技術迅速崛起,數字電影攝影機開始逐漸取代膠片攝影機成為電影拍攝的主流設備,與此同時,計算機生成圖像越來越被廣泛應用于電影內容創作。而數字電影攝影機感光元件上濾光片通常以“拜爾排列”的方式排列組合,這種排列方式使得綠光的感光面積是藍光或紅光的兩倍,因此,更加有利于數字圖像摳像的綠幕摳像技術逐漸成為了當今色鍵摳像技術的通用解決方案。

如圖1所示,將拍攝前景置于藍/綠幕背景下,通過色鍵摳像的方式將藍綠色背景摳除得到前景畫面,并通過在藍/綠幕背景上布置跟蹤點的方式,在后期反求出攝影機的運動軌跡,實現虛擬資產與實拍素材在透視關系上的統一,最終將前景畫面與虛擬資產合成得到最終的特效鏡頭。這種技術極大地提高了鏡頭內容創作的自由度,電影藝術創作進入了一個全新的天地。

圖1 綠幕合成技術

2 綠幕合成技術的弊端與解決方案

在一套典型的實時交互預演流程中,拍攝現場往往要布置面積巨大的綠色幕布作為色鍵摳像的背景,這將不可避免地帶來一些問題:首先是真實場景與虛擬場景的動態光效配合問題,在現場拍攝之前就需要創作團隊提前設計好成片鏡頭中最后的動態光效,在此基礎上對表演者進行現場動態照明,而且,為了使現場的照明信息與后期三維場景中的照明信息相匹配,需要在拍攝特效鏡頭時在場景中放置一個反光鉻球用來記錄現場照明信息。其次,在大面積的藍/綠幕背景下進行燈光照明,很容易在被攝主體邊緣產生溢色現象,或是將藍/綠幕的顏色反射到演員或前景物體的高光上,這給后期摳像帶來了很大的麻煩。一般的解決方案是:均勻照亮綠色背景,否則陰影區域將難以摳出,對于細毛或透明物品后面的背景尤其如此。被攝主體需要遠離綠屏,以免屏幕上的反射光溢出到主體上。此外,前景中的主體必須使用單獨的光源打光,以便控制場景所需光源的曝光和方向。最后,常見的綠幕往往是棉布與滌綸的混合紡布材料,由于其質地較為柔軟,表面容易產生一些褶皺或者波紋,雖然目前一些影視專用的摳像噴漆可以作為綠色幕布的替代品,但實際使用效果不盡人意。

圖2 實時交互預演中的綠幕①

總體來說,這些弊端屬于綠幕合成技術本身不可避免的系統性問題,從業人員總結的解決方案也只是一種無可奈何的妥協。一種根本上避免這些問題的方法是基于LED背景墻的電影虛擬化制作技術。

基于LED背景墻的電影虛擬化制作技術(以下簡稱LED虛擬化制作)直接將視效與實景融合后的內容拍攝下來,即達到所謂的攝影機內視效(In-Camera VFX)拍攝效果。這一技術極大地改進了實時交互預演的不足,它使用LED背景墻代替藍/綠幕實時渲染顯示三維場景,同一型號的LED模組發出的光在理論上應該是完全均勻一致的,這在一定程度上規避了傳統藍/綠幕反射不均勻或存在褶皺的問題;其次,移除了大面積的綠色幕布后,它完全解決了藍/綠幕溢色和反射問題;最后,LED背景墻畫面更是為現場提供了高還原度的真實環境光照,無需在后期進行光照匹配,同時也極大地提高了鏡頭內照明效果的真實感。

在典型的基于LED背景墻的電影虛擬化制作流程中,LED背景墻上顯示的渲染畫面被分為了兩個部分,分別被稱為內視錐和外視錐(圖3)。外視錐不需要渲染高精度圖像,而是將LED面板轉變為一種動態光源,以還原光線照射在真實世界位置上的效果。當攝影機移動時,外視錐畫面保持靜態,模仿了光照和反射在真實世界中不隨攝影機移動的原理,這樣就可以為演員和前景物體提供真實的動態環境照明。在攝影機視場(FOV)內的高質量實時渲染畫面被稱為內視錐,它的畫面透視關系會隨著攝影機位置變化而變化,用以實現攝影機內視效拍攝。

圖3 內視錐與外視錐

但此種方案仍然存在一些問題。首先,LED面板上的燈珠排列非常密集且規律,當攝影機聚焦于LED面板上時,會產生摩爾紋現象,影響最終的畫面效果。其次,由于目前的三維實時引擎的渲染能力有限,對于一些非常復雜的效果實時渲染質量不佳,還不能滿足實拍后直接作為最終鏡頭的要求。因此在這種情況下,可以在LED屏幕上顯示純綠色背景兼容傳統的特效制作流程。

故LED虛擬化制作一些特定鏡頭的拍攝,可以將內視錐替換成帶有跟蹤點圖案的純綠色畫面用于提供后期摳像素材,而外視錐依然可以提供真實的動態環境光照明,此種方案兼具了兩種流程的優點,并且提供了更好的便利性和可用性(圖4)。將內視錐全部替換成純色,除了演員與前景物體,在攝影機視場內所拍攝到的畫面將會是一片純色。LED屏幕屬于自發光照明,LED屏幕發光有更高的亮度和飽和度,而傳統藍/綠幕是漫反射的方式,兩者有很大區別。因此在基于LED背景墻的虛擬化制作流程中,傳統綠幕合成技術中常用的技巧無法繼續使用。本文分析在現有流程中影響最大的可控因素進行定量分析,并研究及實現一套新穎的解決方案。

圖4 《曼達洛人》幕后制作

3 虛擬綠幕對前景的影響因素分析實驗

為了分析LED虛擬化制作中虛擬綠幕對拍攝效果的影響程度,本文針對不同的影響因素進行了相關的測試實驗。

3.1 內視錐綠幕大小對拍攝的影響

在LED虛擬化制作中,使用內視錐作為綠幕,外視錐依然顯示虛擬三維場景是目前常用的拍攝方法之一,其目的是為了還原被攝主體上的反射(如《曼達洛人》)。內視錐的大小將直接影響前景物體的拍攝效果,因此研究團隊首先針對目前LED虛擬化制作中內視錐綠幕的大小不同所導致的溢色與反射情況,設計對比實驗進行分析。實驗現場如圖5所示。

圖5 實驗現場

在LED虛擬化制作中,為了保證內視錐畫面足以完全覆蓋攝影機的拍攝范圍,內視錐的大小會隨著鏡頭焦距的變化而變化。焦距越小,視場越大,內視錐也就越大。

本實驗改變內視錐的大小,觀察不同情況下畫面的溢色與反射表現。為了便于觀察對比,攝影機的實際焦距不作改變,結果如圖6所示,內視錐越大,灰球以及人物臉上的溢色越嚴重,鉻球與墨鏡中的綠色反射面積越大。

圖6 內視錐大小對畫面影響的對比

當拍攝焦距長,內視錐較小時,基本無法觀察到明顯的溢色現象,反射物體上也基本上沒有綠色。但墨鏡中反射的綠色會根據人物頭的朝向不同而有所不同,當演員頭部偏轉到一定角度時,墨鏡可能會將綠色的LED背景反射到鏡頭內,但內視錐越小,這種情況發生的概率也越低。

因此,可以得出一個初步結論:內視錐的大小對前景的溢色和高光反射影響非常大,應該盡可能地縮小。

3.2 內視錐綠幕亮度對拍攝的影響

在LED背景墻上顯示的綠幕不僅僅均勻平整,并且亮度調節也十分方便。合適的綠幕亮度有助于更好地進行摳像處理,同時也影響著被攝主體的溢色和高光反射。

針對內視錐亮度的對比實驗中,人物距離屏幕4米,在關閉內視錐綠幕時人物所處位置的照度約為200勒克斯,內視錐大小為16mm焦距視場。如圖7所示,在內視錐綠幕亮度為400尼特時,人物身上和灰球表面出現較為嚴重的溢色,而在100尼特時溢色基本可以接受。

圖7 內視錐亮度對畫面影響的對比

可以從灰球和鉻球的邊緣表現看到,其高光和溢色隨著LED屏幕亮度降低而降低。當內視錐亮度為50尼特時,鉻球表面上仍然有可見的綠色邊緣,但如果繼續降低內視錐亮度將不利于后期摳像。實際上,影響被攝主體的溢色還有照明光源本身的亮度、被攝主體距離綠幕的距離等因素。溢色本質上是由照明光源與綠幕反射的光照強度比值所決定的。因此在實際生產過程中,應當根據現場環境和光照條件適當選取合適的LED背景亮度,不宜盲目追求低亮度。

從以上兩組實驗可得知,內視錐的大小和亮度均會很大程度上影響前景物體的溢色和高光反射效果,此外,還有一些其他影響因素諸如虛擬綠幕的色彩飽和度、現場光源亮度等,由于條件所限并未進行測試實驗。其中內視錐的大小對前景的高光反射的負面影響很大,且不能通過降低亮度的方式將其完全消除。因此我們認為內視錐的大小是一個更為關鍵的因素。而在實際生產過程中,亮度的選擇將會基于現場的光照條件和創作團隊的創作意圖。因此為了減少前景物體溢色的高光反射,應該最大程度上減小內視錐的大小。

4 虛擬綠幕實時變形方案原理與實現

為了減輕內視錐全部顯示純色帶來的問題,本文提出一種基于深度圖像處理的虛擬綠幕實時變形方法,可以利用拍攝畫面中的深度圖像信息將演員等被攝主體與LED背景墻分離出來,再將分離后的深度信息以蒙板的形式作用于內視錐,使得在攝影機畫面中被攝主體恰好完全被綠幕包圍,即可在滿足摳像需求的前提下最大程度上減少藍/綠幕的面積,有效規避影片制作中溢色和綠幕穿幫等技術問題。

如圖8所示,本實驗方案將深度攝像頭與攝影機綁定后同時拍攝被攝主體,在攝影機所拍攝的畫面中,被攝主體應被一個略大于其自身輪廓的綠幕所包圍,剩余部分的LED背景墻顯示三維實時引擎所提供的外視錐畫面。

圖8 虛擬綠幕變形原理示意圖

本實驗選用了基于To F的深度攝像頭RealSense L515用于捕獲深度信息。我們無需識別出演員等被攝主體自身精細的深度,而只需要區分出前景被攝主體與LED背景墻,就能得到滿足要求的的深度圖作為遮罩。

具體流程如圖9所示,深度攝像頭獲取場景中的深度信息,計算機將深度信息進行處理后作為深度圖實時傳遞給三維實時引擎。與此同時,攝影機跟蹤設備獲取攝影機到LED背景墻的距離,以該距離作為臨界閾值將深度圖進行二值化處理,保證LED屏幕前的被攝主體均為白色,LED屏幕自身均為黑色。然后,通過深度攝像頭提供的接口,將二值化處理后的藍/綠幕輪廓發送至三維實時引擎。

圖9 虛擬綠幕變形方法技術流程圖

圖10 二值化處理后的深度圖示意圖

為了能夠拍攝到可以正常進行色鍵摳像的拍攝素材,必須使該綠/藍幕輪廓白色區域能夠完全覆蓋被攝主體,因此需要對該綠/藍幕輪廓進行膨脹處理(如圖11所示)。實現思路為將該深度圖在平面的多個方向上進行適當的位移后疊加,其藍圖函數實現如圖12所示。

圖11 膨脹處理后的深度圖示意圖

圖12 UE4中膨脹函數的實現

LED綠幕輪廓膨脹的大小可以根據具體拍攝情況如焦距、鏡頭運動速度等因素決定。由于深度圖從獲取到最終顯示在LED背景墻上需要多步運算處理,為避免畫面延遲,當拍攝快速運動的鏡頭時,應適當增大膨脹值。

將膨脹后的LED綠幕輪廓進行著色,根據攝影機的位置跟蹤信息映射到LED背景墻上,最后使用攝影機記錄下畫面。實現效果如圖13所示。

圖13 實現效果圖

在拍攝完成后,需要進行后期摳像合成,而這種制作方式所得到的攝影機畫面僅有環繞被攝主體的一圈綠幕,僅使用色鍵摳像無法完成制作。為此提出對應的后期摳像合成方法。

后期摳像方法流程如圖14所示,現場拍攝所錄制的攝影機畫面經過色鍵摳像得到蒙板,而同樣是現場拍攝錄制的綠/藍幕輪廓,再經過膨脹后得出另一個蒙板,值得注意的是這里的膨脹值應略小于現場拍攝時的膨脹值。然后將兩個蒙板相疊加得到一個合并后的蒙板,使用該蒙板進行攝影機畫面摳像,并與后期三維虛擬畫面合成,以完成后期制作。

圖14 虛擬綠幕變形方法摳像流程圖

5 虛擬綠幕應用效果測試及分析討論

為驗證本方法與系統的實用性,本文在LED虛擬化制作過程中,設計LED背景墻全綠、內視錐綠幕和虛擬綠幕三者的對比實驗,驗證其在溢色控制、鏡面反射等問題上的表現。在驗證實驗中,攝影機、鏡頭參數保持一致,分別對比LED背景墻全綠、內視錐綠幕和虛擬綠幕在灰球、鉻球以及人物拍攝中的表現。實驗現場如圖15所示。

圖15 實驗現場圖

(1)溢色測試:分別在LED背景墻全綠、內視錐綠幕和虛擬綠幕的情況下對灰球進行拍攝,觀測其溢色情況。在LED背景墻全綠的情況下,溢色幾乎充滿整個灰球,這種情況下進行摳像會產生嚴重的問題;在內視錐綠幕的情況下,僅有邊緣出現溢色的情況;而在虛擬綠幕的情況下,灰球上幾乎沒有出現溢色的情況。如圖16所示。

圖16 不同形式綠幕下灰球的溢色狀況

(2)反射測試:分別在LED背景墻全綠、內視錐綠幕和虛擬綠幕的情況下,觀測其對鉻球的反射影響。如圖17所示,在LED背景墻全綠的情況下,整個鉻球上都是綠色穿幫,在內視錐綠幕的情況下有所改善,但仍有大面積綠幕穿幫。而在虛擬綠幕中,僅在一側出現小面積綠幕穿幫,大部分畫面顯示虛擬畫面內容,能更好地還原場景中具有鏡面反射的被攝物。

圖17 不同形式綠幕下鉻球的反射圖像

(3)演員測試:分別在LED背景墻全綠、內視錐綠幕和虛擬綠幕的情況下對人物角色進行拍攝,觀測其效果。如圖18所示,左中右分別為LED背景墻全綠、內視錐綠幕和虛擬綠幕情況下,人物皮膚和墨鏡上的圖像。溢色情況從左到右依次有所改善,在虛擬綠幕中基本沒有溢色。從墨鏡上的反射上可以看出,在全部LED背景墻顯示全綠和僅內視錐顯示純綠時墨鏡表面反射綠色較為嚴重,而使用虛擬綠幕時,溢色和反射等負面影響基本肉眼不可見,且墨鏡反射圖像真實還原了演員所處的虛擬環境,很好地兼顧了綠幕摳像和鏡面反射的問題。

圖18 不同形式綠幕下人物皮膚與墨鏡的表現

綜上所述,本文提出的一種基于深度信息獲取的虛擬綠幕實時變形方法,能有效地改善LED虛擬化制作中綠幕的溢色與反射穿幫的問題。相比于在LED背景墻中手動添加小面積的綠幕,這種方式能實時跟隨攝影機的朝向自動調整綠幕的位置,始終讓綠幕在攝影機畫面中包圍被攝主體,無須在鏡頭運動時再人為調整改變綠幕的顯示位置。

由于實驗條件限制,我們無法搭建同等大小的傳統綠幕環境,以進行控制變量的實驗。LED背景墻全綠的情況可一定程度上類比傳統綠幕的情況,供讀者參考。

但本方案也存在一些問題,首先,LED綠幕只能顯示在LED 背景墻上。如果被攝主體的后景還包括地面等,則仍然需要傳統綠幕,因為地板往往會用來布置和角色交互的前景和地面。

其次,由于本方案的系統復雜度較高,視頻信號需要先后通過深度攝像頭、游戲引擎、數字信號分發等系統,會產生較大的延遲,對于快速移動的物體比如演員的手臂,虛擬綠幕并不能及時反饋在LED屏幕上。

最后,實驗使用基于激光ToF的深度攝像頭,其精度有限,畫面分辨率較低且存在一定噪波,一些較小的物體無法被正常識別。此外,一些黑色吸光物體、鏡面反射物體的深度識別還需要進一步完善。

圖19 基于深度圖像處理的虛擬綠幕變形方法

6 總結和展望

基于LED背景墻的電影虛擬化制作是當前最為先進的影視制作技術之一。在LED背景墻上顯示虛擬綠幕背景,其畫面平整,并且可以方便地調整大小和亮度、添加標記點,能夠兼容傳統綠幕拍攝,完成特定的鏡頭拍攝。本文研究了影響LED虛擬綠幕對拍攝效果的影響因素,在此基礎上提出了基于深度圖像處理的虛擬綠幕實時變形方法。通過將LED虛擬綠幕的大小降至最小,最大程度減少了LED面板發出的綠光對表演主體的溢色和高光反射等負面影響,解決了LED虛擬化制作中的內視錐綠幕合成問題。

由于實驗環境、設備精度、系統復雜度等方面的影響,本文提出的技術存在一些局限性和適用范圍。我們將在后續工作中進一步深入研究這部分內容,不斷完善發展基于LED背景墻的電影虛擬化制作的相關技術,促進新技術的推廣應用。?

①圖片來源:https://www.fxguide.com/fxfeatured/vanishingpoints-vector-for-virtual-production/.