基于LED背景墻的電影虛擬化制作中影像分辨率影響因素與控制方式探究

王瀟玨 趙建軍 陳 軍

北京電影學(xué)院影視技術(shù)系,北京 100088

1 引言

電影虛擬化制作 (Virtual Movie Making 或Movie Virtual Production)技術(shù)發(fā)展迅速,為電影制作領(lǐng)域帶來(lái)了創(chuàng)新性突破。近年來(lái),隨著計(jì)算機(jī)圖形學(xué)、實(shí)時(shí)渲染技術(shù)以及LED 顯示等技術(shù)的不斷發(fā)展,基于LED 背景墻的電影虛擬化制作 (簡(jiǎn)稱LED 虛擬化制作)引起了影視行業(yè)從業(yè)者的廣泛關(guān)注并付諸實(shí)踐。LED 背景墻在拍攝現(xiàn)場(chǎng)可直接顯示與攝影機(jī)運(yùn)動(dòng)所匹配的虛擬背景,攝影機(jī)拍攝演員在LED 背景墻前的表演便可直接獲得合成影像,即攝影機(jī)內(nèi)視效,替代了在拍攝現(xiàn)場(chǎng)使用傳統(tǒng)藍(lán)/綠幕,再經(jīng)由后期進(jìn)行合成的形式。如今,高分辨率、高幀率、高動(dòng)態(tài)范圍等高新技術(shù)格式標(biāo)準(zhǔn)越來(lái)越成為電影成片的主流技術(shù)標(biāo)準(zhǔn),而這一技術(shù)在為現(xiàn)場(chǎng)拍攝帶來(lái)沉浸式體驗(yàn)的同時(shí),也導(dǎo)致了 “以數(shù)字化的方式直接采集數(shù)字化內(nèi)容”,為高質(zhì)量影像的制作帶來(lái)了新的挑戰(zhàn)。

具體來(lái)說(shuō),基于LED 背景墻的電影虛擬化制作,一方面需要以離散的數(shù)字化方式采集離散的數(shù)字化內(nèi)容,另一方面拍攝現(xiàn)場(chǎng)還增加了虛擬化制作的諸多前置技術(shù)環(huán)節(jié),從虛擬場(chǎng)景的渲染、顯示到被拍攝與采集的每一環(huán)節(jié)都涉及影像信號(hào)的處理與傳遞,并影響著最終拍攝輸出的影像質(zhì)量,這使得基于LED 背景墻的電影虛擬化制作對(duì)影像質(zhì)量的控制將是基于全過(guò)程的,也更為復(fù)雜。

以分辨率這一技術(shù)指標(biāo)為例,在虛擬化制作中,如果LED 背景墻顯示的影像分辨率低,那么即便攝影機(jī)設(shè)置了4K 分辨率拍攝,也會(huì)導(dǎo)致最終攝影機(jī)拍攝成像的背景模糊不清、丟失細(xì)節(jié)。本文正是針對(duì)這一命題,重點(diǎn)圍繞基于LED 背景墻的電影虛擬化制作在現(xiàn)場(chǎng)制作階段中,影像分辨率這一主要技術(shù)指標(biāo)的影響因素進(jìn)行分析與探究,并梳理虛擬化制作流程中控制分辨率的主要方法。

2 攝影機(jī)內(nèi)視效及LED 虛擬化制作中影像質(zhì)量的挑戰(zhàn)

2.1 LED虛擬化制作核心環(huán)節(jié)與攝影機(jī)內(nèi)視效

從制作環(huán)節(jié)與技術(shù)流程上看,基于LED 背景墻的電影虛擬化制作可以大致分為前期籌備與現(xiàn)場(chǎng)拍攝兩個(gè)階段。首先,這一技術(shù)重在后期前置,需要視效團(tuán)隊(duì)在前期籌備階段便完成虛擬場(chǎng)景的設(shè)計(jì)與制作工作,并將其投入現(xiàn)場(chǎng)拍攝。而現(xiàn)場(chǎng)拍攝階段則是基于LED 背景墻的電影虛擬化制作最重要的技術(shù)應(yīng)用階段,其核心環(huán)節(jié)與技術(shù)要點(diǎn)如圖1 所示,設(shè)備選擇與技術(shù)操作都將對(duì)成片質(zhì)量產(chǎn)生直接影響。

圖1 LED虛擬化制作核心流程

如圖1 所示,由攝影機(jī)直接拍攝真實(shí)場(chǎng)景與LED 背景墻,便可獲得前景為演員與布景、背景為L(zhǎng)ED 背景墻實(shí)時(shí)顯示的虛擬場(chǎng)景的 “合成”影像,即攝影機(jī)內(nèi)視效 (In-camera VFX),在當(dāng)前的典型制作流程中,攝影機(jī)內(nèi)視效的合成拍攝結(jié)果即可作為成片直接輸出。

具體而言,攝影機(jī)內(nèi)視效的實(shí)現(xiàn)主要是由實(shí)時(shí)渲染、攝影機(jī)跟蹤匹配以及LED 背景墻顯示三部分互相聯(lián)動(dòng)、協(xié)同配合完成的。

2.1.1 實(shí)時(shí)渲染

實(shí)時(shí)渲染是通過(guò)實(shí)時(shí)渲染引擎以及相應(yīng)的渲染群集等軟硬件技術(shù),將虛擬的場(chǎng)景實(shí)時(shí)地輸出給LED 背景墻顯示終端。在條件允許的情況下,采用多機(jī)同步渲染的方式,能夠有效提升渲染效率。

由于攝影機(jī)視場(chǎng) (Field of View,FOV)覆蓋LED 背景墻的范圍有限,為了更有效地實(shí)現(xiàn)攝影機(jī)內(nèi)視效,在實(shí)際拍攝中只需對(duì)攝影機(jī)視場(chǎng)范圍內(nèi)的虛擬場(chǎng)景進(jìn)行更精細(xì)的渲染即可。渲染場(chǎng)景根據(jù)是否在攝影機(jī)的拍攝范圍內(nèi),可分為內(nèi)視錐 (Inner Frustum)渲染與外視錐 (Outer Frustum)渲染,如圖2所示。其中,內(nèi)視錐渲染主要用于實(shí)現(xiàn)攝影機(jī)內(nèi)視效,提供了整個(gè)攝影機(jī)視場(chǎng)的背景畫(huà)面,內(nèi)視錐場(chǎng)景可跟隨攝影機(jī)產(chǎn)生相應(yīng)的運(yùn)動(dòng)、透視、景深等實(shí)時(shí)變化效果。而外視錐的渲染范圍是除內(nèi)視錐以外的部分,這部分雖然在實(shí)際拍攝時(shí)一般不會(huì)產(chǎn)生額外的交互效果,但在提供視覺(jué)沉浸感與逼真的光照效果方面有著重要作用。

圖2 外視錐渲染和內(nèi)視錐渲染

2.1.2 攝影機(jī)跟蹤匹配

跟蹤與匹配部分通過(guò)攝影機(jī)跟蹤技術(shù)實(shí)時(shí)地捕獲真實(shí)攝影機(jī)的運(yùn)動(dòng)、姿態(tài) (外參)與焦距、焦點(diǎn)等信息(內(nèi)參),并將其傳輸至渲染引擎,再由引擎匹配給虛擬場(chǎng)景中的虛擬攝影機(jī)并渲染輸出相應(yīng)的畫(huà)面,從而在LED 背景墻上實(shí)時(shí)呈現(xiàn)出具有與真實(shí)攝影機(jī)參數(shù)一致、透視匹配的內(nèi)視錐場(chǎng)景。

2.1.3 LED 背景墻顯示

LED 顯示部分則是通過(guò)LED 背景墻及配套的視頻信號(hào)處理系統(tǒng),實(shí)現(xiàn)虛擬場(chǎng)景的實(shí)時(shí)顯示。LED 背景墻以每個(gè)封裝了三基色發(fā)光二極管的LED燈珠作為最小可控的獨(dú)立發(fā)光單元,并采用模塊化裝配方式,將燈珠組成的像素陣列構(gòu)成LED 顯示模組,再自定義拼裝形成LED 背景墻[1]。拍攝現(xiàn)場(chǎng)為了適應(yīng)攝影機(jī)運(yùn)動(dòng),往往將LED 背景墻以半圓形、弧形或矩形環(huán)繞在拍攝區(qū)域周圍,并根據(jù)需要加裝頂屏。

2.2 LED虛擬化制作影響影像質(zhì)量的主要環(huán)節(jié)

對(duì)比攝影機(jī)拍攝實(shí)景的過(guò)程,在基于LED 背景墻的電影虛擬化制作中還疊加了諸多前置處理環(huán)節(jié)。如圖3所示,按照實(shí)現(xiàn)攝影機(jī)內(nèi)視效的技術(shù)流程,整個(gè)虛擬場(chǎng)景從開(kāi)始渲染到作為虛擬背景被攝影機(jī)拍攝獲得“合成”的影像,可大致分為L(zhǎng)ED 顯示與攝影機(jī)拍攝兩大階段。其中,LED 顯示階段又可以依次細(xì)化為實(shí)時(shí)渲染、視頻信號(hào)處理與LED 背景墻顯示三個(gè)主要環(huán)節(jié)。由于整個(gè)過(guò)程從影像信號(hào)傳遞的角度可以被視為線性的傳輸過(guò)程,每個(gè)環(huán)節(jié)都涉及影像的輸入與輸出,故而每個(gè)環(huán)節(jié)的軟硬件條件及相關(guān)技術(shù)參數(shù)都將影響并制約最終攝影機(jī)拍攝獲得的影像質(zhì)量。

圖3 LED虛擬化制作影響影像質(zhì)量的主要環(huán)節(jié)

由于目前業(yè)內(nèi)對(duì)數(shù)字?jǐn)z影機(jī)拍攝已掌握了成熟的影像控制方法,因此本項(xiàng)目將著重研究LED 顯示階段的控制流程與方法。就整體而言,我們可以結(jié)合“短板效應(yīng)”大致遵循這樣一個(gè)準(zhǔn)則,即上述的任何一個(gè)技術(shù)環(huán)節(jié)如果在硬件條件或技術(shù)參數(shù)設(shè)置中“造成了”該鏈路的最小值,那么它也將成為影響與制約最終拍攝獲得影像質(zhì)量的主要因素。

3 影像分辨率及LED 虛擬化制作各環(huán)節(jié)的分辨率概念

3.1 影像分辨率概念

分辨率是評(píng)估影像質(zhì)量的核心技術(shù)指標(biāo)之一,通常用來(lái)描述影像的細(xì)節(jié)分辨能力。一般而言,當(dāng)影像的畫(huà)幅或面積相同時(shí),分辨率越大,其所能描述的細(xì)節(jié)越豐富,給人帶來(lái)的主觀視覺(jué)清晰感也越強(qiáng)。在以離散化為主要特征的數(shù)字時(shí)代,像素作為描述影像的最小單位,記錄著獨(dú)立的亮度、色度等屬性,并按照一定的規(guī)則排列,從而構(gòu)成視覺(jué)上具有空間連續(xù)感的影像。因此,從基本概念來(lái)講,影像分辨率即其橫向像素?cái)?shù)與縱向像素?cái)?shù)的乘積,也相當(dāng)于“像素分辨率”(圖4)。

圖4 像素與分辨率示意

3.2 LED虛擬化制作各環(huán)節(jié)的分辨率概念

在基于LED 背景墻的電影虛擬化制作流程中,因涉及對(duì)影像的采集、傳輸、處理、顯示等不同技術(shù)環(huán)節(jié),像素與分辨率又有著不同的表現(xiàn)形式(圖5)。

圖5 LED虛擬化制作各環(huán)節(jié)的分辨率概念

3.2.1 實(shí)時(shí)渲染

在實(shí)時(shí)渲染環(huán)節(jié),引擎將虛擬場(chǎng)景按照LED 背景墻的顯示需求渲染出相應(yīng)規(guī)格的二維影像,并將信號(hào)輸出至下一處理環(huán)節(jié)。影像分辨率在這一過(guò)程中主要體現(xiàn)為 “渲染分辨率”,即渲染時(shí)所設(shè)定的、需要輸出影像的橫向像素?cái)?shù)和縱向像素?cái)?shù)乘積。

3.2.2 視頻信號(hào)處理

視頻信號(hào)處理環(huán)節(jié)通過(guò)接收引擎渲染的影像信號(hào),執(zhí)行相應(yīng)技術(shù)操作后,輸出信號(hào)至下一個(gè)處理環(huán)節(jié)。此階段的分辨率體現(xiàn)為 “處理器輸出分辨率”,即輸出影像時(shí)所設(shè)定的橫向像素?cái)?shù)和縱向像素?cái)?shù)乘積。與輸入影像信號(hào)不同的是,在視頻信號(hào)處理環(huán)節(jié)可以設(shè)定高于或低于輸入影像分辨率的數(shù)值,以在處理過(guò)程中對(duì)影像進(jìn)行裁切或上下變換處理。

3.2.3 LED 背景墻顯示

LED 背景墻在接收影像信號(hào)后將影像顯示出來(lái),這一環(huán)節(jié)像素和分辨率主要表現(xiàn)為L(zhǎng)ED 背景墻的“顯示分辨率”與“物理分辨率”。

首先,由于傳輸?shù)挠跋癖旧砜梢元?dú)立于顯示設(shè)備而存在,因此在顯示影像時(shí),可以設(shè)定影像在概念上橫向、縱向有多少個(gè)像素單位,其總像素?cái)?shù)即“顯示分辨率”。由于LED 背景墻在顯示時(shí)分為內(nèi)外視錐兩個(gè)部分,因此 “顯示分辨率”也可以具體劃分為“外視錐的顯示分辨率”與 “內(nèi)視錐的顯示分辨率”。其中外視錐的顯示分辨率即“處理器輸出分辨率”,而內(nèi)視錐的顯示分辨率則由內(nèi)視錐的實(shí)時(shí)面積和視頻處理器規(guī)定的像素密度決定。

第二,由于影像需要依賴LED 背景墻顯示,從技術(shù)實(shí)現(xiàn)上看,LED 背景墻的最小物理單位是獨(dú)立的RGB三基色LED 燈珠,如圖6所示,因此LED背景墻的燈珠像素總數(shù)構(gòu)成了背景墻的 “物理分辨率”,也是該LED 背景墻在顯示影像時(shí)所能支持的最高“顯示分辨率”。同樣地,背景墻的“物理分辨率”也可以劃分為“外視錐的物理分辨率”和 “內(nèi)視錐的物理分辨率”。外視錐的物理分辨率相當(dāng)于整個(gè)背景墻的物理像素總數(shù)；內(nèi)視錐的物理分辨率則相當(dāng)于內(nèi)視錐影像覆蓋的LED 背景墻面積內(nèi)橫向的物理像素?cái)?shù)與縱向的物理像素?cái)?shù)乘積。

圖6 三基色LED顯示屏像素 (SMD RGB燈珠)

3.2.4 攝影機(jī)拍攝成像

攝影機(jī)成像環(huán)節(jié)則較為復(fù)雜,需要攝影機(jī)拍攝前景的演員表演與LED 背景墻顯示的虛擬背景獲得攝影機(jī)內(nèi)視效的合成影像,其分辨率體現(xiàn)在攝影機(jī)的鏡頭解像力、CMOS靶面的物理分辨率、拍攝時(shí)的設(shè)置分辨率,以及攝影機(jī)機(jī)內(nèi)視效背景的原始顯示分辨率與原始物理分辨率五個(gè)方面。

其中,鏡頭解像力又稱解析力,是描述攝影機(jī)光學(xué)鏡頭分辨被攝物細(xì)節(jié)的能力。CMOS靶面的物理分辨率是指攝影機(jī)CMOS圖像傳感器靶面上橫向和縱向物理成像單元 (物理像素)的總數(shù)。拍攝時(shí)的“設(shè)置分辨率”即攝影機(jī)在拍攝時(shí)所設(shè)定的輸出影像的橫向像素?cái)?shù)和縱向像素?cái)?shù)乘積。

攝影機(jī)內(nèi)視效的背景則是LED 背景墻內(nèi)視錐經(jīng)由攝影機(jī)拍攝后所形成的影像,其原始顯示分辨率相當(dāng)于LED 背景墻的 “內(nèi)視錐顯示分辨率”,其原始物理分辨率則相當(dāng)于LED 背景墻的“內(nèi)視錐物理分辨率”。

4 LED虛擬化制作各環(huán)節(jié)對(duì)影像分辨率的影響因素與控制方式

4.1 實(shí)時(shí)渲染環(huán)節(jié)

實(shí)時(shí)渲染引擎的主要任務(wù)包括渲染并輸出支持LED 背景墻顯示的虛擬場(chǎng)景視頻影像。這一過(guò)程中針對(duì)影像的渲染分辨率及相關(guān)技術(shù)參數(shù)配置,將直接影響到后續(xù)LED 背景墻顯示乃至攝影機(jī)拍攝的影像質(zhì)量。以Unreal Engine 4引擎為例,其渲染與輸出面向LED 背景墻的影像主要通過(guò)nDisplay系統(tǒng)實(shí)現(xiàn),其技術(shù)原理如圖7所示。這是一個(gè)基于GPU專業(yè)顯卡的實(shí)時(shí)渲染分布系統(tǒng),主要用于支持實(shí)時(shí)渲染影像在以LED 背景墻為代表的大型多屏顯示設(shè)備上進(jìn)行顯示,具體功能包括影像渲染與縮放、渲染任務(wù)分發(fā)、實(shí)時(shí)性與跨屏同步等,目標(biāo)是盡可能在更短的時(shí)間內(nèi)渲染高分辨率影像[2]。

圖7 nDisplay主要技術(shù)原理

對(duì)于實(shí)時(shí)渲染環(huán)節(jié)輸出影像分辨率,一方面受虛擬場(chǎng)景的模型及材質(zhì)貼圖本身的分辨率影響,另一方面在經(jīng)由nDisplay執(zhí)行渲染輸出時(shí)還受制于渲染的硬件設(shè)備與配置參數(shù),包括渲染分辨率的配置,運(yùn)動(dòng)模糊、抗鋸齒等后處理視效。基于目前的實(shí)時(shí)性要求,渲染輸出的影像應(yīng)至少保證60FPS的幀速率,即單幀畫(huà)面的渲染效率在16毫秒以內(nèi)。綜合來(lái)看,各要素與其所能支持輸出的最大渲染分辨率關(guān)系如表1所示。

表1 主要影響因素與渲染分辨率的關(guān)系

目前,單個(gè)GPU n Display 視口在渲染中所支持的分辨率上限可達(dá)UHD (3840×2160)。因此在分配各視口的輸出分辨率參數(shù)時(shí),一方面盡可能直接引用LED 背景墻的形狀、大小及其物理分辨率,以避免縮放；另一方面可以根據(jù)LED 顯示屏數(shù)量與每個(gè)渲染群集節(jié)點(diǎn)的渲染能力,合理分配渲染視口及其分辨率。

4.2 LED視頻信號(hào)處理

為了支持多屏拼接的大型LED 背景墻,在完成虛擬場(chǎng)景的實(shí)時(shí)渲染后,視頻信號(hào)還需要經(jīng)由LED視頻處理器及配套的數(shù)據(jù)分發(fā)單元轉(zhuǎn)換為支持LED背景墻顯示的規(guī)格,并完成視頻信號(hào)分發(fā)、信號(hào)同步拼接等步驟。目前國(guó)內(nèi)外較主流的LED 視頻處理器品牌有Brompton、諾瓦等 (圖8),而隨著LED顯示的配套技術(shù)發(fā)展,視頻處理器可提供的影像處理功能也越發(fā)豐富,包括縮放、降噪、防抖、圖像增強(qiáng)等。

圖8 Brompton Tessera SX40 Tessera XD① (上)諾瓦V1260視頻控制器 (含4K 信號(hào)發(fā)送)② (下)

LED 視頻處理器的相關(guān)性能以及對(duì)輸入影像信號(hào)的處理操作、參數(shù)配置,都會(huì)影響其輸出分辨率,并影響到LED 背景墻所顯示的影像質(zhì)量。主流LED 視頻處理器中,相關(guān)硬件與參數(shù)配置對(duì)輸出分辨率影響如表2所示。

表2 主要影響因素與輸出分辨率的關(guān)系

目前的主流LED 視頻處理器每臺(tái)能夠支持輸出的單像素為每通道最高8Bit位深,且最大帶載支持的分辨率能夠達(dá)到4K 甚至8K,幀率在支持最大60Hz輸入的基礎(chǔ)上通過(guò)處理器插幀算法實(shí)現(xiàn)120Hz乃至240 Hz的輸出。因此在進(jìn)行視頻處理器參數(shù)配置時(shí),一般按照可支持的最大參數(shù)進(jìn)行配置 (8Bit/4K/60 Hz)即可。應(yīng)確保視頻處理器的硬件性能能夠支持LED 背景墻的物理分辨率。這需要在購(gòu)置與安裝視頻處理器時(shí),確保輸出端口最大帶載(總和)≥幀率×LED 背景墻的物理分辨率,使得單幀輸出影像在不影響幀率同步的前提下實(shí)現(xiàn)輸出分辨率最大化。

4.3 LED背景墻顯示環(huán)節(jié)

在影像信號(hào)經(jīng)由LED 視頻處理器及數(shù)據(jù)分發(fā)單元對(duì)視頻信號(hào)進(jìn)行轉(zhuǎn)換與分發(fā)處理后,LED 背景墻最終支持將虛擬場(chǎng)景呈現(xiàn)出來(lái)以供拍攝現(xiàn)場(chǎng)作為虛擬背景進(jìn)行直接拍攝。整個(gè)過(guò)程中影像分辨率主要體現(xiàn)為L(zhǎng)ED 背景墻的“顯示分辨率”與“物理分辨率”,因此這一環(huán)節(jié)對(duì)影像分辨率的控制,主要通過(guò)研究這兩部分的影響因素得以實(shí)現(xiàn)。

第一,LED 背景墻的顯示分辨率由輸入影像,也即“處理器輸出分辨率”決定,顯示分辨率決定了LED 顯示影像的清晰程度,但其分辨率大小受制于LED 背景墻的物理分辨率,無(wú)法超過(guò)這一上限顯示更清晰的影像。

第二,LED 背景墻的物理分辨率決定了可以支持顯示的影像清晰度上限,但其本身主要與LED 顯示屏的點(diǎn)間距 (Pixel pitch)等指標(biāo)有著直接的關(guān)聯(lián)。點(diǎn)間距通常以毫米為單位,是指箱體內(nèi)被封裝的獨(dú)立LED 像素?zé)糁橹行狞c(diǎn)之間的最小距離[3]。當(dāng)前應(yīng)用于電影虛擬化制作的LED 背景墻普遍采用規(guī)則排布的小間距LED 燈珠,因此每個(gè)像素與相鄰像素橫向、縱向的像素間距都是相等且固定的數(shù)值,即點(diǎn)間距,如圖9所示。

圖9 燈珠像素排布方式與點(diǎn)間距的關(guān)系

一般來(lái)說(shuō),點(diǎn)間距越小像素密度就越高,在相同面積的LED 屏幕中便可以支持更高的顯示分辨率,LED 屏幕顯示的影像便更清晰。目前,市場(chǎng)上常見(jiàn)的小間距LED 屏幕主要指P4以下的產(chǎn)品,包括P4、P3.5、P3、P2.5、P2、P1.6等,例如雷迪奧BP系列LED 顯示屏包括BP2與BP3兩種型號(hào),其點(diǎn)間距分別為2.84mm 和3.91mm③。具體而言,LED 背景墻的物理分辨率與像素密度可以直接通過(guò)點(diǎn)間距計(jì)算獲得,如式(1)所示。

其中,MP 表示LED 背景墻物理分辨率,Dh表示橫向屏體數(shù),Dv表示縱向屏體數(shù),d表示屏體寬度(米),m 表示像素密度 (像素?cái)?shù)量/平方米),p表示點(diǎn)間距(米)。

當(dāng)面積相同時(shí),點(diǎn)間距越小的LED 背景墻像素密度越高,物理分辨率也越大,攝影機(jī)拍攝的虛擬背景也可以越清晰。具體到內(nèi)視錐與外視錐,外視錐的物理分辨率等于LED 背景墻的物理分辨率；內(nèi)視錐面積雖然可調(diào)節(jié),但其物理分辨率往往要小于外視錐的物理分辨率,但二者的像素密度相同,且與點(diǎn)間距的關(guān)系都遵循上述公式。因此總體來(lái)說(shuō),在條件允許的范圍內(nèi),購(gòu)置點(diǎn)間距相對(duì)小的LED 顯示屏,將更有利于在拍攝中獲得清晰的背景。

4.4 攝影機(jī)拍攝環(huán)節(jié)

LED背景墻所顯示的是離散像素組成的數(shù)字化影像,在攝影機(jī)拍攝環(huán)節(jié),離散的像素經(jīng)由攝影機(jī)鏡頭,在CMOS靶面上成像的情況將受到各種復(fù)雜因素的綜合影響,特別是攝影機(jī)分辨率、攝影機(jī)拍攝距離與焦距、CMOS靶面大小與靶面像素間距等因素。

4.4.1 攝影機(jī)分辨率的影響

首先,攝影機(jī)自身的分辨率會(huì)影響拍攝獲得的影像質(zhì)量。前文已提到,攝影機(jī)分辨率包含鏡頭解像力、攝影機(jī)的設(shè)置分辨率與CMOS靶面的物理分辨率三個(gè)概念。

其中,鏡頭解像力是由光學(xué)鏡頭的物理特性決定的,通常以每毫米可解析的線對(duì)數(shù)表示 (lp/mm),鏡頭中心解像力最高,邊緣解像力最低。因此在選用攝影機(jī)鏡頭時(shí)需要保證圖像的邊緣清晰度,應(yīng)至少使得鏡頭邊緣解像力≥1/ (CMOS像素點(diǎn)尺寸×2)。

此外,攝影機(jī)的設(shè)置分辨率是攝影機(jī)在拍攝中設(shè)置的參數(shù),可進(jìn)行自主化調(diào)節(jié),而CMOS靶面的物理分辨率是其調(diào)節(jié)上限。雖然目前有些設(shè)備可通過(guò)插值等上變換算法提升設(shè)置分辨率使之大于物理分辨率,但受制于物理分辨率,后期算法并不能夠增加真實(shí)的影像細(xì)節(jié)。

三個(gè)分辨率共同決定了拍攝獲得影像所輸出的分辨率。但影像背景是否清晰還受到LED 背景墻以及其他拍攝條件的影響。

4.4.2 攝影機(jī)拍攝距離與焦距的影響

現(xiàn)場(chǎng)拍攝時(shí),LED 背景墻布置在演員的表演區(qū)域外圍,需要與攝影機(jī)間隔較遠(yuǎn)的距離。此時(shí)LED背景墻的影像經(jīng)由攝影機(jī)鏡頭成像在攝影機(jī)CMOS的靶面上,對(duì)于背景墻的單個(gè)物理像素在攝影機(jī)CMOS靶面的成像面積而言,往往要比背景墻物理像素面積小得多,如式(2)所示。

其中,M 表示放大率,U 表示物距,V 表示像距,f表示焦距。

放大率M 表示LED 背景墻的單個(gè)物理像素在攝影機(jī)CMOS靶面的成像直徑(或?qū)挾?與原始像素直徑(或?qū)挾?的比值。對(duì)于同一LED 背景墻,當(dāng)攝影機(jī)鏡頭焦距不變時(shí),拍攝距離越遠(yuǎn),M 值越小；而當(dāng)拍攝距離相同時(shí),焦距越短,M 值越小。一般來(lái)說(shuō),攝影機(jī)鏡頭常用焦段一般在24mm 至200mm 之間,拍攝距離則往往以米計(jì)算。因此拍攝距離往往對(duì)于M 值有著決定性的影響,當(dāng)拍攝距離越遠(yuǎn),LED 背景墻的單個(gè)物理像素在攝影機(jī)CMOS靶面的成像面積越小,拍攝所獲得的攝影機(jī)內(nèi)視效背景的原始分辨率越高,最終所成影像便越清晰。但同時(shí),拍攝距離大小受到攝影棚面積與LED 背景墻面積的制約。

根據(jù)拍攝經(jīng)驗(yàn)并結(jié)合公式 (1) (2)可得出,LED 背景墻的最佳拍攝距離 (單位米)約為屏幕點(diǎn)間距數(shù)值的2.5倍。例如,當(dāng)采用點(diǎn)間距為2.84mm的LED 屏幕模組拼接的背景墻時(shí),其最佳拍攝距離大約為2.84×2.5≈7米。據(jù)此可估算,目前市場(chǎng)上可應(yīng)用的小間距LED 顯示屏,攝影機(jī)最佳拍攝距離范圍大約在5～10米之間。

4.4.3 CMOS靶面與靶面像素間距的影響

由于輸入影像在LED 背景墻的顯示分辨率等于背景墻的物理分辨率時(shí),可使影像的清晰度達(dá)到最高,此時(shí)顯示分辨率的像素寬度便相當(dāng)于背景墻的點(diǎn)間距(此處考慮開(kāi)口率為100%的理想情況)。理論上,當(dāng)LED 背景墻的點(diǎn)間距越小,其單個(gè)像素在攝影機(jī)感光器件CMOS靶面上的成像面積也越小,這也意味著拍攝所獲得的攝影機(jī)內(nèi)視效背景的原始分辨率更高,因此最終所成影像也更清晰。但在實(shí)際拍攝中,并不是LED 背景墻點(diǎn)間距無(wú)限制地越小越好,攝影機(jī)成像一方面受CMOS靶面的物理分辨率以及靶面像素間距的制約,另一方面也受成像的最小彌散圈影響。

當(dāng)LED 背景墻處于焦平面時(shí),其在攝影機(jī)CMOS靶面上所成影像是最清晰的,理論上需要保證LED 背景墻的單個(gè)燈珠像素在攝影機(jī)CMOS靶面上成像范圍大于等于靶面的1 個(gè)物理像素單元。然而,由于透鏡成像時(shí)存在最小彌散圈的概念,即當(dāng)LED 背景墻單個(gè)像素?zé)糁樵跀z影機(jī)CMOS靶面的成像面積小于最小彌散圈時(shí),便無(wú)法再得到人眼可分辨的更清晰的影像。因此還需要結(jié)合攝影機(jī)拍攝距離、CMOS靶面像素間距以及由放映要求推斷獲得的最小彌散圈直徑等相互關(guān)系,推斷出LED 背景墻可用的最小點(diǎn)間距,如式(3)所示。

其中,P表示LED 背景墻點(diǎn)間距,d表示攝影機(jī)成像的最小彌散圈直徑,M 表示放大率,U 表示物距,f表示焦距。

因此結(jié)合攝影機(jī)性能以及拍攝要求,當(dāng)LED 背景墻的點(diǎn)間距縮小到一定程度以后便不需要再縮小了。例如,0.03mm 是目前全畫(huà)幅攝影機(jī)較通用的最小彌散圈直徑要求,在拍攝距離是5～10 米的LED 虛擬攝影棚內(nèi),結(jié)合24mm 至200mm 的常用鏡頭焦段,可計(jì)算對(duì)于LED 背景墻的的點(diǎn)間距最小值,如表3所示。

表3 常用鏡頭焦段的LED 屏幕最小點(diǎn)間距

而由于LED 虛擬攝影棚內(nèi)往往以75mm 以內(nèi)的焦段進(jìn)行拍攝,且LED 背景墻往往處于焦外,因此結(jié)合上表,LED 屏幕點(diǎn)間距大約保持在2～4mm即可滿足絕大部分拍攝需求。

在實(shí)際拍攝中創(chuàng)作者也可以根據(jù)成片所需的分辨率大小、最小彌散圈直徑、拍攝距離范圍以及所用的鏡頭焦段,來(lái)估算需要選用LED 背景墻的點(diǎn)間距等技術(shù)規(guī)格,或根據(jù)已有背景墻規(guī)格反推需要租借攝影機(jī)的技術(shù)規(guī)格。

對(duì)于4K 分辨率的拍攝要求,目前LED 顯示屏及相關(guān)技術(shù)已可以支持,當(dāng)使用40mm 以下廣角鏡頭拍攝時(shí),為保證攝影機(jī)在拍攝LED 背景墻時(shí)同樣能獲得4K 級(jí)別的虛擬背景,可選用2mm 左右點(diǎn)間距的LED 顯示屏,一般需要至少搭建高4～5米以上,寬8～10米以上的LED 背景墻,且攝影機(jī)拍攝距離一般可保持在5～10米左右,焦距越短,拍攝距離越短；而當(dāng)LED 背景墻的點(diǎn)間距更大時(shí),搭建面積也需要更大,且攝影機(jī)需要保持更遠(yuǎn)的拍攝距離。當(dāng)使用標(biāo)準(zhǔn)鏡頭或長(zhǎng)焦進(jìn)行拍攝時(shí),焦距越長(zhǎng),LED 背景墻則越需要置于景深之外,且與焦平面保持較遠(yuǎn)的距離,從而使背景呈現(xiàn)出虛化的效果。

5 分辨率與摩爾紋現(xiàn)象

隨著基于LED 背景墻的電影虛擬化制作日益廣泛地應(yīng)用到創(chuàng)作實(shí)踐中,使用數(shù)字化的離散采樣方式采集離散的數(shù)字化信號(hào)也將越來(lái)越普及。與電視直播領(lǐng)域不同的是,電影制作一方面要求更高技術(shù)規(guī)格的影像質(zhì)量,另一方面在制作流程中攝影機(jī)本身的運(yùn)動(dòng)、參數(shù)調(diào)整都要遠(yuǎn)遠(yuǎn)復(fù)雜于電視直播。這也對(duì)電影制作領(lǐng)域產(chǎn)生了新的要求:一方面采集設(shè)備與被采集設(shè)備需要追求更高的物理分辨率以提升現(xiàn)場(chǎng)拍攝成像的清晰度；另一方面這也意味著采集與被采集物理設(shè)備的分辨率差距會(huì)越來(lái)越小,而當(dāng)二者物理分辨率相近時(shí),還可能會(huì)出現(xiàn)另外一個(gè)成像質(zhì)量問(wèn)題——摩爾紋現(xiàn)象(Moiré Pattern)。

摩爾紋是數(shù)字時(shí)代離散化采樣方式造成的一種采樣混疊的失真現(xiàn)象,其本質(zhì)上是一種噪聲,也是拍攝LED 背景墻成像時(shí)經(jīng)常出現(xiàn)的問(wèn)題,主要表現(xiàn)為拍攝影像中出現(xiàn)類似水波狀或螺旋狀的條紋、斜條紋或橫條紋等并伴隨著不斷閃爍的現(xiàn)象,如圖10所示。

圖10 拍攝LED顯示屏形成的摩爾紋

目前學(xué)術(shù)界對(duì)摩爾紋產(chǎn)生的原因主要從波的干涉(Wave Interference)這一物理學(xué)理論層面予以解釋,即當(dāng)頻率相近的兩個(gè)光柵平面進(jìn)行疊加時(shí)(可數(shù)學(xué)表示為兩個(gè)正弦函數(shù)的乘積),便會(huì)產(chǎn)生摩爾紋[4],如圖11 所示。根據(jù)奈奎斯特采樣定理(Nyquist Sampling Theorem),當(dāng)采樣頻率至少為被采樣信號(hào)最高頻率的2倍時(shí)才能不失真。

圖11 摩爾紋產(chǎn)生的基本原理示意

然而,在基于LED 背景墻的電影虛擬化制作實(shí)踐中,引起摩爾紋現(xiàn)象的原因更為復(fù)雜,這一方面是因?yàn)槟慰固夭蓸佣ɡ碇饕芯康氖遣蓸舆B續(xù)模擬信號(hào),而拍攝LED 背景墻則是用離散的采樣方式采集離散的數(shù)字信號(hào)。另一方面,當(dāng)使用數(shù)字?jǐn)z影機(jī)拍攝LED 背景墻時(shí),采樣頻率與被采樣頻率除了與兩方設(shè)備的物理分辨率有關(guān),還受眾多因素影響。具體而言,在被采樣端,LED 背景墻的物理分辨率、燈珠像素的排布規(guī)則、屏幕點(diǎn)間距、屏幕開(kāi)口率、屏幕刷新率,甚至是顯示的影像本身是否存在較密集的紋理等,都會(huì)對(duì)摩爾紋的出現(xiàn)產(chǎn)生影響；而在數(shù)字?jǐn)z影機(jī)等采樣設(shè)備層面,攝影機(jī)的位置與旋轉(zhuǎn)、攝影機(jī)焦距與光圈、幀率、快門(mén)等也會(huì)不同程度地影響拍攝成像是否會(huì)產(chǎn)生摩爾紋及其程度。

對(duì)創(chuàng)作者來(lái)說(shuō),一方面要了解摩爾紋產(chǎn)生的原因及其影響因素,另一方面,摩爾紋很難從后期制作中完全消除,有時(shí)即便通過(guò)算法進(jìn)行消除也是以犧牲清晰度與影像細(xì)節(jié)為代價(jià),因此在拍攝環(huán)節(jié)就應(yīng)最大程度地避免或最小化摩爾紋的出現(xiàn)。結(jié)合目前的研究與實(shí)踐經(jīng)驗(yàn),主要可以嘗試從以下幾個(gè)方面著手:

第一,在影視制作的前期籌備中,就應(yīng)對(duì)拍攝現(xiàn)場(chǎng)的情況做好充分調(diào)研,包括LED 屏幕如何選取以及相應(yīng)的搭建方案,攝影設(shè)備的選取以及拍攝規(guī)格的制定,并根據(jù)這些前期條件測(cè)試演員可以表演的區(qū)域,攝影機(jī)與演員離LED 背景墻越遠(yuǎn)時(shí),拍攝效果越好。

第二,在拍攝中,使用大光孔和淺景深,避免將攝影機(jī)焦點(diǎn)完全對(duì)在LED 顯示屏上,當(dāng)背景畫(huà)面產(chǎn)生了一定的虛焦模糊效果時(shí),可以有效地緩解摩爾紋現(xiàn)象。

第三,由于攝影機(jī)在運(yùn)動(dòng)過(guò)程中,無(wú)論是橫搖(Pan)、俯仰 (Tilt)還是橫滾 (Roll),只要攝影機(jī)靶面與被攝的LED 背景墻平面形成了夾角,夾角越大,出現(xiàn)摩爾紋的幾率就越大,理論上環(huán)形屏或曲面屏的布置將是更加理想的,在實(shí)際拍攝中,應(yīng)盡可能避免攝影機(jī)在運(yùn)動(dòng)時(shí)與被攝的LED 背景墻形成大的夾角。

第四,隨著LED 顯示技術(shù)的發(fā)展,從顯示層面也出現(xiàn)了針對(duì)摩爾紋優(yōu)化的光源設(shè)計(jì)以及小間距的LED 面板,在成本允許的范圍內(nèi)選擇較小間距、刷新率更高、動(dòng)態(tài)范圍更大的LED 顯示屏,將有效地減緩拍攝環(huán)節(jié)出現(xiàn)的摩爾紋問(wèn)題。

6 總結(jié)分析與展望

基于LED 背景墻的電影虛擬化制作技術(shù)如今已在電影、電視與網(wǎng)絡(luò)、廣告等諸多領(lǐng)域展現(xiàn)出革命性的創(chuàng)新能力,同時(shí)其通過(guò)數(shù)字化的方式采集數(shù)字化內(nèi)容,對(duì)于制作高質(zhì)量影像帶來(lái)了諸多新的挑戰(zhàn)。因此,如何在復(fù)雜的制作流程中了解并精準(zhǔn)地把控各因素對(duì)影像質(zhì)量的影響,還需要軟硬件設(shè)備生產(chǎn)商、影像技術(shù)團(tuán)隊(duì)與創(chuàng)作者的共同努力。

目前該技術(shù)已支持產(chǎn)出4K 級(jí)別的高分辨率影像,相信隨著實(shí)時(shí)渲染、視頻信號(hào)處理、小間距乃至微間距LED 顯示等相關(guān)技術(shù)的不斷發(fā)展與突破,在LED 背景墻拍攝中所遇到的諸多成像質(zhì)量問(wèn)題,諸如拍攝成像的分辨率問(wèn)題、摩爾紋現(xiàn)象等都將得到進(jìn)一步優(yōu)化與解決,從而為更高技術(shù)規(guī)格的影像、更加豐富多彩的影視故事與內(nèi)容提供極具創(chuàng)新性和優(yōu)質(zhì)的制作手段。

注釋

①圖片來(lái)源:https://www.bromptontech.com/product/sx40/。

②圖片來(lái)源:https://www.novastar-led.cn/index/products/index.html?id=9。

③信息來(lái)源:https://www.roevisual.com/zh-cn/products/black-pearl。