LED 電影虛擬攝制系統核心技術指標分析研究

劉知一

中國電影科學技術研究所（中央宣傳部電影技術質量檢測所），北京 100086

1 前言

LED 電影虛擬攝制技術起源于實時預演的需求，相比于傳統基于藍幕或綠幕的實時預演，LED 電影虛擬攝制系統通過LED 顯示系統、高性能計算機圖形渲染系統、攝影機跟蹤系統、同步系統等技術手段協作，達到了真正意義上的“所見即所得”拍攝，規避了大面積藍幕或綠幕造成的溢色問題，可以為實景提供高還原度的動態環境光照，為反射或透射物體提供正確的反射或透射影像，并能通過虛擬數字場景的快速切換，為電影主創人員帶來逼真的沉浸式拍攝體驗，極大地優化了影片攝制流程，提高了拍攝制作效率，已經成為電影虛擬化攝制的熱點及發展方向。

LED 電影虛擬攝制與傳統電影攝制相比，融合了大量的現代信息技術手段，在近年的實際建設和應用過程中，由于缺乏對LED 虛擬攝制整體系統架構和整體流程的深入理解，缺少LED 電影虛擬攝制系統中主要設備技術指標的研究，既導致LED電影虛擬攝制影棚的建設質量無法評估，也間接遲滯了我國LED 電影虛擬攝制影棚的建設進度。統籌考慮電影級別虛擬攝制需求和當前市場上相關產品的實際情況，明確主要設備及其技術指標建議，已成為推動我國LED 電影虛擬攝制影棚建設刻不容緩的環節。

2 LED 電影虛擬攝制系統組成

LED 電影虛擬攝制系統根據功能一般可以劃分為9 個子系統，分別是：沉浸式LED 顯示系統、渲染引擎系統、攝影機跟蹤系統、同步系統、基礎網絡系統、燈光照明系統、視頻數據處理系統、攝影系統、移動終端控制系統，如圖1所示。

圖1 LED 電影虛擬攝制系統組成

（1）沉浸式LED 顯示系統：該系統作為顯示背景墻，負責準確還原高畫面質量的三維數字場景，顯示盡可能逼真的電影級畫面質量，并為攝影機拍攝在可用角度、抑制頻閃和摩爾紋、可用光圈等方面提供盡可能高的寬容度，這取決于屏幕本身的像素間距、亮度、刷新率等基礎因素，當然這些與顯示系統的成本緊密相關。

（2）渲染引擎系統：LED 虛擬攝制技術建立在計算機圖形實時渲染的基礎上，它要求虛擬場景能隨著真實攝影機的運動、用戶的交互控制等實時變化。渲染引擎系統負責按照真實攝影機的跟蹤數據，動態合成全部背景和內視錐畫面，將合成的畫面實時渲染到LED 顯示系統上，從而實現這種實時變化，產生真實感強且具備交互性的背景畫面。

（3）攝影機跟蹤系統：該系統負責對拍攝現場物理攝影機的運動情況進行跟蹤，對攝影機跟蹤數據進行處理，解算得到物理攝影機位置與姿態運動等信息，并將這些數據通過數據接口導入到渲染引擎，渲染引擎根據提前標定的攝影機靶面、焦距等內參，結合攝影機跟蹤系統傳遞的實時數據，驅動虛擬場景內的虛擬攝影機運動，實現虛擬場景與物理攝影機的同步切換與改變。

（4）同步系統：該系統通過同步鎖相和幀鎖定技術使攝影機跟蹤系統、物理攝影機、LED 信號處理器、渲染系統等系統或設備都連接到一臺主時鐘，確保上述設備在拍攝過程中始終能保持同步，從而避免渲染畫面、拍攝合成畫面等出現“撕裂”現象。

（5）基礎網絡系統：LED 虛擬攝制現場涉及大量數據傳輸和實時操作，包括渲染系統的控制數據、攝影機跟蹤和動作捕捉系統的動作捕捉數據、燈光照明系統的控制數據、現場監看數據等，基礎網絡系統負責為拍攝現場的數據交換提供基礎。

（6）燈光照明系統：LED 屏幕雖然可以實現一部分光照功能，但一般用于顯示的LED 燈珠光譜較窄導致其顯色性受限，因此使用顯色性更高的LED 燈光陣列或其他影視燈光設備作為主要光源，是LED虛擬攝制流程中不可或缺的環節。

（7）視頻數據處理系統：數字時代電影制作更加強調前后期制作的融合，比如將調色等后期環節前置到拍攝階段。視頻數據處理系統主要融合數字影像工程師（Digital Image Technician，DIT）與初級剪輯調色的基本功能。

（8）攝影系統：攝影系統是電影拍攝所需要的最基本器材，包括主體攝影機、鏡頭、監視器、跟焦器等機身基礎附件以及軌道、移動車、搖臂等。

（9）移動終端控制系統：該系統主要為現場工作人員，例如攝影指導、導演等提供基礎的數字場景控制功能，可以簡易調整數字場景中的數字道具和虛擬光照等，從而進一步提升拍攝時的協同工作效率。

3 LED 電影虛擬攝制通用流程分析

在建設和應用LED 電影虛擬攝制影棚時，通常包括系統搭建、前期開發、前期制作、現場拍攝、后期制作共5個部分。

與傳統攝制流程相比，一是在前期制作階段，為充分發揮LED 虛擬攝制技術預覽的效能，增加了大量的虛擬場景制作及系統調試工作，包括虛擬內容生產、虛擬場景調試、攝影機跟蹤系統調試、系統同步調試以及燈光匹配調試等，如圖2所示。

圖2 LED 電影虛擬攝制系統通用流程-前期制作

二是在前期開發階段之前，還需要在攝影棚內完成LED 虛擬攝制系統的搭建，包括沉浸式LED 顯示系統搭建、渲染引擎系統搭建、攝影機追蹤系統搭建、同步系統搭建、基礎網絡系統搭建以及燈光照明系統的部署，如圖3所示。

圖3 LED 電影虛擬攝制系統通用流程-系統搭建

從上述通用流程中可以看出，在建設和應用LED 電影虛擬攝制影棚時，無論是系統搭建階段還是前期制作階段，相比較傳統攝制流程，沉浸式LED顯示系統、渲染引擎系統、攝影機跟蹤系統、同步系統、基礎網絡系統更為關鍵。這五個核心子系統相關設備的基礎指標，將決定LED 電影虛擬攝制影棚的先進性和可用性。

4 LED 電影虛擬攝制系統核心子系統技術指標分析

4.1 沉浸式LED 顯示系統

沉浸式LED 顯示系統包括LED 顯示屏和LED 處理器，是LED 電影虛擬攝制系統中對拍攝效果影響最直接也是最昂貴的部分。該系統影響因素較多，主要包括：

（1）像素間距

像素（Pixel）是LED 顯示屏上的最小可控成像單位，LED 顯示屏上的每個像素由封裝在燈座上的發光二極管構成，像素間距是指LED 顯示屏發光單元間的物理距離。像素間距越小，圖像的顯示效果會更加細膩，虛擬攝制時物理攝影機離沉浸式LED 顯示屏的距離也就可以越近，出現摩爾紋的概率越低，虛擬攝制的質量和靈活性也就越好。但隨著像素間距的減小，同等面積LED 面板所需的燈珠及控制芯片將增加，控制芯片的增多將顯著提高電路板設計和加工的難度，成本也將大幅增加。

因此，在選擇像素間距時，還應根據實際場地大小，綜合建設成本進行選擇。場地越小，LED 顯示屏總面積越小，則越應該選擇小間距的LED 顯示屏；場地較大，則可以選擇點間距相對較大的LED 顯示屏。

考慮目前市場上用于LED 虛擬攝制的主流LED顯示屏像素間距及發展趨勢，建議用于虛擬攝制的LED 顯示屏點間距不大于2.84mm，在其他參數均等的條件下，盡量選擇小間距。

（2）燈珠質量差異

每個發光顯示單元的燈珠質量會影響到單個像素的最終顯示效果，此外多個燈珠組合起來后，如果燈珠之間質量差異較大，也將造成LED 顯示屏的整體亮度均勻度、色彩飽和度等方面的巨大差異，進而影響虛擬攝制的畫面質量。對該指標的衡量，可以通過LED 顯示屏的亮度/色度可視角度，以及亮度/色度均勻度來進行。

其中，亮度/色度可視角度是水平方向觀察中心點的亮度下降到LED 顯示屏法線方向亮度的一半時，該方向與法線夾角的2 倍稱為LED 顯示屏的視角。該指標將影響畫面顏色的一致性和顏色準確度，為了滿足攝影機傾斜角度的拍攝需求，可視角度應盡量大，一般要求不低于140°，才能為拍攝現場提供較為靈活的拍攝角度。

亮度/色度均勻度則是LED 顯示屏的兩個相鄰箱體的亮度偏差/色度偏差。亮度/色度均勻度出現較大偏差，不僅會導致同一畫面不同位置的亮度和顏色不相同，甚至會造成背景畫面穿幫。通過對市場上主流產品的測試，建議選擇亮度均勻度不大于5%、色度均勻度不大于0.006的產品。

（3）亮度

顯示亮度是沉浸式LED 顯示屏在顯示方面最直觀，也是對電影虛擬攝制影響最大的一個技術指標，顯示亮度將決定虛擬攝制中物理攝影機光圈的選擇與設定。當顯示亮度足夠高時，物理攝影機就可以使用更大的光圈范圍，目前建議選擇亮度不低于1000cd/m2的產品。

不過由于LED 顯示屏當前主流采用多路復用控制方式，如果LED 顯示屏過亮，也會使一些本該關斷或低亮的像素點亮或過亮，從而在暗部圖像產生偽影，這也是在選擇LED 顯示屏時需要仔細觀察的因素。

（4）色域

色域是指LED 顯示系統可以顯示的顏色范圍，色域覆蓋率大小由LED 視頻處理器的設置和性能、LED 顯示屏三基色燈珠的光譜特性及發光亮度等因素共同決定。針對不同行業的應用，規定了不同的色彩空間標準和色域，如數字電視領域采用的REC.709，數字電影領域采用的DCI-P3，以及色域更大的BT.2020。沉浸式LED 顯示屏所能支持的色彩空間標準和色域，是沉浸式LED 顯示系統評估的重要指標。

通過對市面上主流產品的實際測試，建議選擇DCI-P3 色域覆蓋率不低于90%，且BT.2020 色域覆蓋率不低于80%的產品。

（5）傳遞函數

人類的視覺對亮度感知能力并不是呈線性關系的，所有顯示終端都需要設置一個合理的傳遞函數來進行映射，糾正亮度感知變化與實際亮度值變化不統一的問題，常用的傳遞函數值包括2.2、2.4、2.6等。

如果實際顯示數值與設定數值偏差較大，則整體圖像將出現偏亮導致層次感較差，或偏暗導致灰階無法分辨的缺陷，嚴重影響整體圖像的質量。

綜合考慮主流LED 虛擬攝制顯示屏的實測結果，以及電影行業關于顯示端的相關要求，建議選擇與設定值差異能控制在±0.10之內的LED 顯示屏。

（6）位深

圖像位深是圖像能夠承載更多信息的基本保障和核心參數。位深越大，圖像所能承載的信息量就越大；當位深太低時，可能會導致出現明顯色帶，顏色顯示不均勻。相應地，顯示端也需要較大的位深處理和顯示能力，才能夠對應高位深的輸入圖像信號，將其完整顯示出來。

例如，如果一個10bit 深度的圖像輸入至沉浸式LED 顯示屏，10bit 深度圖像理論上可以記錄10.7 億種色彩，而沉浸式LED 顯示屏的深度只有8bit，即只能顯示1677 萬種色彩，無法將10bit 深度輸入圖像源的色彩信息全部顯示出來，必然丟失很多色彩信息。

通過對市場上主流產品的測試，為實現更佳的攝影機內視錐拍攝效果，建議選擇圖像位深不低于12bit的產品用于虛擬攝制。

（7）掃描模式

LED 掃描模式是指采用多路復用控制方式的LED 顯示屏，在一定的顯示區域內，同時點亮的行數與整個區域行數的比例。LED 顯示屏使用的驅動器IC 越多，一次點亮的燈珠越多，掃描數的分母數字就越小，LED 顯示屏幕就可以更快地完成一次完整圖像的刷新，對攝影機圖像傳感器更為友好，從而產生更平滑的圖像而減少偽影。

目前，市場上主流產品大多已不低于1/16 掃，建議選擇不低于1/16 掃的顯示屏，推薦優先使用1/8 掃及更高的產品。

（8）刷新率

刷新率是每秒在LED 顯示屏上重復出現完整畫面的次數，一般來說如能達到80Hz 以上的刷新率，基本就可消除人眼的圖像閃爍和抖動感，眼睛不會太容易疲勞，而在用于虛擬攝制時，則不能僅僅局限于滿足消除人眼的圖像閃爍和抖動感。

一方面，攝影機圖像傳感器與人眼相比，對較低的刷新率更為敏感，刷新率越高，攝影機拍攝下的LED 顯示屏顯示效果就越好；另一方面，由于LED 顯示屏的顯示特性，當畫面需顯示低灰度值時，脈沖調制信號將通過占空比增加，即增加低電平信號所占比例，實現LED 顯示屏低灰度值的顯示。刷新率不變的情況下，當占空比較高時，攝影機畫面出現頻閃效應的概率越大，嚴重影響實際拍攝。

基于目前市場上主流產品的性能，建議選擇刷新率不低于3840Hz 的顯示屏，推薦優先選擇刷新率達到7680Hz的顯示屏。

（9）反射率

反射率衡量LED 顯示屏的顯示面板和LED 燈珠對外界干擾光的反射程度，虛擬攝制現場中各類設備設施、道具、演員的反射光、照明燈等，疊加照射在反射率較差的LED顯示屏上時，會導致畫面對比度和層次感降低，畫面顯示的暗部細節丟失。因此，用于虛擬攝制的LED顯示屏，應對顯示面板和燈珠進行特殊工藝處理，降低LED 顯示屏的反射率，減輕拍攝現場的外界光線對圖像層次感和暗部細節的影響。

LED 顯示屏的反射包括鏡面反射和漫反射，通過對市場上主流產品鏡面反射率和漫反射率的實際測試，建議選擇鏡面反射率不高于0.25%，漫反射率不高于5.30%的產品。

（10）LED 信號處理器性能與功能

LED 信號處理器和接收卡組成一整套鏈路，實現對LED 顯示屏體的全面控制。電影級別虛擬攝制都會用到實拍高質量畫面素材和三維虛擬場景實時渲染畫面。沉浸式LED 顯示屏輸入信號的數據量大、位深高，這就對LED 信號處理器提出了非常高的技術性能要求。

LED 處理器的技術指標，包括性能和功能兩方面，詳見圖4。其中，性能主要是處理器對高分辨率圖像信號的支持、高帶載像素的支持、高位深圖像的支持以及信號處理的延遲。功能則主要是為拍攝現場調度提供靈活性和可靠性，包括亮度校正、色彩校正、HDR 支持以及處理器自身備份的支持。

圖4 LED 處理器技術指標分析

綜上所述，沉浸式LED 顯示系統的技術指標建議如表1所示。

表1 沉浸式LED 顯示系統技術指標建議

4.2 渲染引擎節點

實時渲染是LED 電影虛擬攝制能夠順利進行的關鍵步驟，它一方面負責構建虛擬場景、管理虛擬場景內資產，另一方面作為整套系統信息交互的中心，既要接收攝影機跟蹤系統的空間位置信息，又要驅動高性能引擎節點完成場景實時渲染。

LED 電影虛擬攝制系統通常包含較大規模的LED 顯示屏，單一渲染節點不足以驅動所有LED 顯示屏，為此渲染系統必須具備多機同步渲染功能。

多機同步渲染技術的實現主要是通過為每臺渲染計算機配置完全一樣的渲染引擎軟件與場景資產，并連接于同一局域網之中。基于網絡協議發送啟用同步渲染指令，實時傳遞外部輸入數據如攝影機位置姿態、交互控制數據、同步信號等信息，來執行對應的渲染任務。

渲染引擎節點關鍵技術指標主要體現在：

（1）具備足夠的計算能力，可以實現高分辨率、高精度三維數字資產的實時渲染。

（2）具備較高的網絡吞吐能力，以支持高精度數字資產的多機同步渲染。

（3）具備較快的I/O 能力，以滿足本機穩定運行渲染引擎軟件與場景資產實例的要求。

基于作者所在單位在無錫國家數字電影產業園LED 虛擬攝制影棚建設的實踐經驗，渲染引擎節點的技術指標建議如表2所示。

表2 渲染引擎節點技術指標建議

4.3 攝影機跟蹤系統

為了準確實時渲染攝影機的內視錐視圖，LED電影虛擬攝制過程中，需要通過攝影機跟蹤設備，跟蹤真實世界中攝影機的運動，并通過變換矩陣，解算得到真實世界中物理攝影機位置與姿態，最終驅動三維場景中虛擬攝影機的同步運動。

攝影機跟蹤是指對真實空間中攝影機的位置和姿態進行追蹤的過程，包含空間位置信息X、Y、Z 和姿態信息橫搖（Pan）、俯仰（Tilt）、橫滾（Roll）六個自由度，一般簡寫為6DOF(Degree of Freedom，DOF)。在電影虛擬攝制過程中，這6個自由度的信息被實時傳送至渲染引擎，為引擎中的虛擬攝影機，提供真實攝影機在三維空間中的位置和姿態信息，以及鏡頭參數信息，包括焦距、焦點和光圈等，依靠實時渲染技術，實現虛擬攝影機與真實攝影機的運動及構圖的同步。

從實現原理上，攝影機跟蹤技術可分為由內向外跟蹤和由外向內跟蹤。

（1）采用信標的方法都屬于由外向內跟蹤技術，通常采用光學跟蹤方式，使用攝像頭或其他傳感器放置在一個固定的位置，面向被追蹤的物體。典型的由外向內跟蹤設備有Vicon、OptiTrack、HTC VIVE 等。

（2）由內向外跟蹤不需要外部傳感器或信標，被追蹤對象需要搭載不同的傳感器，利用算法來獲取對象的精確位置。通常在由內向外的位置跟蹤中，典型方法是將傳感器綁在被跟蹤的設備上，例如攝影機，從而實現追蹤。典型的由內向外跟蹤設備有Ncam、Mo-Sys、RedSpy等。

在攝影機跟蹤技術中，跟蹤系統的精確度是該系統最為重要的特性之一，系統精確度越高，由跟蹤數據求得的攝影機運動，越能夠真實地還原攝影機在現實世界中的運動。跟蹤系統的魯棒性則是指系統在標記點或跟蹤傳感器被遮擋情況下，跟蹤系統能維持正常工作的特性。

參考《基于LED 背景墻的電影虛擬化制作中攝影機跟蹤技術研究》[2]中相關實測數據、《XR 虛實融合制作系統技術要求與測試方法》[3]團體標準的相關技術要求，以及作者近期LED 虛擬攝制的實踐經驗，攝影機跟蹤系統的技術指標建議如表3所示。

表3 攝影機跟蹤系統技術指標建議

4.4 同步系統

LED 電影虛擬攝制系統中，同步包含了三個方面的含義：

（1）LED 顯示屏的同步：LED 顯示屏可能根據拍攝需要組裝成任意形狀，圖像數據通過網線傳輸，不同箱體間的接縫可以精準對齊，因此不存在邊緣圖像重疊和混合的問題，不同箱體間的顯示同步成為影響畫面的主要因素。

（2）多機渲染的同步：在多機渲染系統中，所有渲染主機節點都必須嚴格遵循精確到毫秒的計時規定，以使得畫面在視覺上無縫同步。不僅要讓所有渲染節點都通過相同的模擬計時信息同時生成內容，而且還要讓顯卡緩沖區中當前圖像和下一幀圖像的畫面交換操作在正確的時間發生，以防止實時渲染畫面出現“撕裂”。

（3）整體系統的同步：在虛擬攝制現場，務必保證所有核心設備之間的高精度同步。每臺設備如攝像機、渲染計算機和LED 信號處理器都帶有一個內部時鐘，即便兩臺設備完全一致，其內部時鐘仍可能互不同步。如果未能統一，將導致顯示方面的問題，如畫面撕裂等。

LED 電影虛擬攝制系統一般推薦采用同步鎖相（Genlock）加上幀鎖定技術，使攝影機、LED 信號處理器、渲染系統等設備都連接到一臺主時鐘，確保所有接收或記錄數據的設備在拍攝過程中保持同步。

從系統整體角度出發，應要求關鍵設備具備支持同步鎖相的能力，故同步系統技術指標建議如表4所示。

表4 同步系統技術指標建議

4.5 基礎網絡系統

LED 電影虛擬攝制影棚的基礎網絡，從目前需求層面上，一般不涉及三層路由、訪問控制列表（Access Control Lists，ACL）等復雜配置，部署階段主要是硬件和連線層面的搭建，包括：匯聚交換機、接入交換機、無線接入點（Access Points，AP）的硬件部署；各類設備與接入交換機間的線纜連接及丟包測試，包括網線、光纖線等；POE 設備的連線及測試；無線網絡的配置及測試；各類設備IP 地址段的劃分、配置與測試等。

但另一方面，由于虛擬攝制過程中需要對大量的高分辨率、高精度三維數字資產進行實時多機渲染，因此需要棚內基礎網絡提供高速穩定的數據吞吐，以解決虛擬攝制的高帶寬需求，并可在此高速內部網絡上，通過有線和無線相結合的方式，承載影棚內部的視頻數據處理、多部門實時監看等需求。同時，還需滿足拍攝現場部分POE 設備（例如追蹤攝像頭）的支持。

為此，對虛擬攝制影棚的基礎網絡系統，主要考慮網絡設備的端口數量和速率等，其技術指標建議如表5所示。

表5 基礎網絡系統技術指標建議

5 結束語

全球LED電影虛擬攝制影棚建設方興未艾，國內電影級別的LED虛擬攝制影棚尚處在孵化期，關于對LED電影虛擬攝制系統整體架構的理解，相關設備的技術規范，應用虛擬攝制影棚開展電影拍攝的通用流程指南以及相關人才隊伍建設，目前國內和國外尚有較大差距。本文以LED電影虛擬攝制系統組成、LED虛擬攝制通用流程為出發點，對LED電影虛擬攝制系統中沉浸式LED 顯示系統、渲染引擎節點、攝影機跟蹤系統、同步系統、基礎網絡系統主要設備的技術指標進行了研究分析，并根據當前LED虛擬攝制的實踐經驗提出了具體建議，可為LED電影虛擬攝制影棚方案設計和系統建設提供有益參考。