LED 虛擬攝影棚關鍵技術解析

王 勇 趙麗紅 胡緒楨 楊四化

深圳市奧拓電子股份有限公司，廣東 深圳 518052

1 前言

基于LED 背景墻的LED 虛擬攝制技術已成為影視制作領域的熱點。XR 技術與LED 顯示屏相結合，搭建了一座貫通虛擬與現實的橋梁，在影視虛擬攝制領域大放異彩。越來越多影視作品在虛擬攝影棚中完成，作為新興融合技術，LED 攝影棚虛擬攝制日益受到影視行業、動畫團隊、娛樂公司的重視，具有較高的成長性，在海外市場具有無限潛力。虛擬攝制領域相關技術成熟度都在不斷提高，LED 攝影棚可以模擬真實場景，實時展示場景高光及反射，已擴展應用于產品發布會、節目晚會、真人秀直播、汽車解說等場景。LED 虛擬攝影棚的最大優勢在于降本增效。傳統實景拍攝決制作周期長，且需要不斷換景改景，特效綠幕摳圖耗費了大量時間。相比傳統耗時耗力的電影拍攝流程，虛擬拍攝制作效率高，制作周期短，可更快實現影片上映，因而大幅度縮短投資回報周期，減少長期投入資金，同時可以節省演員的片酬以及工作人員的支出費用，降低拍攝成本。

2 LED 虛擬攝影棚類型

LED 攝影棚虛擬攝制是一種綜合的解決方案、工具和途徑。LED 虛擬攝制技術可定義為利用高顯示性能、像素間距小的LED 顯示屏作為背景墻，通過實時渲染引擎，采用多屏同步的實時渲染方法，利用攝影機內外參跟蹤同步系統，將高質量畫面的三維場景渲染到LED 顯示屏上，并通過實時渲染引擎調整，同步現場燈光、場景機械裝置等拍攝用具，由攝影機直接拍攝，將真實的演員表演、道具陳設與LED背景墻實時合成，從而實現“所見即所得”的新型電影攝制方法。在實際使用中，LED 虛擬攝制可以分為“VP 虛擬攝影棚”和“XR 虛擬攝影棚”兩種類型應用。

2.1 VP(Virtual Production)虛擬攝影棚

VP 虛擬攝影棚是一種新型的影視虛擬攝制方案，更多用于電影、電視劇的拍攝，可以取代綠幕，直接在攝影棚顯示實時背景和視覺特效(圖1)。

圖1 VP 虛擬攝影棚示意圖

VP 虛擬攝影棚拍攝的優勢可以體現在多個方面。

（1）攝影空間自由化?？稍跀z影棚內完成各種場景的拍攝，無論是森林、草原還是雪山，都可以使用渲染引擎實時創建，大幅度減少取景和拍攝成本。

（2）制片全流程簡單化。在拍攝過程中制作人可以在屏幕上及時查看拍攝畫面，場景內容和敘事空間皆可實時修改、調整，“所見即所得”，大幅度提高換景、改景的效率。

（3）表演空間沉浸化。在片場的演員站在實時生成場景的舞臺上，在沉浸式空間內進行表演，演員表演更真實、自然。同時，LED 顯示屏的光源配合現場打光，提供真實光影效果與細膩色彩表現，拍攝出的效果更加逼真、完美，極大提升影片整體質量。

（4）降本增效。相比傳統耗時耗力的電影拍攝流程，虛擬攝制因為效率高，制作周期大幅度縮短，可更快實現影片的上映，節省演員的片酬以及工作人員的支出費用，大幅度降低拍攝成本。

2.2 XR 虛擬攝影棚

XR 延展拍攝是指使用視覺交互技術通過制作服務器將真實與虛擬相結合，利用LED 顯示屏打造一個可人機交互的虛擬環境，為觀眾帶來虛擬世界與現實世界之間無縫轉換的“沉浸感”。XR 虛擬攝影棚可用于網絡直播、電視臺直播、虛擬音樂會、虛擬晚會和廣告拍攝等場景（圖2）。XR 虛擬攝影棚拍攝可以將虛擬內容擴展到LED 舞臺之外，使虛擬和現實實時疊加，增強對觀眾的視覺沖擊感，讓內容創作者在有限的空間創造出無限可能，盡情追求無盡的視覺體驗。

圖2 XR 虛擬攝影棚擴展前（左）后（右）對比

3 LED 虛擬攝影棚虛擬攝制工作流程

在LED 攝影棚虛擬攝制中，VP 虛擬攝影棚與XR 虛擬攝影棚的拍攝流程大致相同，分為開發階段、準備階段、制作階段、后期制作階段四個部分。

3.1 VP 虛擬攝影棚拍攝流程

VP 虛擬攝影棚攝制與傳統電影制作方法最大的不同在于流程上的變化，最顯著的特征是后期前置。VP 虛擬攝影棚攝制將傳統視效影片中的三維資產制作等環節移至影片實際拍攝之前，前期制作的虛擬內容可直接用于現場攝影機拍攝，而渲染、合成等后期環節移至拍攝現場。合成畫面的實時完成大大減少了后期制作的工作量，提高了制作效率。在視頻拍攝前期，視覺特效師需使用實時渲染引擎以及虛擬攝制系統創建3D 數字資產。接下來利用高顯示性能的無縫拼接LED 顯示屏作為背景墻（通常呈現為環幕或球幕）在工作室中搭建一個LED 舞臺，通過VP 虛擬服務器將前期制作的三維渲染場景載入到LED 顯示屏上，打造出高畫面質量的沉浸式虛擬場景。之后采用精確的攝影機追蹤系統，利用物體位置追蹤與定位技術對物體進行跟蹤拍攝，最終拍攝完成后，將拍攝到的素材通過特定協議（Free-D）傳回到VP 虛擬服務器進行查看剪輯。

3.2 XR 虛擬攝影棚拍攝流程

XR 延展拍攝的步驟與VP 虛擬攝影棚拍攝大致相同，但通常在VP 攝影棚拍攝中整個拍攝畫面都是在攝像機中進行拍攝錄制的，而不需要擴展。而在XR 虛擬攝影棚中，因為其畫面延展的特殊性，在后期制作時多了對“背景”畫面進行擴展的環節。在拍攝好的素材回傳至XR 虛擬服務器后，需要再通過畫面疊加的方法，將場景延展顯示到無屏區域，將物理場景與虛擬位置進行融合，實現更真實、更加沉浸式的效果。再通過顏色校準、定位校正、色彩匹配及邊緣過渡等畫面處理技術，實現屏內外畫面的和諧統一，最終輸出擴展后的整體畫面。在導播系統后臺，就可以看到并輸出完成的虛擬場景。在擴展現實的基礎上，XR 延展拍攝還可以加入動作捕捉傳感器，實現AR 追蹤的互動效果，表演者可以在舞臺上即時、無限制地與三維空間內的虛擬元素進行交互。

4 LED 虛擬攝制系統設計

在設計階段需明確設計目標和需求，確定LED背景墻、跟蹤系統、渲染服務器、燈光等設備來支持多功能LED 影棚虛擬攝制。

4.1 LED 攝影棚虛擬攝制原理說明

LED 虛擬攝制系統包括LED 顯示屏、渲染引擎、攝影機追蹤系統以及虛擬攝制系統等。只有通過這些軟硬件系統的完美集成配合，才可以拍攝出奇幻炫酷的視覺效果，獲得最終的效果。XR 虛擬攝影棚的LED 顯示屏雖然建設面積較小，但是在直播中需要低時延特性提供支持,需要更大的數據傳輸與實時互動,要求配備性能更強的虛擬攝制系統支持即時的影像處理。VP 虛擬攝影棚LED 建設面積較大，因不需畫面擴展，對虛擬攝制系統的要求相對較低，但是需要高質量畫面拍攝，對渲染引擎、攝影機等其他設備配置需求較高，須達到專業級別。

4.2 虛擬攝影棚LED 背景墻

4.2.1 虛擬攝影棚LED 背景墻的技術特征

LED 攝影棚虛擬攝制是大屏顯示應用的新場景，是小間距LED 市場不斷發展、LED 顯示設備技術水平不斷提高而衍生出的新市場。與傳統的LED 顯示屏應用相比，虛擬攝制的LED 顯示屏對準確色彩還原、動態高刷新率、動態高亮度、動態高對比度、無色彩偏移的廣視角、高質量畫面顯示、低反光等都有更為嚴苛的要求。LED 顯示屏關鍵技術特征包括以下幾個方面。

（1）抑制摩爾紋。摩爾紋是LED 顯示屏在拍攝設備的感光元件上成像時形成的高頻干擾，會使圖片出現彩色的條紋。使用Mini LED 四合一封裝技術及凹槽工藝的LED 顯示屏可以達到80%以上的發光開口率，同時這種LED 搭配特殊型號鏡頭、景深和光圈，可以獲得更廣的調節自由度，虛焦程度更低，巧妙避開顯示屏在成片中產生摩爾紋的情況，最終實現拍攝角度逼真的沉浸式效果（圖3）。

圖3 抑制摩爾紋效果前（左）后（右）對比

（2）低反射。越小的光反射率對屏幕表面的影響越小，可以實現更真實的背景畫面。小間距屏體的表面，燈組之間有獨特的吸光槽設計，能夠減少光的影響。表面采用磨砂啞光工藝的LED 顯示屏產品，光線反射率可以控制在5%以下，拍攝角度接近180°，輕松應對拍攝現場的各種光線環境，畫面更干凈，拍攝不易穿幫。

（3）廣色域、高顯色指數。虛擬攝制的LED 顯示屏要具有色域匹配及轉換技術，可以真實、準確地還原自然界色彩，色域校正后要達到99.8%DCI-P3色域重合度。高顯指是要保證色彩均勻性好，可以優化各色、各波段的連續光譜，提升顯色指數。同時，在保證發光效率前提下，提高光效能夠抑制部分藍光能量，補償紅色（R9）光譜。

（4）廣視角、無色偏。虛擬攝制的LED 顯示屏要能夠提供近180°或更廣的拍攝視角，保證不偏色。26bit 深度處理控制技術及16bit 深度的顯示技術能夠更好地呈現圖像層次、細節，從任何角度觀察或拍攝，也能呈現良好的視覺效果。

（5）低掃描率、高刷新率。電影級虛擬攝制的LED 顯示屏要滿足1/6 掃描率和7680Hz 的刷新率，在高刷新率下，拍攝畫面穩定，無波紋黑屏，圖像邊緣清晰，準確還原圖像真實信息（圖4）。

圖4 刷新率對比

圖5 多功能LED 攝影棚虛擬攝制系統結構

4.2.2 虛擬攝影棚LED 顯示產品組成

LED 攝影棚虛擬攝制中LED 顯示屏通常由LED視頻墻（立面）、LED 天幕屏、LED 地磚屏三部分組成，每部分LED 顯示屏承擔各自的顯示功能與作用，通過視錐內的內容融合，完成畫面的渲染合成。

（1）LED 視頻墻是專門為“真場景”打造的高匹配度屏幕，通常有1.5mm、1.9mm、2.3mm 三個點間距可選，也可以根據拍攝場景距離選擇合適的點間距。這三款點間距屏幕都適用于XR 虛擬攝影棚，而在VP 虛擬攝影棚中，1.5mm 和2.3mm 更為常用。LED視頻墻表面要具有更小的反射率和超黑的墨色以提升對比度；具有HDR 技術；具有1500cd/m2（超亮可以達到2000cd/m2）峰值亮度；重量輕巧，安裝快捷便利，快速實現內外弧無縫拼接，節省安裝成本和周期；采用支持前后維護的結構設計，方便現場便捷維護，降低維護成本；具有邊緣保護設計。

（2）LED 天幕屏具備高亮度、寬色溫等特點，通常選用3.75mm、4.8mm、5.8mm 等點間距，為拍攝現場營造幾乎任何場景的光照及實景（反射）環境。獨特的天幕設計結構能實現快速安裝；支持吊裝、座裝以及內外弧拼接，一屏多用；鋁鎂合金，重量輕；亮度最高可達到6000cd/m2；無極色溫調節；模組可更換、支持前后維護。

（3）LED 地磚屏。大多數情況下VP 虛擬攝影棚不會采用地磚屏，地面一般用于擺放拍攝道具，布置實景；XR 延展攝影棚更傾向于將LED 顯示屏與LED地磚屏結合使用。

LED 地磚屏的技術要求：載重量達2 噸/平方米，可靠性高；支持模組前維護，快速實現模組更換，顯著提高維護效率；面罩采用進口高透耐磨材料，防刮、防磨、顏色均勻無色差；屏幕前后IP65 防水設計；可擴展人屏互動、多點觸控。

4.2.3 LED 背景墻的搭建

國內的攝影棚建設中，很多攝影棚都是商業應用棚，針對攝影棚初期建設需求，拓展攝影棚使用邊界，在考慮項目使用需求的同時，也應兼顧攝影棚中長期運營的經濟效益。

經過筆者調研，國內外攝影棚面積規格如下：

（1）標準的VP 虛擬攝影棚面積在1000～3000 平方米之間，其中LED 顯示屏的面積在300～500 平方米；

（2）標準的XR 虛擬攝影棚面積在100～1000 平方米不等，其中LED 顯示屏的面積在60～300 平方米之間。

多功能LED 攝影棚面積通常介于VP 虛擬攝影棚和XR 虛擬攝影棚之間，這個大小能夠同時滿足VP 虛擬攝影棚和XR 虛擬攝影棚的應用。

4.3 跟蹤系統

攝影機定位跟蹤指對真實空間中物理攝影機的內參和外參進行數據采集的過程。

多功能LED 攝影棚由于需要同時考慮進行虛擬攝制和XR 拍攝的場景，筆者對比測試了市場中常見的3 種跟蹤系統：Mo-Sys、HTC VIVE Mars、青瞳視覺MC1000。

4.3.1 Mo-Sys跟蹤系統

Mo-Sys 跟蹤系統是國際知名的光學跟蹤系統，通過紅外攝像機實時捕捉天花上的反光標記點的位置，是由內到外光學跟蹤，通過紅外攝像機和反光標記點計算攝影機實時位置，計算紅外攝像機的實時位置。

Mo-Sys 跟蹤系統高達120°的光學可視跟蹤視角為攝影機跟蹤提供了最大的移動自由度，該系統使用不同光譜進行跟蹤，不受攝影棚中照明光影響，為攝影棚中搭建創造性的照明變化效果提供了可能。

Mo-Sys 跟蹤系統的反光標記點可以隨機安裝在照明網格上方，能夠快速移動攝像機，即使攝影機在快速移動，依然能夠保持完美的取景。

筆者在沈陽市鐵西區為遼寧聯盟文化傳媒有限公司打造的多功能LED 影棚采用了Mo-Sys 跟蹤系統，Mo-Sys 跟蹤系統采用的是50mm 的反光標記點貼于天花8m 的位置。經實驗測試，在對Mo-Sys 跟蹤系統進行該攝影棚的光學標定后，移動數據誤差在0.5mm 內；在200 平方米的空間移動過程中，攝影機跟蹤數據不會漂移，跟蹤數據準確、穩定；關閉跟蹤系統后，不需要每天耗時進行重復校準工作，可以很好地應用在多功能LED 攝影棚中。

4.3.2 HTC VIVE Mars 跟蹤系統

HTC VIVE Mars 跟蹤系統采用Lighthouse 技術，HTC VIVE Mars 定位基站沒有采取通常的光學鏡頭和反光標記點，而是由“定位基站+Tracker 跟蹤器”構成。定位基站里有一個紅外LED 陣列，即兩個轉軸互相垂直的旋轉紅外激光發射器，轉速為10ms 一圈?；镜墓ぷ鳡顟B以20ms 為一個循環，在循環開始時紅外LED 閃光，10ms 內X 軸的旋轉激光掃過整個空間，Y 軸不發光；下一個10ms 內Y 軸的旋轉激光掃過整個空間，X 軸不發光。HTC VIVE Mars 跟蹤系統最多支持4 個定位基站，定位的范圍為10 米×10米；最大支持3個Tracker跟蹤器。

HTC VIVE Mars 跟蹤系統簡易輕便，但在信號覆蓋范圍、系統性能和穩定性方面無法與影視級專業攝影系統相媲美，目前HTC VIVE Mars 跟蹤系統沒有提供Zoom 和Focus 參數的讀取，在不添加第三方組件時只能用于定焦拍攝，對使用場景會有一些限制，目標群體是一些小型工作室。

4.3.3 青瞳視覺跟蹤系統

青瞳視覺跟蹤系統是由主動式標記點或被動式標記點組成，屬于由外到內光學跟蹤系統。主動式標記點或被動式標記點的旋轉軸心是多個剛體的幾何計算中心。在相機移動時，剛體容易受到外部紅外光、照明光線、遮擋等影響。青瞳視覺跟蹤系統在剛體位置增加慣性測量單元（Inertial Measurement Unit，IMU），對跟蹤數據進行補償，彌補光學跟蹤缺陷。該系統需要經常對追蹤場地進行掃場，并重新標定跟蹤數據，在實際使用過程中不夠便捷。

4.4 渲染引擎系統

4.4.1 渲染引擎

虛擬攝制渲染引擎是各種最新圖形技術的表現者，渲染引擎決定著節目畫面的真實感、流暢度、吸引力。觀眾所看到的畫面、場景、色彩效果等內容都是由引擎直接控制的，這些效果的實現包含許多渲染技術，如光線追蹤-圖像像素以光的粒子計算、路徑追蹤-光線反射回視口計算、光子映射-光源發射“光子”計算、光能傳遞-散射表面反射到攝影機中的照明路徑。最常見的渲染引擎有Unreal Engine、Unity 3D 等。

4.4.2 虛擬攝制服務器

虛擬攝制服務器是將物理舞臺與虛擬場景連接起來的基礎設施，是虛擬攝制工作流的核心。虛擬攝制服務器負責接入攝影機跟蹤系統、渲染引擎的生產內容、攝影機拍攝的實時畫面，將虛擬內容輸出到LED 視頻墻，輸出合成的XR 視頻畫面給導播臺，用于直播及存儲。

多功能虛擬攝制服務器不僅需要完成XR 服務器的功能，同時還需要滿足虛擬攝制集群渲染功能且需要在虛擬攝制和XR 拍攝間達到極短的切換速度，減少切換時間。

4.5 燈光系統

在影視行業的視覺制作中,對于光的運用一直是重中之重。虛擬空間的營造如何真實,其基礎之一就是光線的構建。

首先，燈光為場景提供了足夠的照明，使得拍攝場地中的LED 顯示屏能夠有效地用作布景光源。LED 顯示屏本身，可以產生足夠的照明來創造逼真的反射場景，LED 提供基礎照明方式能夠幫助減少需要使用的人造燈光數量，從而節省布光的時間。

其次，燈光還能夠為場景提供適宜的氛圍效果。通過使用不同的燈光設置，為場景創造出各種各樣的氛圍，例如溫暖、冷酷、神秘等以提供更加逼真的場景，并幫助觀眾更好地融入虛擬世界中。

最后，燈光還可以為場景提供柔和的陰影和輪廓。LED 顯示屏可以通過調節外視錐顯示背景產生柔和的漫反射光效，創造出更加逼真的場景，避免產生明晰濃重、輪廓鮮明的陰影，減少視覺上的混亂和模糊。

在場景已有的LED 顯示屏作為基礎照明不足的前提下，有必要人為地增強場景中的照明，提高畫面的亮度，對于空間的建立、氛圍的營造有著重要的作用。

傳統的LED 顯示屏天幕照明是鋪滿整個LED 顯示屏的上方，在實際攝制過程中，可以通過在LED 天幕照明的中間預留一部分空間用來安裝LED 燈光矩陣和柔光燈的方式彌補LED 顯示照明窄光譜、低顯色、無方向性、無硬光的缺陷。

新一代的用于天幕的LED 顯示屏可通過RGBW技術提供更高亮度，3.9mm 像素間距屏幕可以達到5000cd/m2，5.8mm 像素間距的亮度能夠達到6000cd/m2。同時在傳統RGB 燈珠的基礎上增加了一顆白燈，彌補了RGB 光譜低顯示指數的不足，CRI 顯示指數已經能夠達到91。

特效燈光是指在特定的拍攝場景中，根據場景和劇情需要而臨時布置的燈光。燈光控制系統-數控燈光可以通過DMX/ArtNet 等協議被虛幻引擎和XR 融合系統直接驅動控制。

LED 虛擬攝制中的燈光通常有以下幾種應用場景：

（1）日落場景：運用琥珀色的LED 顯示屏作為背景，并將燈光放置在場景后面，以創造出溫暖、舒適的氛圍效果，同時在場景中實現柔和漫反射，創造出逼真的陰影和輪廓。

（2）城市街景：為了展示城市的繁華和忙碌，可以制作高樓大廈場景作為背景，并將燈光放置在場景前面，創造出明亮的照明效果，減少需要使用的人造燈光數量。

（3）深空場景：為了展示深空的神秘和壯麗，可以使用黑色的LED 顯示屏作為背景，并將燈光放置在場景后面。黑暗的背景效果與場景中產生的柔和漫反射，創造出逼真的星云和星系。需要注意的是，具體燈光設置和LED 顯示屏的使用會根據不同場景和拍攝需求有所不同。

5 結語

LED 虛擬攝制技術在影視制作中有著廣泛的應用，可以創造出更加逼真的虛擬場景和特效，提高制作效果和效率。同時，LED 虛擬攝制技術也面臨著一些挑戰和問題。例如，需要大量的計算資源和時間進行建模、渲染，需要電影虛擬攝制創新型、復合型、應用型人才進行虛擬攝制，同時還需要考慮制作成本等因素。

未來，隨著技術的不斷發展和進步，LED 虛擬攝制技術將會越來越成熟和普及，傳統攝影棚必然逐漸向虛擬攝影棚轉變，影視數字化工業應用市場將迎來新的發展。例如，通過人工智能（AI）和機器學習（ML）等技術手段，可以提高虛擬攝制效率，提升效果，實現對觀眾需求的精準分析和預測。如何用更先進的顯示技術和XR 解決方案來推動虛擬攝制行業的進步，創新出一種全新的、更接近時代技術特征、更具交互性和創造性的影視制作方式，以滿足人們高品質視聽需求是亟待探究的重要課題。

總之，LED 虛擬攝制技術是一種具有廣泛應用前景和發展潛力的技術手段，它將不斷推動影視制作行業的發展和創新，為人們帶來更加優質的影視視聽體驗。

作者貢獻聲明：

王勇：主導設計論文框架，組織實驗測試，撰寫和修改論文，全文文字貢獻50%；

趙麗紅：參與設計論文框架，討論技術方案，撰寫和修改論文，全文文字貢獻20%；

胡緒楨：參與設計論文框架，討論技術方案，案例提供，全文文字貢獻20%；

楊四化：參與設計論文框架，討論技術方案，案例提供，全文文字貢獻10%。