XR 關鍵技術及其在廣播電視領域的應用

蔡浩君，王成偉，任 遠

（1.浙江省中波發射管理中心，浙江 杭州 310000；2.浙江省景寧縣融媒體中心，浙江 麗水 323500；3.濟南廣播電視臺，山東 濟南 250000）

0 引言

隨著技術的不斷演進，拓展現實（Extended Reality，XR）技術已經走進了人們的日常生活。它超越了傳統媒體的界限，將虛擬和現實世界相融合，給廣播電視領域帶來了革命性的變革。本文將探討XR 技術的概念、關鍵技術以及在廣播電視領域的應用，特別關注虛幻引擎和虛擬演播室這兩個引領潮流的技術，研究它們如何影響廣播電視制作，提高觀眾體驗。通過本研究，揭示XR 技術對傳媒產業的影響以及未來可能的發展趨勢。

1 XR 技術概述

1.1 XR 的概念

XR 是一種綜合性技術，包括增強現實（Augmented Reality，AR）、虛擬現實（Virtual Reality，VR）和混合現實（Mixed Reality，MR）。它的目標是改變用戶的感知體驗，通過電子設備將數字信息與物理世界互動，創造出全新的交互和沉浸式體驗，在娛樂、教育及醫療等領域具有巨大潛力[1]。

1.2 XR 關鍵技術

XR 的關鍵技術包括AR、VR 和MR 等技術。這些技術包括如下關鍵要素。

（1）傳感技術。攝像頭、深度傳感器和位置傳感器，用于捕捉用戶的周圍環境和位置信息，以便將虛擬元素準確疊加到實際場景中。

（2）虛擬元素創建和渲染。XR 應用需要能夠創建和渲染3D 虛擬元素，以與實際世界融合。這需要使用計算機圖形學、3D 建模和渲染技術。

（3）視覺識別和跟蹤。XR 系統需要能夠識別實際世界中的物體和圖案，以便將虛擬元素與它們關聯，包括計算機視覺和圖像處理技術。

（4）實時計算。XR 需要快速的實時計算能力，以確保虛擬元素的穩定疊加和交互。這需要強大的硬件和實時算法。

（5）用戶界面設計。為了實現用戶友好的體驗，XR 應用需要優秀的用戶界面設計，包括手勢識別、音頻交互和頭顯設備的設計[2]。

1.3 XR 產業發展現狀

隨著元宇宙概念的興起與發展，XR 產業迎來新的發展機遇，在硬件側、軟件側、內容及應用側發展勢頭強勁。

硬件側，芯片、光學模組及微顯示屏等核心零部件的發展推動硬件側產業鏈的完善。以VR 一體機主流芯片高通驍龍XR2、蘋果公司M 系列芯片、Meta 公司RISC-V 芯片為代表，推動XR 設備在高速無線通信、高品質圖像處理及多傳感器信息融合等方面能力的提升。Pancake 光學技術推動VR 頭顯輕薄化發展。光學技術經歷了非球面透鏡、菲涅爾透鏡和Pancake 三個階段，Pancake 光學方案在裸機重量方面與菲涅爾透鏡相比有明顯減輕，輕薄性方面與菲涅爾透鏡相比有明顯提升。AR 眼鏡向消費端發展，Nreal、雷鳥創新、Rokid、小米米家、INMO 影目等企業的AR 眼鏡2022 年銷量排名前5，代表產品有Nreal Air 眼鏡、XR 眼鏡雷鳥Air 和Air 1S。視聽交互從觸覺向觸覺、嗅覺多感官融合方向發展。如瑞典斯德哥爾摩大學研究團隊研發的手持式嗅覺儀（NHO）、中國數字氣味技術研發企業氣味王國推出的Telescent 嗅覺遠程傳遞系統[3]。

軟件側指XR開發工具包（Software Development Kit，SDK），為各種XR 應用的邏輯編程、圖形渲染和定位操控開發提供技術支持。專業XR SDK 向標準化方向發展，如南京睿悅信息技術有限公司發布的三維交互Cocos CreatorXR 引擎、微軟的跨平臺工具Mixed Reality Toolkit 3（MRTK3）。低門檻用戶生產內容（User Generated Content，UGC）工具應用場景不斷拓展，面向普通內容創作者的XR SDK 需求在不斷增加，如英國Blippar 平臺的AR 創建工具Blippbuilder、3D 社交平臺Spatial 推出的Spatial Creator Toolkit[4]等。

內容及應用側，XR 優質內容不斷產出，應用場景不斷拓展，如XR 賽事、XR 音樂會等場景，帶給用戶沉浸式的觀賽與音樂視聽體驗。例如，2022 年，足球世界杯實現VR 看球、AR 觀賽；2022 年，虛擬偶像樂隊Gorillaz 打造了基于位置的AR 音樂會[5]。

2 XR 在廣播電視領域的應用

2.1 虛幻引擎在廣播電視領域的應用

虛幻引擎是Epic Games 公司開發的最開放、最先進的實時3D 創作工具，目前版本已更迭至虛幻引擎5。虛幻引擎是一套完整的開發工具，面向任何使用實時技術工作的用戶。從設計可視化和電影式體驗，到制作PC、主機、移動設備、VR 和AR 平臺上的高品質游戲。虛幻引擎功能模塊包括管道集成，世界場景構建，角色與動畫，渲染、光照和材質，模擬和效果，游戲性和交互性編寫，集成的媒體支持，虛擬制片，內容，開發者工具以及平臺支持等。虛幻引擎的行業應用包括游戲、影視、建筑、汽車與運輸、廣播與實況活動以及模擬等方面[6]。

影視領域，虛幻引擎用于構建虛擬世界，配備好萊塢級的電影工具和強大的視效、物理及光照系統。虛幻引擎可為影視制作逼真的視覺效果，創造身臨其境的體驗，用它創作動畫，制作視覺特效，展開虛擬制片工作流程，完成復雜的場景組建、LED墻前拍攝連續劇等各種任務。迪士尼電視動畫公司通過虛幻引擎將2D 動畫《格林一家進城趣》轉換成3D 動畫，通過實時CG 管線、2D 管線等將《格林一家進城趣》節日特輯的《虛擬圣誕節》通過虛幻引擎制作成16 min 的3D 鏡頭[7]。

虛幻引擎還可應用于廣播與實況活動。虛幻引擎提供AR、動態影像、視頻墻、插播內容及虛擬布景等技術支持，通過虛幻引擎實時工作流程制作體育及電競廣播、天氣預報、實況活動和表演等內容。虛幻引擎在廣播與實況活動中具備集成化、實時合成、多屏渲染、粒子、特效及處理等功能。在集成化方面，通過虛幻引擎打通格式、協議、硬件及軟件等全流程，支持所有主流3D 追蹤系統，支持諸如開放音頻控制（Open Sound Control，OSC）等協議，支持HAP、Apple ProRes 和Avid DNxHD 等格式。在實時合成方面，虛幻引擎通過內置合成器Composure實現實時合成編輯，配合綠幕鍵控、虛擬攝像機等設備，實現顏色分級、電影級色調映射、Open Color IO、景深、鏡頭眩光、光學變形、邊緣光融合、泛光和光暈等功能。多屏渲染方面，虛幻引擎的nDisplay系統支持不同分辨率的實時渲染。在粒子、特效和處理方面，虛幻引擎內置粒子系統Niagara，支持創建影視級的視覺效果。虛幻引擎為廣播動畫創作提供技術支持，包括預渲染的動畫和實時圖形。虛幻引擎提供了傳統低質量廣播圖形應用程序實時編輯和渲染的能力，帶來離線渲染器高端、先進的渲染功能。紐約的KéexFrame 工作室使用虛幻引擎為2022 年卡塔爾世界杯制作了一段實時開場動畫。

2.2 虛擬演播室在廣播電視領域的應用

虛擬演播室是通過XR 虛擬拍攝技術構建的發光二極管（Light Emitting Diode，LED）顯示屏演播室，核心組成包括LED 顯示屏、渲染服務器、合成服務器、相機追蹤系統、燈光系統、攝像系統和音響系統等[8]。這一技術在廣播電視領域有廣泛的應用，主要包括以下功能。

（1）沉浸式空間透視。虛擬演播室通過LED顯示屏創造逼真的虛擬背景，使觀眾沉浸于各種環境，如城市風景、歷史場景等。

（2）相機追蹤。相機追蹤系統能夠準確捕捉攝像機的位置和角度，以便虛擬元素能夠與實際拍攝內容無縫融合。

（3）人體捕捉。虛擬演播室可以捕捉主持人或演員的動作，用數字人代表他們，實現令人印象深刻的虛擬交互。

（4）實時渲染。實時渲染意味著虛擬元素可以在實際拍攝中動態變化，為廣播電視制作提供更大的創意自由度。

（5）擴展現實AR 特效。虛擬演播室可以輕松集成擴展現實AR 特效，為廣播節目增加互動性和視覺吸引力。

虛擬演播室已經改變了廣播電視制作的方式，提供了更具創意和視覺吸引力的選項，同時提高了節目的質量和觀眾體驗，在短視頻虛擬制作、虛擬擴展直播、數字人實時互動、攝影、演出、展覽、廣告及活動等領域有廣泛的應用。例如，2021 年3 月，愛奇藝公司運用XR 技術打造“虛實之城”沉浸式虛擬演唱會，這是國內首個沉浸式虛擬演唱會，洲明科技公司專門搭建了超過500 m2的巨型弧形半包XR 虛擬影棚，提供LED 顯控運維軟件平臺UCare 與XR 虛擬制作解決方案，配備多個XR 虛擬機位與直拍機位，實現多視角切換，構建了虛擬世界，并實現與現實世界的互聯互通，營造虛實融合的舞臺場景。演唱會分為《晝·造夢》和《夜·閃耀》兩場，打造十余個虛實變幻的舞臺場景，帶給用戶線上沉浸式體驗。

3 結語

XR 技術的快速發展給廣播電視領域帶來了革命性的影響。從硬件、軟件到內容創作，XR 技術正在改變傳媒產業的面貌。虛幻引擎和虛擬演播室是引領這一變革的典型代表，不僅提高了節目制作質量，還創造了更具創新性和互動性的內容。XR技術的未來充滿潛力，將繼續重塑廣播電視行業，創造更豐富、沉浸和個性化的體驗。