虛擬增強(qiáng)現(xiàn)實(shí)行業(yè)發(fā)展及在廣播電視領(lǐng)域的應(yīng)用

周俊英，張 強(qiáng)，李文勝

（四川廣播電視臺(tái)，四川 成都 610041）

0 引言

虛擬增強(qiáng)現(xiàn)實(shí)行業(yè)的關(guān)鍵技術(shù)包括虛擬現(xiàn)實(shí)（Virtual Reality，VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）、混合現(xiàn)實(shí)（Mixed Reality，MR）以及拓展現(xiàn)實(shí)（Extended Reality，XR）等。本文旨在通過(guò)深入分析不同技術(shù)類(lèi)型的特點(diǎn)以及它們?cè)趶V播電視節(jié)目制作、觀眾互動(dòng)和媒體體驗(yàn)增強(qiáng)方面的具體應(yīng)用，揭示這一領(lǐng)域的最新趨勢(shì)和未來(lái)發(fā)展前景。

1 虛擬增強(qiáng)現(xiàn)實(shí)行業(yè)關(guān)鍵技術(shù)及產(chǎn)業(yè)發(fā)展概述

1.1 VR/AR/MR/XR 技術(shù)及產(chǎn)業(yè)發(fā)展介紹

1.1.1 VR 技術(shù)

VR 技術(shù)旨在創(chuàng)造一種全新的沉浸式體驗(yàn)，將用戶(hù)置身于虛構(gòu)的三維環(huán)境中，與之互動(dòng)，仿佛置身于一個(gè)與真實(shí)世界截然不同的虛擬空間。VR 技術(shù)的組成部分包括頭戴式顯示器，通常配備高分辨率屏幕，以提供逼真的視覺(jué)體驗(yàn)，還有感應(yīng)設(shè)備如陀螺儀和加速度計(jì)，用于跟蹤用戶(hù)的頭部和身體動(dòng)作，以便在虛擬環(huán)境中呈現(xiàn)相應(yīng)的視角變化。VR技術(shù)還包括手柄、手套等輸入設(shè)備，用于用戶(hù)的互動(dòng)和控制。

1.1.2 AR 技術(shù)

AR 技術(shù)旨在將虛擬信息與真實(shí)世界疊加，為用戶(hù)提供沉浸于增強(qiáng)的現(xiàn)實(shí)環(huán)境中的體驗(yàn)。其特點(diǎn)在于通過(guò)攝像頭捕捉周?chē)恼鎸?shí)世界，然后將虛擬元素如圖像、文本或3D對(duì)象實(shí)時(shí)疊加在用戶(hù)的視野中。AR 技術(shù)的關(guān)鍵組成部分包括顯示屏、攝像頭和計(jì)算設(shè)備（如智能手機(jī)、平板電腦或頭戴式顯示器）。

1.1.3 MR 技術(shù)

MR 技術(shù)旨在融合虛擬和真實(shí)世界元素，創(chuàng)建一種整合的環(huán)境，其中虛擬和現(xiàn)實(shí)互相交互并共存。其特點(diǎn)在于將虛擬對(duì)象與真實(shí)環(huán)境互動(dòng)，用戶(hù)能夠看到并與虛擬元素在同一場(chǎng)景中互動(dòng)。混合現(xiàn)實(shí)技術(shù)的組成部分包括頭戴式顯示器、傳感器、計(jì)算設(shè)備以及特殊鏡頭或透明顯示屏，以便將虛擬圖像無(wú)縫地疊加到用戶(hù)的真實(shí)視野中。

1.1.4 XR 技術(shù)

XR 是一種綜合性術(shù)語(yǔ)，涵蓋虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）和混合現(xiàn)實(shí)（MR）等技術(shù)，旨在拓展用戶(hù)的感知和交互體驗(yàn)。其特點(diǎn)在于融合虛擬與真實(shí)元素，提供更豐富的數(shù)字體驗(yàn)，同時(shí)保持與現(xiàn)實(shí)世界的聯(lián)系。XR 技術(shù)的組成部分包括頭戴式顯示器、傳感器、計(jì)算設(shè)備和相關(guān)軟件。XR 產(chǎn)業(yè)在軟硬件、內(nèi)容及應(yīng)用層面實(shí)現(xiàn)全面升級(jí)。硬件方面，2022 年，芯片、光學(xué)模組、微顯示屏等核心零部件的升級(jí)、輕薄化，VR 一體機(jī)和消費(fèi)級(jí)AR 眼鏡的發(fā)布，推動(dòng)XR 硬件產(chǎn)業(yè)發(fā)展，如高通公司發(fā)布了XR 芯片。軟件方面，XR 軟件開(kāi)發(fā)工具包（Software Development Kit，SDK）分為專(zhuān)業(yè)內(nèi)容生產(chǎn)（Professional Generated Content，PGC）工具和用戶(hù)生產(chǎn)內(nèi)容（User Generated Content，UGC）工具兩大類(lèi)，代表企業(yè)包括Unity、UE、Roblox Studio、代碼乾坤等[1]。XR 內(nèi)容及應(yīng)用主要體現(xiàn)在XR 賽事體驗(yàn)、XR 音樂(lè)會(huì)360°沉浸式視聽(tīng)等方面。

1.2 VR/AR/MR/XR 之間的關(guān)系

VR、AR、MR 和XR 是互相關(guān)聯(lián)但概念不同的技術(shù)形式，它們的關(guān)系如圖1 所示。VR 創(chuàng)造完全虛構(gòu)的數(shù)字環(huán)境，使用戶(hù)完全沉浸其中。AR 將虛擬元素疊加到真實(shí)環(huán)境，豐富現(xiàn)實(shí)世界。MR 融合虛擬和現(xiàn)實(shí)元素，使二者交互共存。XR 是一個(gè)綜合性術(shù)語(yǔ)，包括VR、AR 和MR，強(qiáng)調(diào)整合不同技術(shù)以提供更豐富、多樣的數(shù)字體驗(yàn)。這些技術(shù)之間的關(guān)系是從完全虛擬到完全真實(shí)的漸進(jìn)連續(xù)。隨著技術(shù)不斷發(fā)展，它們的界限變得模糊，共同推動(dòng)技術(shù)創(chuàng)新與發(fā)展。

圖1 VR/AR/MR/XR 關(guān)系圖

2 虛擬增強(qiáng)現(xiàn)實(shí)行業(yè)關(guān)鍵技術(shù)在廣播電視領(lǐng)域的應(yīng)用

2.1 VR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用

VR技術(shù)在廣播電視領(lǐng)域的應(yīng)用領(lǐng)域多種多樣，為觀眾提供了前所未有的互動(dòng)和沉浸式體驗(yàn)。VR可用于電視節(jié)目制作，創(chuàng)造虛擬環(huán)境，使觀眾仿佛置身于節(jié)目中的場(chǎng)景，如紀(jì)錄片中的遠(yuǎn)古歷史或虛構(gòu)劇集中的異星世界。廣播電視公司也采用VR 來(lái)直播體育賽事、音樂(lè)會(huì)和特別活動(dòng)，使觀眾遠(yuǎn)程感受到現(xiàn)場(chǎng)的氛圍。廣告業(yè)也受益于VR，創(chuàng)造沉浸式廣告宣傳，為品牌推廣提供了全新的途徑。

VR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用場(chǎng)景包括VR全景視頻直播、VR 全景視頻點(diǎn)播、VR 全景視頻輪播、5G+8K+VR 云直播以及5G+VR 慢直播等。2019 年1 月28 日，中央廣播電視總臺(tái)聯(lián)合中國(guó)聯(lián)通、華為公司在吉林長(zhǎng)春?jiǎn)?dòng)5G 網(wǎng)絡(luò)VR 實(shí)時(shí)制作傳輸測(cè)試，利用5G、VR 等技術(shù)為春節(jié)聯(lián)歡晚會(huì)（以下簡(jiǎn)稱(chēng)春晚）長(zhǎng)春分會(huì)場(chǎng)5G 直播與VR 制作提供技術(shù)支持，實(shí)現(xiàn)VR 全景互動(dòng)、春晚VR 短視頻制作，為觀眾帶來(lái)沉浸式春晚觀看體驗(yàn)。2022 年4 月，壽光移動(dòng)聯(lián)合壽光市融媒體中心，通過(guò)智能機(jī)器人+5G+4K+VR 進(jìn)行菜博會(huì)實(shí)時(shí)直播活動(dòng)，運(yùn)用移動(dòng)全景直播、VR 全景慢直播等直播形式，觀眾在融媒體主播的引領(lǐng)下720°沉浸式暢游菜博會(huì)[2]。4K花園公司的8K 3D VR 直播系統(tǒng)“滿(mǎn)天星”支持8K 60P 分辨率，實(shí)現(xiàn)180°3D VR 或360°2D VR 拍攝及信號(hào)處理、遠(yuǎn)程控制，實(shí)現(xiàn)8K 廣播級(jí)訊道攝像機(jī)系統(tǒng)與VR 直播系統(tǒng)的融合應(yīng)用。“滿(mǎn)天星”系統(tǒng)被廣泛應(yīng)用于大型活動(dòng)、賽事、演出的8K VR 現(xiàn)場(chǎng)直播活動(dòng)，如2022 中國(guó)街舞聯(lián)賽、2023 世界超高清視頻產(chǎn)業(yè)發(fā)展大會(huì)等[3]。

2.2 AR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用

AR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用，為觀眾創(chuàng)造了交互性、信息豐富的體驗(yàn)。首先，AR 用于豐富電視節(jié)目，如新聞報(bào)道。通過(guò)AR 技術(shù)，新聞報(bào)道可以呈現(xiàn)實(shí)時(shí)數(shù)據(jù)、虛擬圖表、3D 模型等元素，以更生動(dòng)地解釋新聞事件。其次，廣播電視廣告也采用AR來(lái)提供互動(dòng)廣告宣傳，觀眾可以使用移動(dòng)設(shè)備掃描廣告中的圖像或物體，以獲取更多信息或享受虛擬體驗(yàn)。最后，AR 還用于體育轉(zhuǎn)播，為觀眾提供實(shí)時(shí)比分、球員統(tǒng)計(jì)和實(shí)況互動(dòng)，增添了賽事觀看的樂(lè)趣。

AR 在廣播電視領(lǐng)域的應(yīng)用場(chǎng)景包括AR 新聞、AR+直播、AR+電影以及AR+體育賽事等。AR新聞使新聞?dòng)脩?hù)參與到AR 新聞敘事的深度互動(dòng)中，如新華社2018 年的AR 新聞作品《天地工程》。2019年，國(guó)慶70周年新華社聯(lián)合網(wǎng)易新聞推出《AR大閱兵》新聞作品，2023 年，濟(jì)南報(bào)業(yè)全媒體報(bào)道推出《AR 播報(bào)看兩會(huì)》特別節(jié)目。以2020 年廣州越秀區(qū)打造全市首個(gè)5G+4K+AR 直播基地為例，集高端設(shè)備共享、動(dòng)漫畫(huà)制作、虛擬現(xiàn)實(shí)（AR、VR、MR）、人工智能、全息、體感捕捉及智能硬件等多種技術(shù)于一身，融合AR 數(shù)字技術(shù)，配備百萬(wàn)級(jí)廣播級(jí)訊道系統(tǒng)，實(shí)現(xiàn)AR 直播[4]。

2.3 MR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用

MR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用為觀眾提供高度交互性、沉浸式的體驗(yàn)。MR 可用于虛擬電視節(jié)目制作，創(chuàng)造虛擬演播室和虛擬角色，使廣播電視內(nèi)容更加生動(dòng)和互動(dòng)。觀眾能夠在現(xiàn)實(shí)環(huán)境中看到虛擬元素，如虛擬新聞主播或互動(dòng)游戲角色，與他們互動(dòng)。MR 技術(shù)還可用于實(shí)時(shí)特效制作，如天氣預(yù)報(bào)、體育轉(zhuǎn)播和選秀節(jié)目，為觀眾呈現(xiàn)生動(dòng)的視覺(jué)效果。

MR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用場(chǎng)景主要包括綜藝節(jié)目、紀(jì)錄片、新聞節(jié)目及體育節(jié)目等。以2021年新華網(wǎng)兩會(huì)特別報(bào)道《MR 全息訪(fǎng)談節(jié)目：有話(huà)問(wèn)兩會(huì)》為例，這是MR 技術(shù)在特別報(bào)道領(lǐng)域的杰出應(yīng)用示例。這一特別報(bào)道采用MR 技術(shù)，將虛擬主持人呈現(xiàn)為立體全息形象，與兩會(huì)代表進(jìn)行互動(dòng)性訪(fǎng)談，使觀眾仿佛置身于虛擬會(huì)議室[5]。

2.4 XR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用

XR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用多種多樣，為觀眾創(chuàng)造了前所未有的多樣性和互動(dòng)性體驗(yàn)。XR虛擬演播室已經(jīng)改變了電視節(jié)目制作方式。通過(guò)XR 技術(shù)，制片人可以創(chuàng)造虛擬背景和場(chǎng)景，使主持人和嘉賓置身于各種環(huán)境中，提供更生動(dòng)的電視內(nèi)容。XR 音樂(lè)會(huì)和XR 賽事改變了音樂(lè)和體育節(jié)目的觀看方式。觀眾通過(guò)頭戴式顯示器或移動(dòng)設(shè)備，選擇自己的視角，仿佛置身于音樂(lè)會(huì)現(xiàn)場(chǎng)或比賽場(chǎng)地，與藝術(shù)家或運(yùn)動(dòng)員互動(dòng)。

XR 技術(shù)在廣播電視領(lǐng)域的應(yīng)用推動(dòng)了XR 優(yōu)質(zhì)內(nèi)容不斷增長(zhǎng)。以虛擬演播室為例，配備發(fā)光二極管（Light Emitting Diode，LED）顯示屏、渲染服務(wù)器、合成服務(wù)器、相機(jī)追蹤系統(tǒng)、燈光系統(tǒng)、攝像系統(tǒng)及音響系統(tǒng)等，具備沉浸式空間透視、相機(jī)追蹤、人體捕捉（數(shù)字人）、實(shí)時(shí)渲染以及擴(kuò)展現(xiàn)實(shí)AR特效等功能。XR 虛擬演播室可為廣播電視單位提供短視頻虛擬制作、虛擬擴(kuò)展直播、數(shù)字人實(shí)時(shí)互動(dòng)、演出及廣告等應(yīng)用服務(wù)。以XR 音樂(lè)會(huì)為例，2022 年12 月，中國(guó)移動(dòng)咪咕聯(lián)合NOLO 公司打造了一場(chǎng)元宇宙空間“星座·M”動(dòng)感地帶世界杯音樂(lè)盛典，通過(guò)多種虛擬交互技術(shù)的融合應(yīng)用打造數(shù)實(shí)融合、超精度建模、全景交互沉浸式演唱會(huì)，用戶(hù)使用NOLO CM1 VR 一體機(jī)、手柄等設(shè)備可360°沉浸式觀看超高清音樂(lè)盛宴[6]。

3 結(jié)語(yǔ)

本文探討了虛擬增強(qiáng)現(xiàn)實(shí)行業(yè)VR/AR/MR/XR等關(guān)鍵技術(shù)及在廣播電視領(lǐng)域的應(yīng)用。這些技術(shù)為廣播電視帶來(lái)了創(chuàng)新和變革，提供了更具互動(dòng)性和沉浸感的觀看體驗(yàn)。從虛擬現(xiàn)實(shí)的沉浸性體驗(yàn)到增強(qiáng)現(xiàn)實(shí)的信息豐富，再到混合現(xiàn)實(shí)和拓展現(xiàn)實(shí)的整合性體驗(yàn)，改變了廣播電視的制作方式和觀眾互動(dòng)。