三維融合（PQC+MR+AI）技術(shù)打造沉浸式2.0視覺(jué)新體驗(yàn)

金逸樂(lè)

（上海廣播電視臺(tái)，上海，20000）

一、沉浸式體驗(yàn)

沉浸式體驗(yàn)是指當(dāng)一個(gè)人的精神完全沉浸在某種行為或環(huán)境中給人帶來(lái)高度興奮感和充實(shí)感的體驗(yàn)，心理學(xué)上稱之為心流。當(dāng)今，虛擬現(xiàn)實(shí)技術(shù)可以根據(jù)需要?jiǎng)?chuàng)造出各種虛擬的環(huán)境，并通過(guò)佩戴設(shè)備讓人們沉浸在這種感官體驗(yàn)之中。當(dāng)受眾沉浸在這種體驗(yàn)中時(shí)，他們與真實(shí)的世界將完全隔離，所產(chǎn)生的心流就會(huì)完全投入到構(gòu)建的虛擬環(huán)境中。沉浸式體驗(yàn)產(chǎn)生的前提是需要佩戴VR設(shè)備，通過(guò)隔離體驗(yàn)者現(xiàn)實(shí)感官，體驗(yàn)由此時(shí)VR設(shè)備所帶來(lái)的虛擬視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)，這種虛擬體驗(yàn)?zāi)軌蚪o受眾帶來(lái)愉悅和滿足，受眾也因此得到“沉浸式體驗(yàn)” 。

二、沉浸式視覺(jué)體驗(yàn)的特點(diǎn)

因?yàn)槿藗儗?duì)外界信息的獲取主要是靠視覺(jué)來(lái)完成，所以沉浸式體驗(yàn)主要以視覺(jué)體驗(yàn)為主。由于這種沉浸式的視覺(jué)體驗(yàn)會(huì)使人在虛擬的環(huán)境中產(chǎn)生強(qiáng)烈的滿足感，因此，沉浸式視覺(jué)體驗(yàn)具有一些鮮明的辨識(shí)性特點(diǎn)。

1. 營(yíng)造強(qiáng)烈的現(xiàn)實(shí)幻境

虛擬現(xiàn)實(shí)技術(shù)可以利用VR設(shè)備在人們面前展現(xiàn)出全方位的虛擬影像世界，并通過(guò)音效設(shè)備令人產(chǎn)生強(qiáng)烈的包圍感。在這種整體環(huán)境的營(yíng)造下，參與者在幻境中會(huì)產(chǎn)生強(qiáng)烈的身份認(rèn)同，達(dá)到身心深入其中的強(qiáng)烈效果。

2. 高度的真實(shí)性

虛擬現(xiàn)實(shí)技術(shù)所構(gòu)建出的虛擬環(huán)境對(duì)觀眾來(lái)說(shuō)具有極強(qiáng)的真實(shí)性。這種真實(shí)性的感受不但在于內(nèi)容本身，還在于其他方面，例如，虛擬現(xiàn)實(shí)技術(shù)會(huì)在聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等多方面讓觀眾產(chǎn)生真實(shí)感，讓觀眾的外在感知系統(tǒng)和內(nèi)在神經(jīng)系統(tǒng)都完全融入到VR設(shè)備所創(chuàng)建出的虛擬環(huán)境之中，形成沉浸式的視覺(jué)感受。

3. 突出的精神愉悅感

虛擬現(xiàn)實(shí)技術(shù)與AI技術(shù)融合所產(chǎn)生的沉浸式視覺(jué)體驗(yàn)為體驗(yàn)者帶來(lái)了獨(dú)特的視覺(jué)沖擊，產(chǎn)生的快感直接且猛烈，能夠使觀眾把全部的精神和感官毫無(wú)保留地投入到虛擬的世界中，進(jìn)而產(chǎn)生其他藝術(shù)形式無(wú)法比擬的精神愉悅感。近年來(lái)，由于VR設(shè)備的使用日益廣泛和大眾化，這種視覺(jué)體驗(yàn)的應(yīng)用范圍也更加廣泛，更多的人得以感受到虛擬現(xiàn)實(shí)技術(shù)帶來(lái)的美好體驗(yàn)。例如，在觀看中國(guó)足球超級(jí)聯(lián)賽直播時(shí)，對(duì)我們來(lái)說(shuō)視覺(jué)效果最好的位置是主席臺(tái)，而在虛擬現(xiàn)實(shí)的情況下，無(wú)論我們身在何處都可以清晰地看到比賽場(chǎng)景，也可以清晰地聽(tīng)到賽場(chǎng)中的聲音，這就是沉浸式視覺(jué)體驗(yàn)給我們帶來(lái)的獨(dú)特視覺(jué)效果。

三、三維融合技術(shù)打造沉浸式2.0視覺(jué)體驗(yàn)的方式

這里所提出的運(yùn)用三維融合（PQC+MR+AI）技術(shù)打造的沉浸式2.0視覺(jué)體驗(yàn)是指在PQC質(zhì)量控制程序的管理模式下，應(yīng)用MR技術(shù)、輔以AI技術(shù)，專門為觀眾打造出的全方位、多角度的視覺(jué)體驗(yàn)效果。它的應(yīng)用能夠提升新聞行業(yè)的播報(bào)水平，提高新聞內(nèi)容的表現(xiàn)力。三維融合（PQC+MR+AI）技術(shù)的具體內(nèi)容如下。

1. 制作質(zhì)量管理（Production Quality Control）

制作質(zhì)量管理是指在節(jié)目制作的基礎(chǔ)上，以觀眾的視覺(jué)需求為切入點(diǎn)，將主觀和客觀評(píng)價(jià)體系有機(jī)地結(jié)合起來(lái)，分析各個(gè)環(huán)節(jié)之間的影響要素（包括工作界面、優(yōu)化機(jī)制、流程等），對(duì)節(jié)目整體的質(zhì)量進(jìn)行合理控制以達(dá)到最佳播出效果的管理模式。在傳媒業(yè)，制作質(zhì)量管理是一切質(zhì)量管理的中心，也是節(jié)目制作的基礎(chǔ)。在上海廣播電視臺(tái)制作的節(jié)目中，廣泛引入了PQC對(duì)播出節(jié)目的整體流程以及燈光、色調(diào)、調(diào)度等元素進(jìn)行調(diào)控，節(jié)目也因此更受歡迎，取得了良好的收視效果。

具體來(lái)說(shuō)，PQC的應(yīng)用方式就是對(duì)整個(gè)節(jié)目效果的實(shí)時(shí)控制和調(diào)整做出更加專業(yè)、及時(shí)的應(yīng)對(duì)。例如，在直播節(jié)目的制作中，人們一般會(huì)對(duì)環(huán)境的燈光進(jìn)行視覺(jué)測(cè)試，而引入PQC后，其作為整個(gè)后臺(tái)的監(jiān)控中心，在節(jié)目的制作過(guò)程中會(huì)時(shí)時(shí)校色，以達(dá)到理想的播出效果。另外，在體育賽事的轉(zhuǎn)播中，PQC的應(yīng)用更為廣泛，如PQC對(duì)所有的中超賽場(chǎng)草地都會(huì)做出分光反射率的曲線，并通過(guò)燈光和分光反射曲線了解到反射率超過(guò)80%的波段，由于反射率超過(guò)80%的部分就是重點(diǎn)要表現(xiàn)的部分，需要通過(guò)PQC對(duì)直播畫面上的顏色、色調(diào)、飽和度的整體實(shí)時(shí)調(diào)整，由此觀眾才可以看到直播畫面上所呈現(xiàn)的精彩賽事。PQC可以通過(guò)對(duì)整個(gè)制作流程的控制來(lái)保證節(jié)目制作過(guò)程中對(duì)畫面質(zhì)量的精確還原。具體工作方法是利用攝像機(jī)使用分段分區(qū)的調(diào)色法，通過(guò)對(duì)亮度、色度和兩個(gè)段及高亮中灰三個(gè)區(qū)域分別進(jìn)行調(diào)色，從而達(dá)到通透的目的。另外，PQC還可以對(duì)整個(gè)畫面進(jìn)行調(diào)整，滿足我們對(duì)畫面的需求，也可以通過(guò)對(duì)現(xiàn)場(chǎng)的時(shí)時(shí)校準(zhǔn)來(lái)對(duì)影調(diào)參數(shù)（即黑白參數(shù)和色彩參數(shù)）進(jìn)行控制，以達(dá)到理想的畫面效果，從而使觀眾得到身臨其境的體驗(yàn)。

2. 混合現(xiàn)實(shí)技術(shù)（Mixed Reality）

MR技術(shù)是合并現(xiàn)實(shí)和虛擬世界從而產(chǎn)生新的可視化環(huán)境的技術(shù)總稱。MR是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，它通過(guò)在虛擬世界、現(xiàn)實(shí)世界和體驗(yàn)者之間構(gòu)建相互反饋的平臺(tái)，增強(qiáng)用戶體驗(yàn)效果，使其體驗(yàn)到前所未有的真實(shí)感。

在現(xiàn)實(shí)生活中，MR技術(shù)的應(yīng)用范圍十分廣泛。例如，對(duì)于一場(chǎng)演唱會(huì)來(lái)說(shuō)，觀看者的視覺(jué)與聽(tīng)覺(jué)體驗(yàn)是演出效果的核心所在。視覺(jué)方面，通過(guò)在直播中應(yīng)用MR技術(shù)，在舞臺(tái)表演區(qū)域內(nèi)，在多個(gè)角度架設(shè)VR攝像機(jī)進(jìn)行攝錄，就能為觀眾全方位、多角度地展現(xiàn)演唱會(huì)現(xiàn)場(chǎng)的實(shí)時(shí)場(chǎng)景。同時(shí)，在直播期間也可以使用特種設(shè)備，通過(guò)更多的運(yùn)動(dòng)鏡頭和更全面的角度，來(lái)展現(xiàn)表演者精彩的運(yùn)動(dòng)姿態(tài)和不斷變化的舞臺(tái)效果。聽(tīng)覺(jué)方面，通過(guò)在內(nèi)場(chǎng)布置多個(gè)收取觀眾音效的話筒，同時(shí)進(jìn)行音樂(lè)縮混配比，能夠更好地還原出會(huì)場(chǎng)的音樂(lè)效果。

在2018年中央電視臺(tái)“五一”勞動(dòng)節(jié)的晚會(huì)上，其中所展現(xiàn)的未來(lái)中國(guó)繁榮昌盛的美好圖景，就是通過(guò)混合現(xiàn)實(shí)技術(shù)來(lái)實(shí)現(xiàn)的。在播出過(guò)程中，節(jié)目組通過(guò)使用高清攝像機(jī)、電影級(jí)攝像頭捕捉畫面，使用多臺(tái)機(jī)器對(duì)畫面無(wú)縫拼接等方式形成沉浸式的視覺(jué)效果，為觀看者帶來(lái)了強(qiáng)烈的交互體驗(yàn)，實(shí)現(xiàn)了觀眾與現(xiàn)場(chǎng)表演者的零距離接觸。這種虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用讓晚會(huì)科技含量更高、更現(xiàn)代化，也讓觀眾獲得了完美的沉浸式視覺(jué)體驗(yàn)。

3. 人工智能（Artificial Intelligence）

人工智能是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人類智慧的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門全新的技術(shù)科學(xué)。上海廣播電視臺(tái)在節(jié)目制作中通過(guò)現(xiàn)實(shí)技術(shù)與人工智能技術(shù)的綜合應(yīng)用使觀眾能夠在節(jié)目直播過(guò)程中達(dá)到身臨其境的感覺(jué)，實(shí)現(xiàn)最佳的直播效果，解決了許多以往節(jié)目直播過(guò)程中無(wú)法解決的問(wèn)題。例如，在體育賽事的直播中，由于現(xiàn)場(chǎng)座位數(shù)量有限等原因，很多人不能前往現(xiàn)場(chǎng)觀看比賽。利用人工智能技術(shù)，我們可以通過(guò)無(wú)傳感器方式直接合成信號(hào)，通過(guò)圖像識(shí)別系統(tǒng)實(shí)現(xiàn)圖像引擎的跟蹤分析，這種轉(zhuǎn)播方式以沉浸式的感官體驗(yàn)打破了虛擬與現(xiàn)實(shí)之間的界限，使所有的非現(xiàn)場(chǎng)觀眾達(dá)到了與現(xiàn)場(chǎng)觀眾同樣的觀看效果。

四、沉浸式2.0視覺(jué)體驗(yàn)（PQC+MR+AI）個(gè)案分析

1. 音樂(lè)節(jié)目《東方風(fēng)云榜》

《東方風(fēng)云榜》是中國(guó)內(nèi)地第一個(gè)舉辦頒獎(jiǎng)演唱會(huì)的流行音樂(lè)節(jié)目。隨著時(shí)代科技的發(fā)展，東方風(fēng)云榜的電視轉(zhuǎn)播技術(shù)從模擬、標(biāo)清走到數(shù)字高清，實(shí)現(xiàn)了從單一字幕到復(fù)雜包裝的跨躍式轉(zhuǎn)變。在頒獎(jiǎng)演唱會(huì)的轉(zhuǎn)播方面，上海廣播電視臺(tái)從2015年開(kāi)始就采用A R技術(shù)，通過(guò)在演出現(xiàn)場(chǎng)架設(shè)路由器的方式實(shí)現(xiàn)了現(xiàn)場(chǎng)信號(hào)的全覆蓋，由主機(jī)控制聲音，切換臺(tái)、舞美和燈光。在多年來(lái)的轉(zhuǎn)播實(shí)踐中，上海廣播電視臺(tái)已經(jīng)通過(guò)協(xié)同控制MR、AI等新技術(shù)的融合應(yīng)用，在轉(zhuǎn)播制作中達(dá)到了視覺(jué)控制PQC、MR、技術(shù)三位一體聯(lián)動(dòng)的高效綜合制作水平。

2. 體育賽事直播

三維融合技術(shù)下的沉浸式視覺(jué)體驗(yàn)在體育賽事的直播方面也有很好的應(yīng)用效果。例如，在中央電視臺(tái)轉(zhuǎn)播的幾次馬拉松賽事中，為了更好地展現(xiàn)賽事的進(jìn)行情況，中央電視臺(tái)采用了MR技術(shù)和GP S跟蹤技術(shù)，使觀眾可以清晰地看到運(yùn)動(dòng)員的跑步軌跡，甚至可以捕捉到選手的細(xì)微表情，這些都給觀眾帶來(lái)了更好的代入感，使賽事轉(zhuǎn)播達(dá)到了觀眾與運(yùn)動(dòng)員同聲同氣的視覺(jué)體驗(yàn)效果。這種轉(zhuǎn)播方式改變了過(guò)去只向觀眾簡(jiǎn)單灌輸?shù)膯蜗蜣D(zhuǎn)播模式，整合了轉(zhuǎn)播過(guò)程中的視覺(jué)、聽(tīng)覺(jué)等多種要素，達(dá)到了豐富的多屏聯(lián)動(dòng)、連線采訪、跨屏互動(dòng)效果，全面激活了媒體傳播新格局，使馬拉松比賽的直播效果更加生動(dòng)和真實(shí)。在轉(zhuǎn)播的同時(shí)，中央電視臺(tái)還加入了很多無(wú)人機(jī)航拍環(huán)節(jié)，航拍直播信號(hào)采用4 G傳輸包，實(shí)時(shí)傳送到媒體服務(wù)器，之后轉(zhuǎn)換為S D I信號(hào)并接入轉(zhuǎn)播車進(jìn)行切換播出，無(wú)人機(jī)航拍技術(shù)的應(yīng)用為觀眾呈現(xiàn)了全新的馬拉松轉(zhuǎn)播模式，提高了體育賽事的觀賞性和觀眾的參與度。

3. 上海迪士尼樂(lè)園開(kāi)園盛典

上海迪士尼樂(lè)園開(kāi)園盛典的轉(zhuǎn)播也是三維融合（PQC+MR+AI）技術(shù)協(xié)同制作的成功案例。在這次活動(dòng)的轉(zhuǎn)播過(guò)程中，上海廣播電視臺(tái)對(duì)每個(gè)機(jī)位的控制都非常精確，通過(guò)精準(zhǔn)的控制實(shí)現(xiàn)了對(duì)每一個(gè)細(xì)節(jié)的抓拍。同時(shí)，為了準(zhǔn)確展現(xiàn)現(xiàn)場(chǎng)表演的精美效果，上海廣播電視臺(tái)利用超高清大型協(xié)同轉(zhuǎn)播制作平臺(tái)（UH D6）制作，輔以超高清拍攝、通話和協(xié)同等技術(shù)，使播出的節(jié)目超出了一般轉(zhuǎn)播的范圍，且更為精美。在此次轉(zhuǎn)播中，上海廣播電視臺(tái)通過(guò)超高清與高清同播系統(tǒng)、集中控制系統(tǒng)、PQC及節(jié)目質(zhì)量體系等媒體技術(shù)的應(yīng)用，很好地展示了迪士尼樂(lè)園的歡樂(lè)主題。在轉(zhuǎn)播過(guò)程中對(duì)每一個(gè)時(shí)間點(diǎn)精確的控制更完美地展現(xiàn)了迪士尼樂(lè)園的全景，為觀眾營(yíng)造出了無(wú)與倫比的貼近感體驗(yàn)。

五、結(jié)論

虛擬現(xiàn)實(shí)技術(shù)作為全新的視覺(jué)藝術(shù)表達(dá)形式，完全顛覆了傳統(tǒng)的傳受模式，同時(shí)，人工智能技術(shù)的應(yīng)用為直播的良好效果提供了絕佳的保障，制作質(zhì)量管理體系的引入又將虛擬現(xiàn)實(shí)技術(shù)與人工智能技術(shù)完美地結(jié)合起來(lái)，為觀眾帶來(lái)了前所未有的沉浸式視覺(jué)體驗(yàn)效果。這種沉浸式的視覺(jué)體驗(yàn)與傳統(tǒng)媒體給觀眾帶來(lái)的體驗(yàn)相比，技術(shù)特性更強(qiáng)，觀眾的信息選擇與參與度也更高。可以說(shuō)，虛擬現(xiàn)實(shí)技術(shù)通過(guò)多維影像視界的構(gòu)建、人機(jī)交互性的體驗(yàn)、用戶感官潛能的挖掘，為新聞行業(yè)打開(kāi)了一扇嶄新的大門，也為人類提供了一個(gè)認(rèn)識(shí)和感知世界各種可能的全新、多元化視角。