互聯(lián)網(wǎng)背景下的“虛擬現(xiàn)實(shí)+”數(shù)字媒體技術(shù)研究

摘要：為突破高沉浸數(shù)字媒體體驗(yàn)的終端算力瓶頸，文章設(shè)計(jì)并實(shí)現(xiàn)了一套基于“端—邊—云”協(xié)同計(jì)算的“虛擬現(xiàn)實(shí)+”技術(shù)架構(gòu)。該架構(gòu)通過(guò)優(yōu)化的混合渲染引擎與分布式框架，將計(jì)算密集型任務(wù)從用戶終端有效剝離。測(cè)試顯示，在50人并發(fā)的復(fù)雜場(chǎng)景下，系統(tǒng)仍能保證90 fps的幀率、低于70 ms的畫面延遲及小于50 ms的多人同步延遲。這一成果為下一代數(shù)字媒體的商業(yè)化應(yīng)用提供了參考。

關(guān)鍵詞：互聯(lián)網(wǎng)；虛擬現(xiàn)實(shí)；數(shù)字媒體；沉浸式體驗(yàn)；分布式計(jì)算

中圖分類號(hào)：TP37" " " 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2025）28-0096-03

開放科學(xué)（資源服務(wù)） 標(biāo)識(shí)碼（OSID）

0 引言

數(shù)字媒體的發(fā)展史是一部信息承載密度與交互維度不斷提升的歷史。虛擬現(xiàn)實(shí)（Virtual Reality， VR） 技術(shù)作為該演進(jìn)的前沿，旨在超越傳統(tǒng)的屏幕媒介范式，構(gòu)建人與數(shù)字信息環(huán)境深度融合的體驗(yàn)。然而，這一躍遷對(duì)圖形渲染與實(shí)時(shí)交互所要求的算力，遠(yuǎn)超當(dāng)前主流消費(fèi)級(jí)終端所能承載的極限。這一現(xiàn)狀預(yù)示著，下一代數(shù)字媒體的計(jì)算范式必須從“終端中心”轉(zhuǎn)向“網(wǎng)絡(luò)中心”，即由云、邊、端協(xié)同提供服務(wù)。本研究旨在通過(guò)設(shè)計(jì)并實(shí)現(xiàn)一套完整的“虛擬現(xiàn)實(shí)+”技術(shù)系統(tǒng)，對(duì)該“網(wǎng)絡(luò)中心”計(jì)算范式進(jìn)行實(shí)證探索。系統(tǒng)的核心貢獻(xiàn)在于將重度計(jì)算任務(wù)從本地設(shè)備解放出來(lái)，交由“端—邊—云”架構(gòu)協(xié)同處理，旨在為高品質(zhì)沉浸式內(nèi)容的規(guī)模化應(yīng)用鋪設(shè)一條可行的工程路徑。

1 虛擬現(xiàn)實(shí)技術(shù)在數(shù)字媒體領(lǐng)域的適用性

虛擬現(xiàn)實(shí)（VR） 技術(shù)并非簡(jiǎn)單的顯示終端升級(jí)，而是對(duì)數(shù)字媒體內(nèi)容承載與交互范式的一次根本性重塑。傳統(tǒng)數(shù)字媒體，無(wú)論是文本、圖像還是視頻，其本質(zhì)是一種二維信息傳遞，用戶始終隔著一塊“屏幕”作為觀察者。VR技術(shù)的根本適用性在于能夠消解用戶與內(nèi)容之間的媒介界面，將用戶從信息的“接收者”轉(zhuǎn)變?yōu)榄h(huán)境的“體驗(yàn)者”，實(shí)現(xiàn)了從“傳達(dá)”到“置入”的躍遷。這種躍遷的核心價(jià)值體現(xiàn)在沉浸感與能動(dòng)性兩個(gè)維度，二者共同構(gòu)成了衡量新一代數(shù)字媒體體驗(yàn)質(zhì)量的關(guān)鍵。

沉浸感，即M. Slater所定義的“臨場(chǎng)感”，是指用戶在虛擬環(huán)境中產(chǎn)生的“身處其中”的主觀感受，通過(guò)全景視聽包裹與高刷新率畫面，營(yíng)造出強(qiáng)烈的生理與心理臨場(chǎng)感[1]。在敘事媒體中，這能極大增強(qiáng)情感共鳴；在信息展示應(yīng)用中，則能顯著提升內(nèi)容傳遞的效率與深度。用戶不再是被動(dòng)的鏡頭跟隨者，而是擁有了自主探索空間的自由。在此之上，能動(dòng)性指用戶在虛擬環(huán)境中行使主觀意志、產(chǎn)生有意義行為的能力，它賦予了用戶改變虛擬世界的可能[2]。借助六自由度（6DoF） 追蹤與自然手勢(shì)交互，用戶從內(nèi)容的觀看者轉(zhuǎn)變?yōu)閰⑴c者，能夠操控物體、影響進(jìn)程，使數(shù)字媒體能夠承載協(xié)同設(shè)計(jì)、技能培訓(xùn)等更復(fù)雜的應(yīng)用邏輯。

2 互聯(lián)網(wǎng)背景下“虛擬現(xiàn)實(shí)+”的關(guān)鍵技術(shù)

2.1 實(shí)時(shí)渲染與三維建模技術(shù)

在“虛擬現(xiàn)實(shí)+”數(shù)字媒體的語(yǔ)境下，視覺保真度是構(gòu)建沉浸感的第一基石，而這直接取決于實(shí)時(shí)渲染與三維建模兩大支撐技術(shù)。為了同時(shí)滿足虛擬場(chǎng)景中自由交互的即時(shí)性需求與最終數(shù)字內(nèi)容成片的高品質(zhì)要求，本研究采用了一種雙管線處理策略，能有效避免因?qū)崟r(shí)交互而對(duì)最終渲染質(zhì)量做出妥協(xié)。該策略將制作流程解耦為服務(wù)于交互體驗(yàn)的“實(shí)時(shí)通道”和用于精細(xì)內(nèi)容生成的“離線通道”。

實(shí)時(shí)通道的目標(biāo)是在極短時(shí)間內(nèi)完成一幀畫面的繪制，其性能瓶頸直接決定了用戶體驗(yàn)的流暢度與舒適度。為保證VR環(huán)境下不產(chǎn)生眩暈感，單幀渲染用時(shí)必須嚴(yán)格控制在11 ms以內(nèi)。這一苛刻的時(shí)間預(yù)算，迫使實(shí)時(shí)通道在光照模型、陰影精度及后處理特效等方面采用高度優(yōu)化的近似算法。與之相對(duì)，離線通道則以追求物理真實(shí)感為首要目標(biāo)，不計(jì)時(shí)間成本地采用全局光照與路徑追蹤等復(fù)雜技術(shù)，以生成影視級(jí)的視覺效果[3]。表1直觀地對(duì)比了兩種渲染通道的核心參數(shù)。

2.2 人機(jī)交互與感知反饋技術(shù)

在“虛擬現(xiàn)實(shí)+”數(shù)字媒體生態(tài)中，人機(jī)交互與感知反饋技術(shù)是連接用戶與虛擬世界、實(shí)現(xiàn)從“被動(dòng)觀看”到“主動(dòng)參與”體驗(yàn)升級(jí)的核心橋梁。它要求交互方式擺脫傳統(tǒng)鍵鼠的束縛，向更符合人類行為直覺的自然交互范式演進(jìn)。為此，本研究構(gòu)建了一套多模態(tài)交互系統(tǒng)，以滿足不同數(shù)字媒體場(chǎng)景對(duì)高沉浸感與低學(xué)習(xí)成本的復(fù)合需求。

其中，高精度的六自由度（6DoF） 空間定位技術(shù)是實(shí)現(xiàn)用戶在虛擬演播室等復(fù)雜場(chǎng)景中自由漫游、探索的基礎(chǔ)，其端到端追蹤延遲必須嚴(yán)格控制在2 ms以內(nèi)，以從生理上杜絕眩暈感，保障用戶的基本在場(chǎng)感。在此基礎(chǔ)上，手勢(shì)識(shí)別與語(yǔ)音控制提供了直觀高效的內(nèi)容操控手段。例如，在數(shù)字展廳應(yīng)用中，用戶可通過(guò)自然手勢(shì)對(duì)虛擬展品進(jìn)行抓取、旋轉(zhuǎn)與縮放，指令識(shí)別率可達(dá)95%；而在媒體導(dǎo)覽場(chǎng)景下，語(yǔ)音指令查詢的系統(tǒng)響應(yīng)時(shí)間低于100 ms，實(shí)現(xiàn)了即問即答的流暢體驗(yàn)[4]。

為契合互聯(lián)網(wǎng)的社群屬性，本系統(tǒng)將多人協(xié)同交互置于核心，支持高達(dá)50名用戶在同一虛擬會(huì)議場(chǎng)景中并發(fā)互動(dòng)，將個(gè)體化的內(nèi)容消費(fèi)轉(zhuǎn)變?yōu)楣蚕淼纳缛后w驗(yàn)。具體功能與技術(shù)指標(biāo)見表2。

2.3 5G與云計(jì)算支持的分布式虛擬現(xiàn)實(shí)

互聯(lián)網(wǎng)背景下，高質(zhì)量虛擬現(xiàn)實(shí)應(yīng)用對(duì)計(jì)算資源的需求與終端設(shè)備性能有限的矛盾日益突出。為解決此難題，5G的高帶寬、低延遲特性與云計(jì)算的彈性算力相結(jié)合，催生了分布式虛擬現(xiàn)實(shí)技術(shù)。該技術(shù)通過(guò)構(gòu)建“端—邊—云”協(xié)同計(jì)算體系，將渲染與數(shù)據(jù)處理等重負(fù)載任務(wù)從本地設(shè)備剝離，是實(shí)現(xiàn)大規(guī)模、高保真數(shù)字媒體體驗(yàn)的關(guān)鍵路徑。圖1直觀地描繪了這套面向數(shù)字媒體的分布式內(nèi)容處理與分發(fā)架構(gòu)。

針對(duì)數(shù)字媒體應(yīng)用特點(diǎn)，云計(jì)算平臺(tái)定制了虛擬現(xiàn)實(shí)服務(wù)集群。其內(nèi)容處理模塊日處理能力高達(dá)10 000 h的視頻素材，可將傳統(tǒng)媒資高效轉(zhuǎn)化為VR場(chǎng)景。直播分發(fā)系統(tǒng)采用“中心+邊緣”的兩級(jí)架構(gòu)，中心節(jié)點(diǎn)負(fù)責(zé)內(nèi)容匯聚與統(tǒng)一調(diào)度，邊緣節(jié)點(diǎn)承擔(dān)用戶接入與本地分發(fā)，支持高達(dá)10萬(wàn)用戶同時(shí)在線觀看VR直播。而部署在網(wǎng)絡(luò)邊緣的計(jì)算節(jié)點(diǎn)，是保障低延遲體驗(yàn)的關(guān)鍵。每個(gè)邊緣節(jié)點(diǎn)均配備專用視頻處理單元，能并行處理32路4K視頻流，并集成了支持128聲道空間音頻的實(shí)時(shí)混音系統(tǒng)，為用戶打造身臨其境的沉浸式音視頻盛宴[5]。

3 “虛擬現(xiàn)實(shí)+”數(shù)字媒體技術(shù)的系統(tǒng)實(shí)現(xiàn)

3.1 實(shí)時(shí)渲染引擎的優(yōu)化設(shè)計(jì)

立足于雙管線架構(gòu)，本研究設(shè)計(jì)并實(shí)現(xiàn)了一套面向數(shù)字媒體制作的混合渲染引擎，通過(guò)深度優(yōu)化圖形管線，滿足虛擬演播室、在線展會(huì)等場(chǎng)景對(duì)沉浸感與交互性的嚴(yán)苛要求。為應(yīng)對(duì)數(shù)字媒體場(chǎng)景中普遍存在的多動(dòng)態(tài)光源環(huán)境，引擎的實(shí)時(shí)通道采用延遲渲染架構(gòu)。該架構(gòu)通過(guò)G-Buffer（幾何緩沖） 將場(chǎng)景的幾何信息（如位置、法線、反照率） 與光照計(jì)算解耦。在幾何階段，場(chǎng)景模型被渲染到多個(gè)渲染目標(biāo)中；在光照階段，僅需對(duì)屏幕空間的像素進(jìn)行光照處理，從而使光照計(jì)算的復(fù)雜度與光源數(shù)量成正比，而與場(chǎng)景的幾何復(fù)雜度無(wú)關(guān)。此設(shè)計(jì)在承載5～8個(gè)動(dòng)態(tài)光源的同時(shí)，依然能將渲染幀率穩(wěn)定在90 Hz以上（單幀耗時(shí)＜11 ms） ，為用戶提供流暢的交互體驗(yàn)[6]。相較于傳統(tǒng)的前向渲染，該架構(gòu)避免了因多光源導(dǎo)致幾何體被多次繪制的性能開銷，尤其適用于動(dòng)態(tài)光照復(fù)雜的數(shù)字媒體場(chǎng)景。

為了將實(shí)時(shí)預(yù)覽與離線精渲無(wú)縫銜接，引擎構(gòu)建了一套基于材質(zhì)圖的統(tǒng)一資產(chǎn)管理系統(tǒng)。同一套PBR（Physically-Based Rendering） 材質(zhì)資產(chǎn)，可根據(jù)目標(biāo)通道編譯生成兩套不同的著色器代碼：一套是為實(shí)時(shí)渲染優(yōu)化的簡(jiǎn)化版，另一套則是支持路徑追蹤與全局光照的完整版。這種設(shè)計(jì)統(tǒng)一了美術(shù)資產(chǎn)的制作標(biāo)準(zhǔn)，極大簡(jiǎn)化了從實(shí)時(shí)交互到高質(zhì)量成片導(dǎo)出的工作流。為直觀展示上述優(yōu)化策略的協(xié)同作用，圖2描繪了本引擎的核心數(shù)據(jù)處理流程。

3.2 分布式計(jì)算框架的實(shí)現(xiàn)方案

為支撐大規(guī)模、高保真的虛擬現(xiàn)實(shí)數(shù)字媒體應(yīng)用，并有效解決終端設(shè)備算力不足的難題，本研究基于“端—邊—云”協(xié)同理念，設(shè)計(jì)并實(shí)現(xiàn)了一套分布式計(jì)算框架，將云渲染與5G傳輸能力具體化，為虛擬直播、數(shù)字孿生媒體等復(fù)雜應(yīng)用提供可伸縮的后臺(tái)支撐。

框架的實(shí)現(xiàn)將計(jì)算任務(wù)精準(zhǔn)地劃分至三層邏輯實(shí)體。首先，云端中央集群作為資產(chǎn)處理與調(diào)度中心，主要承擔(dān)非實(shí)時(shí)計(jì)算密集型的任務(wù)。系統(tǒng)利用云端GPU集群，部署基于深度學(xué)習(xí)的三維重建服務(wù)，該服務(wù)可將廣電媒體庫(kù)中長(zhǎng)達(dá)500 h的二維視頻素材，在24 h內(nèi)自動(dòng)處理成適配VR場(chǎng)景的紋理化三維模型資產(chǎn)。同時(shí)，云端還負(fù)責(zé)對(duì)虛擬演播室等固定場(chǎng)景進(jìn)行全局光照的離線烘焙，生成的光照貼圖文件可將場(chǎng)景的靜態(tài)光影效果固化，資產(chǎn)包預(yù)處理后分發(fā)至各邊緣節(jié)點(diǎn)。

邊緣計(jì)算節(jié)點(diǎn)是保障低延遲交互體驗(yàn)的核心。本系統(tǒng)在此層部署了輕量級(jí)的容器化渲染服務(wù)實(shí)例，每個(gè)邊緣計(jì)算節(jié)點(diǎn)配置4塊NVIDIA A40 GPU。選用NVIDIA A40是因?yàn)槠渚邆鋸?qiáng)大的渲染能力與針對(duì)虛擬化優(yōu)化的特性，能夠并發(fā)支持50個(gè)用戶在同一虛擬發(fā)布會(huì)場(chǎng)景中的實(shí)時(shí)交互。邊緣節(jié)點(diǎn)執(zhí)行延遲敏感型任務(wù)，包括對(duì)云端同步的高精度資產(chǎn)進(jìn)行實(shí)時(shí)渲染、處理用戶的6DoF位姿數(shù)據(jù)，以及進(jìn)行多用戶間的狀態(tài)同步。為保障媒體流的傳輸質(zhì)量，系統(tǒng)實(shí)現(xiàn)了一套基于WebRTC的優(yōu)化傳輸協(xié)議，結(jié)合可動(dòng)態(tài)調(diào)整分辨率的智能編碼技術(shù)，將單用戶的下行峰值/平均帶寬需求穩(wěn)定在150 Mbps/80 Mbps，實(shí)現(xiàn)從邊緣服務(wù)器到客戶端70 ms以內(nèi)的端到端延遲[7]。

客戶端SDK的實(shí)現(xiàn)則聚焦于高效的數(shù)據(jù)上行與流暢的畫面呈現(xiàn)。SDK以最低系統(tǒng)開銷采集本地傳感器數(shù)據(jù)，并以20 Hz的頻率向邊緣節(jié)點(diǎn)上傳位姿與交互事件。在多人協(xié)同場(chǎng)景中，為保證交互的即時(shí)性與一致性，邊緣節(jié)點(diǎn)上的狀態(tài)同步服務(wù)器采用“快照插值”策略，以30 Hz的頻率向所有客戶端廣播權(quán)威世界狀態(tài)，消除網(wǎng)絡(luò)抖動(dòng)與數(shù)據(jù)包亂序的影響，將用戶間的動(dòng)作同步延遲嚴(yán)格控制在50 ms以下，為遠(yuǎn)程協(xié)作等數(shù)字媒體應(yīng)用提供流暢自然的交互保障。該策略通過(guò)在客戶端平滑地插值服務(wù)器狀態(tài)快照，有效平抑了網(wǎng)絡(luò)抖動(dòng)帶來(lái)的視覺不連貫問題，保證了多用戶交互的流暢性。

4 技術(shù)應(yīng)用效果分析

為綜合評(píng)估本研究所構(gòu)建的“虛擬現(xiàn)實(shí)+”數(shù)字媒體系統(tǒng)的綜合效能，研究選取了“虛擬在線發(fā)布會(huì)”作為典型應(yīng)用場(chǎng)景進(jìn)行實(shí)證測(cè)試。該場(chǎng)景包含超過(guò)5 000個(gè)獨(dú)立模型、5個(gè)動(dòng)態(tài)光源及3路4K視頻流輸入，模擬了高負(fù)載的數(shù)字媒體環(huán)境。

在渲染性能方面，測(cè)試場(chǎng)景在50人并發(fā)接入的條件下，客戶端平均渲染幀率穩(wěn)定維持在90 fps以上，單幀耗時(shí)為10.2 ms，完全滿足VR體驗(yàn)的流暢性要求，證實(shí)了優(yōu)化渲染引擎的有效性。在分布式計(jì)算框架的支撐下，系統(tǒng)關(guān)鍵網(wǎng)絡(luò)指標(biāo)表現(xiàn)優(yōu)異，如表3所示。

測(cè)試結(jié)果表明，“端—邊—云”協(xié)同架構(gòu)有效分擔(dān)了終端的計(jì)算壓力，并通過(guò)邊緣節(jié)點(diǎn)將交互延遲控制在極低水平。在交互體驗(yàn)層面，手勢(shì)識(shí)別操控媒體內(nèi)容的指令成功率達(dá)到96%。用戶主觀評(píng)估問卷（N=50） 采用基于沉浸感理論的李克特量表設(shè)計(jì)，內(nèi)部一致性信度Cronbach's α=0.85，效度驗(yàn)證良好。結(jié)果表明，系統(tǒng)的沉浸感與交互自然度評(píng)分均在4.5分以上（5分制） 。綜上，本系統(tǒng)在畫質(zhì)、流暢度與交互性上均達(dá)到設(shè)計(jì)預(yù)期，驗(yàn)證了該技術(shù)路線在賦能下一代數(shù)字媒體應(yīng)用上的可行性與優(yōu)越性。

5 結(jié)束語(yǔ)

本研究成功構(gòu)建了一套面向下一代數(shù)字媒體應(yīng)用的“虛擬現(xiàn)實(shí)+”技術(shù)系統(tǒng)，通過(guò)深度融合自主設(shè)計(jì)的雙管線混合渲染引擎與創(chuàng)新的“端—邊—云”協(xié)同計(jì)算框架，該系統(tǒng)為解決高品質(zhì)沉浸體驗(yàn)與終端算力之間的固有矛盾，提供了一條經(jīng)過(guò)實(shí)證檢驗(yàn)的可行技術(shù)路徑。在模擬高負(fù)載商業(yè)場(chǎng)景的實(shí)證分析中，系統(tǒng)在渲染性能、交互延遲及網(wǎng)絡(luò)穩(wěn)定性等關(guān)鍵指標(biāo)上均達(dá)到設(shè)計(jì)預(yù)期，證明了其在承載虛擬演播室、大型在線活動(dòng)等復(fù)雜應(yīng)用時(shí)的技術(shù)可靠性與優(yōu)越性。未來(lái)，隨著5G-Advanced、AI生成內(nèi)容等前沿技術(shù)的加速演進(jìn)，虛擬現(xiàn)實(shí)與數(shù)字媒體的融合必將催生出更為豐富、智能的內(nèi)容形態(tài)，本研究所奠定的技術(shù)框架將有望成為承載這些未來(lái)新范式的重要基礎(chǔ)設(shè)施。

參考文獻(xiàn)：

[1] 郭陽(yáng)，李昆昆，于春雨，等.超大型三維場(chǎng)景分布式渲染系統(tǒng)體系結(jié)構(gòu)與技術(shù)研究[J].科技創(chuàng)新與應(yīng)用，2022，12（17）：23-26.

[2] 何沂沛. 云邊端協(xié)同環(huán)境下云游戲的分布式渲染機(jī)制研究[D]. 呼和浩特： 內(nèi)蒙古大學(xué)， 2024.

[3] 張愛，周令令.虛擬現(xiàn)實(shí)技術(shù)在數(shù)字媒體交互設(shè)計(jì)中的應(yīng)用[J].電子元器件與信息技術(shù)，2024，8（11）：137-140.

[4] 王作寧. 數(shù)字媒體技術(shù)在非物質(zhì)文化遺產(chǎn)活態(tài)傳承中的應(yīng)用[J]. 百科知識(shí)， 2024， （33）： 58-59.

[5] 王純晨，包佳棟.數(shù)字時(shí)代非物質(zhì)文化遺產(chǎn)創(chuàng)新設(shè)計(jì)研究[J].新傳奇，2024（41）：101-103.

[6] 楊雨. 基于虛擬現(xiàn)實(shí)技術(shù)的數(shù)字媒體藝術(shù)設(shè)計(jì)系統(tǒng)研究[J]. 大觀， 2024（7）： 109-111.

[7] 崔明陽(yáng).虛擬現(xiàn)實(shí)技術(shù)賦能數(shù)字媒體藝術(shù)設(shè)計(jì)高質(zhì)量發(fā)展路徑研究[J].鞋類工藝與設(shè)計(jì)，2025（7）：71-73.

【通聯(lián)編輯：唐一東】