開啟視覺新維度：中國移動咪咕公司3D全真視頻驗證原型行業首發

一、背景

當前，視頻技術正在經歷顯著革新和發展。《5G超高清新場景白皮書》中指出，視頻技術正從傳統的二維平面類表現形式，向空間多維度交互方向發展。這種3D化交互式視頻允許用戶與視頻內容互動，全面升級信息維度，帶來更為真實、生動的沉浸式體驗和交互，更“真”地連接人與人、人與物、人與空間。

沉浸式視頻技術的突破，將徹底改變人與媒體的交互方式，在5G超高清視頻、體育賽事、綜藝節目和直播等場景中展現出巨大的應用價值。蘋果公司Vision Pro發布帶來的“Immersive Video（沉浸視頻）”、“Spatial Video（空間視頻）”是這一趨勢典型代表。字節火山引擎、騰訊等行業頭部公司也相繼提出基于三維重建的數實融合視頻技術，打破傳統平面視頻局限，加速多元化視頻內容真正走向用戶。

二、咪咕3D全真視頻技術介紹

中國移動咪咕公司聯合北大院士團隊，依托超高清元視覺技術創新實驗室、超高清全媒體開放實驗室兩大載體，發展戰略性新興產業，全球首發下一代視頻重大科研成果——“3D全真視頻”原型驗證。

中國移動咪咕公司首創面向3D全真視頻的直播制播系統，針對下一代視頻多樣化、視聽沉浸化、交互人性化等特點，研發面向未來視頻的采集與生成、制作與呈現、編碼與傳輸的端到端全流程技術能力，打造下一代視頻制作與呈現試驗區，貫通研轉用孵化，推動科研成果從“書架”走向“貨架”的端到端轉化。

3D全真視頻直播制播系統支持多視點拍攝，重建真實場景的全真動態三維對象數據表達。通過實時動態輻射場渲染技術，觀眾可享受360度自由觀看體驗，隨意在場內場外穿梭。采集環節，使用多臺高精度攝像機對全場景360度環繞采集，結合幀同步技術確保多路直播畫面幀級同步，為3D全真視頻的制作提供同步精準的實時畫面；制作環節，依托神經網絡熱區實時檢測技術、3D高斯潑濺技術、高精度控制矯正技術，構建6DoF視頻表示模型，重塑三維世界，增強視頻內容的交互豐富度與體驗真實感；傳輸編碼部分，基于國產化AVS技術的全真動態三維對象高效編碼，對三維動態對象進行深度優化與壓縮，確保高質量視頻內容的流暢傳輸，讓全真體驗觸手可及；呈現環節，引入虛擬視點重建技術，結合實時輻射場渲染算法，實現高質量視點重建，革新沉浸式觀看體驗。

三、咪咕3D全真視頻技術實踐中的挑戰

今年，咪咕視頻CBA直播場景對該項技術進行試商用，實現業界首次在移動端以360度環繞全景游戲化交互方式提供用戶新型觀看直播比賽。

在3D全真視頻技術實踐中，重點圍繞移動端切換視角靈敏度、畫面清晰度、播放流暢度的QOE用戶體驗，以及采集端全景精彩畫面采集制作，進行技術攻關，使用戶在移動端享受360度高度自由的沉浸觀賽體驗。

1.高流暢度切換多視角

3D全真視頻數據源是由相機陣列采集的，相機個數直接決定用戶可以觀看的視角靈活度，每一個相機產生一路視頻流，相機數增加，對應傳輸帶寬倍數增長。考慮到用戶實際帶寬限制和傳輸穩定性，需要盡量降低傳輸碼率，但如此會帶來播放畫質損失。為了權衡三者，選用一種雙流傳輸方案，用戶同時拉取兩路視頻流，其中一路包含所有視角信息，但畫質相對較低，另一路則保留高畫質。用戶在切視角時播放低畫質流，停留在某一視角時，自適應拉取指定視角的高畫質流。這樣可以避免傳輸多路高畫質流，同時保證用戶較高畫質體驗。

2.360度多焦點全景拍攝

隨著需求變化，部署方案也多次升級迭代。最初階段，相機陣列只支持圓形部署，即需要相機對準同一焦點，并且相機陣列與焦點距離要保持比較近。這種方式對場地條件有比較高的要求，且拍攝畫面只能以半場為主。

第二階段，為兼顧全場畫面，在起先制作方案時，把焦點放在場地邊線附近，這種方式可以使兩個半場都有較好的觀看視角，但存在相機離焦點距離有偏差，用戶可交互的視角范圍變小，只有大概 120—150 度。為滿足既要實現360 度觀賽，又要兼顧兩個半場觀賽，單焦點已經無法滿足需求，又重新設計了新方案，以在場地中線位置，選取多個焦點，如下圖所示。這樣不僅實現 360 度觀賽，而且兩個半場都可以獲得較好的觀看視角。

但是通過以上方式，用戶可交互的視角范圍較小，只有大概120—150度。如果要實現360度觀賽，同時兼顧兩個半場觀賽，部署方案又需要新的調整。這時單焦點已經無法滿足需求，技術團隊又設計了一種新的部署方式，可以在場地中線位置， 選取多個焦點，如下圖所示。這樣不僅實現360度觀賽，而且兩個半場都可以獲得較好的觀看視角。

3.360度多焦點自適應智能導播

以上方案中，拍攝焦點是固定的，用戶如果不切換視角，就只能停留在固定視野。而比賽過程中，場上活動區域在劇烈變化，精彩畫面在球場上的任意區域都會發生，用戶需要不停切換視角才能有效觀看比賽。為了提升用戶體驗，同時保留切換視角的靈活度，技術團隊設計了一種新的方案，在保留360度觀賽基礎上，融合球場熱區AI智能識別及多視角畫面實時追蹤精彩熱區的虛擬運鏡技術，每一個視角不同角度都實時同步統一的精彩區域，使用戶在不做視角切換時，也能觀看完整精彩畫面。

四、持續創新和未來展望

咪咕文化科技有限公司是中國移動面向數字內容領域的全資子公司，秉持中國移動內容生產者、 聚合者、傳播者的總體定位和角色要求，致力于成為兼具運營商特色和互聯網特點的數字內容平臺科技創新公司， 數字中國、科技強國、文化強國的新媒體國家隊，中國移動轉型升級改革創新的生力軍。咪咕文化科技有限公司正以大科學裝置——3D全真視頻驗證原型為基石，加速構建技術領先、高效運行的科研平臺，賦能下一代視頻產業，激發8K超高清、沉浸式視頻和虛擬現實業務需求，促成產學良性正向循環，推進戰略性新興產業發展。W

（本文由咪咕公司供稿、供圖）

責任編輯：任雨希