基于云XR的沉浸式游戲平臺關鍵技術與架構研究

唐 勇 劉曉軍

1.炫彩互動網絡科技有限公司；2.中國電信股份有限公司電信研究院

0 引言

XR（Extended Reality / Cross Reality，擴展現實）是AR（Augmented Reality，增強現實）、VR（Virtual Reality，虛擬現實）、MR（Mixed Reality，混合現實）等多種技術的統稱。隨著5G技術的發展與大規模商用，云XR（Cloud XR）將復雜的渲染計算從終端側遷移至云端/邊緣端，充分發揮智能終端-高速網絡-云資源池之間的協同效應，已逐步成為XR的主流。基于5G技術的高帶寬、低時延特性，以及云資源池強大的圖形渲染能力，云XR用戶可在各種終端設備上遠程串流云服務器上的XR內容，獲取高質量的沉浸式體驗。

云端協同渲染的模式，最大程度地屏蔽了XR終端碎片化的影響，可實現XR終端的輕量化，大幅降低終端成本，也為XR應用打開更廣闊的市場；5G網絡的低延遲特性更好地切合XR應用對時延極其敏感的技術特點，有效解決頭顯時間延遲等技術問題；5G特有的網絡切片與移動邊緣計算（MEC）技術可為XR應用程序提供網絡QoS保障，減少內容匯聚、節省帶寬；多用戶共享AR/VR體驗成為可能，可派生出多種強交互性的XR應用。

沉浸式游戲是云XR技術落地應用的典型場景，也是未來元宇宙虛擬世界的核心構成，將起到加速超級數字場景生態構建的作用。傳統的主機游戲、客戶端游戲及大型手機游戲對終端設備依賴度較高，低端用戶的需求無法得到滿足，限制了用戶規模增長與產業鏈發展；云游戲對傳統游戲業務模式進行了創新，用戶以購買或租賃云服務的方式接入到云游戲業務平臺，無需下載、即點即玩，通過手機、TV大屏或PC終端體驗到高品質的3A精品游戲大作；沉浸式游戲是云游戲業務的進一步拓展，通過云XR的云計算技術和可穿戴設備技術實現了真實世界信息和虛擬世界信息的無縫集成，為用戶帶來前所未有的沉浸式、可視化、實時人機交互的體驗。

目前，基于云XR的沉浸式游戲還存在技術不夠成熟與優質內容匱乏等問題。其中在終端層面，輕量化的顯示設備技術還不夠完美，頭顯的分辨率、紗窗效應及佩戴舒適度都有待完善；在平臺服務層面，沉浸式游戲對現有的主流云游戲平臺進行技術升級，解決以下問題：一是云端資源建設成本高、渲染能力不足，需要在有效提升云資源的算力的同時降低部署成本；二是單一的云端渲染模式無法與XR終端很好的匹配，容易在用戶移動時因為丟幀帶來眩暈或畫面模糊現象；三是交互模式需要優化，以兼容多種操控外設。

針對以上問題，本文從實現商用化沉浸式游戲業務平臺的角度出發，研究分析了云端并發承載、端云異步渲染與遠程交互映射等關鍵技術，并提出一種實用的沉浸式游戲業務平臺架構，可作為后續的研發工作基礎，也可為相關技術人員提供借鑒和參考。

1 沉浸式游戲平臺關鍵技術

實現沉浸式游戲平臺的主要技術難點在于如何構建一個低成本、高并發的云端資源池，支持多種終端類型的用戶接入，同時解決用戶移動過程中出現的眩暈問題并提升用戶體驗。對應的關鍵技術包括云端并發承載技術、端云異步渲染技術與遠程交互映射技術。

1.1 云端并發承載技術

沉浸式游戲需要提供全景的渲染能力，對CPU和GPU性能有較高的要求。實際應用中，主流GPU往往無法支持精品XR游戲在高畫質、高幀率條件下兩路同時運行，若采用獨占運行模式將造成較大的算力浪費。業界常用的GPU虛擬化技術通過每個游戲實例在一個虛擬GPU上運行的方式，可針對不同的游戲需求分配相應的算力，部分地解決了單片GPU支持多路游戲運行的問題，但也帶來了算力調度不靈活、內容運營流程復雜的問題。此外，在平臺部署時還要支付較高的license費用。

從降低云端部署成本角度出發，需要研究高效的云端并發承載技術，基于通用的圖形框架在云服務器上構建應用隔離的運行環境，實現多用戶、多游戲應用并行式運行。構建并行運行環境是云端并發承載技術的主要表現形態，其關鍵是GPU算力池化技術及CPU多核能力與CPU虛擬化技術。隨著GPU能力的不斷提升及基于云原生技術的沉浸式游戲逐步成熟，云端并發承載技術也在不斷演進中。如圖1所示，云端并發承載技術自下而上分為：

圖1 云端并發承載技術

（1）硬件層：由芯片和驅動兩部分組成，包括CPU、GPU、內存/硬盤、聲卡和網卡等硬件及其驅動，其中與游戲運行效果直接相關的是CPU、GPU與存儲性能。

（2）通用圖形框架：基于底層芯片軟硬件能力，專門為應用層提供增強的圖形編程接口，包括3D功能庫、計算邏輯與渲染的銜接機制等。Direct3D、OpenCL、OpenGL等通用圖形架構可有效利用各種主流芯片的軟硬件能力，降低上層應用調用芯片底層能力的技術門檻、提高應用研發效率，是游戲等圖形應用開發的基礎。

（3）并行運行環境：基于通用圖形架構，面向每個沉浸式游戲應用提供的相互隔離的運行環境，實現游戲運行、圖形渲染、數據采集、音視頻編碼等操作過程，滿足多個游戲用戶的并發請求。

1.2 端云異步渲染技術

目前云游戲平臺主要采用云端渲染模式，相關的渲染計算都在云端完成，終端側完成解碼、呈現及發送指令流。而沉浸式游戲平臺需要在全景/FOV畫面傳輸過程中采用端云協同異步渲染技術來減少用戶的眩暈感，確保服務良好的用戶體驗。具體而言，在云端完成渲染時，終端側采用異步時間扭曲（ATW）等技術根據用戶狀態的移動和角度變化進行一定的預測，提前按照云端當前下發的畫面生產對應中間幀，提高在沉浸式游戲應用轉動過程中的畫面精度，同時彌補在運動中因云端處理不及時或網絡傳輸性能問題而導致的游戲畫質較差或者畫面部分缺失的現象，從而最大限度地避免用戶前庭系統、視覺系統和身體感覺系統無法協調造成的眩暈感。

圖2所示為傳統的云端渲染處理過程與端云異步渲染技術實現過程的對比。

圖2 傳統渲染與端云異步渲染流程對比

（1）傳統渲染技術：在云平臺完成沉浸式游戲的邏輯運算、實時渲染以及編碼壓縮后，以音視頻流的方式下發到終端側解碼與呈現；同時終端側采集最新的用戶（XR頭盔等）姿態等信息，將采集的用戶狀態和操控指令，以數據包形式上傳到云端，云端再進行操控指令的轉譯，從而實現操控響應與互動。

（2）端云異步渲染技術：針對傳統的云端渲染技術進行了優化。在云端處理時，終端側依靠其本地傳感器、重力計的信息獲取和設備視覺系統的位置感知能力，在數個毫秒內快速感知，并在用戶開始移動時進行運行方向、角度等適度預測。在用戶姿態與位置感知和預測基礎上，針對云端下發的幀圖片進行適度的拉伸、扭曲等操作，以便在終端本地快速矯正由于用戶移動或轉動而導致的畫面缺失、模糊等現象，避免游戲畫面顯示不足與用戶體驗不適。在終端增加圖形幀的實現方式包括異步時間扭曲等技術，當游戲畫面無法保持足夠的幀率時，它能產生中間幀進行彌補，維持較高的畫面刷新率。

1.3 遠程交互映射技術

沉浸式游戲將音視頻流通過網絡傳送到XR終端側，同時通過終端側的傳感器、重力計、操控設備（手柄、手勢/聲音等），完成針對游戲的操控，并將操控指令上傳到云端，云端通過適度解析后反饋到游戲應用中，完成遠程交互映射的過程。沉浸式游戲上云前需要完成適配，這是實現遠程交互映射的先決條件。遠程交互映射模式能夠在最大限度上兼容多種類型的操控外設，通過云端的映射和轉譯技術，從本質上擴展了XR終端設備的適應性，不再局限于某一類設備特有的操控方式。具體如圖3所示。

圖3 遠程交互映射框架

（1）終端側：首先完成針對各種外設操控指令的采集及用戶當前各種傳感器相應的數據信息獲取；之后將對應的指令進行操控鍵值轉換，與操控游戲內容信息進行對應處理；然后終端側將獲取的操控指令和游戲內容信息進行打包，上傳到云端處理。

（2）云端：云端收集到終端側操控指令后，通過對比和查找游戲內容操控映射庫，將終端上傳的操控鍵值進行轉譯，轉化成為沉浸式游戲的操控指令，完成對應的沉浸式游戲的操控過程。

2 沉浸式游戲業務平臺架構

圖4所示為一種實用的沉浸式游戲業務平臺架構，自下而上包括網絡資源層、運營支撐層、業務管理層、終端層與應用層，構建了端到端的沉浸式游戲一體化解決方案。該架構已在中國電信集團級產品天翼云游戲/云VR業務平臺中得到應用。其中，在網絡資源層面，沉浸式游戲平臺是云游戲平臺的升級，具備更強的并發承載能力與云資源調度能力；在運營支撐層與業務管理層，支持端云協同的異步渲染模式，服務調度能力更強，同時支持云游戲/VR游戲/AR游戲/XR游戲及XR直播等多種類型的融合應用；在終端層與應用層，采用APP、客戶端或H5等形式將服務能力內置到手機終端、PC、OTT/電視大屏與XR設備等運行終端。

圖4 云化沉浸式游戲平臺架構

2.1 網絡資源層

通過自建或網元租賃方式建設全國性的云資源池，實現GPU、云主機、存儲等云資源的富集，并利用5G網絡架構優勢，突破網絡傳輸的技術瓶頸。

云資源池：部署在云端運行沉浸式游戲業務的云GPU主機（或虛擬機、容器等）、管理用CPU服務器（含虛擬機），及防火墻、交換機等網絡設備；

基礎網絡：提供不同服務節點與中心管理節點間高速、穩定的網絡鏈接服務，及業務能力層到用戶的高速、低延遲網絡服務，支持公眾用戶基于5G或寬帶網絡接入并使用沉浸式游戲服務。

2.2 運營支撐層

基于網絡資源層封裝出云渲染能力、流媒體能力與多屏能力等模塊，實現沉浸式游戲基于云端運行并通過視頻流下發到用戶終端，同時響應終端側操作指令請求的閉環，是沉浸式游戲運行的承載保障。

云渲染能力模塊：該模塊是沉浸式游戲平臺的核心，實現各類應用的虛擬化運行與承載，同時還包括資源池內與跨資源池的云資源管理、運行控制與服務調度等，提供云端能力相關的管理與調度功能；

流媒體能力模塊：基于云端的計算資源池，完成相應的實時轉碼服務、流分發服務、游戲運行服務等，需要確保面向各種不同類型終端提供服務的可靠性；

多屏能力模塊：提供投屏管理、終端管理和交互控制等功能。

2.3 業務管理層

業務管理層是整體業務的管理中樞，主要提供業務認證支付、運維支撐和運營分析等服務，同時提供統一業務管理入口，實現游戲內容和內容供應商（CP）等不同維度的管理功能。

認證支付：集中提供有關用戶和內容鑒權認證相關的用戶賬號管理，認證鑒權計費、支付結算等功能；

運維管理：提供完善運維管理功能，包括平臺管理、系統監控和資源管理等，能夠有效支撐業務管理層穩定、安全運行；

運營分析：通過收集業務數據、運營數據等不同數據源，進行數據深度挖掘；同時針對云資源流量進行實時監控；

門戶管理：面向用戶提供業務介紹、游戲內容、用戶信息和社區互動等功能；面向運營管理人員提供內容發布、內容管理入口等功能。

2.4 終端層

作為沉浸式游戲業務用戶側的能力延伸，采用APP、客戶端或H5等形式將服務能力內置到各種運行終端，支持云游戲/VR游戲/AR游戲/XR游戲及XR直播等多種類型的融合應用。

2.5 應用層

本層主要構建沉浸式游戲應用資源庫，向用戶提供多種類型的融合應用。游戲應用資源庫包括按照游戲類型、游戲質量、終端類型和計費狀態等構建游戲應用列表。其中，游戲類型除了傳統的角色扮演、動作格斗、體育競技、益智休閑等游戲類型外，還包括游戲視頻、直播等泛游戲內容；游戲質量根據內容來源區分為3A大作、精品、普通等；終端類型根據游戲內容適配完成情況進行區分，包括PC、手機、OTT機頂盒和XR獨立運行設備終端等。

3 結束語

云XR通過云計算技術和可穿戴設備技術實現了真實世界信息和虛擬世界信息的無縫集成，為用戶帶來前所未有的沉浸式、可視化、實時人機交互的體驗。為突破云資源計算能力與運行機制等方面的限制，本文重點研究了基于云XR的沉浸式游戲在實際應用中涉及到的云端并發承載、端云異步渲染和遠程交互映射等關鍵技術，同時討論了其平臺架構與模塊功能，對后續的技術研發工作具備一定的借鑒作用。