VR 應(yīng)用的云渲染解決方案

林墨耘 馬媛 房林

（中國電子科技集團公司第三十研究所，四川 成都 610000）

云渲染(cloud render)是基于云計算和流媒體技術(shù)的概念，借助云計算超強的計算能力及高速穩(wěn)定的網(wǎng)絡(luò)，采用視頻碼流作為“云端”向“終端”呈現(xiàn)處理結(jié)果的一種方案。VR 終端收集用戶的顯示內(nèi)容需求，將對計算能力要求最嚴苛的渲染部分傳輸至云渲染服務(wù)器，完成渲染、編碼后，經(jīng)過高帶寬、低時延反饋至VR 終端進行解碼顯示，從而降低VR 終端的性能要求，大幅度降低終端的成本。云渲染涵蓋范圍較為廣泛，利用云端GPU 資源進行運算并將結(jié)果傳送至終端的方式均可以稱之為云渲染。

在云渲染技術(shù)的支持下，普通用戶無需購買昂貴的VR 設(shè)備，僅需要低成本的VR一體機或機頂盒或手機VR 盒子，就可以實現(xiàn)大規(guī)模的交互式VR 業(yè)務(wù)體驗，為VR 業(yè)務(wù)的普及提供了新的發(fā)展機遇。

一、云渲染解決方案

（一）云渲染方案架

云渲染解決方案體系結(jié)構(gòu)由終端層、網(wǎng)絡(luò)層、平臺層和內(nèi)容層組成。終端層為虛擬現(xiàn)實終端主要實現(xiàn)虛擬現(xiàn)實內(nèi)容渲染、家庭網(wǎng)絡(luò)訪問和用戶認證等功能，通過千兆光纖、5G 網(wǎng)絡(luò)等高速通道與平臺層連接。網(wǎng)絡(luò)層包括骨干網(wǎng)絡(luò)、城域網(wǎng)、接入網(wǎng)絡(luò)和家庭網(wǎng)絡(luò)，負責(zé)為虛擬現(xiàn)實云渲染服務(wù)提供大帶寬、低延遲的穩(wěn)定傳輸。平臺層為VR特定應(yīng)用提供云渲染、流媒體、轉(zhuǎn)碼、存儲、編碼等功能。內(nèi)容層主要負責(zé)向平臺層提供應(yīng)用程序內(nèi)容，包括內(nèi)容提供商和內(nèi)容聚合商、包括視頻服務(wù)在內(nèi)的虛擬現(xiàn)實內(nèi)容和強大的互動服務(wù)。

（二）渲染業(yè)務(wù)平臺

云渲染平臺由VR 中心管理系統(tǒng)和多個VR 云渲染系統(tǒng)組成。

1.中心管理系統(tǒng)。

VR 中心管理系統(tǒng)是云渲染平臺的核心控制部分，集中接收用戶VR 終端發(fā)起的視頻處理請求，調(diào)度云計算資源，存儲關(guān)鍵的系統(tǒng)配置、用戶權(quán)限等數(shù)據(jù)，其內(nèi)部主要分為業(yè)務(wù)系統(tǒng)、存儲管理和統(tǒng)一會話調(diào)度管理三大功能區(qū)域。

2.云渲染系統(tǒng)。

云渲染系統(tǒng)是云渲染平臺的核心部件，主要負責(zé)VR 應(yīng)用的邏輯計算、實時渲染、編碼、推流等處理，云端處理的高并發(fā)、低時延需要云渲染系統(tǒng)來保障。云渲染方案將硬件資源池化，行程GPU 渲染、CPU 計算資源池，在此基礎(chǔ)上構(gòu)建多個虛擬機作為VR業(yè)務(wù)的運行環(huán)境，根據(jù)用戶需求及應(yīng)用環(huán)境對CPU 計算資源和GPU 渲染資源進行動態(tài)分配。云渲染通用方案由基礎(chǔ)計算資源、虛擬服務(wù)資源、服務(wù)應(yīng)用層組成，部署在邊緣側(cè)，通過調(diào)用與用戶最近的資源提高效率。

3.云渲染平臺建設(shè)。

云渲染平臺的建設(shè)一般分為兩個階段，第一階段采用集中式部署，快速形成運算能力平臺，快速上線云渲染服務(wù)，第二階段采用分布式部署，以確保系統(tǒng)的高并發(fā)性和高可用性。

分布式部署通過邊緣節(jié)點服務(wù)（Edge Node Service，ENS），降低響應(yīng)時延和帶寬成本、減輕中心集群壓力，適用于“中心+邊緣”架構(gòu)模型下的各類業(yè)務(wù)。

集中式部署方案已具有較多成熟、可借鑒案例，本文主要介紹分布式部署方案。平臺將云VR 平臺管理和業(yè)務(wù)管理放在了核心網(wǎng)一端；將具備渲染能力及編解碼能力的應(yīng)用服務(wù)器放在了邊緣節(jié)點一端更貼近用戶側(cè)，目的是降低時延，給用戶帶來低時延的VR 體驗。

分布式部署是將云服務(wù)平臺的中心系統(tǒng)部署在總前端機房，將分前端系統(tǒng)部署在分前端機房，分布式的部署方式能夠減輕視音頻流給骨干網(wǎng)帶來的壓力，同時降低了視音頻傳輸?shù)木W(wǎng)絡(luò)時延，提供給用戶更加優(yōu)異的體驗，適合系統(tǒng)擴容及后期較大規(guī)模的云服務(wù)平臺。

目前平臺支持基于5G 架構(gòu)的MEC 服務(wù)器形式部署，并進行落地環(huán)境測試驗證。云VR 平臺基于云端能力建設(shè)，支持彈性、靈活、平滑的擴容方案。云VR 渲染系統(tǒng)支持部署在云計算的虛擬機上，也支持部署在有GPU 能力的硬件服務(wù)器上。

虛擬化與物理服務(wù)器結(jié)合部署模式的主要思路是將中心管理系統(tǒng)、分前端管理系統(tǒng)及業(yè)務(wù)管理系統(tǒng)部署在虛擬服務(wù)器，由于中心、分前端、業(yè)務(wù)管理對于服務(wù)器性能需求相對較低，在虛擬服務(wù)器中能夠進行正常的操作運行，降低物理服務(wù)器部署成本；將應(yīng)用平臺部署在物理服務(wù)器，應(yīng)用平臺中安裝應(yīng)用，主要負責(zé)應(yīng)用的運行和結(jié)果回傳，對于顯卡等硬件要求較高，通過部署在物理服務(wù)器，可以直接調(diào)用強大的服務(wù)器硬件資源，使得應(yīng)用運行更加流暢，提升用戶體驗感

全虛擬化部署模式的主要思路是將所有運算功能模塊全部部署在虛擬服務(wù)器上，相比于虛擬化與物理服務(wù)器結(jié)合部署模式，全虛擬化部署可更加充分利用服務(wù)器硬件性能，適合于大批量用戶應(yīng)用場景，由于應(yīng)用平臺也部署在虛擬服務(wù)器，在部署大批量場景時硬件成本更低，管理也更加便利。

二、云渲染終端

（一）終端接入

云XR 終端系統(tǒng)實現(xiàn)與云端的協(xié)議交互、操作指令等數(shù)據(jù)回傳以及音視頻流解碼播放等能力，終端設(shè)備需要集成云VR 平臺的終端系統(tǒng)軟件。

云XR 平臺要求終端具備視頻解碼能力、VR 顯示能力和交互能力，因此終端只需要滿足以上功能，要達到更好的效果，需要終端基于以上功能做相應(yīng)的優(yōu)化，以達到終端最優(yōu)效果。目前云VR 平臺已經(jīng)支持VR 一體機、手機和云VR 機頂盒這三種形式的客戶端作為終端設(shè)備。

終端系統(tǒng)軟件支持VR終端進行集成，集成后終端可以經(jīng)過IP網(wǎng)絡(luò)、光纖入戶網(wǎng)絡(luò)、家庭wifi 以及5G 網(wǎng)絡(luò)接入云VR 平臺。

在Cloud XR 解決方案中，Cloud XR 終端需要與視頻業(yè)務(wù)平臺、強交互業(yè)務(wù)平臺、投屏系統(tǒng)、機頂盒對接。需要通過增加Laucher、視頻業(yè)務(wù)APK、強交互業(yè)務(wù)APK、登錄鑒權(quán)、投屏服務(wù)等功能，從業(yè)務(wù)平臺服務(wù)器獲取編排后的視頻和強交互內(nèi)容。終端將內(nèi)容投屏共享給機頂盒，機頂盒通過播放器播放XR 投屏內(nèi)容。Cloud XR 終端主要通過無線WI-FI 接入，終端特點是無線、可移動、舒適度相對高、交互自由、配置安裝簡單，更容易大規(guī)模用戶的普及。

視頻業(yè)務(wù)APK：為了能訪問、對接XR 視頻業(yè)務(wù)平臺，終端需要繼承視頻業(yè)務(wù)，與云端進行業(yè)務(wù)的交互及服務(wù)狀態(tài)的監(jiān)控。

強交互業(yè)務(wù)APK：終端需要集成強交互業(yè)務(wù)的APK，包含門戶及交互協(xié)議庫。云XR協(xié)議庫負責(zé)與云渲染平臺進行交互、操作數(shù)據(jù)回傳提供基礎(chǔ)SDK；門戶用于為用戶提供操作入口，內(nèi)容展示、聚合。

用戶鑒權(quán)：用戶鑒權(quán)可以通過手機驗證和APP 登錄鑒權(quán)，對Cloud XR 進行授權(quán)和解除授權(quán)。也可通過終端登錄方式進行鑒權(quán)，不過此方案教手機鑒權(quán)操作較復(fù)雜。

投屏服務(wù)：投屏功能，可將XR 終端顯示的內(nèi)容同步投屏到電視上。用戶在終端發(fā)出投屏指令，通過用戶登錄鑒權(quán)實現(xiàn)Cloud XR 終端與機頂盒配對綁定并借助投屏信息通道進行投屏控制。

通信能力：Cloud XR 終端通過WI-FI 或者5G 通信模塊與業(yè)務(wù)平臺對接，結(jié)合業(yè)務(wù)的帶寬及時延要求，終端需要支持5G 或者WI-FI。

（二）終端接入形式

VR 終端設(shè)備主要分為VR 一體機和VR 頭顯兩種形式，云VR 能夠同時支持以VR 機頂盒、VR 一體機、手機+VR 眼鏡盒子作為云VR 終端，形成云VR 平臺+云VR 機頂盒+VR 頭顯和云VR 平臺+VR 一體機兩種接入方式。

另外，為了VR 業(yè)務(wù)適用于家庭VR 應(yīng)用場景，云VR 平臺支持將VR 設(shè)備中的展示畫面實時同步到其他VR 設(shè)備，以及非VR 設(shè)備，包括：TV、手機、PAD 等屏幕，實現(xiàn)VR內(nèi)容的同屏分享。

自身具備一定的VR 應(yīng)用的運行能力，使得用戶不需要通過線纜連接計算設(shè)備，用戶使用起來更為方便。但是由于VR 一體機計算性能相對高性能計算機來說還是太弱了，炫酷的VR 內(nèi)容無法流暢運行，因此，利用VR 一體機的便利性，通過云VR 支撐其運行復(fù)雜的VR 應(yīng)用也是一個不錯的組合。優(yōu)勢：1.自帶一定的解碼和VR 顯示能力，沒有線纜的束縛，用戶使用更方便；2.只要在網(wǎng)絡(luò)可達支持，VR 一體機都可以方便的訪問云VR的內(nèi)容，更加靈活。

手機+VR 眼鏡是VR 設(shè)備中重要的一個類型，VR 眼鏡本身具有良好的鏡片顯示效果，將運算能力遷移至手機端進行處理，也進一步降低了VR 設(shè)備的重量。但是由于手機計算性能相對高性能計算機來說還是太弱了，炫酷的VR 內(nèi)容無法流暢運行，因此，利用手機+VR 眼鏡的便利性，通過云VR 支撐其運行復(fù)雜的VR 應(yīng)用也是一個不錯的組合。優(yōu)勢：1.VR 眼鏡具備一定的VR 顯示能力，重量進一步減輕，用戶使用更方便。2.利用手機作為運算終端，更加便利，也節(jié)省了大部分終端成本，只要網(wǎng)絡(luò)帶寬允許即可支持，可以方便的訪問云VR的內(nèi)容，更加靈活。

三、渲染技術(shù)指標

云渲染的一個重要的技術(shù)指標是時延，時延分為云端時延、終端時延、網(wǎng)絡(luò)時延三部分。

云端處理時延：云端時延包含邏輯計算、內(nèi)容渲染、編碼和數(shù)據(jù)發(fā)送等，根據(jù)當前行業(yè)發(fā)展建議：邏輯計算、內(nèi)容渲染、編碼并行處理大約需要10～15ms，數(shù)據(jù)傳送時延約10-15ms，云端處理總的時延應(yīng)≤30ms。

網(wǎng)絡(luò)傳輸時延：根據(jù)實驗室多人測試數(shù)據(jù)，當前網(wǎng)絡(luò)對體驗影響的拐點出現(xiàn)在網(wǎng)絡(luò)時延在15～20ms；時延>19ms，操作傳輕微遲滯；時延>23ms，轉(zhuǎn)頭體驗劣化，出現(xiàn)明顯黑邊。所以網(wǎng)絡(luò)傳輸?shù)臅r延應(yīng)≤20ms。

終端處理時延：數(shù)據(jù)流傳輸?shù)浇K端后，終端需要對數(shù)據(jù)流進行解碼、同步，再經(jīng)過異步扭曲、反畸變等處理后，顯示應(yīng)用內(nèi)容。采用90FPS的解碼能力，解碼時延約11ms，云平臺和終端異步時間一般為0～1 個周期，所以終端解碼和同步時延應(yīng)≤20ms。

四、結(jié)語

基于云渲染的虛擬現(xiàn)實服務(wù)可以并行訪問多種類型的虛擬現(xiàn)實終端、外圍設(shè)備和用戶，以及提供2d 視頻、3d 視頻、虛擬全景視頻、虛擬現(xiàn)實游戲和其他很酷的服務(wù)，還有門戶、游戲教育娛樂特效和其他很酷的商業(yè)展覽，以及門戶游戲教育娛樂特效和其他很酷的商業(yè)展覽，以及門戶、游戲教育娛樂、廣告、電子商務(wù)和其他應(yīng)用程序下載操作，提供一個用戶友好的終端體驗大大提高了體驗效果，并大大豐富了虛擬現(xiàn)實終端可以承載的服務(wù)類型。它將有力地推動運營商網(wǎng)絡(luò)服務(wù)的發(fā)展，為全媒體云服務(wù)提供一種新的模式。