下一代通信助力實時分布云渲染

陸平 盛斌 朱方

摘要：實時分布式云渲染技術和5G通信技術的使用，可以解決工業模型中實時渲染的問題。實時分布式云渲染技術將渲染工作放在服務器端，再將渲染結果利用5G通信技術快速傳輸到客戶端以實現實時的瀏覽和交互。介紹了實時分布式云渲染技術的基本框架、關鍵技術、發展狀況，以及當前的一些應用，總結了其面臨的技術難題。認為新基建中人工智能的建設，可以進一步提升實時分布式云渲染的性能。

關鍵詞：工業數字化；實時分布式云渲染；服務器端渲染；5G傳輸

Abstract： Combining real-time distributed cloud rendering technology with 5G technologies can solve the problem of real-time rendering in industrial models. The rendering work is placed on the server side by distributed cloud rendering technology， and then the rendering results are transmitted to the client side quickly by 5G technologies to realize real-time browsing and interaction. Basic framework， key technologies， development status and some current applications of real-time distributed cloud rendering technology are introduced， and technical problems still faced by real-time distributed cloud rendering technology are summarized. It is believed that the construction of artificial intelligence in the new infrastructure can further improve the performance of real-time distributed cloud rendering.

Keywords： industrial digitization； distributed cloud rendering； server rendering； 5G transmission

在工業4.0時代，為了更加方便地進行工業設計和生產工作，人們已經逐步開始將大規模的工業模型制作成數字化模型后再渲染出來，供技術人員和設計人員使用。渲染是將三維的場景模型，通過添加材質、燈光、特殊效果等方式，最終將其轉化成可以在顯示器上呈現的二維圖像的過程[1]。渲染分為實時渲染和離線渲染：實時渲染是指計算機在完成每幀的渲染工作之后，就直接將渲染結果輸出顯示；離線渲染是指當完成全部的渲染工作后，再將渲染結果逐幀輸出。對于工業設計和生產來說，最理想的方式是多人交互的實時渲染。進行三維場景的實時渲染需要消耗大量的計算資源，還需要考慮模型的復雜度、紋理貼圖的精細度、光線計算的復雜度等。為了達到高保真度的寫實渲染效果，需要配備大型和專業的圖形顯卡等硬件設備，這是一筆不小的硬件費用支出。同時這些工業模型往往占用很大存儲空間并且具有一定的保密性，無法在單機渲染和存儲。為了解決這些問題，研究人員利用云計算技術和5G傳輸技術，發明了實時分布式云渲染技術。

實時分布式云渲染是指在云服務器中進行資源的分布式存儲、動態分配和模型場景的實時渲染，它保證了渲染資源的共享性和安全性。在服務器的總控制節點上，根據各個渲染分節點的渲染性能進行渲染資源分配，之后利用多臺服務器的計算資源進行渲染任務的渲染，最后各個分節點將渲染結果推流到總節點并進行合并，再傳遞到本地客戶端。利用實時分布式云渲染技術可以完成單機無法完成的大規模復雜場景的渲染工作，渲染出讓人無法分辨真假的圖像，同時大大降低客戶端處硬件設備的需求。網絡傳輸的速度和帶寬是分布式云渲染實時性的瓶頸。借助5G傳輸的高速度、大帶寬，可以突破這些瓶頸。多個用戶可以使用不同的硬件設備并利用5G網絡進行場景接入。多用戶在不同的視角下，同時對同一個大規模的復雜場景模型進行實時訪問瀏覽和交互式操作的功能，完全可以滿足工業設計和生產工作的需求。

1 實時分布式云渲染的技術特點

（1）分布式渲染技術

在早期對并行渲染技術進行研究時，人們將這種形式描述為一種“分類整理問題”（Sorting Problem），并根據“分類整理”（Sort）操作在渲染管線中的發生位置分為Sort-first、Sort-middle、Sort-last 3種主要類型。其中，發展與應用得最好的方式是Sort-middle[2]，它是指“整理”行為發生在幾何階段與光柵化階段之間，此時場景實體已經被轉換到顯示坐標系中。由于幾何階段和光柵化階段在實現原理上是分配給不同處理器運行的，因此Sort-middle是一種很自然的處理手段，而它也是集成電路獨立顯卡的理論基礎。

為了追求更逼真的視覺效果，渲染管線流程復雜程度顯著提升，集成顯卡的電路復雜程度也在隨之提升。此外，神經網絡渲染等新興技術的出現也對原有的技術框架不斷提出挑戰。人們之前就考慮過多渲染機并行的分布式解決方案，不過限于當時分機之間通信方式的吞吐量、時延、可靠性等，以并行集成電路為主要承載形式的圖形加速卡硬件占據了主流。而5G網絡的出現為這一領域開辟了新的可能，它能在保持超低時延的同時保證超大帶寬，因而彌補了多機分布式方案的短板。這種組織結構有望更加充分地發掘現有硬件設備的潛力，特別是神經網絡這一對存儲空間與算力要求非常高而對數據全局性依賴較低的計算過程。

（2）可交互云渲染技術

可交互云渲染技術的前身——“遠程實時協助”于1968年被實現，最初這項技術的主要內容是通過網絡連接實現多臺終端設備共享操作界面以及交叉控制。21世紀10年代以來，在智能手機、移動網絡和云技術逐漸發展和普及過程中，直播行業興起，人們開始關注小型設備通過網絡與云端服務器實時交互與傳輸媒體流的可能性，由此引申出了“云渲染”與“云游戲”等一系列概念。與傳統“遠程桌面”技術不同的是，可交互云渲染技術對各終端之間的網絡性能要求非常高，實時交互要求整個系統中每一部件之間的信息交換均具有極低的通信時延，而高分辨率圖像高速傳輸同時要求網絡具有超大吞吐量，且能快速處理擁堵與異常。除此之外，云渲染技術包括渲染環境部署、圖像渲染、圖像編碼、網絡傳輸、圖像解碼、顯示等一系列細分技術[3]。

2 實時分布式云渲染的發展

早在1994年，學術界就對分布式渲染（又稱并行渲染）有了較為早期的理論定義，而世界上第一款真正意義上的大眾消費級3D渲染加速卡——Voodoo于1995年才正式問世。在此之前，人們就逐漸意識到，面向通用型計算的傳統結構中央處理器（CPU）的圖像繪制運算效率并不高，CPU不同部件的工作負載十分不均衡，這限制了運算效率。為了滿足圖像繪制對計算能力日益增加的需求，人們開始研究并行計算的加速。此后，行業的研究方向主要集中于針對大規模場景的并行繪制和基于眾核硬件架構的并行光照計算。其中，多獨立節點式的并行繪制由于對節點之間的通信網絡反應時間、吞吐量等指標要求很高，在很長的一段時間內網絡通信技術無法滿足該需求，這導致該技術一直進展緩慢。近年來，隨著5G技術的逐漸成熟與普及，獨立渲染節點之間的超高性能交換網絡的組建成為可能，這讓該技術重新回到人們的視野之中。

多節點并行繪制主要的技術痛點是大規模場景中全局光照計算時的內存瓶頸問題，其中一種實現方式是內外存交換調度，另一種是將數據分布式存儲到不同節點內存。目前大多研究基于同構計算資源，通過對空間數據進行負載均衡的合理分割，實現高利用率的計算單元并行。目前的研究主要有基于圖像空間分解策略和基于場景空間分解策略兩個方向。

實時分布式云渲染的其中一個創新點是云技術。3G/4G網絡與直播的普及向人們證明了使用性能比較受限的小型設備，諸如手機平板等，是可以實現移動、流暢地播放高質量流媒體的。早在這一時期就已經有商家開始布局云游戲領域，不過受制于移動網絡穩定性、網速、延遲等，云渲染的發展也長期處于停滯狀態。5G技術的出現正好彌補了上一代移動網絡的短板，讓用戶通過小型便攜設備實時與云端游戲客戶端進行交互，并讓流媒體傳輸成為可能。云技術有望在5G通信的加持下解放終端設備，任一具有網絡功能的顯示設備均能進行高性能圖像軟件的操作使用。

實時光線追蹤在計算機圖像領域異軍突起，帶來了前所未有的真實繪制效果，引發一場新的繪制技術革命。而這種手段同時要求巨大計算量與時間復雜度，以完成對復雜光路的高數據密度計算，因此必須考慮用計算并行化方式提高速度。由于光線追蹤繪制具有全局化等特點，多節點式存儲的實現途徑將依賴不同節點的大量信息交換，這增添了新的運算負載，故在目前情況下光線追蹤領域分布式渲染并行方式具有局限性。

3 實時分布式云渲染的應用

當前，實時分布式云渲染以其高質量、高速度、對客戶端無壓力的特點成為了渲染技術研究的熱點。該技術目前的研究關鍵在于如何實現分布式節點在工作任務分配過程中的負載均衡，以及如何解決網絡通信開銷巨大、傳輸速度快等問題[3]，這使得該項技術還沒有被大規模地產業化應用。但這項技術一旦成熟就可以帶來技術紅利[4]，因此值得我們去大力探索。

具體來看，實時分布式云渲染技術在實踐中將展現出以下優勢：

（1）實時分布式云渲染技術極大地改善了用戶體驗。首先，云渲染技術的存在，使得用戶體驗不再囿于本地主機配置，用戶可以享受一些高畫質、高分辨率的動畫電影。其次，對于實時性強的應用，例如3D游戲，實時分布式云渲染能夠快速渲染出高幀率、高分辨率的畫面并進行傳輸。同時，實時分布式云渲染技術加強了對于閑置計算資源的利用，降低了資源的消耗。分布式云渲染概念是由分布式并行集群渲染技術衍生而來的，它將原先由本地客戶端處理的圖形渲染（2D、3D）轉移至云端，以使得網絡中閑置的計算資源得到利用，從而降低本地渲染時的硬件消耗成本。云渲染平臺的計算資源可以即使用即申請，不用時更不需要浪費本地各類資源進行維護[5]。

（2）5G技術的逐漸成熟使得云計算、云渲染技術在由云端向客戶端傳輸數據的瓶頸不復存在。這進一步彌補了實時分布式云渲染技術的應用化過程中薄弱的一環[6]。同時，相比于光纖傳輸和WiFi傳輸的方式，5G傳輸技術的移動性強，部署便捷性高。光纖傳輸方式需要鋪設大量的光纖線路，光纖入戶需要的成本高。而5G基站的建設成本低，單個基站就可以覆蓋周圍的區域。相比于WiFi傳輸方式如WiFi6，其主要用于室內無線終端上網，并不適合高速移動通信。而5G通信技術，既可以用于廣域高速移動通信，又可以用于室內無線上網。

對于實時分布式云渲染技術的應用，鑒于這一技術高效高質量渲染的特點，其潛在的服務對象為影視動畫、游戲、虛擬現實（VR）等行業的建模、燈光、渲染等領域。

影視動畫的渲染在集群式的渲染方式下即可完成；但在3D游戲、VR游戲等行業，因為實時性以及對渲染幀速率和分辨率的需求，實時分布式云渲染將大有可為。根據統計，近年來全球游戲市場規模逐漸擴大，2019年已達到1 457億美元， 2020年預計將達到1 593億美元，據此可以推測云游戲將是基于實時分布式云渲染架構的一個新的極具發展前景的應用[4]。云游戲服務這一概念首先由OnLive提出并證明了可行性，在云游戲的運行模式下，所有游戲都在服務器端運行，并將渲染完畢后的游戲畫面壓縮后通過網絡傳送給用戶。在客戶端，用戶的游戲設備不需要任何高端處理器和顯卡，只需要基本的視頻解壓能力即可流暢運行游戲。之后，HUANG C. Y.等又提出了第一個開放式云游戲系統GamingAnywhere，其具有高擴展性、可移植性（Windows、Linux、OS X）和可重新配置性，相較于OnLive和 StreamMyGame兩個系統具有更低的反應延遲、更高的畫面質量[7]。

另外，實時可視化渲染同樣是該技術的一個重要應用場景。可視化內容包含數據可視化、過程模擬可視化、虛實內容的融合等。渲染技術作為生成可視化內容的重要手段和流程，在當前新基建的提出和數據運用多樣化的大背景下，將會是非常重要的環節。在工業4.0時代，“智能”二字將更加深入人心，數據和信息將會更多地用于實際的科學研究和工業生產中。如果能在實際的生產中實現可視化，讓研究和生產過程更加直觀清晰，將對整個社會的發展有著巨大的促進作用。若高質量高速度的渲染、數據可視化、音響技術、傳感器技術等能進一步融合成為成熟的基于高分辨率立體投影的虛擬現實顯示技術，將可以用于任何具有沉浸感需求的虛擬仿真應用領域，如虛擬設計與制造、虛擬裝配、模擬訓練、虛擬演示演示、虛擬生物醫學工程、地質、礦產、石油、航空航天、科學可視化、軍事模擬地形地貌、地理信息系統（GIS）等。

隨著5G和人工智能（AI）時代的到來，實時分布式云渲染在未來必將發揮更大的優勢，視頻、游戲等行業也將會發生巨大改變；但未來還有很長的路需要探索。

4 問題與展望

實時的分布式云渲染技術已經得到一定的發展，達到了較好的效果，但仍面臨著一些技術難題：

（1）渲染任務的分配問題。使用實時分布式云渲染技術進行渲染的一般是大規模的復雜場景模型，因此需要通過總控制節點將渲染任務分配到不同的渲染子節點上。在該過程中需要創建一個高效的大規模復雜模型的管理框架，并考慮資源劃分的速度、各個渲染節點上的分配的工作負載均衡等問題。這是提高分布式渲染性能的必經之路。

（2）渲染結果的合成問題。各個節點渲染得到的效果需要匯總在總節點上，并合成為同一張圖像，再傳遞至客戶端處。如何將不同渲染節點上得到的渲染結果正確、快速地合成為一幀的圖像，也是一個影響實時分布式云渲染性能的重要問題。

（3）渲染結果的壓縮問題。需要將渲染得到的讓人無法分辨真假的圖像，高效無損地進行壓縮，最大程度滿足人們的視覺效果要求。

（4）網絡傳輸的帶寬和速度問題。為了將高質量的渲染結果在不同節點之間、客戶端與服務器端傳輸，需要較大的傳輸帶寬。為了達到實時渲染和實時交互的目的，需要較快的傳輸速度。

（5）安全問題。在計算機領域，安全性是指保證存儲在計算機上的數據不被沒有權限的人盜取和訪問，而云渲染的過程需要將數據從本地上傳至網絡[8]，這中間就存在著數據泄露的可能，從而威脅信息安全。人們因為信息安全的隱患而產生對技術本身的信任問題。一旦信任問題被解決，云渲染技術的發展速度就會得到極大提高。

新基建的提出將會進一步促進實時分布式云渲染的發展。新基建是指新型基礎設施建設，它通過吸收新科技革命成果，實現國家生態化、數字化、高速化、新舊動能轉換與經濟結構對稱態。2020年3月，中共中央政治局常務委員會提出要加快5G網絡、數據中心等新基建的建設進度。

5G網絡因其大帶寬和高傳輸速度的特點，為實時分布式云渲染技術提供了硬件上的支持。隨著5G網絡的進一步普及，利用5G進行實時分布式云渲染各個節點之間、服務器與客戶端之間的通信，將會大大提升實時分布式云渲染的性能。可以想象在不遠的將來，用戶可以直接使用手機、平板電腦等便攜式設備，通過連入5G網絡，直接進行大規模工業模型的多人交互設計工作。

新基建中人工智能的建設，也可以進一步提升實時分布式云渲染的性能。例如，可以利用深度學習技術，先進行用戶行動的智能預測，再利用預測得到的用戶接下來的動作提前進行下一步的渲染工作。這樣一來可以降低渲染延遲，也可以利用神經網絡進行注視點預測，以減少渲染計算量，提升計算資源的利用率。神經渲染已經成為計算機圖形學領域發展最為迅猛的發展方向之一，利用神經網絡可以達到獨特的渲染效果，如場景合成、視角變化等，這些都可以為實時分布式云渲染技術助力。這些人工智能方法的加入可以優化實時分布式云渲染技術的時延、渲染效果、渲染流程等。隨著新基建的發展，實時分布式云渲染將會迎來更大的發展空間和更好的發展前景。

致謝

感謝上海交通大學計算機系秦義明同學、華東理工大學計算機系黎宇航同學的調研工作，以及北京大學馬雷老師的指導工作。

參考文獻

[1] 渲染 [EB/OL].[2020-12-18]. https：//baike.baidu. com/item/渲染/464729

[2] MOLNAR S， COX M， EllSWORTH D， et al. A Sorting classification of parallel rendering[J]. IEEE computer and graphics and applications， 1994， 14（4）： 23-32. DOI： https：//doi. org/10.1109/38.291528

[3] LIU Z， ZOU H. AzureRender： a cloud-based parallel and distributed rendering system [C]// 2015 IEEE 17th International Conference on High Performance Computing and Communications. USA： IEEE， 2015： 1881-1886. DOI： 10.1109/HPCC-CSS-ICESS.2015.328

[4] 徐嬋嬋. 基于服務器端的三維渲染技術綜述 [J].中國傳媒大學學報（自然科學版）， 2019， 26（1）： 20-26

[5] HONG H J， CHUANG J C， HUS C H. Animation rendering on multimedia fog computing platforms [C]//IEEE International Conference on Cloud Computing Technology & Science. USA： IEEE， 2016

[6] 鄭海林， 朱峰. 基于5G網絡的移動云計算優化措施研究 [J]. 信息與電腦（理論版）， 2019， （9）： 156-157+160

[7] HUANG C Y， HUS C H， CHANG Y C， et al. GamingAnywhere： an open cloud gaming system [C]//ACM Multimedia Systems Conference. USA： ACM， 2013

[8] ZHOU F. Analysis of computer network security issues in cloud computing environment [J]. Lifelong education， 2020， 9（6）： 57-59

作者簡介

陸平，中興通訊股份有限公司副總裁、移動網絡和移動通訊多媒體技術國家重點實驗室副主任；研究方向包括云計算、大數據、增強現實、基于多媒體服務的技術；主持和參與了國家科技重大專項、國家科技支撐項目等；發表多篇論文，撰寫了《物聯網能力開發與應用》《云計算中的大數據技術與應用》等多部著作。

盛斌，上海交通大學計算機科學與工程系副教授；研究方向包括虛擬現實和計算機圖形學。主持國家自然科學基金面上項目2項、國家自然科學基金青年項目1項，參與“863”計劃1項、國家自然科學基金重點項目1項；發表論文121篇。

朱方，中興通訊股份有限公司數字視頻與視覺技術委員會主任、移動網絡和移動通訊多媒體技術國家重點實驗室多媒體方向學術帶頭人，IEEE高級會員；研究方向包括云架構和基于移動計算的XR&Smart Vision特定應用目的的加速芯片組等；發表文章10余篇，已授權發明專利3項。