面向通信與計算融合的5G移動增強/虛擬現實

周一青，孫布勒，齊彥麗，彭燕，劉玲，張志龍，劉奕彤，劉丹譜，李兆歆，田霖

?

面向通信與計算融合的5G移動增強/虛擬現實

周一青1,2,3，孫布勒1,2,3，齊彥麗1,2,3，彭燕1,2,3，劉玲1,2,3，張志龍4，劉奕彤4，劉丹譜4，李兆歆1,2,3，田霖1,2,3

（1. 中國科學院大學，北京 100049；2. 中國科學院計算技術研究所，北京 100080； 3. 移動計算與新型終端北京市重點實驗室，北京 100190；4. 北京郵電大學，北京 100876）

面向通信與計算融合的5G移動通信網絡，剖析移動AR/VR信息處理和傳輸的特征，提出融合通信與計算的能力，在未來5G移動通信網絡中采用多級計算，通過協同網絡多級計算節點的能力來解決移動終端計算能力有限的問題；采用智能傳輸機制，通過高效頻譜感知、分層編碼、空口自適應傳輸等來克服移動信道傳輸能力不穩定的問題；采用時延保障機制，通過通信與計算資源協同管理來確保移動AR/VR服務時延。對移動AR/VR多級計算模型、智能傳輸機制和服務時延保障的研究現狀和發展趨勢進行綜述，總結現有研究存在的問題，并提出下一步研究的方向。

通信與計算融合；5G；增強/虛擬現實；多級計算

1 引言

移動通信的發展日新月異，目前5G的研發已拉開大幕。相比4G，5G將在數據傳輸速率、傳輸時延、網絡容量等多個方面實現飛躍性突破：峰值速率將達到10 Gbit/s；支持超低時延超高可靠的服務，業務時延小于5 ms；聯網移動設備數量增加到現在的100倍，網絡容量將提升1 000倍[1]。這些性能的突破增強了5G的智能業務服務能力。高通、ABI等公司指出移動增強現實/虛擬現實（augmented reality/virtual reality，AR/VR）將成為5G的第一波殺手級應用[2]。

AR/VR以計算技術為核心，生成逼真的視覺、聽覺等，構成一定范圍內的虛擬環境，用戶可以與虛擬環境中的物體交互，獲得身臨其境的感受和體驗。以360°全景VR視頻為例，其處理和傳輸流程如圖1所示。為了增強用戶的體驗，首先用攝像機拍攝超高清分辨率的畫面，然后拼接成360°全景畫面，給用戶選擇觀看視角的自由，讓用戶具有身臨其境的視覺體驗。生成的AR/VR可緩存于服務器端，當用戶端發出請求時，可通過有線或者無線傳輸將相應的視頻提供給用戶。顯然，由于超高清分辨率和全景畫面需要的多角度信息，生成的AR/VR相比普通視頻，信息量可能高出幾十倍，從而對系統的處理和傳輸能力提出很高的需求。另一方面，在用戶端，當朝向、視角等狀態發生變化時，系統可基于傳感器等，運用動作捕捉技術，追蹤用戶行為并完成與虛擬場景的實時交互，實現更極致的互動體驗。即用戶發出新的畫面需求，系統進行實時響應，在20 ms內將相應的畫面提供給用戶。由于用戶的狀態是隨機改變的，所對應的畫面通常是難以預存的，需要根據已有畫面和變化的用戶請求，渲染繪制出新內容，再提供給用戶。渲染是一個復雜的綜合性任務，通常需要借助深度信息計算、圖像語義理解（也稱作圖像語義分割）等計算密集型處理來合成以假亂真的內容。可見，AR/VR具有海量信息、密集計算的特點，它們對移動網絡提出了大帶寬、低時延的服務需求，為5G及未來移動網絡的發展帶來新的挑戰和機遇。

圖1 360°全景VR視頻的處理和傳輸流程

AR/VR在發展的早期多用于軍事、航空航天、工業仿真等行業領域。近幾年來，隨著Oculus Rift等消費級VR產品的推出，AR/VR逐漸向個人應用領域蓬勃發展。目前的AR/VR主要基于個人電腦（personal computer，PC），交互設備如頭戴顯示設備（以下簡稱頭顯）采用有線的方式與PC直連，計算處理任務由PC完成并通過連接線傳回頭顯。受限于有線連接，用戶不能自由活動，極大地影響了AR/VR的體驗效果。因此，通過無線方式連接的移動AR/VR成為近年的發展焦點。2017年HTC發布了VIVE無線一體機，將頭盔與PC之間的多根數據線升級為無線方式連接，但仍然需要配套一臺高性能的PC，成本高昂。而以谷歌Daydream和三星Gear VR為代表的聯合手機終端的頭顯則用手機終端提供顯示、通信和簡單的計算功能，頭顯提供封閉的環境、鏡頭和交互功能。通過手機終端進行聯網互動的同時將復雜的AR/VR處理任務傳輸到云端處理并將結果傳回手機終端顯示給用戶。這種服務模式不需要配套性能強勁的PC來實現復雜任務的處理，能以低廉的價格提供移動AR/VR服務，正在逐漸成為移動AR/VR業務的主流實現方式。根據德意志銀行的報告，未來幾年移動AR/VR產品將趕超基于PC的AR/VR產品[3]。

2 移動AR/VR面臨的挑戰

目前基于手機終端的移動AR/VR僅能提供簡單有限的體驗，整體效果差強人意。如前所述，移動AR/VR信息的處理過程中，涉及渲染等高復雜度的密集型計算任務，而手機終端自身的計算能力有限，因此在終端處理任務的比例非常低，大部分任務都需要通過移動互聯網傳送到云端服務器計算并傳回給用戶，時延大。另一方面，在移動AR/VR信息的傳輸過程中，受限于移動通信的傳輸帶寬以及信道質量不穩定等問題，導致用戶接收到的視頻畫面質量不穩定、不流暢，體驗效果差。因此，移動AR/VR的信息處理和傳輸面臨眾多挑戰，需要解決圖2所示的三大矛盾。

（1）移動AR/VR處理的密集計算需求與有限的移動終端計算能力之間的矛盾

移動AR/VR具有的海量信息導致處理復雜度高，對系統的密集計算能力提出了很強的需求。以典型的多視角三維場景重建為例，在較低分辨率的攝像頭下支持320像素×240像素，在約1 m×1 m×1 m真實環境空間中使用256體素× 256體素×256體素的體素解析度進行計算，通過圖形處理器（graphics processing unit，GPU）并行處理也只能達到15幀/s左右的交互式幀率（電腦配置：計算機處理器i7，32 GB RAM，NVIDIA Titian black顯卡，6 GB顯存）；若提升攝像頭分辨率，且在更大的真實環境中進行應用，那么需要采用更高密度的體素輔助計算，如果體素解析度提高至1 024體素×1 024體素×1 024體素，計算量又將提高64倍左右。相比PC配置，移動終端雖然逐步配備了多核處理器和圖形處理核等，其計算能力還存在明顯差距，難以滿足移動AR/VR密集計算的需求。若將計算遷移至遠端云服務器進行，則其時延性能難以保障。值得注意的是，雖然移動終端本身計算能力有限，如圖2所示，已有研究[4]指出，未來移動網絡將在基站、核心網等網絡的不同層次融合移動邊緣計算（mobile edge computing，MEC），成為一個通信與多級計算協同融合的網絡。若能有效協同移動終端與未來5G移動網絡的多級計算能力，有可能完成AR/VR的密集計算需求。

圖2 移動AR/VR處理與傳輸問題分析

（2）移動AR/VR的高畫質需求與隨機時變的移動傳輸能力帶來的畫質不穩定之間的矛盾

為了增強用戶的體驗，需要提升移動AR/VR的清晰性、流暢性，因此對傳輸能力也提出了大帶寬、高質量的需求。相比有線通信，采用無線傳輸的移動通信可以在任何時間、任何地點為任何人提供服務，這種服務的自由性提升了用戶的體驗，但無線傳輸信道不光帶寬有限，而且其信道質量隨著時間和地點不斷動態變化，這種隨機的時變傳輸能力為AR/VR傳輸帶來了很大的問題。一方面，AR/VR視頻流具有大象流特征，對帶寬需求特別高；另一方面，鑒于AR/VR的交互特性，用戶對視頻的需求存在強烈的隨機性和突發性，即便是看同一個AR/VR視頻，不同的用戶視角不同，也會發出不同的畫面請求，進一步增大傳輸帶寬的需求。當用戶發起新的畫面需求時，如果當時信道質量較差，只能傳輸低質量畫面，引發的視覺疲勞會帶來眩暈感，如果以低速傳輸高質量畫面，可能無法及時響應用戶需求，導致時延過大或者畫面停頓，同樣嚴重影響用戶體驗。這個問題在通信與多級計算融合的未來無線網絡中有可能得到解決。未來無線網絡引入的MEC服務器，具有大數據計算和存儲的能力。一方面可以通過無線大數據挖掘，獲得頻譜地圖，當移動信道質量出現下降時，快速提供可切換或可擴展的頻譜，提升傳輸能力。另一方面，正如已有研究[5]指出的，協同利用通信與計算資源，有可能設計智能高效的移動傳輸機制，完成傳統移動通信網絡中難以傳輸的移動AR/VR。因此，解決第二個矛盾需要針對移動AR/VR和隨機時變的移動無線信道的特征，研究通信與計算協同的智能傳輸機制，確保移動AR/VR傳輸畫面的質量和流暢性。

（3）移動AR/VR的低時延需求與現有移動網絡服務時延過大之間的矛盾

AR/VR業務一般需要低至20 ms的服務時延來保障其自然、流暢的體驗，而極致的體驗，需要進一步降低服務時延。服務時延包括業務的傳輸時延和處理時延。如圖2所示，傳輸時延部分，現有4G網絡的移動終端與基站空口傳輸往返時延（round trip time，RTT）近似為10 ms；如果需要云端的計算能力，由于終端到云端的數據傳輸需要經過網關等設備經過多重轉發，往返時延一般為50~100 ms，遠大于移動AR/VR要求的20 ms的服務時延要求，嚴重影響用戶的體驗。另一方面，移動AR/VR的處理時延由計算節點的計算能力及業務的計算量決定。目前移動終端計算能力較弱，而云服務器計算能力則非常強大，故相同計算量的業務在移動終端和云服務器的處理時延差異較大；同時，移動AR/VR的海量數據也帶來了非常大的計算量，以4K RGB（red-green-blue）360°全景視頻為例，其全視角分辨率需達到7 680×3 840像素，是普通720P視頻的32倍，處理和傳輸時延都將大幅增加。可見，目前移動網絡以移動終端協同遠端云服務的方式提供AR/VR業務，很多時候僅傳輸時延就超出了AR/VR的時延限制。但如果考慮未來通信與多級計算融合的移動網絡，一方面5G的空口時延將降低到1 ms左右，另一方面有可能通過協同MEC邊緣計算節點完成AR/VR的密集計算任務，將大幅降低傳輸時延。而MEC服務器相比云服務器，計算資源相對有限，其處理時延不可忽略。因此，針對移動AR/VR的需求，基于未來移動網絡中的傳輸和處理時延模型，對通信及計算異質資源的分配進行優化，有可能降低總體服務時延，滿足移動AR/VR服務的時延需求。

綜上所述，為了解決當前移動AR/VR面臨的三大矛盾，面向未來5G移動網絡，以通信與計算融合為核心思想，應緊密結合移動AR/VR業務特征與需求，研究未來5G移動網絡的多級計算網絡模型及移動AR/VR信息處理的多級協同計算方法，研究多級計算架構下移動AR/VR的智能傳輸、服務時延模型及時延優化與保障機制，提出基礎理論和核心機制，解決移動AR/VR信息處理與傳輸的關鍵問題。下文將對移動AR/VR的“計算模型”“智能傳輸”和“時延保障”3個方面的研究現狀及發展動態進行綜述。

3 AR/VR信息處理計算模型與方法

AR/VR信息處理過程中，需要實時完成場景深度估計、圖像語義理解、三維場景重建、高真實感渲染等密集計算型任務，以保障用戶可以獲得自然、流暢的體驗。目前AR/VR的信息處理研究主要是通過并行計算、分布式計算完成密集計算型任務。此外，針對移動終端有限的計算能力難以支持移動AR/VR密集計算任務的問題，研究人員也提出了終端—服務器的兩級計算方法和面向移動終端的一系列低復雜度算法。

（1）AR/VR的并行計算與分布式計算

在AR/VR應用中，考慮到PC的CPU計算資源有限，計算領域提出了GPU并行計算、多PC分布式計算的方法，通過增加計算資源的方式完成海量信息處理需求。在GPU并行計算方面，以AR/VR三維場景重建為例，Dame等[6]提出了在具有兩個GPU的PC上進行基于并行加速的三維場景重建，首先將三維場景重建拆分為深度估計與目標位姿估計、目標分割及關鍵幀提取等多個子任務，然后將它們分配到不同GPU上并行執行。Pradeep等[7]提出了在具有一個GPU的PC上進行三維場景重建的并行處理方法，首先將場景重建按像素拆分為若干子任務，然后在GPU的多個線程上并行處理各子任務，實現快速計算。上述研究表明，AR/VR業務的海量信息處理包含多個任務，如三維場景重建、高真實感渲染，部分任務之間可以進行并行處理，同時部分任務還可進一步分割為多個子任務，如三維場景重建可拆分為深度估計、關鍵幀提取等子任務實現并行加速；但上述任務或子任務并行處理方法均是基于單一PC上的GPU并行計算的，故其任務分割方案具有局限性。

區別于參考文獻[6-7]只基于一個PC計算節點進行并行計算，Lan等[8]提出了一種在分布式計算機系統中實現三維場景重建的并行處理機制，其主要思想是利用不同計算機并行完成視頻幀的去噪濾波及深度傳感器校驗，然后通過吉比特局域網將視頻幀傳輸給主服務器進行數據融合。Pawe?等[9]研究了在具有不同計算能力的計算節點上進行并行處理的機制：首先在具有NVIDIA Tesla S1070與NVIDIA Tesla C2070兩種共4個GPU的Hal機上進行3D圖像重構，利用電容層析成像技術，選擇輸入矩陣的不同行對應的某一電極并將其分配給特定的GPU實現并行計算；其次，增加具有2x GTX 570 GPU的Dave機，仍采用上述任務分配方法，研究不同計算節點的并行計算。上述在分布式計算機系統進行并行計算的模型具有可擴展性，即可以通過增加計算節點的方式來完成更大規模的計算任務。但模型中各節點計算能力雖然不同，卻基本相當，且計算任務對時延沒有嚴苛要求。而通信與計算融合的未來5G移動網絡將包含手機移動終端、PC、服務器等計算能力存在數量級差異的節點，同時傳統基站、集中式接入網（centralized radio access network，C-RAN）設備[10]、終端直通（device to device，D2D）[11-12]等共存的異構通信網絡環境時，單個性能差的計算節點或傳輸環境都可能導致整個業務出現不可預知的延遲。

（2）移動AR/VR終端—服務器兩級計算方法

在移動AR/VR方面，由于手機終端配備的計算能力逐步提升，如多核處理器和圖形處理核，同時配備微電子傳感器，能夠處理角速度和線性加速度，為移動AR/VR信息處理提供了新的可能。Alex等[13]提出了一種移動終端與云服務器聯合進行三維場景重建的方法，其中移動終端進行實時跟蹤、關鍵幀選擇及低復雜度關鍵幀更新，而具有深度信息的關鍵幀則合并到位姿圖中傳輸給云服務器進行三維場景重建。該模型中云服務器作為移動終端協作網絡的中心節點，能夠同時支持大量移動終端的密集計算需求，同時用戶的三維模型可以存儲在云端，被其他用戶復用或在此基礎進行完善，有效節約計算資源。但參考文獻[13]將計算任務卸載到云端進行計算，需要經過路由器、網關等層層關鍵設備，其交互時延難以得到保證。

針對移動終端計算能力難以滿足移動AR/VR密集計算需求，而云端計算難以保證時延的矛盾，霧計算（fog computing）[14-16]、朵云（Cloudlet）計算[17]、MEC[18]等概念相繼提出，旨在移動網絡邊緣提供IT服務環境和云計算能力，使業務處理更靠近終端，在滿足密集計算要求的同時，有效降低業務延遲。Hou等[19]提出將便攜式VR眼鏡與云/邊緣計算設備通過無線進行連接，分別將服務器部署在云端、網絡邊緣（移動網絡網關、基站或無線接入點）、終端設備邊緣，利用服務器的計算能力來減輕VR眼鏡重量，分析了不同部署策略適應的業務類型。但該研究主要關注利用視頻編碼、傳輸及壓縮方法來降低傳輸視頻流比特率，并未解決云/邊緣計算服務器如何輔助終端設備進行密集計算的問題。

（3）面向移動終端的低復雜度AR/VR處理方法

Tanskanen等[20]提出了一種在手機終端上進行稀疏三維重建的算法，利用手機終端的慣性傳感器進行實時跟蹤與建圖，通過選擇合適的關鍵幀、估計場景重建尺度，實現了一組基于稀疏點云的高效三維重建。Kolev等[21]提出了一種在手機端進行基于深度圖的三維場景重建方法，通過評估局部幾何方向、底層相機設置和光度等來確定每個深度估計的權重，進而實現深度信息融合。由于手機終端計算能力有限，只能實現稀疏三維場景重建，與稠密重建質量仍有較大差距，影響用戶體驗。此外，為了在移動終端獲得混合現實的體驗，需要算法能夠實時頑健地感知場景的三維信息。Ondruska等[22]提出一種可在主流手機上運行的實時場景估計方法，但是由于需要基于體素的深度融合，限制了該方法只能在較小的場景下使用。Mur-Artal等[23]提出基于ORB（oriented FAST and rotated BRIEF）特征的相機定位和稀疏場景重建方法，該方法可移植到移動端運行，但是由于場景重建僅包含一些稀疏的三維點，無法滿足混合現實的需要。此外，利用AR/VR視頻視野范圍很大的特點，Lai等[24]提出將全景視頻劃分為規則的區塊以實現在移動端并行的低復雜度視頻解碼，能顯著減少時延，然而這種簡單的圖像分塊沒有考慮圖像本身的內容，也沒有考慮時序上的冗余，例如一些圖像的內容要比另外一些具有更高的視覺顯著度，因此處理它們的優先級應是不同的。

總結上述研究現狀可知，現有AR/VR信息處理研究利用并行計算和分布式計算來應對其海量信息的密集計算需求，說明AR/VR的密集計算任務是可分割的，但這些計算模型和方法都是針對具有相同或相當計算能力的節點設計的，在通信與計算融合的未來5G移動網絡中，計算節點能力與其部署的通信網絡位置有關，可能存在數量級的差異，現有計算模型和方法無法直接應用，必須面向通信與計算融合的未來5G移動網絡研究新的計算模型，并提出相應的協同計算方法。此外，目前雖然面向移動終端提出了一些低復雜度的AR/VR視頻信息處理算法，但這些算法尚未充分利用AR/VR視頻的時空特性，以犧牲精度為代價降低計算量，會給用戶帶來很大的不適。因此亟待解決的難點問題是如何在移動終端實現頑健輕量級移動AR/VR處理算法。

4 移動AR/VR的智能傳輸

為了解決移動網絡時變的傳輸能力帶來的移動AR/VR服務質量不穩定的問題，主要從兩個方面進行探討：一是從系統的角度適配業務傳輸的需求，比如改變傳輸頻帶、增加傳輸帶寬；二是從業務處理和傳輸的角度適應移動信道的變化，比如面向移動傳輸的視頻分層編碼、空口的自適應傳輸等。

（1）無線頻譜感知與動態適配

提供更多更好的可用頻譜是保障移動AR/VR傳輸需求的一個有效技術。從統計上看，移動AR/VR業務在不同的時刻數據傳輸量可能會發生劇烈的抖動，帶寬需求具有快速時變特點。為了獲得頻譜，首先要進行頻譜感知，主要包括節點頻譜感知和頻譜地圖兩種方式。節點頻譜感知方面，已有研究針對未來移動網絡，提出了基于認知導頻信道的快速頻譜感知方法[25]，但此類方法普遍存在實現簡單但正確性低或者感知性能好但時延長的問題[26-27]。而頻譜地圖基于大量的計算和存儲，能快速提供較為準確的頻譜信息。參考文獻[28]采用頻譜地圖，記錄用戶使用頻譜的頻段、時間、用戶位置以及服務質量等多維信息，為精確、安全、快速的頻譜感知提供參考。參考文獻[29]論述了頻譜地圖的應用，將事件學習算法和知識學習算法融入頻譜地圖，在更好地實現各項功能的同時，有效保護授權用戶。參考文獻[30]中介紹了一種多級無線電環境地圖的架構，在核心網側、基站側、終端側均放置了計算處理單元，分別用于生成各層級的無線電環境地圖，實現整個覆蓋區域頻譜資源的高效協調。移動AR/VR業務作為時延敏感的高帶寬傳輸業務，對頻譜質量、時延等性能提出全面的要求。但上述研究重點關注可用頻譜信息，未考慮頻譜質量問題，不能滿足AR/VR獲取高質量傳輸頻帶的需求。在頻譜適配方面，現有研究主要考慮用戶公平性、系統吞吐量等方面性能。參考文獻[31]提出了跨成員載波的比例公平調度算法，可以保障載波聚合下多用戶調度的公平性。參考文獻[32-33]提出了基于貪婪算法的聯合載波選擇與資源塊分配的資源調度方法以提高系統吞吐量。參考文獻[34]提出了多載波共用一個緩存隊列的聯合隊列調度方式，相比于獨立隊列調度方式可以充分利用分集增益。參考文獻[35]分析了用戶調度服從泊松分布時，基于輪詢與移動散列算法的頻譜適配的性能。值得注意的是，上述研究都未能與AR/VR結合。在AR/VR場景中，一個用戶請求在處理時通常被分割成多個業務，如三維場景重建、高真實感渲染等，這些業務的數據傳輸量有很大差異。因此，在AR/VR應用時，需要考慮這些不同業務的用頻需求差異，此外，還需要考慮同一業務不同編碼層對服務質量的需求差異。因此，現有頻譜適配無法滿足AR/VR多種差異化業務的需求。

（2）面向移動傳輸的視頻分層編碼

在傳統視頻信息處理研究中，目前已經提出了使用不同的編碼方式適應移動傳輸環境，為用戶提供不同等級質量的視頻服務。兩種主流的編解碼方案為可分級視頻編碼（scalable video coding，SVC）和感知視頻編碼。SVC方面，主要是基于H.264/AVC（advanced video coding）混合編碼框架，在時間、空間、質量上實現分層編碼，以實現不同幀率、圖像分辨率和圖像質量等級的自適應調整[36]。H.265/HEVC（high efficiency video coding）與SHVC（scalable extension of HEVC）作為H.264/AVC的繼任者，同樣繼承了分層編碼的特性[37-38]。SHVC支持不同空間分辨率或重建信噪比（signal noise ratio，SNR）的多層視頻序列的編碼，支持高達8個分層，包括一個基本層和多個增強層。通過引入上采樣濾波、層間紋理預測、層間運動預測等技術，SHVC還支持混合編解碼可分級、比特深度可分級和色彩域可分級。感知視頻編碼方面，主要是利用了視頻信號中存在的視覺冗余，即人眼不能察覺的圖像中的某些信息。人類視覺系統的研究表明，人眼對圖像和視頻的感知是有選擇性的，不同的對象或者區域具有不同的視覺重要性，并且對視覺信號的各種失真具有不同的敏感和容忍程度。基于視覺特性的視頻編碼主要思路是如何根據視覺感知特性選擇優化的編碼參數，實現碼率的優化分配，例如為視覺重要區域分配更多的碼率資源來提高其主觀質量；減少非視覺重要區域的碼率資源來減少視覺冗余，從而提高編碼性能[39]。此外，多視點視頻能提供立體感和交互性，結合多視點視覺感知模型的特點，基于視覺特性的多視點視頻編碼可分為基于立體視覺注意的多視點視頻編碼和基于立體視覺可見度的多視點視頻編碼[40-41]。基于下一代編碼標準H.265/HEVC的視頻感知編碼可能成為未來AR/VR編解碼的重要工具[42-43]。由上述研究可見，當前視頻編碼大多面向傳統視頻，尚未有針對AR/VR的編解碼機制。在AR/VR編解碼研究中，應結合其獨有的特征如深度信息、六自由度和用戶的感興趣區域的差異性等，一方面提高編碼壓縮比，輕量化業務數據量；另一方面需要降低編碼復雜度，降低對移動設備的計算壓力和續航壓力，為智能地在時變的移動無線環境中提供不同的體驗提供編碼方案的基礎。

（3）空口感知的AR/VR自適應傳輸

由于無線信道的時變特性，很難滿足AR/VR持續大帶寬和低時延的需求，移動AR/VR傳輸面臨很大挑戰。此外，考慮多用戶場景，由于用戶狀態不同，即使觀看同一個移動AR/VR，所需的畫面也不完全相同，無法像普通視頻那樣，采用多播的傳輸方式來提升頻譜效率。這進一步加大了移動AR/VR的帶寬需求。如何設計能夠感知空口的變化、符合業務和無線網絡特點的自適應機制是亟待解決的問題。現有AR/VR傳輸的成果大多基于有線網絡環境，只有少量的相關工作基于無線環境。例如，在參考文獻[44]中，運用博弈論等方法，提出了一種異構蜂窩網絡下適合AR/VR傳輸的資源管理策略，但時延仍然難以達到AR/VR業務要求。參考文獻[45]提出了一種時延導向的基于無線局域網的AR/VR多用戶接入策略，分析了傳輸時延的組成部分，制定出了一套AR/VR多用戶接入方案。另外一方面，云服務的引入為移動視頻傳輸提供了新的思路。首先，可利用集中式特點來進行更好的資源管理。已有研究面向集中式移動網絡架構，提出負載感知的資源管理，可提高資源利用率達70%[11]。其次，可利用集中式架構中心處理單元的計算資源進行視頻轉碼，根據用戶需求將原始視頻轉碼成較低版本，在空口傳輸時節省傳輸內容，提高空口資源利用率。在參考文獻[46]中，提出基于集中式云服務的轉碼機制，利用云計算，以用戶的信道條件所需的視頻質量為參數來計算轉碼版本，提升視頻質量和頻帶利用率。參考文獻[47-48]針對一對多實時轉碼的視頻直播服務，提出了一種云計算資源分配的方案，在提供用戶所需的視頻質量的前提下結合地域性差異最小化計算資源的開銷。參考文獻[49]則是在參考文獻[47-48]的基礎上，針對流式直播服務，為視頻接收者和發布者設計了一套云服務器聯合選擇策略，降低了系統開銷和地域性差異的影響。根據直播視頻發布者受歡迎程度的不同，參考文獻[50]借助計算資源，通過建立多目標優化問題，最小化計算資源開銷和最大化用戶體驗，在時延約束的條件下利用李雅普諾夫優化的方法求解并提出了一套計算和帶寬資源聯合分配方案，使網絡性能和用戶體驗得到了權衡。參考文獻[51]將云計算與內容中心移動網絡結合，為多媒體服務提出了一種較為完整的云網絡架構，包括計算資源的部署和網絡的拓撲結構。但以上研究尚未與移動AR/VR特征相結合。可見，目前針對移動AR/VR業務的傳輸策略研究尚處于起步階段，在通信與計算融合的移動網絡架構下對AR/VR傳輸策略的研究國內外均屬空白，尚未見任何成果公布，其中蘊含著大量研究機會。針對移動AR/VR傳輸的資源分配、版本選擇、多播等技術，都有必要探索新的解決思路和方法，從而更為有效地改善移動AR/VR業務的用戶體驗。

總結上述研究現狀可知，作為一種嶄新的移動多媒體服務，面向AR/VR的移動傳輸機制研究目前尚處于初級階段，在頻譜感知、信源分層編碼、空口自適應傳輸等都少有針對性的研究，亟需根據移動AR/VR的需求，剖析其與移動傳輸相關的特征，面向通信與計算融合的未來5G移動網絡，設計智能的傳輸機制。

5 移動AR/VR服務時延模型及優化保障

用戶交互得到即時響應是移動AR/VR良好用戶體驗的主要來源。當服務時延大于圖像刷新時間間隔時，用戶將產生暈眩感。因此，服務時延是影響體驗的重要因素。目前在這個方向上已有大量的研究，提出了多種時延優化保障機制，研究的主要思路是基于給定的服務時延模型，從移動網絡的資源管理、移動切換、AR/VR用戶位姿預測、邊緣緩存等方向展開服務時延的優化或保障。

（1）移動AR/VR的服務時延模型

目前移動AR/VR服務時延模型相對比較簡單，僅考慮單服務器節點情況。Deng等[52]研究了在小區基站部署云服務器進行密集計算任務的卸載，其中假設應用的任務已在云服務器虛擬機上進行備份，故其服務時延模型不考慮任務的傳輸時延，僅考慮任務的處理時延以及各任務之間彼此依賴且上一任務與當前任務在不同節點進行處理時上一任務結果的傳輸時延；Chen等[53]研究了將密集計算任務卸載到移動邊緣云計算的時延模型，其主要包括任務在3G/4G無線信道的上行傳輸時延及任務在移動邊緣云服務器的處理時延，而未考慮任務處理結果的下行回傳時延；Lai等[24]研究了手機終端VR業務卸載到臺式機進行處理的時延模型，其中手機終端與臺式機通過基于IEEE 802.11ac協議的無線局域網（wireless local area network，WLAN）進行相連，服務時延則主要包括請求等待時延、視頻流原始幀的傳輸時延及在臺式機計算時延，其中視頻流原始幀的WLAN中的傳輸時延為主要時延；Ahn等[45]研究了WLAN中基于IEEE 802.11協議的多用戶VR服務時延模型，其服務時延主要包括用戶感知時延、終端決策時延、上行傳輸時延、PC處理時延、下行傳輸時延及終端整合時延，該模型中考慮了多用戶場景下信道接入時延問題，重點分析了多用戶業務上行數據分組傳輸時延。上述模型均是基于單服務器節點的服務時延模型，其結構簡單，很難直接拓展到包含D2D通信、傳統小區基站通信與C-RAN集中式架構等并存的異構通信網絡，且異構通信網絡中包含終端、MEC、云服務器等多級不同計算能力的服務節點，存在多種計算方式，同樣影響移動AR/VR服務時延建模。

（2）基于資源管理的移動AR/VR的服務時延優化

在給定服務時延模型基礎上，針對移動AR/VR服務時延的優化主要集中在3個方面，即研究時延約束下用戶終端功率損耗問題、時延與功耗的聯合優化以及直接以最小化服務時延為目標。在時延約束下最小化用戶終端功耗方面：Cao等[54]提出了單用戶場景中基于組合優化算法的最優自適應算法和基于貪婪算法的次優算法，將終端能耗分別降低48%和47%；Zhao等[55]假設所有用戶具有相同的信道質量和計算能力，其提出的最優算法和次優算法能分別節約40%、30%的能耗；Vondra等[56]探討了通信與計算負載的平衡，在滿足時延要求的前提下提出一種應用考慮算法，根據當前計算和通信負載來選擇合適的接入基站。在時延與功耗的聯合優化方面：Mu?oz等[57]提出一種聯合分配無線通信和計算資源的通用架構以對用戶終端能耗和時延做折中處理；對于多用戶場景，Mao等[58]基于Lyapunov（李雅普諾夫）優化提出一種在線算法用于決策計算任務的分配，在每個時隙，利用Gauss-Seidel（高斯—塞德爾）方法來決定計算卸載的優化傳輸功率及帶寬分配。在最小化服務時延方面：Liu等[59]采用馬爾可夫決策過程方法對基與任務緩存排隊狀態、本地處理單元執行狀態以及傳輸單元狀態的計算任務進行調度，通過分析每個任務的平均時延及移動終端的平均功率損耗，研究功率約束下的最小化時延問題，并通過一維搜索算法尋找優化調度策略；Mao等[60]研究了加入能量收集設備的MEC系統中單用戶計算卸載策略，綜合考慮了卸載決策、CPU周期頻率以及計算卸載的傳輸功率，以最小化時延為目標，通過Lyapunov動態優化算法實現優化目標。上述時延優化問題均假設待處理的任務是可被任意分割的，但是實際上，移動AR/VR任務的分割比例是與業務本身息息相關的；同時上述問題中僅針對終端及MEC或云端兩級計算節點，且都假設網絡中通信、計算與存儲資源是有限的，但是并沒有探究如何進行資源部署以及資源部署對服務時延的影響。

（3）計算節點移動切換機制

在通信與計算融合的未來5G移動通信網絡中，通信與計算節點切換是必不可少的核心技術，切換時延對移動AR/VR的體驗有重大影響[61]。計算節點的切換主要分為按需切換和主動推送兩大類。按需切換方面，參考文獻[62]提出分布式MEC服務器總是跟隨服務基站無線切換而變化，可以實現業務傳輸時延最小化。參考文獻[63]考慮協作小區通信方式，根據終端時延需求等確定服務小區，通過無線鏈路和終端相連，協作組內的其他小區和服務小區通過回傳鏈路連接。通過馬爾可夫決策過程（Markov decision process，MDP）算法選擇最優切換節點，在滿足能耗需求的條件下，最小化業務總時延。參考文獻[64]考慮云、分布式MEC和D2D協作多級計算架構，在終端與基站連接時間等限制下，進行計算節點切換決策，最大化系統接入能力。已有計算節點按需切換機制普遍存在切換時延長的弊端，切換時延至少是60 ms[65]，甚至可達數秒[62]，遠不能滿足移動AR/VR提出的RTT為20 ms的要求。主動推送切換方面，其核心思想是利用移動終端具備定位能力，其移動具有規律性和可預測性的特點，主動將計算任務提前推送到將要切換的目的節點，改善切換時延性能。參考文獻[66]基于終端、MEC和云端三層架構，通過挖掘終端歷史數據，采用多項式非線性回歸的方法，預測終端位置，提前進行MEC切換，保證服務的連續性。參考文獻[67]假設可以采用一定的方法預測出未來時間窗口內，每一個MEC執行任務的傳輸成本及業務在MEC間切換的成本上限，采用MDP方法，確定服務MEC序列，最小化終端在時間的平均成本。參考文獻[68]在參考文獻[63]的基礎上，加入終端位置預測，進行最優切換選擇機制的設計，進一步降低業務處理時延和能耗。現有的主動推送切換機制大都是基于位置預測進行推送，沒有考慮切換時機和新入網終端等因素。而移動AR/VR的主動推送切換需要切換的時間、地點、內容3方面的預測與實際需求精確匹配，才能保證內容推送的實時性和精確性。因此，僅基于位置預測的傳統主動推送機制性能無法保證移動AR/VR業務切換的性能需求。

（4）基于用戶位姿預測的時延優化機制

AR/VR業務良好體驗的重要來源之一就是自由的用戶位姿，主要分為用戶在虛擬現實中的運動任務、用戶在空間中的自由移動以及基于空間位置的行為交互。無論何種用戶行為，都需要大量的計算資源開銷。基于用戶行為的位姿降低AR/VR服務時延，提升實時計算性能，是目前業界研究的熱點。Fang等[69]提出了一種基于視覺慣性的實時用戶位姿跟蹤算法，結果表明該方法能夠實時、穩定地為移動虛擬現實提供一種平滑、穩健的六自由度運動跟蹤。Kim等[70]使用事件相機（event camera）實現了基于用戶位姿實時重建立體場景的方法，基于3個解耦的概率過濾器，分別追蹤不同自由度的用戶位姿，計算場景強度的梯度圖和場景的深度圖，并合成為關鍵幀，通過時域和空域的超分辨率重建從低比特率的事件流中恢復實時三維場景視頻序列。Dobbins[71]提供了一個運動捕捉和虛擬現實的協同可視化系統，確保了六自由度AR/VR業務與用戶交互的可能。位姿捕獲系統捕獲一個或多個用戶的頭部旋轉信息，從而控制真實世界視頻的平移、傾斜和縮放。當用戶頭部的位置改變時，其所視的虛擬視頻內容需要實時相應改變。以上方法分別從視覺慣性、運動捕捉等方面進行了用戶位姿的跟蹤及相應視頻內容的播放，并沒有考慮視頻內容的興趣區域。對于移動AR/VR而言，用戶對視頻內容興趣區域的變化同樣可以概括為用戶位姿的范疇。此外，當前沒有針對用戶位姿預測的研究，由于移動AR/VR業務計算量大，會產生較大的業務處理時延，如果能夠對下一時刻用戶位姿進行預測，并根據預測結果進行計算資源的提前分配實現任務的提前計算，可有效降低處理時延。

（5）低時延緩存策略

如前所述，未來移動網絡將融合MEC節點，提供計算與存儲功能，可以使移動AR/VR內容更加靠近用戶。如果用戶請求的視頻內容被緩存在其可接受服務范圍內的緩存點中，那么用戶可以直接從這些緩存點獲取視頻內容，不需要再經過核心網或從遠端視頻服務器獲取內容。緩存命中時，服務時延可以得到有效降低[72]。目前，研究人員針對不同無線網絡場景下的高效緩存策略進行了大量研究，通過分析視頻業務的特點、用戶歷史觀看行為和具體的網絡架構，使用戶所請求的視頻內容能以更高的效率被緩存[73-74]。隨著研究的深入，針對具體業務特點的緩存機制研究逐漸受到關注。例如，為降低業務時延，參考文獻[75]基于內容請求變化率和文件流行度設計了緩存策略，可滿足嚴格的時延要求；參考文獻[76]參考內容分發網架構提出了分布式的自適應流媒體服務，能提高視頻服務效率降低時延，但是文中緩存策略針對基于內容分發網絡的超文本傳輸協議（hypertext transfer protocol，HTTP）動態自適應流媒體（dynamic adaptive streaming over HTTP，DASH）業務設計，不能直接用于AR/VR業務。參考文獻[77]提出了預取與緩存整合策略，降低了比特率抖動問題，有效提升了視頻流命中概率。為適應視頻流媒體業務的可按照多種速率進行分發的特點，參考文獻[78]基于最近最少使用內存清理提出通過最高速率視頻段緩存和轉碼的結合，有效提升了緩存命中率。此外，參考文獻[79]通過采用分層視頻編碼的視頻傳輸，提高了緩存命中率。參考文獻[80]提出了一種基于云服務的多級視頻緩存架構，在邊緣緩存的基礎上，還在核心網部署云服務器和云緩存，在降低網絡傳輸時延的同時提升了用戶體驗質量（quality of experience，QoE）。在緩存策略設計方面，已有以提高緩存命中率為目標，設計了面向DASH的云接入網緩存策略[81]。根據上述調研，目前針對業務特點的緩存研究已經逐步深入，但是尚未有研究充分結合未來移動網絡通信與計算融合的架構特點以及移動AR/VR業務的多視角特點進行緩存策略設計。

總結上述研究現狀可知，鑒于服務時延對移動AR/VR的重要性，目前已經展開了大量相關研究，但仍存在一系列挑戰。在服務時延模型方面，現有基于單服務器節點的服務時延模型過于簡單，必須面向通信與計算融合的未來5G移動網絡架構，研究匹配的移動AR/VR服務時延模型；在基于資源管理的時延優化與保障方面，未能與移動AR/VR特征緊密聯系，也缺乏從整個系統層面的資源保障，必須基于移動AR/VR處理與傳輸的特征，分析通信與計算資源對服務時延的影響并提出相應的優化保障機制，例如可以研究網絡切片機制，從系統層面確保移動AR/VR的資源，從而保障時延性能；在低時延緩存和基于用戶位姿預測的時延優化機制方面，也有很大的研究空間。

6 結束語

雖然移動AR/VR有望成為未來5G移動網絡的殺手級應用，但目前由于移動終端計算能力低、移動傳輸能力不穩定、移動網絡服務時延大等原因，難以滿足移動AR/VR的信息處理與傳輸需求，用戶體驗差強人意。未來5G移動網絡將是一個異構通信與多級計算融合的網絡，協同通信與計算、存儲資源，有可能大幅提升網絡性能，滿足移動AR/VR的信息處理與傳輸需求。面向通信與計算融合，未來5G的移動AR/VR信息處理與傳輸應在基于多級計算的移動AR/VR海量信息處理、融合計算的移動AR/VR智能傳輸機制、保障AR/VR時延的移動網絡異質資源協同與優化等方面展開研究，深入探討其中的機理，抽象出理論模型，并提出高效的機制，大幅改善移動AR/VR的用戶體驗，促進5G發展。

[1] 3GPP. System architecture for the 5G system, version 1.2.0: TS23.501[S]. 2017.

[2] ETSI. Mobile edge computing (MEC) ETSI Industry Specification Group (ISG) version 1.1.1[R]. 2016.

[3] 德意志銀行. 了解關于VR的一切[R]. 2016.

Deutsche Bank. Learn all about VR[R]. 2016.

[4] 齊彥麗, 周一青, 劉玲, 等. 融合MEC的未來5G移動通信網絡[J]. 計算機研究與發展, 2018, 55(3): 478-486.

QI Y L, ZHOU Y Q, LIU L, et al. MEC coordinated future 5G mobile wireless networks[J]. Journal of Computer Research and Development, 2018, 55(3): 478-486.

[5] 周一青, 李國杰. 未來移動通信系統中的通信與計算融合[J]. 電信科學, 2018, 34(3): 1-7.

ZHOU Y Q, LI G J. Convergence of communication and computing infuture mobile communication systems[J]. Telecommunications Science, 2018, 34(3): 1-7.

[6] DAME A, PRISACARIU V A, REN C, et al. Dense reconstruction using 3D object shape priors[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. Washington DC: IEEE Computer Society, 2013: 1288-1295.

[7] PRADEEP V, RHEMANN C, IZADI S, et al. MonoFusion: real-time 3D reconstruction of small scenes with a single web camera[C]//IEEE International Symposium on Mixed and Augmented Reality, Oct 1-4, 2013, Adelaide, Australia. Washington DC: IEEE Computer Society, 2013: 83-88.

[8] LAN G, LUO Z, HAO, et al. Development of a virtual reality teleconference system using distributed depth sensor[C]//IEEE International Conference on Computer and Communications, December 13-16, 2017, Chengdu, China. Washington DC: IEEE Computer Society, 2017: 975-978.

[9] KAPUSTA P, MAJCHROWICZ M, SANKOWSKI D, et al. Acceleration of image reconstruction in 3D electrical capacitance tomography in heterogeneous, multi-GPU system using sparse matrix computations and finite element method[C]//The Federated Conference on Computer Science and Information Systems, September 11-14, 2016, Gdansk, Poland. Washington DC: IEEE Computer Society, 2016: 679-683.

[10] QIAN M, WANG Y, ZHOU Y, et al. A super base station based centralized network architecture for 5G mobile communication systems[J]. Digital Communications and Networks, 2015, 1(2): 152-159.

[11] ZHOU Y, LIU H, PAN Z, et al. Energy efficient two-stage cooperative multicast based on device to device transmissions: effect of user density[J]. IEEE Transactions on Vehicular Technology, 2016, 65(9): 7297-7307.

[12] SUN Q, TIAN L, ZHOU Y, et al. Energy efficient incentive resource allocation in D2D cooperative communications[C]//IEEE International Conference on Communications (ICC), June 8-12, 2015, London, UK. Washington DC: IEEE Computer Society, 2015: 2632-2637.

[13] LOCHER A, PERDOCH M, RIEMENSCHNEIDER H, et al. Mobile phone and cloud-a dream team for 3D reconstruction[J]. IEEE Applications of Computer Vision, 2016: 1-8.

[14] MASIP-BRUIN X, MARíN-TORDERA E, TASHAKOR G, et al. Foggy clouds and cloudy fogs: a real need for coordinated management of fog-to-cloud computing systems[J]. IEEE Wireless Communications, 2016, 23(5): 120-128.

[15] ZHENG K, MENG H, CHATZIMISIOS P, et al. An SMDP-based resource allocation in vehicular cloud computing systems[J]. IEEE Transactions on Industrial Electronics, 2015, 62(12): 7920-7928.

[16] BONOMI F, MILIT RO, ZHU J, et al. Fog computing and its role in the internet of things[C]//ACM Workshop on Mobile Cloud Computing, August 17, 2012, Helsinki, Finland. New York: ACM Press, 2012: 13-16.

[17] LIU Y, LEE M J, ZHENG Y, et al. Adaptive multi-resource allocation for cloudlet-based mobile cloud computing system[J]. IEEE Transactions on Mobile Computing, 2016, 15(10): 2398-2410.

[18] ETSI. Mobile edge computing (MEC): framework and reference architecture, version 1.1.1[R]. 2016.

[19] HOU X, LU Y, DEY S, et al. Wireless VR/AR with edge/cloud computing[C]//International Conference on Computer Communication and Networks, September 18, 2017, Vancouver, Canada. Washington DC: IEEE Computer Society, 2017: 1-8.

[20] TANSKANEN P, KOLEV K, MEIER L, et al. Live metric 3D reconstruction on mobile phones[C]//IEEE International Conference on Computer Vision, March 3, 2013, Sydney, Australia. Washington DC: IEEE Computer Society, 2013: 65-72.

[21] KOLEV K, TANSKANEN P, SPECIALE P, et al. Turning mobile phones into 3D scanners[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, USA. Washington DC: IEEE Computer Society, 2014: 3946-3953.

[22] ONDR′UˇSKA P, KOHLI P, IZADI S, et al. Mobile fusion: real-time volumetric surface reconstruction and dense tracking on mobile phones[J]. IEEE Transactions on Visualization & Computer Graphics, 2015, 21(11): 1251-1258.

[23] MUR-ARTAL R, MONTIEL J M M, TARD′OS J D, et al. ORB-SLAM: a versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.

[24] LAI Z, HU Y C, CUI Y, et al. Furion: engineering high-quality immersive virtual reality on today’s mobile devices[C]//ACM 23rd Annual International Conference on Mobile Computing and Networking, October 16-20, 2017, Snowbird, Utah, USA. New York: ACM Press, 2017: 409-421.

[25] LIU L, ZHOU Y, TIAN L, et al. CPC-based backward compatible network access for LTE cognitive radio cellular networks[J]. IEEE Communication Magazine, 2015, 53(7): 93-99.

[26] SIMON N. Cognitive radio: brain-empowered wireless communications[J]. IEEE Journal on Selected Areas in Communications, 2005, 23(2): 201-220.

[27] YIN W S, REN P Y, DU Q H, et al. Delay and throughput oriented continuous spectrum sensing schemes in cognitive radio networks[J]. IEEE Transactions on Wireless Communications, 2012, 11(6): 2148-2159.

[28] QUAN Z, CUI S, SAYED A H, et al. Optimal linear cooperation for spectrum sensing in cognitive radio[C]//IEEE Military Communications Conference, Oct 29-31, 2007, Orlando, FL, USA. Washington DC: IEEE Computer Society, 2007: 1-6.

[29] ZHAO Y, MORALES L, GAEDDERT J, et al. Applying radio environment maps to cognitive wireless regional area networks[C]//IEEE 2nd International Symposium on New Frontiers in Dynamic Spectrum Access Networks, Apr 17-20, 2007, Dublin, Ireland. Washington DC: IEEE Computer Society, 2007: 115-118．

[30] PEREZ-ROMERO J, ZALONIS A, BOUKHATEM L, et al. On the use of radio environment maps for interference management in heterogeneous networks[J]. IEEE Communications Magazine, 2015, 53(8): 184-191.

[31] WANG Y, PEDERSEN K I, SORENSEN T B, MOGENSEN P E, et al. Utility maximization in LTE-advanced systems with carrier aggregation[C]//IEEE Vehicular Technology Conference, Sept 5-8, 2011, Yokohama, Japan. Washington DC: IEEE Computer Society, 2011: 1-5.

[32] LIAO H S, CHEN P Y, CHEN W T, et al. An efficient downlink radio resource allocation with carrier aggregation in LTE-advanced networks[J]. IEEE Transactions on Mobile Computing, 2014, 13(13): 2229-2239.

[33] SUNDARESAN K, RANGARAJAN S. Energy efficient carrier aggregation algorithms for next generation cellular networks[C]//IEEE 21st International Conference on Network Protocols, Oct 7-10, 2013, Goettingen, Germany. Washington DC: IEEE Computer Society, 2013: 1-10.

[34] CHUNG Y L, JANG L J, TSAI Z, et al. An efficient downlink packet scheduling algorithm in LTE-advanced systems with carrier aggregation[C]//IEEE Consumer Communications and Networking Conference, Jan 10-13, 2011, Las Vegas, NV, USA. Washington DC: IEEE Computer Society, 2011: 632-636.

[35] WANG Y, PEDSRSEN K I, SORENSEN T B, MOGENSEN P E, et al. Carrier load balancing and packet scheduling for multi-carrier systems[J]. IEEE Transactions on Wireless Communications, 2010, 9(5): 1780-1789.

[36] SCHWARZ H, MARPE D, WIEGAND T, et al. Overview of the scalable video coding extension of the H.264/AVC standard[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2007, 17(9): 1103-1120.

[37] BOYCE J M, Ye Y, CHEN J, et al. Overview of SHVC: scalable extensions of the high efficiency video coding standard[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016, 26(1): 20-34.

[38] SULLIVAN G J, BOYCE J M, CHEN Y, et al. Extensions of high efficiency video coding (HEVC)[J]. IEEE Journal of Selected Topics in Signal Processing, 2013, 7(6): 1001-1016.

[39] ZHAO Y, CHEN Z, ZHU C, et al. Binocular just-noticeable- difference model for stereoscopic images[J]. IEEE Signal Processing Letters, 2010, 18(1): 19-22.

[40] 周俊明, 郁梅, 蔣剛毅, 等. 面向ROI編碼的立體圖像比特分配策略分析[J]. 高技術通訊, 2011, 21(10): 1048-1055.

ZHOU J M, YU M, JIANG G Y, et al. Analysis of bit allocation for ROI based coding of stereoscopic images[J]. Chinese High Technology Letters, 2011, 21(10): 1048-1055.

[41] SHAO F, JIANG G, YU M, et al. A novel rate control technique for asymmetric-quality stereoscopic video[J]. IEEE Transactions on Consumer Electronics, 2012, 57(4): 1823-1829.

[42] WEI H, ZHOU X, ZHOU W, et al. Visual saliency based perceptual video coding in HEVC[C]//IEEE International Symposium on Circuits and Systems, May 22-25, 2016, Florence, Italy. Piscataway: IEEE Press, 2016: 2547-2550.

[43] KIM J, BAE S H, KIM M, et al. An HEVC-compliant perceptual video coding scheme based on JND models for variable block-sized transform kernels[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015, 25(11): 1786-1800.

[44] CHEN M, SAAD W, YIN C, et al. Virtual reality over wireless networks: quality-of-service model and learning-based resource management[J]. IEEE Transactions on Communications, 2018 (99): 1.

[45] AHN J, KIM Y Y, KIM R Y, et al. Delay oriented VR mode WLAN for efficient wireless multi-user virtual reality device[C]//IEEE International Conference on Consumer Electronics, Jan 8-10, 2017, Las Vegas, NV, USA. Washington DC: IEEE Computer Society, 2017: 122-123.

[46] LAI C F, CHAO H C, LAI Y X, et al. Cloud-assisted real-time transrating for HTTP live streaming[J]. IEEE Wireless Communications, 2013, 20(3): 62-70.

[47] WANG F, LIU J, CHEN M, et al. Calms: cloud-assisted live media streaming for globalized demands with time/region diversities[C]//IEEE INFOCOM, Mar 25-30, 2012, Orlando, FL, USA. Washington DC: IEEE Computer Society, 2012: 199-207.

[48] WANG F, LIU J, CHEN M, et al. Migration towards cloud-assisted live media streaming[J]. IEEE/ACM Transactions on Networking, 2016, 24(1): 272-282.

[49] HE J, XUE Z, WU D, et al. CBM: online strategies on cost-aware buffer management for mobile video streaming[J]. IEEE Transactions on Multimedia, 2014, 16(1): 242-252.

[50] ZHENG Y, WU D, KE Y, et al. Online cloud transcoding and distribution for crowd sourced live game video streaming[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016: 1.

[51] TANG J, QUEK T Q S. The role of cloud computing in content-centric mobile networking[J]. IEEE Communications Magazine, 2016, 54(8): 52-59.

[52] DENG M, TIAN H, FAN B. Fine-granularity based application offloading policy in small cell cloud-enhanced networks[C]//IEEE International Conference on Communications Workshops, May 23-27, 2016, Kuala Lumpur, Malaysia. Washington DC: IEEE Computer Society, 2016: 638-643.

[53] CHEN X, JIAO L, LI W, et al. Efficient multi-user computation offloading for mobile-edge cloud computing[J]. IEEE/ACM Transactions on Networking, 2016, 24(5): 2795-2808.

[54] CAO S, TAO X, HOU Y. An energy-optimal offloading algorithm of mobile computing based on HetNets[C]//International Conference on Connected Vehicles and Expo, Oct 19-23, 2015, Shenzhen, China. Washington DC: IEEE Computer Society, 2015: 254-258.

[55] ZHAO Y, ZHOU S, ZHAO T, et al. Energy-efficient task offloading for multiuser mobile cloud computing[C]//IEEE/CIC International Conference on Communications in China, Oct 14-17, 2016, Shenzhen, China. Washington DC: IEEE Computer Society, 2016: 1-5.

[56] VONDRA M, BECVAR Z. QoS-ensuring distribution of computation load among cloud-enabled small cells[C]//IEEE International Conference on Cloud Networking, Oct 8-10, 2014, Luxembourg. Washington DC: IEEE Computer Society, 2014: 197-203.

[57] MUNOZ O, PASCUAL-ISERTE A, VIDAL J. Joint allocation of radio and computational resources in wireless application offloading[C]//IEEE Future Network and Mobile Summit, Jul 3-5, 2013, Lisboa, Portugal. Washington DC: IEEE Computer Society, 2013: 1-10.

[58] MAO Y, ZHANG J, SONG S H, et al. Power-delay trade-off in multi-user mobile-edge computing systems[C]//IEEE Global Communications Conference, Dec 4-8, 2016, Washington DC, USA. Washington DC: IEEE Computer Society, 2016: 1-6.

[59] LIU J, MAO Y, ZHANG J, et al. Delay-optimal computation task scheduling for mobile-edge computing systems[C]//IEEE International Symposium on Information Theory, Jul 10-15, 2016, Barcelona, Spain. Washington DC: IEEE Computer Society, 2016: 1451-1455.

[60] MAO Y, ZHANG J, LETAIEF K B. Dynamic computation offloading for mobile-edge computing with energy harvesting devices[J]. IEEE Journal on Selected Areas in Communications, 2016, 34(12): 3590-3605.

[61] SATYANARAYANAN M, BAHL P, DAVIES N. The case for VM-based cloudlets in mobile computing[J]. IEEE Pervasive Computing, 2009, 8(4): 14-23.

[62] WANG K, SHEN M, CHO J, et al. MobiScud: a fast moving personal cloud in the mobile network[C]//ACM Workshop on All Things Cellular: Operations, Applications and Challenges, Aug 17, 2015, New York, USA. New York: ACM Press, 2015: 19-24.

[63] BECVAR Z, PLACHY J, MACH P. Path selection using handover in mobile networks with cloud-enabled small cells[C]//IEEE International Symposium on Personal, Indoor, and Mobile Radio Communication, Aug 30-Sept 2, 2015, Washington DC, USA. Washington DC: IEEE Computer Society, 2015: 1480-1485.

[64] RAVI A, PEDDOJU S K. Handoff strategy for improving energy efficiency and cloud service availability for mobile devices[J]. Wireless Personal Communications, 2015, 81(1): 101-132.

[65] CLARK C, FRASER K, HAND S, et al. Live migration of virtual machines[C]//2nd Conference on Symposium on Networked Systems Design and Implementation, May 2-4, 2005, Lombard, IL, USA. New York: ACM Press, 2005: 273-286.

[66] BELLAVISTA P, ZANNI A, SOLIMANDO M. A migration-enhanced edge computing support for mobile devices in hostile environments[C]//IEEE Wireless Communications and Mobile Computing Conference, June 26-30, 2017, Valencia, Spain. Washington DC: IEEE Computer Society, 2017: 957-962.

[67] WANG S, URGAONKAR R, CHAN K, et al. Dynamic service placement for mobile micro-clouds with predicted future costs[C]//IEEE International Conference on Communications, June 8-12, 2015, London, UK. Washington DC: IEEE Computer Society, 2015: 5504-5510.

[68] PLACHY J, BECVAR Z, STRINATI E C. Dynamic resource allocation exploiting mobility prediction in mobile edge computing[C]//IEEE International Symposium on Personal, Indoor, and Mobile Radio Communications, Sept 4-8, 2016, Valencia, Spain. Washington DC: IEEE Computer Society, 2016: 1-6.

[69] FANG W, ZHENG L, DENG H, et al. Real-time motion tracking for mobile augmented/virtual reality using adaptive visual-inertial fusion[J]. Sensors, 2017, 17(5): 1-22.

[70] KIM H, LEUTENEGGER S, DAVISON A J. Real-time 3D reconstruction and 6-DoF tracking with an event camera[C]//European Conference on Computer Vision, October 8-16, 2016, Amsterdam, Netherlands. New York: Springer International Publishing, 2016: 349-364.

[71] DOBBINS M K, RONDOT P, SCHWARTZ K, et al. Providing a collaborative immersive environment using a spherical camera and motion capture: US 8217995 B2[P]. 2012-07-10.

[72] AHLEHAGH H, DEY S. Hierarchical video caching in wireless cloud: approaches and algorithms[C]//IEEE International Conference on Communications, June 10-15, 2012, Ottawa, ON, Canada. Washington DC: IEEE Computer Society, 2012: 7082-7087.

[73] WANG X, CHEN M, TALEB T, et al. Cache in the air: exploiting content caching and delivery techniques for 5G systems[J]. IEEE Communications Magazine, 52(2): 131-139.

[74] MOLISCH A F, CAIRE G, OTT D, et al. Caching eliminates the wireless bottleneck in video aware wireless networks[J]. Advances in Electrical Engineering, 2014(9): 74-80.

[75] LI W, OTEAFY S M A, HASSANEIN H S. Dynamic adaptive streaming over popularity-driven caching in information-centric networks[C]//IEEE International Conference on Communications, June 8-12, 2015, London, UK. Washington DC: IEEE Computer Society, 2015: 5747-5752.

[76] LIU Y, GEURTS J, POINT J C, et al. Dynamic adaptive streaming over CCN: a caching and overhead analysis[C]//IEEE International Conference on Communications, June 9-13, 2013, Budapest, Hungary. Washington DC: IEEE Computer Society, 2013: 2222-2226.

[77] LIANG K, HAO J, ZIMMERMANN R, et al. Integrated prefetching and caching for adaptive video streaming over HTTP: an online approach[C]//ACM Multimedia Systems Conference, March 18-20, 2015, Portland, OR, USA. New York: ACM Press, 2015: 142-152.

[78] GRANDL R, SU K, WESTPHAL C. On the interaction of adaptive video streaming with content-centric networking[J]. Journal of Sports Sciences, 2013, 23(9): 977-989.

[79] FUENTE Y S D L, SCHIERL T, HELLGE C, et al. iDASH: improved dynamic adaptive streaming over HTTP using scalable video coding[C]//ACM SIGMM Conference on Multimedia Systems, Feb 23-25, 2011, San Jose, CA, USA. New York: ACM Press, 2011: 257-264.

[80] TRAN T X, POMPILI D. Octopus: a cooperative hierarchical caching strategy for radio access networks[C]//IEEE International Conference on Mobile Ad Hoc and Sensor Systems, Oct 10-13, 2016, Brasilia, Brazil. Washington DC: IEEE Computer Society, 2016: 154-162.

[81] ZHANG Z, LIU D, YUAN Y. Layered hierarchical caching for SVC-based HTTP adaptive streaming over C-RAN[C]//IEEE Wireless Communications and Networking Conference, March 19-22, 2017, San Francisco, CA, USA. Washington DC: IEEE Computer Society, 2017:1-6.

Mobile AR/VR in 5G based on convergence of communication and computing

ZHOU Yiqing1,2,3, SUN Bule1,2,3, QI Yanli1,2,3, PENG Yan1,2,3, LIU Ling1,2,3, ZHANG Zhilong4, LIU Yitong4, LIU Danpu4, LI Zhaoxin1,2,3, TIAN Lin1,2,3

1. University of Chinese Academy of Sciences, Beijing 100049, China 2. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100080, China 3. Beijing Key Laboratory of Mobile Computing and Pervasive Device, Beijing 100190, China 4. Beijing University of Posts and Telecommunications, Beijing 100876, China

Oriented to 5G mobile communication network combining with communication and computation, the characteristics of mobile AR/VR information processing and transmission were analyzed, and the ability to integrate communication and computation was proposed, and the capability of integrating communication and computing was proposed. In the future 5G mobile communication network, multi-level computing will be used to solve the problem of limited computing capacity of mobile terminals by the capability of multi-level computing nodes in collaborative network. Intelligent transmission mechanism could overcome the problem of unstable transmission capacity of mobile channel by efficient spectrum sensing, layered coding and adaptive space port transmission, and the mobile AR/VR service delay was ensured by using delay guarantee mechanism and cooperative management of communication and computing resources. The research status and development trend of mobile AR/VR multi-level computing model, intelligent transmission mechanism and service delay guarantee was reviewed, the existing problems were summarized and the next research direction was put forward.

convergence of communication and computing, 5G, AR/VR, hierarchical computing

TN911

A

10.11959/j.issn.1000?0801.2018241

周一青（1975?），女，中國科學院大學崗位教授，中國科學院計算技術研究所“百人計劃”研究員、博士生導師，無線通信技術研究中心副主任，移動計算與新型終端北京市重點實驗室研究員，主要研究方向為移動通信、通信與計算融合等。

孫布勒（1992?），男，中國科學院計算技術研究所博士生，主要研究方向為通信與計算融合、大規模多天線、毫米波通信等。

齊彥麗（1991?），女，中國科學院計算技術研究所博士生，主要研究方向為移動邊緣計算、通信與計算融合、無線資源管理等。

彭燕（1993?），女，中國科學院計算技術研究所博士生，主要研究方向為通信與計算融合、超密集網絡等。

劉玲（1990?），女，中國科學院計算技術研究所助理研究員，主要研究方向為5G無線通信、通信與計算融合、超密集網絡、無線資源管理等。

張志龍（1985?），男，北京郵電大學講師，主要從事多媒體通信、無線視頻傳輸策略優化等方面的研究工作。

劉奕彤（1982?），女，北京郵電大學講師，主要從事VR視頻和三維模型的無線傳輸等方面的研究工作。

劉丹譜（1972?），女，北京郵電大學國際學院電信工程及管理系主任、博士生導師，IEEE高級會員，中國通信學會和中國電子學會高級會員，一直致力于無線視頻傳輸策略優化領域的基礎理論與關鍵技術研究。

李兆歆（1983?），男，中國科學院計算技術研究所助理研究員，主要從事三維重建領域的研究工作。

田霖（1980?），女，中國科學院計算技術研究所副研究員，主要研究方向為綠色無線通信系統與無線資源管理技術。

2018?07?01；

2018?08?10