基于移動邊緣計算的虛擬現實壓縮與傳輸系統

譚彬，趙嵩源，吳俊，張文茹

（1.井岡山大學電子與信息工程學院，江西 吉安 343009；2.同濟大學電子與信息工程學院，上海 201804；3.復旦大學計算機科學與技術學院，上海 200433；4.廣東省新一代通信與網絡創新研究院，廣東 廣州 510070）

1 引言

自2016 年以來，虛擬現實（VR,virtual reality）產業迅猛發展，但由于其對本地計算渲染設備的高需求，用戶仍以少數發燒友為主，VR 業務很難為普通用戶服務。Cloud VR 是一種基于云計算的實時虛擬現實技術，其使用云服務器代替用戶本地計算設備，大大降低了VR 的用戶門檻。但由于VR 視頻數據量龐大，在計算和渲染云化后，網絡傳輸的帶寬和時延限制成為整個系統的新瓶頸。對于基礎的4 KB 分辨率Cloud VR 業務，網絡帶寬需要達到至少40 Mbit/s，而傳輸的往返時延（RTT,round trip time）則應控制在70 ms 內[1]，才能為用戶提供良好的觀看體驗。目前的移動網絡架構中，用戶與服務器間距離至少在城域距離級別。不考慮設備轉發以及圖像傳輸，僅考慮光纖傳輸一項RTT 就高達20～40 ms[2]，難以滿足Cloud VR 的要求。

隨著5G 技術的發展，移動網絡的帶寬大大提高。移動邊緣計算（MEC,mobile edge computing）技術將服務器部署在靠近用戶的基站邊緣，通過用戶面網關下沉、應用邊緣化等方式極大地縮小了傳輸時延，配合快速UDP（user datagram protocol）互聯網連接（QUIC,quick UDP Internet connection）、實時傳輸協議（RTP,real-time transport protocol）等低時延應用層協議，使Cloud VR 成為可能[3]。另一方面，MEC 場景下信源端（邊緣服務器）與信道端（基站）聯系更加緊密[4-6]，帶寬足以支持基帶數據在服務器與基站間傳輸，大大提高了使用偽模擬[7]、混合數模（HAD,hybrid digital and analog）等信源信道聯合編碼技術優化傳輸的可行性。

本文基于移動邊緣計算技術，實現了高效可靠的Cloud VR 系統，并基于混合數模技術對傳輸進一步優化。本文主要貢獻如下。

1)對OAI（open air interface）長期演進（LTE,long term evolution）基站協議棧進行改造，構建了一個移動邊緣計算平臺，擴展支持混合數模傳輸。

2)采用基于金字塔投影變換的用戶視點感知動態推流方法，實現了完整的Cloud VR 系統。

3)基于混合數模技術優化系統傳輸效率，在有限帶寬下提供更高質量的VR 圖像，同時提出一種啟發式的資源分配優化算法。

2 相關工作

VR 視頻的每幀圖像都包含了360°全視角信息，但用戶觀看VR 視頻時只能看到其FOV（field of view）內的少部分圖像，也就是說每幀VR 圖像中存在大量的冗余。理想情況下，可以根據用戶的視點信息只推送其FOV 內的有效圖像信息。但是，受限于網絡時延與帶寬和VR 視頻觀看的特殊性，這種方式將導致嚴重的滯后和圖像切換卡頓（只有在新的一幀到來時才切換圖像）。因此，目前主流方案是基于用戶的視點信息傳輸質量不均勻的碼流方案，在保證FOV 內圖像質量的同時，盡可能降低冗余圖像質量。當用戶觀看方向輕微改變時不需要等待新的一幀數據到來，在本地即可完成畫面切換，解決滯后與卡頓問題。而服務端則依據用戶上傳的視點信息動態調整傳輸視頻的FOV 位置，盡可能與用戶FOV 匹配，實現用戶視點感知的動態推流。

對于非均勻質量全景圖像的構造，最常見的方案是將全景視頻分割成不同的小塊（通常被稱為tile），根據用戶FOV 傳輸質量不同的tile，很大程度上節省了網絡帶寬。Hosseini 等[8]提出了一種基于擴展MPEG-DASH SRD（moving picture experts group-dynamic adaptive streaming over HTTP spatial relation description）的動態視點感知的自適應VR傳輸框架。與之類似，Hyeon 等[9]基于HLS（HTTP live streaming）協議提出SSAS（spatial segmented adaptive streaming）實現基于用戶視點的實時自適應推流。這些方案都借鑒了DASH 等現有HTTP 自適應傳輸協議，將基于時間分片進一步拓展到空間上。首先將全景視頻在時間和空間上分為多個塊，再將每塊分別生成多個質量版本。根據用戶視點信息，為每個塊選擇合適的質量版本傳輸，越接近FOV 的質量越高，實現動態自適應推流。這些方法本質上還是在等距柱狀投影（ERP,equirectangular projection）全景圖的基礎上進行分塊編碼，畫面質量在塊間比較生硬，影響用戶觀看體驗。

另外一類方法基于投影變換，如四面體、立方體投影等，它利用了經典的地圖投影思想，將球面劃分為許多球面梯形，投影到某種多面體上，具有失真小、壓縮效率高的特點[10]。常見的多面體投影方法每個側面大小相等，而Facebook 提出的一種金字塔投影方案是將球面投影到一個正四棱錐上，利用不同面投影面積的差異生成一個底面清晰側面模糊的非均勻質量圖像。這種方法將非均勻質量圖像的產生融入投影變換中，畫質變化更加自然。

上述研究主要從信源角度入手，通過編碼或投影的方法縮減冗余數據。也有一些研究結合了傳輸信道，優化無線場景下VR 視頻傳輸效率。Liu 等[11]提出了一種基于信源信道聯合編碼的高效VR 傳輸機制，參考用戶FOV 信息，對VR 視頻進行分塊后使用不同級別的差錯保護，最大化用戶FOV 內的觀看質量。文獻[12]的研究中定義了一種全新的體驗質量（QoE,quality of experience）度量方法來衡量用戶的觀看體驗，同時給出了一種高效的碼率和調制方式控制算法，以最大化不同信道條件下的QoE。這些研究主要基于ERP 的分塊編碼進行，由于金字塔投影方案未對視頻進行分塊，因此這些基于傳輸信道的優化無法拓展應用于金字塔方案中。本文基于MEC 架構下服務器和基站間緊密聯系的特點，使用混合數模技術，利用信源信道聯合編碼的方法，對金字塔投影方案的VR 視頻傳輸效率進行優化。

3 基于移動邊緣計算的Cloud VR 系統

3.1 擴展的移動邊緣計算架構

傳統蜂窩移動網絡中，用戶需要經過接入網、核心網、互聯網的層層轉發訪問網絡資源。這種模式難以滿足交互式VR 業務對于時延和網絡質量的高要求。本文在OAI LTE 系統的基礎上融入MEC技術，并在基站中擴展實現了混合數模傳輸模式，為Cloud VR 業務提供可靠的高性能網絡支持，系統結構如圖1 所示。

通過對基站協議棧的修改，在引入MEC 功能的同時，保持了對標準LTE 終端的兼容。本文在網絡層使用隧道協議重定向流量，實現了邊緣服務敏感流量的篩選與分流。基站內部維護一張邊緣服務流量敏感表，記錄了需要被導向邊緣服務器的數據分組IP 地址、協議以及端口號等信息。對每個流經的數據分組進行匹配，若數據分組命中敏感表中條目，則重構其GPRS 隧道協議（GTP,GPRS tunneling protocol）隧道分組頭中的目的IP，將原本的核心網IP 替換為邊緣服務器IP，將數據分組導向邊緣服務器。對于返回的下行數據，邊緣服務器將源IP地址偽裝成真實的應用服務器公網地址。

所提架構基于MEC 系統實現Cloud VR，將計算與服務下移到基站邊緣，從網絡結構和物理距離兩方面最小化傳輸時延，可以將RTT 控制在10 ms以內，既提高了服務器的響應速度，又保證了網絡服務質量的穩定，大大提升了用戶觀看體驗?；旌蠑的＜夹g的引入，為邊緣服務器提供更加靈活的傳輸模式，使其能夠充分利用帶寬資源，改善現有數字傳輸存在的飽和效應。

3.2 視點感知的動態推流

用戶在虛擬環境中的視野可以認為是一個空間球，用戶在使用終端時，實際看到的視覺信息只是全部球面數據的一部分，這部分面積由終端提供的FOV 決定。用戶在某一時刻只會看到少部分圖像，若FOV 為90°，單眼可視信息約為球面信息的；若FOV 為120°，單眼可視信息約為球面信息的。完整傳輸全景圖像存在較大冗余，但是僅傳輸視野內的圖像會因網絡時延及抖動出現時延或圖像缺失等情況，大大降低觀看體驗。因此本文在Cloud VR 系統中采取基于用戶視點信息動態推流的方法尋求效率和體驗上的平衡。

圖1 所示的系統架構中展示了基于視點信息的動態推流Cloud VR 系統交互流程。服務器首先將全景圖像按中心視點處理為多個版本，并根據用戶反饋的視點信息選擇相應版本傳輸。每個視點版本的視頻是一個具有全視角但質量不均勻的碼流，在用戶FOV 之內及附近的圖像保持高質量，而FOV 之外的圖像分辨率則逐漸降低。終端根據用戶當前頭部姿態位置，向服務器請求對應的視點版本視頻。當頭部轉動視點變化超過一定閾值時，服務器更換相應視頻版本推送。

圖1 系統結構

在這種模式下，系統將有限的帶寬資源主要用于傳輸用戶可視范圍內的圖像，盡可能壓縮冗余內容，提供最好的觀看效果。同時，傳輸的每幀圖像都包含了全視角的信息，可以實現“端云異步”渲染。當用戶頭部姿態發生改變時，本地顯示設備不需要等待云端回傳，實時在本地完成渲染，以最短的時延更新畫面，保證畫面完整流暢過渡。

3.3 金字塔投影

對于多視點版本視頻的處理，本文采用金字塔投影變換的方案。與分塊編碼方案差別較大，該方案采用投影變換的方式，將ERP 全景圖重映射到一個金字塔（正四棱錐）上，通過不同方向上投影面積的不同，來實現圖像質量的漸變壓縮，具體過程如圖2 所示。用戶的視野可以看作一個空間球，其極坐標與ERP 全景圖存在直接映射關系。首先，以一個金字塔包裹用戶的視野空間球，旋轉金字塔使其底面中點方向與用戶視點方向保持一致。根據極坐標計算出空間球與金字塔上各點的映射關系，完成ERP 全景圖到金字塔的投影過程。然后，將金字塔的4 個側面展開，與底面組成一個四角星形狀的二維圖形。最后，將金字塔展開后的4 個側面向內壓縮，縮減側面數據量。壓縮后的4 個側面與底面拼接成正方形，得到最終的變換結果。

在實際計算中，從最終得到的金字塔全景圖出發，反向計算推導出與ERP 全景的映射關系。長為L、寬為H的ERP 全景圖對應的金字塔全景圖是一個邊長為W的正方形，即

如圖2 所示，將正方形劃分為{B0,B1,B2,B3,B4}這5 個部分，分別對應金字塔的底面和4 個側面。每部分經過空間幾何變換，拼接成包裹用戶視野球的金字塔。各部分的三維空間齊次變換矩陣表示為{M0,M1,M2,M3,M4}。每個矩陣均可通過平移、旋轉、縮放、平移、旋轉這五步基本變換推導得出，則金字塔各面旋轉通式為

其中，T和S分別為三維平移和縮放齊次變換矩陣。假設Rx、Ry、Rz分別為繞坐標軸x、y、z旋轉的變換矩陣，則R定義為

對于金字塔全景圖中的每個點P(i,j)，可得到其變換矩陣MP(i,j)為

圖2 基于視點信息的金字塔投影變換過程

當用戶中心視點為極坐標(φv,θv)時，各點變換后對應的金字塔上的坐標P′(i,j)為

由ERP 全景圖和三維極坐標之間的映射關系，可計算出金字塔全景圖中的點P(i,j)在ERP 全景圖中的投影點E(i,j)為

鋼筋是整個高速公路橋梁工程的骨架與重要支撐點，是一個橋梁工程的靈魂所在，對橋梁工程的整體質量有很大的影響。進行鋼筋安裝作業時，施工人員應按照相關規范的要求和標準進行施工作業，杜絕違規操作。在安裝施工過程中，應加強對管樁內鋼筋的保護，有效防止施工過程中出現斷裂與銹蝕等現象，保證施工過程的順利進行。

這樣就建立起金字塔全景圖中每個點到ERP全景圖中的投影關系，使用3 次樣條插值完成ERP到金字塔的重映射。

3.4 混合數模優化方案

現有無線通信系統中，信道端將視頻數據編碼成比特流進行傳輸。如果視頻碼流傳輸出現誤碼，視頻數據解碼會引起視覺上嚴重失真甚至解碼失敗。目前的無線視頻軟傳輸方案雖然可以實現視頻傳輸質量無縫自適應信道條件，然而其傳輸效率卻不盡如人意。結合傳統數字傳輸的高效性和視頻軟傳輸的穩健性，混合數模傳輸技術可提供穩定可靠和較高效率的VR 視頻傳輸。

本文提出的混合數模傳輸系統中，設計了一個時分復用的混合數模視頻軟傳輸方案。將用戶視窗內的視頻分解為兩層，第一層即基本層信號，是視頻源經過HEVC 編碼器壓縮生成的；第二層即增強層信號，是原始視頻信號與第一層重構信號相減之后的殘差值。這兩層視頻信號采用時分復用的方式傳輸。一方面，為了實現數字部分的可靠傳輸，目標比特率由量化參數控制，通過信噪比（SNR,signal noise ratio）確定信道編碼碼率和調制階數。另一方面，整體視頻質量直接取決于模擬信號的均方誤差，該均方誤差可以表示為模擬部分的數據方差、分配給模擬部分的功率和帶寬以及信道的噪聲功率的函數。

3.4.1 資源分配優化問題

本文在功率分配上首先保證基本層能夠譯碼成功，因此HDA 視頻傳輸總體視頻質量由增強層（模擬信源）的數據方差、分配給模擬部分的資源和信道噪聲功率共同決定。根據SNR 用一個選定的信道編碼碼率對基本層比特流信號進行Turbo 編碼，將編碼后的信號進行正交幅度調制?？紤]到HEVC（high efficiency video coding）已經基本去除了視頻序列的幀間相關性，原始視頻和重構的視頻之間的殘差基本不包含幀間冗余。殘差部分通過3D-DCT 變換進一步解相關，功率縮放后的DCT 系數用于調制信號幅度。

由于第二層中的信號是視頻的增強信號，在有限的帶寬和功率條件下，盡可能多地恢復增強層信號有助于提高重建視頻的質量。對增強層信號進行去相關操作后，模擬系數的能量分布較集中，具體表現為部分大系數集中在左上角。在時分復用編碼中，第一層的碼率和信道編碼調制方式應該選擇合適的參數，以保證正確解碼第一層。由于第一層設計為在給定的信道噪聲功率下被正確解碼，因此整個系統失真由第二層的重建失真決定。為了減少模擬部分的大系數對數字信號的干擾，本文盡量將大系數采用時分復用進行傳輸，受帶寬限制，小系數將被丟棄。雖然丟棄小系數節省了帶寬，但這些小系數所攜帶的高頻分量信息無法在接收端恢復，這將帶來額外的性能損失。

不失一般性地，本文使用均方誤差（MSE,mean-square error）作為失真度量。令Da和Dd分別為模擬失真和數字失真，功率分配的目的是，在確保Dd=0 的同時最小化Da。為了成功地對數字基本層進行譯碼，數字部分的SNR 必須大于信噪比閾值SNRth，SNRth對應的譜效率為ef，取決于調制與編碼方案（MCS,modulation and coding scheme），需滿足式(7)。

其中，Pd是基本層數字信號的平均功率分配系數，是附加高斯白噪聲信道的噪聲功率。

其中，Pa表示增強層模擬信號所分配的平均功率，Ba表示傳輸的模擬信號所占的帶寬，Bd表示傳輸的數字信號所占的帶寬。增強層經過3D-DCT 變換后，每一組視頻幀被進一步劃分成N個塊，將第i個塊的方差定義為λi。根據文獻[13]，一方面，經過信道傳輸的模擬信號受到信道噪聲的干擾，其失真可表示為

另一方面，被丟棄的系數在接收端無法恢復，這也會帶來額外的失真Da2。

所有增強層信號的平均重建誤差可表示為

因此，最優的功率分配問題可以定義為

根據參考文獻[14]，第i個塊的方差可表示為

其中，QP（quantization parameter）是量化參數，ki和wi是第i個塊中表示λi和QP 之間指數關系的2個參數。視頻經過數字壓縮編碼之后，每個像素的量化比特數也可以進一步使用指數函數進行擬合，擬合參數分別為a和b。量化參數QP 與每像素產生的比特數R之間的關系為

當一組視頻幀有M個像素點時，經過數字壓縮后得到的總比特數為

對于數字和模擬的混合編碼，目前的方案傾向于盡量分配更多的資源給基本層數字信號，即在可用帶寬下使QP 盡可能小。這是因為數字編碼的效率一般高于模擬軟傳輸編碼。然而，本文實驗仿真表明，這種分配方案并不能達到系統最優。考慮到數字與模擬信號的資源分配優化與量化參數的選擇密不可分。當量化參數QP 變大時，視頻被壓縮后生成的比特流更少，在相同帶寬下，只需要傳輸更少的信源壓縮比特，即對數字信號的編碼和調制效率要求降低。更低的編碼碼率或者更低的調制階數使信噪比閾值也隨之降低，數字部分所占資源將減少。另一方面，基本層數字信號攜帶的信息量減少，也就意味著增強層攜帶信息量的增加?？沼喑鰜淼膸捙c功率將用于傳送增強層信號。由于譜效率與數字功率之間并不是簡單的線性關系，因此資源分配存在優化問題。

3.4.2 搜索算法

利用混合數模中模擬失真及數字失真的函數表達式，本文使用遍歷搜索算法來求解式(12)定義的優化問題。當量化參數QP 增加時，式(9)和式(10)中的λi以及Pa都變大，即求和項中的各項都變大，然而，由于數字信號所占的帶寬減少，式(10)中的項數將減少。

模擬失真Da(Pa,QP)是一個多變量函數，同時，Pa受到Pd的約束，不能影響數字部分的正確解碼。由于數字部分信號是經過視頻編碼器的量化參數QP 壓縮后生成的，因此該優化問題是一個混合離散連續規劃問題。如算法1 所示，該優化問題通過遍歷搜索求出最優解。

算法1功率分配算法

4 實驗結果

基于本文實驗室自研的SOUP 軟件無線電平臺[15]配合改造過的移動邊緣計算架構LTE 協議棧，本文搭建了完整的MEC 平臺，并以此為承載網絡開發了基于用戶視點信息和金字塔投影優化的Cloud VR 系統。系統可使用標準商業終端或專業VR 頭盔作為用戶端顯示設備。本節在此實物驗證平臺上，對系統的性能進行了完整的評估。

根據3.3 節金字塔投影方案推導可知，金字塔變換后的圖像像素數量只有ERP 全景圖的40%，但在使用HEVC 編碼后投影前后壓縮率反而有所降低。該現象說明在金字塔投影后的圖像編碼效率方面有一定的損失，這一損失主要來自金字塔4 個側面投影和放縮變換所引入的圖像畸變。本節對金字塔投影前后VR 全景視頻以及金字塔底面和側面分別進行HEVC 編碼壓縮率的統計對比，結果如圖3所示。

圖3 金字塔變換前后及不同面壓縮率對比

從圖3 可以看出，金字塔全景圖相較ERP 全景圖壓縮率增加了0.54%。進一步分析數據可以驗證本文之前的分析，金字塔側面單獨編碼壓縮率只有2.7%，極大地拉低了金字塔全景圖的整體壓縮率。而金字塔底面由于其圖像畸變小，不存在ERP 全景圖中南北兩極嚴重拉伸的問題，壓縮率在4 種場景中最高。這也為后續研究提供了優化思路和方向。

本節對所提出的混合數模傳輸方案進行了Matlab 實驗仿真。本文所提的混合數模傳輸系統由數據通道和控制通道兩部分組成。數據通道分別執行發送端和接收端的函數模塊；控制路徑按照算法1實現功率分配，在最小化失真的條件下解出Pa和QP。數據通道將數字傳輸方式和偽模擬傳輸方式相組合，數字傳輸方案使用HEVC 進行信源編碼和基于LTE 的自適應調制編碼方案用于傳輸，可以選擇不同組合的信道編碼率和調制模式。

在金字塔投影方案中，利用雙目視覺掩蔽效應，在人腦中失真較大的側面視頻內容受到抑制，用戶的主觀感受質量更趨近于底面視頻質量。因此，將有限的碼率資源更多地分配給重要的底面數據，并使用底面視頻的分辨率為1 664 像素×1 664 像素的標準高清序列進行實驗仿真。對于模擬傳輸，視頻序列中的每幀被劃分為64 個塊。實驗中設置每個圖片組由16 幀圖像組成，因此每個圖片組的模擬符號被劃分成1 024 個系數塊。當視頻幀率為30幀/秒時，信源帶寬Ns為41.5 MHz。定義用于傳輸數據的帶寬為Nc，具體的實現過程是使數字部分進行信源和信道編碼的符號數小于或等于Nc?？刂坡窂綄崿F基于遍歷搜索的優化算法，求出Pa和QP。實驗比較本文所提混合數模傳輸方案與現有的數字視頻傳輸方案HEVC 的性能，接收端采用峰值信噪比（PSNR,peak signal to noise ratio）評價視頻傳輸的質量，2 種方案使用相同的帶寬和功率。根據LTE 的自適應調制編碼方案，信道編碼采用LTE Turbo 編碼碼率。調制方案支持QPSK、16QAM 和64QAM，以信道SNR=5.5 dB 為例，此時譜效率約為1.47。圖4 給出了當目標信道SNR=10 dB，數字部分譜效率為1.47 時，測試序列用HEVC 方案與本文HDA 方案在不同QP 下的性能。將視頻可用信道帶寬和信源帶寬之比設置為β，即。

由圖4 實驗結果可知，當數字部分采用某一QP 時，HEVC 方案下的接收端視頻質量不隨可用信道帶寬變化而變化。當QP=20 時，如果可用信道帶寬只有信源帶寬的，數字部分的數據長度將超出可用帶寬，導致數字部分無法正確解碼。在可用帶寬資源緊缺的條件下，提高QP 可以實現數字部分數據的編碼與傳輸。

進一步地，將本文HDA 方案與HEVC 方案的性能進行比較，在不同信道條件下，經典的HEVC 方案不可避免地受到懸崖效應的影響。隨著SNR 的增加，譜效率也隨之增加，此時HEVC將有機會選取較低的QP?？紤]SNR 為0～20 dB，β=0.5，并且將10%的帶寬預留給數字部分的混合自動重傳。如圖5 所示，本文HDA 方案的平均PSNR比HEVC 方案的平均PSNR 高0.41 dB。

圖4 不同QP 下的HEVC 方案與本文HDA 方案性能比較

圖5 PSNR 性能比較

通過在現有的數字傳輸方案中增加模擬信號，并將部分帶寬分給模擬信號，可以改善接收端視頻質量的飽和效應。當目標信道的信噪比較高時，模擬信號傳輸還能進一步獲得更大的性能增益。

5 結束語

隨著以 VR 為代表的多媒體業務的迅速發展，視頻數據的分辨率與日俱增，對于網絡帶寬的挑戰也越來越大。Cloud VR 等新型業務模式的出現，對于傳輸網絡時延提出了更加嚴苛的要求。本文以移動邊緣計算技術為基礎，設計并構建了一套基于用戶視點信息動態推流的 Cloud VR 系統。通過對OAI LTE 的修改，實現了極低時延的MEC 結構。配合服務端使用金字塔投影優化視角場外冗余像素，壓縮帶寬需求，達到了良好的VR 觀看體驗。同時，利用MEC 架構中邊緣服務器與基站間的緊密聯系，嘗試引入混合數模傳輸技術，進一步優化了系統傳輸帶寬和效率。在后續研究中，將進一步探索是否有更好的全景視頻壓縮方案，改善金字塔全景圖側面壓縮效率，并進一步考慮信道的衰減情況，以期實現更多的性能增益。