VR全景視頻傳輸研究進展

收稿日期：2021-11-27；修回日期：2022-01-10" 基金項目：國家自然科學基金項目（32071776）；福建省自然科學基金項目（2020J01465）

作者簡介：葉成英（1997-），女，福建寧德人，碩士研究生，主要研究方向為虛擬現實與交互技術；李建微（1979-），男（通信作者），福建龍巖人，副研究員，碩導，博士，主要研究方向為虛擬現實與交互技術、圖形學（lwticq@163.com）；陳思喜（1975-），男，副教授，碩導，主要研究方向為計算機網絡、虛擬現實與互動技術．

摘 要：VR全景視頻作為一種沉浸式虛擬現實技術，其高分辨率及低延遲的嚴格要求為視頻傳輸帶來了嚴峻挑戰。全景視頻傳輸在全景視頻的系統構建中起到了關鍵作用，并與其他重要技術緊密銜接。為了分析全景視頻傳輸的研究現狀和發展趨勢，首先對映射格式、視頻編碼、質量評估等全景視頻傳輸相關技術進行闡述，從不同視角對相關研究領域和方法進行分類歸納。而后詳細探討了全景視頻傳輸技術的傳輸協議、三類主要傳輸方法及視口預測，并對各部分梳理了一些比較具有代表性的研究方法。最后就關鍵性技術對全景視頻傳輸的未來研究進行展望，旨在為研究人員快速全面了解該領域提供幫助。

關鍵詞：虛擬現實；全景視頻傳輸；映射；視頻質量評估；視口預測

中圖分類號：TP391.41"" 文獻標志碼：A

文章編號：1001-3695（2022）06-001-1601-07

doi：10.19734/j.issn.1001-3695.2021.11.0623

Research progress of VR panoramic video transmission

Ye Chengying，Li Jianwei，Chen Sixi

（College of Physics amp; Information Engineering，Fuzhou University，Fuzhou 350116，China）

Abstract：As an immersive virtual reality technology，VR panoramic video’s strict requirements of high resolution and low delay bring severe challenges to video transmission.Panoramic video transmission plays a key role in the process of building panoramic video system，and connects with other significant technologies.In order to analyze the research status and development trend of panoramic video transmission，this paper firstly expounded the related technologies of panoramic video transmission such as mapping format，video coding and quality assessment，and classified and summarized relevant research fields and methods from different perspectives.Then it discussed the transmission protocol，three main transmission methods and viewport prediction of panoramic video transmission technology in detail，and sorted out some representative research methods for each part.Finally，so as to provide help for researchers to quickly and comprehensively understand this field，this paper pointed out the future study of panoramic video transmission.

Key words：virtual reality；panoramic video transmission；projection；video quality assessment（VQA）；viewport prediction

近年來，隨著計算、通信等技術的快速發展及5G網絡的高速部署，虛擬現實（virtual reality，VR）應用蓬勃發展［1］。其中，全景視頻（panoramic video）又被稱為360°視頻（360-degree video）或沉浸式視頻（immersive video），作為虛擬現實應用的重要組成部分之一，在學術研究和工業應用領域都備受關注。根據調研數據顯示［2］，全景視頻的市場占有率在2018—2024年將以34%的年平均增長率持續增長。國際知名投行Goldman Sachs也曾報告分析，基于全景視頻的VR業務增長迅速，占VR應用領域預期總用戶數（1億3千萬）的40%，預估到2025年，VR全景視頻用戶量會達到近兩億［3］。

不同于僅呈現在二維平面上的傳統視頻，作為一種新型的沉浸式媒體應用，全景視頻允許用戶在360×180°的球形視頻內獲取全方位場景［4］，并在播放過程中隨意切換當前視野（field of view，FoV）。現如今，用戶可以使用計算機、智能手機、頭戴式顯示設備（head mounted display，HMD）等播放全景視頻。為了給用戶營造更好的全景視頻質量體驗（quality of experience，QoE），視野范圍增大的同時也意味著更高的分辨率要求和帶寬需求。就入門級全景視頻而言，全畫面分辨率為8K（7 680×4 320），單眼分辨率為1 920×1 920，其網絡帶寬需求約為100 Mbps［5］。如此巨大的數據量傳輸是一項艱巨挑戰。對此， 2018年運動圖像專家組（Moving Picture Experts Group，MPEG）便針對全景視頻展開標準化工作（MPEG-I）［6］，聯合視頻研究組（Joint Video Exploration Team，JVET）也在高效視頻編碼（high efficiency video，HEVC）中引入全景視頻傳輸的相關支持［7］。

1 全景視頻傳輸概述

全景視頻具有高帶寬、低延遲［8，9］兩大特性，這導致傳輸數據量的劇增，傳統的傳輸架構方案已經不能滿足全景視頻的傳輸。2015年，MPEG提出了全景媒體的應用格式（omnidirectional media application format，OMAF）［10］，它定義了全景媒體的傳輸和存儲格式，為解決全景視頻傳輸問題提供了方向。本章將依托OMAF對全景視頻傳輸的關鍵環節和技術（圖1）進行簡單介紹，并闡述相關內容的研究進展。

1.1 全景映射

鑒于球形畫面視頻原始信號的編碼技術還不夠成熟，球形視頻內容也難以在計算機中存儲顯示，目前的主流解決方案是對全景視頻進行映射（projection）［11］。全景映射是將球形畫面平鋪為二維平面，從而對全景視頻進行自適應壓縮。質量越高的映射方法越能夠盡可能地減少所需傳輸的數據量，降低對于網絡帶寬的需求。等距矩形映射（ERP）［12，13］是當前最常見的映射方法，已被普遍應用在如YouTube等360°視頻業務服務網站以及HMD中。ERP是從地圖映射衍生而來，其缺點是球的南北兩極拉伸嚴重，從而降低了編碼效率，增加了帶寬消耗［14］。為進一步解決ERP的幾何失真問題，一系列的優化方法被提出。極平方映射（PSP）［15］將球體按照緯度劃分為三個區域，南北極點附近投影為兩個正方形，赤道環投影為長方形。偽圓柱映射（PCP）［16］將ERP上下底部的四分之一映射為圓形，從而減少了極點附近的變形。除針對兩極形變的優化，還有其他形式的研究方案可以降低映射的過采樣率。菱形映射（RBM）［17］對球體上的點進行采樣、組合，而后將菱形重塑并重新排列到一個矩形上。八邊形映射（OGM）［18］對球體上的點進行了相似的處理，采樣排列成類似八邊形的平面。而雙八邊形映射（DOP）［19］則是在此基礎上將球形視頻投影到兩個鏡像八邊形，以此方式保持南北兩極近似均勻的采樣。此外，嵌套多邊形鏈映射（NPCM）［20］將ERP全景圖分為三條，按行向下采樣，線性逼近球體的理想采樣密度。

立方體映射（CMP）［21］是另一種常用映射方法，也被稱為環境映射（environment mapping），經常被用做游戲場景的天空盒。CMP將球體從球心向外投影到外接立方體的六個面上，從而減少極坐標區域的非均勻采樣，但也存在邊界不連續的問題。等角立方體映射（EAC）［22］和調整立方體映射（ACP）［23］在CMP平面和最終的EAC/ACP平面之間增加了一個映射過程，使采樣更加均勻。混合等角立方映射（HEC）［24］在EAC的基礎上，通過修改映射函數以解決邊界不連續問題。內容感知混合等角立方映射（CHEC）［25］則基于內容特征，通過最小化投影轉換失真來獲得每個面的最優映射函數參數。平行軸均勻立方體映射（PAU）［26］通過將球體投影到類似CMP的立方體后，利用非線性映射函數調整水平和垂直方向上的采樣點映射位置，從而具有更好的投影性能。修改映射函數是CMP的優化方法之一，其二則是通過增加面數方式降低拉伸和面積失真，如八面體［27］、菱形十二面體［28］或二十面體［29］等。理論上，將球體投影到面數越多的正多面體上，可以使得映射后的數據量越小，但是過多的面數會導致后續拼接過程中內容的不連續性更加明顯，如何取得兩者的最佳平衡是研究人員所需要考量的。

除ERP和CMP及其衍生優化映射方法外，其他形式的映射方法也陸續被提出。截斷金字塔映射（TSP）［30］的映射模型為正方形棱臺，將球體分為視口區域（正前方）、可能被觀看區域（上下左右）和幾乎不可能被觀看區域（正后方），對不同的區域進行不同分辨率的采樣和投影。偏移立方映射（OCP）［31］是一種規則的立方體貼圖，在解決金字塔投影問題的同時提供了一種可變的映射。表1總結了本節中介紹的主要映射方法，圖2為其中幾種常見的映射格式。結合現今主流的主觀和客觀質量評估，混合等角立方體映射（HEC）是目前最合適的映射方法［14］。

1.2 編解碼技術

編碼效率是評估視頻壓縮的重要因素，高效的視頻編碼可以降低視頻碼率，緩解帶寬壓力。目前廣泛使用的編解碼技術有高效率視頻編碼（high efficiency video coding，HEVC）/H.265［32］、高級視頻編碼（advanced video coding，AVC）/H.264［33，34］、通用視頻編碼（versatile video coding，VVC）［35］、未來視頻編碼（future video coding，FVC）［36］、AVS3、AV1等。AVC/H.264使用16×16的宏塊結構進行幀編碼，利用編碼器的運動預測特性減少編碼數據的大小。HEVC/H.265被認為是AVC的繼任者，有望改善壓縮比與視覺質量之間的權衡，支持4K和8K的超高分辨率并允許并行處理。HEVC基于編碼樹單元（coding tree unit，CTU），具有4×4到64×64不同大小的宏塊，可以對每個tile進行編碼，其中解塊濾波器、樣本偏移（sample adaptive offset，SAO）和自適應環路濾波（adaptive loop filter，ALF）三種濾波器的應用減少了重建幀的偽影。在高分辨率和高比特率的情況下，與AVC/H.264相比，HEVC可節省約一半的視頻比特率［37］。VVC標準的提出旨在將HEVC的壓縮效率提高一半，并以一半的比特率提供相同質量的視頻，從而能夠滿足如全景視頻、高動態范圍視頻等更高質量的視頻服務和新興應用。VVC采用了多種新的特性［38］，例如使用了四叉樹與多類型樹相結合的塊劃分結構，基于子塊的運動補償，采納了ALF，支持屏幕內容編碼支持，幀內預測、幀間預測精度更精細，多變換選擇方案和量化的適應性更強等。文獻［39］針對全景視頻特點提出共投影平面的運動補償技術、幾何填充、幀內預測的參考樣本推導方法，并對JEM（joint exploration model）增強視頻編碼技術進行分析。文獻［40］提出了一種基于感興趣區域（region of interest，RoI）的全景視頻編碼算法，該算法利用前一幀編碼殘差信息提取RoI并指導當前幀編碼，對提取的RoI采用較小的量化參數（quantization parameter，QP）。對于非RoI，則利用ERP的映射函數作為該區域的QP分配因子。實驗結果表明，該方法最高可節省4.98%碼率和2.46%平均碼率，相同碼率下視頻質量平均提高0.145 dB。隨著5G無線系統技術的進步，聯合視頻探索小組JVET建立了最新FVC技術，以滿足大屏幕數字電影、視頻點播、智能家居應用的應用需求。

1.3 質量評估

投影編碼以及其他多方面因素所產生的壓縮偽影或低分辨率會導致用戶的體驗質量（quality of experience，QoE）［41］急劇降低，因此，對受損的全景視頻進行視覺質量評估（visual quality assessment，VQA）［42］至關重要。VQA主要有主觀質量評估和客觀質量評估兩種類型。

1）主觀質量評估 與客觀評估所借助的數據和模型不同，主觀質量評估是了解用戶對視頻質量觀感最直接可靠的方法，因此，主觀質量評估的研究發展對于VQA和客觀質量評估模型的性能校準測試而言是非常重要的。目前的全景視頻主觀質量評估方法大都在傳統視頻方法的基礎上進行研究。文獻［43］通過構建全景視頻觀看方向數據庫得到用戶觀看全景視頻的一致性分析，并利用這一發現提出了一種主觀VQA方法來評估受損全景視頻的質量損失。文獻［44］為視頻編碼應用建立了包含視頻序列、主觀評分和差異平均意見分數（differential mean opinion score，DMOS）的全景視頻主觀質量數據庫，并針對編碼應用提出了一種主觀質量評估協議。文獻［45］基于HTC Vive平臺搭建了全景視頻顯示系統，并在平臺基礎上，以主觀實驗的形式分析了顯示系統中渲染球體的面片劃分數量和全景視頻主觀質量之間的關系。目前僅有少量的主觀質量評估數據集可供下載，如GitHub（https：//github.com/mmspg/testbed360-android；https：//github.com/Archer-Tatsu/Evaluation_VR-onebar-vive），因此未來還需要更多的公開數據集以支撐研究者的實驗和評估比較。

2）客觀質量評估 該評估主要使用數學模型進行，模型可以自動運算而無須過多的人工干預。對于客觀質量評估，早期的工作主要考慮全景視頻的球體特性，在平面映射中通過標準峰值信噪比（peak signal-to-noise ratio，PSNR）和結構相似性（structure similarity，SSIM）進行測量。PSNR和SSIM先是對像素方向上的畸變進行量化，然后對所有像素位置的量化值進行平均，從而得到VQA評分［46］。由于兩者給予球形圖像所有部分相同的重要性，所以不能很好地度量主觀質量。PSNR方法需要借助均方差（mean square error，MSE），計算方式為

MSE=∑Mi-1 ∑Nj-1［g（i，j）-G（i，j）］2M×N（1）

其中：M×N表示視頻的分辨率；g（i，j）和G（i，j）表示原始無損視頻和受損視頻在坐標（i，j）處的像素值。PSNR的計算為

PSNR=10 log10M2MSE（2）

其中：M表示視頻中像素值的最大值。

相對于PSNR，SSIM方法建立在人眼視覺系統對于對象結構的敏感度基礎上，其計算結果與用戶質量感知之間的關聯性更加密切，并且簡單的計算方法更便于應用。SSIM的計算為

SSIM=［l（x，y）］α［c（x，y）］β［s（x，y）］γ（3）

其中：α、β和γ是調節l（x，y）、c（x，y）和s（x，y）的權重系數；x和y表示原始視頻和受損視頻的處理塊。文獻［47］提出了一種基于球體的峰值信噪比（S-PSNR）方法，該方法在球體上而非映射平面上使用均勻采樣點計算PSNR，以此估計所有觀看方向的平均質量。文獻［48］提出了兩種客觀評估方法，即非基于內容的感知峰值信噪比（NCP-PSNR）和基于內容的感知峰值信噪比（CP-PSNR）。兩者之間的差異在于能否預測用戶的觀看方向并計算其差異，然后對該區域進行權值映射和PSNR操作。文獻［49］則提出了一種加權峰值信噪比，使用伽瑪校正像素值計算PSNR和SSIM。文獻［50］從空間域評估和全局時域評估兩個方面入手研究全景視頻的投影特點，提出了結合球面卷積神經網絡和非局部神經網絡的方法，該方法可以有效提取全景視頻的復雜時空信息并進行質量評估。

2 全景視頻傳輸

全景視頻所具有的高分辨率、高碼率和高幀率特性對于網絡傳輸提出了極高的要求，為了給用戶提供連續、良好的觀看體驗，學術界和工業研究專注于更加高效的視頻傳輸方案。DASH技術基于HTTP自適應流，采用了服務器根據客戶端網絡狀況選擇視頻塊的方法并在傳輸層采取了可靠傳輸機制，具有較強的靈活性和可靠性，已成為傳輸全景視頻的主要技術。早期的研究工作主要集中于傳輸方案是否與視口相關，由此提出了全視口傳輸方案及與視口相關的自適應流方案。

2.1 傳輸協議

傳統傳輸協議的理論和實踐研究如今已經日趨成熟完善，然而對于全景視頻這種新興的視頻呈現方式，傳統傳輸協議尚不能完全滿足其需求。目前，在傳統視頻傳輸的基礎上，加之對于虛擬現實視頻的特性及流媒體掌握，新的傳輸協議被提出和發展。

在帶寬密集的流媒體應用中，基于動態自適應流媒體（DASH）的傳輸是節省帶寬的主要方法之一。DASH也被稱做MPEG-DASH，由MPEG所開發，并于2011年納入ISO國際標準［51］，其系統框架如圖3所示。DASH技術根據網絡情況和終端狀態自適應地切換不同質量的視頻序列進行傳輸，從而保證了用戶可以享受到當前網絡環境下最優的播放體驗，具有啟動快、緩沖小等顯著優點［52］。DASH技術使用媒體描述文件（media presentation description，MPD）描述服務器端相關媒體文件的內容，包括視頻屬性信息和視頻分片信息。為了支持全景視頻流，空間關系描述（SRD）的修正案被添加到DASH標準中［53］。文獻［54］提出了SRD標準以及若干個平鋪視頻用例，SRD功能擴展了MPD，可以提供X/Y軸坐標、寬度和高度等屬性，根據用戶視點對空間內容進行組合后傳輸。文獻［53］將MPEG-DASH SRD擴展到360°視頻的三維空間，并展示了一種動態視圖感知適配技術。文獻［55，56］使用SRD擴展來支持平鋪流，并將視頻描述為同步視頻的專有集合，作者還提供了幾個SRD用例（如可縮放視頻等），為用戶提供了觀看無縫視頻體驗。

不同于DASH協議，HTTP流媒體傳輸（HTTP live strea-ming，HLS）［57］是蘋果公司實施的基于HTTP的流媒體網絡傳輸協議，適用于全景視頻傳輸。其工作原理是將視頻流分成一個個較小的基于HTTP的文件進行下載，每次僅下載其中的若干個。此外，HLS還能夠支持自適應碼率，即用戶可以根據當前的網絡帶寬選擇不同碼率下的流媒體信息，服務器也支持多碼率的輸出。文獻［58］提出了一種改進的HLS系統，在不增加服務器級開銷的情況下，使用內插段序列定義額外的流選項，從而及時在有限的通信帶寬下也能實現高質量的流媒體服務。文獻［59］從實現原理、技術特性、應用前景等層面對MPEG-DASH和HLS兩種協議展開論述，對比結果如表2所示。

2.2 全視角傳輸方案

全視角傳輸方案是目前應用中最為簡單且廣泛采用的主流方案，該方案主要由傳統視頻傳輸方案沿用而來，即將全景視頻通過采集拼接和投影變換后得到與傳統平面視頻無異的視頻文件，通過DASH服務器傳輸到客戶端。這種方案的優點在于實現簡單，只需將全景視頻的全部內容進行編碼傳輸［60］，保證用戶可以在任何方位的高質量觀看，但同時也伴隨著其缺點。一般情況下，在相同單眼可視分辨率的情況下，由于幀率、量化電平、360°環繞等原因，全景視頻碼率要比普通視頻大得多，前者一般是后者的5～10倍，這給傳輸帶來了巨大挑戰［61］。此外，用戶在每個時間段中往往僅能看到一定范圍內的視頻內容，因此持續性全部內容的傳輸導致了極大的帶寬資源浪費，并可能產生用戶觀看時的卡頓現象，影響用戶的觀看質量。全視角傳輸方案主要應用于體育、教育、旅游等領域。

2.3 視口自適應流傳輸方案

為了解決帶寬浪費及畫面卡頓等問題，視口自適應流傳輸方案被提出［62］。視口自適應流的基本思想是將對應于視口部分的視頻部分以高質量傳輸，而視口以外的視頻部分以低質量傳輸［55］。該方案可以分為基于非對稱全景傳輸方案和基于tile的傳輸方案兩類，如圖4所示。

2.3.1 基于非對稱傳輸方案

基于非對稱全景視頻的傳輸［63］是將全景視頻轉換成基于視口的多個版本視頻，當用戶回放視頻時，將根據用戶請求取用其中的某個版本，這在保證視口質量的情況下降低了整體分辨率，如TSP投影和FaceBook的OCP等。以基于TSP的非對稱傳輸方案為例，將用戶在全景視頻環境中視覺信息的對應球面數據放入金字塔映射，用戶觀看視口面使用高分辨率編碼，其余非視口的平面分辨率從與視口平面相交的邊到視角反方向的頂點逐漸降低。傳輸網絡根據終端返回的用戶視角信息向終端提供視口處高質量畫面和非視口處的低質量畫面，基于非對稱傳輸方案顯著降低了帶寬需求，但受到版本數量的限制，當顯示版本與用戶當前視口不匹配時，可能會呈現低質量的視頻內容。文獻［64］將全景視頻切分為不同視口區域的切片并組織成多層級結構，在播放視頻時根據用戶視口運動狀況選擇相應的視口區域切片，實驗證明在相同觀看質量的條件下，該方法可節省32%的帶寬。文獻［65］針對非對稱全景視頻進行了兩個主觀實驗，即將非對稱視頻流分別應用到前景tile和背景tile中，結果表明，非對稱視頻在前景圖塊和背景圖塊中的應用分別可以節省41%和5%～51%的比特率。

2.3.2 基于tile的傳輸方案

視口自適應流的性能不僅取決于用戶的視口，還取決于每個tile的質量，實現視口自適應流最常用的方法是基于tile的傳輸方案［55］。如圖5所示，可以在服務器端將全景視頻在空間上分割成稱為塊（tile）的子視頻，而后對被切分的塊進行編碼，并按照不同等級的碼率編碼出不同的碼率版本。根據給定的用戶視口運動和網絡狀況，系統將最適合級別的塊傳輸給客戶端，在空間上重新組合形成混合碼率的視頻序列［66］，客戶端也只能預取預測視口內的tile。雖然基于tile的傳輸方式更加靈活，但同時也存在著tile的預取錯誤、回放緩沖下的重新預測停頓、混合比特率塊所導致的邊界偽影三個方面的挑戰［62］。

作為基于tile傳輸方案的基礎單位，tile的處理至關重要。文獻［67］介紹了一種基于加權tile的視頻流處理方案，首先提出了與內容無關的視口預測方法以及視口和比特率自適應啟發式算法，該算法能夠動態地選擇視口及其邊緣區域的覆蓋范圍，并將權值分配給這些區域內的tile，而后根據每個tile的權重和可用網絡吞吐量為其分配合適的視頻比特率。文獻［68］則首先通過收集全景視頻的視口軌跡用于估計基于視覺注意的概率模型，而后提出了視覺驅動的球面加權客觀質量度量，以確定DASH表示的每個tile的最優平鋪方案，該方案確定了每個tile所需的編碼比特率級別。文獻［69］針對所設計的自適應流框架部署了等值方法、RoI方法和加權方法這三種用于解決tile版本的方法。其中，等值方法平等地對待所有tile，RoI方法強調視口中可見的tile，而加權方法是根據tile在視頻中的貢獻來決定tile的質量等級；此外，還假設使用量化參數值對每個tile版本進行編碼，并將比特率和質量信息包含在每個版本的每個媒體間隔報頭中，通過每個時間間隔所接收的比特率和質量信息來估計任何其他版本的質量和比特率。結合現有的部分典型360°視頻視口自適應tile選擇方法，文獻［70］發現，在低延遲設置下，基于tile的方法可以將與對應原始視口相比的自適應視口的PSNR提高4.3 dB。此外，對于具有強觀看焦點內容的視頻，基于tile的方法受片段持續時間和緩沖區大小的影響也相對較小。

深度強化學習技術的發展進一步擴展了基于tile傳輸方案的深度。文獻［71］搭建了一種基于強化學習的視口自適應流框架，該框架采用了位置—尺度分布描述視口預測誤差特性，并基于分布獲得tile觀看概率。此外，還提出了tile預取調度算法，根據最新預測結果更新tile，從而進一步降低預測誤差的不利影響。類似地，文獻［72］基于深度三維卷積神經網絡的視口預測模型，提出了一種視口自適應率失真優化方法。文獻［73］則是應用多項技術集成為基于tile傳輸方案所導致的懸崖效應問題提供了解決方案，使用360 cast+來實現全景視頻的可視適配和高效視頻傳輸。360 cast+通過集成模擬調制、基于深度強化學習的視口預測、2D投影和人類感知之間聯合失真的最佳功率分配技術，克服了懸崖效應、恒定質量和大感知冗余等問題。此外360 cast+還提取了塊—子載波匹配算法，用于降低現代正交頻分復原系統中視口預測誤差和頻率相關信道環境的影響。三種全景視頻傳輸方案對比如表3所示。

2.4 視口預測

由2.3節可知，視口自適應流是基于用戶視口決定tile分辨率進行傳輸，如若視口預測出現錯誤則會導致用戶當前視口出現部分黑屏或者模糊，因而視口預測在視口自適應流傳輸中發揮著重要作用。視口預測方法通常可以分為：

a）基于時序運動軌跡預測方法。該方法基于用戶觀看路線的連續性和自相關性，根據一段時間內用戶的觀看軌跡路線預測未來的視點位置。該方法一般采用各種預測方法用于預測未來的觀看位置，如均值算法、線性回歸、航位推算、聚類和神經網絡模擬訓練等。文獻［74］使用均值、線性回歸（linear regression，LR）和加權線性回歸（weighted linear regression，WLR）三種方法進行視口預測，然后將與估計視口重疊的圖塊進行流式處理。實驗結果表明，在2 s范圍的預測時間內，WLR顯著優于均值和LR，時間愈長對于視口預測也更加困難。對于視口長期預測算法，文獻［75］將用戶視口運動建模為（θ，φ，ψ）三個角度的軌跡，而后將相似觀看行為的軌跡形成一個聚類，并為每個聚類計算不同的函數，然后將函數用于預測未來視口。實驗結果顯示，該方法可得到長達10 s的預測視野，將視口面積平均增加了13%。文獻［76］則是將用戶當前視口樣本與先前聚類視口模式進行匹配。文獻［77］利用卷積神經網絡建立了視口預測模型，通過增加更多的卷積層以獲得更強的非線性擬合能力；此外，通過融合模型將遞歸神經網絡（RNN）和基于相關濾波器的視口跟蹤器相結合，使得兩個模型都能夠支持更好的預測，并將預測精度提高了40%。

b）基于空間的視頻內容分析方法。該方法主要通過搜尋畫面的顯著性對象對視口進行預測。顯著性特征表示一幅圖中各個對象對于用戶的吸引程度，顯著性程度越高說明用戶的觀看概率越高。因此，目前的主要技術方向是基于顯著性特征獲取視頻畫面對象的顯著度，以此預測用戶視口，或者基于運動軌跡預測，輔之以顯著度修正用戶視口。文獻［78］提出了一種考慮中心偏差和多目標混淆的顯著性度量，使用了標準化和最大融合方法將視覺頻率特征和觀看行為特征融合，雖然該方法取得了良好性能，但是不能充分利用兩個特征之間的相互依賴性來構建最終的顯著圖。文獻［79］基于類似度量方法提出了PanoSalNet算法，使用自構建數據集檢測顯著性，并結合顯著性和頭部定向歷史訓練頭部運動預測框架，得到0.5～1.0 s內的準確預測。文獻［80］發現用戶觀看容易受到視口內容和位置的影響，為此開發了一種多任務深度神經網絡（MT-DNN）來預測360°全景視頻視口相關的顯著性，并結合CNN和卷積LSTM提取特定視口的特征。文獻［81］在深度強化學習框架下使用卷積神經網絡提取視口圖像的特征，將每個像素的球面坐標作為額外的位置信息，并使用基于心理視覺機制的獎勵函數幫助模型學習更通用的特征，增強探索過程中的魯棒性。

3 未來發展與展望

全景視頻與傳統視頻截然不同的地方在于整體呈現，由于其全范圍而用戶的視野有限，用戶只能觀看到當前畫面中某一小部分畫面。為了在節省帶寬的基礎上提供高速流暢、高分辨率的視頻，全景視頻傳輸成為了現今的研究熱點。以下將針對該領域中的幾個研究方向和可能方法進行概述，旨在為研究者提供一些參考和思路。

a）全景視頻映射格式的選擇對于編碼以及其他部分有著顯著影響，其相關研究已經從最初的ERP單面映射發展到如今的多方面考慮權衡，但面臨的一個重要挑戰仍是映射過程中存在的過采樣或欠采樣等問題。在這種情況下，內容特征、物體運動、視口預測、用戶行為特征等元素被納入到映射格式的考慮范圍，通過向視口、顯著性元素分配更多的像素，在保證帶寬利用的基礎上增強映射功能，例如CHEC映射即是在HEC映射的基礎上，通過結合內容特征以進一步提高映射效率。

b）由于全景視頻的高分辨率，編解碼器兩端存在巨大的數據壓縮以及計算復雜度，這導致全景視頻的編解碼相關技術還存在許多問題。因此新的視頻編解碼技術有待開發，以獲取更高效率壓縮、更低時延和無縫畫面切換，從而提供更高質量的用戶體驗質量。在編解碼改進過程中，應考慮運動估計自適應、采樣密度矯正、重投影、幀內預測等方法。此外，基于tile的HEVC設計可以實現編碼器和解碼器的高級并行，為編解碼技術開發提供了新的思路。

c）在現有的全景視頻質量評估方法中，主觀質量評估為數據集提供主觀質量分數，客觀質量評估旨在預測主觀質量分數，各有特點和優勢。主觀評估所需的測試協議標準化定義體系，在大規模數據集情況下客觀評估有效性的統計分析，不同用戶在不同量表中的質量評估統計等都是亟待解決的問題。目前大多數質量評估主要考慮從相機運動軌跡和視頻內容特征對于質量評估的影響，其他因素也非常重要。例如暈屏癥、用戶生理癥狀、用戶性別年齡等用戶因素；顯示設備、虛擬現實音視頻等設備因素；網絡延遲、畫面抖動等網絡因素；相機運動、幀速率、映射編碼等視頻內容因素；視口預測誤差、回放緩存等視頻傳輸因素。現有的數據中心模擬用戶注意力分布方法得到了較好的效果，而感知方法通常具有更好的性能，但存在過度擬合的風險，將采樣和感知結合使用可以視為未來的研究趨勢。隨著視口的引入，將視口內容和球體全面內容綜合考慮也是方向之一。

d）基于tile傳輸的研究是當今主流，能夠針對用戶的視口以不同質量傳輸切片，從而在保證高分辨率的同時降低帶寬消耗率。由于用戶頭部運動在觀看中非常多變，現有的基于tile的方法還不足以應對復雜的視口變化，所以應在優先全景視頻分發的情況下考慮切片的交互式選擇，例如在傳輸中動態選擇tile的數量，或者以動態調整切片大小的方式以應對不同的網絡條件，也可以利用深度強化學習進行切片的預取調度。此外，對于多路徑的高分辨率切片傳輸，可以在預防無序交付的情況下，通過最佳可用路徑按等級次序提供高優先級切片。然而，不同質量級別的tile顯示會造成畫面尤其是邊界處偽影，通過增加tile數量或質量等級提升質量過渡平滑度，對于提高用戶的觀看體驗具有重要意義。

e）視口預測工作的進步可以在很大程度上優化映射和傳輸等關鍵步驟。當前基于軌跡的視口預測方案可以以合理的精度預測視口，并且預測時長最長可達10 s，而基于內容的視口預測方案則是在準確度上有所提升，但是兩者并未達到一個高質量水平。對于長期預測誤差，可以利用視頻圖像的時間和空間特征，并采用合適的編解碼器和卷積LSTM體系結構判斷用戶的位置信息；基于顯著性特征、用戶感興趣區域檢測以及用戶的頭部運動軌跡則為視口預測的參考因素增加了研究方向。

4 結束語

沉浸式體驗的巨大優勢使得VR全景視頻已經非常流行并具有廣闊的應用前景，由于其具有高分辨率和低延遲的更高要求，給全景視頻的傳輸帶來了強勢挑戰。本文從映射格式、視頻編碼、傳輸協議、質量評估等全景視頻傳輸相關技術進行闡述，從不同視角對相關研究領域和方法進行分類歸納。在此基礎上，圍繞全景視頻傳輸介紹了該領域代表性的方法，并分析了全景視頻傳輸所遇到的挑戰及未來的發展方向。

參考文獻：

［1］周一青，孫布勒，齊彥麗，等.面向通信與計算融合的5G移動增強/虛擬現實［J］.電信科學，2018，34（8）：19-33.（Zhou Yiqing，Sun Bule，Qi Yanli，et al.Mobile AR/VR in 5G based on convergence of communication and computing［J］.Telecommunication Science，2018，34（8）：19-33.）

［2］Market Research Engine.360-degree camera market analysis-global forecast by 2018—2024［EB/OL］.（2021-01-23）［2021-11-02］.https：//www.marketresearchengine.com/360-degree-camera-market.

［3］Virtual amp; augmented reality：the next big computing platform？［EB/OL］.（2016-02-09）.https：//www.goldmansachs.com/insights/pages/virtual-and-augmented-reality-report.html.

［4］Xiao Mengbai，Zhou Chao，Liu Yao，et al.OpTile：toward optimal tiling in 360-degree video streaming［C］//Proc of the 25th ACM International Conference on Multimedia.New York：ACM Press，2017：708-716.

［5］華為iLab.面向VR業務的承載網絡需求白皮書［R/OL］.（2016-11-04）.https：//max.book118.com/html/2020/0516/8033110044002112.shtm.（Huawei Inspiration Lab.White paper on bearer network requirements for VR services［R/OL］.（2016-11-04）.https：//max.book118.com/html/2020/0516/8033110044002112.shtm.）

［6］Domański M，Strankiewicz O，Wegner K，et al.Immersive visual media—MPEG-I：360 video，virtual navigation and beyond［C］//Proc of International Conference on Systems，Signals and Image Processing.2017.

［7］Sullivan G，Ohm J R.Meeting report of the 27th meeting of the joint collaborative team on video coding［R/OL］.（2017-04-05）.https：//www.itu.int/wftp3/av-arch/jctvc-site/2017_03_AA_Hobart/JCTVC-AA_Notes_d6.doc.

［8］Yen S C，Fan C L，Hsu C H.Streaming 360° videos to head-mounted virtual reality using DASH over QUIC transport protocol［C］//Proc of the 24th ACM Workshop on Packet Video.New York：ACM Press，2019：7-12.

［9］Mangiante S，Klas G，Navon A，et al.VR is on the edge：how to deliver 360° videos in mobile networks［C］//Proc of Workshop on Virtual Reality and Augmented Reality Network.New York：ACM Press，2017：30-35.

［10］Hannuksela M，Wang Yekui，Hourunranta A.An overview of the OMAF standard for 360° video［C］//Proc of Data Compression Conference.Piscataway，NJ：IEEE Press，2019：418-427.

［11］林暢，李國平，趙海武，等.全景視頻雙環帶映射算法［J］.計算機應用，2017，37（9）：2631-2635.（Lin Chang，Li Guoping，Zhao Haiwu，et al.Double ring mapping projection for panoramic video［J］.Journal of Computer Applications，2017，37（9）：2631-2635.）

［12］Snyder J P.Flattening the earth：two thousand years of map projections［M］.Chicago：University of Chicago Press，1997.

［13］Saloman D.Transformations and projections in computer graphics［M］.Berlin：Springer-Verlag，2007.

［14］Hussain I，Kwon O J.Evaluation of 360° image projection formats； comparing format conversion distortion using objective quality metrics［J］.Journal of Imaging，2021，7（8）：article No.137.

［15］Wang Yueming，Wang Ronggang，Wang Zhengyu.Polar square projection for panoramic video［C］//Proc of IEEE Visual Communications and Image Processing.Piscataway，NJ：IEEE Press，2017.

［16］Youvalari R G，Aminlou A，Hannuksela M M，et al.Efficient coding of 360-degree pseudo-cylindrical panoramic video for virtual reality applications［C］//Proc of IEEE International Symposium Multimedia.Piscataway，NJ：IEEE Press，2016：525-528.

［17］Wu Chengjia，Zhao Haiwu，Shang Xiwu.Rhombic mapping scheme for panoramic video encoding［C］//Proc of International Forum on Digi-tal TV and Wireless Multimedia Communication.Singapore：Springer，2017：443-453.

［18］Wu Chengjia，Zhao Haiwu，Shang Xiwu.Octagonal mapping scheme for panoramic video encoding［J］.IEEE Trans on Circuits and Systems for Video Technology，2018，28（9）：2402-2406.

［19］Wang Geyang，Zhao Yao，Lin Chunyu，et al.Dually octagonal projection for 360 video with less-distortion introduced［C］//Proc of the 15th IEEE International Conference on Signal Processing.Piscataway，NJ：IEEE Press，2020：246-251.

［20］Kammachi-Sreedhar K，Hannuksela M M.Nested polygonal chain mapping of omnidirectional video［C］//Proc of IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2017：2169-2173.

［21］Li Li，Zhu Li，Budagavi M，et al.Projection based advanced motion model for cubic mapping for 360-degree video［C］//Proc of International Conference on Image Processing.Piscataway，NJ：IEEE Press，2017：1427-1431.

［22］Zhou Minhua.AHG8：a study on Equi-Angular Cubemap projection （EAC）［C］//Proc of the 8th Meeting of Joint Video Experts Team.2017.

［23］Coban M，Van der Auwera G，Karczewica M.AHG8：adjusted Cubemap projection for 360-degree video，JVET-Foo25［R］.[S.l.]：Joint Video Exploration Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，2017.

［24］Lin Jianliang，Li Yaxuan，Shi Chengxuan，et al.Efficient projection and coding tools for 360° video［J］.IEEE Journal on Emerging and Selected Topics in Circuits and Systems，2019，9（1）：84-97.

［25］Pi Jinyong，Zhang Yun，Zhu Linwei，et al.Content-aware hybrid Equi-Angular Cubemap projection for omnidirectional video coding［C］//Proc of IEEE International Conference on Visual Communications and Image Processing.Piscataway，NJ：IEEE Press，2020：168-171.

［26］Huangfu Xuchang，Sun Yule，Zheng Ruidi，et al.Parallel-to-axis uniform Cubemap projection for omnidirectional video［C］//Proc of IEEE International Symposium on Circuits and Systems.Piscataway，NJ：IEEE Press，2019.

［27］Lin H C，Li C Y，Lin Jianliang，et al.AHG8：an efficient compact layout for octahedron format，JVET-D0142［R］.[S.l.]：Joint Video Exploration Team of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，2016.

［28］Fu Zhiwing，Wan Liang，Wong T T，et al.The rhombic dodecahedron map：an efficient scheme for encoding panoramic video［J］.IEEE Trans on Multimedia，2009，11（4）：634-644.

［29］Akula S，Anubhav S，Amith D，et al.AHG8：efficient frame packing for icosahedral projection，JVET-D0015［R］.[S.l.]：Joint Video Exploration Team of ITU-T SG16 WP3 and ISO，2017.

［30］Coban M，Fnu H，Karczewicz M.Truncated square pyramid projection（TSP） for 360 video，JVET-D0071［R］.[S.l.]：ITU-T Joint Video Exploration Team，2016.

［31］Zhou Chao，Li Zhenhua，Osgood J，et al.On the effectiveness of offset projections for 360-degree video streaming［J］.ACM Trans on Multimedia Computing，2018，14（3）：1-24.

［32］Sullivan G J，Ohm J R，Han W J，et al.Overview of the high efficiency video coding （HEVC） standard［J］.IEEE Trans on Circuits and Systems for Video Technology，2012，22（12）：1649-1668.

［33］Bauermann I，Mielke M，Steinbach E.H.264 based coding of omnidirectional video［C］//Proc of International Conference on Computer Vision and Graphics.Berlin：Springer，2004：209-215.

［34］畢厚杰.新一代視頻壓縮編碼標準：H.264/AVC［M］.北京：人民郵電出版社，2005.（Bi Houjie.New generation video compression coding standard：H.264/AVC［M］.Beijing：Posts and Telecommunications Press，2005.）

［35］Sullivan G J.Video coding standards progress report：joint video experts team launches the versatile video coding project［J］.SMPTE Motion Imaging Journal，2018，127（8）：94-98.

［36］Chen J，Sullivan G J，Ohm J R，et al.Algorithm description of joint exploration test model 4 （JEM4），JVET-C1001［R］.[S.l.]：Joint Vi-deo Exploration Team （JVET） of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018.

［37］Pourazad M T，Doutre C，Azimi M，et al.HEVC：the new gold standard for video compression：how does HEVC compare with H.264/AVC？［J］.IEEE Consumer Electronics Magazine，2012，1（3）：36-46.

［38］Pakdaman F，Adelimanesh M A，Gabbouj M，et al.Complexity analysis of next-generation VVC encoding and decoding［C］//Proc of IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2020：3134-3138.

［39］艾達，董久軍，林楠，等.用于虛擬現實的360度視頻編碼技術新進展［J］.計算機應用研究，2018，35（6）：1606-1612.（Ai Da，Dong Jiujun，Lin Nan，et al.Advance of 360-degree video coding for virtual reality：a survey［J］.Application Research of Computers，2018，35（6）：1606-1612.）

［40］吳志強，郁梅，姜浩，等.基于感興趣區域的360°全景視頻編碼［J］.激光與光電子學進展，2018，55（6）：191-197.（Wu Zhiqiang，Yu Mei，Jiang Hao，et al.360° panoramic video coding based on region of interest［J］.Laser amp; Optoelectronics Progress，2018，55（6）：191-197.）

［41］Eswara N，Ashique S，Panchbhai A，et al.Streaming video QoE mode-ling and prediction：a long short-term memory approach［J］.IEEE Trans on Circuits and Systems for Video Technology，2020，30（3）：661-673.

［42］Chen Li，Mai Xu，Du Xinzhe，et al.Bridge the gap between VQA and human behavior on omnidirectional video：a large-scale dataset and a deep learning model［C］//Proc of the 26th ACM International Confe-rence on Multimedia.New York：ACM Press，2018：932-940.

［43］Mai Xu，Chen Li，Liu Yufan，et al.A subjective visual quality assessment method of panoramic videos［C］//Proc of IEEE International Conference on Multimedia and Expo.Piscataway，NJ：IEEE Press，2017：517-522.

［44］Zhang Yingxue，Wang Yingbin，Liu Feiyang，et al.Subjective panoramic video quality assessment database for coding applications［J］.IEEE Trans on Broadcast，2018，64（2）：461-473.

［45］汪澤偉，于有光，楊付正.基于HTC Vive的全景視頻顯示質量評估［J］.液晶與顯示，2018，33（1）：85-91.（Wang Zewei，Yu Youguang，Yang Fuzheng.Quality evaluation of panoramic video display based on HTC Vive［J］.Liquid Crystal and Display，2018，33（1）：85-91.）

［46］Hore A，Ziou D.Image quality metrics：PSNR vs.SSIM［C］//Proc of the 20th International Conference on Pattern Recognition.Washington DC：IEEE Computer Society，2010：2366-2369.

［47］Yu Mate，Lakshman H，Girod B.A framework to evaluate omnidirectional video coding schemes［C］//Proc of IEEE International Symposium on Mixed and Augmented Reality.Washington DC：IEEE Computer Society，2015：31-36.

［48］Xu Mai，Chen Li，Chen Zhenzhong，et al.Assessing visual quality of omnidirectional videos［J］.IEEE Trans on Circuits and Systems for Video Technology，2018，29（12）：3516-3530.

［49］Zakharchenko V，Choi K P，Park J H.Quality metric for spherical panoramic video［C］//Proc of Optical and Photonics for Information Processing.2016.

［50］Yang Jiachen，Liu Tianlin，Jiang Bin，et al.Panoramic video quality assessment based on non-local spherical CNN［J］.IEEE Trans on Multimedia，2020，23：797-809.

［51］Sodagar I.The MPEG-DASH standard for multimedia streaming over the Internet［J］.IEEE Multimedia，2011，18（4）：62-67.

［52］Ban Yixuan，Lan Xie，Xu Zhimin，et al.An optimal spatial-temporal smoothness approach for tile-based 360-degree video streaming［C］//Proc of IEEE Visual Communications Image Processing.Piscataway，NJ：IEEE Press，2017.

［53］Hosseini M，Swaminathan V.Adaptive 360 VR video streaming based on MPEG-DASH SRD［C］//Proc of IEEE International Symposium on Multimedia Symposium on Multimedia.Piscataway，NJ：IEEE Press，2016：407-408.

［54］Niamut O A，Thomas E，D’Acunto L，et al.MPEG DASH SRD：spatial relationship description［C］//Proc of the 7th International Conference on Multimedia Systems.New York：ACM Press，2016：article No.5.

［55］Hosseini M，Swaminathan V.Adaptive 360 VR video streaming：divide and conquer！［C］//Proc of IEEE International Symposium Multimedia.Washington DC：IEEE Computer Society，2016：107-110.

［56］D’Acunto L，Van den Berg J，Thomas E，et al.Using MPEG DASH SRD for zoomable and navigable video［C］//Proc of the 7th International Conference on Multimedia Systems.New York：ACM Press，2016：article No.5.

［57］Kovacevic M，Kovacevic B，Stefanovic D，et al.Automated monitoring of HTTP live streaming QoE factors on Android STB［C］//Proc of the 1st IEEE International Workshop on Consumer Electronics.Pisca-taway，NJ：IEEE Press，2015：72-75.

［58］Min J G，Lee Y.High-quality HTTP live streaming system for limited communication bandwidth［C］//Proc of International SoC Design Conference.Piscataway，NJ：IEEE Press，2020：113-114.

［59］祝谷喬，宋皓.MPEG-DASH與HLS流傳輸技術的比較分析［J］.電信科學，2015，31（4）：29-33.（Zhu Guqiao，Song Hao.Comparison and analysis of MPEG-DASH and HLS stream delivery technology［J］.Telecommunication Science，2015，31（4）：29-33.）

［60］Ng K T，Chan S C，Shum H.Data compression and transmission aspects of panoramic videos［J］.IEEE Trans on Circuits and Systems for Video Technology，2005，15（1）：82-95.

［61］國家廣播電視總局科技司.5G高新視頻-VR視頻技術白皮書［R］.2020.（State Administration of Radio Film and Television of China.White paper on 5G advanced-format and new-concept video-VR video technology［R］.2020.）

［62］Xie Lan，Xu Zhimin，Ban Yixuan，et al.360ProbDASH：improving QoE of 360 video streaming using tile-based HTTP adaptive streaming［C］//Proc of the 25th ACM International Conference on Multimedia.New York：ACM Press，2017：315-323.

［63］Sreedhar K K，Aminlou A，Hannuksela M M，et al.Viewport-adaptive encoding and streaming of 360-degree video for virtual reality applications［C］//Proc of IEEE International Symposium on Multimedia.New York：ACM Press，2016：583-586.

［64］謝文京，王悅，張新峰，等.基于視點的全景視頻編碼與傳輸優化［J］.揚州大學學報：自然科學版，2018，21（2）：45-49.（Xie Wenjing，Wang Yue，Zhang Xinfeng，et al.Viewport-dependent omnidirectional video coding and transmission optimization［J］.Journal of Yangzhou University：Natural Science Edition，2018，21（2）：45-49.）

［65］Naik D，Curcio I D D，Toukomaa H.Optimized viewport dependent streaming of stereoscopic omnidirectional video［C］//Proc of the 23rd Packet Video Workshop.New York：ACM Press，2018：37-42.

［66］Nguyen D V，Tran H T T，Pham A T，et al.A new adaptation approach for viewport-adaptive 360-degree video streaming［C］//Proc of IEEE International Symposium on Multimedia.Washington DC：IEEE Computer Society，2017：38-44.

［67］Yaqoob A，Muntean G M.A weighted tile-based approach for viewport adaptive 360° video streaming［C］//Proc of IEEE International Symposium on Broadband Multimedia Systems and Broadcasting.Pisca-taway，NJ：IEEE Press，2020.

［68］Ozcinar C，Cabrera J，Smolic A.Visual attention-aware omnidirectional video streaming using optimal tiles for virtual reality［J］.IEEE Journal on Emerging and Selected Topics in Circuits and Systems，2019，9（1）：217-230.

［69］Nguyen D V，Tran H T T，Thang T C.A client-based adaptation framework for 360-degree video streaming［J］.Journal of Visual Communication and Image Representation，2019，59（2）：231-243.

［70］Nguyen D V，Tran H T T，Thang T C.An evaluation of tile selection methods for viewport-adaptive streaming of 360-degree video［J］.ACM Trans on Multimedia Computing，2020，16（1）：1-24.

［71］Jiang Zhiqian，Zhang Xu，Xu Yilin，et al.Reinforcement learning based rate adaptation for 360-degree video streaming［J］.IEEE Trans on Broadcast，2020，67（2）：409-423.

［72］Hu Qiang，Zhou Jun，Zhang Xiaoyun，et al.Viewport-adaptive 360-degree video coding［J］.Multimedia Tools and Applications，2020，79（3）：1-22.

［73］Lyu Yujun，Fujihashi T，Saruwatari S，et al.360Cast+：viewport adaptive soft delivery for 360-degree videos［J］.IEEE Access，2021，9：52684-52697.

［74］Feng Qian，Lu Shengji，Han Bo，et al.Optimizing 360 video delivery over cellular networks［C］//Proc of the 5th Workshop on All Things Cellular：Operations，Applications Challenge.2016：1-6.

［75］Petrangeli S，Simon G，Swaminathan V.Trajectory-based viewport prediction for 360-degree virtual reality videos［C］//Proc of IEEE International Conference on Artificial Intelligence and Virtual Reality.Piscataway，NJ：IEEE Press，2018：157-160.

［76］Nasrabadi A T，Samiei A，Prakash R.Viewport prediction for 360° videos：a clustering approach［C］//Proc of the 30th ACM Workshop on Network Operating Systems Support for Digital Audio Video.New York：ACM Press，2020：34-39.

［77］Qin Yang，Zou Junni，Tang Kexin，et al.Single and sequential viewports prediction for 360-degree video streaming［C］//Proc of IEEE International Symposium on Circuits and Systems.Piscataway，NJ：IEEE Press，2019：1-5.

［78］Ding Ying，Liu Yanwei，Liu Jinxia，et al.Panoramic image saliency detection by fusing visual frequency feature and viewing behavior pattern［C］//Proc of Pacific Rim Conference on Multimedia.2018：418-429.

［79］Nguyen A，Yan ZhiSheng，Nahrstedt K.Your attention is unique：detecting 360-degree video saliency in head-mounted display for head movement prediction［C］//Proc of ACM International Conference on Multimedia.New York：ACM Press，2018：1190-1198.

［80］Qiao Minglang，Xu Mai，Wang Zulin，et al.Viewport-dependent saliency prediction in 360° video［J］.IEEE Trans on Multimedia，2020，23：748-760.

［81］Zhu Yucheng，Zhai Guangtao，Min Xiongguo，et al.Learning a deep agent to predict head movement in 360-degree images［J］.ACM Trans on Multimedia Computing，2020，16（4）：1-23.