基于視點預測的全景視頻碼率自適應策略

摘 要：為解決全景視頻傳輸中存在的視頻卡頓多、用戶體驗質量（quality of experience，QoE）低等問題，研究當前主流的視點自適應傳輸方案，提出一種基于視點預測的碼率自適應策略（VPBAS）。首先，構建了一種基于長短期記憶網絡和全卷積網絡的視點預測模型，模型將視點數據和視頻顯著性信息進行特征融合，實現不同模態數據的相互補充和修正，提高視點預測的準確率；然后，客戶端采用隨機森林算法預測當前的可用帶寬，并根據視點預測結果和可用帶寬信息為視頻分塊選擇碼率；最后，客戶端把選擇的碼率信息定期發送給服務器，服務器根據反饋的信息向客戶端推送最佳碼率的全景視頻流，這種交互過程在視頻播放期間不斷地重復，直至客戶端觀看完畢。實驗結果表明，與現有傳輸方案相比，VPBAS能有效提高帶寬受限情況下的視頻觀看體驗。

關鍵詞：全景視頻；自適應傳輸；視點預測；體驗質量；碼率控制

中圖分類號：TP399文獻標志碼：A

文章編號：1001-3695（2023）08-042-2508-06

doi：10.19734/j.issn.1001-3695.2022.11.0784

Bitrate adaptive strategy of panoramic video based on viewpoint prediction

Liu Kefeng Li Zeping

（a.State Key Laboratory of Public Big Data，b.College of Computer Science amp; Technology，Guizhou University，Guiyang 550025，China）

Abstract：To solve the problems of video freezes and low quality of experience （QoE） in panoramic video transmission，this paper proposed a bitrate adaptive strategy based on viewpoint prediction （VPBAS） by studying the current popular viewpoint adaptive transmission scheme.Firstly，this paper constructed a viewpoint prediction model based on long short-term memory network and full convolutional network.The model concatenated the viewpoint data and video saliency information to realize the mutual complement and correction of different modal data，so as to improve the accuracy of viewpoint prediction.Secondly，the client used the random forest algorithm to predict the current available bandwidth，and selected the bitrate for video segments according to the prediction results and available bandwidth information.Finally，the client sent the selected bitrate information to the server regularly，and the server pushed the panoramic video stream of the best bitrate to the client according to the feedback information.It repeated this interactive process continuously during the video playback until the client finished watching.Experimental results show that VPBAS can effectively improve the user’s viewing experience under bandwidth limitation compared with other schemes.

Key words：panoramic video；adaptive transmission；viewpoint prediction；quality of experience；bitrate control

近年來，隨著人們對視頻沉浸感、交互性的要求不斷提高，虛擬現實技術（virtual reality，VR）得以快速發展。全景視頻（又稱360度視頻）是VR領域的重要應用［1］，與普通視頻相比，全景視頻能提供更強的沉浸性和更好的交互體驗，因而受到了用戶的廣泛關注。Market Research Engine的市場調查報告顯示，全景視頻業務增長迅速，直至2022年，全景視頻的市場份額都保持著34%以上的年增長率［2］。

用戶在觀看全景視頻時，可以通過調整頭部的位置和角度來改變視角（field of view，FOV），從而觀看到360度的場景內容。傳統全景視頻傳輸技術把整個360度空間的視頻內容進行高質量傳輸，然而用戶在某一時刻僅觀看到FOV區域內的視頻，研究表明，FOV區域大約僅占整個360度場景的20%，傳統傳輸方式不可避免地造成了帶寬的額外開銷和視頻卡頓等問題［3］。

基于分塊（tile）的視點自適應傳輸方式（viewpoint adaptive）是近年來的研究熱點［4～12］。這種方式對全景視頻在空間上進行分塊，并將每個視頻分塊編碼為不同的碼率版本存儲在服務器端。在視頻傳輸時，系統將根據用戶視點（FOV中心點）和網絡條件的變化，為全景視頻各個tile動態地選擇合適的傳輸碼率，使得FOV區域內視頻以高質量傳輸，而FOV區域外的視頻以低質量傳輸，以此來減少帶寬浪費，避免卡頓，最終達到QoE的最優化，提升用戶體驗。

1 相關工作

在基于tile自適應的傳輸方式中，按照不同的視點預測方法可以將現有研究分為基于用戶頭部運動的自適應策略、基于視頻內容的自適應策略、基于用戶行為的自適應策略三類。

基于用戶頭部運動的自適應策略根據用戶近期的頭部運動來為視頻tile選擇碼率。Qian等人［4］提出了一種適用于移動設備的360度視頻流系統（Flare），Flare使用線性回歸等幾種基本的機器學習模型進行視點預測，對未來1 s內的視點預測準確率達到90%。 Zhang等人［5］提出了EPASS360傳輸系統，該系統利用集成學習的優勢提高了視點預測精度，并設計了基于集束搜索（beam-search）的碼率分配算法，實驗表明該系統在各種場景下取得的QoE提升至少達到5%。此外，文獻［6］研究了基于深度強化學習的全景視頻流框架（DRL360），通過深度學習來預測未來的帶寬和視點，并采用Actor-Critic算法進行碼率決策，增強了系統對不同網絡環境的適應能力。

基于視頻內容的自適應策略主要根據視頻顯著性圖和運動圖來決定各個tile的碼率，這類方案通常用于對第一類方案的修正和輔助。丁穎等人［7］介紹了全景圖像顯著性檢測的概況。Wang等人［8］提出了一個面向QoE的顯著性感知360度視頻傳輸框架，建立了視頻顯著性和QoE之間的關聯，并利用李雅普諾夫優化（Lyapunov optimization）取得了QoE和帶寬之間的平衡。在Jiang等人［9］的研究中，通過視頻顯著性和運動圖預測tile的觀看概率，并設計了一種基于兩層緩沖區的碼率自適應方案，實驗表明該方案優化了最大緩沖級別的選擇，實現了5%以上的系統性能提升。

基于用戶行為的自適應策略主要根據用戶之間的觀看行為優化碼率選擇。Xie等人［10］提出了一種跨用戶學習的系統（CLS），使用DBSCAN算法對用戶進行分類，根據用戶類別預測tile的觀看概率，其視點預測精度相比線性回歸法提升了15%。文獻［11］提出一種基于跨用戶行為的傳輸框架（CUB360），將線性回歸（LR）與K-最近鄰（KNN）算法結合分析跨用戶觀看行為，并提出一種最優碼率分配算法（ORA），對視頻質量與平滑度的提升幅度達到了30%。文獻［12］將用戶FOV分布視為正態分布，使用高斯模型預測視角區域，并提出了一種兩階段的碼率分配算法，實驗表明該方案有效提高了視頻的平滑性指標。

以上方案多基于單一因素進行視點預測，預測精度隨著時間推移而逐步下降，不能在多變的網絡環境下保持良好的觀看體驗。因此，如何進一步提升長時間段的視點預測準確度，并且充分利用視點和帶寬數據提高用戶體驗是需要解決的問題。對此，本文提出一種基于視點預測的碼率自適應策略（viewpoint prediction based bitrate adaptive scheme，VPBAS），該策略融合視點時序信息和視頻顯著性特征進行視點預測，能夠有效捕獲視點的變化趨勢，并且對碼率選擇算法進行優化，提高了決策效率，減少了重緩沖時間，提高了QoE性能。

2 基于視點預測的全景視頻自適應傳輸系統

圖1展示了基于視點預測的全景視頻自適應傳輸系統的框架。傳輸系統主要分為HTTP服務器端和客戶端，采用DASH協議（dynamic adaptive streaming over hypertext transfer protocol）進行傳輸，DASH具有啟動快、低時延等特點，是當前主流的流媒體傳輸協議［13］。在視頻傳輸之前，先在服務器端通過FFmpeg、MP4Box等處理工具對視頻在空間上分塊、在時間上分片，并編碼為多版本碼率進行存儲。而視點預測模型在服務器端進行離線訓練，訓練完成后部署到客戶端。視頻傳輸時，首先由視點預測模塊根據用戶視點反饋和視頻顯著性特征預測用戶未來的視點位置；同時，客戶端進行帶寬估計，以確定當前網絡環境下視頻總碼率的上限；然后，將視點和帶寬的預測結果輸入到QoE驅動的碼率選擇算法，為每個tile選擇合適的碼率級別，使得QoE最大化，并將選擇的碼率參數反饋到服務器端；服務器端收到碼率參數后，即可提取對應碼率的視頻分塊推送到客戶端，客戶端收到視頻分塊后進行解碼和拼接，形成新的視頻片段后加入播放緩沖區，由播放設備渲染和播放。

3 基于視點預測的全景視頻碼率自適應傳輸系統策略

3.1 視點預測

用戶視點不僅與頭部運動軌跡有關，還與視頻本身的內容特征、其他用戶的觀看行為存在關聯。為提升視點預測在更長時間段的預測效果，本文在現有研究［5，7］的基礎上提出一種結合頭部運動軌跡、視頻顯著性特征的預測模型，通過合適的深度學習網絡進行預測。圖2展示了本文所提的視點預測模型，模型主要包括顯著性圖、軌跡預測、全連接三個部分。

在顯著性圖部分，圖像的顯著性表示該部分內容與相鄰部分相比更加明顯，而顯著性越強的區域越容易吸引用戶的注意力，因此得到顯著性圖有利于對用戶視點的預測［1］。本文針對全景圖像尺寸較大、難以處理的問題，使用全卷積網絡（fully convolutional network，FCN）提取全景視頻的顯著性特征。與普通的卷積神經網絡CNN相比，FCN具有不限制圖片輸入尺寸、可實現像素級分類、識別精度更高等特點［14］。具體地，CNN在卷積層之后通過兩層全連接層得到固定長度的特征向量并映射為不同的分類，但全連接層的輸入神經元個數固定不變，這就要求卷積層的輸入也應該固定不變，因此限制了輸入圖片的尺寸；而FCN將CNN中的全連接層替代為1×1卷積層，消除了神經元個數的限制，因此FCN可以接受任意尺寸的輸入圖像。本文對全景視頻的每個分片都進行間隔抽幀，將每幀圖像輸入到FCN進行特征提取，得到每個幀的熱圖（heatmap）作為顯著性特征。若用vt表示t時刻的視頻幀內容，FCN表示FCN網絡，則可將此時的顯著性特征用gt表示為

3.2 帶寬預測

網絡帶寬限制了視頻的最大碼率，但由于視頻播放時存在時延，直接將當前的帶寬作為輸入進行碼率決策實際上并不準確，并且會降低碼率選擇算法的性能。所以，對客戶端帶寬進行提前預測是有必要的。現有研究［4，10，11］通常將過去幾個時刻帶寬的線性回歸值作為預測值，但Yue等人［16］的研究表明，在波動性強的移動網絡或Wi-Fi網絡環境下，客戶端與基站通信的參數（如信號強度、接收功率等）也會對帶寬產生影響，綜合考慮歷史帶寬和通信參數的預測效果要好于僅采用歷史帶寬的預測效果。本文在文獻［16～18］的基礎上，結合歷史帶寬數據與客戶端通信參數，使用隨機森林算法預測帶寬，提高預測準確率，以最大化QoE。

3.3 QoE驅動的碼率選擇算法

QoE驅動的碼率選擇算法的目的就是在當前網絡帶寬的限制下，為每個視頻片段的tile選擇不同的碼率，使得總的QoE最大化。

3.3.1 全景視頻QoE

3.3.2 tile的劃分策略

3.3.3 碼率選擇算法

4 實驗和結果分析

4.1 實驗設置

4.2 實驗數據集和預處理

4.3 實驗結果分析

4.3.1 視點預測實驗

4.3.2 全景視頻自適應傳輸仿真實驗

4.3.3 真實網絡中的實驗

5 結束語

本文在現有研究［5，20］的基礎上，提出了一種基于視點預測的全景視頻碼率自適應策略VPBAS。首先構建了一種視點預測模型，通過融合視點時序特征和視頻顯著性特征來提升視點預測精度。同時，利用隨機森林算法預測可用帶寬值。在視點預測和帶寬預測的基礎上，制定QoE優化目標，并對視頻劃分質量級別，針對不同質量級別進行碼率選擇。通過與其他方案進行比較，說明本文方案能更好地適應不同網絡環境，并且在QoE指標上取得了6.3%以上的提升，優化了視頻觀看體驗。

由于碼率選擇問題可視為一個最優決策問題，后續將考慮采用強化學習對碼率選擇進行進一步的優化。

參考文獻：

［1］葉成英，李建微，陳思喜.VR全景視頻傳輸研究進展［J］.計算機應用研究，2022，39（6）：1601-1607，1621.（Ye Chengying，Li Jianwei，Chen Sixi.Research progress of VR panoramic video transmission［J］.Application Research of Computers，2022，39（6）：1601-1607，1621.）

［2］Market Research Engine.360-degree camera market analysis-global forecast by 2018-2024［EB/OL］.（2021）［2022-07-02］.https：//www.marketresearchengine.com/360-degree-camera-markettrans.

［3］Tang Ming，Wong V.Online bitrate selection for viewport adaptive 360-degree video streaming［J］.IEEE Trans on Mobile Computing，2022，21（7）：2506-2517.

［4］Qian Feng，Han Bo，Xiao Qingyang，et al.Flare：practical viewport-adaptive 360-degree video streaming for mobile devices［C］//Proc of the 24th Annual International Conference on Mobile Computing and Networking.New York：ACM Press，2018：99-114.

［5］Zhang Yuanxing，Guan Yushuo，Bian Kaigui，et al.EPASS360：QoE-aware 360-degree video streaming over mobile devices［J］.IEEE Trans on Mobile Computing，2021，20（7）：2338-2353.

［6］Zhang Yuanxing，Zhao Pengyu，Bian Kaigui，et al.DRL360：360-degree video streaming with deep reinforcement learning［C］//Proc of IEEE INFOCOM.Piscataway，NJ：IEEE Press，2019：1252-1260.

［7］丁穎，劉延偉，劉金霞，等.虛擬現實全景圖像顯著性檢測研究進展綜述［J］.電子學報，2019，47（7）：1575-1583.（Ding Ying，Liu Yanwei，Liu Jinxia，et al.An overview of research progress on saliency detection of panoramic VR images［J］.Acta Electronica Sinica，2019，47（7）：1575-1583.）

［8］Wang Shen，Ding Lianghui，Zhai Guangtao，et al.A QoE-oriented saliency-aware approach for 360-degree video transmission［C］//Proc of IEEE Visual Communications and Image Processing.Piscataway，NJ：IEEE Press，2019：1-4.

［9］Jiang Zhiqian，Zhang Xu，Huang Wei，et al.A hierarchical buffer management approach to rate adaptation for 360-degree video streaming［J］.IEEE Trans on Vehicular Technology，2020，69（2）：2157-2170.

［10］Xie Lan，Zhang Xinggong，Guo Zongming.CLS：a cross-user learning based system for improving QoE in 360-degree video adaptive strea-ming［C］//Proc of the 26th ACM International Conference on Multimedia.New York：ACM Press，2018：564-572.

［11］Ban Yixuan，Xie Lan，Xu Zhimin，et al.CUB360：exploiting cross-users behaviors for viewport prediction in 360 video adaptive streaming［C］//Proc of IEEE International Conference on Multimedia and Expo.Piscataway，NJ：IEEE Press，2018：1-6.

［12］Yuan Hui，Zhao Shiyun，Hou Junhui，et al.Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos［J］.IEEE Journal of Selected Topics in Signal Processing，2020，14 （1）：177-193.

［13］陳仁康，李澤平，林川，等.基于電量狀態的移動流媒體碼率自適應策略［J］.計算機工程與設計，2022，43（2）：308-315.（Chen Renkang，Li Zeping，Lin Chuan，et al.Bitrate adaptive strategy of mobile streaming media based on battery stat［J］.Computer Enginee-ring and Design，2022，43（2）：308-315.）

［14］Borji A，Cheng Mingming，Hou Qibin，et al.Salient object detection：a survey［J］.Computational Visual Media，2019，5（2）：117-150.

［15］Xu Yanyu，Dong Yanbing，Wu Junru，et al.Gaze prediction in dyna-mic 360° immersive videos［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：5333-5342.

［16］Yue Chaoqun，Jin Ruofan，Suh K，et al.LinkForecast：cellular link bandwidth prediction in LTE networks［J］.IEEE Trans on Mobile Computing，2018，17（7）：1582-1594.

［17］王烽，李澤平，林川，等.基于隨機森林的帶寬預測算法研究與實現［J］.計算機工程與設計，2020，41（7）：1892-1898.（Wang Feng，Li Zeping，Lin Chuan，et al.Research and implementation of bandwidth prediction algorithm based on random forest［J］.Compu-ter Engineering and Design，2020，41（7）：1892-1898.）

［18］Mei Lifan，Gou Jinrui，Cai Yujin，et al.Realtime mobile bandwidth and handoff predictions in 4G/5G networks［J］.Computer Networks，2022，204：108-136.

［19］Eswara N，Manasa K，Kommineni A，et al.A continuous QoE evaluation framework for video streaming over HTTP［J］.IEEE Trans on Circuits and Systems for Video Technology，2018，28（11）：3236-3250.

［20］Park S，Bhattacharya A，Yang Zhibo，et al.Mosaic：advancing user quality of experience in 360-degree video streaming with machine learning［J］.IEEE Trans on Network and Service Management，2021，18（1）：1000-1015.

［21］Wu Chenglei，Tan Zhihao，Wang Zhi，et al.A dataset for exploring user behaviors in VR spherical video streaming［C］//Proc of the 8th ACM on Multimedia Systems Conference.New York：ACM Press，2017：193-198.

［22］Raca D，Leahy D，Sreenan J C，et al.Beyond throughput，the next ge-neration：a 5G dataset with channel and context metrics［C］//Proc of the 11th ACM Multimedia Systems Conference.New York：ACM Press，2020：303-308.

［23］Ultravideo.Kvazaar［EB/OL］.（2022-06-16）.https：//github.com/ultravideo/kvazaar.