基于立體全景視頻的感知失真模型研究

杜寶禎

摘 要 針對現有的恰可感知失真模型并不適用與立體全景場景的問題，開展了基于人眼視覺系統（Human Visual System，HVS）感知分析的立體全景視頻失真測度研究，并建立了失真測度模型，為下一步立體全景視頻編碼的優化研究打下了理論基礎。

關鍵詞 立體全景;視頻編碼;失真測度

引言

目前全景視頻由于其“身臨其境”的良好視覺效果，已經越來越多地進入到人們的生產生活，特別是在游戲、模擬駕駛領域[1]。但全景、特別是立體全景，其數據量極大，這極大增加了編碼端的負擔，傳統的編碼理論壓縮已接近極限，而且普通的恰可感知失真模型并不適用與立體全景場景，因此如何發掘HVS感知特性，建立面向立體全景的失真測度模型，對現有視頻編碼器改進意義重大[2]。

1主觀感知實驗與模型建立

目前通過大量主觀實驗，測定不同編碼失真程度下，立體全景視頻的平均主觀分數值（Mean Opinion Score，MOS），得到第一手主觀視覺質量的實驗資料，該部分工作雖然非常耗時，但對后續建模研究及其重要，是后續立體全景感知失真閾值模型的建立工作的基礎。

編碼失真視頻庫的構建

在編碼失真視頻庫的構建方面，實驗選取Yang等[3]文獻中提供的M組立體全景序列作為原始立體全景序列。在此基礎上，為了進一步生成各編碼失真等級的立體全景視頻，我們基于3D-HEVC編碼平臺，采用的N個等級的編碼量化參數（Quantization Parameter，QP）對原始立體全景視頻進行編碼，以得到各失真等級的立體全景測試視頻。其編碼失真的量化參數具體選擇為：

其中δ為編碼量化參數間隔，該主觀實驗測試中QP0設置為25。考慮到實驗樣本數量、代表性以及主觀實驗工作量3個方面，在本實驗中，M設置為8，N設置為5，δ設置為5，其中M組原始立體全景序列分別為Chat、Experience、Pedestrian、Photograph、Riverside、Scenic_spot、Sign_in、Tourist。按照上述設置的編碼失真處理后，本實驗共有M×N組，即多達40組不同等級的編碼失真立體全景視頻用于主觀實驗。

主觀實驗采用HTC Vive Pro頭戴式顯示器（Head-Mounted Display，HMD）進行觀看。硬件配置為：①DELL T630服務器，NVIDIA GTX 1080 GPU，32G內存和硬盤1TB。②HMD選擇HTC Vive Pro，其雙目分辨率為2880×1600。③跟蹤站一對，用于定位和跟蹤佩戴HMD的主觀實驗測試者交互需求，主觀實驗測試者通過HMD的HDMI接口連接與PC交互。

實驗方法采用遵循提案[4]絕對類別評分（Absolute Category Rating，ACR）的單刺激法（Single Stimulus method， SS）進行主觀打分。該主觀實驗邀請25名主觀實驗測試者參與主觀測試實驗打分，平均年齡25周歲，性別分布均勻，且先前無立體視覺主觀打分經驗，視力或矯正視力正常。在正式進行主觀打分之前，需要對主觀實驗測試者進行預先培訓。在培訓中，主觀實驗測試者給予觀看一定數量的立體全景視頻，這使其可以預先獲得各失真等級的視頻質量主觀感知，并體驗主觀打分的評級協議，然后可以開始進行主觀評估。

為了使主觀實驗更客觀，對M×N組不同等級的編碼失真立體全景視頻進行隨機排序。主觀打分，仍遵循提案[4]，評分分值從1分到10分區間共10級評分，其中1分表示主觀質量最差，10分表示主觀質量最好。實驗過程中，每位觀察者需要對M×N共40組編碼失真立體全景視頻進行主觀打分，觀看時間以及打分時間、休息時間間隔均嚴格遵照提案[4]進行。每一次主觀質量評分試驗都是相互獨立且無關的，因此，本次主觀實驗共計可獲得1000份主觀打分的原始實驗數據。

2實驗結果與分析

針對主觀實驗的打分數據，我們首先采用提案ITU-R BT.500-11[5]中描述的數據篩選方法，去除評級與其他主觀實驗測試者不一致的奇異值。在進一步統計分析基礎，最終得到了基于不同編碼QP量化參數下的失真等級與MOS（置信區間為95%）之間的關系。圖1以Chat、Pedestrian序列為例，給出了失真等級與MOS的直觀表述，顯然，主觀質量隨失真水平的提高而持續下降。

進一步在上述統計基礎上，我們計算了各失真等級下各失真立體全景視頻序列的均方誤差（Mean Squared Error ，MSE），并對QP、MSE以及MOS進行擬合，得到三者的關系模型：

其中各系數的推薦取值和95%置信區間如表1所示。

可以看到當編碼量化參數QP逐漸升高時，失真水平升高，主觀質量MOS值呈下降趨勢，這與現有失真理論一致。另外，實驗進一步還發現，且QP與MOS以及MSE與MOS均呈現良好的線性關系，這對下一步感知失真測度模型建立具有重要指導意義。由于MSE仍是傳統意義的失真度量，下一步研究，我們將著重研究更具有立體全景感知意義的失真與主觀質量的關系，進一步應用于實際的視頻編碼應用。

3結束語

本文工作，通過主觀實驗建立了立體全景視覺感知環境下編碼QP、MSE與主觀視覺質量MOS值之間的關系模型，為下一步立體全景感知編碼打下了理論基礎。

參考文獻

[1] Liu X，Xiao Q，Gopalakrishnan V，et al. 360° Innovations for Panoramic Video Streaming [C].Proceedings of the 16th ACM Workshop on Hot Topics in Networks. 2017：50-56.

[2] Zare A，Aminlou A，Hannuksela M M，et al. HEVC-compliant tile-based streaming of panoramic video for virtual reality applications[C].Proceedings of the 24th ACM international conference on Multimedia. 2016：601-605.

[3] Yang J，Liu T，Jiang B，et al. 3D panoramic virtual reality video quality assessment based on 3D convolutional neural networks[J]. IEEE Access，2018（6）：38669-38682.

[4] P.910： Subjective video quality assessment methods for multimedia applications. ITU-T Recommendation， approved in 1999-09.

[5] Recommendation ITU-R BT.500-11： Methodology for the subjective assessment of the quality of television pictures[S].Geneva， Switzerland： International Telecommunication Union，2002.