基于雙眼視覺感知特征一致性的立體圖像體驗質量評價

齊峰 趙德斌

摘 要：3D圖像被認為是多媒體技術的重要標志，其中，立體圖像質量對3D圖像發展起到至關重要的作用。不同于傳統的2D圖像質量評價，在3D圖像質量評價中引入關于體驗質量（QoE）問題的新挑戰，因此，本文提出一個基于雙眼視覺感知特征一致性的立體圖像體驗質量評價算法。具體地，先對兩個視點圖像提取像素梯度作為視覺感知的低層次特征，再用梯度方向直方圖特征（HOG）建立立體圖像的視覺感知特征向量，然后，由支持向量回歸（SVR）方法來學習視覺感知特征與立體圖像體驗質量得分的關系，最后，通過訓練好的SVR模型來預測立體圖像體驗質量。實驗結果表明所提算法能夠有效地預測立體圖像體驗質量。

關鍵詞：立體圖像；QoE；HOG特征；支持向量回歸

中圖分類號：TP391.41 文獻標識號：A 文章編號：2095-2163（2015）06-

Abstract： 3D image is regarded as milestone in the multimedia technologies. Stereoscopic image quality plays an important role in the development of 3D image. Different with the traditional 2D image quality assessment， a new challenge of Quality of Experience （QoE） is introduced in 3D image quality assessment. Therefore， based on the symmetry of binocular visual perception， this paper proposes a stereoscopic image QoE assessment model. Specifically， the pixel gradients are extracted as low-level features of visual perception from the two views image. Then， histograms of oriented gradients （HOG） is used to establish visual perception features vector for stereoscopic image. Next， the relationship between visual perception features and subjective QoE scores can be learned by the training procedure of SVR. Finally， stereoscopic image QoE score is predicted by the trained SVR. Experimental results indicate that the proposed model is efficient in QoE for stereoscopic image.

Keywords： Stereoscopic Image Quality； QoE； HOG Feature； SVR

0 引 言

近年來，隨著3D技術的發展，3D圖像為觀眾創造了逼真的臨場體驗。相比于傳統的2D圖像，3D圖像的采集、處理、傳輸和顯示等都需要更為復雜的技術，同時，由于人眼雙目視覺的復雜性，目前的立體圖像除了存在著傳統2D圖像失真的問題，如壓縮引起的圖像降質等；還有視覺不舒適、立體效果不自然、體驗質量不佳等立體圖像所特有的新問題。體驗質量（ QoE，Quality of Experiences）是一個以用戶為核心并考慮影響體驗質量各種因素的一個總體概念[1]，盡管有研究者對2D圖像或視頻的QoE做過一些研究工作，但由于人眼單目視覺和雙目視覺的本質區別，2D圖像或視頻的QoE 不能經過對兩個視點QoE簡單疊加直接應用于3D 圖像的體驗質量評價（3DQoE），在3DQoE評價中，需要更多地考慮人眼雙目視覺特性。

由于人眼是立體圖像的最終接收者，人的主觀體驗感受是對立體圖像質量的最直接反映，各種立體圖像處理技術的最終目的也是為了提升人們對立體圖像的主觀體驗質量，這些主觀體驗質量包括立體圖像的圖像質量（如，清晰度、色度飽和度、紋理表現程度等），深度感知質量，觀看立體圖像的舒適度和視疲勞程度，與真實場景相比是否逼真、自然等。

目前對3DQoE的研究分為主觀評價和客觀評價。對于主觀評價，VQEG[2]、EPFL（洛桑聯邦理工學院）[3]等機構采用不同失真強度、視差水平或攝像機間距建立用于3DQoE評價的立體圖像數據庫，但由于雙眼視覺系統的復雜性及現有立體圖像技術的限制，人們還不能對空間場景中的目標進行“完美”建模，這也使得無法得到可作為參考源的立體圖像，從而加大了對立體圖像主觀體驗質量的評價難度。目前對3DQoE的客觀評價還不多，Chen等人對立體圖像的雙目融合質量、深度感知質量和舒適度綜合得到其體驗質量[4]，Xing等人通過測量立體顯示的串擾程度得到體驗質量[5]，Liu等人提出一個3DQoE質量預測模型，并將其用于控制3D移動視頻的轉碼[6]。盡管這些模型推動著3DQoE評價的研究，但是其準確性、普適性和可靠性還有所欠缺[1]，如何建立有效的3DQoE評價體系是立體圖像質量評價的一個新的研究內容。

人眼在觀看立體圖像時，需要對雙眼感知到的視覺信息進行融合，在融合過程中，需要雙眼視覺感知特征具有高度的一致性，如果這種一致性被破壞將導致立體圖像體驗質量不佳的情況，因此，本文提出一個基于雙眼視覺感知特征一致性的立體圖像體驗質量評價算法。首先，根據像素梯度能夠對人眼視覺感知的低層次特征進行有效描述，分別計算立體圖像左、右視點圖像的梯度，其次，計算梯度方向直方圖特征（HOG）作為立體圖像的視覺感知特征向量，然后，由支持向量回歸（SVR）生成的預測函數來學習雙眼視覺感知特征與立體圖像體驗質量得分的關系，最后，通過訓練好的預測函數來評價立體圖像體驗質量。實驗結果表明所提算法能夠有效地預測立體圖像體驗質量。本文所提算法可以很好地解決立體圖像體驗質量評價的基準深度圖依賴性問題，具有更廣泛的3D應用場景，同時所提算法的參數較少，具有較低的計算復雜度。

1視覺感知特征提取

1.1像素梯度

2 QoE計算

在觀看立體圖像或視頻時，雙眼獲得的視覺信息經過融合才會形成可感知的單眼圖像，而很多因素都會阻礙雙眼融合，雙眼圖像的非一致性就是其中一個主要因素。由于人眼對圖像的結構特征高度敏感，結構特征是人們感知、理解圖像的關鍵，雙眼融合就包括對雙眼感知到的視覺特征的匹配對準，只有符合可融合的視覺特征才會對視覺感知起作用，否則，會引起融合困難或者無法融合的情況，從而導致立體體驗質量不佳。

3 實驗結果與結論分析

3.1 實驗設置

盡管已經建成一些關于立體感知研究的圖像庫，但有些圖像庫只考慮視覺不舒適因素，如KAIST的立體圖像、視頻數據庫主要考慮視差引起的立體不舒適，NTNU建立的立體圖像庫是針對由串擾引起的立體圖像視覺不舒適；并且，大部分圖像庫都沒有授權公開使用，目前關于立體體驗質量研究可以提供授權的數據庫有Yonsei University的IEEE-SA立體圖像庫和EPFL的立體圖像視頻庫，由于EPFL的立體圖像視頻庫僅提供54幅立體圖像，鑒于本文所提QoE評價算法需要對立體圖像數據庫劃分訓練集和測試集，因此，本文放棄較小的EPFL立體圖像視頻庫，選取IEEE-SA立體圖像庫用作所提QoE評價模型的性能測試，EEE-SA立體圖像庫包括800幅立體圖像及其對應的MOS得分，每個立體圖像都是由分辨率為1920 1080的左、右視點圖像組成。

本節實驗用LIBSVM[7]提供的SVR軟件包訓練SVCA的預測函數，在劃分訓練集和測試集時，研究選用100次五折交叉驗證測試預測函數的評價性能，從所有54幅立體圖像中隨機地選取五分之四圖像用于訓練，剩余的五分之一用于做測試。在測試預測函數的評價性能時，進一步選用3個評價準則通過計算SVR模型預測的舒適度得分與主觀的DMOS值的相關性得到所提算法的性能，這3個準則包括PLCC（Pearson linear correlation coefficient）和SROCC（Spearman rank order correlation coefficient）。當SVCA算法性能較好時，它會得到較大的PLCC、SROCC取值。

3.2性能測試

為了對比所提QoE評價算法的性能，本文對比了兩個先進的客觀立體體驗質量評價算法，具體包括：Nojiri等人的算法[8]和Yano 等人的算法[9]，其中，Nojiri等人用相位相關度從立體圖像中估計視差信息，再利用視差分布范圍和平均視差分布計算立體HDTV圖像的QoE；Yano 等人的QoE評價算法通過立體圖像左、右兩個視點圖像的相關性計算立體圖像的QoE。各QoE評價算法在立體圖像庫IEEE-SA的預測性能如表1所示。

從表1可以看出本文所提的QoE評價算法在IEEE-SA立體圖像數據庫上都取得較好的預測性能。所提QoE評價算法的PLCC、SROCC要好于Nojiri等人和Yano 等人的QoE評價算法的PLCC、SROCC。

4 結束語

針對立體圖像體驗質量評價的問題，本文提出一個基于雙眼視覺感知特征一致性的立體圖像體驗質量評價算法，其中分別將兩個視點圖像的像素梯度作為立體圖像視覺感知的低層次特征，再用梯度方向直方圖特征（HOG）建立立體圖像的視覺感知特征向量，最后，通過訓練好的支持向量回歸（SVR）模型來預測立體圖像體驗質量。實驗結果表明所提算法能夠較好地預測立體圖像體驗質量。

參考文獻：

[1] 劉延偉，劉金霞，慈松，等.3DQoE評價方法及其模型研究進展綜述[J].電子學報， 2015， 43（3）： 568-576.

[2] VQEG. Establishing a Ground Truth for Quality of Experience in 3D for Assessment Methodologies in 3D Video Quality Assessment [S/OL]. 2014， http：//www.its.bldrdoc.gov/vqeg /projects/3dtv/3dtv.aspx.

[3] GOLDMANN L， SIMONE F D， EBRAHIMI T. A comprehensive database and subjective evaluation methodology for quality of experience in stereoscopic video[C]// Proc. of SPIE-IS&T; Electronic Imaging， Stereoscopic Image Processing and Applications， vol. 7526， San Jose， California： SPIE， 2010.

[4] CHEN W， FOURNIER J， BARKOWSKY M， et al. Quality of experience model for 3DTV[C]//SPIE， Stereoscopic Displays and Applications XXIII， Burlingame， California： SPIE， 2012： 1-9.

[5] XING L， YOU J， EBRAHIMI T， et al. An objective metric for assessing quality of experience on stereoscopic images[C]//IEEE International Workshop on Multimedia Signal Processing， Saint Malo：IEEE， 2010： 373-378.

[6] LIU Y， CI S， TANG H， et al. QoE-oriented 3D Video transcoding for mobile streaming[J]. ACM Transactions on Multimedia Computing， Communications and Applications， 2012， 8（3s）： 42：1-42：20.

[7] C.-C. Chang and C.-J. Lin. LIBSVM： A library for support vector machines[J/OL]. ACM Transactions on Intelligent Systems and Technology （TIST）， 2001， 3（2）： 27：1--27：27. http：//www.csie.ntu.edu.tw/～cjlin/libsvm.

[8] NOJIRI Y， YAMANOUE H， HANAZATO A， et al. Measurement of parallax distribution， and its application to the analysis of visual comfort for stereoscopic HDTV[C]//Proc. of SPIE-IS&T; Electronic Imaging， Stereoscopic Displays and Virtual Reality Systems X， Vol. 5006， Santa Clara， CA： SPIE， 2003： 195–205.

[9] YANO S， EMOTO M， MITSUHASHI T. Two factors in visual fatigue caused by stereoscopic HDTV images[J]. Displays， 2004， 25（4）： 141–150.