基于支持向量回歸的立體圖像客觀質量評價模型

顧珊波 邵 楓 蔣剛毅 郁 梅

(寧波大學信息科學與工程學院 寧波 315211)

1 引言

隨著圖像編碼技術和立體顯示技術的迅速發展，立體圖像技術越來越受到廣泛的關注與應用[1,2]，已成為當前的一個研究熱點。立體圖像技術利用人眼的雙目視差原理，雙目各自獨立地接收來自同一場景的左右視點圖像，并通過大腦融合形成雙目視差，從而欣賞到具有深度感和逼真感的立體圖像[3]。然而由于采集系統、存儲壓縮及傳輸設備的影響，立體圖像會不可避免地引入一系列的失真，與單通道圖像相比，立體圖像需要同時保證兩個通道的圖像質量，對其進行質量評價具有非常重要的意義。然而，目前對立體圖像質量還缺乏有效的客觀評價方法，因此，建立有效的立體圖像客觀質量評價模型具有十分重要的意義。

立體圖像客觀質量評價方法主要可以分為兩類：(1)基于深度或視差信息的立體圖像質量評價[4,5]。然而，由于目前視差/深度估計技術的局限，如何有效地對深度圖或視差圖質量進行評價以真實地表征立體感知特性，仍然是立體圖像客觀質量評價中的難點問題之一；(2)將平面圖像質量評價方法應用于立體圖像質量評價[6,7]。然而，對立體圖像的左右視點圖像進行融合產生立體感的過程還難以用簡單的數學方法來表示，并且左右視點圖像之間還存在相互影響，對左右視點圖像進行簡單線性加權難以有效地評價立體圖像質量。因此，研究符合人類視覺特性的立體圖像客觀質量評價模型是一個重要的研究問題。

人類視覺系統是一個極其復雜的信息處理系統，人眼往往會習慣性地對主眼所看到的事物更加敏感，文獻[8]通過實驗測量發現絕大多數人的右眼為主眼，也就是說人眼對立體圖像中右視點圖像的質量失真比較敏感，并且人眼對圖像的認知是非均勻的，對不同類型的失真會產生不同的敏感度；文獻[9]的實驗結果表明不同的失真類型對于立體圖像質量的影響是各異的，對于塊效應，其立體質量評價分值大約是左右通道評價分值的平均值，而對于模糊失真，其立體圖像質量主要取決于質量較好的那個視點，并且左右視點圖像的質量差異會影響最終的立體感知效果；文獻[10]通過主觀感知實驗驗證了不同失真類型的立體圖像的主觀感知質量的權重偏好。因此，在設計立體圖像客觀質量評價模型時，一方面要考慮不同失真類型對立體圖像質量的影響以提高質量評價效果，另一方面又要考慮如何通過左右視點圖像質量的差異來反映立體感知效果。

本文根據立體圖像的不同失真類型以及左右視點間的質量差異對立體感知的影響，提出了一種基于支持向量回歸(Support Vector Regression, SVR)的立體圖像客觀質量評價模型。首先通過奇異值分解(Singular Value Decomposition, SVD)提取出立體圖像特征信息，然后通過SVR建立立體圖像特征與主觀評價值的關系，從而預測得到立體圖像質量的客觀評價值。與現有的立體圖像質量評價方法相比，本方法采用能較好地反映圖像質量差異的奇異值作為立體圖像特征信息，并結合SVR技術進行高維樣本的非線性回歸，避免了對人類視覺系統的相關特性與機理的復雜模擬過程，且能較好地反映立體圖像質量。

2 基于SVR的立體圖像質量評價方法

由于目前對人類視覺特性中影響立體視覺的感知因素仍然沒有很好的認識，研究立體圖像中各種感知特性對立體圖像質量的影響是立體圖像質量評價中的一個難點。本文通過建立立體圖像特征與立體圖像主觀評價值之間的關系模型，探索影響立體圖像質量的各種感知線索信息，提出了一種基于SVR的立體圖像客觀質量評價模型，其框架如圖1所示。首先通過SVD提取出立體圖像特征，然后通過 SVR建立立體圖像特征與主觀評價值之間的關系模型，獲取最能反映立體圖像質量的感知線索信息，最后根據獲取的感知線索信息來預測得出立體圖像質量的客觀評價值。其中，立體圖像特征提取、左右視點圖像質量關系分析和基于 SVR的立體圖像特征融合是本模型的關鍵技術。

圖1 基于SVR的立體圖像客觀質量評價模型框圖

2.1 立體圖像特征向量提取

對于一個大小為M×N的圖像，可以用M×N的矩陣I表示。通過奇異值分解法將矩陣I表示為I=USVT，其中U和V分別為M×M和N×N的正交矩陣，S為M×N維的對角矩陣，S矩陣的對角元素稱為圖像I的奇異值。由于圖像奇異值具有較好的穩定性且能夠較好地反映圖像的質量變化情況[11]，故本文使用奇異值作為立體圖像的特征信息。記矩陣I的奇異值矢量T=(σ1,σ2,…,σi,…,σn)，其中，n=min(M,N),σi表示矩陣的第i個奇異值。

其中Xl和Xr的元素值越大，表明圖像失真越嚴重，圖像質量也就越差。

由于立體圖像是通過左右兩個視點以及兩者之間的深度信息表現出來的，而左右視點圖像的質量差異能反映立體感的強弱，并最終影響立體圖像質量[9]。因此，立體圖像特征矢量X與左右視點圖像特征矢量Xl和Xr的關系可以表示為

其中g(?)表示立體圖像特征矢量與左右視點圖像特征矢量的關系函數。

由于人類視覺系統的復雜性，對左右視點圖像進行融合產生立體感的過程還難以用簡單的數學方法來表示。本文通過實驗發現，對左右視點圖像特征矢量進行線性加權，并通過SVR預測得到的客觀評價值與主觀評價值之間具有較強的相關性，因此，將立體圖像特征矢量X表示為左右視點圖像特征矢量Xl和Xr的線性加權

其中wl和wr分別表示左右視點的權值比重。

2.2 左右視點圖像質量關系分析

本文通過 SVR來建立對稱立體圖像左右視點圖像質量與立體感知的關系模型，以客觀評價值與主觀評價值之間的 Spearman等級相關系數(SROCC)來評價立體感知質量的性能，左右視點的最優權值比重wl和wr通過式(5)確立

表1為通過式(5)確定的各種失真類型的最優權值比重。從表中可以看出，通過SROCC最優得到的權值比重滿足wl≤wr關系，說明了人眼對右視點圖像的質量失真比較敏感，對于以塊效應為主的JPEG 失真，其立體圖像特征矢量為左右特征矢量的加權平均，也體現了其立體質量評價分值大約是左右通道評價分值的平均值。

表1 客觀評價模型中對應的各種類型失真的權值比重

2.3 基于SVR的立體圖像特征融合

特征提取是立體圖像質量預測的關鍵，而立體圖像特征融合對建立有效的立體圖像質量評價模型也具有重要作用。本模型中，基于SVR的立體圖像特征融合過程主要包含以下2個階段：

(1)訓練階段：輸入SVR的訓練樣本{Xp,yp}，其中Xp為第p組立體圖像的特征矢量，yp為第p組的主觀評分差值(Difference Mean Opinion Score,DMOS);p=1,2,…,pm,pm為訓練樣本數目。SVR首先選擇一個非線性變換把原始空間中的數據映射到一個高維特征空間中，再在高維特征空間中進行線性估計，構造最優線性函數，其過程表示為

其中w={wi,i=1,2,…,pm}為函數的權重矢量，b為偏置項，k(X,Xi)為特征矢量X的核函數。

目前常用的核函數有多項式核、徑向基(Radial Basis Function, RBF)核、多層感知機核[12]。RBF核函數是一個普適的核函數，適用于任意分布的樣本，在本文使用指數徑向基函數(Exponential Radial Basis Function, ERBF)作為核函數

其中γ為核參數，定義了從原始空間到高維特征空間中的非線性映射。

在ε-SVR[13]中，SVR引入ε不敏感參數使訓練得到的預測值f(X)與目標值y的誤差最小，從而優化w和b參數：

(2)測試階段：提供qm組測試立體圖像特征矢量Xq及對應的主觀評分差值yq,q=1,2,…,qm，用測試樣本{Xq,yq}來測試訓練所得w和b參數性能，預測得到測試立體圖像的客觀評價值Q。

由于在主觀質量評價實驗中會引入一些非線性因素，需要將模型的客觀評價值Q做4參數Logistic函數非線性擬合[14]，最終得到客觀模型預測值DMOSp

其中a,b,c和d為常量；abs()為取絕對值操作。

本文按照 VQEG 對客觀質量評價方法的檢驗標準[14]，利用非線性回歸后的客觀模型預測值DMOSp與主觀評價所得的DMOS的相關性來度量客觀評價方法的性能，使用以下4個性能指標對該模型進行評價：

(1)線性相關系數(CC)：用Pearson線性相關系數CC來反映客觀評價模型預測的精確性，其計算公式如下：

其中N表示測試的失真立體圖像的數目。Pearson相關系數取值范圍為區間[-1, 1]，其絕對值越接近1，表明客觀模型預測值DMOSp與主觀評價所得的DMOS之間的相關性越好，客觀評價模型預測越準確。

(2)Spearman等級相關系數(SROCC)：用Spearman等級相關系數來衡量客觀模型的單調性，其計算公式如下：

(3)異常值比率指標(OR)：該指標主要反映客觀模型的離散程度，即預測值 DMOSp與主觀評價所得的 DMOS的差異大于某一閾值的失真立體圖像數目所占的比例。OR值的范圍為區間[0, 1]，值越接近 0，則表明客觀模型的一致性越好。如果第i幅失真立體圖像滿足以下條件：

則認為第i幅失真立體圖像為異常值，其中，S(i)表示第i幅失真立體圖像對應的DMOS值的標準差。

(4)均方根誤差(RMSE)：以RMSE來對客觀模型的準確性進行度量，其值越小，表示客觀評價算法對主觀評分值的預測越準確，模型的性能越好；反之，則越差。

3 實驗結果及分析

本文采用寧波大學建立的對稱立體圖像測試庫進行測試，該測試庫的原始立體圖像由 Mobile 3DTV和MPEG提供[15]，其選取考慮了相機間距、背景復雜度、亮度、清晰度、分辨率及立體感等因素，其中原始左視點圖像如圖2所示。該測試立體圖像庫分別對原始左右視點圖像添加 5種失真類型：JPEG壓縮、JPEG2000壓縮、高斯模糊、高斯白噪聲和H.264壓縮，共得到312組失真立體圖像，并給出了每組失真立體圖像的DMOS值。

3.1 測試方法及SVR參數選擇

圖2 立體數據庫中原始立體圖像的左圖像

SVR的性能取決于一組好的參數，如正則化參數C、不敏感參數ε以及RBF核參數γ等。正規化參數C和不敏感參數ε取C=100,ε=0.01; RBF核參數γ的選取應該反映輸入樣本值的范圍，由于不同失真立體圖像奇異值變化不穩定，γ的選取應能反映不同失真特征值的變化情況。根據實驗數據統計結果，高斯模型失真，JPEG 2000壓縮失真，JPEG壓縮失真，白噪聲失真和H.264壓縮失真的γ值依次為54, 52, 42, 130, 116。

本文采用5-折交叉驗證來測試本模型的評價效果。首先，將不同失真類型的立體圖像分為互不相交的5組子集，然后利用隨機選擇的4組訓練結果，對給定的一組參數建立回歸模型，最后利用剩余一組立體圖像估計參數性能。重復執行上述的過程，對每個子集進行測試，將5組測試數據的平均結果作為各失真類型的立體圖像質量的客觀評價值。

3.2 性能比較

為了驗證本模型的有效性，將本模型方法與基于奇異值分解的質量評價方法[10](Mean Singular Value Decomposition, MSVD)和基于結構相似度的質量評價方法[16](Mean Structure Similarity Index Metric, MSSIM)的性能進行比較。由于 MSVD和MSSIM評價方法主要應用于平面圖像質量評價，不能簡單地應用于立體圖像質量評價。因此，在本文中，對左右視點圖像分別采用MSVD和MSSIM方法進行評價，將左右視點圖像的評價值采用表1的權值比重進行加權，得到最終的立體圖像質量的客觀評價值。

表2給出了本方法與MSVD和MSSIM方法的各項性能指標，并對本方法采用5-折交叉驗證法和10-折交叉驗證法的測試結果進行比較。由表中數據可知，采用5-折交叉驗證法和10-折交叉驗證法的測試結果非常相近，說明了本文方法受訓練樣本數影響非常小，Duan等人[17]通過實驗建議采用5-折交叉驗證比較合適，同時考慮到算法的復雜度，本文采用5-折交叉驗證法作為測試本模型參數性能的主要方法。并且，本文方法的CC值在0.93以上，SROCC在0.94以上，均方根誤差RMSE接近6, OR值為0.00%，均優于其它兩種方法的各個評價指標。不同失真類型下反映準確性和單調性的 CC和 SROCC評價指標如表3和表4所示，MSVD方法在某些失真類型下性能指標會優于本方法，但總體評價性能低于本方法。

圖3為給出了3種評價方法的客觀評價值Q與DMOS值的散點圖，散點越集中，說明客觀模型與主觀感知的一致性越好。圖中曲線代表 4參數Logistic函數非線性擬合結果，其表達式如式(9)所示。圖3(a)和3(b)分別給出了本方法采用5-折交叉驗證和 10-折交叉驗證的散點圖，其客觀評價值Q越小，立體圖像質量越好，本文提出的基于SVR的立體圖像客觀質量評價模型散點圖比較集中，與主觀評價數據之間的吻合度較高；圖3(c)給出了MSVD方法的散點圖，其客觀評價值Q越接近于0，立體圖像質量越好。圖3(d)給出了MSSIM方法的散點圖，其客觀評價值Q越接近于1，立體圖像質量越好。圖3(c)和圖3(d)的客觀評價值與主觀評價值總體呈現非線性關系，MSVD評價方法對評價較差質量圖像時沒有很好地區分開人眼對立體圖像的主觀感知，而 MSSIM 評價方法得到的客觀評價值與主觀評價值的相關性不高，兩者對應點比較離散。

4 結束語

本文通過分析人類視覺特性和立體圖像特征，提出了一種基于支持向量回歸(Support Vector Regression, SVR)的立體圖像客觀質量評價模型。本模型通過分析左右視點圖像質量關系建立立體圖像特征與立體圖像主觀評價值之間的關系模型。本模型采用具有較好穩定性能夠反映圖像質量差異的奇異值作為立體圖像特征信息，并結合SVR進行特征融合，避免了對人類視覺系統的相關特性與機理的復雜模擬過程，能較好地反映立體圖像質量。實驗結果表明，基于SVR的客觀質量評價模型能夠準確地預測人眼對立體圖像的主觀感知。在本文的基礎上，接下來將考慮建立無參考的立體圖像質量評價模型，從而進一步完善模型的評價性能。

表2 各評價方法的各項性能指標比較結果

表3 不同失真類型的CC性能指標比較結果

表4 不同失真類型的SROCC性能指標比較結果

圖3 各評價方法的客觀評價值Q與DMOS值的散點圖

[1]Zilly F, Kluger J, and Kauff P. Production rules for stereo acquisition[J].Proceedings of the IEEE, 2011, 99(4): 590-606.

[2]蔣剛毅, 黃大江, 王旭, 等. 圖像質量評價方法研究進展[J].電子與信息學報, 2010, 32(1): 219-226.Jiang Gang-yi, Huang Da-jiang, Wang Xu,et al.. Overview on image quality assessment methods[J].Journal of Electronics&Information Technology, 2010, 32(1): 219-226.

[3]Urey H, Chellappan K V, Erden E,et al.. State of the art in stereoscopic and autostereoscoic displays[J].Proceedings of the IEEE, 2011, 99(4): 540-555.

[4]Lambooij M, IJsselsteijn W, Bouwhuis D G,et al.. Evaluation of stereoscopic images: beyond 2D quality[J].IEEE Transactions on Broadcasting, 2011, 57(2): 432-444.

[5]Mittal A, Moorthy A K, Ghosh J,et al.. Algorithmic assessment of 3D quality of experience for images and videos[C]. Proc. IEEE Digital Signal Processing Workshop,Arizona, USA, January 2011: 338-343.

[6]沈麗麗, 侯春萍, 張卓筠, 等. 基于三維特征和結構相似度的圖像質量評價方法[J]. 光電子?激光, 2010, 21(11): 1713-1719.Shen Li-li, Hou Chun-ping, Zhang Zhuo-yun,et al.. A stereo image quality evaluation method based on three dimensional characteristics and structural similarity[J].Journal of Optoelectronics Laser, 2010, 21(11): 1713-1719.

[7]Parvez Sazzad Z M, Yamanaka S, and Horita Y. Continuous stereoscopic video quality evaluation[C]. Proc. of SPIE, San Jose, California, January 2010, 7524: 75241E.

[8]Gündo?an N ü, Yazici A C, and im?ek A. A study on dominant eye measurement[J].International Journal of Ophthalmology, 2008, 8(10): 1980-1986.

[9]Stelmach L B and Tam W J. Stereoscopic image coding:effect of disparate image-quality in left and right eye views[J].Signal Processing: Image Communication, 1998, 14(1-2):111-117.

[10]Wang X, Yu M, Yang Y,et al.. Research on subjective stereoscopic image quality assessment[C]. Proc. of SPIE, San Jose, California, USA, January 2009, 7255: 1-10.

[11]Shnayderman A, Gusev A, and Eskicioglu A M. An SVD-based grayscale image quality measure for local and global assessment[J].IEEE Transactions on Image Processing,2006, 15(2): 422-429.

[12]Zhang X G. Introduction to statistical learning theory and support vector machines[J].Acta Automation Sinica, 2000,26(1): 32-41.

[13]Scholkopf B and Smola A. Learning with Kernels: Support Vector Machines, Regularization, and Beyond[M]. MIT Press,Cambridge, MA, 2002: 17-19.

[14]Brunnstrom K, Hands D, Speranza F,et al.. VQEG validation and ITU standardization of objective perceptual video quality metrics [Standards in a Nutshell][J].IEEE Signal Processing Magazine, 2009, 26(3): 96-101.

[15]Smolic A, Tech G, and Brust H. Report on generation of stereo video data base[R]. Mobile3DTV Technical Report D2.1, 2010: 1-44.

[16]Wang Z, Bovik A C, Sheikh H R,et al.. Image quality assessment: from error visibility to structural similarity[J].IEEE Transactions on Image Processing, 2004, 13(4):600-612.

[17]Duan K, Keerthi S S, and Poo A N. Evaluation of simple performance measures for tuning SVM hyperparameters[J].Neurocomputing, 2003, 51(4): 41-59.