基于特征域奇異值分解的圖像質量評價

崔 力

(西北工業大學電子信息學院，西安710072)

浩 明

(西安郵電大學通信與信息工程學院，西安710121)

圖像質量評價是圖像處理的重要研究內容之一.作為算法性能評判及參數優化的關鍵指標，圖像質量評價對于圖像采集、壓縮、編碼、去噪、增強、水印、認證、存儲、合成、復制等相關領域具有重要意義.圖像質量評價主要有主觀和客觀兩種方式.考慮到傳統的主觀質量評價不僅對實驗條件有著苛刻的要求，而且實施步驟復雜，不能滿足實時性的要求，客觀質量評價吸引了更多關注.

根據參考圖像存在與否，客觀圖像質量評價方法可以分為全參考、半參考和無參考3種算法.其中，當前學者對于全參考算法的研究最為深入，并將其分為:①基于物理信號差異的方法，包括常見的均方差(MSE，Mean Square Error)，信噪比(SNR，Signal to Noise Ratio)和峰值信噪比(PSNR，Peak Signal to Noise Ratio)等指標;②基于人眼視覺系統(HVS，Human Vision System)建模的方法.例如，視覺信噪比(VSNR，Visual Signal to Noise Ratio)[1]利用HVS的臨界閾值和超閾值視覺感知特點改進SNR，以便更好地吻合人眼視覺感知結果;③基于結構相似性的方法.假設結構信息丟失是造成圖像質量下降的唯一原因，此類方法包括了結構相似性度量(SSIM，Structural SIMilarity)[2]和它的多分辨版本(MSSSIM，Multi－Scale Structural SIMilarity)[3];④基于自然場景統計(NSS，Natural Scene Statistics)的方法，包括信息置信度標準(IFC，Information Fidelity Criteria)[4]和視覺信息置信度(VIF，Visual Information Fidelity)[5].

由于上述方法都是采用數學建模的手段來模擬人眼視覺系統的視覺判斷功能，他們普遍存在模型參數優化困難以及泛化能力不足的問題.近年來，有學者嘗試利用機器學習手段預測圖像感知質量.相比于上述數學建模的方法，機器學習不僅能夠學習具有任意復雜度的映射關系函數，而且巧妙地回避了HVS中不同特征間的相互影響.文獻[6]提出一種聯合應用多個機器學習技術的圖像質量評價模型，首先將PSNR和SSIM作為圖像質量描述參數進行“野點預測”，以便利用支持向量機(SVM，Support Vector Machine)將待測樣本分為正常樣本和奇異樣本兩類，隨后根據分類的結果選擇對應的人工神經網絡(ANN，Artificial Neural Network)，最終獲得圖像質量評價.文獻[7]提出一種基于圓形反向傳播神經網絡(CBPNN，Circular Back－Propagation Neural Network)的圖像質量評價方法，首先從待測圖像的灰度共生紋理矩陣(GLCM，Gray Level Co－occurrence Matrix)，DCT(Discrete Cosine Transform)域以及局部直方圖中提取視覺特征，并利用KS(Kolmogorov－Smirnov)檢驗從待選特征集合中最終篩選出4個紋理特征，最后將在多個紋理方向上分別訓練得到的學習器進行合并，以便完成主觀圖像質量預測.文獻[8]提出一種基于廣義回歸神經網絡(GRNN，General Regression Neural Network)的圖像質量評價方法，首先對輸入圖像進行處理得到如下特征(失真圖像的熵和平均梯度和它的相位一致性圖的均值和熵)，隨后將這些特征輸入到GRNN的輸入層，并在模式層和加和層進行不斷地回歸處理，直至獲得預期的收斂值，并最終在輸出層獲得圖像質量評價結果.文獻[9]提出一種基于奇異值分解(SVD，Singular Value Decomposition)的圖像質量預測模型.它首先將輸入圖像分為固定大小的子塊，并利用奇異值分解分別求取它們奇異向量的內積和奇異值的方差作為視覺特征，最終將各個子塊上的視覺特征值的均值作為圖像的全局特征輸入到SVM，以便獲得對感知質量的預測.

考慮到奇異向量內積和奇異值方差是兩種不同概念(相似度和距離)的度量，本文嘗試利用統一的概念度量奇異向量及其奇異值的差異，提出了一種基于特征與奇異值分解的圖像質量評價方法，首先通過在多個特征域比較參考和測試圖像的特征向量及其特征值差異提取出所需的視覺特征向量，并利用SVM完成圖像感知質量的預測.通過利用一種選擇性集成回歸的方法構建集成學習系統，本文所提出的圖像質量預測模型的泛化能力還可以進一步提高.

1 圖像質量預測模型

如圖1所示，本文提出的圖像質量評價預測算法主要由視覺特征提取和感知質量預測兩個部分組成.它們分別負責從多個特征域中提取出圖像的視覺特征向量以及利用SVM建立有視覺特征到感知質量的數學映射.

圖1 圖像質量預測模型的工作流程

1.1 視覺特征提取

視覺特征提取主要用于在多個特征域中或者從不同的角度分析參考和測試圖像的視覺感知差異.這里，特征域指的是圖像本身以及它的梯度和相位一致性.由于梯度和相位一致性分別表征了圖像局部的亮度以及相位變化情況，它們構成了表示圖像局部結構的最小特征集合.

給定圖像 I ，首先利用 S charr模板[10](見圖2)分別獲得它在水平和垂直方向上的梯度分量(Gx和Gy)，最終將圖像整體梯度定義為

考慮到所有對人眼重要的視覺特征都發生在相位信息高度有序的空間位置上[11]，圖像的相位一致性定義為

式中，?·」代表門限函數，當輸入變量小于零時輸出為零，其它情況下輸出等于輸入;An(x)=表示給空間位置x和子帶階數n下的信號幅度，其中en(x)和on(x)分別是將原始圖像I與偶對稱小波和奇對稱小波進行卷積的結果;Δφn(x)和W(x)分別表示統計相位偏移和加權系數;常數T和ε分別用來估計實際的噪音水平以及防止上式中的分母為零.

圖2 Scharr梯度檢測模板

給定參考和測試圖像的特征域表示，首先將其劃分為大小相等且互不重疊的若干子塊(鄰域)，并通過比較局部奇異向量以及奇異值的差異獲得圖像質量預測所需的視覺特征向量.假定矩陣Bir和Bit分別是參考和測試圖像特征域中位于相同位置并且大小為b×b的第i個子塊，它們可以分解為

式中，U，V分別是左右奇異向量矩陣.S=diag(s1，s2，…，sb)中奇異值為降序排列，即 s1＞s2＞…＞sb，并呈現指數遞減的變化趨勢.通過分別比較奇異向量和奇異值的差別，就可以獲得本地視覺感知差異度量

式中，N代表圖像中本地塊的總數.本文中，本地塊的大小設為32×32.

1.2 感知質量預測

感知質量預測旨在將描述參考和測試圖像視覺感知差異的特征向量輸入到SVM，以便完成從視覺特征到主觀感知質量的數學映射.SVM[12]是一種在統計學習理論基礎上發展出來的新的機器學習方法.相比于傳統的基于經驗風險最小化原則的ANN，它基于結構風險最小化原則，因此具有更好的抗噪與泛化能力.

作為一種用于回歸問題的 S VM方法，nu－SVR(Support Vector Regression)[13]的實質就是根據給定訓練數據(x1，y1)，…，(xl，yl)，尋找出從輸入特征xi∈Rd到目標值yi∈R的最佳映射函數

式中，W和b分別表示權重向量與偏移量;核函數φ(x)用于將輸入特征映射到更高維空間，以便增強其線性可分性.依據結構風險最小化原則，映射函數f(x)必須同時滿足:①在所有訓練樣本上盡量接近目標值;②盡可能保持函數的平坦，以防止過擬合.因此，nu－SVR的目標函數設計如下:

式中，懲罰因子C用來控制經驗誤差與函數平滑程度之間的平衡;參數ν滿足0≤ν≤1.核函數為高斯函數.

2 實驗數據

實驗數據主要包括了美國cornell大學的A57[14]、法國Nantes大學圖像與視頻通信實驗室的IVC[15]、烏克蘭國立空間科學大學的TID2008[16]、日本富山大學知能情報工學科通信研究室的MICT－tomaya[17]、美國Texas大學圖像和視頻工程實驗室的LIVE(Laboratory for Image＆Video Engineering)[18]、美國 Oklahoma 州立大學計算視覺感知與圖像質量實驗室的CSIQ(Computational Perception＆Image Quality lab)[19]和瑞典Blekinge技術研究所的WIQ(Wireless Imaging Quality)[20]圖像數據庫.

3 性能分析

不同于傳統的圖像質量評價算法，本文提出的圖像質量預測(IQP，Image Quality Predictor)模型主要利用SVM來完成主觀感知質量的預測.表1顯示這些模型在A57數據庫的平均運行時間.實驗平臺是:Q9500處理器，4 GB內存，WIN7專業版操作系統，Matlab7.6仿真軟件.從表1中可以看出，IQP模型的計算復雜度基本與VSNR算法相當，盡管比PSNR，SSIM和MSSSIM差，但是優于IFC和VIF算法.

表1 圖像質量預測模型與傳統圖像質量評價算法的運行時間比較 s/圖像

4 仿真結果

4.1 單個數據庫的性能表現

為了公平地比較IQP模型以及傳統的圖像質量評價算法，本文擬采用多重交叉檢驗方式來檢測上述模型在當個數據庫上的性能表現.主要包含3個步驟:①將當前數據庫劃分為若干等分，每次選取一個等分(測試子集)來檢驗由其它等分(訓練子集)訓練所得到模型的性能表現.為了使訓練和測試子集具有最大的獨立性，首先將這些圖像數據庫中的參考圖像分為大小近似相等的5個或者3個子集，并通過將同一子集內參考圖像對應的失真圖像也劃分為一個集合，以便獲得失真圖像的對應劃分.②利用訓練子集完成模型的參數選擇及其訓練.考慮到傳統的圖像質量評價算法已經完成了參數優化，這里的模型訓練是指利用網格搜索完成IQP模型的最佳參數選取，其基本原理是讓參數C，γ和ν按照一定的步長增加，并通過嘗試參數空間網格劃分上的所有點，最終獲得最佳參數取值.③利用測試集合檢測訓練得到模型的性能表現，并將經過多次測量得到的性能參數的平均值作為當前參數下交叉檢驗精度.這里，性能參數(相關系數(PLCC，Pearson linear Correlation Coefficient)和均方根誤差(RMSE，Root Mean Square Error))主要用來描述經過非線性映射后模型或算法對圖像感知質量的預測值和實驗測量值(MOS值)之間吻合程度.較大的PLCC表示主觀質量預測具有較好的準確性和單調性，較小的RMSE表示主觀質量預測具有較好的一致性.

圖3顯示了本文所提出的IQP模型以及傳統的圖像質量評價算法(PSNR，SSIM，MS－SSIM，IFC，VIF和VSNR)在7個圖像數據庫上的性能表現.

圖3 圖像質量預測模型與傳統圖像質量評價算法在單個數據庫上的性能表現

從圖3中可以看出，除了在A57上的性能表現比VSNR稍差外，IQP模型在這數據庫上的性能都高于傳統的圖像質量評價算法.由于VSNR算法主要是利用A57圖像數據庫來完成模型的參數優化，它在A57上的表現比較優異，而其它數據庫上的性能衰減比較明顯.考慮到SSIM，MSSSIM，IFC和VIF算法最初都是為LIVE圖像數據庫而設計的，他們在包含LIVE中相同失真類型的MICT－tomaya圖像數據庫上仍然表現較好，而在包含許多LIVE中所沒有失真類型的TID2008圖像數據庫上性能表現較差.由此可見，傳統圖像質量評價算法的突出問題就是由于測試與訓練數據內在結構的不一致，他們在測試數據上的表現較差，即泛化能力有所不足.

4.2 跨數據庫性能表現

此外，本文也測試了在樣本數量最多的3個圖像數據庫(TID2008，LIVE和CSIQ)上分別訓練的IQP模型在其它數據庫上的性能表現，如表2所示.這里主要用PLCC表征模型預測值與MOS之間的吻合程度.從表2中可以看出，利用這3個數據庫訓練所得到的IQP模型在其他圖像數據庫上都有著較好的表現.由于TID2008數據庫中的樣本數量遠遠大于LIVE和CSIQ數據庫，利用LIVE和CSIQ訓練的模型在TID2008數據庫上的性能表現較差.此外，考慮到無線傳輸過程會帶來復雜和不可預測的失真(多種偽影同時存在單個圖像中)，這些模型在WIQ數據庫上的表現還有待提高.

通過采用一種選擇性的集成策略[21]，也可以利用多個SVM構建集成學習器.通過用集成學習器替代SVM，上述IQP模型就變為了圖像質量集成預測(IQEP，Image Quality Ensemble Predictor)模型.構建集成學習器的步驟如下:首先利用Bootstrap Sampling方法從現有圖像數據庫中產生若干訓練子集，并在每個訓練子集上通過網格搜索完成SVM訓練，然后依據他們的泛化精度對這些SVM模型進行排序，計算各子SVM模型的預測結果與期望輸出之間的相對和絕對誤差，將滿足閾值條件的SVM子模型加入集合中，并把出現概率在50%以上的SVM最終用于集成學習器構建.表3顯示了在TID2008，LIVE和CSIQ上分別訓練的IQEP模型在其它數據庫上的性能表現.在所有測試數據庫上，IQEP模型的性能都要優于IQP.通過用集成學習器來代替傳統的SVM，本文所提出的圖像質量預測模型的泛化能力有所提高.

表2 圖像質量預測模型的跨數據庫性能表現

表3 圖像質量集成預測模型的跨數據庫性能表現

5 結束語

本文提出了一種基于特征域奇異值分解的圖像質量評價方法，首先從輸入圖像及其梯度和相位一致性圖中分別比較本地塊的奇異向量和奇異值的差異來提取視覺特征，并利用SVM完成由視覺特征向量到圖像感知質量的映射.實驗表明:①通過將網格搜索與交叉驗證相結合來完成模型參數化，本文所提出的圖像質量預測模型的性能要優于傳統的圖像評價算法;②在圖像數量最多的3個數據庫上分別訓練的圖像質量預測模型在其他數據庫也有著很好的性能，表現出良好的泛化性;③通過構建集成學習器來代替單個支持向量機，本文所提出的圖像質量預測模型的泛化能力還可以進一步提高.

References)

[1]Chandler D M，Hemami S S.VSNR:a wavelet－based visual signal－to－noise ratio for natural images[J].IEEE Transactions on Image Processing，2007，16(9):2284－2298

[2]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13(4):600－612

[3]Wang Z，Simoncelli E P，Bovik A C，Multi－scale structural similarity for image quality assessment[C]//Proceedings of the IEEE Asilomar Conference on Signals，Systems and Computers.2003，2:1398－1402

[4]Sheikh H R，Bovik A C，Veciana G M.An information fidelity criterion for image quality assessment using natural scene statistics[J].IEEE Transactions on Image Processing，2005，14(12):2117－2128

[5]Sheikh R，Bovik A C.Image information and visual quality[J].IEEE Transactions on Image Processing，2006，15(2):430－444

[6]Tong Yubing，Zhang Qishan，Chang Qing，et al.Image quality assessing model by using neural network and support vector machine[J].Journal of Beijing University of Aeronautics and Astronautics，2006，32(09):1031－1034

[7]Gastaldop，Zunino R，Heynderickx I，et al.Objective quality assessment of displayed images by using neural networks[J].Signal Processing:Image Communication，2005，20(7):643－661

[8]Li C，Bovik A C，Wu X J.Blind image quality assessment using general regression neural network[J].IEEE Transactions on Neural Networks，2011，22(5):793－799

[9]Narwaria M，Lin W.SVD－based quality metric for image and video using machine learning[J].IEEE Transaction on Systems，Man，and Cybernetics－Part B，2012，42(2):347－364

[10]Jahne B，Scharr H，Korkel S.Principles of filter design[M].Handbook of Computer Vision and Applications.Academic Press，1999

[11]Kovesi P.Image features from phase congruency[J].Journal of Computer Vision Research，1999，1(3):1－26

[12]Vapnik V N.The nature of statistical learning theory[M].New York:Springer－Verlag，1999

[13]Schaolkopf B，Smola A J，Williamson R C，et al.New support vectoralgorithms[J].NeuralComputation，2000，12(5):1207－1245

[14]Chandler D M，Hemami S S.A57 database[DB/OL].[2012－10－7].http://foulard.ece.cornell.edu/dmc27/vsnr/vsnr.html

[15]Ninassi A，Callet P L，Autrusseau F.Subjective quality assessment－IVCdatabase[DB/OL].[2012－10－7].http://www2.irccyn.ec－nantes.fr/ivcdb/

[16]Ponimarenkon，Lukin V，Zelensky A，et al.TID2008－a database for evaluation of full－reference visual quality assessment metrics[J].Advances of Modern Radioelectronics，2009，10:30－45

[17]Horita Y，Shibata K，Kawa Y Y，et al.MICT image quality evaluation database[DB/OL].[2012－10－7].http://mict.eng.u－toyama.ac.jp/mictdb.html

[18]Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment databas erelease 2[DB/OL].[2012－10－7].http://live.ece.utexas.edu/research/Quality/index.htm

[19]Larson E C，Chandler D M.Categorical image quality(CSIQ)database[DB/OL].[2012－10－7].http://vision.okstate.edu/csiq

[20]Engelke U，Kusuma M，Zepernick H J.Wireless imaging quality(WIQ)database[DB/OL].[2012－10－7].http://www.bth.se/tek/rcg.nsf/pages/wiq－db

[21]Zhang Yu，Wang Wenjian，Kang Xiangping.A regression SVM selection ensemble approach[J].Computer Science，2008，35(4):178－180