基于視覺顯著模型的圖像質量評價算法*

陳宏達， 丁 勇

(浙江大學 超大規模集成電路設計研究所，浙江 杭州 310027)

0 引 言

在圖像處理領域，定量評估圖像質量是不可缺少的一環[1]。圖像質量評價可分為主觀圖像質量評價和客觀圖像質量評價兩大類。相對于主觀評價，客觀質量評價若能設計出與主觀評價相一致的算法，則能夠大大降低圖像評價成本，具有巨大的研究和應用價值。

本文討論的算法均為全參考圖像評價算法，其中無失真圖像作為參考圖像[2]。傳統的圖像算法中均方誤差(mean square error,MSE)和峰值信噪比(peak signal-to-noise ratio,PSNR)評估內容相同和失真類型相同的圖像質量效果良好，而涉及到多種圖像內容或者多種失真類型的質量評估，預測結果與人的主觀評價一致性較差[3]。因此，建立以人眼感知為導向的圖像質量評價算法，對圖像處理算法的設計優化和圖像傳輸質量的控制監測至關重要。2004年,Wang Z等人[4]提出了結構相似度(structural similarity，SSIM)方法，該方法以人眼視覺系統(human visual system，HVS)對結構信息高度敏感，取得了較好的圖像感知質量。在后續研究中，Simonceili W Z等人[5]又提出了多尺度的SSIM算法(multi-scale SSIM，MS-SSIM)，實驗證明效果好于對應的單一尺度SSIM；而后Wang Z和Li Q改善了原始的MS-SSIM算法，引入了基于信息內容的加權聚合方式，提出基于信息內容加權的SSIM算法(information content weighted SSIM，IW-SSIM)[6]，更深入地模擬人眼感知特性。近幾年來，研究發現對于同樣一幅圖，不同區域信息對HVS的刺激程度不同[7]。這種視覺顯著特性和圖像質量評價有著內在的聯系[8]。Zhang L等人[9]提出了視覺顯著性指導的(visual saliency-induced index，VSI)圖像質量評價算法，將顯著模型和評價模型融合在一起，表現出與主觀感知非常一致的評價效果。

本文提出一種基于新型視覺顯著模型的圖像質量評價算法。首先利用最小可覺差(just noticeable difference,JND)模型提取圖像的梯度感知圖，再利用超像素分割提取圖像的權重感知圖，最后在融合兩種感知圖基礎上，采用融合感知圖的均值和方差結合支持向量回歸(support vector regression，SVR)[10]來度量圖像質量的退化。本文算法中的參考圖和失真圖分別提取梯度感知圖，而權重感知圖根據參考圖得出，主要考慮到參考圖像的圖像信息最為完整，由其得出的權重感知圖能更為準確地反映出HVS對圖像不同區域的敏感性

1 梯度感知圖的提取

人眼的JND[11]理論與HVS的觀察機制相一致，因此，應用JND模型可以有效地模擬HVS的觀察機制，將圖像中人眼最敏感的區域提取出來。本文設計了多種方向的卷積核如圖1，從0°，45°，90°和135° 4個方向提取圖像的梯度信息，并通過像素最大化原則，獲得最終的梯度感知圖SG

(1)

式中I為輸入圖像,Pn(n=1，2，3，4)為卷積核。相比于傳統的Sobel和Prewitt算子卷積核，這4種卷積核方向更充分，而且更大的卷積核保證了提取梯度信息的完整性。

圖1 梯度感知圖的提取過程

2 權重感知圖的提取

圖像的某些區域會因為包含很多梯度信息，吸引HVS著重觀察，這種對圖像局部區域的感知在梯度感知圖中體現并不充分，由此本文在梯度感知圖的基礎上提取了權重感知圖。

為了突出圖像不同區域的敏感度不同，需要將圖像按一定方式分塊，傳統的矩形分塊固然方便快捷，但在分塊的過程中并沒有體現HVS的感知特性，本文利用超像素分割算法簡單線性迭代聚類(simple linear iterative clustering ，SLIC)[12]，SLIC算法主要依據是像素之間的顏色相似性與鄰近性進行圖像分塊

(2)

式中 [lab]為三原色(RGB)顏色空間圖像轉換為實驗室(LAB)空間對應的像素值；(x，y)為像素點的位置；[liaibixiyi]為局部分塊的中心點的5維向量；[ljajbjxjyj]為需要判斷所屬塊的像素點的5維向量；S為局部區域的像素點個數,本文根據實驗經驗選取S為9 000;D為5維向量的歐氏距離，是判斷像素點所屬塊的依據。

同時人眼在對梯度信息的感知過程中，依然存在敏感性不同的差異，為了提取這部分差異，本文的權重感知圖分為2個尺度：調局部細節重要性；強調整體輪廓重要性

(3)

式中n=1,2為不同尺度；W1=0.3,W2=0.7為大量實驗過程中選取的最優值。

計算局部區域的有效像素個數占總像素個數的比例，作為該區域的權重系數，模擬人眼對該局部區域的敏感度

(4)

式中labeli為第i個超像素區域；SWn(x，y)為在第i個超像素區域中的一個像素值。

利用JND模型提取參考圖像R梯度感知圖如圖2，提取過程如圖1；利用SLIC算法將圖像分塊，圖像的顏色信息和位置信息通過SLIC算法凸顯；后續梯度感知圖通過對感知程度的判斷，分成第一尺度SGW1和第二尺度SGW2，利用式(4)分別與得到的超像素分割圖像SP結合，得到最終的權重感知圖SW1和SW2。

圖2 權重感知圖的提取過程

3 回歸分析和圖像質量預測

經過圖1和圖2的過程，一幅圖像可以得到梯度感知圖SG和權重感知圖SW1和SW2，兩種感知圖再通過點乘的方式融合成最后的視覺顯著圖。由此獲取參考圖像顯著圖與失真圖像顯著圖之間的絕對值差異，并統計差異的均值和方差，得到特征矩陣F=[μ1σ1μ2σ2]。為了尋找F映射成客觀質量分數的最優方式，本文在回歸分析的過程中選用SVR算法，SVR的目標即發現一種函數y(F)可以使得預測結果與數據庫中的主觀質量分數一致性最高

y(F)=WTφ(F)+γ

(5)

式中φ(F)為特征向量F的非線性函數,w為本文需要尋找出的最優參數,γ為偏差因子。訓練的目的為求出未知的最優參數和偏差因子。本文隨機選取了數據庫80 %的數據量訓練，用20 %的數據量測試，訓練集和測試集的數據不重復。這種訓練和測試的方式在每個數據庫中重復了1 000次，取其均值作為最后的質量評價分數。整體算法框架如圖3所示，實驗結果表明本文算法與人眼感知有很高的一致性。

圖3 本文提出的圖像質量評價算法框架

4 實驗與結果分析

為了分析本文算法效果的優劣，采用Pearson線性相關系數(Pearson linear correlation coefficient,PLCC)和均方根誤差(root mean square error,RMSE)度量評價分數的準確性，采用Spearman排序相關系數(Spearman rank correlation coefficient,SRCC)和Kendall排序相關系數(Kendall ranking correlation coefficient,KRCC)評估質量分數的單調性[13]。PLCC，SRCC和KRCC的值越接近1，RMSE值越接近0，則算法效果越好。采用3個國際公知的圖像評價數據庫為：LIVE[14]，TID2008[15]，TID2013[16]。這些數據庫中，每幅失真圖像都對應一個主觀質量分數。LIVE數據庫包含5種失真類型的779幅失真圖像；TID2008數據庫包含17種失真類型的1 700幅失真圖像，TID2013數據庫包含24種失真類型的3 000幅失真圖像。在實驗中，基于PLCC，Searman等級相關系數(Spearman rankorder correlation coefficient,SROCC)和RMSE等指標，本文算法與多種代表性圖像質量評價算法進行了性能比較。對比算法包括SSIM[4]，MS-SSIM[5]，IWSSIM[6]，梯度相似性(gradient similarity,GSIM)[17]，多尺度對比相似度偏差(multiscale contrast similarity deviation,MCSD)[18]，VSI[9]。表1給出了不同算法在3種數據庫上的總體性能比較，其中效果最好的用加粗的形式表示。

表1 不同算法在3個數據庫中的性能比較

可以看出，在3種數據庫中，本文算法都表現出優秀的性能，同時MCSD算法由于在多尺度特性的基礎上引入了對比敏感度特性，在LIVE和TID2008數據庫上也表現突出，而同樣采用視覺顯著圖的VSI算法則在TID2008和TID2013數據庫上更有優勢。本文算法在提取梯度信息的基礎上，提出的權重感知圖，不但模擬了HVS的感知特性，而且通過對感知程度的判斷，將權重感知圖分層，從細節和整體2部分綜合度量圖像的客觀質量。實驗結果表明，本文提出的基于新型視覺顯著模型的算法在3種數據庫上的性能表現穩定，與人眼的主觀評價有很強的一致性，體現出很高的魯棒性。

表2給出了不同算法對LIVE數據庫中多種失真類型的評價性能比較，其中SRCC值最高的用加粗形式表示。從表2可以看出，在快通道衰減(fast channel fall-off,FF)失真，JPEG壓縮失真，高斯白噪聲(white noise,WN)失真和JPEG2000(JP2K)壓縮失真中，本文算法表現突出。而針對高斯模糊(Gaussian blur,GB)失真，由于高斯模糊是對圖像進行低通處理，而MCSD因為模擬人眼的多通道特性，可以對這種失真的預測取得相對較好的效果，本文在權重感知圖上的尺度概念，也對這種失真起了一定的預測作用，表現出僅次于MCSD的效果，評價效果也相對優秀。

表2 LIVE數據庫中多種失真類型的SRCC值比較

另外，本文用到了SVR算法，在訓練和測試過程中在每個數據庫中重復了1 000次。圖4為根據100次測試結果得到的每個數據庫的箱線圖，可以看出在1 000次測試中，算法的效果性能一直非常穩定，數據非常集中，都處于中位線附近。

圖4 各個數據庫的箱線圖

綜上，本文的基于新型視覺顯著模型的圖像質量評價算法在跨數據庫和跨失真類型上都表現出與主觀評價很好的一致性，是一種非常有效的圖像質量預測和評價方法。

5 結束語

本文提出了一種基于視覺顯著模型的全參考圖像質量評價方法，從梯度感知圖和權重感知圖，兩個方面深度契合了人眼感知的特性，同時在權重感知圖中，將梯度信息的感知層級進一步細分，實驗效果也說明了算法的優異性。而且這種視覺顯著模型可以適用于后續的視頻質量的檢測，也對先存在的圖像質量評價模型有重要的參考意義。