人眼視覺特性壓縮圖像質(zhì)量評估方法

田金沙 韓永國 吳亞東，2 趙小樂

人眼視覺特性壓縮圖像質(zhì)量評估方法

田金沙1韓永國1吳亞東1，2趙小樂1

(1.西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院 四川綿陽 621010; 2.西南科技大學(xué)核廢物與環(huán)境安全國防重點學(xué)科實驗室 四川綿陽 621010)

圖像質(zhì)量評價是圖像和視頻處理系統(tǒng)中的基本算法。通過對人眼視覺特性及圖像的邊緣特征的分析研究，認(rèn)為梯度矢量更能反映圖像邊緣的本質(zhì)特性，結(jié)合人眼視覺的多尺度特性及視覺感興趣區(qū)域的加權(quán)，提出了一種基于梯度矢量的壓縮圖像質(zhì)量評估方法。仿真實驗表明，該評估方法符合人眼的視覺特征，與主觀評價結(jié)果具有更好的一致性，可廣泛應(yīng)用于JPEG和JPEG2000壓縮圖像質(zhì)量評估。

圖像質(zhì)量評估 人眼視覺(HVS) 壓縮圖像 梯度 JPEG JPEG2000

結(jié)合人眼視覺系統(tǒng)的特性進行圖像壓縮的方法和技術(shù)已成為圖像壓縮編碼技術(shù)的發(fā)展方向［1－2］。而與此同時，要建立起更理想、更符合圖像實際質(zhì)量的圖像質(zhì)量評價方法也必須依據(jù)人眼的視覺、心理特性，把客觀與主觀評價方法有機結(jié)合起來。大量的研究表明，基于人眼視覺 (HVS)的方法［3－5］評價結(jié)果明顯優(yōu)于傳統(tǒng)方法。

由于人是圖像的最終受體，利用人眼視覺特性進行質(zhì)量評估可以取得跟人眼感知一致的評價結(jié)果，因此基于人眼視覺特性的評估方法被廣泛關(guān)注［6］。Zhou Wang等人認(rèn)為人眼的主要功能是從視野中提取結(jié)構(gòu)信息，提出了結(jié)構(gòu)相似性理論和結(jié)構(gòu)相似度 (SSIM，Structural Similarity Image Measure)指標(biāo)［3］。由于SSIM算法簡單、準(zhǔn)確性較好，提出后受到了廣泛關(guān)注。但是SSIM在交叉失真類型和失真嚴(yán)重時的準(zhǔn)確率還不夠好，在結(jié)構(gòu)相似性理論基礎(chǔ)上，很多人對其做了改進。例如 Anmin Lin等［4］提出的基于梯度相似的圖像質(zhì)量評估標(biāo)準(zhǔn)中表示，梯度信息是理解圖像內(nèi)容的重要信息，梯度信息的改變可以捕獲結(jié)構(gòu)和對比度的改變，利用梯度和亮度失真計算圖像質(zhì)量。楊春玲等人［5］認(rèn)為人眼對邊緣信息敏感，利用梯度幅度和方向表示邊緣信息，提出了基于邊緣的結(jié)構(gòu)相似度評估方法。對于壓縮失真圖像質(zhì)量的評估，大部分算法［7－13］主要針對壓縮產(chǎn)生的某種失真的程度，包括塊效應(yīng)失真壓縮圖像、振鈴效應(yīng)失真壓縮圖像。例如Wang提出衡量塊邊緣差異方法［8］來評價塊效應(yīng)失真;Lee提出了僅依靠塊邊緣特征檢測的圖像塊效應(yīng)程度檢測方法［9］，基于塊效應(yīng)因子給出質(zhì)量評估得分體系。Remi Barland等［10］通過測量平均邊緣過渡寬度和模糊的方法來預(yù)測JPEG2000壓縮圖像質(zhì)量。H.Tong等［11］結(jié)合空間振鈴和模糊效應(yīng)的特點，預(yù)先歸類為失真或完好，對邊緣點進行主成分分析來預(yù)測圖像質(zhì)量。但是這些算法對評估其他的失真類型的性能會明顯下降。而目前JPEG標(biāo)準(zhǔn)和 JPEG2000標(biāo)準(zhǔn)在圖像處理應(yīng)用中都非常廣泛，需要一種對兩種壓縮失真都能很好評判的質(zhì)量評估方法。參考文獻 ［14］中在平均誤差的基礎(chǔ)上提出在圖像空間頻率域計算平均誤差可以提高算法性能。Z.A.Seghir等［15］利用人眼視覺的感興趣區(qū)域?qū)⒖嘉墨I［5］的算法改進，得到一種與主觀質(zhì)量評分一致性更好的壓縮圖像質(zhì)量評估方法。Ji Shen等［16］根據(jù)自然圖像的統(tǒng)計特性即圖像的頻域系數(shù)直方圖峰值坐標(biāo)的不變性，提出一種無參考自然圖像質(zhì)量評估方法。但這些方法不能準(zhǔn)確的預(yù)測壓縮圖像的質(zhì)量，有些算法計算復(fù)雜度較高，很難在實際中應(yīng)用。

本文在以上工作的啟發(fā)下，結(jié)合人眼視覺的多尺度特性及人眼感興趣區(qū)域，提出了一種新的壓縮圖像質(zhì)量評估方法。

1 人眼視覺特性壓縮圖像質(zhì)量評估方法

圖像的邊緣是圖像最基本的特征，是人眼識別目標(biāo)的重要信息。許多研究發(fā)現(xiàn)，梯度信息能較好反映圖像的邊緣紋理特征。圖像任一點的梯度是一個二維矢量，即在同一個位置沿兩個垂直方向的像素的差分。梯度矢量的失真往往會導(dǎo)致它的梯度方向或幅值上的變化。這樣我們判斷圖像的質(zhì)量失真可以按照圖像梯度矢量的失真來測量。本文同時又考慮了人眼視覺感知的多尺度特性，將輸入圖像分解到不同的分辨率尺度。對不同分辨率圖像提取梯度信息，計算梯度矢量相似度構(gòu)造圖像質(zhì)量分布圖(MGV)。又由于人眼對圖像不同區(qū)域的關(guān)注度不同，利用感知池策略對質(zhì)量分布圖進行加權(quán)合并得到相應(yīng)尺度的圖像質(zhì)量指標(biāo)。不同的尺度分配不同的權(quán)重，使得算法更加符合實際的視覺感知結(jié)果。

算法整體框架如圖1所示，圖中Ref，Dis分別表示原始圖像及失真圖像。首先對原始圖像及失真圖像進行人眼視覺的多尺度分析，進行2倍下采樣操作，產(chǎn)生n個尺度圖像。根據(jù)不同尺度內(nèi)的圖像計算梯度矢量相似度分布 (MGV)，同時求解視覺感知加權(quán)矩陣W，二者相乘得到相應(yīng)尺度的質(zhì)量指標(biāo)，最后對不同尺度加權(quán)生成質(zhì)量指標(biāo)IQA。

圖1 人眼視覺特性壓縮圖像質(zhì)量評估方法框架Fig.1 HVS based compressed image quality assessment framework

1.1 人眼視覺感知多尺度分析

圖像細(xì)節(jié)的感知取決于圖像信號的采集密度和圖像到觀察者的距離。在實踐中，人對圖像的主觀感知質(zhì)量評價值隨著這些因素的變化而變化。多尺度方法包含不同分辨率下的圖像細(xì)節(jié)。尺度空間［17］滿足視覺不變性，將傳統(tǒng)的單尺度圖像信息處理技術(shù)納入尺度不斷變化的動態(tài)分析框架中，更容易獲取圖像的本質(zhì)特征。許多對于質(zhì)量評價算法的研究表明:結(jié)合圖像的多尺度信息會使得質(zhì)量評價算法擁有更好的人類感知一致性［18］。對于參考圖像和待測圖像，本文采用隔點下采樣操作，共產(chǎn)生了5個尺度，如圖2所示。

圖2 圖像的多尺度表示Fig.2 Multi－scale image

1.2 圖像梯度矢量相似度分布

1.2.1 梯度矢量的獲取

在本文中，采用Sobel算子對圖像進行梯度計算，如圖3所示。對于圖像中的每一個像素Pi，j，可以通過 Sobel算子定義它的梯度信息向量 Vi，j= {dxi，j，dyi，j}。其中，dxi，j和dyi，j分別由圖3中的水平邊緣算子H和垂直邊緣算子V得到。

1.2.2 基于梯度矢量的相似度生成質(zhì)量分布圖

圖3 Sobel算子Fig.3 Sobel operator

圖像中的每個像素點的特征用向量來表示，計算參考圖像與待測圖像對應(yīng)像素點的向量相似度，生成待測圖像的質(zhì)量分布圖。向量相似度的測度方法［19］主要有Minkowsky距離、夾角余弦法、相關(guān)系數(shù)法、廣義Jaccard系數(shù)法等。經(jīng)過對上述算法在標(biāo)準(zhǔn)圖像庫中的實驗結(jié)果對比發(fā)現(xiàn)采用廣義Jaccard系數(shù)法的算法評價值與主觀評價值的一致性最好，故本文采用廣義Jaccard系數(shù)法計算兩個向量之間的相似度。計算兩個向量x=(x1，x2，…，xn)，y= (y1，y2，…，yn)的廣義Jaccard系數(shù)公式如下:

在實驗中，取梯度向量相似度的絕對值保證圖像像素點質(zhì)量為正，生成的質(zhì)量分布圖每一點的取值范圍在0～1之間，且滿足交換性，輸入?yún)⒖紙D像和待測圖像的順序?qū)υu估結(jié)果沒有影響。

圖4(a)－圖4(e)更直觀地展示了圖像的質(zhì)量分布圖。其中圖4(a)為原圖，圖4(b)和圖4(c)分別為原圖經(jīng)過JPEG壓縮和JPEG2000壓縮處理后的待測圖像，圖4(d)和圖4(e)則分別為待測圖像圖4(b)與圖4(c)的質(zhì)量分布圖。質(zhì)量分布圖中越亮的點表示質(zhì)量越好，黑色區(qū)域表示圖像失真嚴(yán)重區(qū)域。從圖中可以看出圖像的梯度矢量特征可以很好地捕獲壓縮圖像的失真區(qū)域。

圖4 圖像質(zhì)量分布圖Fig.4 Image quality maps

1.3 視覺感知加權(quán)矩陣

研究表明人眼對圖像不同區(qū)域的關(guān)注度不同，人眼越關(guān)注的區(qū)域?qū)D像質(zhì)量評估的影響就越大。很多研究者由此提出了不同的視覺感知池策略［20－21］，主要有基于Minkowsky距離的感知池、局部質(zhì)量權(quán)重感知池、基于圖像內(nèi)容的感知池策略和基于視覺顯著區(qū)域的感知池策略等。實驗表明使用感知池策略對圖像質(zhì)量分布圖加權(quán)可以提高預(yù)測圖像質(zhì)量的準(zhǔn)確度。本文采用效果較好且運算速度較快的基于圖像內(nèi)容的感知池策略。

基于圖像內(nèi)容的感知池策略［20］認(rèn)為感知的圖像信息內(nèi)容是圖像經(jīng)過視覺通道獲得的，視覺通道常用加性高斯噪聲模型模擬。假設(shè)S表示原始信號，C表示通道的噪聲信號。由信息論中的結(jié)論可知接收到的信號可用以下公式得出:

在圖像中，利用局部區(qū)域像素標(biāo)準(zhǔn)差表示圖像能量信號，本方法實現(xiàn)中取11×11像素區(qū)域。σx和σy分別表示參考圖像和待測圖像的像素能量。值越大表示信息越多，人眼越關(guān)注。C為高斯噪聲模型標(biāo)準(zhǔn)差，其值參考文獻［26］。權(quán)重函數(shù)W用以下公式給出:

1.4 生成質(zhì)量指標(biāo)Q

圖像多尺度劃分的第k個尺度的圖像質(zhì)量指標(biāo)Qk由第k個尺度的質(zhì)量分布矩陣MGVk與相應(yīng)的權(quán)重函數(shù)Wk由以下公式得到:

其中M，N為第k個尺度圖像大小。

由于人眼視覺對不同尺度的敏感度不同，由參考文獻［18］得到權(quán)重矩陣gamma對每層圖像質(zhì)量指標(biāo)Qk加權(quán)生成圖像質(zhì)量評估指標(biāo)Q:

2 實驗及結(jié)果分析

本文采用TID2008數(shù)據(jù)庫［22］和TID2013數(shù)據(jù)庫［23］中的JPEG，JPEG2000子集進行評估，每一幅圖像都有對應(yīng)的主觀評價值(MOS，Mean Opinion Score)。根據(jù)VQEG提出的準(zhǔn)則，在客觀評價值和主觀評價值之間存在一定的非線性關(guān)系，這里采用下面的logistic函數(shù)［24］建立這種非線性映射關(guān)系:

其中x表示客觀評價值，β1，β2，β3，β4，β5為模型參數(shù)，可通過MATLAB中非線性優(yōu)化函數(shù)求得。為了更好地比較圖像客觀質(zhì)量評估模型的性能，本文選用3個常用客觀參量作為評估這些方法的客觀指標(biāo):Pearson相關(guān)系數(shù)(PLCC)，Spearman等級相關(guān)系數(shù)(SROCC)，反映模型預(yù)測值與主觀值的均方誤差(RMSE)。PLCC，SROCC的值越接近1表示客觀評價方法的準(zhǔn)確性越高，RMSE的值越小表示客觀評價方法的準(zhǔn)確性越高。

本文采用了目前先進的圖像評估方法［25］作為參考對比，包括結(jié)構(gòu)相似度算法(SSIM)［3］，視覺保真度(VIF，Visual Information Fidelity)［26］，內(nèi)容加權(quán)的結(jié)構(gòu)相似度(IW－SSIM，Information Weighting－SSIM)［27］，特征相似度指標(biāo)(FSIM，F(xiàn)eature Similarity for Image Measure)［28］，基于視覺顯著區(qū)域的評估指標(biāo)(VSI，Visual Saliency－Induced Index)［29］。

2.1 TID2008數(shù)據(jù)庫實驗結(jié)果對比

TID2008數(shù)據(jù)庫中每幅圖像的主觀評價值由838位志愿者對圖像觀察評分加權(quán)得到。庫中JPEG，JPEG2000子集中分別包含100幅圖像(25幅原圖×4種不同程度失真)。表1、表2、表3給出了在TID2008數(shù)據(jù)庫中上述幾種算法的性能比較。由表中數(shù)據(jù)可以看出本文算法僅對于JPEG失真圖像的PLCC，RMES質(zhì)量評估指標(biāo)略低于VSI算法，始終優(yōu)于其他算法;對JPEG2000及兩種壓縮失真綜合評估的PLCC，SROCC，RMSE指標(biāo)均高于其他算法，與人的主觀評價值有更好的一致性。

圖5為上述幾種算法與TID2008中圖像的MOS值之間的散點圖。圖中每個點代表一幅圖像，橫、縱坐標(biāo)值分別為算法預(yù)測質(zhì)量值和MOS值。圖中點的分布越接近曲線表明算法的評價值與主觀評價值一致性越好。從圖中可以直觀地看出，本文方法和其他算法相比與主觀值之間的擬合度最好。

表1 JPEG失真評估Table 1 JPEG distortion evaluation

表2 JPEG2000失真評估Table 2 JPEG 2000 distortion evaluation

表3 JPEG失真和JPEG2000失真綜合評估Table 3 Comprehensive evaluation of JPEG and JPEG 2000 distortion

圖5 TID2008壓縮圖像失真評值算法與主觀評價值的散點圖Fig.5 Scattor plot of TID 2008 compressed image distortion evaluation algorithm and subjective evaluation value

2.2 TID2013數(shù)據(jù)庫實驗結(jié)果對比

TID2013數(shù)據(jù)庫是目前最大的標(biāo)準(zhǔn)圖像庫，每幅圖像的主觀評價值由971位不同背景、不同職業(yè)、不同學(xué)歷的觀察者對圖像的評分加權(quán)得來。JPEG，JPEG2000子集中分別包含150幅圖像(25幅原圖×5種不同程度失真)。表4、表5、表6給出了在TID2013數(shù)據(jù)庫中上述幾種算法的性能比較。由表中數(shù)據(jù)可以看出本文算法的PLCC，SROCC，RMSE指標(biāo)均優(yōu)于其他算法，能較準(zhǔn)確預(yù)測圖像質(zhì)量，與人的主觀評價值的一致性最好。

圖6為上述幾種算法與TID2013中圖像的MOS值之間的散點圖。從圖中可以看出，本文方法與主觀值之間的擬合度最好。

圖6 TID 2013壓縮圖像失真評估算法與主觀評價的散點圖Fig.6 Scattor plot of TID 2013 compressed image distortion evaluation algrithm and subjective evaluation value

表4 JPEG失真評估Table 4 JPEG distortion evaluation

表5 JPEG2000失真評估Table 5 JPEG2000 distortion evaluation

表6 JPEG失真和JPEG2000失真綜合評估Table 6 Comprehensive evaluation of JPEG and JPEG2000 distortion

3 結(jié)論

本文提出了一種基于梯度矢量的人眼視覺特性壓縮圖像質(zhì)量評估方法，針對主流的圖像壓縮方法(JPEG和JPEG2000)處理后的圖像進行質(zhì)量評估，克服了傳統(tǒng)方法只能針對一種壓縮失真評估的缺點，應(yīng)用更廣泛。通過實驗對比，本方法可以很好反映壓縮圖像質(zhì)量，與人眼感知有較高的一致性。如何使其適用于其他失真類型圖像的質(zhì)量評估是下一步的研究方向。

［1］ 陰躲芬，李一民，王英妹，等.淺談數(shù)字圖像壓縮編碼技術(shù)［J］.科技廣場，2008，(2):128－139.

［2］ 曹燦云，王延求.淺議圖像壓縮編碼技術(shù)的發(fā)展與應(yīng)用［J］.信息與電腦(理論版)，2011，(3):127－129.

［3］ WANG Z，BOVIK A C，HAMID R S，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13 (4):600－612.

［4］ LIU A，LIN W，NARWARIA M.Image quality assessment based on gradient similarity［J］.IEEE Trans.Image Process，2012，4(21):1500－1512.

［5］ 楊春玲，陳冠豪，謝勝利.基于梯度信息的圖像質(zhì)量評判方法的研究［J］.電子學(xué)報，2007，7(35): 1313－1317.

［6］ 劉書琴，毋立芳，宮玉，等.圖像質(zhì)量評價綜述［J］.中國科技論文在線，2011，7(6):501－506.

［7］ PAN F，LIN X，RAHARDJA S，ONG E，et al.Using edge direction information for measuring blocking artifacts of images［J］.Multidimensional Syst.Signal Process，2007，18:297－308.

［8］ WANG Z，SHEIK H R，BOVIK A C.No－reference perceptual quality assessment of JPEG compressed images［C］.Proc.International Conference on Image Processing.Rochester，USA:［s.n.］，2002.477－480.

［9］ LEE S，PARK S J.A new image quality assessment method to detect and measure strength of blocking artifacts［J］.Signal Processing:Image Communication，2012，27(1):31－38.

［10］BARLAND R，SAADANE A.Reference free quality metric for JPEG2000 compressed images［C］.In Proceedings of ISSPA.Sydney Australia:IEEE，2005.351－354.

［11］ TONG H，et al.No reference quality assessment for JPEG2000 compressed images［C］.In Proceedings of Image Processing.Singapore:IEEE，2004.

［12］HUA Z，YIRAN Z，XIANG T.A weighted sobel operator－based no－reference blockiness metric［C］.in Proc.Pacific－Asia Workshop Comput.Intell.Ind.Appl.PACIIA，IEEE，2008.

［13］CHEN C H，BLOOM J A.A blind reference－free blockiness measure［J］.Adv.Multimedia Inf.Process，2010，6297:112－123.

［14］SAKULDEE R，YAMSANG N，UDOMHUNSAKUL S.Image Quality Assessment for JPEG and JPEG2000［C］.Third 2008 International Conference on Convergence and Hybrid Information Technology，IEEE，2008.320－325.

［15］SEGHIR Z A，HACHOUF F.Image Quality Assessment Based on Edge－Region Information and Distorted Pixel for JPEG and EG2000［C］.Advanced Concepts for Intelligent Vision Systems.Springer Berlin Heidelberg，2009.156－166.

［16］SHEN J，LI Q，ERLEBACHER G.Hybrid no－reference natural image quality assessmentofnoisy， blurry，JPEG2000，and JPEG images［J］.IEEE Transactions onImage Processing，2011，8(20):2089－2098.

［17］LOWE D G.Distinctive image features from scale－invariant keypoints［J］.The International Journal of Computer Vision，2004.

［18］WANG Z，SIMONCELLI E P，BOVIK A C.Multi－scale Structural Similarity for Image Quality Assessment［C］.In Proc.IEEE Asilomar Conf.Signals，Syst，Comput，Pacific Grove，CA，Nov.2003.1398－1402.

［19］張宇，劉雨東，計釗.向量相似度測度方法［J］.聲學(xué)技術(shù)，2009，28(4):532－536.

［20］WANG Z，SHANG Xin－li.Spatial Pooling Strategies for Perceptual Image Quality Assessment［C］.IEEE Inter.Conf.Image Proc.Atlanta:IEEE，2006.8－11.

［21］MOORTHY A K，BOVIK A C.Visual importance pooling for image quality assessment［J］.IEEE Journal of Selected Topics in Signal Processing，2009，3(2):193－201.

［22］PONOMARENKO N，LUKIN V，ZELENSKY A，et al.TID2008－A database for evaluation of full－reference visual quality assessment metrics［DB/OL］.Adv.Modern Radioelectron，2010－02－22.http://www.ponomarenko.info/tid2008.htm.

［23］PONOMARENKO N，IEREMEIEV O，LUKIN V，EGIAZARIAN K，et al.A new color image database TID2013:innovations and results［DB/OL］.Proceedings of ACIVS，2014－03－02.http://www.ponomarenko.info/tid2013.htm.

［24］SHEIKH H R，SABIR M F，BOVIK A C.A statistical evaluation of recent full reference image quality assessment algorithms［J］.IEEE Transactions on Image Processing，2006，15(11):3441－3452.

［25］ZHANG L，ZHANG L，MOU X，et al.A Comprehensive Evaluation of Full Reference Image Quality Assessment Algorithms［C］.In Proc.19th IEEE Int.Conf.Image Process，2012.1477－1480.

［26］SHEIKH H R，BOVIK A C.Image information and visual quality［J］.IEEE Transactions on Image Processing，2006，15(2):430－444.

［27］WANG Z，LI Q.Information content weighting for perceptual image quality assessment［J］.IEEE Trans.Image Process，2011，5(20):1185－1198.

［28］ZHANG L，ZHANG L，MOU X，et al.FSIM:a feature similarity index for image quality assessment［J］.IEEE Trans.Image Process，2011，8(20):2378－2386.

［29］ZHANG L，SHEN Y，LI Hong－yu.VSI:a visual saliency－induced index for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2014，10(23):4270－4281.

HVS Based Compressed Image Quality Assessment Method

TIAN Jin－sha1，HAN Yong－guo1，WU Ya－dong1，2，ZHAO Xiao－le1

(1.School of Computer Science and Technology，Southwest University of Science and Technology，Mianyang 621010，Sichuan，China;2.Fundamental Science on Nuclear Wastes and Environmental Safety Laboratory，Southwest University of Science and Technology，Mianyang 621010，Sichuan，China)

Image quality assessment is fundamental importance for image or video processing system.Through the research and analysis human visual system features and the edge feature of image，this paper consider that the gradient vector better reflect the essential characteristics of image edge feature.Combined with the multi－scale feature and weighted interest region of human visual system，a new compressed image quality assessment method based on gradient vector is proposed.The proposed method is simple in calculation.Simulation results upon image databases show that the evaluation method is in accordance with characteristics of human visual system and consistency with subjective evaluation results better.In addition the method can be widely used to assess the quality of JPEG and JPEG2000 compressed images.

Image quality assessment;Human visual system(HVS);Compressed image;Gradient; JPEG;JPEG2000

TP391

A

1671－8755(2015)03－0062－09

2015－04－01

國家自然科學(xué)基金(61303127);核廢物與環(huán)境安全國防重點學(xué)科實驗室項目(13zxnk12);中國科學(xué)院“西部之光”人才培養(yǎng)計劃項目(13zs0106)。

田金沙，女，碩士研究生。通訊作者:吳亞東(1979—)，男，教授，研究方向為圖形圖像處理、信息可視化及人機交互。E－mail: wyd028@163.com