摘 要:在當前人眼視覺系統(HVS)特性研究的基礎上提出基于梯度及HVS特性的離焦模糊圖像質量評價模型(GVSSIM)。該模型利用Sobel邊緣梯度算子提取圖像的梯度信息,并根據人眼視覺特性進行視覺加權,得到新的結構相似性評價指標,進而獲得圖像質量評價指標。該方法與SSIM(圖像結構相似度)評價模型相比,具有計算簡單的特點,對離焦模糊圖像的評價結果能更好地反映人眼視覺感受。
關鍵詞:圖像質量評價; 人眼視覺系統; 梯度; 離焦模糊圖像
中圖法分類號:TP391
文獻標志碼:A
文章編號:1001-3695(2010)02-0781-03
doi:10.3969/j.issn.1001-3695.2010.02.107
Defocused image quality assessment based on gradient and HVS
HUANG Long-hua1, CHEN Zhi-hui1, PENG Xiao-ning1, WANG Zheng-you2
(1.Dept. of Computer Science Technology, Huaihua University, Huaihua Hunan 418008, China; 2.School of Information Technology, Jiangxi University of Finance Economics, Nanchang 330013, China)
Abstract:Based on the latest study on human visual system(HVS) characteristics,this paper proposed the assessment model of the defocused image quality based on thegradient and HVS characteristics (GVSSIM). This model took use ofthe Sobel edge gradient operator to extract the gradient information of the image, and weighed the formula in accordance with the characteristics of HVS to get the similarit assessment indicators of the new structure, and accessed to the image quality assessment indicators. This method is characteristics of simple computation and the assessment result of the defocused image better reflect the human subjective feeling compared with the SSIM evaluation model.
Key words: image quality assessment; human visual system; gradient; defocused image
圖像質量評價是圖像處理領域中的一項重要研究內容。圖像質量是指人們對一幅圖像視覺感受的主觀評價,目前通常認為圖像質量的含義主要包括兩個方面[1],即圖像的逼真度(fidelity)和圖像的可懂度(intelligibility)。圖像的逼真度是指目標圖像與原圖像的偏離程度,即目標圖像與原圖像之間的相似度。相似度高,說明目標圖像和原圖像的誤差小,則圖像質量越好。圖像的可懂度是指圖像能向人或機器提供信息的能力,即目標圖像能被人或機器所理解的程度。
圖像質量評價的方法包括主觀評價和客觀評價。主觀評價是人直接觀察圖像,根據規定的評價標準和評價尺度以及人眼對圖像的視覺感覺來對圖像質量進行打分和評價,再按照各觀察者打分的統計平均給出最后的評價結果。主觀評價結果雖然比較全面,符合圖像的實際觀察質量,但是該方法受不同的觀察者、圖像類型和觀測環境等因素影響較大,評價過程較繁。傳統的客觀評價主要是均方誤差(MSE)和峰值信噪比(PSNR),是對整幅圖像進行誤差綜合。該方法表達簡單、計算方便,但沒有充分考慮人眼視覺感受,評價結果不符合人的主觀感受[2,3]。
由于對圖像質量的評價最終取決于觀察者的感受,更理想的、更符合圖像實際質量的圖像質量評價方法也必須依據人的視覺、心理特性,把主觀與客觀評價方法有機結合起來。大量研究表明:考慮人眼視覺系統(HVS)特性的評價方法優于沒有考慮HVS的評價方法[4,5]。
Wang Zhou等人[6,7]提出了結構相似度(SSIM)這一圖像質量評判方法,認為人眼視覺的主要功能是提取場景中的結構信息,而人眼視覺系統能高度自適應地實現這一目標。通過仿真實驗證明了SSIM優于PSNR,SSIM簡單的計算方法、優越的性能有很大的吸引力。隨著對SSIM的深入研究,發現SSIM算法存在著一些問題,如它不能較好地評估模糊失真類圖像的質量等[8,9]。 本文在深入研究的基礎上,利用Sobel梯度算子計算圖像各像素的梯度,結合HVS的對比度敏感度特性,提出了基于梯度及HVS的圖像質量評價方法(GVSSIM)。
1 圖像結構相似度
Wang Zhou等人認為,人眼在觀察一幅圖像時,首先提取圖像的結構信息,因為圖像像素之間的信息是相關的。人眼判斷一幅降質圖像質量的好壞,更多的是審視該圖像的結構信息與原圖像的結構信息是否相近。基于以上假設,提出了圖像結構相似度(SSIM)這一客觀評判方法。該方法包括三部分,即亮度比較l(x,y)、對比度比較c(x,y)和結構信息的比較s(x,y)。這三部分組成了模型的評判方法:
SSIM(x,y)=[l(x,y)]α×[c(x,y)]β×[s(x,y)]γ(1)
其中:參數α、β、γ均大于零,以調整模型三個部分所占的比重;x、y 分別為原圖像和降質圖像塊。當利用SSIM進行圖像質量評判時,把一幅圖像分成許多重疊或不重疊的子塊,對每一個子塊利用式(1)進行評分。當對圖像所有的子塊都進行評分后,整幅圖像的評分可以由式(2)得出:
MSSIM(X,Y)=1M∑Mj=1SSIM(xj,yj) (2)
其中:X和Y分別代表了原圖像和降質圖像。 MSSIM的分值越高,表示原圖像和降質圖像越相似,降質圖像的質量越高。
SSIM方法創新地提出了基于圖像結構信息的想法,并因此取得了不錯的評判效果[9]。本文以此為基礎提出基于梯度及HVS特性的圖像質量評價方法,在對離焦模糊圖像進行評價時,效果比SSIM更能反映人的視覺感受。
2HVS特性
HVS具有許多特性,諸如對比度敏感度、多通道結構、掩蓋效應、視覺非線性定律等,這些特性均與圖像質量評價相關[10]。當前有許多文獻詳細介紹了HVS的各種特性,并結合其進行圖像質量評價[11~13]。對比度敏感度亦稱為人眼視覺系統空間調制轉移函數(modulate transform function)[14],其計算模型用CSF(contrast sensitivity function)來表示。不同實驗所得的CSF形式各異,但基本上都認為HVS的對比度敏感度是空間頻率的函數。常用的CSF表達式[15,16]為
A(f)=2.6(0.192+0.114f)exp[-(0.114f)1.1] (3)
其中:空間頻率f=f 2x+f 2y(周期/度),fx、fy分別為水平、垂直方向的空間頻率。在本文中主要參考這一函數對圖像質量進行評價,其對應的空間頻率曲線如圖1所示。
圖1中橫軸為圖像的空間頻率,單位為周/度(cycle per degree,CPD);縱軸為CSF,表明視覺的相對幅度在空間頻率域呈帶通特性。根據文獻[17],當空間頻率低于0周/度和高于60周/度時,人眼將無法區分像素,即CSF的實用范圍為0~60周/度。從圖1可以看出,HVS在空間頻率域呈帶通特性,CSF值在F=8.0(周/度)附近取得最大值,似近為1,即其對比度最敏感,而在高低頻端對比度敏感度下降。
3 基于梯度及HVS特性的結構相似度
許多研究者發現,人眼對于圖像的邊緣和紋理結構信息是最為敏感和重視的,也就是說,邊緣和紋理的結構信息很有可能是圖像結構信息最重要的部分。而作為SSIM最為重要的第三部分結構信息的比較,s(x,y)實質上求取的僅僅是原圖像子塊與降質圖像子塊之間像素值的相關系數,不能很好地反映圖像的邊緣和紋理結構信息。因此,對于模糊圖像來說,由于不能很好地衡量出原圖像與降質圖像之間邊緣結構信息的差異,SSIM模型表現出較差的客觀評判結果[9]。
鑒于人眼對圖像邊緣紋理信息的極高敏感度,而梯度能較好地反映圖像的邊緣紋理信息,本文使用Sobel邊緣檢測算子來計算圖像各像素的梯度。
Sobel邊緣檢測方法是對數字圖像f(x,y)的每個像素考察它的上、下、左、右鄰點灰度的加權差,與之接近的鄰點的權值大。計算方法如下:
S(x,y)=(x f)2+(y f)2(4)
其中:x f=(f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1))-(f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1))(5)
y f=(f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1))-(f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1))(6)
對應的Sobel卷積算子如圖2所示。其中,Gx和Gy為垂直和水平邊緣檢測算子。
設原圖像為X,利用Sobel邊緣檢測算子求出圖像每一個像素的梯度幅值,得到一個與原圖像同等大小的梯度幅值矩陣X′,可以將其視為該圖像各像素點的空間頻率構成的頻率矩陣。將圖像梯度幅值的變化區間作為圖像空間頻率在人眼的可識別范圍,結合HVS的對比度敏感度函數,即第2章中所示的CSF,求得每一像素點的空間頻率響應值,以此作為該像素點的CSF視覺加權值。具體方法如下:
X′=(Gx#8226;X+Gy#8226;Y)1/2(7)
fi,j=X′i,j/(max(X′)-min(X′))×60(8)
A(fi,j)=2.6(0.192+0.114fi,j)exp[-(0.114fi,j)1.1](9)
X′′=X′#8226;A(10)
其中:X′表示圖像經過Sobel算子的垂直和水平算子進行卷積后求得的梯度幅值矩陣;fi,j為某像素點的視覺頻率值;A(fi,j)為對應的頻率響應值;X′′表示進行視覺加權后的梯度幅值矩陣。式(8)中乘以60是根據文獻[17]所示,CSF的實用范圍為0~60周/度。
利用上述方法分別求得原圖像X和降質圖像Y的梯度幅值矩陣X′和Y′,并根據CSF進行視覺加權,得到加權后矩陣為X′′和Y′′。
降質圖像的質量可通過與原圖像的相關系數來表示,即
GVSSIM(X,Y)=σx′′y′′+C1σx′′σy′′+C1 (11)
其中:σx′′、σy′′分別表示X′′和Y′′的標準差;而σx′′y′′則表示X′′和Y′′的協方差;加入常數C1是為了避免出現分母為零的情況。
4 實驗結果與分析
為了驗證本文提出的GVSSIM圖像質量評價方法的優勢,通過對一幅標準圖像lena.jpg產生不同程度的離焦模糊,括號中的數值為對應模糊圖像的模糊半徑。具體圖像如圖3所示。
將標準圖像和降質圖像分別利用Sobel算子求得各像素點的梯度幅值,并根據CSF進行加權。通過計算標準圖像與降質圖像的相關系數,可得到表1所示的結果。其中MOS值采用CCIR500標準,由圖像專家和非圖像方面人士組成的小組給出;SSIM值為采用WANG Zhou等人提出的結構相似度方法所得評價結果;GVSSIM值為采用本文方法所得評價結果。
從表1可以看出,對于離焦模糊圖像,SSIM評價結果與主觀評價的相關系數為97.9%;而采用本文提出的評價模型,評價結果與主觀評觀有更好的擬合性,其相關系數達99.5%,說明本文提出的基于梯度及HVS特性的圖像質量評價方法在評價離焦模糊圖像時有很好的評價效果,能較好地反映人的視覺感受。
5 結束語
本文在當前人眼視覺系統特性研究的基礎上,結合梯度進行離焦模糊圖像質量評價,提出了基于梯度及HVS特性進行離焦模糊圖像質量模型(GVSSIM)。該方法計算簡單,且評價結果能很好地擬合人眼視覺感受。
參考文獻:
[1]GLENN W E. Digital image compression based on visual perception and scene properties[J].SMPTE Journal, 1993,102(5):392-398.
[2]徐魯安,葉懋冬,章琦. 一種新的圖像質量評價方法[J]. 計算機工程與設計, 2004, 25(3):418-420.
[3]MANNOS J L, SAKRISON J D. The effects of a visual fidelity crite-rion on the encoding ofimages[J]. IEEE Trans on Information Theory, 1974,20(4): 525-536.
[4]汪孔橋.數字圖像的質量評價[J].測控技術,2000,19(5):14-16.
[5]ESKICIOGLN A M, FISHER P S. Image quality measures and their performance [J]. IEEE Trans on Communications, 1995, 43(12): 2959-2965.
[6]WANG Zhou, BOVIK A C, SHEIKH H R,et al. Image quality assessment: from error visibility to structural similarity[J] .IEEE Trans on Image Processing, 2004,13(4):600-612.
[7]WANG Zhou ,BOVIK A C ,LU Li-gang. Why is image quality assessment so difficult[C]//Proc ofIEEE International Conference on Acoustics, Speech, and Signal Processing. 2002:3313-3316.
[8]PAN Xiao-zhou, YANG Chun-ling, XIE Sheng-li. An improved structural similarity for image quality assessment[C]// Proc of SPIE.2005:432-440.
[9]楊春玲, 陳冠豪, 謝勝利. 基于梯度信息的圖像質量評判方法的研究[J].電子學報,2007,35(7):1313-1317.
[10]WANDELL B A.Foundations of vision [M]. Sunderland: Sinauer Press, 1995: 1-10.
[11]楊軍,劉藻珍,王寅龍.基于人眼視覺特性的圖像質量評價模型[J]. 彈箭與制導學報, 2002, 23(2):59-62.
[12]NARANJAN D V, THOMAS D K, WILSONS S G, et al. Image quality assessment based on a degradation model [J]. IEEE Trans on Image Proceedings, 2000,9(4):636-650.
[13]LAI Y K,KUO CC J C. A harr wavelet approach to compressed image quality measurement [J]. Journal of Visual Communication and Image Representation, 2000,11(1):17-40.
[14]魏崇奎. 基于HVS圖像質量評價模型的方法研究[D]. 長沙:國防科學技術大學, 2003.
[15]丁緒星, 朱日宏, 李建欣. 一種基于人眼視覺特性的圖像質量評價[J]. 中國圖象圖形學報, 2004, 9(2):190-194.
[16]MANNO S J L, SAKRISON K J. The effect of a visual fidelity criterion on the encoding of images [J]. IEEE Trans on Inform Theory, 1974, 20 (2): 525-536.
[17]WERNER P. Tone mapping techniques and color image difference in Global illumination[EB/OL]. (1997).http://www.cg.tuwien.ac.at/research/theses/matkovic/node67.html#SECTION001710000000000000.