基于局部信息失真建模的圖像質量評價方法

盧彥飛，張 濤，鄭 健，李 銘，章 程

(1．中國科學院長春光學精密機械與物理研究所，吉林 長春130033;2．中國科學院大學，北京100049;3．中國科學院蘇州生物醫學工程技術研究所，江蘇 蘇州215163)

1 引言

隨著成像技術的發展，人們可以通過各種方式來獲取圖像。在圖像數據的獲取、傳輸、壓縮處理、重建等過程中，會引入各種各樣的失真，導致圖像退化，使圖像的視覺效果下降。圖像質量評價方法可以為成像系統的參數設計和算法優化提供參考，如何合理評價圖像的質量正在成為圖像處理領域的一個熱點。

現有的圖像質量評價方法主要分為主觀評價方法和客觀評價方法，目前圖像質量評價領域的研究重點是客觀評價方法。客觀評價方法根據參考圖像的信息量可以分為三種，即全參考質量評價、部分參考質量評價以及無參考質量評價。全參考評價方法［1］利用整幅參考圖像，通過降質圖像和參考圖像的比較來評價圖像質量，是目前最可靠的客觀評價方法。

早期的全參考評價方法如均方誤差(MSE)及其相關的峰值信噪比(PSNR)等，通過計算降質圖像以及參考圖像的對應像素的差值，并將差值的統計量作為圖像的質量度量，忽略了人眼的視覺特性對圖像質量評價結果的影響，也忽略了圖像的像素之間具有很強的關聯性這一事實。隨著人們對人眼視覺系統(Human Visual System，HVS)認識的深入，人們開始利用人眼視覺系統的某些特征來設計圖像質量評價方法。一種是對人眼視覺系統的特征構建視覺模型，通過自底向上(Bottom－up)的方法來模擬人的視覺，其中代表性的模型有Daly的VDP［2］(Visible Differences Predictor)模型，典型的方法有NQM［2］和VSNR［3］。另一種是把人類視覺系統當作一個黑箱，建模時只考慮信號的輸入與輸出的關系，即通過自頂向下(Top－down)的方法來模擬人的視覺特 性，主 要 有SSIM［4］(Structural Similarity)、IFC［5］、VIF［6］、FSIM［7］及基于SVD分解的方法［8］。其中Zhou Wang等提出的SSIM方法，假設人類視覺系統的作用是提取場景中的結構信息，避免了從低層次上模擬HVS的整體功能，將圖像的失真分為結構性失真和非結構性失真，與參考圖像的亮度、對比度和結構信息進行比較，從而綜合得到了對圖像質量的評價結果。

已有的方法中，SSIM計算難度較小，但是存在著對模糊圖像評價不準確的問題，其他大部分方法的計算量都比較大。本文通過考慮圖像的三種失真，即像素灰度失真、局部對比度失真和局部結構失真，并對三種信息失真進行建模，提出了一種新的圖像質量評價方法。此方法物理意義明確，而且計算比較簡單。采用LIVE圖像數據庫對該方法進行驗證，實驗結果表明，本文方法具有很好的圖像質量預測性能。

2 圖像不同信息失真的表示

2．1 結構相似度(Structural Similarity)

Zhou Wang［4］等利用圖像像素間的相關特性，給出了結構信息的概念，認為其應獨立于圖像的亮度和對比度。此方法認為人眼視覺系統的主要功能是提取圖像中的結構信息，通過定義結構相似度，提出了基于結構相似度(SSIM)的圖像質量評價方法。

由于部分考慮了人眼對圖像的感知特性，而不是利用圖像之間的像素差異，SSIM模型對圖像的質量評價取得了較好的效果，與人眼的主觀感知比較一致，引起了比較廣泛的關注。但是這種方法對于模糊圖像的評價不夠理想，特別是模糊程度比較大的，評價結果與人眼的主觀感知差異比較大。

2．2 像素灰度失真

其中，c1是很小的正常數，為了避免分母為零或者接近零時出現的不穩定情況。

2．3 局部對比度失真

對于一幅圖像來說，某一個像素所代表的信息不僅和其自身的灰度有關，而且和其鄰域像素的灰度相關。由于HVS對于圖像的理解受像素鄰域的影響，不同的鄰域模式會導致對同一灰度級像素不同的理解，如圖1所示。圖1中(a)和(b)對應的中心像素的灰度值是一樣的，但是由于其鄰域的灰度模式不一樣，導致視覺上有差異，(a)的中心像素看起來要比(b)的暗一些。

圖1 同一灰度值像素在不同鄰域中的視覺差異

對于圖1所示的現象，一個簡單的解釋是，(a)和(b)對應中心元素的鄰域模式不同，局部對比度是不一致的，所以才導致其視覺上的差異。本文用局部二值模式來度量圖像的局部對比度。

Ojala等學者［9］在1994年首次提出了局部二值模式，最初功能為來衡量圖像的局部對比度，后來提升為一種有效的紋理描述算子。對于一個像素的3×3鄰域，利用中心像素作為閾值，周圍的8個像素的值與其比較，如果周圍的像素值小于中心像素，則該像素位置被標記為0，否則為1。閾值化后的值分別與對應位置像素的權值相乘，8個對應乘積的和即為該像素鄰域的LBP值，計算的原理如圖2所示。

圖2 原始LBP的定義

圖2 為一個3×3的像素塊，經過閾值化處理后，不同的像素位置變為0或1。對不同的像素位置i賦2i的權重，最后得到該像素鄰域的局部二值模式。

最初始的LBP存在定義過于簡單，只能提取固定尺寸紋理特征的局限性。Ojala等［10］對LBP進行了修改，并形成了比較系統的理論。

為了簡化計算，本文利用原始的局部二值模式來度量圖像的局部對比度，如圖3所示，對于參考圖像monarch和失真圖像，由于失真的存在，失真圖像的局部鄰域模式發生了變化，局部對比度也發生了改變，其對應的LBP編碼圖像在局部細節上是不同的。不同的失真對局部對比度的影響也是不同的，這個在LBP編碼圖像上也能體現出來。

圖3 參考圖像monarch和失真圖像及對應的LBP編碼圖像

將參考圖像X和失真圖像Y對應的像素xi和yi經過LBP編碼之后的值記為Xlbp－xi和Ylbp－yi，則失真圖像的局部對比度失真可以用下式來表示:

其中，c2是很小的正常數，為了避免分母為零或者接近零時出現的不穩定情況。

2．4 局部結構失真

SSIM方法［4］認為HVS的主要功能之一是提取圖像中的結構信息。而圖像的大量結構信息與其局部方差的分布密切相關［11］，本文利用圖像局部方差之間的差異來衡量局部結構失真。

對于圖像I，其局部方差的定義為:

由于標準差的量綱與原圖像中像素的量綱是一致的，為了使局部結構失真的意義更明確，利用局部標準差代替局部方差更為合理，即:

參考圖像X和失真圖像Y對應的像素xi和yi的局部標準差分別為std(xi)和std(yi)，則和上面的失真定義類似，失真圖像的局部結構失真可以用下式來表示:

其中，c3是很小的正常數，為了避免分母為零或者接近零時出現的不穩定情況。

3 局部結構失真圖像質量評價方法

結合第2部分中定義的像素灰度失真、局部對比度失真和局部結構失真，得到圖像質量評價測度如下:

其中，α＞0，β＞0和γ＞0這三個參數是用來調整三種失真的重要程度，一般取α=β=γ=1。由于本方法主要結合了圖像的局部性質和結構信息，將其稱為局部結構失真測度(Local Structural Distortion Measure，LSDM)。

利用LSDM(X，Y)可以得到參考圖像和失真圖像對應位置的局部失真，從而可以得到失真圖像的整體失真程度。由于人眼視覺系統對圖像不同區域的敏感程度是不同的，對于邊緣和紋理區域，人眼能夠感知到更多的信息，而對于平坦區域，人眼的敏感程度有所降低。因此，需要根據不同區域的視覺重要性，來分配適當的權重。本文利用局部方差［11］來衡量像素點的視覺重要性。如果參考圖像和失真圖像中對應像素點的局部方差比較大，則意味著這個像素點對于人眼視覺系統的重要程度也比較高。因此，本 文 利 用wmap(xi，yi)= max(std(xi)，std(yi))作為權重來衡量對應像素點的重要性。最終的圖像質量評價測度如下:

其中，xi和yi分別為參考圖像和失真圖像對應像素。

4 實驗及分析

為了測試本文提出的質量評價方法的有效性，本文使用美國Texas大學的Laboratory for Image and Video Engineering(LIVE)［12］圖像數據庫進行實驗。該圖像數據庫包含29幅參考圖像和對應的各種失真圖像，其中有5種失真類型:JPEG2000壓縮失真(jp2k)，JPEG壓縮失真(jpeg)，白噪聲失真(wn)，高斯模糊失真(gblur)和Rayleigh衰落道模型失真(fastfading)，共779幅失真圖像。同時，該圖像庫還給出了每幅圖像的DMOS值，DMOS值越小說明圖像的主觀質量越好。本文提出的方法暫時只考慮圖像的灰度信息，彩色圖像需要將其轉為灰度圖像。

為了客觀的評價圖像質量評價方法，根據VQEG［13］(Video Quality Evaluation Group)提出的準則，通常認為在客觀評價值和主觀評價值之間存在一定的非線性關系，這里采用下面的函數［1］建立這種非線性映射:

其中，x表示客觀評價值，β1，β2，β3，β4和β5為模型參數。針對五種不同的失真類型，本文所提出的圖像質量評價方法(WLSDM)與主觀DMOS的曲線擬合情況如圖4所示。

圖4 本文所提出的圖像質量評價方法(WLSDM)與主觀DMOS的曲線擬合圖

對于不同的質量評價方法，通常選用以下三個指標來比較方法之間的優劣［1］:①Pearson線性相關系數(Pearson Linear Correlation Coefficient，PLCC)，反映預測的準確性;②Spearman秩相關系數(Spearman Rank－Order Correlation Coefficient，SROCC)，反映預測的單調性，及預測值與主觀值之間的一致程度;③均方根誤差(Root Mean－Squared－Error，RMSE)，反映客觀評價的一致性。其中PLCC和SROCC數值越大表明模型的預測能力越好，而RMSE數值越小則預測能力越好。表1列出了WLSDM評價方法與PSNR以及SSIM方法在LIVE圖像庫中的性能指標，對于每種失真類型，每一列中PLCC和SROCC的最大值以及RMSE的最小值，均用黑體標出。經過對比可以發現本文方法的三項指標總體優于PSNR、SSIM方法。由于白噪聲是單個像素點失真，與圖像的結構不是很相關，而PSNR是針對像素點誤差的數學統計，比較適合這種失真情況，因此PSNR方法對于白噪聲失真的預測準確性優于本文的方法和SSIM方法。對于其他失真類型，本文方法的表現均要優于PSNR和SSIM，具有最高的PLCC和SROCC，且具有較小的RMSE。

表1 本文所提出的WLSDM評價方法與PSNR以及SSIM方法性能指標比較

為了進一步驗證本文方法的靈敏性和合理性，圖5給出了LIVE圖像數據庫中的6幅失真程度不同的monarch降質圖像，前3幅(a)、(c)和(e)為wn失真，后3幅(b)、(d)和(f)為gblur失真，并給出了對應的DMOS值。表2給出了SSIM和本文方法對這6幅圖像的客觀質量預測值，表中的DMOS值按升序排列。從表2可以看出，相對于SSIM，本文方法對失真圖像質量預測的結果和主觀判斷更加一致，而SSIM則存在誤預測的情況，特別對于模糊程度比較嚴重的圖像，其預測結果存在較大偏差。

表3列出了本文方法的SROCC值與幾種性能公認較好的評價方法對比。其中MS－SSIM［14］，IW－SSIM［15］是以SSIM為基礎的改進，IFC［5］基于自然場景分析和信息論，均屬于自頂向下(Topdown)的方法;VSNR［3］屬于自底向上(Bottom－up)的方法。表3中，對于每種失真類型，每一行中最大的3個值均用黑體標出。表中可以看出，WLSDM在jp2k，jpeg，gblur以及fastfading這四種失真類型上的表現很好，每種類型對應的SROCC值均排名靠前，在wn失真類型上也給出了不錯的預測結果。實際上，利用其他指標，例如KROCC和PLCC，也可以得到類似的結果。總體上來說，WLSDM方法的表現比其他方法更優越，與主觀評價結果具有很好的一致性。

表2 圖5中失真圖像的質量預測值比較

表3 本文所提出的WLSDM評價方法SROCC值與其他方法對比

圖5 不同失真程度的圖像及其DMOS值

5 結論

圖像質量評價方法研究是近期圖像處理領域的一個熱點問題，由于傳統的MSE及PSNR方法沒有考慮人眼的視覺特性，和主觀評價結果存在不一致性，將人眼視覺系統的性質加入到圖像質量評價方法中成為研究重點之一。基于結構相似度(SSIM)的圖像質量評價方法，根據人眼視覺系統主要提取結構信息的假設，利用圖像間的相關系數定義圖像結構信息，得到了比較好的結果，但是對于模糊程度比較嚴重的圖像的評價會出現較大偏差。針對圖像的亮度、局部對比度和局部結構失真進行建模，提出了一種新的局部結構失真測度，物理意義比較明確，計算復雜度較低。在LIVE圖像數據庫上的實驗結果表明，本文方法對于jp2k，jpeg，gblur和fastfading失真預測的準確性和一致性都很高，PLCC值和SROCC值分別達到了0．9694，0．9814，0．9694，0．9678及0．9635，0．9782，0．9693，0．9607，均超過了SSIM的表現;對于wn失真也有較好的預測結果，PLCC值和SROCC值分別為0．9451，0．9332;通過SROCC比較，WLSDM相對于PSNR、SSIM以及其改進MS－SSIM與IW－SSIM，能夠更好的預測圖像質量，比VSNR及IFC方法的性能也更優越。總體上來說，WLSDM方法取得了很好的圖像質量預測結果，和人眼視覺特性更為一致。本文通過考慮人眼視覺特性，在圖像的結構信息建模方法提供了一個新的思路，利用本文提出的圖像質量評價方法在圖像處理算法的設計等方面進行應用，比如對圖像融合算法進行評價［16］，是下一步研究的目標。

［1］ Sheikh H R，Sabir M F，Bovik A C．A statistical evaluation of recent full reference image quality assessment algorithms［J］．IEEE Transactions on Image Processing，2006，15(11):3443－3452．

［2］ Damera－Venkata N，Kite T D，Geisler W S，et al．Image quality assessment based on a degradation model［J］．IEEE Transactions on Image Processing，2000，9(4):636－650．

［3］ Chandler D M，Hemami S S．VSNR:A wavelet－based visual signal－to－noise ratio for natural images［J］．IEEE Transactions on Image Processing，2007，16(9):2284－2298．

［4］ Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:from error visibility to structural similarity［J］．IEEE Transactions on Image Processing，2004，13(4):600－612．

［5］ Sheikh H R，Bovik A C，Veciana G．An information fidelity criterion for image quality assessment using natural scene statistics［J］．IEEE Transactions on Image Processing，2005，14(12):2117－2128．

［6］ Sheikh H R，Bovik A C．Image information and visual quality［J］．IEEE Transactions on Image Processing，2006，15(2):430－444．

［7］ Zhang L，Zhang L，Mou X Q，et al．FSIM:A feature similarity index for image quality assessment［J］．IEEE Transactions on Image Processing，2011，20(8):2378－2386．

［8］ Aleksandr S，Alexander G，Ahmet M E．An SVD－based grayscale image quality measure for local and global assessment［J］．IEEE Transactions on Image Processing，2006，15(2):422－429．

［9］ Ojala T，Pietikainen M，Harwood D．Performance evaluation of texture measure with classification based on Kullback discrimination of distributions［C］//Proceedings of the 12thIAPR International Conference on Pattern Recognition(ICPR 1994)，Jerusalem，Israel，1994:582－585．

［10］Ojala T，Pietikainen M，Maenpaa T．Multiresolution gray－scale and rotation invariant texture classification with local binary patterns［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7):971－987．

［11］Santiago A F，Raul SJ E，Carlos A L，et al．Image quality assessment based on local variance［C］//Proceedings of 28thIEEE Annual International Conference on Engineering in Medicine and Biology Society，New York City，USA，2006:4815－4818．

［12］Sheikh H R，Wang Z，Cormack L，et al．LIVE image quality assessment database，release 2［Online］．http://live．ece．utexas．edu/research/quality．

［13］Final Report From the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment，Phase II VQEG，Aug．2003［EB/OL］．Available:http://www．vqeg．org/

［14］Wang Z，Simoncelli E P，Bovik A C．Multiscale structural similarity for image quality assessment［C］//Proceedings of 37thIEEE Asilomar Conference on Signals，Systems and Computers，Pacific Grove，CA，USA，2003:1398－1402．

［15］Wang Z，Li Q．Information content weighting for perceptual image quality assessment［J］．IEEE Transactions on Image Processing，2011，20(5):1185－1198．

［16］SONG Le，LIN Yu－chi，LIU Qi－hai，et al．Novel evaluation model for different－source image fusion quality［J］．Laser＆Infrared，2010，40(1):99－102．宋樂，林玉池，劉啟海，等．一種新型異源圖像融合質量評價模型［J］．激光與紅外，2010，40(1):99－102．