基于多特征相似度的圖像質量評價算法

高 源

(合肥職業技術學院，安徽合肥 230000)

1 研究背景

圖像質量評價是對圖像的視覺質量進行評估，目前在圖像傳輸、數字水印、圖像編解碼、視頻分析等領域有著廣泛的應用。通過對已有的圖像質量評價文獻進行歸類，圖像質量評價的方式主要涵蓋主觀評價和客觀評價。其中主觀評價一般是基于人們自身制定的評價規則和背景信息，對圖像質量進行評估或打分。一種較為常用的打分方式類似于學校考試的考核規則，主要包括優秀、良好、中等、較差、很差等。這種方式簡單，準確性也較高，但是需要組織一定的人力來評價，成本比較高。因此，主觀評價方式難以推廣到自動化要求高的實時圖像處理領域。

第二種評價方式是客觀圖像質量評價，這種方法能夠自動地對圖像進行評測，但是需要構建圖像的質量失真模型，相比主觀評價方式可以減少人力成本，有望推廣到實時圖像處理領域。因此，客觀評價方法成為近十年來圖像質量評價領域中的一個熱點問題[1-3]。根據原始圖像在質量評價中的引用情況，客觀評價方法包括全參考(Full Reference,FR)、部分參考(Reduced Reference,RR)以及無參考(No Reference, NR)三種類型。全參考需要全部原始圖像的參與，部分參考只需要圖像的部分信息，無參考是不需要原始圖像的參與。本文關注全參考圖像質量評價研究，也就是需要原始圖像的參與。

一種經典的客觀評價方法當屬峰值信噪比PSNR(Peak signal-to-noise ratio)和均方誤差MSE(Mean Squared Error)。這兩種方法簡單快速而高效，至今仍然用于各種圖像處理中。但是評價結果與人眼主觀評價的結果在很多情況下不一致，其準確性較差，究其原因是這兩種方法沒有考慮到人類視覺系統的視覺感知特點。因此，結合人眼視覺感知特性，研究準確、快速和高效的圖像質量評價方法是一個具有挑戰性的課題。

基于視覺感知特性以及圖像的結構信息，Zhou Wang等[4]提出了一種具有代表性結構相似度方法(Structural Similarity，SSIM)，SSIM方法綜合運用了圖像的均值、方差和協方差，建立相應的結構相似度評價模型。該方法簡單高效，后續得到了廣泛的改進和發展。Damon等[5]結合小波變換的多分辨分析特性，提出了一種基于小波視覺信噪比的圖像質量評價方法，該方法的質量評價效果優于SSIM方法，但是計算復雜度高。Lin Zhang等[6]通過采用相位一致性來描述圖像的局部結構特征，設計了一種基于特征相似性的圖像質量評價方法(Feature Similarity，FSIM)，該方法對諸如加噪、模糊、壓縮等不同類型的圖像失真具有較好的評價效果。Zhou Wang等[7]以互信息理論為參考，提出了一種基于信息內容的圖像質量評價方法，取得了較好的評價效果。這些圖像質量評價方法均在某種程度上利用了人類視覺系統的感知機理來建立圖像評價模型，取得了較好的質量評價效果，但計算復雜度較高，計算效率低。出于計算復雜度優化的考慮，研究人員基于當前非常流行的深度學習技術，提出了相應的圖像質量評價方法[8-9]，取得了較好的質量評價效果。

本文受文獻[6]和文獻[10]的啟發，考慮到圖像邊緣能夠反映圖像的顯著性變化情況，在綜合圖像的梯度結構相似度和相位特征的基礎上，結合圖像的邊緣亮度相似性，提出了一種多特征相似度融合的圖像質量評價方法。該方法考慮了圖像的梯度與圖像對比度變化之間的關系，以及圖像邊緣與顯著性變化之間的關系，并利用相位特征刻畫圖像的局部結構特征，更好地表達了圖像的結構特征，進一步提高了圖像質量的評價性能。

2 梯度結構相似度和相位一致性特征

2.1 梯度結構相似度

Anmin Liu等[10]通過圖像的梯度提出了一種基于梯度結構相似度(Gradient Similarity Metric，GSM)的圖像質量評價方法。他們指出梯度能夠捕獲圖像的對比度變化和結構變化信息，并且能夠更好地與視覺掩碼特性相匹配，這些特點能更好地體現圖像的結構特征信息。GSM的計算過程如下[10]：

首先，將兩幅圖像中相同位置的圖像塊x,y作為兩個輸入信號，分別計算兩個圖像塊的梯度值，其值為圖像塊的最大加權平均值。圖像塊的梯度值計算如下[10]：

(1)

(2)

其中，C1為常量，gx,gy分別表示圖像塊x,y的梯度，由式(1)計算。考慮到可見性閾值(Visibility threshold)和圖像對比度的變化，圖像塊x與圖像塊y之間的梯度結構相似度可進一步表示為[10]：

(3)

000001383100000-1-3-8-3-100000(a)M1 0010008300130-3-100-3-8000-100(b)M2 0010000380-1-30310-8-30000-100(c)M3 010-10030-30080-80030-30010-10(d)M4

圖1四個方向的濾波器

2.2 相位一致性特征

(4)

其中，ε是一個小的常量，并大于0。

將對一維信號的相位一致性處理過程推廣到圖像上，一般來說，可以采用高斯函數作為擴展函數，這樣將可以較好地保留圖像的相位特征信息。圖像相位一致性的主要計算過程為[6]：首先，定義對數Gabor函數的傳輸函數：

(5)

(6)

3 基于多特征相似度的圖像質量評價

對梯度相似性和相位一致性進行分析，在掌握這兩個方面信息的基礎上，關注圖像的邊緣亮度相似度，設計一種融合多個特征相似度的圖像質量評價方法。假設原始圖像和失真圖像分別為I1和I2，對原始圖像I1和失真圖像I2分別計算它們的梯度相似度值和相位一致性值，并設I1和I2的梯度結構相似度值分別為GI1和GI2，兩幅圖像的相位一致性值分別記作PI1和PI2，兩幅圖像的邊緣特征值為EI1(x)和EI2(x)。聯合多個特征相似度的圖像質量評價方法歸納如下：

3.1 基于梯度特征相似度的質量評價函數

借鑒文獻[4]提出的結構相似度設計思想，首先對兩幅圖像進行分塊，求得兩幅圖像的局部結構相似度。定義基于梯度結構相似度的質量評價函數為：

(7)

3.2 基于相位一致性特征的質量評價函數

與基于梯度結構相似度的質量評價函數類似，先對兩幅圖像進行分塊，然后計算兩幅圖像的局部結構相似度。定義基于相位一致性特征的質量評價函數為：

(8)

其中，T2是式(8)中的調節因子，并且大于0；PI1(x),PI2(x)分別是原始圖像I1和失真圖像I2的相位一致性值，其值根據式(6)進行計算。

3.3 基于邊緣亮度相似度的質量評價函數

原始圖像I1和失真圖像I2的邊緣相似度表示為：

(9)

其中，EI1(x),EI2(x)分別是原始圖像I1和失真圖像I2的邊緣特征值；C3是式(9)中的調節因子，并且大于0。邊緣特征值EI1(x),EI2(x)可通過計算圖像在圖1中四個方向上的最大邊緣值而獲得，其計算過程為：

(10)

(11)

3.4 整幅圖像質量評價測度的計算

由于人眼視覺感知的特性，人眼受視覺神經心理的影響，一般對圖像不同區域的感知存在較大差異。人眼對圖像平坦光滑的區域一般不太敏感，而對圖像的顯著性區域如邊緣、紋理等區域較為敏感，主要原因是這些區域攜帶了較為豐富的信息。Lin Zhang[6]基于相位信息提出了一種圖像質量評價方法，分析出人眼對圖像的相位變化也比較敏感，指出相位一致性在某種程度上體現了圖像的局部結構特征，圖像的相位一致性值越大，對人眼的視覺沖擊就越大。因此，本文借鑒文獻[6]的思想，設置一個基于相位一致性的視覺權值來平衡圖像的相位變化對人眼視覺感知的影響，視覺權值為ω(x)=max(PI1(x),PI2(x))。綜合式(7)(8)(9),定義兩幅圖像的局部相似度為：

QL(x)=[QG(x)]α·[QPC(x)]β·[QE(x)]γ.

(12)

其中，α,β,γ是調整梯度結構相似度、相位一致性特征和邊緣亮度相似度的因子，不失一般性，設α=β=γ=1，則QL(x)=QG(x)·QPC(x)·QE(x)。

圖像的整體質量評價值可表示為：

(13)

其中，Ω表示整幅圖像的空間區域。

4 實驗結果與分析

采用TID2008圖像數據庫[11]來評價前文提出的圖像質量評價方法。TID2008數據庫包括25幅參考圖像、1700幅不同類型不同程度的失真圖像，共有17種失真類型，包括加性高斯噪聲、JPEG壓縮、椒鹽噪聲、高斯模糊、JPEG2000壓縮、亮度改變等。失真圖像的主觀評價分數通過觀察者的主觀評估，以差分平均主觀分的形式(Difference Mean Opinion Score，DMOS)給出，DMOS反映了失真圖像主觀質量的好壞，其值越小，相應的主觀評價質量就越高。為了驗證本文提出的方法性能，本節與最近的幾種圖像質量評價方法進行了性能比較，包括SSIM、FSIM和GSM方法。根據視頻質量專家組VQEG(Video Quality Experts Group)提出的準則[12]，一般來說，圖像主觀評價的結果和客觀評價的結果滿足一種非線性關系，因此采用式(14)來表示這種非線性關系函數[6]：

(14)

其中，參數βi,i=1,2,3,4,5由非線性擬合獲取。

圖2給出了本文方法與其他五種評價方法在TID2008數據庫上的散點圖，橫坐標表示圖像質量客觀評價的值，縱坐標表示主觀評價分數DMOS。每個點表示TID2008數據庫中一個失真圖像的主觀評分與客觀評價的對應關系，中間的一條曲線表示對所有數據點的對數擬合曲線。一般而言，散點圖的密集程度體現了圖像主觀評價與客觀評價之間的相關程度。可以看出，SSIM方法在全部失真范圍內的數據點比較分散，這說明基于SSIM的方法主客觀相關性不大；當圖像失真嚴重時，從圖2(a)中可看出相應的客觀評分過于分散。FSIM對應的散點圖密集程度均較好，但隨著圖像失真程度的增強，主觀評價與客觀評價之間的相關性將減弱。GSM方法利用了圖像的梯度相似性，具有較好的質量評價效果。本文方法與主觀評價具有較強的相關性，性能優于SSIM方法和FSIM方法，與GSM方法相當。

圖2 圖像質量評價方法的散點圖比較

為了進一步地評價圖像質量評價方法的性能，采用4個指標來評價。分別為Pearson線性相關系數(PLCC，Pearson Linear Correlation Coefficient)、均方根誤差(RMSE，Root Mean Square Error)、Spearman秩相關系數(SROCC，Spearman rank-order correlation coeffcient)以及離出率(OR，Outlier Ratio)。PLCC用來評價精確程度，其值越大，質量評價的精確性就越好。RMSE評價誤差程度，誤差越小，性能越好。SROCC評價主客觀一致性，值越大，性能越好；OR表示預測誤差超過閾值的點個數與所有數據點個數的比例，OR越小表明相應的評價方法性能越好。

表1給出了本文方法對TID2008數據庫中4種不同失真類型的評價性能比較，分別是JPEG壓縮、JPEG2000壓縮、加性高斯噪聲、高斯模糊以及椒鹽噪聲形成的失真圖像。從表1可以看出，本文方法具有較好的評價性能。表2列出了幾種圖像質量評價方法在TID2008圖像數據庫中性能指標的比較，這些指標為多次計算的平均值，本文為20次。本文方法的4項指標總體優于SSIM[4]和FSIM[6]方法，與GSM方法[10]的圖像質量評價性能相當。

表1 本文方法對不同失真類型的評價結果

表2 幾種圖像質量評價方法的性能比較

綜合以上分析，本文綜合考慮了圖像自身的梯度特征、相位一致性以及邊緣亮度相似性特征，提升了圖像質量評價的效果，結果表明聯合多個特征相似度的圖像質量評價方法具有明確的物理意義，也更加符合人眼視覺感知機理對圖像質量的心理感知特點。

5 結論

結構相似度方法一經提出，便得到廣泛的研究和發展，該方法基于人類視覺系統的感知原理，充分利用了圖像的均值、方差和協方差等屬性，建立了一種圖像質量評價模型，取得了較好的評價效果。但是，結構相似度方法忽略了圖像的相位一致性，使得主觀評價與客觀評價的結果難以滿足人眼的視覺感知需求。針對這一問題，受文獻[6]和文獻[10]的啟發，但又不同于文獻[6]中對梯度特征的處理方式，本文基于一種新的梯度算子計算了圖像的梯度結構相似度，并結合相位一致性和邊緣亮度相似性，設計出結合多個特征相似度的圖像質量評價方法。最后以TID2008圖像數據庫為測試對象，實驗結果表明，本文方法具有較好的圖像質量評價性能。

[參考文獻]

[1]Dohyoung Lee,Konstantinos N.Plataniotis.Toward a No-Reference image quality assessment using statistics of perceptual color descriptors[J].IEEE Transactions on Image Processing,2016(8):3875-3889.

[2]Hanli Wang,Jie Fu,Weisi Lin,et al.Image quality assessment based on local linear information and distortion-specific compensation[J].IEEE Transactions on Image Processing,2017(2):915-926.

[3]D Kundu,D Ghadiyaram,A Bovik, et al.No-reference quality assessment of Tone-Mapped HDR pictures[J].IEEE Transactions on Image Processing,2017(6):2957-2971.

[4]Zhou Wang,A Bovik,H Sheikh.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004(4):600-612.

[5]Damon M,Chandler,Sheila S.A wavelet-based visual signal-to-noise ratio for natural images[J].IEEE Transactions on Image Processing,2007(9):2284-2298.

[6]Lin Zhang,Lei Zhang,Xuanqin Mou,et al.FSIM:a feature similarity index for image quality assessment[J].IEEE Transactions on Image Prcocessing,2011(8):2378-2386.

[7]Zhou Wang,Qiang Li.Information content weighting for perceptual image quality assessment[J].IEEE Transactions on Image Processing,2011(5):1185-1198.

[8]P Ye,J Kumar,L Kang,et al.Unsupervised feature learning framework for no-reference image quality assessment[C]. in Proc.IEEE Conf.Comput.Vis.Pattern Recognition(CVPR),2012:1098-1105.

[9]Weilong Hou,Xinbo Gao,Dacheng Tao,et al.Image quality assessment via deep learning[J].IEEE Transactions on Neural Networks and Learning Systems,2015(6):1275-1286.

[10]Anmin Liu,Weisi Lin,Manish Narwaria.Image quality assessment based on gradient similarity[J].IEEE Transactions on Image Processing,2012(4):1500-1512.

[11]Ponomarenko N，Carli M，Lukin V，et al.Color image database for evaluation of image quality metrics[C]. Proceedings of International Workshop on Multimedia Signal Processing,Australia,2008:403-408.

[12]VQEG.Final report from the video quality experts groupon the validation of objective models of video quality assessment[EB/OL].(2011-04-24)[2017-01-02].http://www.its.bldrdoc.gov/vqeg/projects/frtv phaseII/,April 24, 2011.