基于擴(kuò)展梯度相似度的自適應(yīng)圖像質(zhì)量評(píng)價(jià)算法研究

摘" 要：客觀圖像質(zhì)量評(píng)價(jià)使用特定的數(shù)學(xué)模型使圖像評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)一致。提出一種自適應(yīng)的擴(kuò)展梯度圖像質(zhì)量評(píng)價(jià)算法（AE-GSSIM），使用擴(kuò)展梯度算子從多個(gè)方向計(jì)算圖像梯度幅值，然后在梯度圖像上定義并計(jì)算梯度相似度;考慮到亮度失真對(duì)圖像質(zhì)量的影響，為梯度相似度與亮度相似度設(shè)置不同的權(quán)重，使亮度相似度隨梯度相似度自適應(yīng)變化;最后，采用算術(shù)平均池化策略計(jì)算圖像評(píng)價(jià)結(jié)果。在4個(gè)公開圖像庫(kù)中進(jìn)行的實(shí)驗(yàn)表明，AE-GSSIM算法優(yōu)于傳統(tǒng)的評(píng)價(jià)算法，更加符合人眼視覺(jué)感知結(jié)果。

關(guān)鍵詞：圖像質(zhì)量;結(jié)構(gòu)相似度;梯度相似度;擴(kuò)展梯度相似度;評(píng)價(jià)算法

中圖分類號(hào)：TP391" " " "文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號(hào)：2095-2945（2023）18-0066-04

Abstract： In order to evaluate the quality of an image more accurately， this paper proposes a novel objective image quality assessment algorithm - Adaptive Extended Gradient-based Structural Similarity（AE-GSSIM）. Firstly， the extended gradient operator is employed to calculate the gradient amplitude from multiple directions; then， the gradient similarity is defined and calculated on the gradient image. Considering the effect of luminance distortion on image quality， different weights are set for gradient similarity and luminance similarity to make luminance similarity change adaptively with gradient similarity. Finally， the arithmetic average pooling strategy is used to calculate the image evaluation results. Experiments in four public image databases show that the AE-GSSIM algorithm is better than the traditional evaluation algorithm and is more consistent with the results of human visual perception.

Keywords： image quality; SSIM; gradient similarity; extended gradient similarity; evaluation algorithm

數(shù)字圖像的質(zhì)量容易受到各種噪聲的影響，即圖像失真[1]。對(duì)失真圖像進(jìn)行質(zhì)量評(píng)價(jià)，即評(píng)價(jià)圖像的失真程度或失真圖像與原圖像（參考圖像）的相似度[2]。圖像質(zhì)量評(píng)價(jià)（IQA）的結(jié)果可作為其他圖像處理技術(shù)進(jìn)行參數(shù)調(diào)整和性能優(yōu)化的依據(jù)[2-3]。因此，提高圖像質(zhì)量評(píng)價(jià)結(jié)果能夠促進(jìn)各種圖像處理技術(shù)的發(fā)展和應(yīng)用。

目前有2種最常見(jiàn)的圖像質(zhì)量評(píng)價(jià)方式，即主觀評(píng)價(jià)和客觀評(píng)價(jià)[2，4]。主觀評(píng)價(jià)以人作為觀測(cè)者，能夠反映人類視覺(jué)系統(tǒng)（HVS）的感知特性。主觀評(píng)價(jià)的缺點(diǎn)是評(píng)價(jià)過(guò)程繁瑣、耗時(shí)長(zhǎng)、費(fèi)用高，而且評(píng)價(jià)結(jié)果依賴于實(shí)驗(yàn)環(huán)境布置、觀測(cè)者的知識(shí)結(jié)構(gòu)和心理因素，穩(wěn)定性較差[2]。另外，主觀評(píng)價(jià)不能實(shí)時(shí)嵌入到其他圖像處理技術(shù)中，這也大大限制了其應(yīng)用范圍。客觀評(píng)價(jià)的評(píng)價(jià)主體是數(shù)學(xué)模型和算法，借助數(shù)據(jù)模型和算法取得和主觀評(píng)價(jià)相同或相近的結(jié)果。相比于主觀評(píng)價(jià)，客觀評(píng)價(jià)簡(jiǎn)單高效，具有較高的穩(wěn)定性和可移植性[5]。

早期的代表性IQA算法包括均方誤差算法（MSE）和峰值信噪比算法（PSNR）[6]。由于它們僅僅計(jì)算圖像像素點(diǎn)之間的絕對(duì)誤差，沒(méi)有考慮鄰域像素之間的相互關(guān)系及HVS的感知特性，因此不能如實(shí)體現(xiàn)主觀視覺(jué)感受。Wang等[5]根據(jù)HVS的工作特點(diǎn)，提出利用結(jié)構(gòu)相似度（SSIM）模擬HVS提取圖像結(jié)構(gòu)信息。SSIM模型綜合考慮圖像的亮度、對(duì)比度和結(jié)構(gòu)3個(gè)分量，模型簡(jiǎn)單、意義明確。相比于PSNR和MSE，SSIM更加符合人類視覺(jué)感知特性，評(píng)價(jià)結(jié)果有較大提高。但是SSIM對(duì)圖像邊緣處理不夠細(xì)致，在評(píng)價(jià)模糊失真圖像時(shí)效果不好[6]。楊春玲等[6]在SSIM的基礎(chǔ)上將梯度引入圖像質(zhì)量評(píng)價(jià)，提出基于圖像梯度結(jié)構(gòu)相似度（GSSIM）的IQA算法。與SSIM不同的是，GSSIM在梯度圖像上計(jì)算對(duì)比度和結(jié)構(gòu)相似度。GSSIM對(duì)模糊失真圖像的質(zhì)量評(píng)價(jià)優(yōu)于SSIM。Liu等[7]提出的圖像梯度相似度（GSM）算法將不同的權(quán)重應(yīng)用于亮度分量與梯度分量，克服了GSSIM的不足。Zhang等[8]提出的圖像特征相似度（FSIM）IQA算法引入圖像的相位特征，結(jié)合圖像梯度幅值生成圖像特征圖。FSIM評(píng)價(jià)結(jié)果較好，但其計(jì)算過(guò)程涉及多次頻域?yàn)V波操作和傅里葉變換，計(jì)算復(fù)雜度較高。本文受GSSIM和GSM的啟發(fā)，提出基于擴(kuò)展梯度相似度的自適應(yīng)IQA算法（AE-GSSIM）。在計(jì)算圖像梯度時(shí)，使用擴(kuò)展梯度算子從多個(gè)方向提取圖像梯度信息。同時(shí)，將亮度相似度的權(quán)重設(shè)置為隨梯度相似度變化并限制在較小的范圍，以突出梯度對(duì)HVS的重要性。

1" 結(jié)構(gòu)相似度預(yù)備知識(shí)

1.1" SSIM模型回顧

Wang等[5]認(rèn)為人眼能夠從圖像結(jié)構(gòu)中提取有效信息，提出了結(jié)構(gòu)相似度算法（SSIM）。SSIM包含3個(gè)分量，即圖像亮度l（x，y）、圖像對(duì)比度c（x，y）和圖像結(jié)構(gòu)相似度s（x，y）。對(duì)于圖像塊x和y，其計(jì)算方法如式（1）所示。參數(shù)α、β和γ是用于調(diào)節(jié)亮度分量、對(duì)比度分量和結(jié)構(gòu)分量的權(quán)重。計(jì)算SSIM（x，y）時(shí)，需要在圖像塊上逐個(gè)像素移動(dòng)。最后，對(duì)局部質(zhì)量進(jìn)行算術(shù)平均池化，計(jì)算方法如式（2）所示。

式中：M是圖像塊的總數(shù)。SSIM（x，y）的值越大表示參考圖像和失真圖像相似度越高。

1.2" 基于梯度的結(jié)構(gòu)相似度

SSIM對(duì)模糊圖像的質(zhì)量評(píng)價(jià)與主觀評(píng)價(jià)相關(guān)性較差。楊春玲等[6]根據(jù)人眼對(duì)圖像的邊緣和紋理信息高度敏感的特性，提出基于梯度的結(jié)構(gòu)相似度（GSSIM）。GSSIM首先計(jì)算每個(gè)像素點(diǎn)的梯度幅值，得到參考圖像X和失真圖像Y對(duì)應(yīng)的梯度圖像X′和Y′。然后分別計(jì)算梯度圖像的對(duì)比度相似度Cg（x′，y′）和結(jié)構(gòu)相似度Sg（x′，y′），并用其分別代替式（1）中的c（x，y）和s（x，y），然后采用算術(shù)平均池化，結(jié)果即為最終質(zhì)量得分。

2" 基于擴(kuò)展梯度相似度的自適應(yīng)IQA算法

GSSIM僅使用水平算子和垂直算子計(jì)算圖像梯度，而結(jié)構(gòu)復(fù)雜的圖像往往具有多個(gè)方向的邊緣信息[9]。為了更全面地刻畫圖像邊緣，本文采用包含8個(gè)方向的擴(kuò)展梯度算子計(jì)算圖像梯度，如圖1所示。

3" 實(shí)驗(yàn)結(jié)果與分析

3.1" 圖像庫(kù)與評(píng)價(jià)標(biāo)準(zhǔn)

評(píng)價(jià)一個(gè)IQA算法的效果或性能時(shí)往往需要圖像數(shù)據(jù)庫(kù)的支撐[10]。本文選用國(guó)際上公開的4大圖像庫(kù)進(jìn)行實(shí)驗(yàn)，即LIVE、CSIQ、TID2008、TID2013。這些圖像庫(kù)在參考圖像、失真圖像、失真類型的數(shù)量等方面具有較大差異。LIVE圖像庫(kù)共有799幅失真圖像，對(duì)應(yīng)5種失真類型，每種失真類型有4～5個(gè)失真級(jí)別;CSIQ圖像庫(kù)共有866幅失真圖像，對(duì)應(yīng)6種失真類型，每種失真類型有4～5個(gè)失真級(jí)別;TID2008圖像庫(kù)共有1 700幅失真圖像，對(duì)應(yīng)17種失真類型，每種失真類型有4個(gè)失真級(jí)別;TID2013圖像庫(kù)比較大，共有3 000幅失真圖像，失真類型和失真級(jí)別數(shù)分別為24和5。觀測(cè)者的主觀評(píng)價(jià)以平均主觀意見(jiàn)得分（MOS）的形式提供。質(zhì)量越好的圖像具有越大的MOS值。

常用的客觀IQA算法評(píng)價(jià)指標(biāo)有RMSE（均方根誤差）、SROCC（斯皮爾曼秩相關(guān)系數(shù)）、PLCC（皮爾森相關(guān)系數(shù)）和KROCC（肯德?tīng)栔认嚓P(guān)系數(shù)）。其中，SROCC與KROCC兩個(gè)指標(biāo)反映IQA算法的單調(diào)性，單調(diào)性越好的算法具有越大的SROCC和KROCC值;PLCC度量IQA算法的精度，值越大說(shuō)明精度越高;RMSE度量IQA算法的準(zhǔn)確度，值越小說(shuō)明準(zhǔn)確度越高。一個(gè)好的客觀IQA算法應(yīng)具有較高的SROCC、KROCC和PLCC，以及較小的RMSE。

3.2" 數(shù)值實(shí)驗(yàn)

表1列舉了AE-GSSIM與其他幾種客觀IQA算法在4個(gè)圖像庫(kù)中的SROCC、KROCC、PLCC與RMSE值。每個(gè)圖像庫(kù)中最好的3個(gè)結(jié)果用黑體顯示。從表1中可以看到，在TID2008和TID2013這2個(gè)圖像庫(kù)中，F(xiàn)SIM均獲得了最優(yōu)的評(píng)價(jià)結(jié)果。AE-GSSIM在TID2008中的評(píng)價(jià)結(jié)果僅次于FSIM。AE-GSSIM在CSIQ圖像庫(kù)的評(píng)價(jià)結(jié)果是最優(yōu)的。在LIVE數(shù)據(jù)庫(kù)中，F(xiàn)SIM獲得了最優(yōu)的評(píng)價(jià)結(jié)果，VIF的評(píng)價(jià)結(jié)果與其相當(dāng)。根據(jù)每個(gè)圖像庫(kù)的失真圖像數(shù)量對(duì)每個(gè)客觀IQA算法的各個(gè)評(píng)價(jià)指標(biāo)進(jìn)行加權(quán)平均，可以看到FSIM的評(píng)價(jià)結(jié)果最優(yōu)，AE-GSSIM取得了與GSM相當(dāng)?shù)脑u(píng)價(jià)結(jié)果，且明顯優(yōu)于SSIM、GSSIM、VIF。這些結(jié)果說(shuō)明AE-GSSIM與主觀視覺(jué)感知具有較好的一致性。

4" 結(jié)論

本文對(duì)結(jié)構(gòu)相似度IQA算法SSIM及梯度結(jié)構(gòu)相似度IQA算法GSSIM進(jìn)行了研究，提出一種基于擴(kuò)展梯度相似度的自適應(yīng)圖像質(zhì)量評(píng)價(jià)算法AE-GSSIM，將擴(kuò)展梯度算子引入梯度計(jì)算，同時(shí)為梯度相似度分配更高的權(quán)重，并且使亮度相似度的權(quán)重隨梯度相似度變化。實(shí)驗(yàn)結(jié)果表明，AE-GSSIM取得了比目前大多數(shù)IQA算法更優(yōu)的結(jié)果，與人眼的主觀評(píng)價(jià)結(jié)果具有很好的一致性。如何選擇更有效的池化策略以得到更好的客觀IQA算法，或者將該算法應(yīng)用于無(wú)參考IQA，將是下一步的研究重點(diǎn)。

參考文獻(xiàn)：

[1] 張凱兵，朱丹妮，王珍，等.超分辨圖像質(zhì)量評(píng)價(jià)綜述[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（4）：31-40，47.

[2] 高麗霞，劉國(guó)軍，張選德.快速提升的結(jié)構(gòu)相似度IQA算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（7）：1314-1323.

[3] 盧彥飛.基于局部視覺(jué)特征的圖像質(zhì)量客觀評(píng)價(jià)方法研究[D].長(zhǎng)春：中國(guó)科學(xué)院研究生院（長(zhǎng)春光學(xué)精密機(jī)械與物理研究所），2015.

[4] 高敏娟，黨宏社，魏立力，等.視覺(jué)顯著性引導(dǎo)的局部圖像質(zhì)量度量[J].中國(guó)科學(xué)：技術(shù)科學(xué)，2019，49（11）：1350-1360.

[5] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE Transactions on Image Processing，2004，13（4）：600-612.

[6] 楊春玲，陳冠豪，謝勝利.基于梯度信息的圖像質(zhì)量評(píng)判方法的研究[J].電子學(xué)報(bào)，2007（7）：1313-1317.

[7] LIU A， LIN W， NARWARIA M. Image Quality Assessment Based on Gradient Similarity[J]. IEEE Transactions on Image Processing，2012，21（4）：1500-1512.

[8] ZHANG L， ZHANG L， MOU X， et al. FSIM： A Feature Similarity Index for Image Quality Assessment[J]. IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

[9] 王同罕，賈惠珍，舒華忠.基于梯度幅度和梯度方向直方圖的全參考圖像質(zhì)量評(píng)價(jià)算法[J].東南大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，48（2）：276-281.

[10] 鄧杰航，毋鵬杰，余漢君，等.基于擴(kuò)展梯度算子的結(jié)構(gòu)相似度圖像質(zhì)量評(píng)價(jià)方法[J].科學(xué)技術(shù)與工程，2018，18（27）：42-47.