基于視覺顯著性的自適應圖像質量評價方法

鄧杰航，袁仲鳴，劉棟濠，顧國生

（廣東工業大學 計算機學院，廣東 廣州 510006）

0 引言

數字圖像在現代信息工業發展中占據重要地位，然而在其獲取、壓縮、傳輸、顯示過程中會不可避免地發生失真現象，因此圖像質量評價（Image Quality Assessment，IQA）被廣泛用于圖像任務處理中。目前IQA 被分為主觀評價方法和客觀評價方法兩種［1］，前者依靠觀察員的主觀感知評價圖像質量，后者則利用數學模型給出量化指標評價圖像質量。客觀評價方法具有處理速度快、可批量處理等優勢，根據對參考圖像的利用率可將其分為3 類［2］，分別為全參考、無參考和弱參考。本文將主要研究全參考IQA 算法。

在全參考IQA 方法的發展歷程中，研究者基于圖像質量的下降程度與誤差信號強弱相關的特點，首先通過比較參考圖像與失真圖像之間的誤差信號進行質量分析，如均方誤差（Mean Square Error，MSE）和峰值信噪比（Peak Sig?nal to Noise Ratio，PNSR）。這兩種方法具有數學模型簡單、易優化以及計算效率高的優點，但均假定圖像像素之間是單獨存在的，沒有考慮到相鄰像素點之間的相關性，與人類視覺感知自然場景的特性不符［3］。Wang 等［4］假設人眼視覺系統（Human Visual System，HVS）對結構信息高度敏感，提出結構相似性指數（Structural Similarity，SSIM）的概念，從亮度、對比度和結構3 個方面評價圖像質量。SSIM被公認為IQA 研究領域中的里程碑，后續研究者在SSIM 的基礎上進行了拓展。如Liu 等［5］提出SSIM 在小波變換上的擴 展（Wavelet-Domain Structural Similarity，WDSSIM）；Wang 等［6-7］提出多尺度SSIM（Multi-Scale Structural Similar?ity，MS-SSIM）和信息內容加權的SSIM（Information Content Weighted Structural Similarity，IW-SSIM）。除了SSIM 及其擴展方法，研究者也提出了不少其他IQA 方法。例如，Lar?son 等［8］認為在評估高、低質量圖像質量時，HVS 會分別執行兩種截然不同的策略，并提出基于最明顯失真（Most Ap?parent Distortion，MAD）的IQA 指標；Zhang 等［9］假設HVS 通過低級特征理解圖像，其提出的特征相似性指數（Feature Similarity，FSIM）將相位一致性與梯度幅值作為主要特征計算IQA 指標，其中相位一致性在最終分數匯總時充當局部權重；Liu 等［10］基于梯度結果，提出GSM（Gradient Simi?larity Metric）方法；Xue 等［11］認為僅采用梯度幅值便能很好地評估圖像質量，并以全新的池化策略實現了一種高效的梯度幅值相似度偏差（Gradient Magnitude Similarity Devia?tion，GMSD）方法；Zhang 等［12］提出視覺顯著性指數（Visual Saliency-induced Index，VSI）的概念，認為其與圖像質量在本質上相關，均取決于HVS 如何感知圖像，視覺顯著性起到表征圖像局部特征以及作為加權池中的加權函數的雙重作用。

在觀察圖像時，HVS 會優先選擇場景中視覺顯著的部分進行處理，即在圖像質量的感知過程中，HVS 不會均等對待圖像中的內容，而是會更多地關注顯著性高的部分，較少關注其余部分，因此可以將視覺顯著性用于局部特征相似性度量的修正與池化階段。根據以上論述，本文提出一種基于視覺顯著性與特征相似性參數自適應的圖像質量評價模型，首先在LMN 顏色空間中提取色度特征，在視覺顯著性檢測模型中提取視覺顯著性譜（Saliency Map，SM）作為顯著性特征，在Scharr 算子中提取梯度特征；然后對上述特征進行相似性度量，采用基于顯著性的參數自適應策略對其進行修正；最后對圖像所有特征的相似性度量使用加權池的池化策略，并引入視覺顯著性譜作為加權池中的權重函數。

1 自適應圖像質量評價模型構建

本文提出的圖像質量評價模型總體結構框架如圖1 所示。該模型由6 層構成，分別為輸入、圖像預處理、圖像特征提取、特征相似性度量、池化策略以及輸出。模型評價圖像質量的具體步驟為：①模型以參考圖像與失真圖像為輸入；②對輸入的圖像分別進行LMN 顏色空間轉換和視覺顯著性檢測的預處理；③根據預處理結果，分別提取參考圖像和失真圖像的顯著性、色度和梯度等低層次特征；④對已提取的特征進行相似性度量，采用基于視覺顯著性的參數自適應模型對其進行修正，生成局部質量分數；⑤以視覺顯著性譜計算加權池中的權值函數；⑥對④中生成的局部質量分數進行加權池化，得出最終評分并輸出。

Fig.1 Overall framework of the proposed model圖1 本文模型總體結構

1.1 顏色空間轉換與色度相似度

RGB 彩色空間能直接將顏色的值傳輸給顯示器顯示圖像，但不能直觀地表現圖像的亮度和色彩飽和度，因此RGB 色彩空間并不接近HVS 的感知。為更好地評估失真圖像，首先需要將圖像轉換為接近HVS 感知的LMN 色彩空間，計算過程如式（1）所示：

式中，L 表示圖像亮度通道，用于評估結構失真引起的圖像質量下降；M 和N 分別為兩個色差通道，用于表征由顏色失真引起的圖像質量下降。

根據參考圖像和失真圖像M、N 通道的色差信息，通過式（2）和式（3）計算其色度相似度。

式中，Mr(i)和Md(i)分別表示參考圖像和失真圖像第i個像素的M 通道色差值，Nr(i)和Nd(i)分別表示參考圖像和失真圖像第i個像素的N 通道色差值。在傳統的IQA 方法中，C1 為常數，用于避免分母為零所產生的不穩定性。而本文中，C1 作為調節參數具有避免分母為零和調節局部特征相似性度量兩種作用，其可通過基于顯著性的參數自適應策略確定。式（4）中的色度相似度SC(i)由M 通道的色差相似度SM(i)與N 通道的色差相似度SN(i)的乘積所決定。

1.2 顯著性相似度

基于圖論的GBVS（Graph Based Visual Saliency）模型是一種基于底層視覺特征且擁有較高計算效率的顯著性分析模型［13］。圖2（a）和（c）為CSIQ 數據庫中的兩張參考圖像，采用GBVS 模型對其進行視覺顯著性檢測，結果如圖2（b）和（d）所示。圖中亮度越高的區域視覺顯著程度越高，反之越低，提示該模型能準確預測并將較高的像素值分配給顯著性較強的區域。此外，與Itti-Koch 模型在內的其他模型相比，GBVS 模型可以更準確地預測顯著性圖［14］。因此，本文使用該模型對參考圖像和失真圖像進行顯著性特征提取，分別得到參考圖像和失真圖像的顯著性圖譜，然后通過式（5）計算參考圖像與失真圖像之間的顯著性相似度。

式中，VSr(i)和VSd(i)分別表示參考圖像和失真圖像顯著性圖譜中第i個像素的值；C2 的作用與C1 相似，可通過基于顯著性的參數自適應策略確定。

Fig.2 Visual saliency test results圖2 視覺顯著性檢測結果

1.3 梯度相似度

圖像梯度可用于反映結構特征，且梯度相似度對于圖像質量有良好的指示作用。文獻［4，15］提出Scharr 算子對于IQA 模型有較好效果，因此本文采用Scharr 算子對圖像梯度進行提取，水平方向的梯度值GH(i)和垂直方向的梯度值GV(i)分別如式（6）和式（7）所示。

式中，L(i)表示亮度分量，?表示圖像的卷積運算。圖像對應的梯度幅值G(i)定義為：

分別計算參考圖像和失真圖像的梯度幅值，然后通過式（9）計算結構相似度。

式中，Gr(i)和Gd(i)分別表示參考圖像和失真圖像中第i個像素的梯度幅值；C3 的作用類似于C1 和C2，根據基于視覺顯著性的參數自適應模型自行調整。

1.4 基于視覺顯著性的特征相似性參數自適應修正策略

HVS 在感知過程中對圖像不同區域的關注程度并不均等，因此當圖像顯著性較強的區域發生失真時，HSV 更易于感知到失真；而當失真發生在顯著性較弱的區域時，HSV 則不易感知。高敏娟等［16］研究表明，HSV 感知到的局部圖像質量退化由客觀退化程度和圖像的視覺顯著性共同決定，其提出利用顯著性自適應調節局部圖像質量的算法。本文對該算法進行了改進并且將其應用于顯著性相似性度量的參數自適應中，具體實現過程如下：

式中，e 為自然常數，K1、K2、K3為調節參數，h1、h2、h1為衰減因子；V(i)取參考圖像和失真圖像在i處的顯著性最大值，即V(i)=max(VSr(i),VSd(i))。以式（2）為例，M 通道的色差相似性度量公式變為：

由于C1 通過減函數進行自適應變化，V(i)的值越大，表示i處的顯著性越強，HVS 對該處的失真敏感性越強，對應的自適應參數C1 值越小，參考圖像和失真圖像的色差特征值Mr(i)與Md(i)之間的差異對M 通道色差相似度SM(i)的影響越大。反之，V(i)的值越小，表示i處的顯著性越弱，HVS 不易感知其質量變化，對應的自適應參數C1值越大，參考圖像和失真圖像的色差特征值Mr(i)與Md(i)之間的差異對M 通道色差相似度SM(i)的影響越小，且SM(i)越接近于1。同樣的，使用該策略對式（11）、（12）中的C2 和C3 進行特征相似性參數自適應修正處理。

1.5 池化策略

綜合式（3）色度相似度、式（5）視覺顯著性相似度、式（9）梯度相似度，將局部質量分數的計算公式定義為：

式中，α和β為調整色度相似度和梯度相似度之間權重的參數。

對局部質量分數S(i)進行加權池化處理，最終得到基于視覺顯著性和特征相似性參數自適應的圖像質量評價分數為：

式中，N表示圖像中像素的總數，ω(i)表示加權池中的權值函數。

將采用視覺顯著性檢測模型計算得到的顯著性譜作為權值函數ω(i)，表示為：

式中，VSr(i)和VSd(i)分別表示參考圖像和失真圖像的顯著性譜。

2 實驗方法與結果分析

2.1 實驗數據庫與評價指標

為驗證本文IQA 方法的有效性，在公開測試數據庫LIVE、CSIQ、TID2008 上進行實驗。表1 列出了3 個公開測試數據庫包含的圖像數量、圖像類型、失真類型數以及觀察員人數，涵蓋了現實應用中常見的各種失真，用于主觀評價表征圖像質量（MOS 或DMOS），可作為IQA 模型的評價依據。

IQA 模型通過分析客觀評分與主觀評分之間的一致性評價算法性能，常用評價指標包括Spearman 等級相關系數（Spearman Rank Order Correlation Coefficient，SROCC）、Ken?dall 等級相關系數（Kendall`s Rank Order Correlation Coeffi?cient，KROCC）、Pearson 線性相關系數（Pearson`s Linear Cor?relation Coefficient，PLCC）以及均方根誤差（Root Mean Square Error，RMSE）4 種。其中SROCC 和KROCC 表示預測的單調性，可通過IQA 模型的主觀評分和客觀評分直接計算得到；而PLCC 和RMSE 表示預測的精度，在計算前需要進行回歸分析，以獲得客觀評分與主觀平均意見評分（MOS）之間的非線性映射?；貧w分析采用文獻［12］中的非線性邏輯回歸模型，表示為：

式中，x為本文IQA 模型得出的原始客觀質量評分，β1～β5分別為非線性回歸過程中自適應調整的參數。

Table 1 Benchmark image database表1 基準圖像數據庫

2.2 實驗環境與參數設置

實驗環境為MATLABR2018b，所有實驗均在Intel?Corei5-8400 CPU，GTX10606GB 顯卡以及16GB RAM 的計算機上進行。模型所需實驗參數包括：式（10）、（11）和（12）中基于顯著性參數自適應模型的調節因子k1、k2、k3和衰減因子h1、h2、h3，根據文獻［12，16］的實驗方法在TID2008 數據庫中將k1、k2、k3分別確定為130、1.27 和386，h1、h2、h3分別確定為0.5、10 和0.5；式（14）中調整色度相似度與梯度相似度之間權重的參數α和β，根據文獻［12］的實驗結果分別設置為0.4 和0.02。

2.3 實驗結果比較

對本文方法和目前具有代表性的IQA 方法進行比較，包 括SSIM［4］、MS-SSIM［6］、IW-SSIMMAD［7］、FSIMc［9］、GSM［10］、VSI［16］、VIF［17］、LLM［18］、MESR-SQI［19］和RVSIM［20］。表2 中，3 個數據庫中每個評價指標的前3 名突出顯示。為進一步分析本文IQA 方法的綜合性能，以數據庫失真圖像數目作為權值，獲得每個IQA 方法的SROCC、KROCC 和PLCC 指標的加權平均值，結果如表2 所示。

本文IQA 方法在3 個基準數據庫中均有良好表現，尤其是在CSIQ 和TID2008 這兩個失真圖像數目最多的數據庫中，其性能表現均位居前3 名。VIF 與FSIMc 在LIVE 數據庫中獲得最高性能表現評價值，但在失真圖像數量以及類型最多的TID2008 數據庫中，其評價性能排名均未進入前3 名。本文方法在LIVE 數據庫中的性能表現雖未進入前3 名，但與其差距很小，仍具有不錯的競爭力。此外，VSI也是采用視覺顯著性作為評價策略的IQA 方法，但本文方法在3 個基準數據庫中的性能表現全面優于該方法。而對于更能說明綜合性能的加權平均值和直接平均值，本文方法排前3 名，且SROCC 和KROCC 兩個指標排名第一。

Table 2 Performance comparison of different methods on three databases表2 不同IQA 方法在3 個基準數據庫中的性能表現

2.4 實驗散點圖結果比較

為定性評價不同IQA 方法的性能，繪制6 種算法在TID2008 數據庫中客觀評價值與主觀評價值的散點圖，其中橫軸表示客觀算法評價值，縱軸表示MOS 值。圖3 中的曲線通過非線性擬合的式（17）得到，可以看出，本文方法的數據點沿擬合曲線分布緊密且與曲線走勢保持一致，表明其與主觀評價有較好一致性，能有效評價圖像質量。

Fig.3 Comparison of scatter plots of six IQA methods圖3 6 種IQA 方法的散點圖比較

3 結論

HSV 的注意力機制決定了當人類觀察圖像時存在顯著區域與非顯著區域。為使客觀評價與主觀評價具有更高的一致性，需要在客觀評價方法中對顯著區域和非顯著區域進行不同的處理。本研究中，視覺顯著性具有三重作用，首先是作為局部特征之一進行相似性度量，其次是對各個特征的相似性參數進行自適應修正，最后通過視覺顯著性加權局部質量評分模擬人類注意力機制獲得全局質量評價分數。使用LIVE、CSIQ 和TID2008圖像數據庫對本文算法進行測試，包括84 幅參考圖像和3 345 幅失真圖像，涵蓋28 種失真類型。結果表明，在這3 個圖像數據庫中，本文方法各個性能指標的直接平均值與加權平均值均優于其他10 個主流IQA 方法，說明其擁有優秀的綜合性能。在視覺顯著性的加持下，本文方法能更好地模擬人類視覺特性，獲得與人類主觀評價更高的一致性。該方法是基于加權池化的評價方法，隨著人工智能等領域的快速發展，基于機器學習的池化與回歸策略成為當前研究的熱點，因此將該方法與機器學習相融合以提升評價性能可能是今后的重點研究方向。