基于機器學習的全參考圖像質量評價模型泛化能力分析

馬小雨，姜秀華

(中國傳媒大學 信息與通信工程學院，北京100024)

1 引言

為了提高圖像質量評價模型的預測準確率，近年來越來越多的研究人員嘗試將機器學習及深度學習技術應用到圖像質量評價領域中并取得了非常好的效果[1-5]。但是這些質量評價模型的準確性僅在有限的幾個圖像數據庫中得到驗證，如TID2013[6]，CSIQ[7]，LIVE[8]等。考慮到在實際應用場景中，圖像質量評價模型需要估計大量具有不同內容、不同失真類型、不同失真程度的圖像的感知質量，而由于機器學習中存在的過擬合，數據集效應等問題，這些基于機器學習的全參考圖像質量評價模型(Full Reference Machine Learning based Image Quality Assessment，FRML-IQA)的準確性必然會有一定程度下降。就我們所知，目前還沒有相關文獻闡述FRML-IQA模型在實際應用場景中的準確性具體降低了多少、是否顯著等問題。

本文通過大量主觀實驗，建立一個包含多達60幅原始圖像的圖像數據庫CUC2018，由于其圖像內容豐富程度遠高于目前主流的圖像數據庫(TID2013包含25幅原始圖像，LIVE包含29幅原始圖像，CSIQ包含30幅原始圖像)，CUC2018被用來模擬實際應用場景中可能出現的圖像內容。通過TID2013或CISQ訓練得到的FRML-IQA模型，將在CUC2018圖像數據庫中進一步測試其預測準確性，從而估計各FRML-IQA模型的泛化能力。

后文的實驗結果表明FRML-IQA模型的泛化能力較差，在CUC2018中的預測準確性和傳統的圖像質量評價模型(如MAD[6]，FSIM[9]等)相比并沒有顯著性差別，并沒有被用于實際的圖像質量評價場景中的價值。

本文的主要結構如下，第一節主要介紹圖像數據庫CUC2018的建立方法；第二節主要對現存的FRML-IQA模型進行總結，設計了3種不同的FRML-IQA模型框架以及相應的27種FRML-IQA方法；第三節則利用CUC2018來測試這27種FRML-IQA模型的泛化能力，并和傳統的全參考圖像質量評價算法進行比較；第四節為分析和結論。

2 CUC2018圖像數據庫的建立方法

為了分析基于機器學習的圖像質量評價模型(ML-IQA)的泛化能力，探究ML-IQA在實際應用場景中的預測準確度，本文建立了CUC2018數據庫來模擬實際應用場景中可能出現的各種各樣的圖片內容。為了模擬實際應用場景的特點，CUC2018滿足以下要求：

(1)真實應用場景中需要對大量不同內容的圖像進行質量評價，因此CUC2018數據庫包含的原始圖像數量要遠大于目前主流圖像數據庫。

(2)CUC2018應包含盡可能多的圖像類型，如人物，風景，建筑，高/低飽和度圖像，高/低空間復雜度圖像等；盡可能多的拍攝方式，如特寫、中景等。

因此本文利用相機拍攝、互聯網下載等方式采集了60幅高清晰度原始圖像，這些圖像的部分縮略圖如圖1所示：

圖1 CUC2018數據庫中部分圖像內容

我們用顏色飽和度均值(Saturation Mean)和空間復雜度(Spatial Information)兩個指標來衡量數據庫所包含圖像的豐富程度，其中顏色飽和度均值通過將圖像轉換至HSV空間并計算S分量的均值得出；空間復雜度通過對圖像亮度分量進行索貝爾濾波并計算濾波后圖像的平方和得到。CUC2018數據庫和TID2018數據庫各原始圖像的SM-SI分布情況如圖2所示，可以看到新建立的CUC2018數據庫的圖像內容要比TID2013更加豐富。

圖2 CUC2018數據庫和TID2013數據庫的圖像內容豐富程度比較

對采集的60幅原始圖像分別進行四種失真程度，四種失真類型(JPEG壓縮、JPEG2000壓縮、高斯模糊、白噪聲)的失真處理，將得到960幅失真圖像。在符合ITU-R BT500[10]的主觀評價實驗室中，我們組織20名打分人員利用單刺激質量標度法[10]對各失真圖像的質量進行估計，最后利用文獻[11]設計的數據處理方法得到各失真圖像的主觀質量分數(Mean Opinion Score，MOS)。

3 基于機器學習的全參考圖像質量評價方法

由于目前并沒有一種全參考圖像質量評價算法(Full Reference Image Quality Assessment，FR-IQA)能夠對所有失真類型的質量評價準確度都優于其它FR-IQA，因此研究人員嘗試利用機器學習的方法將若干預測性能較好的FR-IQA算法的輸出進行綜合，從而得到更加準確的質量估計分數。

我們對目前的基于機器學習的全參考圖像質量評價方法(FRML-IQA)進行總結，設計了三種FRML-IQA框架，其中框架1(FRML1)類似文獻[2]設計的架構，利用機器學習將若干全參考算法的得分直接進行綜合；框架2(FRML2)類似文獻[3]設計的架構，將原始圖像和失真圖像進行多通道分解，在各個通道上分別利用某種全參考算法(如SSIM[12]或FSIM等)計算各通道的質量差異，最后將各通道的質量差異利用機器學習的方法綜合成最終得分；框架3(FRML3)則是FRML1和FRML2的綜合，即原始圖像和失真圖像進行多通道分解后，對每個通道都利用若干個全參考質量評價算法對其進行多維度的質量預測，再將各通道的多維度質量估計值綜合，最后得到質量分數。

由于每一個框架可以利用不同的機器學習方法和多通道分解方法，因此各FRML-IQA框架可以有不同的實現方式，本文對27種ML-IQA算法進行測試，他們的具體實現方式如表1所示：其中機器學習方法可以有支持向量回歸[13](Support Vector Regression，SVR)、神經網絡[14](Neural Network，NN)、隨機森林[15](Random Forest，RF)三種不同選擇；多通道分解方法可以有小波變換[16](Digital Wavelet Transform，DWT)、高斯差分[17](Difference of Gaussian，DoG)、Log-Gabor(LG)[18]、可控金字塔分解[19](steerable Pyramid，Pyr)四種不同選擇。

表1中的命名規則如下，以(18)FRML3-DoG-RF為例，其中FRML3表示采用框架3的整體結構，以高斯差分(DoG)作為多通道分解方法，并以隨機森林(RF)作為回歸工具。

4 實驗設計及實驗結果

為了定量地探究各FRML-IQA算法的泛化能力，本文設計了如圖3所示的泛化能力驗證流程。

我們分兩個階段對各FRML-IQA模型的泛化能力進行探究。在第一階段，被測試的FRML-IQA模型在現存的數據集(TID2013或CSIQ)中進行訓練和測試，數據集(TID2013或CSIQ)被分成訓練集(80%)和測試集(20%)，各FRML-IQA模型首先在測試集進行多次訓練，由于支持向量回歸和神經網絡等機器學習算法的性能對一些參數的取值較為敏感(如支持向量回歸中的懲罰參數C和核函數參數g，以及神經網絡權重的初始值)，各FRML-IQA模型在第一階段中被重復多次進行訓練和測試，從中取測試性能最好的模型參數作為最終參數。具體的說，對于SVR模型，采用網格搜索的方法選擇最優的懲罰參數C和核函數參數g；神經網絡模型分別采用大小為10，15，20，25的隱藏層并分別重復訓練25 次；隨機森林模型分別采用100，150，200，250個決策樹并分別重復訓練25次。

表1 3種FRML-IQA框架的不同實現方法

圖3 FRML-IQA模型的訓練-測試-驗證流程

在第二階段，各FRML-IQA選取在第一階段中測試性能最好的模型參數，對CUC2018中的失真圖像質量進行預測打分，并同CUC2018的主觀數據對比得到預測性能。

各FRML-IQA模型在訓練-測試數據庫中的測試性能以及在CUC2018中的驗證性能如圖4所示。本文共采用皮爾遜線性相關系數(Pearson Linear Correlation Coefficient，PLCC)、斯皮爾曼等級相關系數(Spearman Rand order Coefficient Correlation Coefficient，SRCC)、肯德爾等級相關系數(Kendall Rand order Coefficient Correlation Coefficient，KRCC)、均方誤差(Root Mean Square Error，RMSE)四種指標來衡量各模型的預測性能。圖4中橫坐標為各FRML-IQA模型(橫坐標數字對應于表1中各FRML-IQA模型的序號)，左上，右上，左下、右下四圖分別反應各模型同主觀數據的SRCC，KRCC，PLCC，RMSE。藍色帶加號線條表示各FRML-IQA模型在TID2013數據集中測試-訓練時取得的最優測試性能；紅色帶圓圈線條表示各FRML-IQA模型在TID2013數據庫中訓練-測試并選取到最優模型參數后，在CUC2018數據庫中的驗證性能；黃色帶圓點線條表示各FRML-IQA模型在CSIQ數據庫中訓練-測試時取得的最優測試性能；紫色帶星號線條表示各FRML-IQA模型在CSIQ數據庫中訓練-測試并選取到最優模型參數后，在CUC2018數據庫中的驗證性能。

圖4 各FRML-IQA模型的測試性能和驗證性能

由圖4可以看到，無論采用何種FRML-IQA模型結構，FRML-IQA模型在驗證集CUC2018中的預測準確度要遠遠低于其在訓練-測試集TID2013或CSIQ中的表現。進一步地，我們選取這27個算法中表現最好的算法FRML3-DoG-SVR，將其性能和未采用機器學習的全參考算法(如SSIM，VIF等)進行比較。其性能比較結果如表2所示。

表2FRML3-DoG-SVR和其它全參考算法的性能比較

續表

由表2可以得知，從數據上看FRML3_DoG_SVR的預測性能要略由于傳統不采用機器學習的全參考圖像質量評價算法。但進一步分析表明，這種輕微的預測準確度提升是沒有統計顯著性的。

我們對各算法同主觀分數的RMSE為樣本進行顯著性分析，根據文獻[10]，構建如(1)所示的統計量，如果ξij的絕對值大于F(0.05，n1，n2)即1.124，則兩個算法的RMSE值的差別具有統計顯著性。

(1)

表2所示的16種算法相互間的顯著性差別如圖5所示。

圖5 各算法的RMSE顯著性分析，其中橫、縱坐標的1～16分別表示PSNR，VIF，SSIM，GMSD，FSIM，MAD，VSI，PSNR-HVS，UQI，SR-SSIM，VSNR，IFC，IW-SSIM，MS-SSIM，SFF，FRML3_DoG_SVR

由圖5可以看到，盡管基于機器學習的全參考圖像評價模型FRML3_DoG_SVR的RMSE要低于其它算法，但是其RMSE值同MAD算法的RMSE值并沒有顯著性差別。也就是說，盡管基于機器學習模型的將多種現存算法(包括MAD)進行非線性綜合后可以在訓練集取得非常好的性能提升，但這種性能提升在驗證集中并不明顯，其預測結果和主觀值的RMSE甚至同MAD相比沒有顯著性差別。

5 結語

通過以上實驗可以發現，基于機器學習的全參考圖像質量評價模型確實可以在訓練集和測試集上取得很高的預測準確性，但如果利用在給定數據庫(TID2013或CSIQ)中訓練好的FRML-IQA模型去預測新的數據庫(如CUC2018)中失真圖像的質量分數，FRML-IQA模型的預測準確度明顯下降，甚至同MAD算法沒有顯著性差別。

也就是說，現有的FRML-IQA模型的泛化能力有限，很難被應用于實際的圖像質量評價場景中。因為在真實的圖像質量評價場景中，質量評價模型需要對大量沒有出現在訓練集中的失真圖像進行質量估計，而從實驗結果來看，同MAD，FSIM相比，FRML-IQA模型顯然不具有明顯的優勢。

因此研究人員在設計圖像質量評價模型時，可以將機器學習技術用于質量相關特征的提取等方面，而應盡量避免將帶有主觀分數的圖像數據庫直接作為訓練集。另外，如果必須將圖像數據庫直接作為訓練集，也可采用弱監督或有噪學習的訓練方法來保證模型的泛化能力，我們將在后續工作中對其進行詳細介紹。