基于稀疏系數和FV向量的圖像質量評價

李博文，范賜恩，顏 佳，馮天鵬

(武漢大學 電子信息學院，湖北 武漢 430072)

0 引 言

圖像質量評價(image quality assessment，IQA)領域是指面對海量有待評價的圖像數據，主觀評價手段費時耗力，不具備可行性，應該采用客觀圖像質量評價方法，利用計算機代替人類對圖像質量進行正確評估。其中不需要任何參考信息的無參考(no-reference，NR)圖像質量評價算法存在更大潛在的提升空間和實用價值。現有的NR-IQA模型大致可分為兩類：特定失真型(distortion-speci-fic)方法和通用型(distortion-generic)方法。通用型模型旨在處理多個，可能存在未知失真的實際問題。通用型算法大體遵循兩種趨勢：①自然場景統計特性(natural scene statistics，NSS)[1,2]：其依賴于尋求測試圖像與自然圖像子空間的距離[3]。②基于訓練的方法[4,5]：通過學習一個高維特征空間到一個標量質量值的映射關系來評估圖像質量。文獻[6]利用卷積神經網絡(convolutional neural networks，CNN)直接對數據庫圖像塊進行預測模型訓練，特征提取和預測在同一網絡中完成。CNN作為特征提取算子，在網絡的層數以及特征定位的層數需要消耗巨大的運行時間。文獻[7]提出了一種稱之為CORNIA的無監督特征學習算法，提出Max-Pooling池化的降維方式丟掉了大部分的系數特征信息。此外，這類基于訓練的算法有些還會因為字典基數大，增加計算的復雜性，不能很好地適用于實際應用場景中。

本文采用顯著性圖像塊建立稀疏編碼字典，去除原始的冗余圖像塊，并提出了一種基于稀疏系數和Fisher向量的無參考圖像質量評價方法。該算法應用小尺度稀疏編碼字典就可以取得和大尺度字典相當的效果，并且用Fisher向量對稀疏表達系數編碼，能更加全面保留系數矩陣各個維度上的特征信息。實驗結果表明，預測過程符合人眼視覺系統感知圖像質量的過程，得到的客觀評價結果與主觀評價結果具有良好的一致性。

1 顯著性局部特征描述子提取

對于一幅圖像，人們往往只關注其場景中的部分信息，例如場景中的物體、物體的輪廓和物體環境的上下文等信息，這反映了人類視覺系統(human visual system，HVS)的視覺關注特性。為了讓機器也能實現對視覺感興趣區或顯著性焦點的自動視覺關注，獲取圖像顯著性信息是最為基礎的一步，它不僅有助于剔除圖像冗余信息，而且能夠為其它應用領域提供圖像顯著性參考標準，從而提高應用領域的算法效率并降低算法復雜度。在圖像顯著性區域定位時，通常選擇顯著圖作為一個表征圖像像素顯著性的標量去執行定位操作。顯著圖能夠有效剔除冗余信息，在圖像質量評價領域，顯著性信息往往作為圖像預處理過程中的輔助量被使用，目前很多結合了圖像顯著性信息的客觀質量評價方法[8,9]均獲得了很好的評價效果。本文采用文獻[10]的譜殘差法(spectral residua，SR)輔助完成圖像預處理操作，實驗發現應用了顯著性檢測之后，小尺寸字典能夠在同等條件下取得更好的實驗效果。

圖1顯示了同一幅圖片在不同失真類型下，用SR算法提取顯著性圖像塊的過程。其中，第一行是LIVE庫[11]中的原始圖像(從左到右失真情況：無失真、白噪聲失真、JP2K失真、JPEG失真)，第二行是經過SR算法之后的顯著圖，第三行框中區域是提取出來的顯著性圖像塊，即顯著性局部特征描述子。

圖1 SR算法對不同類型失真圖像提取顯著性圖像塊的過程

2 基于稀疏系數和Fisher向量的無參考圖像質量評價方法

2.1 稀疏字典訓練

圖像經過稀疏編碼后得到的編碼系數近似模擬了人類大腦皮層V1區簡單細胞的感受特性，編碼系數的稀疏性也符合HVS的稀疏表達特性，而求解圖像的稀疏編碼系數首先要構建合適的字典。字典如同大腦的神經元，按不同約束條件訓練出來的字典會直接決定信號稀疏表達的效率。例如，在基于聚類方法或獨立成分分析(independent component analysis，ICA)方法構建的字典上，對輸入信號進行稀疏編碼，獲得的編碼系數的稀疏性較低，這是因為聚類或ICA方法學習的字典不能很好地描述V1區簡單細胞的三大特性(局部性、方向性、帶通特性)，編碼系數在字典上的重建圖樣容易丟失細節信息和紋理結構信息。本文通過稀疏編碼方法同時訓練超完備字典和計算稀疏系數，最后提取圖像稀疏特征。假設從字典訓練集中提取了M個尺寸為B*B的顯著性圖像塊，對圖像塊矩陣進行向量化、歸一化和ZCA白化操作，得到局部特征描述子矩陣X={x1,x2,…,xM}∈RD×M， 對描述子進行稀疏編碼的字典訓練，目標函數為

(1)

2.2 稀疏表達求解

(2)

圖3展示了一幅輸入圖像稀疏表達系數的求解過程，(B)顯示了稀疏表達系數矩陣的三維散點圖。實驗對比不同失真圖像稀疏系數矩陣的三維散點圖，發現不同的失真程度影響了稀疏編碼系數的空間分布規律，稀疏系數隨著失真程度的增加呈現出越來越離散的特性，從稀疏系數中提取的特征具有量化圖像質量的能力。

圖2 稀疏編碼字典的訓練過程

圖3 稀疏表達系數求解過程

2.3 Fisher向量編碼稀疏系數

2.3.1 高斯混合模型

高斯混合模型的定義為

(3)

其中，x∈RKα，x表示某個局部特征描述子在超完備字典C上的稀疏表示系數；(Θ;X)是用高斯混合模型擬合數據時常用的最大似然函數。該模型重要參數見表1，其參數集為Θ∈{πk,μk,Σk;k=1,…,Kβ}。

表1 高斯混合模型參數說明

2.3.2 Fisher向量編碼

Fisher向量通常用作池化圖像局部特征后的圖像描述算子。它可以看作是Fisher核的特殊或近似表示。假設X=(x1,…,xN) 是一組Kα維特征向量的集合。高斯混合模型的參數集是Θ∈{πk,μk,Σk;k=1,…,Kβ}， 那么每個特征向量xi在第k個模型上的權重可由下列的后驗概率給出

(4)

此時第j維 (j∈{1,2,…,Kα}) 特征在第k個高斯模型上的均值偏移μjk和協方差偏移νjk為

(5)

(6)

3 實驗結果與分析

3.1 實驗數據集與實驗細節

本文選取LIVE[11]、CSIQ[12]、TID2013[13]作為本文圖像質量評價方法(SCAFV)的實驗數據庫。LIVE庫具有5種失真類型，由29個不同場景的982張圖片組成；CSIQ庫具有6種失真類型，由30個不同場景的866張圖片組成；TID2013庫具有24種失真類型，由25個不同場景的3000張圖片組成。其中JPEG2000壓縮、JPEG壓縮、高斯模糊、白噪聲這4種失真類型為3個庫所共有，為了使基于稀疏編碼的字典能夠高效地表達這3個庫中所有的失真類型，訓練字典的樣本集合需盡量涵蓋庫中大多數的失真類型，而對圖像場景沒有要求。實驗從3個數據庫中隨機抽取了150張圖像構成字典學習集合，其中也可能包括一些無失真圖像，這種字典學習集合能夠訓練出更具一般性的超完備字典，統一使用此字典完成本文算法在不同數據庫上的性能評估實驗。為了全面驗證SCAFV的主客觀一致性，我們首先在 LIVE 庫上對SCAFV的重要參數和關鍵模型進行了討論，然后在 LIVE、CSIQ、TID2013數據庫上進行了一系列實驗。

本文選擇 Spearman等級相關系數(spearman rank order correlation coefficient，SROCC)、Pearson線性相關系數(Pearson linear correlation coefficient，LCC)、均方根誤差(root mean square error，RMSE)這3種指標來對SCAFV的性能進行評估。SROCC衡量質量評價算法客觀預測的單調性，LCC、RMSE衡量質量評價算法客觀預測的準確性。SROCC、LCC最大值為1，最小值為-1，SROCC值越大說明模型的單調性越好，LCC值越大說明模型預測準確性越高。RMSE則相反，值越小說明模型預測準確性越高。

在評價模型構建中，本章SCAFV評價方法的實驗結果均由SCAFV+SVR模型提供，本文使用LibSVM-3.18工具箱完成線性epsilon-SVR預測模型的訓練，其中，設置損失函數懲罰因子C為1，λ為0.5。

實驗硬件平臺為：Intel Core i7-4790 CPU @ 3.60 GHz，8GB RAM，配有NVIDIA Geforce GTX 980M圖形處理器。軟件平臺為：64位Windows7操作系統，MATLAB(R2014a)等。若沒做特別說明，均采用80%樣本訓練，20%樣本測試的策略。

3.2 參數設置

本算法中稀疏編碼超完備字典尺寸Kα和Fisher向量中用到的高斯混合模型類數Kβ是需要調節的變量，本文的做法是：先用參考文獻[7]中的特征各維最大匯總(Max-Pooling)進行實驗，確定稀疏編碼超完備字典尺寸Kα；在確定Kα以后，調節Fisher向量中的高斯混合模型類數Kβ。實驗對比了3個評估標準(SROCC、LCC、RMSE)在LIVE庫上的實驗結果，每一組對照不同的字典尺寸，包括200、500、1000、2000、3000、4000、5000。實驗發現，應用SR顯著性檢測算法之后，從顯著性圖像塊構建而來的小尺寸字典可以代替大尺寸字典，當稀疏編碼字典個數到4000時(此時Fisher向量中用到的高斯混合模型類數Kβ=16)，效果趨于穩定。相比于參考文獻[7]，本算法的小尺寸字典可以達到與之相當的實驗效果，這也是本算法的優勢所在。

3.3 實驗結果分析

該部分選取了當前比較主流的無參考圖像質量評價算法進行對比分析。其中包括兩種不需要知道人工打分的算法：QAC、IL-NIQE，和5種需要知道人工打分的算法：BIQI、DIIVINE、BLIINDS2、BRISQUE、CORNIA。本文在LIVE、CSIQ和TID2013數據庫按80%訓練-20%測試比例在樣本中隨機選取，并將執行了1000次測試后的SROCC、LCC中值結果匯總在表2中。

從表2可以看出，本文算法SCAFV在LIVE 庫和TID2013庫上的評價效果要優于其它算法，通過與CORNIA的實驗結果進行比較可知，在字典原子個數相同情況下，SCAFV指標的實驗結果幾乎要全面優于CORNIA，證實符合HVS視覺注意特性和稀疏表達特性的SCAFV評價方法能獲得更好的主客觀一致性。雖然SCAFV在CSIQ庫上的測試結果沒有在LIVE庫和TID2013庫上理想，但是SROCC值仍然較高，說明本算法仍能保持很高的主客觀一致性。在CSIQ庫上的LCC值還有待提升，這是因為CSIQ庫中每種失真類型樣本之間失真程度的差距比較小，對于失真程度差距小的樣本集，訓練回歸模型時會遇到特征線性可分性差的情況，從而導致模型預測時出現一定偏差。此外，在訓練超完備字典的150張樣本中，有46張樣本來自TID2013，這46張樣本幾乎涵蓋了TID2013上所有失真類型，因此SCAFV對這些失真能夠很好地描述，這也說明SCAFV雖然對數據庫具有很好的可擴展性，即對各種失真類型保持了很好的預測效果，但這需要建立在一個前提條件下：計算編碼系數的超完備字典盡量描述到場景中各種類型的信息，而此條件實際上很難得到滿足，這也是基于碼本方法的缺點所在。

表2 各算法在各數據庫上執行1000次隨機訓練-測試的中值結果

3.4 跨數據庫實驗及時間復雜度分析

前面實驗的訓練-預測均在單獨數據庫上完成，而本節將測試SCAFV方法的跨數據庫性能。跨數據庫實驗是為了評估算法對數據庫的獨立性，具體操作方式是在某一數據庫上訓練預測模型，而在其它庫上進行質量評估，即訓練和測試分別在兩個不同的數據庫上完成。數據庫的獨立性能夠反映算法的泛化能力，而泛化能力又是衡量算法好壞的一個重要指標，因此，十分有必要對質量評價模型進行跨數據庫實驗。

本節針對SCAFV評價方法的跨數據庫實驗在LIVE和CSIQ庫上完成。這是因為LIVE庫和CSIQ庫之間樣本的場景信息完全不同，且LIVE庫中每種失真類型對應樣本之間的失真程度差異較大，而CSIQ庫中樣本的失真差異較小，因此基于這兩種數據庫的實驗結果更具說服力。表3列出了在LIVE庫訓練，在CSIQ庫測試的SROCC和LCC結果，可以看出本文算法在跨數據庫測試中，也能取得較好的效果。

表3 數據庫獨立性測試：在LIVE庫訓練，在CSIQ庫測試

時間的復雜度往往決定著算法的實用價值，表4給出了各算法在一幅512×512彩色圖像上的平均耗時。由于算法中的訓練部分以及聚類部分都可以在線下完成，所以本文主要討論圖像預處理和特征提取上所耗費的時間。本算法的時間開銷主要在顯著性圖像塊的提取和ZCA白化等預處理操作，利用Fisher向量對稀疏系數進行編碼的時間可忽略不計(應用了VLFEAT庫中高度優化過的編碼函數)，算法耗時約3 s左右。分析可知，本算法在時間性能優越的同時也取得了較好的圖像質量評價效果。

表4 各算法平均耗時對比

4 結束語

本文針對現有無參考圖像質量評價領域存在的字典基數大、特征描述不全面等缺點，提出了一種稱為SCAFV的特征提取算子。SCAFV利用顯著性信息輔助篩選圖像塊并生成顯著性局部特征描述子，有效剔除了圖像冗余信息，論證了結合顯著性檢測后，建立小尺寸字典也能達到高效的預測結果。隨后，利用稀疏編碼算法訓練字典并計算編碼系數，相比聚類和主成分分析的字典，編碼系數的高度稀疏性更符合HVS稀疏表達特性，能夠提高質量預測性能。另外，在特征提取階段，SCAFV評價方法采用Fisher向量進行特征編碼，使從稀疏系數中得到的特征既能保留系數局部最優信息，又能較完整地保留各個維度的系數信息。最終通過epsilon-SVR算法訓練預測模型實現對圖像質量的精確評估。在LIVE、CSIQ、TID2013庫的實驗結果表明，其預測性能不弱于目前比較優秀的評價方法，跨數據庫實驗部分驗證本算法具有不錯的泛化能力。

[1]Saad M A,Bovik A C.Blind image quality assessment:A na-tural scene statistics approach in the DCT domain[J].IEEE Transactions on Image Processing,2012,21(8):3339-3352.

[2]Mittal A,Moorthy A K,Bovik A C.No-reference image qua-lity assessment in the spatial domain[J].IEEE Transactions on Image Processing,2012,21(12):4695-4708.

[3]YANG Lingxian,CHEN Heping,CHEN Li.Model of no reference image quality assessment based on steerable pyramid[J].Computer Engineering and Design,2013,34(8):2769-2773(in Chinese).[楊玲賢,陳和平,陳黎.基于可控金字塔的無參考圖像質量評價模型[J].計算機工程與設計,2013,34(8):2769-2773.]

[4]Ye P,Doermann D.No-reference image quality assessment using visual codebooks[J].IEEE Transactions on Image Processing,2012,21(7):3129-3138.

[5]Tang H,Joshi N,Kapoor A.Blind image quality assessment using semi-supervised rectifier networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE,2014:2877-2884.

[6]Kang L,Ye P,Li Y,et al.Convolutional neural networks for no-reference image quality assessment[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE,2014:1733-1740.

[7]Ye P,Kumar J,Kang L,et al.Unsupervised feature learning framework for no-reference image quality assessment[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Rhode Island,America:IEEE,2012:1098-1105.

[8]Wei Z,Borji A,Zhou W,et al.The application of visual salie-ncy models in objective image quality assessment:A statistical evaluation[J].IEEE Transactions on Neural Networks & Learning Systems,2016,27(6):1266.

[9]Hong Z,Ren F,Ding Y.Saliency-based feature learning for no-reference image quality assessment[C]//Proceedings of the IEEE International Conference on Green Computing and Communications.Beijing:IEEE,2013:1790-1794.

[10]Feng Tianpeng,Deng Dexiang,Yan Jia,et al.Sparse representation of salient regions for no-reference image quality assessment[J].Internal Journal of Advanced Robotic Systems,2016,13:1-11.

[11]Sheikh H R,Wang Z,Cormack L,et al.LIVE image quality assessment database release2[EB/OL].[2017-03-15].http://live.ece.utexas.edu/research/quality/.

[12]Larson E C,Chandler D M.Most apparent distortion:Full-reference image quality assessment and the role of strategy[J].Journal of Electronic Imaging,2010,19(1):011006.

[13]Ponomarenko N,Ieremeiev O,Lukin V,et al.Color image database TID2013:Peculiarities and preliminary results[C]//4th European Workshop on Visual Information Proces-sing,2013:106-111.