基于稀疏表示的無參考型超分辨圖像質量評價方法

張婷悅，張凱兵

(西安工程大學 電子信息學院，陜西 西安 710048)

0 引 言

圖像分辨率是評價圖像的重要指標。一般而言，圖像分辨率越高，所承載的信息越豐富，視覺質量越高。圖像超分辨是一種有效提高圖像分辨率的技術，該技術能突破成像設備物理分辨率的限制，生成具有豐富更多細節的超分辨圖像[1]。因此，如何評價超分辨圖像質量，進而優化超分辨重建算法，對研究圖像超分辨技術尤為重要[2-3]。

根據評價主體的不同，圖像質量評價(image quality assessment, IQA)方法可分為主觀質量評價和客觀質量評價。主觀質量評價在規定實驗情境下對多位觀測者給出的質量評分進行處理，將MOS作為超分辨圖像的質量。該方法可信度高，但費時費力，一般不能在圖像超分辨重建系統中直接應用[4]。客觀質量評價方法通過設計計算模型對超分辨圖像質量進行自動評價。根據評價過程中所用到的原始圖像信息的多少，大體分為全參考型(full-reference, FR)、部分參考型(reduced-reference, RR)和無參考型(no-reference, NR)[5]3種類型。峰值信噪比(peak signal to noise ratio, PSNR)和結構相似性(structural similarity, SSIM)[6]是廣泛應用于評價超分辨圖像的質量，不過這2種指標在評價超分辨圖像質量時，沒有考慮超分辨圖像的自然度，評價結果與人類主觀感知質量的一致性較差[7]。由于FR-IQA和RR-IQA在評價超分辨圖像質量時，均需要原始圖像或原始圖像的部分信息，然而，在實際中原始高分辨圖像難以獲得，使得FR-IQA和RR-IQA方法不適合用于評價超分辨圖像的質量。

相比之下，NR-IQA方法在評價圖像質量時，不需要原始圖像作為參考。LIU等提出了空間光譜熵質量(spatial-spectral entropy-based quality, SSEQ)方法[8]，該方法提取失真圖像中的局部空間和光譜熵特征度量圖像失真程度，使用支持向量回歸預測圖像質量分數。SAAD等提出BLIINDS-Ⅱ方法[9]，利用多元高斯分布模型對從失真圖像中提取到的離散余弦變換(discrete cosine transform, DCT)統計域特征進行擬合，利用建立的分布模型預測圖像質量分數。KANG等提出了一個5層的卷積網絡模型預測圖像的失真程度[10]。盡管上述方法在自然圖像數據庫上能有效地反映出圖像的失真程度，然而，利用自然圖像質量評價方法并不能適用于超分辨圖像的質量評價。相比于自然圖像的失真，超分辨圖像的失真呈多樣化，不同超分辨算法生成的超分辨圖像包含不同類型的失真。針對超分辨圖像，MA等提出了一種基于隨機森林回歸和脊回歸的2層超分辨圖像質量評價模型[11]。BARE等根據殘差網絡的特性[12]，構建了一種基于跨連接的超分辨圖像質量評價方法。文獻[13]在AlexNet基礎上[14]，構建了一個基于紋理特征和結構特征的雙流網絡，實現超分辨圖像質量評價。在大量的訓練樣本可用的情況下，基于深度學習的IQA方法能取得很好的評價性能。然而，在訓練樣本不足的情況下，基于深度學習的質量評價模型容易導致過擬合。

由于人類視覺感知系統具有稀疏性，人眼在評價圖像質量時，并不考慮圖像的全部信息，而是根據某些區域的退化程度來判斷圖像質量的好壞,基于人類視覺系統的上述特性，本文提出了一種基于稀疏表示的NR-SRIQA方法。在訓練階段，該方法從超分辨圖像中提取影響圖像質量變化的感知統計特征表征圖像質量，利用超分辨圖像訓練集特征和MOS構成超完備字典。在評價圖像質量時，將測試集中超分辨圖像的感知特征表示為超完備字典中少數基原子的稀疏線性組合，利用得到的稀疏表示系數對相關原子的MOS進行加權求和，即為測試集中超分辨圖像的預測分數。

1 稀疏表示

人類視覺系統對于圖像信息感知具有稀疏性[15]。本文利用稀疏表示模型建立超分辨圖像的質量評價模型。

1.1 稀疏表示方法

基于稀疏表示的超分辨圖像質量評價方法首先構造由超分辨圖像的視覺感知特征和MOS主觀質量分數構成的超完備字典[16]：

M=[m1,m2,…,mi,…,mk]

(1)

D=[x1,x2,…,xi,…,xk]

(2)

式中：M為訓練集圖像對應的MOS;mi∈R為第i幅超分辨圖像的主觀質量分數；k為原子的總個數；D為提取訓練集圖像特征構造得到的超完備字典；xi∈Rn是字典D中的第i個原子，對應于訓練集中第i幅圖像的視覺統計特征。基于信號的稀疏表示理論，可以用字典中基原子的稀疏線性組合重構測試圖像的特征，其代價目標函數表示為

(3)

式中：y為測試圖像的視覺統計特征;DαT為字典與稀疏表示系數重構的特征；λ為用于平衡重構誤差與稀疏度的正則化參數；‖·‖1為l1范數。通過求解滿足式(3)的稀疏表示系數α，利用稀疏表示系數對M進行線性加權，即可得到測試圖像的預測質量分數為

S=Mα

(4)

式中：S為測試圖像的預測質量分數。

1.2 稀疏表示模型

本文提出的超分辨圖像質量評價方法的總體框架如圖1所示。

圖 1 基于稀疏表示的無參考型超分辨圖像 質量評價方法的總體框架Fig.1 Framework of NR-SRIQA based on sparse representation

由圖1，本文方法分為訓練和測試2個階段。在學習過程中，將數據庫中的圖像進行隨機劃分，將80%的圖像用作訓練，20%的圖像用作測試。

在訓練階段，首先提取訓練集中超分辨圖像的視覺感知統計特征，分別將提取的視覺統計特征和對應的主觀質量構成超完備字典D和M，且D中的每個列向量對應從訓練集中提取的超分辨圖像視覺統計特征。

在測試階段，任意給定一幅測試圖像，首先提取視覺感知特征向量y，然后求解其關于D的稀疏表示系數α，利用得到的稀疏表示系數對M進行稀疏線性組合，即為測試圖像的預測分數。通過分析測試集圖像的預測分數與MOS之間的誤差，調整模型參數λ，使建立的超分辨圖像質量評價模型的預測效果達到最優。

1.3 視覺感知特征

提取能有效反映超分辨圖像質量的視覺感知統計特征，是建立與人類視覺感知質量具有較好一致性的質量評價模型的首要關鍵問題。為有效表征超分辨圖像質量，本文選取局部頻域特征和全局頻域特征進行融合，以構造超完備字典。

局部頻域特征f1：將超分辨圖像從空間域轉換到DCT域，通過廣義高斯分布擬合DCT系數，表示為

(5)

全局頻域特征f2：采用高斯尺度混合模型(Gaussian scale mixture，GSM)擬合鄰域小波帶的小波系數，用于描述自然圖像的邊緣和聯合統計特征[17]，從而構成45維的全局頻域特征f2。

對局部頻域特征和全局頻域特征按如式(6)進行特征融合，用于表征超分辨圖像的質量，即：

F=[f1f2]

(6)

通過融合局部頻域特征和全局頻域特征表示超分辨圖像的質量，有利于獲得與人眼感知質量具有更好一致性的質量評價模型。在基于稀疏表示的超分辨質量評價模型中，正則參數λ的大小影響稀疏表示解向量中非零元素的個數，從而對質量預測模型的精度具有一定的影響。如果λ過大，α中非零元素較少，則建立的質量評價模型預測的質量分數與實際MOS相差較大；反之，中非零元素較多，會導致模型過擬合，而且會增加質量評價模型的計算復雜度。經過參數選擇實驗，本文選定正則參數λ為0.01。

2 實驗結果及分析

本文使用文獻[11]建立的超分辨圖像數據庫和文獻[4]建立的超分辨圖像質量評價數據庫(quality assessment database for SRIs, QADS)驗證所提出的NR-SRIQA方法的有效性，并對實驗結果進行比較和分析。

2.1 超分辨圖像數據庫

文獻[11]的超分辨圖像數據庫從伯克利分割數據庫(Berkeley segmentation dataset, BSD200)[18]中選取30幅具有代表性的高分辨率圖像，通過下采樣和模糊運算將原始圖像退化為低分辨圖像，利用Yang13[19]、Yang10[20]、Dong[21]、SRCNN[22]、BP[23]、Glasner[24]、Tim13[25]、雙立法插值和Shan[26]9種超分辨算法，6種不同的放大因子(2、3、4、5、6、8)和6種不同高斯核(0.8、1.0、1.2、1.6、1.8、2.0)，生成1 620幅超分辨圖像。對生成的超分辨圖像進行主觀質量評價實驗。在一個高分辨率的播放器上每次同時播放同一幅低分辨圖像(利用9種不同的超分辨算法生成的超分辨圖像)，受試者被要求基于視覺偏好給出[0，10]的分數。每幅圖像收集50個分數，去掉10個離群值求剩余40個分數的均值，作為對應超分辨圖像的MOS值。

QADS的原始圖像來源于多損失圖像數據庫(multiply distorted image database, MDID)[27]，從該數據庫中選擇具有較大范圍空間信息和色彩信息的20幅高分辨率圖像進行實驗。所有參考圖像分辨率為504×384。對高分辨率圖像， 分別使用3種不同的尺度因子k(k=2,3,4)進行雙立方下采樣得到對應的低分辨率圖像，使用21種超分辨算法(包括4種基于插值的方法，11種基于字典的方法和6種基于深度學習的方法)生成超分辨圖像。對生成的超分辨圖像裁剪為500×380的分辨率。QADS共980幅超分辨圖像，由100個受試者參與主觀實驗，去掉主觀質量評分的離群值后平均得到MOS值。

2.2 評價指標

準確性指標：使用均方根誤差(root squared error, RMSE)計算MOS和算法預測分數之間的均方根誤差，該值越小，則代表預測的質量越準確[4]。

相關性指標：使用皮爾遜線性相關系數(Pearson linear correlation coefficient, PLCC)計算預測分數和MOS之間的相關性，該值越大就表明質量評價算法的性能越好。

單調性的指標：Spearman秩相關系數(Spearman′s rank ordered correlation coefficient, SROCC)分別將預測分數和MOS按照升序排列，通過分析圖像在2個數據集中序號之間的關系來評價超分辨圖像質量評價方法的性能。而Kendall秩相關系數(Kendall rank ordered correlation coefficient, KROCC)通過對比2個數據集中序號一致的圖像數量和序號不一致的圖像數量之間的相關性來評價預測分數與MOS之間的單調性，從而度量超分辨圖像質量評價算法的性能。SROCC和KROCC 2種指標值的范圍為[0, 1]，它們的值越大，則表明質量評價算法的性能越好。

2.3 特征融合實驗

為驗證融合局部頻域特征和全局頻域特征對超分辨質量評價的有效性，分別將融合特征和單獨使用局部頻域特征和全局頻域特構造3個不同的超完備字典。表1給出了3種特征在超分辨圖像數據庫上實驗對比結果。

表 1 特征融合實驗Tab.1 Experiment of feature fusion

由表1的對比結果可以看出，與全局頻域特征相比，局部頻域特征具有較好的性能，而將局部頻域特征和全局頻域特征進行融合后獲得的性能優于單個特征構造超完備字典建立評價模型的性能，能獲得與人類視覺感知質量一致性更高的評價結果。

2.4 不同方法的對比實驗

為進一步驗證基于稀疏表示的超分辨圖像質量評價方法的有效性，使用文獻[11]和QADS 2個超分辨質量評價數據庫進行對比實驗，對比方法包括2種FR-IQA方法SSIM、FSIM[28]和3種NR-IQA方法SSEQ、BLIINDS-Ⅱ、文獻[11]方法。其中SSIM方法是文獻[6]提出的圖像結構相似性評價方法，該方法綜合考慮了原始圖像和失真圖像之間的亮度、對比度以及局部結構3方面的相似度來量化失真圖像的質量分數。文獻[28]在SSIM的基礎上，將失真圖像分塊，提取塊的相位一致性和梯度特征信息并計算相似度，使用相位信息加權塊圖像的相似度計算整體圖像的質量分數。SSIM、FSIM直接對超分辨圖像和原始圖像進行計算，將預測的分數歸一化后計算評價指標。

SSEQ、BLIINDS-Ⅱ、文獻[11]方法以及本文方法使用五倍交叉[5]。五倍交叉驗證將數據集均勻分成5份，分別使用其中4份作為訓練集，剩余1份作為測試集。循環5次后，樣本中的每個數據都被預測了1次，最終可以得到整個數據庫的預測結果。表2給出了在超分辨圖像數據庫上的對比實驗結果，表3給出了在QADS上的對比實驗結果。

表 2 文獻[11]超分辨圖像數據庫上的質量評價 算法的性能比較Tab.2 Comparative result of different IQA methods on the super-resolution image database of reference[11]

表 3 QADS上質量評價算法的性能比較Tab.3 Comparative result of different IQA methods on the QADS

從表2和表3的實驗結果可以看出，相比于FR-IQA方法，NR-IQA方法均能獲得更優的評價效果。這是由于FR-IQA方法只考慮了參考圖像和超分辨圖像之間的相似性度量，忽略了與人類主觀感知的一致性因素。在另外4種NR-IQA方法中，除在RMSE指標上略低于文獻[11]方法外，本文提出的基于稀疏表示的NR-SRIQA方法的性能均優于其他方法。而且相比文獻[11]方法，本文方法在性能指標上具有明顯的優勢。需要注意的是，QADS的主觀質量分數在[0, 1]之間，為便于比較，將MOS值放大到[0, 10]。由于QADS中的樣本數量較少、樣本類型復雜，對本文方法的正則參數進行微調，λ選為0.011。在表3中，盡管本文方法性能有所下降，仍具有一定的優勢。在相關性和單調性的指標上都高于文獻[11]方法。

為定性分析不同質量評價模型的預測分數與主觀分數之間的一致性，圖2和圖3分別給出了這6種方法在文獻[11]超分辨圖像數據庫和QADS上的散點圖。

(a)SSIM (b)FSIM (c)SSEQ

(d)BLIINDS-Ⅱ (e)文獻[11]方法 (f)本文方法圖 2 超分辨圖像數據集上質量評價算法預測圖像質量的散點圖Fig.2 Scatter plot of image quality predicted by quality evaluation algorithm on the super-resolution image database

(a)SSIM (b)FSIM (c)SSEQ

(d)BLIINDS-Ⅱ (e)文獻[11]方法 (f)本文方法圖 3 QADS上質量評價算法預測圖像質量的散點圖Fig.3 Scatter plot of image quality predicted by quality evaluation algorithm on QADS

在圖2和圖3的散點圖中，藍色點代表樣本點，橫軸是超分辨圖像的主觀質量分數,即MOS值，縱軸代表不同IQA算法預測的質量分數。散點圖中紅色直線反映了樣本點的線性擬合情況，如果預測分數和MOS越一致，則樣本點越靠近擬合直線y=x。從圖2結果可以看出，相比于FR-IQA方法，基于NR-IQA的方法(如圖2(c)～(f))中樣本點更靠近擬合直線，預測的質量分數與MOS的一致性更好。而在所有對比結果中，本文方法的散點圖2(f)和圖3(f)中的樣本點分布最靠近擬合直線，離群點明顯少于其他方法。對比圖3和圖2得出，在QADS上，各種方法的性能均會有所下降，但本文方法的結果仍優于其他方法。上述2個不同的超分辨圖像質量評價數據庫上的對比結果可以明顯看出，基于稀疏表示的NR-SRIQA模型所獲得的質量分數與人類視覺感知質量一致性最好，在總體性能上均優于其他方法。

3 結 語

針對NR-SRIQA任務，提出了一種基于稀疏表示的NR-SRIQA方法。該方法通過建立超分辨圖像的視覺感知特征與其MOS一一對應的超完備字典，將測試超分辨圖像的視覺統計特征表示為該字典中基原子的稀疏線性組合，利用獲得的稀疏表示系數與相關字典原子的線性組合預測超分辨圖像的質量。實驗結果表明，本文提出的方法能獲得與人類視覺感知質量較好的一致性。在未來的研究中，該方法可以考慮對2個方面加以改進：一是利用深度神經網絡學習超分辨圖像中更符合人眼稀疏特性的視覺特征構建超完備字典；二是增加數據庫的樣本數量和類型，提升超完備字典中基原子的表征能力，以提高模型的泛化能力。