應(yīng)用多層感知機(jī)回歸的無參考型超分辨圖像質(zhì)量評價

朱丹妮，許小華，賀靜婧，王 晨，張凱兵

(1.延安職業(yè)技術(shù)學(xué)院 網(wǎng)絡(luò)信息中心，陜西 延安 716000；2.延安職業(yè)技術(shù)學(xué)院 公共教學(xué)部，陜西 延安 716000；3.延安職業(yè)技術(shù)學(xué)院 經(jīng)濟(jì)管理系，陜西 延安 716000；4.西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048)

0 引 言

當(dāng)今社會，人們對相機(jī)、手機(jī)等設(shè)備的圖像分辨率要求越來越高，利用超分辨來提高圖像分辨率的技術(shù)越來越受到關(guān)注。圖像超分辨率是一種利用一幅或多幅低分辨率圖像重建出一幅具有更多紋理細(xì)節(jié)的高分辨率圖像的圖像恢復(fù)技術(shù)，該技術(shù)在公共安全、醫(yī)療影像等多個領(lǐng)域具有廣闊的應(yīng)用前景[1-2]。因此，如何評價超分辨重建圖像的質(zhì)量, 進(jìn)而評價不同超分辨重建算法變得非常重要[3]。

根據(jù)評價主體的不同，評價圖像的方法包括主觀質(zhì)量評價和客觀質(zhì)量評價。由于主觀質(zhì)量評價方法無法運(yùn)用數(shù)學(xué)模型對其進(jìn)行描述，因此客觀質(zhì)量評價方法在實(shí)際中更具有研究價值。客觀質(zhì)量評價旨在通過算法自動實(shí)現(xiàn)圖像的質(zhì)量評價。根據(jù)所需原始圖像信息的多少，客觀質(zhì)量評價方法可以劃分為全參考型圖像質(zhì)量評價(full reference image quality assessment，F(xiàn)R-IQA)、部分參考型圖像質(zhì)量評價(reduced reference image quality assessment，RR-IQA)和無參考型圖像質(zhì)量評價(no-reference image quality assessment，NR-IQA)3大類評價方法[4-5]。目前，在圖像超分辨重建領(lǐng)域，峰值信噪比(peak signal-to-noise-ratio, PSNR)和結(jié)構(gòu)相似度(structural similarity, SSIM)等指標(biāo)被廣泛用于評價超分辨圖像的質(zhì)量。然而，這些傳統(tǒng)方法的評價結(jié)果與主觀感知的一致性較差[6]。此外，在采用FR-IQA和RR-IQA方法評價超分辨圖像時，都需要獲取原始高質(zhì)量圖像的信息作為參考，但在實(shí)際應(yīng)用中，獲取原始高質(zhì)量圖像需要付出很大代價，有時甚至無法獲取。因此利用NR-IQA方法評價圖像受到更多研究人員的青睞。

NR-IQA旨在不依靠原始的參考圖像，直接對圖像視覺質(zhì)量進(jìn)行評估[7-11]。針對超分辨圖像，研究人員從不同技術(shù)角度預(yù)測超分辨圖像的質(zhì)量[12-13]。比如，黃慧娟等提出根據(jù)奇異值分解度量超分辨圖像質(zhì)量[14]。YEGANEH等從頻域和空域建立概率統(tǒng)計模型，并將其轉(zhuǎn)化為超分辨圖像質(zhì)量模型[15]。MA等分別從局部頻域、全局頻域、空間域提取特征，再根據(jù)隨機(jī)森林和脊回歸構(gòu)成兩階段回歸模型，從而預(yù)測超分辨圖像質(zhì)量[16]。ZHANG等利用AdaBoost回歸和和脊回歸級聯(lián)來評估超分辨圖像質(zhì)量[17]。除了上述傳統(tǒng)方法之外，神經(jīng)網(wǎng)絡(luò)也被廣泛應(yīng)用于超分辨圖像質(zhì)量評估的任務(wù)中。FANG等提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network, DCNN)的超分辨圖像評價方法[18]。BARE等利用殘差網(wǎng)絡(luò)的特性構(gòu)建了一種跨連接模型，從而實(shí)現(xiàn)超分辨圖像質(zhì)量評估[19]。劉錫澤等提出一種基于多任務(wù)學(xué)習(xí)的超分辨圖像質(zhì)量評估網(wǎng)絡(luò)[20]。ZHOU等設(shè)計了一種將紋理特征與結(jié)構(gòu)特征相結(jié)合的雙流網(wǎng)絡(luò)模型來評估超分辨圖像的質(zhì)量[21]。

大規(guī)模的數(shù)據(jù)集上預(yù)訓(xùn)練的VGGNet等經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)被用于解決小樣本任務(wù)并取得了較好的成果。此外，MLP作為最早被提出的神經(jīng)網(wǎng)絡(luò)模型，在圖像處理、模式識別等諸多領(lǐng)域具有良好的表現(xiàn)[22]。鑒于深度特征與MLP在計算機(jī)視覺領(lǐng)域的成功應(yīng)用，本文提出一種應(yīng)用MLP回歸的SRIQA方法。該方法利用預(yù)訓(xùn)練好的VGG16模型提取影響圖像質(zhì)量變化的深度特征，然后利用MLP構(gòu)建特征與質(zhì)量分?jǐn)?shù)之間建立回歸模型，從而實(shí)現(xiàn)超分辨圖像質(zhì)量的評價。

1 圖像質(zhì)量評價模型

1.1 深度特征提取

神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)算法相比無需設(shè)計人工特征，可以將圖像直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程，使得研究人員的研究方向逐漸從統(tǒng)計特征向深度特征進(jìn)行轉(zhuǎn)變。考慮到訓(xùn)練程度高的神經(jīng)網(wǎng)絡(luò)模型時間復(fù)雜度較高，本文利用預(yù)訓(xùn)練的VGG16圖像分類模型提取超分辨圖像視覺統(tǒng)計特征[23]。

VGG16net主要包含5部分卷積層(13個卷積層)和3個全連接層，其中前2個全連接層的神經(jīng)元個數(shù)為4 096，最后一層神經(jīng)元個數(shù)為1 000。隨著網(wǎng)絡(luò)層數(shù)的增加，所獲得的特征圖更寬，同時高維度的特征能更充分表征所提取圖像的信息，因此本文從預(yù)訓(xùn)練模型的7層全連接層提取4 096維特征用于描述超分辨圖像的失真機(jī)制。

1.2 多感知機(jī)回歸模型

本文提出的評價模型構(gòu)建主要分為2個階段，即訓(xùn)練模型階段和測試模型階段。

1.2.1 訓(xùn)練模型階段

本文提出的評價模型訓(xùn)練過程如圖1所示。

圖 1 MLP回歸的無參考型SRIQA方法訓(xùn)練過程

從圖1可以看出，在訓(xùn)練模型階段，首先通過預(yù)訓(xùn)練好的VGG16網(wǎng)絡(luò)提取訓(xùn)練集圖像的深度特征，然后利用MLP建立深度特征與平均主觀意見值之間的回歸模型，即可得到圖像質(zhì)量評價模型。

根據(jù)MLP回歸算法，第1步為前向傳播，將訓(xùn)練集中的第i幅圖像的特征xi提供給輸入層，那么第i幅圖像隱含層的第j個神經(jīng)元所對應(yīng)的輸出可以表示為

Hij=g(xiWj+bj)

(1)

式中：Wj為輸入層到隱含層的第j個神經(jīng)元的權(quán)重向量；bj為輸入層到隱含層的偏差參數(shù)；g(·)為激活函數(shù)。

然后，經(jīng)過前向傳播的隱含層，第i幅圖像輸出層神經(jīng)元所對應(yīng)的輸出可以表示為

(2)

在輸出層，利用平方誤差損失函數(shù)計算輸出預(yù)測分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)誤差，其損失函數(shù)可以表示為

(3)

第2步為誤差反向傳播過程。首先計算輸出層神經(jīng)元損失函數(shù)的梯度，然后計算隱含層神經(jīng)元損失函數(shù)的梯度。由于輸出層到隱含層的權(quán)重與隱含層到輸入層權(quán)重更新方式相同，本文將更新權(quán)重的數(shù)學(xué)表達(dá)式統(tǒng)一表示為

(4)

式中：t為當(dāng)前迭代次數(shù)；η為學(xué)習(xí)率，其數(shù)值范圍為0<η<1。同樣地，由于輸出層到隱含層的偏差與隱含層到輸入層偏差更新方式相同，通過梯度下降更新偏差參數(shù)，可表示為

(5)

該算法在達(dá)到預(yù)設(shè)的最大迭代次數(shù)或損失小于一定閾值時停止。

1.2.2 測試模型階段

MLP回歸模型的測試過程如圖2所示。

圖 2 MLP回歸的無參考型方法測試過程

圖2中的測試圖像首先通過VGG16網(wǎng)絡(luò)提取圖像的深度特征，然后將接收到的VGG16深度特征作為MLP回歸的輸入層，饋送到訓(xùn)練好的MLP回歸模型中，即可獲得待測超分辨圖像的質(zhì)量預(yù)測分?jǐn)?shù)。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 超分辨圖像數(shù)據(jù)庫介紹

為了評估所提出的評價方法的有效性，本文采用文獻(xiàn)[16]中的超分辨圖像數(shù)據(jù)庫作為基準(zhǔn)來評估所提出評價方法的性能。該圖像數(shù)據(jù)庫中包含1 620張超分辨圖像以及相應(yīng)主觀質(zhì)量分?jǐn)?shù)。其中1 620幅超分辨圖像由9種不同的超分辨算法對180幅低分辨進(jìn)行超分辨圖像重建得到。

2.2 衡量算法評價技術(shù)指標(biāo)

在實(shí)驗(yàn)中，采用3類指標(biāo)中的4種具體性能指標(biāo)衡量不同超分辨圖像質(zhì)量評價算法的性能。

2.2.1 準(zhǔn)確性指標(biāo)

均方根誤差(root mean square error，RMSE)使用該指標(biāo)計算主觀質(zhì)量分?jǐn)?shù)與預(yù)測分?jǐn)?shù)之間的誤差。當(dāng)RMSE的值越小，表明該算法預(yù)測結(jié)果的準(zhǔn)確性越高。

2.2.2 相關(guān)性指標(biāo)

PLCC[24]主要反映的是主觀質(zhì)量分?jǐn)?shù)與算法預(yù)測分?jǐn)?shù)之間的相關(guān)性。通常，當(dāng)PLCC值接近1時，表明算法預(yù)測結(jié)果與人眼主觀具有良好的相關(guān)性。

2.2.3 單調(diào)性指標(biāo)

SROCC[25]和肯德爾秩序相關(guān)系數(shù)(kendall rank order correlation coefficient，KROCC)[26]用于衡量主觀質(zhì)量分?jǐn)?shù)與預(yù)測分?jǐn)?shù)之間的單調(diào)性。如果SROCC和KROCC的值越接近1，則意味著圖像質(zhì)量評價算法具有更好的單調(diào)性。

2.3 有效性實(shí)驗(yàn)

首先通過實(shí)驗(yàn)驗(yàn)證深度特征的有效性和MLP回歸模型的有效性，然后通過交叉驗(yàn)證實(shí)驗(yàn)確定了MLP回歸模型的各個參數(shù)設(shè)置，同時分析了訓(xùn)練集規(guī)模對評估模型性能的影響。為了證明所提出方法的有效性，從準(zhǔn)確性和一致性2個方面比較所提出方法與其他6種不同圖像質(zhì)量評價方法的性能。

2.3.1 特征有效性

采用VGG16的預(yù)訓(xùn)練模型提取圖像深度特征。為驗(yàn)證所提取特征的有效性，提取了VGG16模型第7層全連接層(fully connected layer 7, FC_7)和第8層全連接層(fully connected layer 8, FC_8)的深度特征，通過MLP回歸建立其與質(zhì)量分?jǐn)?shù)之間的映射模型，并進(jìn)行對比實(shí)驗(yàn)。為了減少隨機(jī)選擇數(shù)據(jù)造成實(shí)驗(yàn)的誤差，本文隨機(jī)選擇數(shù)據(jù)集中80%的樣本參與訓(xùn)練，剩下的20%作為測試，該實(shí)驗(yàn)重復(fù)進(jìn)行100次，計算平均值作為最終的衡量指標(biāo)。表1是2類特征的性能指標(biāo)比較的結(jié)果，其中加粗的數(shù)字表示最佳性能。

表 1 2類特征的4種性能指標(biāo)比較

從表1可以看出，4 096維FC_7特征表現(xiàn)出比FC_8特征更好的性能，表明所提取的FC_7特征更能表征超分辨圖像的質(zhì)量，后續(xù)實(shí)驗(yàn)中均采用FC_7特征度量超分辨圖像的質(zhì)量。

2.3.2 回歸模型有效性

為驗(yàn)證MLP回歸的有效性，本節(jié)將傳統(tǒng)的支持向量回歸(support vector regression, SVR)模型性能與之進(jìn)行對比。實(shí)驗(yàn)中，仍然選擇數(shù)據(jù)集中80%的樣本參與訓(xùn)練，剩下的20%作為測試，表2展示了2種回歸模型在測試集上獲得的客觀評價的比較結(jié)果，其中加粗的數(shù)字表示最佳性能。

表 2 2種回歸模型的4種性能指標(biāo)比較

從表2可以看出，MLP在預(yù)測超分辨圖像質(zhì)量方面的準(zhǔn)確性更高。這是由于MLP回歸首先將超分辨圖像的深度特征通過非線性函數(shù)映射到一個高維的隱空間，然后在高維空間的特征與質(zhì)量分?jǐn)?shù)間建立回歸關(guān)系，表現(xiàn)出比SVR更強(qiáng)的非線性映射能力。因此，相比于SVR，MLP回歸的效果更優(yōu)。

2.4 MLP模型參數(shù)選擇實(shí)驗(yàn)

對于任意一個回歸模型，參數(shù)的選擇對模型性能的影響極其重要。在本節(jié)中，首先確定MLP回歸的激活函數(shù)。其次，根據(jù)選擇的激活函數(shù)，通過一系列交叉驗(yàn)證實(shí)驗(yàn)確定MLP相關(guān)超參數(shù)(MLP隱含層中神經(jīng)元的個數(shù)和正則項(xiàng)參數(shù))，以優(yōu)化相應(yīng)的模型。

2.4.1 激活函數(shù)的選擇

激活函數(shù)對于MLP回歸模型的優(yōu)化學(xué)習(xí)來說具有十分重要的作用。在實(shí)驗(yàn)中，本文保持其他參數(shù)不變，通過改變不同的激活函數(shù)，通過觀察均方誤差(mean square error，MSE)的變化情況，選擇合適超分辨圖像質(zhì)量評價模型的激活函數(shù)。本文選擇identity、logistic、tanh和relu 等4種不同的激活函數(shù)進(jìn)行對比實(shí)驗(yàn)，圖3展示了保持其他參數(shù)不變，不同激活函數(shù)對應(yīng)的MSE值。

圖 3 4種激活函數(shù)對應(yīng)的MSE值

從圖3可以看出，identity激活函數(shù)所對應(yīng)的MSE最大，其性能表現(xiàn)最差，而另外3種激活函數(shù)MSE值相當(dāng)，logistic所對應(yīng)的MSE值最小，其性能表現(xiàn)最好。同樣地，根據(jù)網(wǎng)格交叉驗(yàn)證實(shí)驗(yàn)也得出相同的結(jié)論。因此，隨后的實(shí)驗(yàn)均選擇logistic作為激活函數(shù)。

2.4.2 MLP隱含層中隱含層神經(jīng)元個數(shù)的設(shè)置

選擇合適的層數(shù)以及隱含層節(jié)點(diǎn)數(shù)，在很大程度上都會影響MLP回歸模型的性能。理論上網(wǎng)絡(luò)層數(shù)越深，擬合函數(shù)的能力增強(qiáng)，效果更好。但是實(shí)際上更深的層數(shù)可能會帶來過擬合的問題，同時也會增加網(wǎng)絡(luò)的訓(xùn)練難度，導(dǎo)致模型難以收斂。通過實(shí)驗(yàn)選擇單個隱含層的MLP回歸模型。

在確定隱含層的層數(shù)之后，接著確定隱含層中包含的神經(jīng)元個數(shù)。通常情況下，隱含層中較少的神經(jīng)元會導(dǎo)致欠擬合。相反，當(dāng)神經(jīng)網(wǎng)絡(luò)具有過多的神經(jīng)元時，有限信息量的訓(xùn)練集不足以訓(xùn)練隱含層中的所有神經(jīng)元，容易會導(dǎo)致過擬合現(xiàn)象。而且，即使訓(xùn)練集中擁有足夠的樣本，隱含層中過多的神經(jīng)元會增加訓(xùn)練時間，難以達(dá)到預(yù)期的效果。因此，選擇一個合適的隱含層神經(jīng)元數(shù)量至關(guān)重要。為獲得合適的隱含層神經(jīng)元數(shù)量，從100到500個神經(jīng)元開始，每隔100個神經(jīng)元在訓(xùn)練集上進(jìn)行交叉驗(yàn)證實(shí)驗(yàn)。圖4為隱含層中不同神經(jīng)元個數(shù)的MSE值。

圖 4 不同神經(jīng)元個數(shù)的MSE值

2.4.3 正則化參數(shù)的選擇

在MLP回歸模型中，另一個重要的參數(shù)為公式(3)的正則化參數(shù)α。本質(zhì)上，該參數(shù)的大小會影響預(yù)測結(jié)果。為了得到準(zhǔn)確的參數(shù)以合理平衡重構(gòu)誤差項(xiàng)和正則化項(xiàng)，本文根據(jù)經(jīng)驗(yàn)預(yù)設(shè)了7個不同的α值(10-6,10-5,10-4,10-3,10-2,10-1,1)，在訓(xùn)練階段進(jìn)行交叉驗(yàn)證實(shí)驗(yàn)以獲得最優(yōu)α。圖5提供了選擇不同正則化參數(shù)值時的學(xué)習(xí)誤差。

圖 5 隨著α值的增加MSE相應(yīng)的變化

從圖5可以看出，隨著α值的增加，MSE值也發(fā)生相應(yīng)的變化，選擇其中最小MSE值對應(yīng)于最優(yōu)的正則化參數(shù)值α，本文取α=10-4。

2.5 訓(xùn)練集的大小對模型性能的影響

本節(jié)對比了不同大小的訓(xùn)練集對預(yù)測性能的影響。實(shí)驗(yàn)中，將數(shù)據(jù)庫隨機(jī)劃分為2部分，使訓(xùn)練集在數(shù)據(jù)庫中所占比例從10%到90%變化，變化間隔為10%，其余樣本構(gòu)成測試集。為了減小隨機(jī)因素引起的誤差，在相同網(wǎng)絡(luò)參數(shù)條件下重復(fù)100次實(shí)驗(yàn)，計算測試集上的評價指標(biāo)的均值作為各個模型最終性能指標(biāo)。圖6展示了隨訓(xùn)練集比例規(guī)模的增加各個模型最終性能指標(biāo)的變化。

圖 6 訓(xùn)練集比例對4種性能指標(biāo)的影響

從圖6可以看出，隨著訓(xùn)練集比例的增加， 模型的性能指標(biāo)也在提升，當(dāng)訓(xùn)練集比例達(dá)到一定比例時，各個性能指標(biāo)提升較小且?guī)缀醪辉僮兓Ｆ渲校捎脭?shù)據(jù)庫的30%作為訓(xùn)練集時，SROCC指標(biāo)已經(jīng)超過0.9。根據(jù)實(shí)驗(yàn)結(jié)果可以得出，本文方法能夠在使用少量訓(xùn)練樣本的情況下，能獲得一個性能較優(yōu)的圖像質(zhì)量評價模型。

2.6 一致性實(shí)驗(yàn)

為了驗(yàn)證本文方法的實(shí)驗(yàn)結(jié)果與主觀感知分?jǐn)?shù)之間的一致性，本文分別與6種不同的無參考型評價方法(文獻(xiàn)[8]、文獻(xiàn)[7]、文獻(xiàn)[27]、文獻(xiàn)[10]、文獻(xiàn)[4]和文獻(xiàn)[16])進(jìn)行對比實(shí)驗(yàn)。在一致性實(shí)驗(yàn)中，將數(shù)據(jù)將劃分為2部分，隨機(jī)選取數(shù)據(jù)庫中80%的樣本參與訓(xùn)練，剩余的20%的樣本作為測試集，以評估模型的性能。圖7展示了100組實(shí)驗(yàn)中的其中一組訓(xùn)練測試實(shí)驗(yàn)的散點(diǎn)圖。

(a) 文獻(xiàn)[8]

從圖7可以看出，這些方法都取得了較理想的主客觀一致性，其中圖7(a)文獻(xiàn)[8], 圖7(b)文獻(xiàn)[7], 圖7(c)文獻(xiàn)[27]3種方法一致性結(jié)果比圖7(d)文獻(xiàn)[10]的方法, 圖7(e)文獻(xiàn)[16]的方法的一致性結(jié)果較差。這是由于圖7(a)、(b)、(c) 3種方法都是基于自然圖像設(shè)計的評價模型，而且這3種方法都采用傳統(tǒng)的統(tǒng)計特征表示超分辨圖像質(zhì)量，使用單一的SVR建立評價模型，所以實(shí)驗(yàn)結(jié)果不理想。雖然圖7(e)文獻(xiàn)[16]的方法采用了傳統(tǒng)的統(tǒng)計特征，但是它采用了回歸森林的方法建立評價模型，因此取得比圖7(a)、(b)、(c) 3種方法更好的結(jié)果。圖7(d)文獻(xiàn)[10]的方法設(shè)計了一個將特征提取和回歸整合在一起的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像質(zhì)量評價，但是由于淺層的卷積神經(jīng)網(wǎng)絡(luò)模型難以充分表征超分辨圖像失真機(jī)理，因此實(shí)驗(yàn)結(jié)果較差。圖7(f)文獻(xiàn)[4]的方法采用了稀疏表示的方法，但是由于該方法無法更新字典，因此實(shí)驗(yàn)的一致性結(jié)果略差。在一致性實(shí)驗(yàn)結(jié)果中，本文方法優(yōu)于其他對比方法，這是因?yàn)橐环矫妫疚姆椒◤奶崛√卣鞯交貧w映射都是基于DNN的網(wǎng)絡(luò)框架，DNN通過深層次特征學(xué)習(xí)，可以獲得更利于表達(dá)圖像質(zhì)量的深度特征；另一方面，所采用的MLP回歸本質(zhì)為主動尋找有效的映射方式將低維空間的訓(xùn)練數(shù)據(jù)映射到高維空間，然后在高維空間建立回歸模型，相比于被動的映射SVR、MLP的回歸效果更優(yōu)。

為了減小單次實(shí)驗(yàn)可能的性能偏差，將訓(xùn)練測試實(shí)驗(yàn)進(jìn)行100次，計算各個評價算法性能的平均值，見表3，其中加粗的數(shù)字表示最佳性能。

表 3 不同圖像質(zhì)量評價方法的4種性能指標(biāo)比較

表3中，文獻(xiàn)[8]、文獻(xiàn)[7]和文獻(xiàn)[27]3種評價算法的RMSE指標(biāo)均大于1，表現(xiàn)出較差的準(zhǔn)確性。而文獻(xiàn)[10]、文獻(xiàn)[16]、 文獻(xiàn)[4]和本文提出的質(zhì)量評價算法對應(yīng)的RMSE指標(biāo)均小于1，而且本文方法具有最小的RMSE值，展現(xiàn)出最好的性能。類似地，文獻(xiàn)[8]、文獻(xiàn)[7]和文獻(xiàn)[27]3種評價算法的SROCC均小于0.95， KROCC值均小于0.8，而本文算法對應(yīng)的SROCC指標(biāo)超過于0.95，KROCC指標(biāo)大于0.8，表現(xiàn)出良好的單調(diào)性。此外, 本文算法的PLCC指標(biāo)展現(xiàn)出最優(yōu)的相關(guān)性，在性能上明顯優(yōu)于其他評價方法。

為進(jìn)一步證明所構(gòu)建的MLP回歸模型與主觀感知具有較好的一致性，文章首頁的OSID碼“開放科學(xué)數(shù)據(jù)與內(nèi)容”的圖片展示了本文方法在訓(xùn)練測試實(shí)驗(yàn)中9個最佳例子評估結(jié)果，以驗(yàn)證本文方法的與主觀感知具有更好的一致性。每幅圖片正下方的數(shù)值依次對應(yīng)了每幅圖像相應(yīng)的主觀感知分?jǐn)?shù)/本文方法的預(yù)測分?jǐn)?shù)/文獻(xiàn)[16]方法的預(yù)測分?jǐn)?shù)。從該幅圖片的預(yù)測結(jié)果可以看出，對于第一行紋理細(xì)節(jié)較為豐富的超分辨圖像，盡管文獻(xiàn)[16]的方法預(yù)測結(jié)果很接近主觀感知分?jǐn)?shù)，本文方法的預(yù)測結(jié)果比文獻(xiàn)[16]的方法更接近主觀感知分?jǐn)?shù)。對于后兩行缺失較多紋理細(xì)節(jié)的超分辨圖像，與文獻(xiàn)[16]的方法預(yù)測結(jié)果相比，本文方法也可以獲得與主觀感知分?jǐn)?shù)更接近的質(zhì)量分?jǐn)?shù)。尤其對最后一行的超分辨圖像，本文方法預(yù)測的結(jié)果與主觀感知分?jǐn)?shù)幾乎相同。通過對比觀察可以看出本文方法不僅可以較準(zhǔn)確評價紋理細(xì)節(jié)較為豐富的超分辨圖像，也可以有效評價圖像質(zhì)量較差的圖像。這是因?yàn)榛谏疃葘W(xué)習(xí)的特征可以充分且準(zhǔn)確描述超分辨圖像降質(zhì)的過程。此外，深度特征與主觀感知分?jǐn)?shù)之間的映射關(guān)系更容易通過MLP回歸的非線性映射能力獲得較高的預(yù)測精度。

3 結(jié) 語

本文提出一種應(yīng)用MLP回歸的無參考型超分辨圖像質(zhì)量評價方法。該方法先采用VGG16提取圖像的深度特征，再將得到的特征作為MLP回歸模型的輸入，建立深度特征與主觀感知分?jǐn)?shù)之間非線性映射關(guān)系。實(shí)驗(yàn)結(jié)果表明，本文所構(gòu)建的MLP回歸模型可以較準(zhǔn)確地評價超分辨圖像質(zhì)量，且與主觀感知具有較好的一致性。

在今后的研究中，該方法可以從以下2個方面改進(jìn)：一是由于本文直接采用ImageNet數(shù)據(jù)集的圖像分類預(yù)訓(xùn)練模型提取超分辨圖像的深度特征，因此可以考慮在超分辨圖像數(shù)據(jù)庫中訓(xùn)練模型，以提取能充分表征超分辨圖像質(zhì)量的感知特征。二是增加有利于評價超分辨圖像的先驗(yàn)知識訓(xùn)練評價模型，以提高評價模型的性能。