尺度因子感知對比學習的無參考型超分辨圖像質量評價

摘要 超分辨圖像的質量不僅受重建算法的影響，而且在不同的尺度因子下重建出的圖像在質量退化等級方面存在一定差異。然而現有的無參考型超分辨圖像質量評價方法主要關注超分辨率圖像的視覺特征，忽略了可用的尺度因子信息。提出了一種尺度因子感知對比學習（upscaling-factor aware contrastive learning， UFACL）方法，該網絡結構分為尺度因子識別分支和質量分數分支。其中尺度因子識別分支從數據集本身出發，將不同尺度因子的超分辨圖像作為彼此的正負樣本，在完成分類任務的同時引入對比學習，提高有效特征的表達能力。在質量分數分支設計了一個頻域注意模塊（frequency domain attention module， FDAM），考慮了全局信息和通道信息，同時，該分支使用倒殘差塊（inverted residuals blocks， IRB）降低模型的計算量，使得在訓練過程中既保證了質量分數預測精度又提升了模型訓練效率。實驗結果表明，提出的UFACL能夠獲得與主觀感知質量更好的一致性。

關鍵詞 超分辨圖像質量評價;尺度因子;對比學習;頻域注意模塊;倒殘差塊

中圖分類號：TP391.41" DOI：10.16152/j.cnki.xdxbzr.2025-02-008

No-reference super-resolution image quality assessment based on upscaling-factor aware contrastive learning

FAN Dandan1， ZHANG Kaibing^1，2，3， QUAN Xing1， MENG Yalei^2，3

（1.School of Electronics and Information， Xi’an Polytechnic University， Xi’an 710048， China;

2.School of Computer Science， Xi’an Polytechnic University， Xi’an 710048， China;

3.Shaanxi Key Laboratory of Clothing Intelligence， Xi’an 710048， China）

Abstract The quality of super-resolution images is not only affected by the reconstruction algorithm， but also there are some differences in the quality degradation levels of the reconstructed images under different upscaling-factors. However， the existing no-reference super-resolution image quality assessment （NR-SRIQA） methods mainly focus on the visual features of super-resolution images， ignoring the available upscaling-factor information. An upscaling-factor aware contrastive learning （UFACL） method is proposed. The network structure is divided into a upscaling-factor recognition branch and a quality score branch. The upscaling-factor recognition branch starts from the dataset， and takes the super-resolution images of different upscaling-factors as positive and negative samples of each other. Contrastive learning is introduced to complete the classification task， so as to improve the expression ability of effective features. In the quality score branch， a frequency domain attention module （FDAM） is designed， which considers both global information and channel information. At the same time， this branch uses inverted residuals blocks （IRB） to reduce the calculation amount of the model， which ensures the accuracy of quality score prediction and improves the training efficiency of the model in the training process. Experimental results show that the proposed UFACL can achieve better consistency with subjective perceived quality.

Keywords super-resolution image quality assessment; upscaling-factor; contrastive learning; frequency domain attention network; inverted residuals blocks

圖像分辨率是評價圖像最重要的指標，一般而言，圖像分辨率越高，包含的信息越豐富，說明圖像的視覺質量越高^［1］。在資源受限的環境下，為了獲取高質量的圖像，超分辨重建技術^［2］被提出，該技術主要利用低分辨率的圖像重建出包含更多細節的高分辨率圖像。然而，如何有效且公平地比較這些超分辨重建算法的優劣，評價不同算法生成的超分辨圖像的質量，進一步優化不同超分辨算法的性能是一直存在的問題。因此，超分辨圖像質量評價（super-resolution image quality assessment， SRIQA）是超分辨技術發展面臨的關鍵挑戰之一，對提升超分辨算法的性能具有重要意義^［3-4］。

目前，現有的超分辨圖像質量評價（SRIQA）方法可分為2大類，即主觀質量評價和客觀質量評價。主觀質量評價通過人眼對圖像的主觀測試來實現^［5］，并采用平均意見得分（mean opinion score， MOS）或差異平均意見得分（difference mean opinion score， DMOS）作為衡量圖像質量的指標。盡管這種方法提供了一種直接且可靠的SRIQA方法，但是這是一件費時費力的工作，此外，主觀質量評價方法還不能嵌入到SR系統中進行實際應用。相比之下，客觀質量評價方法通過設計計算模型^［6］，可以利用提取的感知特征自動計算給定超分辨圖像的質量。根據評價時是否使用參考圖像信息，客觀質量評價又分為全參考型（full-reference， FR）、半參考型（reduced-reference， RR）和無參考型（no-reference， NR）3類^［7］。其中，FR-IQA和RR-IQA模型主要通過量化參考圖像和失真圖像之間的差異進行質量評價，該過程均需要原始參考圖像的參與，但是在實際應用中，很難獲取到原始高分辨圖像，使得這些方法的實用性受到限制。

相比之下，NR-IQA方法不需要原始參考圖像的任何信息，在實際場景下應用更加廣泛。Zhang等人提出將結構統計特征、多尺度方向和頻率統計特征以及顏色統計特征結合，計算圖像的馬氏距離，獲取圖像預測分數^［8］；Ye等人則通過使用多種FR-IQA模型計算圖像的質量得分，將該分數作為圖像的主觀質量得分，以此構建NR-IQA模型^［9］。然而這些方法針對單一失真類型表現良好，對于現實場景下的圖像所表現出來的復雜失真類型并沒有明顯優勢，因此Gu等人提出了一種通用的IQA模型，對于單一失真和多重失真都有不錯的表現^［10］。上述方法都是在傳統機器學習上構建的模型，在性能方面與基于深度學習的模型相比不是很高。基于深度學習的模型主要通過建立圖像特征與質量分數間的映射關系^［11］，獲取圖像質量分數。Liu等人提出一種基于排序學習的方法，通過圖像對之間的排序信息獲取圖像的視覺質量^［12］；艾娜等人采用自舉算法進行超分辨率重構，訓練具有雙重稀疏性的字典對，進一步對圖像進行深層特征提取^［13］；Bourbia等人提出了一種新的基于多任務深度學習的盲立體圖像質量評估方法，用于立體圖像質量評價^［14］；Li等人將顯著性子任務與IQA任務聯合優化，以提高顯著性引導的IQA性能^［15］；李云紅等人提出利用公共特征子空間提取圖像的特征信息，實現精準特征識別^［16］。然而，這些方法雖然在一定程度上提升了SRIQA的性能，但是這些方法主要關注于超分辨率圖像的視覺特征，忽略了可用的尺度因子信息。

具體來說，超分辨圖像的質量不僅受重建算法的影響，而且在不同的尺度因子下重建出的圖像在質量退化等級方面存在一定的差異。一般情況下，尺度因子越大，說明重建出來的圖像質量越差，因此尺度因子大小與超分辨圖像質量之間存在一定程度的相關性。隨著尺度因子的不斷增大，超分辨圖像質量不斷降低，這是一個明顯的質量退化過程。相反地，尺度因子越小，超分辨圖像是一個明顯的質量增強過程，這2個過程都符合人眼的視覺認知，證明尺度因子與圖像質量之間存在一定的線性相關性，圖像的尺度信息與其主觀質量得分高度相關。受此啟發，本文得出結論，尺度因子對超分辨圖像主觀質量分數的影響具有統計學意義，可以提供一些關于圖像視覺質量的特征。換句話說，尺度信息對超分辨圖像質量評價任務是有用的，可以用于指導NR-SRIQA的學習。從這個角度出發，文獻［17］提出了一個尺度引導的超網絡框架，該框架以尺度自適應的方式評價圖像質量，經過內容感知后，根據超分辨圖像的尺度因子生成用于質量預測的評價規則，在一定程度上增強了模型的泛化能力。受上述研究啟發，本文結合輕量級的倒殘差塊（inverted residualsblocks，IRB）^［18］，提出了一種基于尺度因子感知對比學習（upscaling-factor aware contrastive learning， UFACL）的超分辨率圖像質量評價方法，在訓練過程中既保證了質量分數預測精度又提升了模型訓練速度。

1 UFACL方法

本文提出的UFACL方法通過雙分支結構探索尺度因子與超分辨圖像質量之間的關系，從而在超分辨圖像質量評價過程中獲得更豐富的特征，具體來說，該方法主要由尺度因子識別分支和質量分數分支組成，整體框架如圖1所示。

在圖1中，首先，將超分辨圖像隨機裁剪為32×32大小的圖像塊，并為每個圖像塊分配對應的質量分數標簽，之后，在尺度因子識別分支，輸入圖像塊經過1個3×3大小的卷積層，提取超分辨圖像塊的淺層特征，然后，由5個相同的多尺度擴張卷積模塊（multiscale extended convolution module， MECM）提取多尺度特征，輸出特征經過池化操作獲取特征張量，并通過全連接層完成尺度因子的分類。在質量評價分支，使用一個3×3大小的卷積提取淺層特征，然后利用頻域注意模塊（frequency domain attention module，FDAM）從圖像中提取頻域信息的同時獲得全局信息和通道信息，之后，使用一組堆疊的倒殘差塊（inverted residuals blocks，IRB）提取圖像的深層語義特征并提升模型訓練效率，再利用池化操作完成特征壓縮，并輸入到全連接層進行非線性質量分數的映射，在訓練過程中使用損失函數計算總損失，更新模型參數，對圖像塊進行質量分數預測。

1.1 多尺度擴張卷積模塊

與單一尺度相比，多尺度學習可以將不同尺度的信息有效地融合在一起^［19］，通過同時處理來自多個尺度的輸入數據，模型可以更全面地提取數據的特征和結構。因此，在尺度因子識別中，首先通過一個3×3大小的卷積提取超分辨圖像的淺層特征，之后使用5個相同的多尺度擴張卷積模塊（MECM）獲取多尺度信息，每一個MECM后都使用1×1大小的卷積進行通道上的降維。該模塊共設計了4種不同空洞率的卷積，空洞率越大，感受野越大。如圖2所示，Conv3×3-1意為卷積核尺寸-空洞率，使用不同空洞率大小的卷積提取超分辨圖像特征并進行拼接。

此外，具有不同感受野的特征圖對尺度因子的識別任務具有不同程度的重要性，受文獻［20］的啟發，在特征拼接之后使用1×1大小的卷積為每層特征圖都分配相應的權重，調整特征圖的依賴性。MECM的具體操作可以表示為

MECM=Conv1（C（Convr3 （X）））" [JY]（1）

式中：Conv表示卷積操作，下標表示卷積核大小；r表示空洞率（r=1，2，3，4）；X表示輸入的淺層特征；C表示在通道維度進行拼接操作。

1.2 對比學習構建

為了讓尺度因子識別分支的精確度更高，本文在完成分類任務的同時引入對比學習。在構建對比學習的過程中，將來自同一種尺度因子下的超分辨圖像塊作為正樣本，來自不同尺度因子下的超分辨圖像塊作為負樣本，提高有效特征的表達能力。具體構建方式如圖3所示，以錨點樣本尺度因子s=2舉例，將尺度因子s=3，4，5，6，8的圖像塊均作為該圖像塊的負樣本，尺度因子為2的其他圖像塊為正樣本。通過不斷學習拉進相同尺度因子下樣本之間的距離，推遠不同尺度因子下樣本之間的距離，讓模型訓練階段學習到更具魯棒性和判別能力的特征，獲取更好的視覺表征，從而提高模型的泛化能力和表現性能。

1.3 頻域注意模塊

為了進一步提高所提取特征的表示能力，本文提出一種新的頻域注意模塊（frequency domain attention module，FDAM），FDAM同時考慮了全局空間信息和通道信息。具體來說，將提取的低級特征首先經過二維離散余弦變換（two-dimensional discrete cosine transform， 2D-DCT）提取特征的頻域信息Fi， 之后再將經過池化和多層感知機的特征與輸入圖像塊進行逐像素的相乘， 得到特征Mc（Fi），最后經過3×3的卷積操作提升特征維度。FDAM的具體操作過程可以描述為

Mc（Fi）=σ（MLP（maxPool（Fi），Wmlp）+

MLP（AvgPool（Fi），Wmlp））[JY]（2）

式中：σ為sigmoid激活函數；MLP為多層感知機；maxPool和AvgPool分別為最大池化和平均池化；Wmlp為共享多層感知機的權重。

1.4 倒殘差塊

受MobileNet-V2倒殘差塊（inverted residuals block， IRB）模塊的啟發，本文利用堆疊的IRB和特殊的殘差連接提取特征，如圖4所示。與MobileNet-V2不同的是，殘差連接是在輸入特征Cin與輸出特征Cout之間的特征映射通道不匹配，擴展系數E也不對稱的情況下使用的。

1.5 損失函數設計

1.5.1 聯合回歸損失

聯合回歸損失是圖像質量評價任務中應用最廣泛的損失函數，可表示為

L1=[SX（]1[]N[SX）]∑[DD（]N[]i=1[DD）]|yi-[AKy^D]ii |" [JY]（3）

式中：yi表示預測圖像質量分數；[AKy^D]ii表示圖像真值；N表示切分的圖像塊個數。在測試階段，給定的超分辨圖像的最終質量分數是所有圖像塊的預測質量得分平均值。

1.5.2 對比損失

對于重建算法識別任務，為了在模型訓練階段幫助獲取一個更好的視覺表征，本文應用有監督的對比學習策略。具體來說，將同一類的樣本作為正樣本，不同類的樣本作為負樣本，構建正負樣本的目的就是為了拉進錨點樣本與正樣本之間的距離，推遠錨點樣本與負樣本之間的距離。由于超分辨圖像質量評價很大程度上與其生成算法有相關性，因此，我們根據數據集所提供的不同超分辨圖像生成算法構造正負樣本，挖掘更多來源于樣本間的監督信號，對比損失可表示為

li=-log[SX（]∑[DD（X]Ji[DD）]exp（Sim（ri，rj）·τ）[]Ji∑[DD（]N[]k=1[DD）]Ik≠iexp（Sim（ri，rk）·τ）[SX）]" [JY]（4）

Lcontrast=[SX（]1[]N[SX）]∑[DD（]N[]i=1[DD）]li" [JY]（5）

式中：Sim（ri，rj）表示ri和rj的余弦相似度；Ik≠i是指示函數，如果k≠i則表示為1，否則為0;τ表示用于控制分布密度水平的溫度參數；Ji表示樣本i的正例個數；N表表示圖像塊個數。

因此，本文通過L1聯合回歸損失計算質量分數的回歸損失，通過交叉熵損失Lcls計算分類誤差，聯合對比損失Lcontrast共同組成最終的損失函數，并以此訓練模型。具體可表示為

L=αLcls+βLcontrast+（1-α-β）L1 "[JY]（6）

式中：α和β表示權值系數，按照經驗設置為0.33。

2 實驗結果與分析

2.1 實現細節

本文在MA和QADS兩個基準超分辨圖像質量評價數據集上進行實驗。為了擴充數據集，將所有超分辨圖像進行局部對比度歸一化后裁剪成不重疊的大小為32×32的圖像塊，每個圖像塊的標簽對應原始圖像標簽值。具體的訓練參數設置：batch-size為128；初始學習率為0.001；模型的迭代次數為100；優化器為Adam，使用聯合回歸損失、分類損失、對比損失對模型進行優化。模型在驗證和測試階段，將同一幅圖像中圖像塊的平均預測質量分數作為圖像最終的預測分數。本文實驗均在配備GTX2080Ti GPU的服務器中完成，并在Pytorch 1.6.0編程環境中實現。

2.2 超分辨圖像數據庫

為了更好地驗證UFACL方法的性能，本文使用的超分辨圖像質量評價數據集為MA和QADS數據集，它們的數量規模、圖像來源、下采樣程度都不同，可以用于評價不同方法的性能。其中，MA數據集將30張原始圖像在尺度因子為s（s=2，3，4，5，6，8）、高斯核寬度為sigma（sigma=0.8，1.0，1.2，1.6，1.8， 2.0）的情況下進行下采樣， 獲取到低分辨率圖像， 再由9種超分辨算法生成1 620張高分辨率圖像，MOS標簽范圍從0到10。QADS數據集則來源于20張原始圖像，在尺度因子為s（s=2，3，4）的情況下，由21種超分辨算法重建獲得980張超分辨圖像，其中，包括4種基于插值的方法、11種基于字典的方法，以及6種基于DNN的方法，MOS范圍從0到1。2個數據集的具體細節如表1所示，后續所有實驗均在這2個數據集上完成。

2.3 評價指標

對于客觀質量評價算法模型，一般需要具備以下2個方面的要求：一方面是模型預測應具備準確性，即客觀質量評價模型的預測結果應該與主觀質量分數相接近；另一方面是預測的相關性與單調性，即客觀質量評價模型的預測結果應該與人眼視覺感官具有高度的一致性。在圖像質量評價領域，通常采用斯皮爾曼相關系數（Spearman rank-order correlation coefficient， SROCC）、皮爾遜相關系數（Pearson linear correlation coefficient， PLCC）、肯德爾秩相關系數（Kendall rank ordered correlation coefficient，KROCC）和均方根誤差（root mean squared error， RMSE）4個定量指標來客觀評價超分辨圖像質量評價方法的性能。

1）RMSE用于比較主客觀評價值之間的絕對誤差值，RMSE值越小，說明圖像質量越好，RMSE計算公式為

RMSE=[KF（][SX（]1[]N[SX）]∑[DD（]N[]i=1[DD）]（si-fi）2[KF）]" [JY]（7）

式中：si表示第i幅待測圖像的MOS值;fi表示待測圖像的預測質量分數;N表示待測圖像數。

2）KROCC及SROCC用于衡量模型預測的單調性。其中，SROCC比較主客觀評分值在各自數據序列中的序號數之差，KROCC比較主客觀評分值中序號對一致與不一致的個數之差。SROCC和KROCC值越大，說明性能越好。SROCC和KROCC計算過程分別為式（8）和式（9）。

SROCC=1-[SX（]6∑[DD（]N[]i=1[DD）]（rsi-rxi）[]N（N2-1）[SX）]" [JY]（8）

式中：rsi表示第i個待測圖像的MOS排名值;rxi表示第i個待測圖像的預測分數排名值;N表示待測圖像數。

KROCC=1-[SX（]2Nc-Nd[]N（N-1）[SX）]" [JY]（9）

式中：Nc表示序號對一致的圖像數；Nd表示序號對不一致的圖像數，N表示待測圖像數。

3）PLCC用于衡量模型的相關性，PLCC值越大，說明模型性能越好，PLCC指標用公式表示為

PLCC=[SX（]∑[DD（]N[]i=1[DD）]（si-[AKs-D]）（fi-[AKf-]）[][KF（]∑[DD（]N[]i=1[DD）]（si-[AKs-D]）2[KF（]∑[DD（]N[]i=1[DD）]（fi-[AKf-]）2[KF）][KF）][SX）]" [JY]（10）

式中：si和fi分別表示第i幅待測圖像的MOS值和預測質量分數；[AKs-D]和[AKf-]分別表示待測圖像的MOS值和預測質量分數的均值；N表示待測圖像數。

2.4 不同方法的對比實驗

為了驗證本文方法的有效性，在QADS和MA數據集上與3種基于傳統機器學習的主流圖像質量評價算法SSEQ^［21］、BLIINDS-Ⅱ^［22］和Ma^［15］以及7種基于深度學習的先進的圖像質量評價算法CNN^［23］、CNN++^［24］、Two-stream^［25］、DBCNN^［26］、HyperIQA^［27］和最新提出的方法C2MT^［28］、TADSR^［29］進行比較，所有的對比方法均由作者提供的公開代碼在推薦參數配置下實現。在2個基準數據集上的實驗結果如表2所示，其中，最優指標用加粗表示，次優用下劃線表示。

根據表2可以看到，與其他所有的對比方法相比，本文方法UFACL在MA數據集上的所有指標上均取得了最好的效果，在QADS數據集上的SROCC、PLCC和RMSE指標值達到最優，KROCC指標也具有一定的可比性。其中，最優的SROCC和KROCC值表示所提出的UFACL方法預測的質量分數與超分辨圖像的主觀分數之間存在很好的單調性;最優的PLCC表示所提的UFACL方法獲取的預測質量分數與原圖像主觀分數之間存在最好的線性相關性;此外，最低的RMSE值則表示，本文方法獲取到了最好的預測精度。值得注意的是，相較于TADSR，本文方法在2個數據集上的大部分指標都有了不同程度的提升，主要表現在QADS數據集上的SROCC、PLCC指標分別提升了0.03％和0.16％，RMSE值下降了0.26％。在MA數據集上SROCC、PLCC和KROCC分別提升了0.24％、1.02％和0.58％。這主要是因為本文方法UFACL考慮到了尺度因子與超分辨圖像質量之間的相關性，有利于質量評價任務學習到更加全面的感知特征，從而對超分辨圖像質量分數進行更加精準的預測。

為定性分析不同質量評價模型的預測分數與主觀分數之間的一致性，圖5分別展示了其他圖像質量評價算法與本文方法在QADS和MA數據集上繪制的散點圖，藍色和綠色的點分別表示MA和QADS數據集的主客觀散點圖。其中，水平軸表示超分辨圖像的主觀質量分數，縱坐標表示不同方法的預測質量分數。每個點對應一張測試圖像，紅線表示擬合結果。如果預測分數與主觀分數的散點與擬合線越接近，則表明該方法對超分辨圖像質量分數的預測得分與人類主觀感知得分具有很強的一致性。從圖5可以清楚看出，基于深度學習的方法相較于傳統機器學習方式有明顯優勢，并且本文提出的UFACL方法所預測的分數與主觀MOS分數要具有更好的一致性。

2.5 消融實驗

2.5.1 輕量級主干設計

在提出的UFACL中，關鍵的任務之一是構建一個有效的輕量級主干網絡，提取與感知質量分數相關的內在特征。本文選擇MobileNetV2作為UFACL的骨干網絡，因為它的輕量級架構以及具有倒殘差和線性瓶頸的性能。為了證實選擇的合理性，使用另外2個輕量級模型ShuffleNet^［30］和MobileNet-V1^［31］進行性能比較。如圖6所示，符號“”表示使用該主干網，“×”表示未使用。藍色行和紅色行分別表示模型使用ShuffleNet和MobileNet-V1作為主干網絡，灰色行表示使用本文提出的MobileNet-V2作為主干網絡。從比較的結果可以發現，MobileNet-V2在MA和QADS數據集上比ShuffleNet和MobileNet-V1獲得更好的性能。在MA數據集上，相比較于MobileNet-V1，4個指標都是最優的，在QADS數據集上，SROCC、PLCC和RMSE與另外2個輕量級骨干網絡也具有一定的可比性。

2.5.2 損失函數消融實驗

為了驗證模型訓練過程中使用多損失對模型性能的影響，設計了3種情況進行對比。如圖7所示，L1表示回歸損失，Ld表示分類損失，Lc表示對比損失，符號“”表示使用該損失，“×”表示未使用。藍色行表示在訓練過程中只使用L1損失，黃色行表示使用L1損失和Ld損失相結合，紅色行表示本文方法3個損失同時使用。可以看出，在只使用L1損失時，除在QADS數據集上RMSE指標最優外，其他指標性能都較差;當L1損失和Ld損失相結合時，在2個數據集上的所有指標值均有提升;當3個損失共同使用時，除在QADS數據集上的RMSE外，所有指標均達到最優，這說明對比損失和分類損失在一定程度上提高了分類的精確性，尺度因子分支學習到的特征對質量評價任務產生了一定的積極影響。

2.6 泛化實驗

為了進一步驗證模型的泛化能力，我們分別對其他幾種經典的基于深度學習的方法與本文方法UFACL進行跨數據集實驗，數據集采用QADS、MA以及SISRSet^［32］。其中，QADS和MA分別選取數據集的20％作為測試集圖像，SISRSet數據集共360張超分辨圖像，但圖像大小不一，因此我們去除掉部分尺度較大的圖像，最終選取312張圖像進行測試。首先，在QADS數據集上的交叉驗證結果如表3所示，當在SISRSet數據集上測試時，本文方法UFACL表現較好。SROCC、KROCC、PLCC分別達到0.903 9、0.820 1和0.816 6的指標值，相較于其他方法有明顯提升，這主要是因為UFACL考慮到尺度信息對于超分辨圖像質量的相關性。當在MA數據集上測試時，UFACL也表現出中等的性能，HyperIQA表現最優，TADSR次之，這主要是由于HyperIQA考慮到圖像內容對質量評價的影響，更接近于人眼視覺感知。

如表4所示，在MA數據集上訓練且在SISRSet上測試時，本文方法表現最好，CNN次之。而在QADS數據集上測試，DBCNN取得了最優結果，這說明采用預訓練模型對于提升模型的泛化性能有一定的優勢。UFACL雖然考慮到尺度信息對于超分辨圖像質量評價的影響，但在小數據集上訓練的結果，由于沒有使用預訓練模型，因此并沒有表現出明顯優勢，處于中等水平。

3 結語

本文提出了一種基于尺度因子感知對比學習的超分辨圖像質量評價方法UFACL。該方法主要分為尺度因子識別和質量分數預測2個分支。在尺度因子識別階段，采用有監督的對比學習來學習不同尺度因子的特征表示，提高模型識別尺度因子的準確性。在質量分數預測階段，通過頻域注意模塊獲取圖像的頻域信息，并使用輕量級網絡提升模型訓練效率，然后使用回歸網絡預測圖像的質量分數。實驗結果表明，與其他方法相比，本文提出的方法在性能上表現更優。

盡管UFACL方法在基準數據集上取得了優異的結果，但仍存在一些不可忽視的局限性。由于不同數據集的標簽尺度不統一，導致模型在跨數據集驗證時表現不佳，對特定數據集的依賴性限制了UFACL的應用范圍。未來研究中，我們將探索把排序學習應用到圖像質量分數預測模型中，以更準確地量化超分辨率圖像的質量。同時，將PLCC指標作為損失函數約束來優化模型訓練，進一步提高超分辨圖像質量評價（SRIQA）的性能。

參考文獻

［1］ 李云紅，王珍，張凱兵，等.基于學習的圖像超分辨重建方法綜述［J］.計算機工程與應用，2018，54（15）：13-21.

LI Y H，WANG Z，ZHANG K B，et al.Survey on example learning-based single image super-resolution technique［J］.Computer Engineering and Applications， 2018， 54（15）： 13-21.

［2］ LI K， YANG S H， DONG R T， et al. Survey of single image super-resolution reconstruction［J］. IET Image Processing， 2020， 14（11）： 2273-2290.

［3］ 崔琛，張凱兵.基于雙字典正則化的單幀圖像超分辨率重建方法［J］.西安工程大學學報，2021，35（2）：66-72.

CUI C， ZHANG K B. Learning dual dictionary regularization for single image super-resolution［J］.Journal of Xi’an Polytechnic University， 2021， 35（2）： 66-72.

［4］ 張凱兵，朱丹妮，王珍，等.超分辨圖像質量評價綜述［J］.計算機工程與應用，2019，55（4）：31-40.

ZHANG K B， ZHU D N，WANG Z， et al. Survey of super-resolution images quality assessment［J］.Computer Engineering and Applications， 2019， 55（4）： 31-40.

［5］ MANTIUK R K， TOMASZEWSKA A， MANTIUK R. Comparison of four subjective methods for image quality assessment［J］.Computer Graphics Forum， 2012， 31（8）： 2478-2491.

［6］ HE L H， GAO F， HOU W L， et al. Objective image quality assessment： A survey［J］. International Journal of Computer Mathematics， 2014， 91（11）： 2374-2388.

［7］ 張婷悅， 張凱兵. 基于稀疏表示的無參考型超分辨圖像質量評價方法［J］.西安工程大學學報， 2020， 34（5）：20-26.

ZHANG T Y， ZHANG K B. No-reference super-resolution image quality assessment based on sparse representation［J］.Journal of Xi’an Polytechnic University， 2020， 34（5）： 20-26.

［8］ ZHANG L， ZHANG L， BOVIK A C. A feature-enriched completely blind image quality evaluator［J］. IEEE Transactions on Image Processing， 2015， 24（8）： 2579-2591.

［9］ YE P， KUMAR J， DOERMANN D. Beyond human opinion scores： Blind image quality assessment based on synthetic scores［C］∥2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH： IEEE， 2014： 4241-4248.

［10］GU K， ZHAI G T， YANG X K， et al. Hybrid no-reference quality metric for singly and multiply distorted images［J］. IEEE Transactions on Broadcasting， 2014， 60（3）： 555-567.

［11］YANG J， LYU M J， QI Z Q， et al. Deep learning based image quality assessment： A survey［J］.Procedia Computer Science， 2023， 221： 1000-1005.

［12］LIU X L， VAN DE WEIJER J， BAGDANOV A D. RankIQA： Learning from rankings for no-reference image quality assessment［C］∥2017 IEEE International Conference on Computer Vision. Venice： IEEE， 2017： 1040-1049.

［13］艾娜，彭進業，王珺，等.基于低分辨率圖像自舉和雙重稀疏性字典訓練的單幅圖像超分辨率重構［J］.西北大學學報（自然科學版），2018，48（1）：57-65.

AI N， PENG J Y， WANG J， et al. Single image super-resolution based on bootstrapping method combining learned double sparsity dictionaries［J］.Journal of Northwest University（Natural Science Edition）， 2018， 48（1）： 57-65.

［14］BOURBIA S， KARINE A， CHETOUANI A， et al. A multi-task convolutional neural network for blind stereoscopic image quality assessment using naturalness analysis［C］∥2021 IEEE International Conference on Image Processing （ICIP）. Anchorage： IEEE， 2021： 1434-1438.

［15］LI F， ZHANG Y F， COSMAN P C. MMMNet： An end-to-end multi-task deep convolution neural network with multi-scale and multi-hierarchy fusion for blind image quality assessment［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2021， 31（12）： 4798-4811.

［16］李云紅， 劉杏瑞， 謝蓉蓉， 等. 基于超分辨重建和公共特征子空間的低分辨率人臉識別［J］.西北大學學報（自然科學版）， 2023，53（2）：241-247.

LI Y H， LIU X R， XIE R R， et al. Low-resolution face recognition based on super-resolution reconstruction and common feature subspace［J］.Journal of Northwest University （Natural Science Edition）， 2023， 53（2）： 241-247.

［17］FU J. Scale guided hypernetwork for blind super-resolution image quality assessment［EB/OL］. （2023-06-04）［2024-09-20］.https：∥arxiv.org/abs/2306.02398v1.

［18］SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： Inverted residuals and linear bottlenecks［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT： IEEE， 2018： 4510-4520.

［19］ZHANG H N， MENG F， HAN Y W. No-reference image quality assessment based on a multi-feature extraction network［C］∥Proceedings of the 2020 2nd International Conference on Image， Video and Signal Processing. Singapore： ACM， 2020： 81-85.

［20］WANG T， ZHANG T， ZHANG K B， et al. Context attention fusion network for crowd counting［J］. Knowledge-Based Systems， 2023， 271： 110541.

［21］SAAD M A， BOVIK A C， CHARRIER C. DCT statistics model-based blind image quality assessment［C］∥2011 18th IEEE International Conference on Image Processing. Brussels： IEEE， 2011： 3093-3096.

［22］LIU L X， LIU B， HUANG H， et al. No-reference image quality assessment based on spatial and spectral entropies［J］. Signal Processing： Image Communication， 2014， 29（8）： 856-863.

［23］KANG L， YE P， LI Y， et al. Simultaneous estimation of image quality and distortion via multi-taskconvolutional neural networks［C］∥2015 IEEE International Conference on Image Processing （ICIP）. Quebec City： IEEE， 2015： 2791-2795.

［24］KANG L， YE P， LI Y， et al. Convolutional neural networks for no-reference image quality assessment［C］∥2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH： IEEE， 2014： 1733-1740.

［25］YAN Q S， GONG D， ZHANG Y N. Two-stream convolutional networks for blind image quality assessment［J］. IEEE Transactions on Image Processing， 2019， 28（5）： 2200-2211.

［26］ZHANG W X， MA K D， YAN J， et al. Blind image quality assessment using a deep bilinear convolutionalneural network［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（1）： 36-47.

［27］SU S L， YAN Q S， ZHU Y， et al. Blindly assess image quality in the wild guided by a self-adaptive hyper network［C］∥2020 IEEE／CVF Conference on Computer Vision and Pattern Recognition. Seattle， WA： IEEE， 2020： 3667-3676.

［28］LI H， ZHANG K B， NIU Z X， et al. C2MT： A credible and class-aware multi-task transformer for SR-IQA［J］. IEEE Signal Processing Letters， 2022， 29： 2662-2666.

［29］QUAN X， ZHANG K B， LI H， et al. TADSRNet： A triple-attention dual-scale residual network for super-resolution image quality assessment［J］. Applied Intelligence， 2023， 53（22）： 26708-26724.

［30］ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： An extremely efficient convolutional neural network for mobile devices［C］∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT：IEEE， 2018： 6848-6856.

［31］HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： Efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）［2024-09-20］. https：∥arxiv.org/abs/1704.04861v1.

［32］SHI G M， WAN W F， WU J J， et al. SISRSet： Single image super-resolution subjective evaluation test and objective quality assessment［J］. Neurocomputing， 2019， 360： 37-51.

［33］ZHANG T Y， ZHANG K B， XIAO C， et al. Joint channel-spatial attention network for super-resolution image quality assessment［J］. Applied Intelligence， 2022， 52（15）： 17118-17132.

（編 輯 李 靜）

基金項目：國家自然科學基金（61971339）;陜西省自然科學基礎研究計劃重點項目（2018JZ6002）。

第一作者：樊丹丹，女，從事圖像質量評價研究，220411045@stu.xpu.edu.cn。

通信作者：張凱兵，男，教授，從事機器學習、圖像超分辨重建等研究，zhangkaibing@xpu.edu.cn。