真實復雜場景下基于殘差收縮網絡的單幅圖像超分辨率方法

李穎，黃超，孫成棟，徐勇*

真實復雜場景下基于殘差收縮網絡的單幅圖像超分辨率方法

李穎1，2，黃超1，2，孫成棟1，2，徐勇1，2*

（1.哈爾濱工業大學（深圳） 計算機科學與技術學院，廣東 深圳 518055； 2.深圳市視覺目標檢測與判識重點實驗室（哈爾濱工業大學（深圳）），廣東 深圳 518055）（?通信作者電子郵箱laterfall@hit.edu.cn）

真實世界中極少存在成對的高低分辨率圖像對，傳統的基于圖像對訓練模型的單幅圖像超分辨率（SR）方法采用合成數據集的方式得到訓練集時僅考慮了雙線性下采樣退化，且傳統圖像超分辨率方法在面向真實的未知退化圖像時重建效果較差。針對上述問題，提出一種面向真實復雜場景的圖像超分辨率方法。首先，采用不同焦距對景物進行拍攝并配準得到相機采集的真實高低分辨率圖像對，構建一個場景多樣的數據集CSR（Camera Super-Resolution dataset）；其次，為了盡可能地模擬真實世界中的圖像退化過程，根據退化因素參數隨機化和非線性組合退化改進圖像退化模型，并且結合高低分辨率圖像對數據集和圖像退化模型以合成訓練集；最后，由于數據集中考慮了退化因素，引入殘差收縮網絡和U-Net改進基準模型，盡可能地減少退化因素在特征空間中的冗余信息。實驗結果表明，所提方法在復雜退化條件下相較于次優BSRGAN（Blind Super-Resolution Generative Adversarial Network）方法，在RealSR和CSR測試集中PSNR指標分別提高了0.7 dB和0.14 dB，而SSIM分別提高了0.001和0.031。所提方法在復雜退化數據集上的客觀指標和視覺效果均優于現有方法。

超分辨率；復雜場景；圖像退化模型；殘差收縮網絡

0 引言

圖像超分辨率（Super-Resolution， SR）方法旨在提高圖像的分辨率，在醫學成像、遙感勘測與視頻監控等領域具有重要的研究和應用價值［1］。早期的單幅圖像超分辨率方法多采用插值算法，其中較為常用的是最鄰近插值、雙線性插值和雙三次插值［2］；然而，插值算法依賴定義好的線性插值核進行重建，通常會導致重建圖像丟失高頻信息。

近年來，隨著計算能力的提升與深度學習的發展，研究者將深度學習引入圖像超分辨率領域并且取得了比傳統方法更好的表現［3］。由于真實世界中很少存在成對數據集，現有的圖像超分辨率方法通常采用高分辨率圖像和雙線性下采樣后合成的低分辨率圖像作為成對的數據訓練模型。Dong等［4］首次提出了基于卷積神經網絡的圖像超分辨率網絡SRCNN（Super-Resolution Convolutional Neural Network），SRCNN模型簡單，只需要3個卷積層，但是加深網絡會導致模型難以收斂。Dong等［5］隨后提出了速度更快、重建效果更好的網絡模型結構FSRCNN（Fast SRCNN）。為了解決網絡加深導致感受野不足的問題，Kim等［6］利用遞歸神經網絡設計了DRCN（Deeply-Recursive Convolutional Network），遞歸神經網絡避免了網絡加深導致的梯度爆炸和消失，最終通過加深網絡層數的方式改善圖像超分辨率的重建效果。VDSR（Very Deep Super-Resolution）方法［7］和EDSR（Enhanced Deep Super-Resolution）方法［8］在網絡模型中引入了殘差連接［9］，并進一步加深網絡以彌補感受野的不足。受生成對抗網絡（Generative Adversarial Network， GAN）的啟發，Ledig等［10］首次提出基于GAN的網絡模型SRGAN（Super-Resolution GAN），并提出了更關注圖像真實感的感知損失函數，增強了重建圖像的真實感。ESRGAN（Enhanced SRGAN）模型［11］使用殘差連接與密集連接改進生成網絡，并且進一步優化了損失函數，取得了更好的重建效果。

盡管現有超分辨率方法在已知退化模型的超分任務上取得了很好的進展，但是僅基于雙三次下采樣方法合成的數據集訓練的模型對于真實世界中未知退化的圖像效果不佳。因此，研究者重點關注盲圖像的超分辨率方法，即面向退化未知的真實圖像的超分辨率方法［12］。一方面，SRMD（SR network for Multiple Degradations）方法［13］將退化的關鍵因素作為額外輸入，進而增強網絡的泛化能力。Wei等［14］提出的DASR （Domain-distance Aware SR）方法訓練了一個退化預測網絡用于預測低分辨率圖像的退化，并將預測的退化融入超分辨率重建網絡中用于減小退化帶來的影響。另一方面，RWSR（Real-World SR）方法［15］根據低分辨率圖像數據集預測圖像的退化參數，并根據預測參數構建圖像退化模型合成額外數據集進行模型訓練。然而在上述方法中，當輸入或預測的退化與輸入圖像不一致時，重建效果急劇降低。Zhang等［16］提出的BSRGAN（Blind SRGAN）方法通過退化模型的參數隨機化和擴充退化過程設計圖像退化模型，并使用模擬退化后的數據集訓練模型，在訓練的過程中，模型隱式地學習圖像的復雜退化過程；然而，BSRGAN方法只是沿用了傳統超分辨率重建網絡，沒有在網絡中減小退化帶來的影響。為了解決上述不足，本文提出面向真實復雜場景的基于殘差收縮網絡的單幅圖像超分辨率方法。

本文的主要工作如下：

首先，針對當前仍然缺乏真實的高低分辨率圖像對數據集的問題，本文實地采集了一個高低分辨率圖像對數據集CSR（Camera SR dataset）。具體地，通過固定相機位置、鏡頭角度與相機參數，使用鏡頭的不同焦距拍攝了同一景物的兩幅圖像，對兩幅圖像中的同一景物配準后得到高低分辨率圖像對。該數據集共包含461對高低分辨率圖像對，場景多樣且紋理豐富。

其次，針對圖像在存儲和傳輸等操作可能發生的退化，使用了一種非線性圖像復雜退化模型模擬圖像的真實退化過程。該模型由隨機參數的模糊、下采樣和噪聲這3個關鍵因素組成，并且使用兩次非線性組合退化策略設計退化因素的次序。

最后，針對高低分辨率圖像對和圖像退化帶來的影響，訓練數據集以CSR和圖像退化模型結合的方式生成。為了減小圖像中退化因素對重建效果的影響，首次引入信號處理領域的殘差收縮網絡改進基準模型，最終設計了一種面向真實復雜場景下基于殘差收縮網絡的單幅圖像超分辨率方法。實驗結果表明，本文方法在復雜退化的數據集上取得了最優的超分辨率重建效果。

1 相關研究

1.1　殘差收縮網絡

在信號處理領域，信號通常充斥著多種來源的、各不相同的噪聲或者冗余信息，而噪聲或冗余信息會使網絡模型的識別結果偏離預期，因此，如果能在卷積網絡中消除這部分噪聲或冗余信息，將大幅提升網絡模型的能力；然而，對于不同的樣本，它們的噪聲來源不同，必須在網絡中自適應地處理。為解決這一問題，Zhao等［17］提出了基于可學習軟閾值化函數的殘差收縮網絡，它的核心思想為：對于特征圖中的各個通道，可學習地生成通道閾值，使用通道閾值軟閾值化特征圖中的通道，達到減少噪聲和冗余信息的目的。軟閾值化函數見式（1）：

1.2　超分辨率重建評價指標

峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）以分貝作為基本單位，被廣泛地應用于重建領域中評價圖像的像素級失真程度，計算見式（2）：

2 相機圖像對數據集采集

現有的真實高低分辨率圖像對數據集主要有City100［18］和RealSR［19］，但仍存在一定的局限性：City100使用手機拍攝，通過調整手機與賀卡之間的距離拍攝了同一賀卡的高低分辨率圖像對，共采集了100對城市建筑賀卡的圖像對；RealSR使用Canon相機，通過調整相機鏡頭焦距的方式采集了200對圖像對，其中仍然包含了部分賀卡，并且場景比較單一。為了擴充真實的高低分辨率圖像對數據集，本文實景采集了場景豐富多樣的461對圖像對，完成圖像對齊后得到高低分辨率圖像對數據集。

2.1　圖像拍攝

本文圖像拍攝任務選址為深圳，相機型號為Canon EOS M200，相機鏡頭焦距為18～55 mm，相機分辨率固定為3 456×2 304，拍攝采用的長焦距與短焦距分別為55 mm和28 mm。為了避免手持相機的鏡頭抖動，使用相機三腳架固定相機，在固定位置和鏡頭角度的情況下調整焦距拍攝得到同一景物的兩幅圖像。由于焦距的不同，這一景物在兩幅圖像中的占比有所差異，焦距越長，視角更廣闊，景物成像更大，因此這一景物在兩幅相同分辨率的圖像中的分辨率不同。拍攝所得圖像對的一個實例如圖2所示，圖2（a）和圖2（b）兩幅圖像分辨率一致?？梢钥吹綀D2（a）中的矩形框選中區域與左圖景物一致，但分辨率較低。利用以上原理，即可得到相機在不同鏡頭焦距下的同一景物圖像對?？紤]到景物的多樣性以及環境變化的影響，本次拍攝的圖像對中的景物包括但不限于家居用品、現代建筑、植物、廣告牌、水果和賀卡；此外，拍攝所得的圖像對數據集中仍有部分存在物體移動、模糊的情況，對不符合要求的圖像進行了丟棄。

2.2　圖像配準

在收集上述兩種鏡頭焦距下所得的同一景物圖像對后，需要將圖像中的景物配準后才能作為超分任務中的高低分辨率圖像對。首先，用尺度不變特征變換（Scale-Invariant Feature Transform， SIFT）算法計算兩幅圖像中的關鍵點，具體步驟為：構建兩幅圖像的高斯差分金字塔，減少圖像低頻信息，凸顯圖像的特征；為了保證關鍵點的尺度不變性，篩選高斯差分金字塔中的極值點作為關鍵點；為了保證關鍵點的旋轉不變性，通過關鍵點在鄰域內的方向信息計算關鍵點的主方向，得到關鍵點并以向量表示，它包含了位置、尺度以及方向信息。其次，根據關鍵點的信息匹配圖2中兩幅圖像中的關鍵點，建立景物中配對特征的對應關系，拍攝圖像對的關鍵點匹配結果如圖3所示。

圖2　相機以不同焦距拍攝的圖像對示例

圖3　SIFT算法關鍵點匹配結果

根據SIFT算法關鍵點的匹配結果將短焦距拍攝圖像進行變換使之與右圖配準，即可得到同一景物的兩幅分辨率不同的圖像。由于相機鏡頭焦距的不同導致曝光程度不同，兩幅圖像的色彩也有區別，因此需要校正兩幅圖像的色彩。本文使用OpenCV中基于標準色卡的顏色校正方法對兩幅圖像進行色彩校正。最終獲得同一景物的高低分辨率圖像對，示例如圖4所示，由圖4（a）和圖4（b）中右下角矩形區域的放大圖像可以看到兩幅圖像在分辨率上的差異。最后，由于圖像配準存在嚴重模糊和配準不齊等失敗案例，故手工完成圖像對的篩選工作。重復以上步驟，最終獲得了包含461對場景多樣、紋理豐富的真實高低分辨率圖像對的CSR。

圖4　高低分辨率圖像對示例

3 基于殘差收縮網絡的生成對抗網絡模型

3.1　圖像退化模型

圖像退化模型通常包含模糊、降采樣和噪聲這3個關鍵因素，線性退化模型通常表達為式（4）：

傳統的退化模型較簡單且線性，現有工作僅使用雙三次下采樣或者固定參數的線性退化模型對高分辨率圖像進行退化以得到成對圖像對，難以模擬真實低分辨率圖像的退化過程［20］；然而，在真實世界中，一幅圖像在經過壓縮、傳輸和編輯等操作后，它的退化可能是多重且非線性的。具體地，一幅來自網絡的圖像在拍攝過程中會產生相機模糊與傳感器噪聲，在圖像壓縮過程會引入壓縮噪聲，在上傳至媒體軟件過程中會引入傳輸噪聲，因此，現有的退化模型難以完全模擬復雜的圖像退化過程。為了解決上述問題，受文獻［16，21］的啟發，本文采用了非線性組合退化的復雜圖像退化模型，并將退化模型的模糊、下采樣和噪聲這3個關鍵因素的參數隨機化。

下采樣操作在最鄰近下采樣、雙線性下采樣和雙三次下采樣方法中隨機選擇。

此外，非線性組合退化由高斯模糊、下采樣、高斯噪聲和泊松噪聲隨機次序組合而成，考慮到JPEG壓縮的常用性，在非線性組合退化的最后都加入1個JPEG壓縮。由于噪聲的出現頻率不同，將非線性組合退化中高斯噪聲和泊松噪聲的出現概率分別設置為0.8和0.2。

最終，本文的圖像退化模型由兩次非線性組合退化組成，由于兩次連續的非線性組合退化過程過于復雜，發生的概率較小，因此將第二次非線性組合退化的概率設置為0.2。圖像復雜退化模型如圖5所示。

圖5　圖像復雜退化模型

值得注意的是，兩次非線性組合退化中退化因素的參數不相關。盡管復雜退化模型不能完全模擬真實世界的退化空間，但兩次非線性組合退化策略和各種退化因素中參數的隨機化能夠模擬絕大多數的圖像退化過程。

3.2　網絡模型改進點

3.2.1合成數據集

在基于成對訓練的單幅圖像超分辨率方法中，一種思路是使用相機拍攝的成對數據集，為了獲得場景多樣的成對數據集，本文實景拍攝了相機成對數據集CSR；另一種思路是僅采用雙三次下采樣或者線性退化模型合成成對的高低分辨率圖像對數據集，但是該思路較簡單導致難以模擬真實世界中的退化過程，因此本文提出了更貼近真實圖像退化過程的圖像復雜退化模型。

為了充分考慮相機拍攝在高低分辨率圖像對之間的差異和圖像在真實世界中的退化過程，本文在數據集方面首次以真實相機數據集CSR與圖像復雜退化模型結合的方式合成數據集，具體的做法是：對于一對相機采集的高低分辨率圖像對，對相機采集的低分辨率圖像進一步地使用圖像復雜退化模型模擬在真實世界中發生的退化。

3.2.2基于殘差收縮的特征提取

本文以ESRGAN方法的模型［11］作為基準模型，ESRGAN中僅使用雙線性下采樣的方式合成數據集，對于真實世界中具有噪聲和模糊的圖像的重建效果較差。為了從數據集層面提升網絡的泛化能力，本文提出了結合相機數據集與退化模型的合成數據集，然而數據集的復雜性也給網絡模型帶來了新的挑戰，模糊和噪聲等退化因素在特征空間中的表達將直接影響最終的超分辨率重建效果，因此本文針對性地改進了ESRGAN。

為了抑制模糊和噪聲等冗余信息在特征空間中的表達，本文引入殘差收縮網絡和密集連接，提出了殘差密集收縮網絡（Residual Shrinkage Dense Network， RSDN）作為基本特征提取網絡。此外，在RSDN的基礎上，本文提出了生成網絡中特征提取的結構——殘差密集收縮塊（Residual Shrinkage Dense Block， RSDB）。

3.2.3基于U-Net的判別網絡

受文獻［21-22］的啟發，本文基于U-Net模型［23］作為判別網絡。判別的目標是評價輸入的超分重建圖像是否與真實的高分辨率圖像一致。ESRGAN以VGG模型［24］輸出的二分類結果整體性地評價超分辨率圖像，而VGG模型的評價只考慮了全局相似度，實際上超分重建圖像存在部分區域重建表現好而其他區域表現差的情況，VGG模型輸出的二分類結果難以體現，導致生成網絡從判別網絡接收的評價信息不夠具體，限制了生成器的優化。U-Net通過多個卷積層和下采樣的組合逐步獲得輸入圖像的深層特征，再通過多個卷積層和上采樣的組合提高特征的分辨率。此外，使用跳躍連接的方式融合各層的特征，最終使得輸出的多尺度特征圖的分辨率與輸入圖像保持一致，特征圖上的每個點值代表了對輸入圖像對應像素點的評價。相較于VGG模型，U-Net模型對特征進行了多尺度融合，結果更可靠，并且提供了像素級的評價。

3.3　網絡模型結構

本文使用的超分辨率倍數為4，提出了名為CSRGAN（Complex SRGAN）的模型，它的網絡結構如圖6所示。每個卷積層的核大小和步長分別為3和1，卷積層的輸出通道數標注在圖像下方。

在生成網絡中，對于輸入低分辨率圖像，通過復雜退化模型生成退化的低分辨率圖像，退化圖像在特征提取模塊中通過1個卷積層生成圖像的淺層特征，淺層特征繼續使用23個RSDB塊和1個卷積層生成圖像的深層特征，維度與淺層特征一致。通過跳躍連接將淺層特征和深層特征以相加的形式融合作為圖像的最終特征。獲得圖像的特征后進一步使用圖像重建模塊將特征映射為超分辨率圖像，本文的圖像重建模塊為亞像素卷積上采樣方法Pixel Shuffle［8］。

圖6　CSRGAN模型的結構

在判別網絡中，對重建的超分辨率圖像與原始高分辨率圖像的相似程度進行評價。傳統GAN采用的VGG模型只能從整體評價，無法具體地評價每個像素點的相似程度。因此，本文使用基于U-Net的判別網絡，在卷積層中通過填充的方式使輸出特征的尺寸與輸入保持一致，最終使U-Net輸出特征圖的尺寸與原始圖像保持一致。其中：用于特征下采樣的最大池化層（Max Pool）的核大小為2×2；用于特征上采樣的卷積層（Up Conv）是使得特征的寬度和高度均擴大2倍的轉置卷積。最終，U-Net輸出的特征圖維度與輸入圖像的維度保持一致，特征圖上每個像素點值代表了輸入圖像對應位置像素的評價。

圖7　RSDN的結構

圖8　RSDB的結構

3.4　損失函數

像素損失使用L1損失，通過將與逐像素進行對比的結果定義，計算如式（7）：

感知損失認為兩幅相似的圖像在同一模型中提取的特征空間仍然保持相似性，逐一在VGG模型每一層的每個卷積輸出的特征圖上度量每個點值的均方誤差，計算如式（8）：

4 實驗與結果分析

4.1　實驗環境及配置

本文所有實驗的實驗環境及配置如下：GPU為Nvidia GTX 3090，CUDA版本為11.3，Python版本為3.8.12且PyTorch版本為1.10.1，使用重建評價指標PSNR和SSIM客觀評價超分辨率實驗結果。

4.2　CSRGAN實驗結果及分析

為了驗證CSRGAN的有效性，將它與以下模型在相同測試集上進行實驗。對比模型包含RRDB（Residual in Residual Dense Block）［11］、ESRGAN［11］、EDSR［8］、RWSR-DF2K（Real-World Super Resolution-DIV2K and Flickr2K）［16］、SRMD［13］、DASR［14］和BSRGAN［16］。

4.2.1預處理及訓練細節

CSRGAN中網絡模型使用的訓練集結合CSR相機數據集和圖像復雜退化模型生成，具體地，對于CSR中的一對高低分辨率圖像對，在高分辨率圖像中隨機裁剪一個288×288的圖像塊作為參考圖像；在低分辨率圖像對應位置上裁剪一個72×72的圖像塊，并用圖像復雜退化模型模擬退化得到的圖像塊作為模型的輸入。

在測試集方面，由于本文方法面向真實的復雜場景，因此選擇了不同退化條件下的相機采集的RealSR測試集和CSR測試集，退化條件包含D1、D2和CD，其中D1由隨機參數的高斯模糊、雙線性下采樣和隨機參數的高斯噪聲順序組成，D2由D1中的退化因素隨機順序組成，CD即為本文設計的圖像退化模型。

在訓練的過程中，Batch Size統一設置為16，優化器采用Adam優化器［26］，學習率設置為10-4，學習衰減率設置為0.999。此外，由于GAN結構在訓練的過程存在難以收斂的問題，為了避免CSRGAN在早期訓練中陷入局部最優導致難以獲得最佳效果，第一步僅使用L1像素損失預訓練一個生成網絡，盡可能地提高預訓練生成網絡的超分辨率重建性能。由于圖像的像素損失會導致圖像存在一定的平滑，所以第二步加載預訓練生成網絡作為CSRGAN中的生成網絡訓練CSRGAN，此時使用的損失函數為引入感知損失和對抗損失的生成網絡損失，最終在GAN中訓練得到最終的CSRGAN模型。

4.2.2實驗結果及分析

各模型在不同退化條件的測試集中超分辨率重建指標對比見表1，CSRGAN在不同退化的兩個測試集上基本都取得了最高的PSNR和SSIM，僅在CD退化條件下的RealSR測試集中的SSIM評價指標略低于BSRGAN。比較各模型在3種不同退化條件下的平均PSNR和SSIM指標，相較于次優BSRGAN，CSRGAN模型平均平均PSNR指標分別提高了0.7 dB和0.14 dB，平均SSIM指標分別提高了0.001和0.031。

各模型在不同退化條件下的超分辨率視覺效果分別如圖9所示。

表1各模型在RealSR和CSR測試集上的重建指標對比

Tab.1　Comparison of reconstruction indicators of different models on RealSR and CSR test sets

圖9　各模型在不同退化條件下的視覺效果對比

RRDB、ESRGAN和EDSR模型僅使用了雙線性下采樣對圖像進行模擬退化，對于未知退化條件下的超分辨率任務不具備泛化能力，生成的超分辨率圖像中仍然存在大量的噪聲和模糊。RWSR-DF2K根據低分辨率圖像集估計圖像的高斯模糊和噪聲，然而圖像的退化過程復雜多樣，當退化參數不匹配時，重建效果較差。SRMD模型手動將模糊核和噪聲作為超分辨率重建網絡的額外輸入，然而當退化因素與圖像退化因素不一致時，重建效果仍然較差。DASR模型訓練了一個退化預測網絡用于預測低分辨率圖像的退化表達，并將預測的退化表達融入超分辨率重建網絡中以縮減退化因素的表達；然而低分辨率圖像的退化是多樣的且難以預測的，因此在復雜場景下的重建質量難以保證。BSRGAN模型對圖像退化模型進行了改進用于合成圖像對數據集，從訓練數據集的角度增強了復雜場景下的超分辨率效果；然而只是沿用了基準的超分辨率網絡，沒有在網絡結構中減小圖像退化因素帶來的影響，雖然超分辨率視覺效果相較于以前的模型好，但仍存在一定的偽影和色差問題，圖像的真實感較差。最后，CSRGAN模型一方面將高低分辨率圖像對數據集CSR與改進的圖像退化模型結合生成數據集，從數據集方面提升網絡模型在真實場景下的泛化能力；另一方面為了減弱退化因素帶來的影響，引入了殘差收縮網絡和U-Net改進模型。實驗結果表明，CSRGAN模型在視覺和客觀指標上均取得了較好的效果。

4.2.3消融實驗結果及分析

為了驗證3.2節提出的改進點的有效性，在相同的實驗配置下依次加入改進點設計對比實驗，其中：M1在基準模型ESRGAN的基礎上引入了成對數據集在圖像退化模型下合成的退化數據集進行訓練；M2則在M1的基礎上引入了殘差收縮網絡提取特征；CSRGAN模型則是在M2的基礎上進一步引入了U-Net作為判別網絡。

各模型在不同退化條件的測試集中超分辨率重建指標對比見表2。M1得益于增強的模擬退化數據集，已經大幅提升了不同退化條件下的重建質量指標PSNR和SSIM。M2引入了殘差收縮網絡減少特征提取過程中的冗余信息，重建質量指標相較于M1更高。

表2在測試集RealSR和CSR上的消融實驗結果對比

Tab.2　Comparison of ablation experimental results on RealSR and CSR test sets

最后，CSRGAN模型在M2的基礎上進一步引入了U-Net作為判別網絡，使得判別網絡可以為生成網絡的優化提供像素級的評價，因此在整體上得到了較高的重建質量指標。

各模型在不同退化條件D1、D2和CD合成的測試集中的超分辨率視覺效果對比分別如圖10所示。從圖10中可以看到，M1的重建視覺效果在D1退化條件中出現了圖像細節紋理丟失，而在圖D2和圖CD退化條件中仍然存在大量噪聲，因為M1盡管依賴于模擬退化的合成數據集進行訓練，但受限于特征提取的過程中沒有甄別特征中的冗余信息，導致部分紋理特征的丟失和噪聲的保留。M2引入了殘差收縮網絡改進特征提取，重建視覺效果優于M1，重建圖像的紋理更清晰且殘余的噪聲更少。最后，CSRGAN模型進一步引入了U-Net作為判別網絡，原始的VGG僅能從全局去評價重建圖像的質量，而判別網絡U-Net則是對每一個像素點進行評價，為生成網絡的優化提供了更精確的信息，因此在圖像的視覺質量上取得了最佳的效果。本文提出的各個改進點的引入都進一步提升了圖像超分辨率重建的質量指標和視覺效果，驗證了各個改進點的有效性。

圖10　不同退化條件下的消融實驗視覺效果對比

5 結語

本文提出一種面向真實復雜場景的單幅圖像超分辨率方法。針對當前缺少真實高低分辨率圖像對數據集的問題，構建了一個相機拍攝的高低分辨率圖像對數據集，它具有場景多樣且紋理豐富的特點；針對真實低分辨率圖像中的未知退化問題，采用退化關鍵因素的參數隨機化以及非線性組合退化策略改進圖像退化模型，盡可能地模擬圖像在傳輸和存儲等過程中可能發生的退化；為了減弱低分辨率圖像中的退化因素在特征空間中的表達，引入殘差收縮網絡優化基準網絡模型，進一步改善了超分辨率重建效果。實驗結果表明，本文提出的方法在模擬退化的數據集上的性能優于當前方法。下一步將在不同的圖像領域（如醫學圖像、遙感成像等領域）中構建更符合實際的圖像退化模型與設計適應的超分辨率網絡模型，最大限度地提升真實圖像的超分辨率效果。

[1] 王一寧，趙青杉，秦品樂，等. 基于輕量密集神經網絡的醫學圖像超分辨率重建算法［J］. 計算機應用， 2022， 42（8）： 2586-2592.（WANG Y N， ZHAO Q S， QIN P L， et al. Super-resolution reconstruction algorithm of medical image based on lightweight dense neural network［J］. Journal of Computer Applications， 2022， 42（8）： 2586-2592.）

[2] KEYS R. Bicubic interpolation［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing， 1981， 29（1）： 1153-1160.

[3] 王匯豐，徐巖，魏一銘，等. 基于并聯卷積與殘差網絡的圖像超分辨率重建［J］. 計算機應用， 2022， 42（5）： 1570-1576.（WANG H F， XU Y， WEI Y M， et al. Image super-resolution reconstruction based on parallel convolution and residual network［J］. Journal of Computer Applications， 2022， 42（5）： 1570-1576.）

[4] DONG C， LOY C C， HE K， et al. Learning a deep convolutional network for image super-resolution ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8692. Cham： Springer， 2014： 184-199.

[5] DONG C， LOY C C， TANG X， et al. Accelerating the super-resolution convolutional neural network［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 391- 407.

[6] KIM J， LEE J K， LEE K M. Deeply-recursive convolutional network for image super-resolution ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1637-1645.

[7] KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1646-1654.

[8] LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1132-1140.

[9] TARG S， ALMEIDA D， LYMAN K. ResNet in ResNet： generalizing residual architectures ［EB/OL］. （2016-03-25）［2021-12-12］. https：//arxiv.org/pdf/1603.08029.pdf.

[10] LEDIG C， THEIS L， HUSZáR F， et al. Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 105-114.

[11] WANG X， YU K， WU S， et al. ESRGAN： enhanced super-resolution generative adversarial networks ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11133. Cham： Springer， 2019： 63-79.

[12] LIU A， LIU Y， GU J， et al. Blind image super-resolution： a survey and beyond ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（5）： 5461-5480.

[13] ZHANG K， ZUO W， ZHANG L. Learning a single convolutional super-resolution network for multiple degradations［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 3262-3271.

[14] WEI Y， GU S， LI Y， et al. Unsupervised real-world image super resolution via domain-distance aware training ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13380-13389.

[15] JI X， CAO Y， TAI Y， et al. Real-world super-resolution via kernel estimation and noise injection ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 1914-1923.

[16] ZHANG K， LIANG J， VAN GOOL L， et al. Designing a practical degradation model for deep blind image super-resolution［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 4771-4780.

[17] ZHAO M， ZHONG S， FU X， et al. Deep residual shrinkage networks for fault diagnosis ［J］. IEEE Transactions on Industrial Informatics， 2020， 16（7）： 4681-4690.

[18] CHEN C， XIONG Z， TIAN X， et al. Camera lens super-resolution［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1652-1660.

[19] CAI J， ZENG H， YONG H， et al. Toward real-world single image super-resolution： a new benchmark and a new model［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3086-3095.

[20] 劉叢，王亞新. 基于雙并行殘差網絡的遙感圖像超分辨率重建［J］. 模式識別與人工智能， 2021， 34（8）： 760-767.（LIU C， WANG Y X. Remote sensing image super-resolution reconstruction based on dual-parallel residual network ［J］. Pattern Recognition and Artificial Intelligence， 2021， 34（8）： 760-767.）

[21] WANG X， XIE L， DONG C， et al. Real-ESRGAN： training real-world blind super-resolution with pure synthetic data［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision Workshops. Piscataway： IEEE， 2021：1905-1914.

[22] SCH?NFELD E， SCHIELE B， KHOREVA A. A U-Net based discriminator for generative adversarial networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 8204-8213.

[23] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[24] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-12-12］.https：//arxiv.org/pdf/1409.1556.pdf.

[25] JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 694-711.

[26] AGUSTSSON E， TIMOFTE R. NTIRE 2017 challenge on single image super-resolution： dataset and study ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1122-1131.

Single image super-resolution method based on residual shrinkage network in real complex scenes

LI Ying1，2， HUANG Chao1，2， SUN Chengdong1，2， XU Yong1，2*

（1，，，518055，；2（，），518055，）

There are very few paired high and low resolution images in the real world. The traditional single image Super-Resolution （SR） methods typically use pairs of high-resolution and low-resolution images to train models， but these methods use the way of synthetizing dataset to obtain training set， which only consider bilinear downsampling as image degradation process. However， the image degradation process in the real word is complex and diverse， and traditional image super-resolution methods have poor reconstruction performance when facing real unknown degraded images. Aiming at those problems， a single image super-resolution method was proposed for real complex scenes. Firstly， high- and low-resolution images were captured by the camera with different focal lengths， and these images were registered as image pairs to form a dataset CSR（Camera Super-Resolution dataset）of various scenes. Secondly， to simulate the image degradation process in the real world as much as possible， the image degradation model was improved by the parameter randomization of degradation factors and the nonlinear combination degradation. Besides， the dataset of high- and low-resolution image pairs and the image degradation model were combined to synthetize training set. Finally， as the degradation factors were considered in the dataset， residual shrinkage network and U-Net were embedded into the benchmark model to reduce the redundant information caused by degradation factors in the feature space as much as possible. Experimental results indicate that compared with the BSRGAN （Blind Super-Resolution Generative Adversarial Network）method， under complex degradation conditions， the proposed method improves the PSNR by 0.7 dB and 0.14 dB， and improves SSIM by 0.001 and 0.031 respectively on the RealSR and CSR test sets. The proposed method has better objective indicators and visual effect than the existing methods on complex degradation datasets.

Super-Resolution (SR); complex scene; image degradation model; residual shrinkage network

This work is partially supported by National Natural Science Foundation of China （61876051）， Project of Shenzhen Science and Technology Innovation Committee （JSGG20220831104402004）.

LI Ying， born in 1998， M. S. candidate. His research interests include computer vision， super-resolution.

HUANG Chao， born in 1991， Ph. D. candidate. His research interests include pattern recognition， deep learning.

SUN Chengdong， born in 2002. His research interests include computer vision， super-resolution.

XU Yong， born in 1972， Ph.D.， professor. His research interests include pattern recognition， computer vision， deep learning， video analysis.

TP391.4

A

1001-9081（2023）12-3903-08

10.11772/j.issn.1001-9081.2022111697

2022?11?24；

2023?07?06；

2023?07?07。

國家自然科學基金資助項目（61876051）；深圳市科創委資助項目（JSGG20220831104402004）。

李穎（1998—），男，四川成都人，碩士研究生，主要研究方向：計算機視覺、超分辨率；黃超（1991—），男，河南信陽人，博士研究生，主要研究方向：模式識別、深度學習；孫成棟（2002—），男，湖北黃岡人，主要研究方向：計算機視覺、超分辨率；徐勇（1972—），男，廣東深圳人，教授，博士，CCF會員，主要研究方向：模式識別、計算機視覺、深度學習、視頻分析。