聯合圖像—頻率監督的圖像超分辨率重建算法

摘 要：針對現有單幅圖像超分重建方法難以捕獲圖像中完備有效信息的問題，提出一種聯合圖像—頻率監督的圖像超分辨率重建算法，旨在利用多個域之間的互補信息，進而獲得更完備的圖像特征表示。首先通過分析圖像像素轉換到頻域空間后的特性，根據其復數表征方式提出了一種新的頻域距離監督損失，將頻譜信息有效地應用到卷積神經網絡的優化過程；然后通過分析頻域中不同頻帶的表征特點，在頻域距離損失基礎上構建了頻譜加權損失，并將其分別應用到低頻和高頻兩個頻帶；最后結合圖像域的監督，構成多個域的聯合優化，取得良好的性能。在Set14、B100和Kodak三種公開數據集上進行了驗證，結果表明：該算法的PSNR和SSIM分別達到了33.47 dB和0.985 9，與幾種圖像超分方法相比取得了最好的性能。

關鍵詞：單幅圖像超分辨率重建；圖像—頻率聯合監督；頻域距離監督損失；頻譜加權損失；卷積神經網絡

中圖分類號：TP391.4 文獻標志碼：A 文章編號：1001-3695（2023）02-052-0623-05

doi： 10.19734/j.issn.1001-3695.2022.05.0272

Image super-resolution reconstruction based on joint image-frequency supervision

Chen Shuli1，2，3，Zhang Shugui1，2，3，Zhao Zhan1，2，3

（1.School of Information Engineering， Kaifeng University， Kaifeng Henan 475001， China; 2. Research Center of High-Standard Farmland Intelligent Irrigation Project in Henan， Kaifeng Henan 475000， China; 3. Kaifeng Agricultural Internet of Things Engineering Technology Center， Kaifeng Henan 475000， China）

Abstract：Aiming at the problem that the existing single image super segmentation reconstruction methods are difficult to capture complete and effective information in the image， this paper proposed a joint image-frequency supervised image super-resolution reconstruction algorithm， which aimed to utilize the complementary information between multiple domains， thereby obtaining a more complete image feature representation. Firstly， by analyzing the characteristics of image pixels after converting to frequency domain space， this paper proposed a new frequency domain distance supervision loss according to its complex re-presentation， which effectively applied spectral information to the optimization process of convolutional neural networks. Based on the characterization characteristics of different frequency bands in the domain， this paper constructed the spectral weighting loss on the basis of the distance loss in the frequency domain， and applied it to the two frequency bands of low frequency and high frequency respectively. Finally， combined with the supervision of the image domain， it formed a joint optimization of multiple domains and got good performance. The results on Set14， B100 and Kodak show that the PSNR and SSIM of the proposed algorithm reach 33.47 dB and 0.985 9， respectively， and the proposed algorithm achieves the best performance compared with several image super-resolution methods.

Key words：single image super-resolution; image-frequency joint supervision; frequency distance supervision loss; spectral weighting loss; convolutional neural network

0 引言

單幅圖像超分辨率（single image super-resolution，SISR）重建的關鍵技術是恢復圖像中缺失的高頻細節［1，2］，在安檢成像、衛星成像、航空成像、醫學成像等［3～6］領域有著廣泛的應用。盡管在過去的幾十年中單幅圖像的超分辨率重建算法取得了許多重要的進展，但是如何有效地恢復出高質量的高分辨率（high-resolution，HR）圖像仍然是一項基礎性和挑戰性的任務。早期的SISR方法主要是基于插值的算法，如最近鄰插值、雙線性插值和三次插值等，但該類方法通常會導致恢復后的圖像出現模糊、鋸齒和振鈴效應。因此，研究者提出許多方法來抑制偽影的出現，如引入邊緣先驗知識、改變插值網格及銳化邊緣等［7，8］。這些改進的方法有效降低了生成圖像中的偽影，但它們仍然無法恢復更多的細節信息。

基于重構的算法是另一種經典的SISR方法。它是基于一個基本的約束條件，即重建的HR圖像必須與原始低分辨率（low-resolution，LR）圖像輸入一致。為了重建更好的結果，近年來提出了許多輔助的約束模型，如基于梯度的約束、局部紋理約束、全變分正則化器、基于去模糊的模型等［9，10］。然而，這些基于重構算法的性能往往在放大因子增加時迅速下降，因為基本的相似度約束是在LR空間上定義的，導致其泛化性能較差，很難在實際中應用。

基于機器學習的方法也涌現出大量典型且有效的學習模型，它們試圖通過大量已知的LR/HR實例來重建缺失的細節，如基于鄰居嵌入的算法、基于稀疏表示的方法，盡管這些方法可以恢復具有精細細節的銳利邊緣，但它們的計算成本通常很高。這些方法中最耗時的過程是表示系數或權重的逐個補丁優化［11，12］。

基于深度卷積神經網絡（convolutional neural network，CNN）的方法在計算機視覺中有著廣泛的應用，并產生了令人矚目的成績。例如，深度殘差網絡、稀疏卷積網絡、遞歸卷積網絡、雙向遞歸卷積網絡和協同局部自編碼器等［13～15］。在許多基于CNN的方法中，SISR被視為一個圖像重建問題，通常使用一個沒有池化和全連接層的通用卷積網絡。由于CNN具有很強的適應高度非線性回歸問題的能力，所以這些基于CNN的SR方法取得了最先進的結果。這些基于CNN的上采樣策略大致可以分為兩類：a）將LR輸入初步放大到高分辨率，然后利用網絡重構HR輸入；b）通過卷積網絡直接重構LR輸入，然后對最后一層的HR結果進行重構。最近，基于生成對抗網絡（generative adversarial network，GAN）的SR方法也揭示了一種恢復精細紋理細節的可能方法［16］。綜合分析，本文提出了一種用于單圖像超分辨率的聯合圖像—頻率監督的深度卷積網絡，與傳統方法不同的是，該方法不僅引入了圖像域的損失監督，并且聯合頻率的監督信息，通過挖掘兩種域之間的互補信息，促使網絡學習更有效的特征表示，從而降低LR到HR過程中的偽影，有效提升重建圖像的質量。最后在大量數據集上進行了廣泛的評估，實驗表明本文所提出的聯合圖像—頻域監督的網絡模型對圖像超分辨重建具有較好的作用，PSNR等指標優于目前最先進的深度學習方法。

1 聯合時域—頻域的卷積神經網絡模型

本文提出的聯合兩個域監督約束（joint image-frequency supervision network）的深度學習模型算法記為JointNet，其結構如圖1所示。

在網絡訓練中，不僅加入圖像域的損失，并且針對圖像超分重建過程中細節信息的丟失，引入頻率域監督，在兩種域之間形成信息互補，從而獲得更好的高分辨率圖像。然后通過分析，超分重建中的細節信息在頻域表現為高頻分量。另外，本文在聯合域監督基礎上對頻域的監督進行優化，提出一種加權的頻域損失約束，旨在分別處理高頻和低頻的信息，促使網絡更關注于高頻信息的保持。本文充分利用輸入數據圖像域和頻域的多域信息進行監督訓練，并利用圖像的頻率表示促進網絡學習有效的頻率表征，并且定義一個頻率距離來量化頻域圖像之間的差異。最后，采用了一種動態頻譜加權方案將模型集中在難重建的頻率中，即用高頻信息分量來有效解決網絡在低頻上快速收斂、在高頻部分難以收斂的問題。

1.1 圖像的頻率表示

離散傅里葉變換（discrete Fourier transform，DFT）是將離散有限信號轉換為其組成頻率即復指數波的復值函數。圖2展示了從原始圖像到頻域的變化過程，并且分別突出對比了低頻和高頻區域的不同。

為了將圖像轉換為其頻率表示，執行二維離散傅里葉變換：

其中：圖像的大小為M×N；（x，y）為圖像在空間域中的像素坐標位置；F（x，y）為像素值；（u，v）表示空間頻率在頻譜上的坐標；F（u，v）為復頻率值；e和i分別是歐拉數和復數單位。

根據歐拉公式：

其中：自然指數函數可以寫成

根據式（1）和（3）將圖像進行二維DFT分解為兩個正交的正弦函數和余弦函數，并分別構成頻率域值的虛部和實部。每一個正弦或余弦都可以看做是（x，y）的二元函數，其中它的角頻率由頻譜位置（u，v）決定。這些正弦和余弦的混合提供了圖像的水平和垂直頻率。因此，空間頻率在圖像中表現為二維正弦分量。頻譜坐標（u，v）也表示空間頻率的角度方向（可以在補充材料中看到可視化），F（u，v）表示圖像對該頻率的響應值。由于三角函數的周期性，圖像的頻率表示也具有對應的周期性。在式（1）中，F（u，v）是在空間域中遍歷圖像像素函數的和，因此頻譜上的特定空間頻率取決于所有的圖像像素。為了直觀地顯示，通過抑制光譜的單個中心點（最低頻率）（圖2的第2列），可以看出所有圖像像素都受到影響。

為了進一步確定頻譜上不同區域的空間頻率，本文執行了一些其他標準的限帶操作，并將其在空間域中的物理意義可視化（圖2）。低通濾波器，即缺失高頻，會導致模糊和典型的振鈴偽影；高通濾波器，即缺少低頻，傾向于保留邊緣和邊界。

從上述實驗可以看出，頻譜上不同區域的損失對應圖像上不同的偽影。因此，可以推斷出，補償這些損失可以減少偽影，并提高圖像重建和合成質量。這里的分析顯示了使用圖像的頻率表示來分析和定位不同頻率的意義，特別是對那些難以重建的頻率區域。

1.2 頻域距離監督損失

為了設計圖像重建任務中頻率域的損失函數，需要一個距離度量函數來精準量化頻域中網絡輸出圖像和真正的高分辨率圖像之間的差異。此外，距離函數必須滿足可微性，以支持隨機梯度下降用于網絡的訓練優化。在頻域中，數據對象是頻譜上不同的空間頻率，在圖像中表現為不同的二維正弦分量。為了設計頻率距離函數，本文進一步研究式（1）中復數值F（u，v）的實部和虛部。

設R（u，v）=a，I（u，v）=b分別為F（u，v）的實部和虛部。因此，F（u，v）可改寫為

根據二維離散傅里葉變換的定義，F（u，v）中有振幅和相位兩個關鍵元素。其中，振幅可定義為

在上述公式中，振幅表示能量，即圖像對特定頻率的二維正弦波的響應強度。通常將振幅顯示為頻譜的可視化信息。第二個元素是相位表示，它被定義為

相位表示二維正弦波與原點值（周期的開始）之間的位移關系。

由于振幅和頻譜在頻域中的重要性，所以頻率距離損失在構造中必須同時考慮振幅和相位，以便于能夠捕捉圖像不同層次的信息，進而獲得可靠的重建后的高分辨率圖像。

基于上述分析，將每個頻率值映射為二維空間（即一個平面）中的歐幾里德向量，如圖3所示。

根據復數的標準定義，實部和虛部分別對應于空間坐標系中的x和y軸。設Fh（u，v）=ah+bhi為高分辨率圖像在頻譜坐標（u，v）處的空間頻率值；對應地，Fp（u，v）=ap+bpi用于表示網絡輸出的預測圖像。

本文將h和p表示為從Fh（u，v）和Fp（u，v）映射的兩個對應向量。根據振幅和相位的定義公式，向量|h|和|p|分別對應Fh（u，v）和Fp（u，v）的振幅，角度θh和θp分別表示相位信息。因此，頻率距離對應于h和p之間的距離，其中考慮了矢量的幅值和角度。本文對單個頻率使用（平方）歐幾里德距離來進行約束。

高分辨圖像與預測的圖像之間的平均頻率距離約束可表示為

1.3 頻譜加權損失構建

本文成功構建了頻域的距離監督損失，通過式（7）可直接將高分辨率圖像和網絡預測圖像有效地聯系在一起作為網絡訓練的損失約束。但直接使用式（7）作為損失項，很難捕獲和處理頻譜中的難重建頻域區域，因為它對每個頻域的權重是相同的，而由于固有的偏差，不同的頻帶表示不同的信息，也具有不同的重要性。如果每個頻帶都采用相同的權重，模型會偏向簡單的頻率，在難重建區域也就是細節保持方面很難獲得令人滿意的效果。

受難樣本挖掘和加權損失計算策略的啟發，本文引入了一個頻譜權重矩陣來降低簡單頻帶和復雜頻帶之間的權重。頻譜權重矩陣由訓練期間每個頻率當前損失的非均勻分布動態確定。每個輸入圖像都對應一個頻譜權重矩陣。矩陣的形式與頻譜的形式相同。矩陣元素w（u，v），即（u，v）處空間頻率的權重，定義為

其中：Fr（u，v）和Ff（u，v）分別表示傅里葉變換后的頻域空間；α是靈活的比例因子（在本文實驗中α=0.5）。然后將矩陣w（u，v）歸一化到［0，1］，其中權重1對應于當前丟失最多的頻率，也就是難頻率帶賦予較大的權值，簡單頻率帶賦予較小的權值，幫助網絡更好地訓練。

通過對頻譜權重矩陣和頻率距離矩陣執行點乘，將兩者包含在一個公式中。因此，得到頻譜加權損失的完整形式：

頻譜加權損失可以看做是高分辨率圖像和網絡預測圖像之間頻率距離的加權平均值，將模型重點聚焦于通過降低簡單頻率的權重來重建難頻帶區域。此外，網絡聚焦的區域會即時更新動態變化，從而逐步細化重建的圖像，使得網絡的輸出不斷接近金標準。

1.4 圖像—頻域損失集成

高低頻信息在重建圖像過程中分別表示不同的信息，即紋理與細節之分。為了更細致地表示不同頻譜的重要性，本文對頻譜加權損失進行進一步的改進，將其分為高頻部分和低頻部分分別處理。

對于加權損失，將其劃分為兩部分，通過簡單的高通濾波（fHP）和低通濾波（fLP）即可實現，并不會為整個系統帶來過多的復雜計算，也能進一步細化整個頻域的重建。因此頻域損失可改寫為

在頻域空間，本文構建了加權損失指導網絡訓練，盡管能夠取得良好的實驗結果，但是圖像域的信息也是非常重要的。因為重建后的圖像不僅要在指標上獲得良好的性能，在視覺效果上也必須達到較好的水準，而圖像域主要反映視覺上的有效性，所以必須將其引入到網絡的訓練過程中，與頻域一起進行優化，互相促進。

在圖像域中，采用經典的均方根誤差損失（MSE），記為lossMSE，通過像素與像素之間的差異性進行約束，保證重建后圖像的視覺效果。此外，本文將圖像域損失與頻域損失結合在一起，構成網絡的整體損失函數，如式（11）所示。

其中：λ=0.5為平衡因子。

2 實驗與結果分析

2.1 數據集及評價準則

為了驗證本文算法的有效性，在三個典型的圖像集Set14、B100和Kodak上分別進行5折交叉驗證（5-fold cross-validation），即數據集隨機分成5等份，選擇第1份為測試集，剩余4份為訓練集；選擇第2份為測試集，剩余為訓練集，依此類推。

在評價準則方面，本文使用最廣泛的峰值信噪比（peak signal-to-noise ratio，PSNR） 和結構相似性（structural similarity，SSIM） 對重建后的圖像進行定量分析。給定真實的 HR 圖像Y

2.2 實驗設置

所有實驗和測試過程均在PyTorch環境下運行，硬件配置為一塊11 GB內存的NVIDIA RTX2080Ti顯卡。在設置訓練相關的超參數時，選擇 Adam 方法作為網絡優化方法，對參數進行優化和更新。

本文所設計的網絡采用多任務框架，以U-Net為骨干網，編碼階段是由四個包含降采樣的卷積塊構成；解碼階段則分為兩圖像域和頻域預測部分，但是兩者的結構是一樣的，均由四個包含上采樣的卷積塊構成，以此構成本文的網絡主體架構，如圖1所示。在網絡訓練中，將初始學習率設置為104，每200個epoch衰減系數為0.1，總共訓練800 epoch。在網絡訓練開始時，使用 PyTorch 的Weight_Norm 函數來初始化權重。為保持卷積后特征的空間大小，本文在所有卷積層均采用了零填充方式。此外，設置平衡因子α=0.5，λ=0.5。

2.3 現有方法對比驗證

將提出的JointNet與經典的Bicubic［7］方法以及最新的神經網絡方法，如 IUT［17］、GB-Net［18］、CF-Net［19］、FM［20］、URNet［21］ 及DRDN［22］較為先進的方法進行比較，得到不同方法之間的定量結果，如表1所示。

表1中包含八種方法分別在Set14、B100和Kodak三種數據集上的實驗結果。可以看出，在三種數據集上，本文方法在PSNR和SSIM指標上均取得最優的性能（表1最后一行）。其中，與經典的Bicubic方法相比，本文方法在兩種指標上的提升最高分別達到3.20 dB和0.057 3。此外可以看出，其他最新的神經網絡與Bicubic的插值方法相比，也均表現出更優的性能指標，進一步證明了神經網絡算法在圖像超分辨率重建中的重要作用。同時，由本文算法與最新的神經網絡算法URNet相比可以看出，本文方法在三種數據集上PSNR和SSIM指標分別提高了0.32 dB、0.021 7、0.18 dB、0.004 7、0.47 dB、0.011 4，驗證了本文方法的有效性。

為進一步驗證本文方法的識別性能，將重建后的結果可視化出來，用于說明本文方法不僅在定量的指標中取得最優的性能，如圖中彩色框區域的結果所示，在定性的視覺比較中也能取得良好的結果，如圖4所示。

圖4中，第1列是原始的高分辨率圖像，其余列均為不同方法對目標區域（圖中紅色框）的重建結果。從中可以看出，與圖中第二列的插值方法相比，其他深度學習方法均在視覺上展現了更好的效果。本文方法的結果展示在最后一列，與其他方法的結果對比，所得結果在整體上保持了原始圖像中的結構和紋理信息，并且在細節處使得圖像更清晰，消除了其他方法中出現的馬賽克和振鈴現象。

2.4 消融實驗

為了測試本文所提聯合圖像—頻率監督的圖像超分辨率重建算法各個模塊的有效性，將U-Net［14］作為骨干網，其以標準的編解碼結構作為訓練，高分辨率的圖像域數據作為監督信息。在此基礎上，為了驗證頻域監督的有效性，引入另一個頻域監督分支。在圖像域監督基礎上，加入整個頻域的監督（注意，此處并不區分高頻和低頻區域之間的差別），記為UNet-F。進一步，在頻域約束的結構基礎上，為了驗證不同頻帶區域（高頻和低頻）對重建結果的影響，本文提出頻域加權損失并將其應用兩個頻帶進行損失優化，整體結構記為UNet-F-D（JointNet），實驗結果如表2所示。

通過對表2數據分析可知，僅使用傳統的圖像域監督損失，網絡在三種數據集上PSNR和SSIM最高只能獲得31.85 dB和0.969 0的精度。然而，通過添加頻域的信息約束，可看出指標具有提升，充分說明了本文所利用頻域信息的有效性。最后，本文在頻域監督的基礎上進行深入擴展，在提出的加權損失中引入高低頻分別約束，進一步提高重建框架的準確率，在原始骨干網基礎上，PSNR和SSIM值最高分別達到了33.47 dB和0.985 9，充分表明本文框架的有效性，也從實驗角度驗證了本文所提理論分析的準確性。

3 結束語

針對單幅圖像超分辨率重建問題，設計了有效的基于深度卷積神經網絡的超分辨率重建方法，即聯合圖像—頻率監督的重建網絡，用于增強自然圖像的 SISR 性能。由于頻率變換提供了更豐富的信息表征，并且在圖像中表現出頻帶分布的差異性，所以在頻譜空間構建一種新的頻譜加權損失，并將其分別應用于高頻和低頻兩個表示空間，針對性地對頻譜空間和圖像空間進行全面的約束和優化。通過在三個公開數據集 Set14、B100和Kodak上的實驗結果表明，與現有幾種最新的SISR 算法相比，本文方法不僅在PSNR和SSIM定量指標上實現了最好的結果，而且在定性的可視化結果中也展現了更好的重建圖像質量。在未來的研究中，筆者將進一步挖掘圖像域與其他域之間的表達關系，并且針對網絡結構進行進一步的優化，實現輕量級高分辨率的網絡架構。

參考文獻：

［1］李佳星，趙勇先，王京華. 基于深度學習的單幅圖像超分辨率重建算法綜述 ［J］. 自動化學報，2021，47（10）： 2341-2363.（Li Jiaxing，Zhao Yongxian，Wang Jinghua. A review of single image super-resolution reconstruction algorithms based on deep learning ［J］. Acta Automatica Sinica，2021，47（10）： 2341-2363.）

［2］葛鵬，游耀堂. 基于稀疏表示的光場圖像超分辨率重建 ［J］. 激光與光電子學進展，2022，59（2）： 86-92.（Ge Peng，You Yaotang. Super-resolution reconstruction of light field images via sparse representation ［J］. Laser amp; Optoelectronics Progress，2022，59（2）： 86-92.）

［3］黃健，趙元元，郭蘋，等. 深度學習的單幅圖像超分辨率重建方法綜述 ［J］. 計算機工程與應用，2021，57（18）： 13-23.（Huang Jian，Zhao Yuanyuan，Guo Ping，et al. Survey of single image super-resolution based on deep learning ［J］. Computer Engineering and Applications，2021，57（18）： 13-23.）

［4］袁昆鵬，席志紅. 基于深度跳躍級聯的圖像超分辨率重建 ［J］. 光學學報，2019，39（7）： 235-244.（Yuan Kunpeng，Xi Zhihong. Image super resolution based on depth jumping cascade ［J］. Acta Optica Sinica，2019，39（7）： 235-244.）

［5］柏正堯，陶勁宇. 采用偽3D卷積網絡的腦部MRI圖像超分辨率重建 ［J］. 計算機輔助設計與圖形學學報，2022，34（2）： 208-216.（Bai Zhengyao，Tao Jinyu. Super-resolution reconstruction of brain MR images using pseudo-3D convolutional network ［J］. Journal of Computer-Aided Design amp; Computer Graphics，2022，34（2）： 208-216.）

［6］王銀玲，王昕. 基于稀疏表示的遙感圖像超分辨率重建 ［J］. 長春工業大學學報 ：自然科學版，2021，42（2）： 175-180.（Wang Yinling，Wang Xin. Super-resolution reconstruction of sparse remote sensing images ［J］. Journal of Changchun University of Technology ：Natural Science Edition，2021，42（2）： 175-180.）

［7］Keys R G. Cubic convolution interpolation for digital image processing ［J］. IEEE Trans on Acoustics，Speech，and Signal Proces-sing，1981，29（6）： 1153-1160.

［8］殷明，梁翔宇，段普宏. 結合NSCT與插值的圖像超分辨率重建 ［J］. 電子測量與儀器學報，2018，32（1）： 19-25.（Yin Ming，Liang Xiangyu，Duan Puhong，et al. Image super-resolution reconstruction based on NSCT and interpolation ［J］. Journal of Electro-nic Measurement and Instrumentation，2018，32（1）： 19-25.）

［9］孟琭，胡海峰，胡金洲，等. 基于深度學習的多模光纖散射介質成像重建 ［J］. 中國激光，2020，47（12）： 264-273.（Meng Lu，Hu Haifeng，Hu Jinzhou，et al. Image reconstruction of multimode fiber scattering media based on deep learning ［J］. Chinese Journal of Lasers，2020，47（12）： 264-273.）

［10］姜紅濤，孫京，謝成，等. 內外部梯度聯合約束的圖像超分辨率重建方法 ［J］. 計算機工程，2022，48（1）： 220-227，235.（Jiang Hongtao，Sun Jing，Xie Cheng，et al. Super-resolution image reconstruction method under joint constraints of external and internal gradient ［J］. Computer Engineering，2022，48（1）： 220-227，235.）

［11］丁玉祥，卞維新，接標，等. 融合鄰域回歸和稀疏表示的圖像超分辨率重構 ［J］. 計算機工程與應用，2021，57（2）： 230-236.（Ding Yuxiang，Bian Weixin，Jie Biao，et al. Super-resolution image reconstruction based on neighborhood regression and sparse representation ［J］. Computer Engineering and Applications，2021，57（2）： 230-236.）

［12］端木春江，左德遙. 錨點領域回歸與稀疏表示的圖像超分辨率方法 ［J］. 計算機工程，2019，45（5）： 194-198.（Duanmu Chunjiang，Zuo Deyao. Image super-resolution method via anchored neighborhood regression and sparse representation ［J］. Computer Engineering，2019，45（5）： 194-198.）

［13］Zhang Xiao，Cui Zhiming，Feng Jun，et al. CorLab-Net： anatomical dependency-aware point-cloud learning for automatic labeling of coronary arteries ［C］//Proc of International Workshop on Machine Lear-ning in Medical Imaging. Cham： Springer，2021： 576-585.

［14］Ronneberger O，Fischer P，Brox T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proc of International Confe-rence on Medical Image Computing and Computer-Assisted Intervention. Cham：Springer，2015： 234-241.

［15］鄭璐，王保云，楊昆，等. 基于深度學習的超分辨率圖像重建研究綜述 ［J］. 計算機與數字工程，2021，49（4）： 804-808.（Zheng Lu，Wang Baoyun，Yang Kun，et al. A review of research on super re-solution image reconstruction based on deep learning ［J］. Computer amp; Digital Engineering，2021，49（4）： 804-808.）

［16］朱海琦，李宏，李定文，等. 基于生成對抗網絡的單圖像超分辨率重建 ［J］. 吉林大學學報： 理學版，2021，59（6）： 1491-1498.（Zhu Haiqi，Li Hong，Li Dingwen，et al. Single image super-resolution reconstruction based on generative adversarial network ［J］. Journal of Jilin University ：Science Edition，2021，59（6）： 1491-1498.）

［17］雷帥，廖曉東，潘浩，等. 基于改進上采樣技術的圖像超分辨率重建 ［J］. 計算機系統應用，2022，31（3）： 220-225.（Lei Shuai，Liao Xiaodong，Pan Hao，et al. Image super-resolution reconstruction based on improved upsampling technology ［J］. Computer Systems amp; Applications，2022，31（3）： 220-225.）

［18］張華成，紀飛，鐘曉雄，等. 基于高斯模糊的CNN的單幅圖像超分辨率重建算法 ［J］. 計算機應用與軟件，2022，39（1）： 231-235，295.（Zhang Huacheng，Ji Fei，Zhong Xiaoxiong，et al. Super-resolution reconstruction algorithm of single image based on CNN with Gaussian blur ［J］. Computer Applications and Software，2022，39（1）： 231-235，295.）

［19］倪若婷，周蓮英. 基于卷積神經網絡的人臉圖像超分辨率重建方法 ［J］. 計算機與數字工程，2022，50（1）： 195-200.（Ni Ruoting，Zhou Lianying. Face image super-resolution reconstruction method based on convolutional neural network ［J］. Computer amp; Digital Engineering，2022，50（1）： 195-200.）

［20］樓鑫杰，李小薪，劉志勇. 基于反饋機制的圖像超分辨率重建算法 ［J］. 計算機工程，2022，48（2）： 261-267.（Lou Xinjie，Li Xiao-xin，Liu Zhiyong. Super-resolution image reconstruction algorithm based on feedback mechanism ［J］. Computer Engineering，2022，48（2）： 261-267.）

［21］Wang Yuntao，Zhao Lin，Liu Liman，et al. URNet： a U-shaped resi-dual network for lightweight image super-resolution ［J］. Remote Sensing，2021，13（19）： 3848.

［22］Musunuri Y R，Kwon O S. Deep residual dense network for single image super-resolution ［J］. Electronics，2021，10（5）： 555.

收稿日期：2022-05-17；修回日期：2022-07-04 基金項目：河南省教育廳重點科研項目（22A520001）；國家自然科學基金資助項目（61702185）；河南省高等學校青年骨干教師培養計劃資助項目（2020GZGG043）；河南省高等學校重點科研計劃項目（21A520029，21A520028）

作者簡介：陳書理（1981-），女，河南駐馬店人，講師，碩士，主要研究方向為計算機建模與圖像處理（chensok@126.com）；張書貴（1979-），男，河南南陽人，講師，碩士，主要研究方向為計算機應用軟件；趙展（1987-），男，河南輝縣人，講師，博士，主要研究方向為數學建模與圖像處理.