結合感知邊緣約束與多尺度融合網絡的圖像超分辨率重建方法

歐陽寧，韋 羽，林樂平*

（1.認知無線電與信息處理省部共建教育部重點實驗室（桂林電子科技大學），廣西桂林 541004；2.桂林電子科技大學信息與通信學院，廣西桂林 541004）

（*通信作者電子郵箱lin_leping@163.com）

0 引言

單幅圖超分辨率（Super-Resolution，SR）重建［1］是一個不適定的逆問題，旨在從低分辨率（Low-Resolution，LR）圖像中恢復出高分辨率（High-Resolution，HR）圖像。近年來，卷積神經網絡（Convolutional Neural Network，CNN）在各種計算機視覺領域如目標檢測［2］、圖像識別［3］、圖像分割［4］取得的重大突破已經影響到超分辨率重建領域［5-10］。Dong 等［5］首次將卷積神經網絡引入超分辨率重建領域，提出了基于卷積神經網絡的超分辨率（Super-Resolution using CNN，SRCNN）重建方法。該方法通過端到端的方式學習LR 到HR 之間的非線性映射，是目前典型的基于CNN 的超分辨率重建方法；Kim 等［6］在用于大規模圖像識別的深度卷積神經網絡［3］的啟發下，提出了一種基于深度卷積神經網絡的精確圖像超分辨率（accurate image Super-Resolution using Very Deep convolutional neural networks，VDSR）重建方法。該方法通過增加網絡深度的方式擴大網絡的感受野，使網絡可以提取更為高級的特征，同時采用殘差學習以及增加學習率的策略緩解梯度消失問題；Ren 等［7］根據集成學習的思想，提出了融合多個神經網絡用于圖像的超分辨率（image super resolution based on Fusing multiple Convolution neural Networks，CNF）重建方法。該方法利用多個不同深度的網絡提取不同的上下文信息，由于不同深度網絡提取的特征不同，融合多個支路的上下文信息后可以有效增強特征表達能力，從而提升網絡重建精度；Lai 等［8］在圖像金字塔的啟發下提出了深度拉普拉斯網絡用于實現快速準確的超分辨率（deep Laplacian pyramid Networks for fast and accurate Super-Resolution，LapSRN）重建方法。該方法構建了一種金字塔型網絡結構，從粗到細逐步學習圖像高頻細節的殘差映射，大大降低了模型的復雜度以及學習難度；同樣基于由粗到細的思想，歐陽寧等［9］提出基于自注意融合網絡的圖像超分辨率（Self-Attention Network for image Super-Resolution，SASR-Net）重建方法。該方法首先通過CNN 初步重建高分辨率（HR）圖像，然后通過自注意力模塊捕捉初步重建圖像的全局依賴，進一步地恢復圖像高頻細節。另外，為了獲得視覺上更為逼真的重建圖像，Ledig等［10］提出了使用生成式對抗網絡的真實感單幅圖像超分辨率（photo-realistic single image Super-Resolution using a Generative Adversarial Network，SRGAN）重建方法，將鑒別網絡作為一種圖像先驗引入超分辨率重建領域，以對抗的方式優化生成網絡和鑒別網絡，促使生成網絡獲得更好的去模糊效果。

圖像的多尺度表達被廣泛應用于計算機視覺任務的分析建模中，對計算機視覺任務具有重要意義。與傳統的多尺度表達不同，卷積神經網絡中的多尺度表達主要為特征金字塔。該表達通過連續的卷積和下采樣操作獲得一系列感受野大小不同以及尺度不同的特征圖，從而可以具備局部至全局的上下文信息。在超分辨率重建領域中，充分地利用圖像上下文信息十分重要，融合圖像局部至全局的上下文信息往往能夠有效增加特征描述的準確性以及增強特征表達能力。比如CNF 方法通過融合多個網絡的上下文信息增加特征表達能力，取得了良好效果。但受到目前主流的單階段重建方式的影響，目前的超分辨率重建方法主要以先提取低分辨率（LR）圖像特征再上采樣的方式重建圖像。由于輸入LR 圖像尺寸較小，難以進行特征的多尺度表達，為了增加網絡感受野，該方式往往需要將網絡堆疊得較深，因而，該方式容易導致模型復雜度較高且不能充分利用圖像的多尺度上下文信息。另外，目前優化模型的損失函數中，使用L1和L2損失優化模型容易導致重建的圖像邊緣較為平滑，難以獲得一個良好的視覺體驗效果，雖然SRGAN 方法重建的高分辨率圖像能夠獲得較好的視覺體驗效果，但是該方法引入的判別模型不能精確地針對紋理和邊緣進行優化，導致重建的圖像中存在一定的高頻噪聲。

基于以上問題，本文提出了結合感知邊緣約束與多尺度融合網絡的圖像超分辨率重建方法（image Super-Resolution reconstruction method combining Perceptual Edge Constraint and Multi-Scale fusion Network，MSSR-Net-PEC）。首先，針對目前的超分辨率重建方法不能充分提取和利用圖像多尺度特征問題，本文受到SASR-Net以及LapSRN 多階段重建的啟發，設計了一個兩階段網絡。該網絡先通過第一階段CNN 初步提取和上采樣圖像特征，避免了特征尺寸過小不能進行多尺度表達問題；然后再通過特征金字塔模塊完成多尺度特征的提取以及多尺度特征的融合，從而充分利用圖像的多尺度上下文信息來精細化第一階段網絡輸出特征，增加特征表達能力。其中：第一階段由卷積層、殘差組C1，以及上采樣操作組成，負責初步提取和上采樣圖像特征；第二階段網絡由多個殘差組、下采樣操作以及多個注意力融合模塊組成，該網絡先通過殘差組和下采樣操作捕捉圖像的多尺度特征，再通過自底向上的逐步融合方式融合圖像的多尺度特征，從而有效利用圖像多尺度上下文信息，增加特征描述的準確性。在第二階段中，考慮到不同尺度不同通道的特征重要性差異，本文在通道注意力的啟發下，利用通道注意力捕捉不同尺度特征的通道權重，并通過該權重完成不同尺度特征的融合，以更有效融合不同尺度特征。其次，針對目前的損失不能良好地恢復圖像高頻細節問題，本文嘗試在L1損失的基礎上引入更豐富的卷積特征用于邊緣檢測（Richer Convolutional Features for edge detection，RCF）方法［11］作為感知邊緣約束。其中，該邊緣檢測方法的邊緣檢測精度已經超越數據集本身人工標注平均值，能夠精確地檢測和識別圖像邊緣，受到感知損失中利用網絡特征計算損失的啟發，本文用該方法的特征提取網絡的輸出特征計算特征損失LD，以精確地針對圖像的邊緣進行優化，恢復圖像高頻信息。實驗結果表明，本文的方法與SRCNN［5］、VDSR［6］、LapSRN［8］、SASR-Net［9］等相比較，在客觀評價標準和主管視覺效果上都優于這些超分辨率重建算法。

1 本文方法

本文基于由粗到細的思想，設計了兩階段網絡：第一階段主要負責提取圖像特征；第二階段負責提取和融合圖像多尺度特征，捕捉全局上下文依賴，以精細第一階段特征。如圖1所示。第一階段以原始低分辨率圖像作為輸入，通過CNN 完成特征的提取以及上采樣操作。第二階段以第一階段的輸出作為特征金字塔模塊的輸入，提取和融合多尺度上下文信息。

第一階段中，CNN 由卷積層、殘差組C1 和上采樣單元組成。其中，殘差組如圖1 中的殘差組虛線框所示，該模塊由N個殘差單元依次堆疊而成，第N-1個殘差單元的輸入為第N-2個殘差單元的輸出，第N-1個殘差單元輸出為第N個殘差單元的輸入。在第一階段網絡中，殘差組C1 的殘差單元數量N為10，上采樣方法為亞像素上采樣［12］。

受到特征金字塔網絡（Feature Pyramid Network，FPN）2］和LapSRN［8］的啟發，本文設計了特征金字塔模塊作為第二階段網絡。該模塊以第一階段輸出為輸入，先通過連續的卷積和下采樣操作獲得不同尺度的特征表達，再通過自底向上的注意力融合模塊逐步融合不同尺度特征。其中該模塊的卷積部分由多個殘差組組成，下采樣操作則通過步長為2的3×3卷積層來完成。

圖1 網絡結構Fig.1 Network structure

為了更有效且更精準地重建圖像高頻細節，本文在L1損失的基礎上引入RCF方法作為感知邊緣約束。RCF方法在邊緣檢測任務中表現優異，能夠精確檢測圖像邊緣，因此，將其引入作為圖像感知邊緣約束，能夠有效地針對圖像的邊緣進行優化，從而更逼近目標函數全局最優點。本文對RCF 方法的特征提取網絡中conv2-2 卷積層輸出的第2 個通道特征圖進行了可視化，如圖2 所示，特征圖中包含了豐富的高頻細節信息。相對于以最終輸出的單張邊緣概率圖計算損失，在特征層次計算損失能夠更為充分地利用圖像信息，因此，本文使用該方法特征提取網絡中第三階段卷積層輸出計算特征損失LD，并與L1損失結合，進一步約束解空間。

圖2 RCF網絡特征可視化結果Fig.2 RCF network feature visualization result

本文算法如算法1 所示，其中：iteration 表示當前迭代次數，max-iteration代表最大迭代次數。

算法1 超分辨率重建算法優化。

2 特征金字塔模塊設計

特征金字塔模塊主要由多尺度特征提取支路和多尺度特征融合支路組成，旨在提取和融合多尺度上下文信息，更好地重建圖像邊緣和紋理。

2.1 特征金字塔模塊

如何有效恢復圖像的邊緣和紋理是超分辨率重建中至關重要的問題，其中的關鍵點之一在于如何有效地捕捉全局上下文依賴。但在實際的研究過程中，為了能夠有效捕捉全局上下文依賴，網絡模型通常被設計得過于復雜。針對這個問題，本文設計了特征金字塔模塊。其中，該模塊具有以下幾個優點：1）擴大網絡感受野的同時不需要增加過多的網絡參數，使得網絡具備不同尺度的圖像特征；2）提取和融合不同尺度特征，有效捕捉全局上下文依賴；3）多尺度特征融合過程中，通過通道注意力捕捉不同尺度特征的權重大小，更有效地融合不同尺度特征；4）多尺度特征融合過程中，采用逐步上采樣融合方式，能夠實現更為精細的圖像重建。因此，特征金字塔模塊的引入有望更好地恢復圖像的邊緣和紋理。

特征金字塔模塊結構如圖1 所示。該模塊由兩部分組成：第一部分由多個殘差組和下采樣單元組成，負責提取圖像的多尺度特征。由于過多丟失圖像細節信息不利于圖像的重建，本文只提取3 個尺度的上下文特征。其中，殘差組C1、C2、C3 的殘差單元數量N分別為2、3、5。第二部分由兩個注意力融合模塊組成，該部分通過注意力融合模塊自底向上逐步融合多個尺度特征，完成多尺度特征的融合。

2.2 注意力融合模塊

鑒于不同的尺度的特征可能具有不同的重要性［13］，本文引入通道注意力機制［14］以生成可訓練的權重進行特征融合。注意力融合模塊如圖3所示。

假設Fc和Fk分別代表兩個相鄰的不同尺度特征，分別被送入到注意力融合模塊的兩個支路，下方支路首先將Fk特征圖通過亞像素上采樣2 倍至Fc大小，緊接著上下兩個支路分別經過卷積和通道注意力模塊后加權，得到融合后的特征F′。

假設第i個通道中兩個不同尺度的特征分別為，對應生成的注意力權重為，文中的注意力融合模塊可以被表示為：

圖3 注意力融合模塊Fig.3 Attention fusion module

3 感知邊緣約束

近年來基于卷積神經網絡的邊緣檢測方法在邊緣檢測領域取得了重大突破［11］，精度已經超越數據集本身人工標注平均值。相較于Canny 算子［15］，基于CNN 的邊緣檢測方法能夠精準識別和定位圖像邊緣。RCF方法作為其中最具代表性的算法之一，在BSDS500 測試集上最佳數據集規模ODS（Optimal Dataset Scale）值達到了0.811，而與之相比，Canny算子在該數據集上的測試結果ODS 值僅達到了0.611，遠遠低于RCF 方法，表明了RCF 方法能夠更為精準地檢測圖像邊緣。考慮到L1和L2損失不能很好恢復圖像的邊緣和紋理，本文引入RCF 方法作為感知邊緣約束以更好地恢復圖像的高頻細節。

RCF方法于2017年由Liu等［11］提出，邊緣檢測結果如圖4所示。該方法所設計的特征提取網絡在VGG（Visual Geometry Group）提出的VGG16 的基礎上進行了以下幾個調整：1）將VGG16 網絡的全連接層以及最后一個池化層去除；2）將第四階段的池化層步長改為1；3）將第五階段的三個卷積改為擴張率為2 的空洞卷積。由于該特征提取網絡應用于邊緣檢測任務，能夠提取豐富的邊緣特征，因此本文將其作為感知邊緣約束以更好地恢復圖像邊緣。

圖4 RCF方法的邊緣檢測結果Fig.4 Edge detection result of RCF method

在具體的實施過程中，本文借鑒感知損失的做法，使用其中的特征提取網絡的某卷積層輸出計算特征損失。其中，該網絡中第二階段的第二個卷積層conv2-2 輸出的第2 通道特征圖可視化結果如圖2 所示，可以看到，該網絡具備優秀的邊緣和紋理特征提取能力。考慮到該特征提取網絡中淺層提取的邊緣特征語義信息較少，深層提取的邊緣特征定位不精準，文中使用該特征提取網絡的第三階段的所有卷積層輸出特征計算L2損失，同時，由于本文僅使用第三階段卷積輸出特征計算特征損失，本文將RCF 網絡其他的部分全部去除，僅保留特征提取網絡的前三個階段網絡。訓練時，本文通過自己訓練的預訓練模型進行模型初始化。假設φ表示為RCF［11］網絡中的特征提取網絡映射，本文的感知邊緣約束具體可以表示為：

4 實驗與結果分析

本文實驗使用的DIV2K 訓練集［16］是一個高質量數據集。DIV2K 數據集由800 個訓練圖像、100 個驗證圖像和100 個測試圖像組成。文中在訓練過程中隨機地將低分辨率圖像裁剪為32×32 大小的子圖像，并通過水平、垂直翻轉和旋轉對數據進行擴充。測試集則由Set5、Set14 和BSDS100 組成，分別有5、14、100張圖片。

本文實驗過程中使用兩種損失訓練網絡：第一種為L1損失；第二種為感知邊緣約束和L1損失的結合體——聯合損失。其中，聯合損失函數L可表示為：

本文在模型訓練過程中采用雙階段訓練法，先訓練第一階段網絡，待其接近收斂再訓練整體網絡。在使用聯合損失訓練時，在已訓練好的網絡上進行微調，β參數設置為0.001，該參數通過4.1 節中的多組實驗分析進行確定。本文網絡模型基于pytorch 框架進行搭建。訓練過程中優化器選擇Adam。初始學習率設置為1E-05，每迭代60 個周期學習率衰減50%，最大迭代周期為400 epoch。網絡訓練平臺為雙顯卡的P104 6 GB的計算機。

4.1 感知邊緣約束權重對模型的影響分析

為了探索感知邊緣約束（Perceptual Edge Constraint，PEC）權重大小對模型的影響，本文以第一階段網絡SR-Net作為基礎網絡，通過設置不同β值的聯合損失訓練網絡。其中，以β值為0.1、0.01、0.001以及0.000 1的聯合損失分別進行4組實驗，并記錄了每個實驗最終損失收斂情況以及在Set5 數據集的峰值信噪比（Peak signal-to-noise Ratio，PSNR）測試情況，實驗結果如表1和圖5所示。

表1 4倍放大因子下不同β值訓練的基礎網絡最終收斂損失大小以及在Set5中測試的PSNR值對比Tab.1 Final convergence loss and PSNR tested on Set5 by basic network trained with different β when magnification factor is 4

如表1 所示，β越大，L1損失越大，PSNR 和PEC 越低；反之，β越小，L1損失越小，PSNR和PEC越高，這表明PEC與L1損失在某種意義上是互相矛盾的。其中，當β為0.000 1時，PEC基本不收斂，與單獨使用L1損失訓練最終結果基本一致。而從重建的圖像來看，如圖5 的臉部圖像所示，隨著感知邊緣約束權重的增大，圖像頭發部分的邊緣清晰度先增強然后基本穩定，這表明感知邊緣約束的引入能夠一定程度地提升圖像邊緣部分的恢復效果。但與此同時，隨著感知邊緣約束的權重增大，圖5 中臉部皮膚的紋理重建部分出現了明顯的柵格現象，這表明感知邊緣約束不能精確地重建圖像紋理，存在一定的柵格現象，但該現象可以通過調整感知邊緣約束權重進行減弱。如圖5（c）所示，雖然重建的皮膚紋理處有細微的柵格現象，但該圖像視覺效果相較于圖5（b）中更清晰，因此，適當地引入感知邊緣約束可以提升重建圖像的視覺效果。

圖5 不同β值訓練的基礎網絡在Set5數據集上head圖像的4倍重建結果對比Fig.5 Comparison of reconstruction results on head image of Set5 by basic network trained with different β（×4）

4.2 消融實驗分析

為了探究各模塊對本文方法（MSSR-Net）的影響，本文進行了消融實驗。

首先，本文以基礎網絡SR-Net（Super Resolution Network）為基礎，分別設計了兩個不同深度的網絡MSSR-Net-l 以及MSSR-Net-o。其中，MSSR-Net-l 的金字塔模塊中殘差組C2、C3、C4的殘差單元數量N分別為1、2、2，MSSR-Net-o的金字塔模塊中殘差組C2、C3、C4 的殘差單元數量N分別為2、3、5。兩個網絡統一去掉注意力融合模塊，損失函數統一使用L1損失。

其次，為了探究注意力融合模塊對模型的影響，本文在MSSR-Net-o 的基礎上加入注意力融合模塊，即網絡MSSR-Net。

最后，為了探究感知邊緣約束對本文模型的影響，本文使用聯合損失對MSSR-Net 進行訓練，即本文方法MSSR-Net-PEC。實驗的結果如表2、圖6～7所示。

從表2 和圖6 可看出：SR-Net 的收斂最慢，且PSNR 值最低；隨之往上，MSSR-Net-l、MSSR-Net-o 以及以及MSSR-Net 的收斂逐漸加快且PSNR 值逐步提升。說明了本文所提出的各模塊能夠有效提高模型性能。而在PSNR 值的比較中，MSSRNet-l 比SR-Net 提升了0.23 dB，MSSR-Net-o 比MSSR-Net-l 提升了0.1 dB，MSSR-Net 比MSSR-Net-o 提升了0.04 dB。表明了特征金字塔模塊對模型的影響最大，其次為特征金字塔模塊的深度，最后為注意力融合模塊。另外，在圖像的重建質量方面，如圖7 所示，蝴蝶翅膀部分的紋理重建中，MSSR-Net 的邊緣重建效果比SR-Net 要清晰一些且PSNR 值更高，這說明了本文方法的特征金字塔模塊能夠有效地捕捉全局上下文依賴。而使用聯合損失比使用L1損失的PSNR 值降低了0.3 dB左右，但如圖7 所示，使用聯合損失重建的邊緣更為清晰，可以重建出更多的高頻細節，說明了加入感知邊緣約束能夠更有效地針對邊緣紋理進行優化，可以重建出更為清晰的邊緣。

表2 消融實驗在Set5上4倍的測試結果Tab.2 Test results of ablation experiment on Set5（×4）

圖6 消融實驗在Set5上4倍訓練結果Fig.6 Training results of ablation experiment on Set5（×4）

圖7 不同超分辨率重建方法在Set5上butterfly的4倍重建結果比較Fig.7 Comparison of reconstruction results of different super-resolution reconstruction methods on butterfly of Set5（×4）

4.3 本文方法整體性能分析

將本文提出的MSSR-Net 以及MSSR-Net-PEC 與Bicubic［17］、SRCNN［4］、VDSR［6］、CNF［7］、LapSRN8］、SASR-Net［9］共6 種超分辨率重建方法分別從重建速度、圖像質量指標以及圖像重建視覺效果三方面進行詳細比較。其中，MSSR-Net以及MSSR-Net-l與各方法在BSDS100 數據集上4 倍的重建速度如表3 所示，MSSR-Net 與各方法在不同放大倍數下的峰值信噪比以及結構相似度比較如表4 所示，MSSR-Net 和MSSRNet-PEC與各方法重建的圖像視覺效果比較如圖8～9所示。

圖8 不同超分辨重建率方法在Set14上baboom 的3倍重建結果比較Fig.8 Comparison of reconstruction results of different super-resolution reconstruction methods on baboom of Set14（×3）

如表3 所示，由于本文需要對不同尺度的特征進行卷積操作，大幅增加了計算復雜度，所以本文方法的重建速度最慢。如表4 所示，MSSR-Net 在Set5、Set14 和BSDS100 數據集上的PSNR 和結構相似度（Structural SIMilarity index，SSIM）基本超過了其他超分辨率重建方法，尤其在3倍和4倍的放大因子中提升更為明顯，雖然本文方法在2 倍放大因子時稍遜于SASR-Net 和CNF，但在較大放大因子上的表現更佳。如圖8所示，本文方法MSSR-Net在毛發的邊緣和紋理重建效果比其他方法更清晰，并且PSNR以及SSIM指標更高，表明特征金字塔模塊能夠更好地恢復圖像紋理和邊緣。如圖9 所示，加入感知邊緣約束后的MSSR-Net-PEC 方法在PSNR 以及SSIM 指標雖然有所降低，但該方法在圖8和圖9中毛發和頭飾的邊緣重建更為銳利，表明了本文所提出的感知邊緣約束能夠有效增強圖像細節的恢復。

表3 各方法在BSDS100數據集上的4倍的重建速度對比Tab.3 Comparison of reconstruction speeds of different methods on BSDS100 dataset（×4）

表4 使用不同超分辨率重建方法在Set5、Set14、BSDS100數據集上的測試結果Tab.4 Test results of different super-resolution reconstruction methods on Set5，Set14，BSDS100 datasets

因此，本文的特征金字塔模塊針對大放大因子具有更好的重建效果但重建速度較慢，感知邊緣約束的引入能夠獲得更為銳利的邊緣但不能良好地恢復圖像紋理，在圖像的紋理處存在著細微的柵格現象。

圖9 不同超分辨率重建方法在Set14上comic 的3倍重建結果比較Fig.9 Comparison of reconstruction results of different super-resolution reconstruction methods on comic of Set14（×3）

5 結語

本文提出了結合感知邊緣約束與多尺度融合網絡的圖像超分辨率重建方法。該方法提出的特征金字塔模塊能夠充分地提取和融合圖像的多尺度特征，有效地捕捉全局上下文依賴，在大放大因子時能夠更好地重建圖像邊緣和紋理，但該模塊存在著計算量較大的問題。另外，本文引入的感知邊緣約束能夠有效地針對邊緣進行優化，獲得更為銳利的邊緣，但在紋理部分的重建存在一定的不足。本文下一步工作將針對以上兩個問題進行進一步優化。