功能型復合深度網絡的圖像超分辨率重建*

唐家軍，劉 輝，胡雪影

1.昆明理工大學 信息工程與自動化學院，昆明 650000

2.中國科學院 云南天文臺，昆明 650000

3.河南理工大學 計算機學院，河南 焦作 454150

1 引言

單圖像超分辨率（single image super resolution，SISR）重建[1-3]旨在將低分辨率（low resolution，LR）圖像在算法層面轉換提升為接近高分辨率（high reso-lution，HR）圖像的超分辨率（super-resolution，SR）圖像。相較于低分辨率圖像，高分辨率圖像具有更高像素密度、更多細節信息、更細膩的畫質，在醫療影像、衛星遙感、公共安全、視頻監控等領域都有廣泛的應用需求。獲取高分辨率圖像最直接的方法是采用高分辨率的采像設備。但實際應用過程中，由于制作工藝和工程成本的制約，很多場景不適宜采用具有高分辨率功能的設備進行圖像信號的采集。并且圖像感興趣區域可能很小，放大觀看的過程可能含有干擾噪聲。通過超分辨率重建技術來獲取HR圖像具有高的研究價值與應用需求。

研究中，一般將低分辨率成像模型表示為：

其中，ILR為低分辨率圖像；IHR為高分辨率圖像；D為下采樣算子；B為模糊算子；n為加性噪聲。圖像超分辨率重建是上式的逆運算。

由于D、B、n都為不確定因子，單張LR 圖像可能對應著多種HR 圖像預測結果，因此圖像超分辨率重建是不適定的逆問題。SISR 就是要利用一幅圖像中包含的信息以及從樣本圖像中得到的視覺先驗，識別重要的視覺線索，填充細節，并盡可能忠實和美觀地呈現。

為實現計算機視覺技術自動由低分辨率圖像重建出高分辨率圖像，研究者們已經提出多種SISR 方法。主要有傳統的SISR 方法[4-7]和深度學習方法[8]。雖然傳統的SISR方法及其改進方法[9-10]在SR任務已取得不錯的表現，但其主要是基于經驗算法實現，在高分辨重建過程中會遺漏大量的圖像高頻信息且需要一定人為干預，最終結果性能與實際應用需求有著較大差距。

由于出色的性能，深度學習方法已成為模式識別與人工智能領域的研究熱點。其中的卷積網絡（ConvNet）[11]近年來在大規模圖像和視頻識別分類[12]等方面取得了巨大的成功。Dong 等人提出的三層神經網絡SRCNN[13]（super-resolution convolutional neural network）成功將卷積神經網絡（CNN）運用到SISR 問題中，以端到端的方式學習從LR 到HR 的映射，不需要傳統SR 方法使用的任何工程特性，并且獲得比傳統方法更先進的性能。Kim 等人結合遞歸學習[14]、殘差學習[15]提出的DRCN[16]、VDSR[17]通過增加網絡深度的方式提升圖像重建性能。Mao 等人提出的具有對稱結構編解碼網絡REDNet[18]對SR 過程產生的噪聲有抑制作用，能恢復出更加干凈的圖片。對抗神經網絡[19]的興起使Christian 等人提出的SRGAN[20]（super resolution generative adversarial net-works）及其改進型ESRGAN[21]取得了逼真視覺效果。楊娟等人[22]在生成對抗網絡為主體框架的網絡模型中，以融合感知損失的方式提高對低分辨率圖像的特征重構能力，高度還原圖像缺失的高頻語義信息。RCAN[23]（residual channel attention networks）通過在卷積網絡引入注意力機制，通過考慮卷積特征通道之間的相互依賴性來自適應地重新縮放通道方式的特征。李云飛等人[24]提出一種多通道卷積的圖像超分辨率算法MCSR（multi-channel convolution super resolution）。引入多通道映射提取更加豐富的特征，使用多層3×3 等小卷積核代替單層9×9 等大卷積核，更加有效地利用特征，增強模型的超分辨率重構效果。深度SR 方法優秀的性能現今也應用到了特定的圖像中[25-26]。

然而，上述方法將深度學習技術成功引入到解決SISR 問題中時，也存在一定的局限性。SRCNN存在著依賴于小圖像區域上下文，訓練收斂慢，網絡只適用于單尺度的缺陷。DRCN 由于使用遞歸循環導致網絡存儲量大，訓練時間長，不便于實際應用。VDSR 切實解決了SRCNN 存在的問題，效果也較為顯著，但網絡的簡單鏈式堆疊在泛化與魯棒性存在風險。REDNet 的卷積與反卷積堆疊會出現振鈴效應與棋盤效應。而SRGAN 與ESRGAN 是采用對抗的方式生成SR圖像，破壞了SR圖像與HR圖像像素間的對應關系。

針對上述方法存在的弊端，本文提出了一種用于圖像超分辨率重建的復合深度網絡方法，該方法聯結兩個具有輔助功能的不同子網絡，賦予子網絡不同的職能：特征細節提取、特征去噪。通過結合兩個子網絡的深層特征與LR 圖像的初始特征重建出低噪聲、高視覺效果的SR圖像。

與前述SISR方法相比，本文主要貢獻如下：

（1）提出一種用于圖像超分辨率重建的復合深度神經網絡。借助輔助子神經網絡解決單圖像超分辨率過程產生的噪聲問題。

（2）通過配置復合網絡中子網絡之間的聯結方式、權值占比，探究發現單一網絡對于圖像超分辨率重建效果的作用。

（3）在訓練過程添加用于前向傳導梯度的輔助重建層，避免出現網絡梯度問題,實際測試時，額外的輔助重建層被去掉。

（4）使用遠程跳躍連接，加速網絡訓練，提升圖像重建效果。

2 相關工作

本章重點介紹了與本文最相關的三項工作：子網絡聯結塊、輔助重建層、殘差學習。

2.1 子網絡聯結塊

圖1 通過僅具有4 個卷積層的簡化網絡結構說明了這些網絡聯結方式。其中為了清晰起見，省略了激活函數Relu[27]。

圖1（a）聯結方式1采用SRResNet（SRGAN的生成網絡部分）中不同特征處理方式，將不同特征直接累加求和。賦予特征不同權重，能達到優質特征互補，提升重建效果。圖1（b）聯結方式2 則是借鑒SRDenseNet[28]，SRDenseNet 在稠密塊中將每一層的特征都輸入給之后的所有層，使所有層的特征通道并聯疊加，而不是像ResNet[13]直接相加。這樣的結構使整個網絡具有減輕梯度消失問題、支持特征復用的優點。

2.2 輔助重建層

輔助層（輸出中間層）是Szegedy 等人在Google-Net[29]中提出的。GoogleNet 考慮到對于深度相對較大的網絡，反向傳播梯度有效通過所有層的能力是一個挑戰。在這個任務上，更淺網絡的強大性能表明網絡中部層產生的特征應該是非常有識別力的。

GoogleNet 將輔助分類器添加到網絡中間層，期望較低階段分類器的判別力。而本文則通過將輔助重建層添加到網絡中間層，提高較低階段重建器的重建能力，同時輔助解決梯度問題。

這些輔助重建器采用較小卷積網絡（1×1 卷積核）的形式，放置在子網絡尾部。在訓練期間，輔助重建層的損失以權重占比（權重是0.3）加到網絡的整體損失上。在測試時，這些輔助重建網絡將被丟棄。

Fig.1 Network combination block圖1 網絡聯結塊

2.3 殘差學習

對于SISR 問題，輸入的LR 圖像與輸出的SR 圖像具有密集相關性。即LR 圖像的低頻信息與HR圖像的低頻信息相近，只是缺乏高頻部分的信息映射。這種映射關系不僅學習困難，而且學習效率低。并且輸入圖像在網絡計算中攜帶傳輸大量的細節信息，如果深層卷積網絡存在多重卷積遞歸，會產生嚴重圖像特征細節丟失與訓練梯度問題（梯度消失/爆炸等[30]）。鑒于此，本文設置殘差學習快速解決這個問題。殘差學習如圖2所示。

Fig.2 Residual learning：building block圖2 殘差學習：殘差塊

殘差學習由He 等人[15]提出，通過將圖1 結構疊加在一起構建一個非常深的152 層網絡ResNet，ResNet 在2015 年 的ILSVRC（imageNet large scale visual recognition challenge）分類比賽中獲得了第一名。由于ResNet 中的殘差學習是在每一個疊層中采用的，其中的殘差單元以鏈式堆疊，因此該策略是局部殘差學習的一種形式。

而全局殘差學習策略：輸出的結果=低分辨率輸入（經過插值變成目標尺寸的低分辨率圖像）+網絡學習到的殘差。基于全局學習策略采用多條非堆疊式的中遠距跳躍連接可將低維圖像特征直接傳輸到網絡中后層，協助梯度的反向傳播，加快訓練進程，提高結果性能。

3 復合網絡的圖像超分辨率重建

在本章中，詳細介紹了本文提出的網絡模型體系結構。具體的說，本文在網絡結構中采用殘差學習，通過將全卷積子網絡與編解碼子網絡置入網絡結構構建復合網絡模型。并且在子網絡尾端引入輔助重建層（圖3 中黑色虛線框），這進一步提升了學習性能。下面將逐步展示網絡模型的更多細節。

3.1 網絡架構

考慮到模型的輸入與輸出大小不同，本文采用與SRCNN相同的圖像預處理策略，使用雙三次線性插值下采樣得到網絡的低分辨率輸入圖像。網絡架構如圖3 所示。模型由三部分組成：初始特征提取、子網絡結構和重建。

Fig.3 Network architecture圖3 網絡架構

初始特征提取從輸入的低分辨率圖像中提取圖像低級特征，并將每個特征表示為高維向量，合并為初始特征圖組；然后將初始特征圖組分別輸入兩個子網絡，子網絡進行高維細節提取與噪聲的抑制、消除任務；重建部分中將兩個子網絡輸出的高維特征進行加權合并，并在最終的卷積層中結合初始特征（圖3紫色實線）重建輸出超分辨率圖像ISR。

3.1.1 初始特征提取

傳統圖像恢復中，圖像特征提取的一種策略是先將圖像塊進行密集提取[31]，之后用一組預先訓練的基底（如PCA（principal component analysis）[32]、DCT（discrete cosine transform）[33]等）來表示。而在卷積神經網絡，此部分基礎功能可納入到網絡的優化中，卷積操作自動提取圖像特征并表示。形式上，特征提取網絡表示為操作F1：

其中，輸入X為經過插值變成目標尺寸的低分辨率圖像，W1和b1分別表示卷積權值和偏置，W1表示64 個大小為3×3×c（c為LR 圖像通道數）的卷積核。“?”表示卷積運算，運算添加0 邊界，步長為1，使輸入、輸出特征尺寸保持一致，防止產生邊界降秩。使用Relu（max(0,*)）[27]用于卷積特征激活。

3.1.2 子網絡結構

該部分結構中，特征提取階段提取到的初始特征被分別送至兩個子網絡中進行高維特征運算與非線性映射。具體地說：在子網絡1 中，進行細節學習與清晰化重現；在子網絡2 中，進行特征圖像的去噪任務。

（1）子網絡1。對于SR 圖像細節學習重建，本文受到Kim 等人[17]的啟發使用非常深的卷積網絡。配置如圖3 紅色虛線框1 所示。使用N層卷積層（本文N為10），所有卷積層皆是同一類型：64 個大小為3×3×64 的卷積核，卷積核在3×3 的空間區域上運行，跨越64 個特征通道，添加0 邊界，卷積步長為1。第一層輸入圖像初始特征，中間層進行高維特征提取與非線性映射，最后一層高維特征與初始特征相加輸出。表示為公式：

（2）子網絡2。該部分網絡借鑒REDNet[18]卷積與反卷積次第使用，形成一個對稱的網絡結構，每個卷積層都有對應的反卷積層。卷積層用來獲取圖像特征的抽象內容，保留了主要的圖像內信息；反卷積層則用來放大特征尺寸并且恢復圖像特征細節信息。在達到良好去噪效果的同時較好地保留圖像內容。配置如圖3 紅色虛線框2 所示。使用M層（本文M為10）的編解碼結構，并使用了殘差學習局部跳躍連接加快訓練過程并提升訓練效果。

為保證兩個子網絡輸出特征尺寸相同，子網絡2 中所有卷積層采用與子網絡1 相同策略：卷積層統一采用64 個大小為3×3×64 的卷積核。在式（6）中：輸入為提取的初始特征，W2,m-2和b2,m-2為卷積權值與偏置大小。不添加0 邊界且卷積步長為2，單卷積層輸出尺寸變為輸入尺寸的一半。式（7）中W2,m-2和b2,m-2為反卷積權值與偏置,“⊙”表示反卷積運算；式（6）與式（7）互為逆過程。

式（8）則是一個局部跳躍連接[11]，正如殘差學習的設計初衷，跳躍連接可以解決網絡層數較深的情況下梯度消失的問題，同時有助于梯度的反向傳播，加快訓練過程。式（9）進行子網絡的最終輸出。卷積層逐漸減小特征圖的大小，反卷積層再逐漸增大特征圖的大小，同時采用跳躍連接加快訓練過程，保持子網絡最終輸入、輸出特征尺寸一致，同時保證在設備計算能力有限情況下的測試效率。獲得去除噪聲的特征圖。

3.1.3 網絡聯結與圖像重建

該部分結構主要功能是輸入特征圖組，輸出目標圖像ISR。首先第一層卷積層將前面子網絡輸出的H1,n與H2,m乘以一定的權值α、β(α+β=1)直接相加，作為重建部分的輸入。之后通過簡單卷積運算，將子網絡中輔助信息混合，以提升重建效果：

特征圖組重建為高分辨圖像過程可看作特征提取階段的逆運算。在傳統的方法中，此過程通常平均化重疊高分辨率特征圖以產生最終的完整圖像。可將輸入特征圖相應位置看作高分辨圖像對應像素不同維度的矢量形式。受此啟發，本文定義了一個卷積層來生成最終的超分辨率圖像。

式（12）是一個遠程跳躍連接，將式（2）得到的初始圖像特征與式（11）子網絡得到的高維特征相加，加快訓練速度；式（13）為重建高分辨率圖像表達式，Y為輸出的高分辨率目標圖像為c個大小為3×3×64 的卷積核，c代表著圖像通道數量。b4表示卷積偏置。期望在重建網絡卷積中，卷積核作為一個反作用基底，將特征圖投影到圖像域中，重建高分辨率圖像。

上述三種由不同的功能驅動的操作，都與卷積網絡具有一致的形式。將這三個操作復合在一起，構建一個具有細節學習、噪聲消除功能的復合深度卷積神經網絡（如圖3），用于圖像超分辨率重建。在此模型中，所有的權重值和偏置都要進行訓練優化以獲得最優值。

3.2 訓練

訓練的目的是通過優化網絡找到模型的最佳參數，訓練出最優網絡，使獲得的超分辨率圖像無限接近于高分辨率原圖像。

3.2.1 損失函數（優化目標）

目前的圖像恢復任務中主要使用的還是L2 損失函數（均方誤差（mean squared error，MSE）），因為使用L2 損失函數的網絡往往對PSNR 有針對性的提升。但是L2 指標與人類感知的圖像質量相關性較差，例如其假設噪聲與圖像的局部區域無關。而在有些情況下，L1 損失函數（平均絕對誤差（mean absolute error，MAE））獲得的圖像質量會更好。式（14）與式（15）分別為L1 損失（MAE）與L2 損失（MSE）的數學表達式。

其中，P、T分別表示預測圖像與真實圖像，H、W分別為圖像的高度和寬度。

同L2 損失函數相比，L1 損失函數不會過度懲罰兩張圖的差異，因此它們具有不同的收斂屬性。并且Zhao 等人[36]證明了L1 與L2 切換使用，不僅可以加速訓練損失的收斂，還能提升圖像預測結果。本文采用相同方式：先使用L1 損失函數加速訓練收斂，防止陷入局部最小；訓練后期再使用L2 損失函數尋找訓練最優值點，提升預測結果穩定性。

3.2.2 網絡參數設置

在訓練開始之前，需要初始化網絡參數以供后續更新。本文從平均值為0、標準偏差為0.001（偏差為0）的正太分布中隨機抽取數值，初始化每層的卷積核權重W，而偏置b則全部置0。設置學習率為0.000 1。使用Adam優化方法[37]更新權重矩陣，以將損失函數數值降至最低。其參數更新公式為：

其中，β1設為0.9，β2設為0.999 9，ε設為10-8，學習率η為0.001。mt為梯度的第一時刻平均值，vt為梯度的第二時刻方差值。

使用tensorflow 框架來實現本文提出的模型，用NVIDIA 1080Ti GPU 加速訓練過程并觀察到優異的性能。訓練所有實驗達到100 輪次（每輪1 000 次迭代，迭代批次大小64）后停止學習。前50 輪使用L1損失函數，后50輪使用L2 損失函數。

4 實驗分析與結果

在本章中，首先描述用于訓練和測試本文提出方法的數據集；然后對本文提出方法進行定性定量實驗分析，評估本文所提方法的特性與性能，得到最優的SISR 方法；最后在多個數據集上將本文方法與幾種最先進的SISR方法進行比較分析。

4.1 數據集

按照文獻[15,19]中對SRCNN、VDSR 等實驗數據集的設置，使用相同的含有291 幅圖像的訓練集，其中91 幅圖像來自Yang 等人[5]的T91 數據集，200幅圖像為公開自然圖像數據集BSD200[38]。SRCNN等已證明海量數據有益于深度卷積模型的訓練，并且由于網絡采用全卷積結構，輸入圖像的大小可以是任意的。在SRCNN 中訓練圖像被裁剪成33×33大小，裁剪步幅為14。而VDSR 則將圖像裁剪的大小設為41×41，同時其在文獻中證明了大的裁剪圖可以增大卷積感受野，有助于重建效果的提升。因此，本文將291 幅訓練集圖像分別進行逆時針旋轉90°、倒置、鏡像翻轉操作，從而得到含有1 164 幅圖像的擴充訓練集。同時在數據集圖像上裁剪64×64大小的子圖，裁剪步長設為16。

對于測試數據集，本文使用通用的基準測試[6,13]圖像數據集Set5[39]（5 幅圖像）、Set14[40]（14 幅圖像）、BSD100[31]（100 幅圖像），以及由Huang 等人提供的城市圖像Urban100數據集[7]（100幅圖像）。

本文中評價了3 個尺度因子，包括X2、X3 和X4。輸入的ILR是先進行雙三次下采樣，再對下采樣圖像進行一定比例的雙三次插值上采樣，并添加少量高斯隨機噪聲獲得的。

4.2 定性與定量分析

4.2.1 復合網絡聯結方式分析對比

經過探究分析，本文使用簡單子網絡結構，設計了兩種不同的子網絡聯結方式，即圖1 所示。通過調整不同聯結方式中單個子網絡的權值占比（α為子網絡1 的權重值，子網絡2 的權重值則為1-α），以PSNR 與SSIM 為分析評價指標，得到如圖4 所示結果（指標對比：數值越高，性能越好）。

由圖4 可以發現，聯結方式1 相比聯結方式2 可以獲得更高的PSNR 與SSIM 分數值。而在聯結方式1 中：當α=0.5，β=1-α=0.5 時，可以獲得最高的結果分數。由此本文采用聯結方式1,α=0.5,β=0.5的復合網絡。

4.2.2 殘差學習

網絡在圖2 基礎上使用殘差學習添加兩種跳躍連接[16]。一種為局部特征連接，協助梯度的反向傳播，加快訓練進程。另一種則為遠程跳躍連接，起到加快訓練進程，提高結果性能作用。

為探究殘差學習在網絡中的功能作用，本文實驗比較了兩種網絡：含有遠程跳躍連接和非遠程連接網絡。實驗在Set5 數據集上進行，放大因子為2。參數設置、學習速率調度機制與前文相同。

在表1 中，對比了含有遠程跳躍連接和非遠程連接網絡的圖像重建返回結果性能。從中可以看出：網絡在收斂時，含有殘差的網絡表現出優越的性能。當訓練完成時，含有遠程跳躍連接的網絡獲得了更高的PSNR 與SSIM 分數。證明了含有殘差學習的深度神經網絡對圖像超分辨率重建有益。

Table 1 Residual learning test表1 殘差學習實驗 dB

Fig.4 Analysis and comparison of combination modes圖4 聯結方式分析對比

4.3 與先進方法對比

4.3.1 客觀對比

本文采用圖4的網絡結構，在Set5、Set14、BSD100和Urban100 測試數據集上，使用放大因子2、3、4 評估網絡的性能，評測標準使用平均PSNR 和平均SSIM。對比的先進SR方法有：

Bicubic，像素插值方法[4]；

SelfEx，變換自相似圖像超分辨率方法[7]；

SRCNN，簡單的端到端卷積網絡圖像超分辨率重建方法[13]；

VDSR，帶有殘差學習的深度全卷積圖像超分辨率處理網絡[17]；

REDNet，由卷積層-反卷積層構成的對稱的編解碼框架，對圖像超分辨與去噪表現出優異效果[18]。

在表2 中，顯示了在多個測試數據集上使用不同放大因子基礎下，本文所提方法與先進SR方法的比較。通過對比，本文所提SR方法相較于當前各先進SR 方法在PSNR 和SSIM 上均有提高。相較于高放大因子的LR圖像，低放大因子下生成的低分辨率圖像重建所需要的特征細節與網絡結構要求稍低，過多的圖像特征細節可能反向影響圖像超分辨重建的效果，因此在Set5 與Set14 數據集中，放大因子為X2 超分辨結果稍差。本文所提方法在高放大因子重建的超分辨圖像相對VDSR、REDNet 等網絡表現出更加優異的性能結果。

由于網絡采用了分支子網絡結構，圖像SR 過程為并行過程。數據在兩個子網絡中同步運行計算。對比具有相同層數的卷積網絡，如VDSR/REDNet等串式堆疊網絡能節省更多時間。

將本文方法以SRCNN為時間基準，在Set5數據集上，放大倍率為X2，在AMD 2700X CPU+NVIDIA 1080Ti GPU+32 GB RAM 硬件設備條件下。與具有相同層數的卷積神經網絡進行單幅圖像的平均處理運行時間對比，結果如表3 所示。從表中結果可以得出結論，本文所提方法相比于其他深度網絡方法取得優異重建效果的同時極大程度上減少了運行時間，更滿足實時性要求。

4.3.2 主觀對比

分別在測試數據集Set14、BSD100、Urban100 選取復雜圖像，分別使用本文提出方法與先進SR方法進行超分重建，對比主觀視覺效果。圖像的重建返回結果如圖5～圖7所示。

在圖5 中，返回的是Set14 數據集008 圖像放大因子為4 的超分辨重建結果，觀測到本文方法在圖像抗鋸齒方面表現出優異效果；圖6 中，返回的是BSD100 數據集043 圖像在放大因子X4 的超分辨重建結果，本文方法在船頂部分重構出較為明顯的船艙細節圖，艙頂區域表現清晰，沒有模糊感；而在圖7返回了Urban100 數據集072 圖像使用放大因子為X4 的超分辨重建結果，可以看到本文方法相較其他SR方法在線條部分恢復得更清晰與連續。

Table 2 Performance evaluation comparison of each advanced SR method表2 各先進SR方法測試集性能對比

Table 3 Comparison of average operation time of different SR methods表3 不同SR方法平均運行時間對比 ms

在視覺感官對比上，本文所獲取的重建圖片效果明顯優于其他先進SR方法。

Fig.5 Comparison of visual effects of different SR methods for img008(Set14)圖5 img008（Set14）不同SR方法重建視覺效果對比

Fig.6 Comparison of visual effects of different SR methods for img043(BSD100)圖6 img043（BSD100）不同SR方法重建視覺效果對比

Fig.7 Comparison of visual effects of different SR methods for img072(Urban100)圖7 img072（Urban100）不同SR方法重建視覺效果對比

5 結束語

本文為解決簡單采用鏈式堆疊而成的單一網絡存在的層間聯系弱、網絡關注點單一以及分層特征不能充分利用等問題，提出了用于圖像超分辨重建的復合深度神經網絡。對于超分辨過程的細節重建、噪聲抑制等方面都有著非常顯著的效果。本文首先探索了子網絡不同聯結方式對最終重建效果帶來的影響，并選出最優異的聯結方式；然后發現具有殘差學習的網絡比普通卷積網絡收斂得更快并顯著提升了重建性能；最終證明了本文提出網絡方法的性能相比當前其他幾種先進SR 方法具有更加優異的性能表現。實驗中，對同一幅圖像進行超分辨率重建時，與Bicubic、SelfEx 等傳統算法相比，使用本文方法得到的圖像更清晰，細節表現得更豐富；而與SRCNN、VDSR 及REDNet 等深度學習SR 圖像重建算法相比，在圖像紋理信息豐富的區域，使用本文方法得到的重建效果更好。