基于雙路回歸神經(jīng)網(wǎng)絡(luò)的遙感圖像超分辨率重建方法

劉 淼 龔炳江

1邯鄲工程高級技工學(xué)校 邯鄲 056009 2河北工程大學(xué)信息與電氣工程學(xué)院 邯鄲 056009

0 引言

近年來，高分辨率成像系統(tǒng)已成為現(xiàn)代軍事行動不可或缺的關(guān)鍵信息采集設(shè)備之一[1]。根據(jù)奈奎斯特采樣理論，最高空間頻率成像傳感器可收集的信息是探測器像素。因此，當(dāng)遙感成像的分辨率系統(tǒng)受到探測器像素大小的限制時(shí)，提高紅外成像分辨率的最簡單方法就是通過減小像素的大小來提高分辨率[2]。然而，受探測器制造工藝的限制，像素尺寸不能進(jìn)一步加工成更小的尺寸，于是學(xué)者們提出使用計(jì)算成像方法重建將低分辨率圖像重建出高分辨率圖像，而大多數(shù)學(xué)者利用各種超分辨率方法來增強(qiáng)遙感圖像的視覺效果[3]。

圖像超分辨率重建旨在通過技術(shù)手段生成高分辨率圖像，在放大圖像的同時(shí)提高圖像質(zhì)量。單圖像超分辨率（SISR）的重建是非對稱問題，旨在通過使用低分辨率（LR）觀察圖像恢復(fù)圖像采集過程中丟失的高頻信息重建高分辨率（HR）圖像，具有困難的正向過程和簡單的反向過程。深度神經(jīng)網(wǎng)絡(luò)以其強(qiáng)大的非線性擬合、特征提取和高維數(shù)據(jù)處理的容錯能力，在各領(lǐng)域特別是在圖像處理領(lǐng)域得到了廣泛應(yīng)用[4]。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的日益成熟，計(jì)算機(jī)視覺領(lǐng)域的技術(shù)問題得以解決，基于卷積神經(jīng)網(wǎng)絡(luò)的SISR應(yīng)運(yùn)而生，包括深度盲超分辨率和加速超分辨率[5]。平板電腦和手機(jī)等智能設(shè)備逐漸成為主流工具，但其計(jì)算資源仍然有限，故迫切需要實(shí)現(xiàn)高效的SR技術(shù)。Dong C等[6]將CNN網(wǎng)絡(luò)應(yīng)用于單圖像超分辨率重建，提出了一種3層卷積神經(jīng)網(wǎng)絡(luò)SRCNN，而后越來越多的研究嘗試使用CNN實(shí)現(xiàn)SISR，淺層神經(jīng)網(wǎng)絡(luò)的特征提取水平較低，但層越深特征提取水平就越高，更多研究集中在探索深度對模型表達(dá)能力和性能的影響；Kim D等[7]提出了VDSR，將層數(shù)增加到20層，并提高了超分割性能；Goswami S等[8]提出了一種更廣泛更深入的網(wǎng)絡(luò)架構(gòu)EDSR，該架構(gòu)將網(wǎng)絡(luò)深度增加到60層以上，并提高了超分割性能。RCAN借鑒了ResNet的殘差思想，通過全局殘差結(jié)構(gòu)和局部殘差結(jié)構(gòu)直接將網(wǎng)絡(luò)深度增加到400層[9]。RCAN網(wǎng)絡(luò)性能的巨大提高證明了網(wǎng)絡(luò)深度對SR技術(shù)至關(guān)重要，然而增加網(wǎng)絡(luò)層的數(shù)量可能會導(dǎo)致更高的計(jì)算成本，同時(shí)提高SR性能。智能手機(jī)和平板電腦等移動終端的廣泛普及，導(dǎo)致用戶對高分辨率圖像的需求不斷增加，但這些移動設(shè)備的硬件資源有限，無法承受過高的計(jì)算成本[10]。為了解決該問題，知識提取將從復(fù)雜模型或多個(gè)模型中學(xué)習(xí)的知識遷移到另一個(gè)輕量級模型中，使模型更輕但卻不會損失性能。此外，剪枝方法已證明能夠有效減少深度神經(jīng)網(wǎng)絡(luò)的大小，同時(shí)保持幾乎完整的準(zhǔn)確性[11]，但這些方案仍涉及冗余計(jì)算。圖像SR重建側(cè)重于恢復(fù)圖像中丟失的細(xì)節(jié)，即邊緣和紋理區(qū)域中存在的高頻信息，故平滑區(qū)域（平滑區(qū)域）需要更少的計(jì)算資源[12]。然而，這些基于CNN的SR方法從原始LR輸入中提取特征，并平等對待所有位置，這樣的過程會導(dǎo)致低頻特征的冗余計(jì)算。

為此，本文設(shè)計(jì)了雙路回歸超分辨率重建網(wǎng)絡(luò)。隨著多尺度反饋的引入，傳統(tǒng)SRFN不能在多個(gè)文本尺度上單一地表示知識豐富的層次特征，但能用高層次信息存儲低層次信息，更好地表示LR圖像對之間的關(guān)系。此外，本文所提方法可以擴(kuò)展到任何只對網(wǎng)絡(luò)進(jìn)行最小調(diào)整的放大因子，通過分析提供靈活性，以定義和培訓(xùn)具有不同深度的網(wǎng)絡(luò)，利于從模型走向最終結(jié)構(gòu)，有效地消除邊緣結(jié)構(gòu)的鋸齒效應(yīng)。

2 本文算法

2.1 模型架構(gòu)

圖1為本文提出的超分辨率圖像重建架構(gòu)。通過將多尺度卷積核與反饋連接合并，提出最后尺度投影單元（MSPU），在每個(gè)分支中引入不同的內(nèi)核進(jìn)行上下采樣操作。MSPU可以自適應(yīng)捕獲圖像特征的不同尺度，這些尺度具有較低多尺度特征，可充分利用局部特征的不同資產(chǎn)屬性表現(xiàn)出多尺度接受場和信息共享。此外，利用1×1協(xié)同進(jìn)化層來實(shí)現(xiàn)維度和紋理以及跨通道多尺度特征融合，還可通過將非線性分解添加到前一層的學(xué)習(xí)表示中提高網(wǎng)絡(luò)的泛化能力。這種多路徑學(xué)習(xí)增強(qiáng)了遠(yuǎn)程信息通信，進(jìn)一步增加了網(wǎng)絡(luò)的感知范圍，并改進(jìn)了向?qū)ЫY(jié)構(gòu)。

圖1 雙路回歸反饋網(wǎng)絡(luò)結(jié)構(gòu)

2.2 跳級連接模塊

為了生成高質(zhì)量高分辨率圖像，本文設(shè)計(jì)了圖2所示對稱網(wǎng)絡(luò)。本文提出的方法由淺特征提取、深特征提取和上采樣等3部分組成。淺層特征提取部分由卷積層組成，卷積層用于提取圖像的邊緣、形狀和其他信息。深度特征提取部分用于提取更抽象的語義信息。圖2顯示了淺特征和深特征可視化的結(jié)果。深度特征提取部分借鑒了ResNet網(wǎng)絡(luò)的殘差思想，使用多個(gè)串行殘差組，其中每個(gè)殘差組包含多個(gè)構(gòu)建塊，即短跳躍連接。短跳躍連接也稱為殘余連接，解決了網(wǎng)絡(luò)深度增加導(dǎo)致的梯度消失問題，同時(shí)增加了網(wǎng)絡(luò)深度并實(shí)現(xiàn)了高性能圖像。

圖2 跳級連接模塊

低層特征具有較高的分辨率，包含更多的位置和細(xì)節(jié)信息，但其語義信息越來越少，噪聲越來越大。高層特征的分辨率較低，對細(xì)節(jié)的感知能力較差，但其語言信息更豐富。卷積層用于對輸入的低分辨率圖像執(zhí)行淺特征提取，其操作可表示為

式中：ILR為低分辨率圖像，F(xiàn)（·）為卷積運(yùn)算。

為了獲得更抽象的特征表示，將獲得的低層特征Y0∈·RC×H×W輸入到多個(gè)殘差組中進(jìn)行深度特征提取，其操作可表示為

式中：FRG（·）為多個(gè)剩余組，用于進(jìn)一步提取輸入淺特征。

將獲得的高層特征YRG經(jīng)卷積層后逐像素添加到底層特征Y0，從而實(shí)現(xiàn)特征融合，然后將融合后的深層特征輸入上采樣模塊，完成圖像超分辨率重建。該操作可表示為

大多數(shù)超分辨率重建網(wǎng)絡(luò)使用基于像素的損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)，但像素?fù)p失函數(shù)未考慮圖像的感知、紋理質(zhì)量，且網(wǎng)絡(luò)通常輸出感知上不滿意的結(jié)果（如輸出圖像缺少高頻細(xì)節(jié)等）。此外，本文還采用了Bruna等[11]提出的感知損失函數(shù)，該函數(shù)可以恢復(fù)更豐富的高頻細(xì)節(jié)，以及預(yù)訓(xùn)練樣本提出的特征重建損失函數(shù)VGG19網(wǎng)絡(luò)用于提取特征空間中的超分辨率重建圖像和原始高分辨率圖像進(jìn)行特征映射，其表達(dá)式為

式中：G為生成的高分辨率圖像，φj為通過VGG19網(wǎng)絡(luò)的第j次卷積獲得的特征圖。

2.3 生成對抗模塊

GAN網(wǎng)絡(luò)主要由生成網(wǎng)絡(luò)和對抗網(wǎng)絡(luò)組成，生成網(wǎng)絡(luò)的輸入和輸出為低分辨率圖像和高分辨率圖像（ISR），對抗網(wǎng)絡(luò)的輸入和輸出由發(fā)生器生成網(wǎng)絡(luò)的原始高分辨率圖像和高分辨率圖像。對于GAN，生成器（G）和對抗（D）是博弈的雙方，通過持續(xù)對抗優(yōu)化網(wǎng)絡(luò)參數(shù)。優(yōu)化目標(biāo)可表示為

式中：G為生成網(wǎng)絡(luò)，lSR為損失函數(shù)。

首先，卷積層和ReLu激活函數(shù)層通過生成網(wǎng)絡(luò)輸入的低分辨率圖像。然后，使用由16個(gè)殘差塊組成的殘差密集網(wǎng)絡(luò)來提取圖像特征。每個(gè)殘差塊由2個(gè)卷積層、2個(gè)批量歸一化層（BN）和1個(gè)ReLu激活功能層組成。最后，經(jīng)過2次上采樣后輸入圖像的長度和寬度是原始圖像的4倍，再通過卷積層調(diào)整圖像通道的數(shù)量，輸出長度和寬度分辨率比原始圖像高4倍的超分辨率圖像。生成網(wǎng)絡(luò)結(jié)構(gòu)如圖3a所示，判別網(wǎng)絡(luò)的結(jié)構(gòu)如圖3b所示。

圖像SR重建的視覺結(jié)果如圖4所示。用于測試的圖像選自公共數(shù)據(jù)集Urban 100，經(jīng)比較表明，本文所提方法生成的圖像更清晰，細(xì)節(jié)更好，對比度更高；本文所提方法比雙三次、SRCNN、VDSR、LapSRN和CARN有顯著改進(jìn)。就圖像Img001的4倍放大效果而言，本文所提方法生成的圖像中建筑物的條紋更清晰，而通過其他方法生成的圖像中建筑物的條紋非常模糊，與原始圖像相比具有明顯的失真。

圖4 空間注意力模塊和通道注意力模塊

3 試驗(yàn)及結(jié)果討論

3.1 實(shí)驗(yàn)和結(jié)果

本實(shí)驗(yàn)中使用的遙感數(shù)據(jù)集圖像大小為600×800。對獲得的圖像進(jìn)行下采樣以獲得相應(yīng)的LR遙感圖像。然后，雙三次插值方法用于將LR遙感圖像采樣到目標(biāo)大小。遙感圖像被切割成128×128塊，并發(fā)送到網(wǎng)絡(luò)進(jìn)行訓(xùn)練。學(xué)習(xí)從LR圖像到HR圖像的端到端映射需要精確估計(jì)由卷積核和反卷積核表示的權(quán)重，即

在網(wǎng)絡(luò)中，批量大小設(shè)置為16，Epoch設(shè)置為200。為了證明網(wǎng)絡(luò)模型的優(yōu)越性，將本文網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練結(jié)果與SRCNN和VDSR進(jìn)行比較。訓(xùn)練期間的峰值信噪比曲線如圖5所示。

圖5 在不同的上采樣尺度下，每個(gè)網(wǎng)絡(luò)在訓(xùn)練期間的峰值信噪比變化曲線

3.2 與最先進(jìn)水平的比較

為了驗(yàn)證模型的復(fù)雜性和有效性，將本文所提方法與Bicu bic、RDN-DAQ、SRCNN、VDSR、LapSRN和CARN進(jìn)行比較，定量結(jié)果如表1所示，可視化結(jié)果如圖6所示。這些方法的實(shí)現(xiàn)基于官方發(fā)布的源代碼，并使用訓(xùn)練的權(quán)重評估其實(shí)驗(yàn)結(jié)果。如表2所示，對于當(dāng)前最先進(jìn)的方法，擬議的本文所提方法在大多數(shù)數(shù)據(jù)集上實(shí)現(xiàn)了最高的峰值信噪比和SSIM。例如，對于2 SR本文所提方法實(shí)現(xiàn)的性能比CARN更好，在浮點(diǎn)和參數(shù)方面分別減少了1%和33%。在具有可比模型尺寸的情況下，本文所提方法在FLOPs方面的推力效率更好（66.7 G vs.118.8 G）。本文所提方法實(shí)現(xiàn)了比VDSR更高的PSNR和SSIM值，但其FLOPs值比VDSR小得多。這些結(jié)果表明，本文所提方法很好地克服了性能改善帶來的困境，實(shí)現(xiàn)了較高的峰值信噪比性能和較低的計(jì)算成本。

表1 Set5上具有2 SR的消融研究

表2 Set5、Set14、B100和Urban100測試集上每個(gè)網(wǎng)絡(luò)模型的性能評估（2、3、4）

圖像SR重建的視覺結(jié)果如圖6所示。用于測試的圖像選自公共數(shù)據(jù)集Urban100，經(jīng)比較表明本文所提方法生成的圖像更清晰，細(xì)節(jié)更好，對比度更高；本文所提方法比雙3次、SRCNN、VDSR、LapSRN和CARN有顯著改進(jìn)。就圖像Img001的4倍放大效果而言，本文所提方法生成圖像中建筑物的條紋更清晰，而通過其他方法生成圖像上建筑物的條紋非常模糊，與原始圖像相比有明顯失真。

圖6 Urban100數(shù)據(jù)集上×4SR的視覺比較

4 結(jié)論

本文提出了一種基于雙路回歸神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法，自注意力機(jī)制來抑制不重要的信息并跳級冗余計(jì)算。空間自注意力模塊捕獲圖像的重要特征，通道自注意力模塊抑制非重要通道，然后將2個(gè)對稱模塊的輸出相加，以進(jìn)一步增強(qiáng)特征表示，從而定位冗余計(jì)算。通過跳躍連接卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像超分辨率重建方法。通過GAN網(wǎng)絡(luò)卷積層提取圖像特征，反卷積層恢復(fù)圖像細(xì)節(jié)，有效地完成了圖像SR重建任務(wù)，并在降低計(jì)算成本的同時(shí)實(shí)現(xiàn)了優(yōu)異的性能。具有良好的遙感圖像超分辨率重建能力。