輕量化火星遙感影像超分辨率重建網絡

耿銘昆，吳凡路，王 棟

（1. 中國科學院長春光學精密機械與物理研究所，吉林 長春 130033；2. 中國科學院大學，北京 100049；3. 中國科學院月球與深空探測重點實驗室，北京 100101）

1 引 言

高分辨率火星遙感影像對人類全面了解火星的地貌地表狀態、太陽系起源與演化、火星著陸區的精細勘測和火星車的路徑規劃起到了至關重要的作用。但由于深空探測的運載能力遠不能與地球軌道的大噸位運載能力相媲美，有效載荷的重量依然是執行深空探測任務的首要考慮因素。受限于重量約束，行星遙感相機口徑、焦距一般配置不高，分辨率往往不能滿足更精細、更微觀的使用需求。因此在較低的硬件配置條件下通過軟件算法對火星遙感影像進行超分辨率重建成為重要研究方向。

圖像超分辨率重建技術旨在通過軟件方法從相應的低分辨率圖像中恢復具有豐富高頻細節的高分辨率圖像，1964 年，Harris［1］首次提出“圖像超分辨率”這一概念。1984 年，Tsai 等人［2］利用多張低分辨率圖像通過傅里葉變換域處理獲得了一張高分辨率圖像，這是利用軟件技術進行圖像超分辨率重建的首次嘗試。此后又先后出現了插值法、重構法［3-4］、基于例子［5］的方法和基于淺層學習［6-7］的方法等軟件方法。目前，圖像超分辨率重建在醫學成像［8］、安防監控［9］和遙感成像［10-11］等諸多領域均有大量應用。

近年來，基于卷積神經網絡的算法在計算機視覺領域展現了突出的性能［12-13］，而在圖像超分辨率領域基于卷積神經網絡的方法也以其高性能和快速的預測速度成為主流方法。但由于參數量大、計算量大，大多數方法都不能很好地適應遙感影像。因此，用輕量化網絡得到良好的火星遙感影像超分辨率效果是一項具有挑戰性和關鍵性的任務。

2016 年，Dong 等人［14］首次提出了一種由三層卷積層組成的神經網絡模型，稱為SRCNN。然后，Kim 等人［15］在DRCN 中通過使用跳躍連接和遞歸監督避免訓練中出現梯度消失、梯度爆炸現象，該網絡通過使用參數共享的遞歸層使得參數量在一定程度上降低且加快了訓練，但由于使用卷積核通道數多導致參數量仍然較大。Lai 等人［16］提出的LapSRN 采用了拉普拉斯圖像金字塔作為網絡的主體框架，與其他網絡對輸入的LR 先上采樣再計算不同的是該網絡對殘差圖像的推斷計算在低分辨率下進行，故節省大量運算量，但不足之處在于其參數量仍然較大。

針對上述問題，本文結合DRCN 與LapSRN的優點提出一種輕量化拉普拉斯金字塔遞歸殘差網絡（Lightweight Laplacian Pyramid Recursive and Residual Network，LRN）。本文將參數共享思想引入LapSRN，設計了三種參數共享的遞歸塊，并在拉普拉斯金字塔級間進行參數共享。同時對網絡加入同源跳躍連接，保證了淺層特征在不斷被進一步加深提取的同時在不同層級間的高效流動，提高了其在殘差圖像推斷中的參與度。對以上改進網絡進行了火星遙感影像超分辨率重建測試實驗，實驗結果表明：在評價指標與視覺效果上，相比LapSRN，LRN 在保持火星遙感影像超分辨率重建效果的同時實現了參數量的大幅壓縮。

2 圖像超分辨率重建方法

2.1 圖像金字塔

圖像金字塔主要有向下采樣的高斯金字塔［17］（Gaussian Pyramid）和向上采樣的拉普拉斯金字塔［18］（Laplacian Pyramid）兩種類型，如圖1所示。高斯金字塔本質上為信號的多尺度表示法，亦即將同一信號或圖片多次進行高斯模糊，并且向下取樣，以產生一幅圖像在不同尺度下的表示Gi。拉普拉斯金字塔非常類似于高斯金字塔，由一系列殘差圖像構成，這些殘差圖像記錄了高斯金字塔相鄰兩層的信息差值Li（下采樣后再上采樣獲得的圖像與下采樣前原始圖像的差值）。

圖1 圖像金字塔示意圖Fig.1 Schematic diagram of the image pyramid

對于大小為R×C的數字圖像I，高斯金字塔的定義為：G（I）=｛G1（I），…，GN（I）｝，其中G1（I）=I是高斯金字塔的最底層即原圖像，第N層為最高層即經過N-1 次下采樣的圖像。由第L-1 層圖像GL-1（I）生成第L層圖像方式如式（1）：

其中：（i，j）表示像素，0＜i≤RL，0＜j≤CL，RL為金字塔第L層圖像的行數，CL為金字塔第L層圖像的列數，2≤L≤N；ω為高斯低通濾波器；（m，n）為高斯核大小。

拉普拉斯金字塔的定義為：L（I）=｛L1（I），…，LN-1（I）｝。第l層圖像生成方式如式（2）：

其中：expand（·）是放大算子，?是卷積操作，?5×5是5×5 大小的高斯內核。

近年來，拉普拉斯金字塔結構被廣泛應用于圖像濾波［19］、語義分割［20］、圖像融合［21］、圖像生成［22］和圖像超分辨率［16，23］等視覺任務。

2.2 網絡結構

LRN 以拉普拉斯圖像金字塔為總體框架，融合了參數共享思想、遞歸思想、全局與局部殘差學習思想和先計算后上采樣策略，其整體結構如圖2所示，該網絡模型由淺層特征提取子網絡（Initial Feature Embedding Sub-network，IFE）、深層特征提取子網絡（Deep Feature Extraction Sub-network，DFE）和圖像重建子網絡（Image Reconstruction Sub-network，IR）三個子網絡組成。

圖2 LRN 整體結構示意圖Fig.2 Overall network architecture of proposed LRN model

LRN 以IFE 為起點，對LR 進行初步的特征提取如式（3），IFE 包含一個卷積層（3×3 kernels，64 feature maps，stride 1）。

其中：HIFE(·)表示對LR 應用的淺層特征提取函數，ILR表示輸入網絡的低分辨率圖像，x1sf表示被金字塔第一級IFE 從LR 提取出來的淺層特征圖。

隨后x1sf作為輸入傳入DFE，如式（4）所示：

其中：x1df表示金字塔第一級DFE 輸出的深層特征，HDFE(·)表示對x1sf應用的深層特征提取函數。HDFE(·)包含兩個部分，第一個是fIS表示推斷子網絡（Inference Sub-network）函數，包含可進行參數共享的遞歸塊（詳見2.3 節），負責將輸入DFE 的淺層特征進行深層次提取并推斷丟失的高頻信息；第二個是fup表示上采樣函數，包含一個LReLU（leak=0.2）和一個轉置卷積層（3×3 kernels，64 feature maps，scale=2），輸出2 倍尺寸的特征圖，作為輸入傳入IR 并得到2 倍SR 如式（5）～式（8）：

其中：I2xSR代表2 倍超分辨率圖像；HIR表示圖像重建函數；I2xLR表示2 倍低分辨率圖像；HL1代表金字塔第一級函數；I1r代表金字塔第一級殘差圖像即2 倍殘差圖像；fres代表殘差推斷函數，包含一個卷積層（3×3 kernels，64 feature maps，stride 1）；ftc表示轉置卷積函數，包含一個轉置卷積層（3×3 kernels，64 feature maps，scale=2）。I1r由x1df經過一層殘差推斷卷積層得到，殘差圖像與低分辨率轉置卷積而來的2 倍低分辨率圖像逐像素相加得到2 倍超分辨率圖像I2xSR。以上為金字塔第一級中2 倍超分辨率圖像的生成過程。

在金字塔第二、三級，與第一級不同之處在于4 倍低分辨率I4xLR及8 倍低分辨率圖像I8xLR不是直接從低分辨率圖像ILR轉置卷積而來，而是由2 倍和4 倍超分辨率圖像I2xSR和I4xSR轉置卷積而來，使包含更多高頻信息的I2xSR和I4xSR在殘差學習中得到利用，如式（9）、（10）所示：

另一個不同之處在于金字塔二、三級的淺層特征x2sf和x3sf由前一級的深層特征x1df、x2df繼承而來，如式（11）、（12）所示：

故4 倍超分辨率圖像I4xSR及8 倍超分辨率圖像I8xSR如式（13）、（14）所示：

將LRN 與圖像金字塔相對應可得，原高分辨率遙感影像及對其分別進行2 倍、4 倍和8 倍下采樣得到的低分辨率影像對應高斯金字塔的四層，I1r、I2r和I3r對應拉普拉斯金字塔的三個層級。LRN 生成高質量超分辨率圖像的關鍵在于殘差圖像的推斷。殘差圖像應包含更多的ILR丟失的高頻信息。此任務主要依賴于推斷子網絡輸出的深層信息。

推斷子網絡結構如圖3 所示，由r個遞歸塊組成，并且加入同源跳躍連接，使淺層特征在層級之間流動，使其信息得到更好地保留與利用。

圖3 推斷子網絡結構Fig.3 Architecture of inference sub-network

以拉普拉斯金字塔為框架的LRN 網絡在一次8 倍超分辨率圖像生成的前饋過程中就可以對LR 產生2 倍、4 倍以及8 倍的超分辨率結果，而不需要針對三種放大倍率準備三個不同的網絡模型，故圖像金字塔框架本身就是一種輕量化的框架。

2.3 輕量化設計

本文所提LRN 核心在于圍繞參數共享思想進行的網絡輕量化設計。LRN 在兩個層面進行參數共享，一個是級間參數共享，另一個是推斷子網絡內參數共享。

2.3.1 級間參數共享

如圖2 所示，8 倍LRN 網絡包含三級金字塔結構，每一層執行一次功能類似的2 倍超分辨率任務，故可在級間進行參數共享，即每一層對應位置的卷積層、轉置卷積層使用相同的權重參數。級間參數共享能將8 倍LRN 網絡參數量降為約原來的1/3。

2.3.2 推斷子網絡內參數共享

推斷子網絡負責從淺層特征中提取出更深層次的特征圖以進行殘差推斷，是LRN 網絡的核心結構，本文所提LRN 由可以進行參數共享的遞歸塊結構組成，設計了如下所述的三種不同的遞歸塊。

2.3.2.1 塊內共享遞歸塊(Share in Recursive Block, SIRB)

SIRB 結構如圖4 所示，由d層遞歸卷積層堆疊而成，每個卷積層前都有一個LReLU 層，每個遞歸塊內d個卷積層共用相同的權重參數，而遞歸塊間的參數相互獨立。使用SIRB 作為遞歸塊的LRN 稱為SILRN，本文實驗中提到的SILRN每一級的推理子網絡均由5 個含有5 層遞歸層的遞歸塊組成。

圖4 SIRB 結構Fig.4 Architecture of SIRB

2.3.2.2 全共享遞歸塊(All Shared Recursive Block, ASRB)

ASRB 與SIRB 結構相同，不同之處在于遞歸塊間也進行參數共享。使用ASRB 作為遞歸塊的LRN 稱為ASLRN，本文實驗中提到的ASLRN 每一級的推理子網絡均由5 個含有8 層遞歸層的遞歸塊組成。

2.3.2.3 深度遞歸塊(Deep Recursive Block,DRB)

DRB 結構如圖5 所示，在堆疊d層遞歸卷積層后，將每一層的輸出進行級聯，對級聯形成的特征圖陣的每一個通道乘以自適應權重ωi，再合并得到子網絡輸出。使用DRB 作為遞歸塊的LRN 稱為DLRN，本文實驗中提到的DLRN 每一級的推理子網絡均由1 個含有6 層遞歸層的遞歸塊組成。

圖5 DRB 結構示意圖Fig.5 Architecture of DRB

2.4 損失函數

LRN 使用Lai 等人［16］提出的Charbonnier 損失函數作為損失函數，如式（15）：

3 實驗與結果分析

3.1 軟硬件平臺

本文實驗在CPU 為i7-8750H@2.20 GHz，GPU 為8 GB 顯存的NVIDIA RTX2070 的計算機上進行。實驗平臺搭載的操作系統為Win10、深度學習框架Matconvnet1.0、CUDA10.0。

3.2 數據集與評價指標

本文選擇了高分辨率成像科學實驗相機［24］（High Resolution Imaging Science Experiment，HIRISE）拍攝的火星遙感影像作為數據集，其分辨率為25～50 cm/pixel，實驗將編號ESP_066115_2055 的遙感影像切割成3 795 張512×512 的圖像塊作為訓練集，并對編號為ESP_066194_2100 和ESP_066828_2050 的遙感影像進行相同操作，并從中選擇20 張作為驗證集、60 張包含平原、丘陵、山脈和隕石坑等多樣地貌特征的火星遙感影像作為測試集，部分影像如圖6 所示。訓練集、驗證集以及測試集三個數據集無重復影像。

圖6 火星遙感影像測試數據集示例圖像Fig.6 Sample images of Mars remote sensing image test dataset

本文使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結構相似性（Structural SIMilarity，SSIM）以及信息保真度準則（Information Fidelity Criterion，IFC）作為重建圖像質量的客觀評價指標。

3.3 數據準備

為了增強網絡的泛化性，在訓練時使用數據增強來擴充訓練集，主要包括三種方式：（1）下采樣：對所有訓練集圖片進行隨機下采樣，采樣因子范圍為［0.5，1.0］；（2）旋轉：對所有訓練集圖片隨機旋轉90°、180°、270°；（3）水平翻轉：以0.5的概率水平翻轉所有訓練集圖片。本文通過雙三次插值算法對訓練集進行下采樣，從而產生低分辨率輸入圖像，原圖作為真實高分辨率圖像。

3.4 網絡參數與訓練策略

在所提出的LRN 中，每個卷積層有64 個大小為3×3 的卷積核。本文使用He 等人［25］的方法對卷積核進行初始化。反卷積核的大小為4×4，權值由雙線性濾波器初始化。所有卷積和轉置卷積層（除重建層外）后面是負斜率為0.2 的泄漏整流線性單元（LReLU）。在應用卷積之前，在邊界周圍填充零，保持所有特征圖的大小與每個級別的輸入相同以便于相加。

網絡訓練策略方面，本文提出的LRN 使用隨機梯度下降（Stochastic Gradient Descent，SGD）的策略來優化網絡，其中SGD 動量參數設置為0.9，權重衰減為10-4。對于所有層，學習速率被初始化為10-5，并且每50 個Epoches 將學習速率乘以0.8。由于GPU 顯存的限制，本文將訓練數據集裁剪成128×128 的圖像塊作為訓練對象。

3.5 實驗結果對比分析

表1 給出了ASLRN 在8 倍下對60 張火星遙感測試影像進行超分辨率測試時PSNR、SSIM以及IFC 三個客觀評價指標的具體數值。表2 給出了SILRN、ASLRN、DLRN、LapSRN、Bicubic等方法在2 倍、4 倍和8 倍三種不同放大倍數下對測試集中60 張火星遙感影像進行超分辨率重建時客觀評價指標的平均值及相應參數量。實驗中使用的LapSRN 網絡已按照原作者給出的訓練參數使用與其他三種網絡相同的火星遙感影像數據集進行重新訓練以保證測試結果的公平性。

表1 ASLRN 對火星遙感影像測試數據集8 倍超分辨率重建的客觀評價指標具體值Tab.1 Objective evaluation index values for×8 super-resolution on Mars remote sensing image test dataset of ASLRN

表2 火星遙感影像測試數據集上幾種算法比較Tab.2 Comparison of various algorithms on Mars remote sensing image test dataset

續表1 ASLRN 對火星遙感影像測試數據集8 倍超分辨率重建的客觀評價指標具體值Tab.1 Objective evaluation index values for×8 super-resolution on Mars remote sensing image test dataset of ASLRN

從表1 和表2 中可以看出本文所提的三種算法中ASLRN 和SILRN 以低于LapSRN 的參數量在4 倍和8 倍超分下獲得了更高的客觀評價指標值。ASLRN 以低于LapSRN 一個數量級的參數量，在4 倍和8 倍超分下PSNR 分別提高了0.031 3 dB 和0.116 7 dB，SSIM 分別提高了0.001 6 和0.005 0，IFC 分別提高了0.054 6 和0.069 3。在2 倍超分下ASLRN 與LapSRN 相比，PSNR 提高了0.015 5 dB，SSIM 相同，IFC 差距小于0.1。可以認為三個倍率下ASLRN 與LapSRN 超分辨率結果無論是在像素水平上的灰度值差別還是視覺效果上都無明顯差別。在SILRN 參數量約為ASLRN 三倍的情況下，認為ASLRN 是一個有良好超分辨率重建效果的輕量化網絡模型，在參數量低于LapSRN 一個數量級的情況下得到了相似的網絡性能。

總參數量方面，由于LapSRN 三種不同放大倍率的模型間不共享參數，故總參數量為1 886 K，而ASLRN 三種倍率只需一個網絡模型就可以實現，故總參數量為75 K，僅為LapSRN 的3.98%。

圖7～9 給出了SILRN、ASLRN、DLRN、LapSRN、Bicubic 等方法在2 倍、4 倍和8 倍三種不同放大倍數下對火星遙感影像測試集中部分影像的超分辨率重建效果及客觀指標比較情況。從圖中可以看出本文所提的三種算法中ASLRN和SILRN 以低于LapSRN 的參數量在不同重建倍數下得到了與LapSRN 無明顯差別的超分辨率視覺效果，DLRN 重建效果略差。

圖7 第54 幅火星遙感測試影像2 倍超分辨率重建結果對比Fig.7 Super-resolution results comparison of the No.54 Mars remote sensing test image for scale factor×2

圖8 第59 幅火星遙感測試影像4 倍超分辨率重建結果對比Fig.8 Super-resolution results comparison of the No.59 Mars remote sensing test image for scale factor×4

圖9 第26 幅火星遙感測試影像8 倍超分辨率重建結果對比Fig.9 Super-resolution results comparison of the No.26 Mars remote sensing test image for scale factor×8

4 結 論

本文提出了一種以拉普拉斯圖像金字塔為框架的輕量化殘差遞歸空間遙感圖像超分辨率網絡模型，以求在不降低重建效果的情況下降低網絡的參數量。通過加入以參數共享為思想設計的遞歸塊以及同源跳躍連接機制，使作為網絡核心的推斷子網絡在不降低特征提取能力的情況下參數量大幅下降。所提ASLRN 方法在不降低重建效果的情況下，單倍模型參數量相對于LapSRN 降低了約一個數量級，總參數量縮減至LapSRN 的3.98%。