基于生成網絡的遙感圖像超分辨率的研究

張清勇， 陳智勇， 駱瀟原

(武漢理工大學自動化學院，武漢430070)

0 引言

近年來隨著航天技術不斷向前發展，眾多商業公司也在積極地發展著火箭發射技術，將來會有越來越多的低成本商業衛星被應用于遙感圖像領域。在遙感圖像領域還存在許多無法避免因客觀素會影響遙感圖像的分辨率，例如傳輸過程中的噪聲、光學系統的像差和大氣的散射作用等［1］。為了改善低成本衛星的成像質量，提高圖像的分辨率，需要采用超分辨率技術對獲取的遙感圖像進行處理。

圖像超分辨率是從單幅或多幅低分辨率圖像重構出一幅高分辨率圖像(High Resolution，HR)。目前圖像超分辨率研究領域主流方法有3種:插值、重建和學習。在圖像超分辨率應用的早期多采用插值的算法，較為常見的有雙立方插值法［2］(Bicubic interpolation)。插值的方法易產生邊緣模糊及振鈴效應［3］。重構的方法則是通過同一場景下的多幅低分辨率圖像中提取出高頻信息，減少了插值方法中出現的邊緣模糊，但是存在最后解不穩定、不唯一等問題［4］。

而基于學習的超分辨率方法有著良好的重構結果，其中比較典型的有支持向量回歸方法［5］、稀疏表示［6］和深度學習等方法。最初將深度學習引入圖像超分辨率的是超分辨率卷積神經網絡［7］(Super-Resolution ConvolutionalNeuralNetwork，SRCNN)。SRCNN細節和復雜紋理在經過修復之后依然顯得有些模糊。

2017年，Ledig［8］等的超分辨率生成對抗網絡(SuperResolution GenerativeAdversarialNetworks，SRGAN)取得了很好的超分辨率效果。生成對抗神經網絡超分辨率在細節豐富程度上遠勝SRCNN，對于圖像細節部分的恢復有著良好的效果。但是SRGAN同樣也需要大量的樣本進行訓練才能盡可能取得好的效果。通常認為深度卷積神經網絡已經從包含大量圖像的數據集中獲取了足夠的信息，所以修復效果比較好［10］。但是 Zhang等［11］發現用一個在訓練集上表現良好的卷積神經網絡對隨機標簽的測試集進行測試時出現了過擬合的現象，認為深度卷積神經網絡效果之所以這么好不僅是因為有著大量數據集的訓練，還有網絡結構本身所發揮的重要作用。

本文針對性地采用了Ulyanov等［11］提出的生成網絡進行圖像超分辨率的方法。本文還針對遙感圖像中地形地貌差異明顯、紋理細節豐富等特點對生成網絡進行改進，增加了網絡參數和網絡層數。網絡的初始化參數是隨機的，通過學習低分辨率圖像的特征，并把這些特征應用在高分辨率圖像中，使用不同尺度層面的自相似性放大圖像，在保證恢復圖像質量的同時無需使用數據集對網絡進行大量預訓練。生成網絡模型不必通過對數據集進行預先的參數訓練與學習即可實現傳統意義上的圖像修復［12］，例如圖像去噪，圖像去遮蓋以及圖像超分辨率等任務，網絡權重是隨機的，先驗信息來自網絡結構本身。受文獻［13］中網絡層數越深效果越好的啟發，本文中生成器網絡使用了更多的網絡參數和更深的網絡。

1 遙感圖像超分辨率原理

1.1 遙感成像模型

首先對遙感圖像的成像模型［14］描述，可以用一個線性系統對圖像的成像過程進行建模:

式中:X為成像系統得到的低分圖像;D為下采樣過程;H為全局一致模糊算子;F為幾何映射;Y為高分辨率圖像;V為加性噪聲。因為在成像過程本身就是下采樣，還附帶了不可避免的噪聲，所以成像得到的圖像質量必然會發生下降，而且數字圖像采集本身即是一個離散化過程，如果想在硬件上進行改進來提高成像質量，需要極高的成本和代價。在成本和技術手段的限制之下必然會達到一個瓶頸，因此發展了圖像超分辨率技術，通過處理算法層面上的提高，對圖像進行修復，以獲得質量更好的圖像。

1.2 生成網絡模型

單幅圖像的超分辨率是一個逆問題，得到的解是不唯一的，因為一幅低分辨率圖像可能對應多幅高分辨率圖像。圖像超分辨率屬于一個基于能量最小化模型的問題:

式(2)中，E(x;x0)是一個數據項，這里選擇其形式如式(3)所示;x*是網絡輸出的高分辨率圖像;x0為生成網絡輸入的低分辨率圖像;d(x)為生成網絡輸出圖像的下采樣過程;R(x)則是抓取圖像先驗知識的正則化項。這里將R(x)用一個神經網絡表示，其形式為:

式中:z為隨機初始化參數的網絡輸入;θ為生成網絡的網絡參數，采用Adam優化算法［15］，迭代更新網絡權重參數，θ的最優值通過訓練得到。當給定一個最優參數θ*之后，圖像恢復的過程如式(5)所示，將輸入信號z代入網絡即可得到網絡輸出的高分辨率圖像x*。其具體網絡結構如圖1所示，網絡結構類似于沙漏形狀。

圖1 生成網絡結構圖

生成網絡結構采用encoder-decoder結構［16］，也就是編碼-解碼模型，輸入網絡d和輸出網絡u。若圖1中S快捷連接(黃色箭頭所示)過多，會導致網絡學習質量下降。因此網絡結構主要是用全卷積結構來構造，上采樣采用了雙線性和最近鄰上采樣，下采樣通過調整卷積的步幅實現。在每次訓練迭代時對輸入的參數z添加隨機噪聲，避免最終結果過多地依賴最初輸入的參數z，確保網絡本身學到更多的信息。不限制學習次數，最終網絡會輸出一個和原圖像分布相同的輸出圖像，若限制訓練迭代次數，網絡則會輸出一個修復后的圖像。

1.3 評判標準

實驗中圖片相似度采用了國際通用的評判標準來衡量實驗性能，即峰值信噪比［17］(Peak Signal to Noise Ratio，PSNR) 和結構相似性［18］(Structural similarity index，SSIM)。峰值信噪比是目前使用的最為廣泛的客觀圖像品質評價標準，其定義式為:

式中:MSE為原圖像和經過處理后圖像的均方誤差;PSNR的單位為dB，PSNR起源于香農理論，用來表示圖像局部信息丟失的多少。

結構相似性SSIM是一種衡量電影、電視或者其他數字圖像的主觀感受的一種方法，算法在設計上充分考慮了人眼實際的視覺特性，比傳統方法更符合人眼的真實感受，該算法分別從亮度，對比度和結構3個角度來評估圖像的相似性，其計算式為:

式中:μX、μY分別為圖像 X 和 Y 的均值;σX、σY分別為圖像X和Y的方差，σXY為圖像X和圖像Y的協方差;C1、C2、C3為常數，避免了分母為零的情況［4］。

由于SSIM在衡量圖像質量上的優秀表現，SSIM相對數值高的圖像更符合人眼觀看真實圖像的主觀感受，所以它已經被廣泛應用于圖像質量評價領域，在圖像質量評價領域成為了一個重要的指標。

2 實驗及結果分析

本實驗中所有測試圖像來源于美國國家地質勘探局(United States Geological Survey，USGS)的遙感圖片數據集。

圖2 USGS遙感圖像工廠原始HR圖像及各種方法重構結果

圖3 USGS遙感圖像湖泊原始HR圖像及各種方法重構結果

在本文中利用生成網絡模型，對測試數據集當中3種地質圖像類型分別進行了3次圖像超分辨率實驗，這3種地質圖像類型為工廠、湖泊和房屋(見圖2～4)。這3次實驗的原始圖像如圖2(a)～圖4(a)所示;對比測試使用了雙立方插值，其實驗結果如圖2(b)～圖4(b)所示;對比測試還使用了SRCNN，其實驗結果如圖2(c)～圖4(c)所示;最后對本文采用的生成網絡圖像超分辨率方法進行了測試，其實驗結果如圖2(d)～圖4(d)所示。

對3種地質圖像類別進行了3種超分辨率方法的對比，結果顯示見圖2(d)～圖4(d)，生成網絡相對于圖2(b)～圖4(b)以及雙立方插值和圖2(c)～圖4(c)SRCNN，在圖像超分辨率的效果更好。因為低分辨率圖像經過生成網絡模型處理后的輸出圖像的效果，相對于雙立方插值處理后的輸出圖像和SRCNN處理后的輸出圖像來說，無論是在圖像銳度還是在圖像清晰度上都有較為明顯的提升，圖像在經過處理之后更加容易辨認遙感地質圖像中的多種圖像類別。

圖4 USGS遙感圖像房屋原始HR圖像及各種方法重構結果

從圖2中(c)和(d)房屋的屋頂部分的細節對比和圖3中(c)和(d)湖泊碼頭部分的對比可以看出，生成網絡進行超分辨率重構后的圖像相較于SRCNN重構后的圖像更為銳利，在遙感圖像細節的修復上有著更好的表現，對受損圖像中的復雜紋理修復效果更好，修復后的圖像中的細節更豐富，更符合人眼的視覺特性。遙感圖像在經過生成網絡修復后，紋理與邊緣更加清晰，輸出圖像中的物體更加容易辨認。

從表1中3種地質類型的平均PSNR指標的數據結果來看，生成網絡模型在遙感地質圖像超分辨率上的表現結果優于雙立方插值的超分辨率方法，也優于SRCNN的圖像超分辨率修復效果。而且使用生成網絡進行圖像超分辨率，修復后圖像的SSIM數值比使用雙立方插值和SRCNN進行修復后圖像的SSIM數值更高，所以使用生成網絡進行地質圖像超分辨率修復，修復后圖像在人眼視覺的主觀感受上更為接近原圖，圖像超分辨率的效果更好。并且相對于SRCNN，生成網絡模型無需使用大量圖像數據集對網絡進行訓練，從始至終生成網絡的輸入只有一張等待修復的低分辨率圖片，但是所取得的效果卻優于經受過大量數據訓練的SRCNN，并且經過生成網絡修復過的圖像在主觀感受上變得更加銳利和清晰。

表1 重建HR圖像的平均PSNR和SSIM值

3 結語

本文通過無預訓練的生成網絡對遙感地質圖像進行了圖像超分辨率實驗。網絡輸入低分辨率的地質遙感圖像，經過生成網絡的不斷迭代訓練之后，最后實現單幅圖像的超分辨率重建修復。實驗證明了網絡結構本身的結構對于遙感圖像超分辨率的修復工作有很大影響，好的網絡結構能夠達到較好的超分辨率修復效果。下一步的工作將嘗試改進模型的損失函數，希望能進一步提升超分辨率圖像的細節與復雜紋理的修復效果。