基于PanGan和高通濾波相融合的改進深度神經網絡遙感圖像超分辨率算法研究

邱治邦

摘 要：遙感圖像融合中的泛銳化是指將全色圖像與低分辨率多光譜圖像進行融合，得到高分辨率多光譜圖像。最近，卷積神經網絡基于CNN的泛銳化方法已經達到了最先進的性能。盡管如此，仍然存在兩個問題。一方面，現有的基于cnn的策略需要監督，只需對高分辨率圖像進行模糊和降采樣即可獲得低分辨率多光譜圖像。另一方面，它們往往忽略全色圖像豐富的空間信息。為了解決這些問題，我們提出了一種新的無監督框架，用于泛銳化，該框架基于生成式對抗網絡，稱為CBMA_PanGAN，在網絡訓練中不依賴所謂的真實數據集。在我們的方法中，生成器分別與光譜鑒別器和空間鑒別器建立對抗博弈，從而保持多光譜圖像豐富的光譜信息和全色圖像的空間信息。

關鍵詞：PanGan;高通;濾波相融合;深度神經網絡遙感圖像;超分辨率

一、CBMA-PanGAN網絡架構

優化網絡是在PanGAN的網絡基礎上引入高通濾波算法，亞像素卷積采樣，已經增加了目前最為流行的CBMA注意力模塊（通道注意力和空間注意力）。另外我們的網絡是基于tensorflow1.0版本架構開發，雖然近幾年主流深度學習框架為Pytorch，但是基于tensorflow開發的網絡架構然有優秀的算法可以改進，而TensorFlow架構沒有如pytorch架構具有注意力的框架。所以在具體算法編碼過程中，我們提供了在TensorFlow1.0版本架構中添加各類注意力機制的解決思路和辦法。

我們改進后的CBMA-PanGAN網絡架構在保留了光譜信息和空間信息的基礎上，引入了PanNet提出的高通濾波及ResNet的網絡思想，極大程度上的過濾掉了平滑噪聲，同時由傳統的插值采樣的辦法改為亞像素卷積的方式，提高了采樣后圖像質量。全色圖像和低分辨率圖像融合之后將送入高通濾波處理，高通濾波是過濾掉低頻信息保留圖像在高通區域的信息，此方法是傳統銳化方法，通過濾波后我們可以得到處理過后的圖像。之后我們將低分辨率圖像通過亞像素卷積的上采樣操作，將低分辨率圖像上放大至原圖像的四倍，然后進行融合送入對抗網絡，得到我們所需要的輸出目標圖像。

我們將高通濾波添加到遙感圖像融合之后，先通過高通濾波處理。高通濾波的作用是使圖片的高通信息通過，過濾掉圖片低頻的信息，從而達到突出邊緣信息的作用，達到泛銳化的效果。高通濾波也是常用的物理辦法處理圖像銳化，在過去幾十年內的圖像處理領域有著極好的表現，我們的思路是在網絡中先進行預處理。突出輪廓，使得送入神經網絡時有這較之前更好的處理效果。

在我們的框架中，我們不可避免的會遇到圖像上采樣的問題。在圖像采樣領域，有多種方法。上采樣是指放大圖像，下采樣是指縮小圖像。采樣常見的方法有線性插值、雙線性插值、雙三線性插值方法。這些方法各有優缺點，普通的線性插值速度快但是效果差。雙三線性插值效果比普通線性效果好，但是缺點是時間長。所以通過對比，我們選擇亞像素卷積的辦法來進行我們低分辨率圖像的上采樣操作。亞像素卷積的核心思想是像素重組，它是將低分辨的特征圖，通過卷積和多通道間的重組得到高分辨率的特征圖，已達到提高分辨率的效果。

采樣的好壞決定了圖像質量的好壞我們將低分辨率圖像進行上采樣，和原網絡利用雙線性插值采樣的方法不同，我們優化了采樣辦法選取目前流行的采樣辦法亞像素卷積。亞像素卷積的原理在上一章已經介紹，本章主要介紹具體實現。由于遙感衛星圖像特性，全色圖像與低分辨率圖像大小為1比4，所以為了順利融合，研究人員需要將低分辨率圖像采樣到與全色圖像相同比例尺寸大小。傳統的插值方法可能會導致圖片嚴重失真，而亞像素卷積可以大大提高采樣的質量，我們在如圖所示的網絡部分進行。經過對比試驗，我們發現采用亞像素卷積處理后的采樣圖片效果比傳統插值方法有著較大的提升，所以證明了亞像素模型對于改進算法有著良好的效果。在實驗過程中，我們發現亞像素卷積在TensorFlow1.0版本中沒有公開的包，所以在使用過程中，我們又對代碼重新進行編寫，達到了預期效果。

生成器中添加注意力機制。注意力機制是目前最為火熱的手段技術，所以我們在網絡中將添加最為主流的注意力機制CBMA注意力機制（空間注意力和通道注意力）。我們在生成器網絡9*9、5*5、5*5卷積網絡中進行添加雙注意力，對每一層的輸出都新增一個新的權重用來約束生成對抗網絡的訓練效果，使其提高生成器的圖片質量。注意力機制是由平均池化和最大池化構成，在代碼中注意力機制的位置是在激活函數之后，因為在我們看來，并不想因為注意力機制而導致網絡原來結構的改變，我們僅僅是為了通過注意力來提高生成器提取信息的能力，從而起到更好的生成圖片質量目的。

二、訓練過程

我們的原始網絡框架網絡結構PanGAN是在英偉達3090顯卡上進行訓練，為了達到改進后算法的適應性，我們在GPU上訓練次數設置為500000次，訓練數據由32*32的原始低分辨率圖像和分辨率為128*128的全色圖像組成。初始化學習速率設置為0.0001，衰減速率為0.99，步長設置為10000。優化器選取為RMSProp優化器，RMSProp算法的全稱叫 Root Mean Square Prop，是Geoffrey E. Hinton在Coursera課程中提出的一種優化算法，解決了優化中擺動幅度大的問題。所謂的擺動幅度就是在優化中經過更新之后參數的變化范圍。在訓練過程中，我們判別器最初旳損失值是在1.7左右，由于損失函數約束的作用，通過訓練后損失值為0.5即可達到所需要的目標訓練效果。訓練集全部運行執行完需要兩天左右。同時，由于我們的注意力機制的良好表現，我們在訓練到15000次左右就基本達到訓練預期目標效果。訓練過程中我們發現由于注意力機制的原理機制產生了新的偏置，而新的偏置將會影響測試集代碼運行，經過我們對代碼的重構，添加了新的權重在測試集代碼中，測試集代碼速度較之前有了極大的提高。

三、實驗結果

我們選取GF-2衛星作為圖像測試集，，我們給出了原始HRMS圖像下采樣到LRMS圖像再參考HRMS圖像的Wald協議下的對比結果，如圖2所示。左側為HRMS與不同方法融合結果對應的誤差圖像。右側為改進算法結果圖像。在這些方法中，只有MTF-GLP、BDSD和我們的方法的結果能清晰地保留這個細節，而其他方法的結果缺失或較弱。但是，在MTF-GLP的結果中存在一些色差BDSD與pan-gan相比。結果表明，該方法在保持光譜分布的同時，也較好地保留了空間細節。