基于GAN的遙感圖像融合

陳紹兵，陶青川，余艷梅

（四川大學電子信息學院，成都 610065）

0 引言

21世紀以來，遙感圖像的研究由于諸多高分辨率的衛星的發射得到了巨大的進展，國外的Landsat，Sentinel，WorldView，QuickBird，Geo-Eye-1等系列衛星已經得到了很好的衛星影像［1］，并且在遙感圖像處理領域有了很快速的發展。相比于國外，國內發展就比較緩慢，1999年10月14日，我國與巴西在航天領域首次合作成功發射“資源一號”衛星［2］，2013年4月26日，我國首發高分辨率衛星——高分一號。這些衛星的相繼發射使得我國在多光譜與高時間分辨率結合的光學遙感技術方面取得了重要的奠基。衛星捕捉到的遙感圖像分成兩類，一類是具有高分辨率的全色圖像（PAN），另一類是具有低分辨率的多光譜圖像（LRMS）。隨著研究的需要，如何得到高分辨率的多光譜圖像成為了一個重要的研究方向，其本質就是將得到的全色圖像和多光譜圖像進行融合，得到高質量的多光譜圖像（HRMS），這一融合的過程就叫“全銳化”（Pan-sharpening），如圖1所示。

圖1 遙感圖像“全銳化”過程

多源遙感圖像融合發展至今，誕生出了許多不同的算法，大致可分為三類：

（1）像素層數據融合。原理是根據像素基于一定的規則進行像素級融合。比較經典的算法是分量替換（component substitution，CS），它是通過分離空間信息和光譜信息，將高分辨率的空間信息替換為PAN圖像的空間信息，從而實現全銳化的處理。

（2）特征層數據融合。相較于像素層的融合可以提取出更多的表示遙感圖像的幾何特征，將這些特征進行分層處理，低層的特征分辨率高，包含更多的位置、細節信息，高層的特征有更強的語義信息，但分辨率低，對兩者的優點進行融合是這種算法的研究所在。張等人［3］提出了一種優化的貝葉斯估計多源融合的算法，針對基礎貝葉斯進行優化，得到了更好的融合效果。還有聚類分析，神經網絡都是解決這一特征層融合的算法。

（3）決策層數據融合。它是通過多個傳感器監測同一個目標，每個傳感器完成基本的預處理等操作，然后由決策層融合判定需要哪些數據。Jeon等人［4］采用聯合似然和主體加權的方法進行決策數據融合，使分類效果得到明顯的改善。

最近幾年，深度學習由于卷積神經網絡的提出飛速發展，誕生出了很多經典的模型:VGG［5］、ResNet［6］、GAN［7］等優秀的網絡模型結構都在各自的領域里表現出了良好的效果，這也為本文后面的遙感圖像的融合奠定了基礎。GAN在遙感圖像融合方面也出現了不同的應用，Yang等人［8］提出了將GAN網絡運用到遙感圖像融合的領域中，得到了比以前傳統方法更好的效果。Ma等人［9］設計了兩個判別器來分別訓練遙感圖像的光譜信息和空間信息，最后融合來生成高質量的遙感圖像。Liu等人［10］則將GAN網絡的輸入變成了兩分支結構從而很好的提取出了LRMS和PAN圖像各自的特征，實驗結果表明效果較好。

前面提到的算法雖然能夠得到HRMS圖像，但是對于一些細節的紋理部分，依然存在不細致的問題，這是因為在提取圖像的特征時，沒有根據圖像的區域整體提取上下文的特征。基于這個問題，本文對于以前的網絡進行改進，得到了更高空間分辨率的HRMS圖像。這篇文章的主要貢獻如下：

（1）本文在輸入圖像特征提取部分，加入了提取上下文信息的結構，能夠更好的提取到圖像的細節特征。

（2）本文評估了判別器的不同配置，確定了判別器的殘差模塊層數。

（3）本文證明了在常用的數據集上得到了很好的效果。

1 本文的方法

1.1 GAN理論

GAN的基本原理其實與一般的神經網絡類似，唯一的區別在于GAN分為生成器和判別器兩個網絡。本文令G為生成器，D為判別器，G通過接收一個隨機的噪聲z作為輸入，生成的噪聲圖片為G（z）。D判斷G的輸入是否為真，x是輸入的圖片，D（x）是判別的概率。在訓練過程中，生成器G的目的就是盡量生成真實的圖片去欺騙判別網絡D，而D的目標就是盡量把G生成的圖片與真實圖片區分開。這樣，G和D就形成了一個“動態博弈”的過程。最終的理想博弈結果就是，G生成了可以以假亂真的圖片G（z），判別器D難以判別G生成的圖片，最終D（x）=0.5。

最后，其原理公式［7］描述如下：

其中V是D和G的極大極小值函數。

1.2 本文的網絡結構

本文網絡的整體結構如圖2所示。主要的網絡結構是基于GAN的，同時受到文獻［10］的啟發，兩分支的GAN比單分支的GAN效果更好，所以本文也采用兩分支的GAN作為基礎架構，并在其基礎上引入了Resblock［6］，改進了特征提取的效果。整個訓練的流程從左邊開始，輸入兩個圖像LRMS和PAN到生成器中融合成全銳化的圖像，即HRMS。然后，HRMS和真實的圖像再輸入到判別器中進行判別，判斷HRMS是真或假。兩個網絡結構互相對抗博弈，從而使生成器生成的圖像更加接近真實圖像。

1.3 生成器結構

生成器的目的就是生成最逼真的假HRMS來欺騙判別器，與一般的GAN不同，遙感圖像有兩種類型的圖片，因此要分別進行特征提取處理。如圖2中左邊的虛線框所示，生成器由Concat連接模塊和多個Resblock［6］殘差模塊組成，因為以往的GAN網絡都只是通過簡單的卷積來提取特征，沒有很好的處理局部上下文之間的聯系，而殘差模塊在每三層卷積后融入了最上層的特征，提取到了細節的紋理信息。

圖2 整體網絡結構

Resblock由兩部分組成：①Convblock，它把最上層的特征x再進行卷積提取得到x（shortcut），將其加入到最后一層作為輸出，如圖3所示。②Idblock，它是直接將最上層的特征x加入到最后一層作為輸出，如圖4所示。同時在每層卷積后本文使用了泄露整形線性單元LeakyReLU［11］，這種激活函數可以很好的處理小于0的特征值，防止了在訓練時梯度消失的問題。本文使用一個Convblock加兩個Idblock合成為一個Resblock作為生成器的基礎特征提取單元。

圖3 Convblock模塊

圖4 Idblock模塊

1.4 判別器的結構

與生成器類似，本文也采用了Resblock殘差模塊來組成，開始設計的時候本文首先使用的是VGG［5］的架構作為判別器的基礎，結果發現生成器很快就收斂了，說明判別器判別能力比較弱，無法訓練得到最好的結果。所以本文將其替換為Resblock殘差模塊以便更好的判別生成器的輸入。與生成器有點不同，判別器是一個Convblock和一個Idblock合成為Resblock作為基礎的特征提取單元。判別器結構如圖2右邊虛線框所示。

1.5 損失函數

為了更好的平衡生成器和判別器之間的訓練，本文采用了文獻［10］的損失函數作為訓練。生成器和判別器的損失函數如下所示：

其中，N是一批訓練樣本的數量，α和β是超參數，X和Y分別是LRMS和PAN圖像，Θ是模型的參數集合，P是理想的HRMS圖像。

2 實驗及結果分析

2.1 實驗的參數和數據

因為衛星進行采集沒有真實的圖像作為對照，如同文獻［10］，根據Wald等人［13］提出的將LRMS下采樣作為一個更低質量的圖像進行輸入，而原來的LRMS圖像就作為真實圖像作為對比。數據集采用QuickBird（QB）和WorldView-2（WV-2）。兩個數據集都由9對圖像構成，8對作為訓練，1對作為測試，由于遙感圖像尺寸很大，本文將LRMS和PAN分別裁剪成64×64和256×256的大小，批次設置成2。裁剪過后兩個數據集分別為25038和11552萬張圖像樣本。

訓練的環境是TensorFlow來實現的代碼，訓練的GPU是英偉達GTX1080ti。本文使用Adam優化器來進行模型的優化訓練，初始訓練率設為0.0002且動量設為0.5。

2.2 評價指標

本文使用5個大多數先進方法使用的評價指標來評估融合后的圖像效果，這些指標都顯示了融合圖像的優劣。

（1）SAM［14］。光譜角圖（spectral angle mapper，SAM）是將圖像中的每個像元的光譜視為一個高維向量，通過計算兩向量間的夾角來度量光譜間的相似性，夾角越小，兩光譜越相似。計算公式如下：

其中t和r是兩個光譜向量，此數值越小越好。

（2）CC。相關系數（correlation coefficient，CC）表明了兩幅圖像的相關程度，定義如下：

其中，X和F是兩幅輸入的圖像，大小為M×N，此數值越大越好。

（3）SCC［15］。空間相關系數（spatial correlation coefficient，SCC）表示的是兩幅圖像的空間信息相關程度，與CC相似，此數值越高越好。計算公式如下：

其中G和F分別表示LRMS和PAN圖像，μF和μG分別代表兩種圖像的均值。

（4）ERGAS［16］。綜合相對無量綱全局誤差（erreur relative globale adimensionnelle desynthese，ERGAS），定義如下：

其中，h∕l是PAN圖像與LRMS圖像像素尺寸比，RMSE（k）和μ（k）是RMSE和第k個通道的均值，此數值越小越好。

（5）Q4［17］。Q4是Q的四頻帶延伸，定義如下：

Z1和Z2是LRMS圖像的譜向量組成的四元數，μZ1和μZ1是Z1和Z2的均值，σ表示協方差。

2.3 殘差模塊層數的影響

根據前人的經驗［6］，Resnet-101比Resnet-50表現結果要好，而且一般認為網絡結構越深能夠獲取到的特征越豐富，更能夠擬合模型，識別出好的結果。然而，在本文的實驗中，本文分別測試了判別器1-4層的Resblock模塊，每一個Resblock模塊由一個Convblock模塊，一個Idblock模塊和LeakyReLU層組成。本文固定生成器的結構不變，通過修改判別器的結構來測試殘差模塊層數對整個GAN的影響，如表1所示，“-1”表示用了一個Resblock模塊，以此類推，“-4”用了4個Resblock模塊。根據在QB和WV-2上的結果可以看到，雖然增加層數會提高整體的效果，但是太多的層數反而會降低表現效果。原因在于GAN不同于以往的深度神經網絡，它并不是一方能夠主導結果，而是生成器和判別器兩方的共同作用才能得到優質的圖片。因此，重點是在于平衡兩者間的能力，可以從表1中看到，在將層數增加到第二層時，在QB數據集上的CC、SCC和Q4的數值達到了最高，分別為0.9908、0.9920和0.9914。與之相比的WV-2數據集也是類似的效果，但是卻是使用一層殘差模塊效果最好，可能是因為該數據集的光譜信息不如QB數據集上的復雜。

表1 消融實驗

2.4 與其他方法比較

為了能夠體現出本文方法的優勢，本文將與其他的銳化方法作比較，其中包括SFIM［18］，Brovey［19］，IHS［20］，GS［21］，GSA［22］，PNN［12］，Pan-Net［8］和PSGAN［10］。表2和表3分別是在QB和WV-2數據集上的比較結果。可以很明顯的看出本文的方法有非常好的效果，在QB數據集上，CC、SCC、ERGAS和Q4都得到了最高的得分。PanNet［8］在SAM上取得了最好的得分，同樣證明了它的網絡在光譜的融合上也是很好的。在WV-2數據集上的結果顯示，本文的效果是最好的，而且空間分辨率普遍得分都比較高，因為這個數據集整體細節不是很多，所以融合效果表現良好。

表2 在QB數據集上的比較結果

表3 在WV-2數據集上的比較結果

2.5 可視化結果

圖5和圖6分別是在QB和WV-2數據集上各種方法輸出的可視化結果圖，輸出的都是可見的圖片。其中（a）到（l）分別是低質量的多光譜圖像、全色圖像、SFIM方法融合的結果、Brovey方法融合的結果、IHS方法融合的結果、GS方法融合的結果、GSA方法融合的結果、PNN方法融合的結果、PanNet方法融合的結果、PSGAN方法融合的結果、本文的方法融合的結果和真實的高質量多光譜圖像。

圖5 在QB數據集上的可視化結果

圖6 在WV-2數據集上的可視化結果

可以明顯的看到所有的方法都利用了PAN圖像的高頻細節的信息，能夠將此信息融入到結果圖像中。但是在QB數據集上，除了本文方法和PSGAN方法，其他方法對于光譜信息的提取都出現了一些問題。SFIM方法的圖像整體偏暗，Brovey、IHS、GS和PanNet整體上雖然接近真實的圖像，但它們都沒有很好的處理光譜信息，看起來尤為的粗糙。PSGAN的整體是很接近真實圖像，但是從評估的數據來看依然有一些瑕疵。而本文的方法在PSGAN基礎上進行了改進，在特征提取層很好的利用光譜信息平滑處理，使得與真實圖像更加地接近。其主要原因就是本文利用了圖像的上下文信息，很好地模擬了局部圖像的細節部分。在WV-2數據集上，Brovey、IHS和GS因為沒能調整好光譜信息導致整個圖像都偏淡藍色，所以光譜信息的處理對于遙感圖像的融合是非常重要的。

3 結語

本文提出了一種基于GAN的遙感圖像融合的方法，并在QB和WV-2數據集上進行融合實驗。實驗結果表明，本文的方法能在這兩個數據集上得到更加接近真實圖像的融合結果，評估數值結果較好。消融實驗證明了殘差模塊層數對整個網絡特征提取的影響，兩層的殘差模塊更適合QB數據集，一層的殘差模塊更適合WV-2數據集。因此，要根據合適的數據集進行調整。在未來的研究中，本文會加入其他的改進處理來進一步優化網絡的結構，讓圖像的光譜融合效果更好。