一種利用卷積神經網絡重建的遙感影像Curvelet融合方法

李彥東，隋立春，2，陳楠，袁歡歡，徐家利

(1.長安大學 地質工程與測繪學院，西安 710054；2.地理國情監測國家測繪地理信息局工程技術研究中心，西安 710054)

0 引言

遙感技術因其獨特的技術優勢，被廣泛應用于地球環境監測、土地資源利用變化監測、氣候環境監測等諸多領域。遙感影像空-譜融合技術主要是通過融合多光譜影像(multi-spectral，MS)以及全色影像(pan-chromatic，PAN)來構建高光譜高空間分辨率的遙感影像，它已經成為了許多遙感應用預處理過程中的關鍵步驟[1]。

過去的幾十年中，學者們提出了各種各樣的方法來解決遙感影像空譜融合問題[2]。最早且經典的是成分替代法，它的主要原理是將多光譜影像首先變換到一個合適的影像空間中，然后合理選取其中某一分量，利用高空間分辨率的全色影像進行替換，最后將影像空間中的分量進行反變換，得到融合后的影像。成分替代方法的關鍵在于全色影像與替換分量之間的相關性，相關性越大，融合后的光譜差異越小。成分替代法如基于HIS(hue-intensity-saturation)融合[3]、主成分分析(principal comp-onent analysis，PCA)、基于Gram-Schmidt(GS)變換融合[4]等，雖然這些方法可以獲得較高的空間分辨率，同時具有較強的魯棒性，但是由于全色波段與多光譜影像分量只有部分光譜區域重疊，所以它們的相關性本身就有一定的限制，因此這些方法通常存在光譜失真的缺點[5]。

為了降低由于分量替代而引起的光譜失真程度，一些學者提出了基于多尺度分析的融合方法，首先將全色波段影像分解為高頻段與低頻段，然后將全色波段影像的高頻信息注入到低空間分辨率的多光譜影像上，以提高影像的空間分辨率。多分辨率分析方法如小波變換(wavelet transform，WT)、平穩小波變換(stationary wavelet transform，SWT)、Atrous小波變換(Atrous wavelet transform)等[6-7]，基于多分辨率分析的小波變換方法可以保持良好的光譜信息。然而，這些方法可能會遭受嚴重的空間失真(例如振鈴效應)，這樣會引起融合影像視覺質量的惡化。近年來，基于壓縮傳感以及機器學習的影像融合方法得到了關注[8-12]。Li 等[13]提出了一種基于稀疏誘導先驗信息的壓縮感知方法，通過建立隨機抽取高分辨率多光譜影像的影像塊字典來增強稀疏性。另一方面，深度學習，特別是卷積神經網絡(convolutional neural networks，CNN)已經成為影像識別、影像增強、目標檢測和超分辨率等領域的研究熱點。Dong等[14]提出了一種超分辨率卷積神經網絡(super-resolution convolutional neural networks，SRCNN)，并成功應用于超分辨率處理。在此基礎上，Masi等[15]提出了一種全色波段銳化的卷積神經網絡(pansharpening neural networks，PNN)。全色銳化可以看作是一個多輸入單輸出問題，而SRCNN最初是針對單輸入單輸出情況設計的，PNN與SRCNN的主要區別之一為是否將全色影像的細節信息注入CNN模型中。PNN模型已成功地應用于實際數據，并獲得了高質量的影像融合結果。

傳統的多光譜影像融合方法主要是將全色影像的空間細節和多光譜影像的光譜信息結合起來，簡單地將多光譜影像通過插值的方法(鄰域插值、雙線性插值等)進行放大，然而由于放大后多光譜影像與全色影像的空間結構有較大差異，導致融合影像產生畸變，因此，降低多光譜與全色影像之間的差異有助于提高融合影像的分辨率。

為此，本文提出了一種顧及多光譜分辨率空間信息的影像融合方法。首先，利用Wald協議構建低分辨率全色影像，利用SRCNN網絡來訓練低分辨率和高分辨率全色影像之間的關系，將訓練好的網絡應用于多光譜影像的重建以代替傳統插值重建的方法；其次，為了充分利用分量替代法保留原始影像空間信息以及多分辨率分析保留影像光譜信息的優勢，在GS變換的基礎上，加入Curvelet變換分析，進一步提高多光譜影像與全色波段影像的融合質量。用SRCNN進行空間分辨率增強，可以減小低分辨率影像與全色影像空間結構之間的差異，提高其相關性，有利于降低分量替換引起的光譜失真；同時，Curvelet變換可以較好地保存原始多光譜影像的光譜信息，有利于融合影像視覺質量的提高。

1 算法介紹

1.1 超分辨率卷積神經網絡重建

在多光譜遙感影像融合處理過程中，首先需要將多光譜影像通過插值的方法放大到與全色影像相同，插值方法多采用雙線性內插或雙三次插值，這種簡單的放大并不能提高多光譜影像實際的分辨率。實際上，低分辨率影像與其對應的高分辨率影像有著共同的先驗信息[16]，這就使得低分辨率影像可以通過自身的細節來提高空間分辨率。SRCNN具有結構簡單、學習速度較快等特點，是一種端到端的映射。

本文利用SRCNN模型來增強低分辨率多光譜影像的空間信息。在模型訓練階段，將低-高分辨率的全色影像作為網絡的輸入-輸出；網絡通過學習低-高分辨率全色影像之間的關系，獲得二者之間的空間細節信息。利用學習到的網絡代替傳統插值重建方法，對多光譜影像所有波段分別進行SRCNN重建，得到增強后的多光譜影像，從而提高多光譜與全色影像之間的空間相關性，降低后續融合過程中產生的畸變，重建過程如圖1所示。

SRCNN模型主要包含特征提取、非線性映射、影像重建三個模塊。

1)特征提取。將低分辨率PAN影像進行分塊，每個小塊視為一個高維向量，這些向量組成一個特征映射，其大小等于這些向量的維度，表示如式(1)所示。

H1=max(0，F1×I+R1)

(1)

式中：F1為濾波器，其大小為f1×f1×n1，n1是濾波器的數量；I為低分辨率影像；R1為偏差，大小為n1×1維；H1為通過卷積操作得到的特征映射，即第一卷積層。

2)非線性映射。將提取出的特征映射到另一個高維向量上，每一個映射向量表示一個高分辨率小塊，這些向量組成另一個特征映射，非線性映射層表示如式(2)所示。

H2=max(0，F2×H1+R2)

(2)

式中：F2為卷積濾波器，大小為n1×1×1×n2(n2≤n1)；R2為n2×1維的向量；H2為非線性映射后的輸出特征，每個輸出的n2維向量表示一個高分辨率塊，用于后續的重建。

3)影像重建。將來自非線性映射層的高分辨率塊進行聚合，從而生成高分辨率影像，重建層的表示如式(3)所示。

H=F3×H2+R3

(3)

式中：F3為重建層濾波器，大小為n2×f3×f3×c；R3為一個c維向量；H為重建后的高分辨率影像。

1.2 Curvelet變換原理

傳統分量替代方法在融合過程中容易產生影像光譜失真，本文采用Curvelet變換分析分離影像高低頻信息，在融合影像空間信息的同時保留其光譜信息，以此提升融合影像的質量。Curvelet變換是在小波變換基礎上發展起來的，小波分析的優點在于它比傅里葉分析能更“稀疏”地表示一維分段光滑或有界變差函數。然而，小波分析不能“最優”表示含線或者面奇異的高維函數，在二維影像中，小波分析并不能充分表達影像的邊緣特征。為了克服這個缺陷，多尺度幾何分析受到了關注，其中代表的有Ridgelet變換、Curvelet變換、Contouret變換等。Curvelet變換通過對Radon域的多角度投影變換加強了影像邊緣信息的提取，同時，還具有小波變換不具備的方向參數，能夠準確地表達影像的邊緣方向[17-19]。

Curvelet變換的低頻段可以較好地表達影像的整體平滑信息，高頻段可以很好地表達影像細節變化的特征。將其用于影像融合中，可以使高分辨率影像的空間細節特征被更好地表達，從而將更多的高頻信息注入到低空間分辨率影像中，降低融合后的空間失真。本文采用二代Curvelet變換方法[20]，首先，將融合影像中需要替換的影像從空間域變換到頻率域;然后，在頻率域中進行局部化;最后，采用二維傅里葉逆變換得到曲波系數。

二代曲波變化與一代曲波變換構造上完全不同，擺脫了一代曲波變化數據冗余的缺點，算法更簡單，更便于理解。

1.3 本文算法

圖2概括了本文所提算法，即以Gram-Schmid變換為基礎，對GS算法的輸入及成分替換部分進行改進。SRCNN可以在保留多光譜影像光譜信息的同時提高其空間分辨率，從而提高與全色影像的空間相關性。在GS成分替換時，加入Curvelet變換分析，可以有效地分離影像高低頻信息，較好地保持融合影像的空間與光譜信息，本文算法流程如下。

1)空間分辨率增強。根據圖1的SRCNN模型，通過對高/低分辨率全色影像進行訓練，對多光譜影像進行超分辨率影像重建，得到增強影像Emul。

2)利用增強后的影像Emul進行低分辨率全色波段模擬，作為GS變換的第一分量，模擬原則如式(4)所示。

(4)

式中：GS1為變換的第一分量；N為多光譜影像波段數；Bn為多光譜影像第n個波段。

3)利用模擬的第一分量與增強影像進行GS正變換，變換如式(5)所示。

(5)

式中：GSn為當前第n個變換的波段；Bn為參與變換原始多光譜第n個波段；μn為第n個波段的均值；GSm為已經參與變換的波段；φ(Bn，GSm)為兩個波段的協方差。

4)將模擬的第一分量GS1與全色波段進行分量替換，利用Curvelet變換對兩幅影像分別進行尺度分析，低頻采用絕對值取大，高頻采用局部方差準則進行融合(式(6))。

(6)

式中：SL為融合影像低頻部分；GS1L為GS變換第一分量低頻信息；PL為全色影像低頻信息。

局部方差準則將待融合的兩幅影像高頻信息分成K個子塊，對每個子塊影像進行方差計算，融合系數的計算如式(7)至式(9)所示。

(7)

(8)

ω2=1-ω1

(9)

5)將融合后的影像S代替第一分量GS1，然后進行GS逆變換，從而得到融合后的高分辨率多光譜影像。

2 實驗結果與分析

為了驗證本文所提算法的有效性，實驗測試數據使用了不同分辨率的衛星數據集，即Landsat 8、ZY-3以及高分一號進行影像融合重建實驗。實驗所選取的評價指標為峰值信噪比(peak signal noise ratio，PSNR)、光譜角制圖(spectral angle mapping，SAM)、空間相關系數(spatial correlation coefficient，SCC)[21]、通用影像指數(Q)[22]和相對無量綱全局誤差(erreur relative globale adimensionnelle de synthèse，ER-GAS)。

2.1 評價指標

1)PSNR。PSNR用于評價融合影像與參考影像的接近程度，PSNR值越大，融合影像失真越少，越接近參考影像。

2)SAM。SAM的結果可看作兩影像之間整體余弦角均值。SAM值越小表示兩個影像越匹配，相似度越高；反之，表示兩影像相似度越小。

3)SCC。SCC表明融合影像與全色影像之間空間細節的相關程度。SCC數值越大，代表融合方法保持空間細節信息的能力越強。

4)Q。Q值越大，影像融合效果越好。

5)ER-GAS。ER-GAS主要從光譜角度評價融合影像的質量，反映了光譜整體的變化情況。ER-GAS數值越小，代表影像融合效果越好。

2.2 訓練數據說明

實驗數據根據Wald協議進行模擬，首先通過雙三次插值按其空間分辨率對多光譜及對應的全色影像進行下采樣，然后對下采樣后的影像進行融合，同時將原始的多光譜影像用作地面真實的參考影像。

SRCNN網絡參數通過本文所給的訓練集重新進行訓練，特征提取層濾波器F1大小設置為9×9×64，非線性映射層濾波器F2設置為64×5×5×32，重建層濾波器F3設置為32×5×5×1；目標函數采用均方誤差；使用帶有動量參數的隨機梯度下降法(stochastic gradient descent，SGD)最小化目標函數，初始學習率設置為0.01，權重衰減設置為10-7，動量參數設置為0.9。

訓練集為三組實驗數據,在上采樣階段選取2、3、4三種不同融合尺度分別進行訓練，訓練數據說明如表1所示。

表1 訓練數據說明

2.3 融合結果分析

圖3、圖4、圖5分別為不同融合尺度的遙感影像。從目視融合效果上看，針對不同融合尺度的遙感影像，所有算法均有效地提高了影像細節信息，影像質量都得到了改善，不同地物地貌可以更加容易地被識別出來。針對不同地貌的影像，GS、PCA等成分替代方法都較好地增強了影像的空間細節，但在圖3標記的紅色區域，存在明顯顏色失真。將圖4中標記的紅色區域進行比較，可以看出小波與曲波變換更接近真實景物效果，影像光譜效果更接近參考影像，但其空間細節表達能力不足。將圖5中紅色區域對比來看，多尺度分析算法在建筑物邊緣細節表現出一些空間混疊，成分替代方法則出現了一些色差，本文算法在視覺上更接近參考影像，一些地面細節及紋理特征更加清晰。面對不同融合尺度的遙感影像，本文所提算法綜合表達能力更突出。

表2、表3、表4給出了不同融合尺度下融合算法的客觀評價指標。對比分析可以看出，本文所提算法均優于對比算法。從光譜角制圖指標上看，本文所提算法比其他算法均提高了0.1以上，表明其在融合過程中有著很好的光譜保持能力，對于后續利用遙感影像光譜特征進行分類分割起到了至關重要的作用。對比空間相關性指標，本文所提算法在Landsat 8影像上融合效果相較于其他算法略有提升，在ZY3-1、GF-1融合結果上有明顯提升，這一方面是由于原始多光譜影像經過SRCNN影像重建，其空間細節信息有了明顯增強，對于融合影像的空間信息有促進作用；另一方面，增強多光譜影像空間細節有助于提高與全色影像的相關性，降低了融合過程中影像的光譜失真，在圖3、圖5紅色標記區域中有所體現。通過與其他三種指標進行對比，可以發現本文所提算法指數最高，這顯示了本文所提算法在光譜保真度及空間增強方面優于傳統的成分替代及多尺度分析融合方法。

表2 Landsat 8影像不同算法指標對比

表3 ZY3-1 影像不同算法指標對比

表4 GF-1 影像不同算法指標對比

通過目視判讀以及指標對比分析，GS、PCA及目標算法在表達影像空間細節信息方面有著明顯優勢，多尺度分析算法及目標算法在光譜信息方面更接近參考影像，說明目標算法不論從光譜保持能力還是細節表現程度上都有著出色的融合效果。同時，面對不同的融合尺度，不同衛星影像的波段信息及分辨率都有著較大的差異，本文所提算法也能展現出較好的融合效果，說明了本文所提算法的有效性以及對不同數據的適應性。

3 結束語

本文通過超分辨率影像重建對原始多光譜影像進行空間細節提升，同時在傳統GS變換基礎上加入Curvelet變換，結合二者優點，提出了基于SRCNN與Curvelet變換的多光譜遙感影像融合方法。實驗結果表明，本文算法在整體上優于已有的分量替代及多尺度分析算法，具備GS算法與Curvelet變換的優勢，能夠在保持影像光譜信息的同時，極大地提高影像的空間分辨率，改善了融合影像的質量。

然而，本文算法在多光譜影像重建階段選取的是全色影像作為訓練樣本，如何在現有的基礎上探究全色影像與多光譜影像之間的聯系，以及有效地利用遙感影像先驗知識(如NDVI等信息)進一步提升多光譜影像重建質量，這一方面的內容有待研究。同時，考慮到Curvelet變換中多個方向參量之間代表了影像不同的細節紋理特征，如何在影像訓練階段利用這一特性提高訓練效率及精度，值得一定的關注。