非下采樣剪切波變換域下遙感圖像融合

熊璋璽， 劉明亮， 郭擎， 李安

(1.黑龍江大學 電子工程學院,黑龍江 哈爾濱 150080； 2.中國科學院空天信息研究院， 北京 100101； 3.黑龍江省信息融合估計與檢測重點實驗室，黑龍江 哈爾濱 150080)

遙感圖像融合是將全色圖像的高分辨率空間細節信息和多光譜或高光譜圖像中豐富的光譜信息進行融合，以獲得空間和光譜質量都高的圖像。其算法可以分成成分替換法、多分辨率分析法、基于模型的方法3類。成分替換法是對多光譜圖像進行光譜變換，目的是分離出相對于光譜對應物的空間信息。然后，用全色圖像代替該空間分量，得到空間增強的多光譜圖像。成分替換法主要包括IHS變換[1]、主成分分析方法(principal component analysis,PCA)[2]、GS方法[3]、自適應GS法[4]、基于物理約束的波段相關空間細節(band-dependent spatial-detail with physical constrains, BDSD_PC)方法[5]、基于部分置換的自適應分量替換(partial replacement-based adaptive component substitution, PRACS)法[6]等。成分替換法具有空間細節清晰、運行效率高、對誤配準和混疊錯誤具有一定魯棒性而被廣泛使用，不過往往會帶來光譜失真。

多分辨率分析方法是將全色圖像多分辨率分解得到的空間細節注入到上采樣的多光譜圖像中，該方法通常通過線性分解方法獲得，如小波變換[7]、超小波變換[8]、加性小波亮度比例(additive wavelet luminance proportional, AWLP)方法[9]、基于調制傳遞函數的廣義拉普拉斯金字塔(modulation transfer function based generalized laplacian pyramid, MTF_GLP)方法[10]等。與成分替換方法相比，多分辨率分析方法能更好地保持光譜特性，但在空間增強方面有時令人不太滿意。

基于模型的方法一般分為基于稀疏表示的方法和基于深度學習的方法。基于稀疏表示的方法[11]首先從低空間分辨率數據中學習光譜字典，然后結合已知的高空間分辨率數據預測高空間分辨率和高光譜分辨率數據。例如，Li等[12]提出了一種基于稀疏誘導先驗信息的壓縮感知方法，通過構建從MS圖像中隨機抽樣的圖像塊字典來實現稀疏性。為了避免字典構建的成本，Zhu等[13]提出了一種稀疏圖像融合算法。Cheng等[14]提出了一種融合小波變換和稀疏表示的融合框架。與多分辨分析法相比，這些方法具有超分辨能力和魯棒性，能夠獲得更高的空間分辨率和光譜分辨率，且光譜失真較小。

近年來，人們對深度學習融合算法越來越感興趣，例如Giuseppe等[15]提出一種名為基本卷積神經網絡的全色圖像銳化(CNN-based Pan-sharpening，PNN)的網絡，它直接學習低分辨率圖像和高分辨率圖像之間的關系，冗余度高，學習會比較困難。Rao等[16]提出了一種基于殘差卷積神經網絡的圖像融合方法，直接學習輸入與輸出之間的殘差，但淺層網絡很難學習到深層次豐富的地物特征，數據量增多時還會出現欠擬合。Li等[17]使用超分辨率網絡來做融合，然而缺乏真實高空間分辨率多光譜圖像做標簽，只能通過降尺度方法制作模擬數據集。Xiong等[18]通過將質量評價函數應用于損失函數解決了制作模擬數據集問題，并為深度學習做遙感圖像融合提供了新思路[19-20]。

雖然現有的融合算法在許多方面表現良好，但仍有一些方面需要改進。例如基于深度學習的方法往往需要非常大的訓練集，而這些專業的遙感數據訓練集通常很少。而且，不同的衛星有不同的數據類型，目前還很難做到不同衛星數據的同時訓練。另外，網絡訓練需要大量的時間，使得網絡調整的實時性較差[21-22]。在基于稀疏表示的融合算法中，如何找到一個最優的變換基并使在其上的表示最稀疏是較困難的問題。此外，稀疏表示有時會忽略圖像的內在幾何結構[23-24]。

針對成分替換和多分辨率分析方法的優點，本文提出了一種混合的遙感圖像融合新方法。在NSST域，首先利用IHS變換提取多光譜圖像的亮度分量，然后將全色圖像和提取的亮度分量在NSST域分解成高頻子帶和低頻子帶，采用導向濾波器對高頻子帶進行融合，對低頻子帶進行區域清晰度加權融合。最后將融合后的高頻子帶和低頻子帶在進行NSST逆變換和IHS逆變換得到融合的高分辨率多光譜圖像。為了驗證方法的有效性，本文選取Quick Bird, SPOT&TM 以及 WorldView-2衛星圖像進行實驗驗證。融合結果與6種典型先進方法比較，本文提出的融合方法在有參考和無參考質量評價指標上都表現優良。

1 非下采樣剪切波變換與融合規則

1.1 非下采樣剪切波變換

由Easley等[25]提出的NSST變換是小波變換在多維和多向情況下的擴展，它將非下采樣金字塔(non-subsampled pyramid，NSP)變換與幾種不同的剪切濾波器(shearlet filter, SF)相結合，以提供多尺度和多方向的分解。

NSST變換主要分為以下兩步：多尺度分解和方向局部化。多尺度分解采用非下采樣金字塔濾波器組(non-subsampled pyramid filter banks, NSPFs)實現。用剪切濾波器組(shearlet filter banks, SFBs)實現方向局部化。對源圖像進行NSPFs分解，得到由細到粗的低頻和高頻子帶圖像。圖1示出了兩級NSST分解的示意圖。

圖1 兩級NSST分解示意Fig.1 The schematic of a two level NSST decomposition

1.2 導向濾波

導向濾波器[26](guided filter, GF)是一種圖像濾波技術，該技術通過利用一幅引導圖x，對目標圖像p(輸入圖像)進行濾波操作，從而使得輸出圖像與p基本相似，但紋理特征與x一致。本文將導向濾波器應用于高頻子帶的融合。

在本文中x為全色圖像經NSST變換后得到的高頻子帶，p為多光譜圖像的亮度分量經NSST變換后得到的高頻子帶，融合的高頻子帶為導向濾波的輸出q。導向濾波的一個重要假設是輸出圖像q和引導圖像x在濾波窗口ωk上存在局部線性關系：

qi=akxi+bk,?i∈ωk

(1)

qi=pi-ni

(2)

最終的目標就是最小化這個噪聲。對于每一個濾波窗口，該算法在最小二乘意義上的最優化可表示為:

(3)

式中ε是給定的正則化參數。系數ak和bk可通過線性回歸直接求解：

(4)

(5)

(6)

導向濾波器具有許多優良的特性。首先，導頻濾波器是局部線性濾波器，如式(1)所示，輸出圖像q可以理解為在局部范圍內具有權重系數ak和偏移量bk的向導圖像x之和，這使得向導圖像的細節信息傳輸到輸出圖像成為可能。導向濾波器的這一結構傳遞特性可以最大限度地消除上采樣帶來的邊緣遮擋偽影，從而提高融合圖像的清晰度。其次，導向濾波器具有梯度保持特性，可以有效避免梯度翻轉現象，這種特性可以應用于圖像增強和高動態范圍壓縮。最后，導向濾波器模型具有快速、高效、易于實現的特點。基于這些特性，本文選擇導向濾波作為高頻融合規則。

1.3 融合規則

圖2示出了所提出融合方法的示意圖。在融合之前，源圖像已經被配準。

圖2 本文方法流程Fig.2 Flow char of proposed method

影響多光譜與全色圖像融合質量的主要因素一方面是全色圖像空間細節的融入度，另一方面是多光譜圖像的保持度。源圖像經NSST變換被分解為不同的頻率分量，低頻分量部分是近似源圖的子圖，其表示圖像強度或灰度值變化緩慢的區域，即圖像中較大的平坦區域，它描述了圖像的主要部分并決定其輪廓。低頻融合規則的選取對于提升融合圖像的視覺效果，很好的保持源圖像光譜信息具有十分重要的意義。高頻分量對應于圖像中變化劇烈的部分，即圖像的紋理、邊緣(輪廓)、噪聲或細節，是圖像突變性的反映。高頻融合規則的選取對于空間細節的保留具有十分重要的意義。高頻與低頻的融合規則是本文融合方法中核心，所以下文著重對融合規則進行描述。

1.3.1 低頻分量融合規則

MS和Pan圖像低頻子帶融合的目的是為了獲得更清晰的MS圖像。清晰圖像和模糊圖像之間的區別是我們需要研究的。從邏輯上考慮，圖像模糊是因為圖像中物體的輪廓不明顯，輪廓邊緣灰度變化不強烈，層次感不強造成的。反之，如果輪廓邊緣灰度變化明顯，層次性強，則圖像清晰。對于一幅圖像，可以把圖像看作一個二維函數f(x,y)，由微積分可知，圖像的清晰度可用圖像的梯度來表示。

基于此，對于低頻分量，設計基于區域清晰度加權的融合策略。梯度能量(energy of gradient, EOG)作為清晰度的評價指標，在空間域具有明確的物理意義，具有良好的時間性能和較高的靈敏度。EOG使用相鄰點之間的差來計算一個點的梯度：

[f(x,y+1)-f(x,y)]2}

(7)

用CPL、CIL和CFL分別表示Pan、MS的亮度分量I和融合圖像F在同一子帶、相同方向和相同位置的低頻系數，RPL和RIL分別表示Pan和MS的亮度分量I在相同子帶、相同方向和相同位置的NSST域低頻子帶系數的EOG，則融合策略可以表示為：

CFL=wPCPL+wICIL

(8)

1.3.2 高頻分量融合規則

對于高頻子帶融合，其目的是盡可能多地保留空間細節、邊緣和輪廓。在第1.2節中討論了導向濾波器的特性，這使得它作為一種高頻子帶融合策略成為可能。由于Pan圖像比MS圖像更清晰，具有豐富的空間細節和銳利的邊緣特征，因此，將MS的亮度分量經NSST分解后的高頻子帶作為輸入圖像，Pan經過NSST分解后的高頻子帶作為向導圖像，輸出圖像即為融合后的高頻子帶圖像。此外，輸入圖像和向導圖像必須保證在同一層和同一方向上。融合策略可以表示為：

(9)

2 融合實驗與對比分析

為了驗證本文方法的有效性與可靠性，用真實遙感圖像進行實驗驗證。對同源、異源、高分辨率、中分辨率遙感圖像進行實驗，并用主觀視覺和客觀定量評價進行結果分析，設置算法參數后，對實驗結果進行展示和討論。

2.1 實驗設置

2.1.1 實驗圖像

為了驗證該方法的有效性和通用性，選取了3組不同數據類型的圖像。第1組是QuickBird衛星拍攝的空間分辨率分別為0.7 m和2.8 m的Pan圖像和MS圖像。第2組是空間分辨率為10 m的SPOT的 Pan圖像和空間分辨率為30 m的TM圖像。第3組是worldwiew-2衛星拍攝的空間分辨率分別為0.5 m和2 m的Pan圖像和MS圖像。其中，第1組和第3組是同源衛星圖像，第2組是異源衛星圖像。圖像地物場景包括城市、農田和草地。

2.1.2 所選對比方法

將所提出的融合方法與GSA、BDSD_PC、PRACS、AWLP、MTF_GLP以及基于卷積神經網絡的方法PNN等6種有代表性的融合方法進行比較。其中GSA、BDSD_PC、PRACS是分量替換類，AWLP與MTF_GLP是多分辨率分析類，PNN是深度學習類。

2.1.3 客觀評價指標

客觀評價通過定量評價方法和指標，科學、客觀地評價圖像融合算法的性能，它不受人的視覺特征和心理狀態的影響。在本文中，信息熵(information entropy, EN)、標準差(standard deviation, STD)、相關系數(correlation coefficient, CC)、結構相似度[27](structural similarity index, SSIM)、相對整體維數合成誤差[28](erreur relative globale adimensionnelle de synthese, ERGAS)、光譜角匹配指數[29](spectral angle mapper, SAM)、無參考質量評價指標[30](quality with no reference index, QNR,Ds,Dλ)這9個被廣泛認可的融合度量指標被應用到本文的實驗中。其中EN與STD越大越好，CC、SSIM、ERGAS、SAM、QNR、Ds和Dλ的理想值分別為1, 1, 0, 0, 1, 0, 0。其中CC、ERGAS、SAM和Dλ度量融合圖像的光譜質量，EN、STD、SSIM和Ds反映融合圖像的空間細節，QNR是綜合評價指標。

2.1.4 算法參數設置

本文提出的方法有3個參數需要設置：NSST分解層數L、濾波器半徑r和導向濾波器的模糊度ε。實驗按照經驗設置L=4，r=1，ε=0.0012。

2.2 實驗結果與分析

圖3(a)、4(a)和5(a)分別顯示QuickBird、SPOT&TM和WorldView-2衛星的上采樣低分辨率MS圖像。圖3(b)～(h)、4(b)～(h)和5(b)～(h)分別給出了AWLP，BDSD_PC，GSA，MTF_GLP，PRACS，PNN和本文提出方法的融合結果。表1～3分別列出了圖3～5融合結果的客觀質量評價。每個客觀質量評價指標的最佳結果都以粗體標記。為了更好地比較各種方法的融合結果，還對融合后的圖像進行局部放大。

在圖3中，通過將融合結果與原始圖像進行視覺比較發現：BDSD_PC方法和GSA方法都發生了一定程度的光譜失真，特別表現在局部放大圖像中，其樹看起來比MS亮，除此之外，在融合圖像左下角的一片灌木區光譜失真也嚴重。PRACS方法的融合圖像右下角的屋頂出現嚴重光譜失真，其顏色變成了暗棕色。對于生長在河岸上的樹木，可以發現AWLP方法和MTF_GLP方法的光譜失真很小，但在右下角的屋頂出現了較嚴重的光譜失真，與MS的屋頂對比，這2種方法屋頂看起來偏亮。雖然PNN方法保持了較好的光譜特性，但其整體空間特性不如本文的方法。本文提出的方法改善空間細節信息的同時保持了更好的光譜特性。

圖3 第1組QuickBird數據不同方法的融合結果(RGB真彩色合成)Fig.3 The R, G, B bands for natural color composition by different methods of the first group QuickBird data

從表1可以看出，本文提出的方法在指標SSIM、CC、ERGAS、SAM、Ds和QNR上表現最好，EN和Dλ排名第3，STD排名第2，但只比最優的結果差一點。

表1 第1組QuickBird數據融合結果的客觀評價Table 1 Objective evaluation of fusion results using the first group QuickBird data

在圖4的局部放大圖像中，BDSD_PC、PRACS和PNN方法看起來很模糊，尤其是PNN方法，空間細節沒有太大的增強。GSA方法保持了良好的空間細節，但是光譜失真嚴重，從圖像的左中部可以看到，綠色看起來更亮。與本文提出的方法相比，AWLP方法和MTF_GLP方法的差別不明顯。

圖4 第2組TM&SPOT數據不同方法的融合結果(SWIR, B, NIR假彩色合成)Fig.4 The SWIR, B, NIR bands for false color composition by different methods of the second group TM and SPOT data

從表2可以看出，本文提出的方法在指標EN、STD、Ds和QNR方面表現最好。SSIM、CC、ERGAS、SAM和Dλ排名第2，這些指標表現最優的方法是PNN方法，然而PNN方法的空間細節不如本文提出的方法好。

表2 第2組TM與SPOT數據融合結果的客觀評價Table 2 Evaluation of fusion results using the second group TM and SPOT data

從圖5的局部放大圖像可以看出，BDSD_-PC方法、PRACS方法和PNN方法丟失了大量的空間細節。與本文提出的方法相比，GSA方法在圖像的右上角看起來更明亮，而AWLP和MTF_GLP方法的紋理特征沒有本文方法豐富。

圖5 第3組WorldView-2數據不同方法的融合結果(RGB真彩色合成)Fig.5 The R, G, B bands for natural color composition by different methods of third group WorldView-2 data

表3中，本文提出的方法在EN、STD、SAM、Ds和QNR方面表現最好。SSIM和CC接近最優值1，ERGAS和Dλ值都較小。

表3 第3組WorldView-2數據融合結果的客觀評價Table 3 Evaluation of fusion results using the third group WorldView-2 data

結合視覺融合結果和質量評價指標，可以看出本文提出的方法優于目前常用的對比方法。此外，在3組實驗中，本文提出的方法在大多數質量評價指標上都優于其他方法，在保持原始多光譜圖像光譜信息的同時提高了空間分辨率。

3 結論

1)本文方法在對源圖像進行NSST變換的基礎上，針對高低頻子帶信息的不同特點設計了基于區域清晰度加權的低頻子帶融合規則，以及基于導向濾波的高頻子帶融合規則。

2)利用3組高、中空間分辨率的遙感衛星圖像進行同源、異源融合實驗，融合結果對空間細節信息增強的同時更好地保留了光譜信息，驗證了該方法的有效性。與其他6種有代表性的融合方法通過九種評價指標進行比較和評價，結果表明本文方法對于融合多光譜圖像的光譜信息和全色圖像的空間信息的有效性和優越性，是一種行之有效的多光譜圖像與全色圖像融合方法。