遙感圖像不同融合方法的適應性評價
——以ZY-3和Landsat8圖像為例

劉會芬， 楊英寶， 于雙， 孔令婷， 章勇

(河海大學，南京 210098)

0 引言

不同分辨率(空間/光譜)遙感數據的融合是提高遙感圖像信息含量的一種非常重要的技術，融合后的圖像蘊含了更多的有價值信息[1]。對于不同的衛星圖像，同種融合方法的效果也會有所差異； 而不同融合算法，也會使融合圖像在光譜信息繼承、空間分辨率提高、信息含量增加等方面有不同程度的差異。王廣杰等[2]以ETM+圖像為例，進行主成分變換(PCA)法、乘性迭代(Multiplicative)法、彩色標準化(Brovey)變換法和小波變換(WT)法等 4 種融合算法試驗，結果表明，最佳的融合算法是WT法，而Multiplicative 法要優于 Brovey 法和 PCA 法。孟京輝等[3]采用彩色空間變換(IHS)法、PCA法、相位恢復算法(Gram_Schimdt，G-S法 )和Brovey法等4種融合方法對ETM+圖像進行融合,并采用信息熵、標準差、偏差指數和相關系數進行融合效果評價，結果表明，Brovey法最大限度地保持了原始圖像的光譜信息，但空間信息的詳細程度較差； IHS變換融合后的圖像空間細節信息最大，但光譜保真能力差； PCA法和G-S法融合圖像的光譜保真和空間信息詳細程度介于Brovey法和IHS法之間； Brovey法和IHS法有較好的融合效果。譚永生等[4]對QuickBird，SPOT5和ETM+全色與多光譜圖像應用Brovey法、支持向量回歸(SVR)法、PCA法、Pansharp法和G-S法進行融合，結果表明,對于QuickBird圖像，G-S法的融合效果最好； 對于SPOT5圖像，Pansharp法的融合綜合效果優于其他方法; 對于ETM+圖像，G-S法的光譜退化最小。

目前，對常用融合方法用于資源三號衛星(ZY-3)圖像和Landsat8圖像的適用性研究還較少。本文采用IHS法、PCA法、WT法、G-S法、超分辨率貝葉斯法(Pansharp 法)和Brovey法等6種方法分別對ZY-3和Landsat8衛星圖像的多光譜波段與全色波段進行融合，并從圖像融合的光譜信息保真度和空間信息融入度2個方面，采用平均梯度、平均值、方差、熵、偏差指數和相關系數等6個參數對融合效果進行評價。

1 融合算法及其效果評價指標

1.1 融合算法簡介

1)主成分變換(PCA)法。PCA 法是在統計特征基礎上進行的一種多維(多波段)正交線性變換(又稱為 K-L交換)。它將多波段的低分辨率圖像中共有的信息集中到第一主成分，而與其他任何波段都不重疊的獨特光譜信息被放入其他的主成分； 再把全色波段數據拉伸使其和第一主成分有著相同的均值和方差，并用全色波段數據代替第一主成分進行主成分逆變換，還原到原始空間，生成具有高空間分辨率的多波段融合圖像[7]。

2)小波變換(WT)法。WT變換通過小波域的變換實現圖像的融合，其主要步驟有： ①將全色波段圖像進行小波分解； ②用多光譜圖像的低頻信息代替全色波段圖像的低頻信息； ③將代替后的圖像通過小波逆變換得到最終的融合圖像。

3)Pansharp法。Pansharp 方法是一種超分辨率貝葉斯法。該方法基于統計原理，利用最小方差對參與融合的圖像波段灰度值進行最佳匹配，并利用此原理調整單個波段的灰度分布，以減少融合結果的顏色偏差； 該方法還對輸入的所有波段進行一系列的統計運算，并以此消除融合結果對數據集的依賴性，提高融合過程的自動化程度。融合的結果對人為主觀因素與數據本身質量的依賴性較小，圖像光譜和細節特征保真度高。

4)IHS變換法。IHS變換是多源遙感數據融合最常用的方法之一，屬于彩色空間變換。該方法首先從低分辨率的多光譜彩色合成圖像中分離出代表空間信息的明度(I)、代表光譜信息的色度(H)和飽和度(S)這3 個分量； 然后，將高分辨率全色波段與多光譜彩色合成圖像的I分量進行直方圖匹配，利用高分辨率全色波段代替多光譜彩色合成圖像的I分量，保持多光譜彩色合成圖像的H和S分量； 最后進行 IHS 的逆變換，完成圖像融合過程[5-6]。

5)Gram_ Schimdt(G-S)變換法。G-S變換法[7]，其實質是一種相位恢復算法。該算法的主要步驟有： ①用低空間分辨率的多光譜圖像產生模擬的低空間分辨率的全色圖像； ②將模擬圖像(充當第一波段)疊加到多光譜圖像上，然后對重組后的多光譜圖像進行G-S正變換； ③用高分辨率全色圖像代替G-S變換后的第一分量，然后對代替后的多光譜圖像進行G-S反變換，得到最終的融合圖像。

6)Brovey 變換法。Brovey變換，又稱彩色標準化(color normalized)融合法，是一種分色變換過程。該融合方法是將彩色圖像中的每一個波段都乘以高分辨率數據與彩色波段總和的比值。函數自動地用最近鄰、雙線性或三次卷積插值方法將3個彩色波段重采樣到高分辨率像元大小。

1.2 融合效果的定量評價指標

圖像融合效果的評價方法有定性評價和定量評價2種。定性評價簡單直觀,但存在一定的主觀性； 定量評價則不受人為因素干擾。常用的定量評價指標有信息熵、相關系數和偏差指數。本文在綜合考慮圖像空間細節信息增強與光譜信息保持的同時，選用以下3類定量統計指標參數[8]對圖像融合效果進行定量評價。

1.2.1 亮度信息的評價指標

1)平均梯度(G)。平均梯度具有敏感地反映圖像對微小細節反差和紋理變換表達的能力，其表達式為

(1)

式中：N和M分別為圖像的行列數； △Ix，△Iy分別為x，y方向的一階差分；i，j分別為同一波段圖像中各像元的行列號。一般情況下，G越大，圖像層次越多，表示圖像越清晰[8-10]。

2)均值(v)。均值指的是圖像像元的灰度平均值，其表達式為

(2)

式中F為融合圖像。對于灰度圖像，如果均值適中(灰度值在128 附近)，則視覺效果良好[9]。

3)方差(σ2)。方差反映圖像像元灰度相對于灰度平均值的離散程度，其表達式為

(3)

式中R為原始圖像。σ2越大，則圖像灰度級分布越分散，圖像中所有灰度級出現概率越趨于相等，從而包含的信息量越趨于最大[8-10]。

1.2.2 空間細節信息的評價指標

信息熵(H)是一種基于信息量的空間細節信息的評價指標，其表達式為

，

(4)

式中Pi為原始圖像R中灰度值為i的概率密度。H反映了圖像信息量的多少。H值越大，說明融合圖像的信息量也越大。如果圖像中所有灰度級出現的概率趨于相等，則包含的信息量趨于最大[8-10]。

1.2.3 光譜信息的評價指標

1)偏差指數(Din)。Costantin等[11]用偏差指數來反映融合后圖像與原始多光譜圖像在光譜信息上的匹配程度，其表達式為

(5)

若Din較小，則說明融合圖像在提高了空間分辨率的同時，較好地保留了原多光譜影像的光譜信息[8]。

2)相關系數(C)。融合圖像與原圖像的相關系數反映2景圖像光譜特征的相似程度，通過比較融合前、后圖像的相關系數，可以看出多光譜圖像的光譜信息改變程度，其表達式為

(6)

式中vR和vF分別為融合前后圖像的均值。C越高，對光譜值的評價越好，相關系數的理想值為 1[8-10]。

2 不同方法融合效果的定量評價

本文選用南京市ZY-3號和Landsat8衛星圖像進行不同方法融合效果的定量評價。

2.1 ZY-3圖像融合效果及定量評價

2.1.1 融合效果

本文使用上文提到的6種融合效果定量評價指標，對經過預處理的ZY-3全色和多光譜圖像分別進行融合處理，其結果如圖1所示。

(a) B4(R)B3(G)B1(B)(b) 全色圖像(c) PCA融合結果(d) WT融合結果合成圖像

(e) Pansharp融合結果(f) IHS融合結果(g) G-S融合結果(h) Brovey融合結果

2.1.2 定量評價

2.1.2.1 亮度評價

6種融合方法獲得的ZY-3融合圖像和原始圖像的平均梯度(G)、平均值(v)和方差(σ2)統計數據見表1。

表1 ZY-3圖像6種融合結果的亮度評價

從平均梯度可以看出，除用Pansharp法融合后各波段圖像的層次感和清晰度較原始多光譜相應波段的有所降低外，用其余各方法融合后的圖像層次感和清晰度均較原始多光譜圖像有所提高； 從提高的程度來看，以 3個波段參與融合的IHS法提高得最多，其次為PCA法和WT法。

從平均值可以看出，用PCA法、Pansharp法和G-S法融合后圖像各波段的平均值最接近原多光譜圖像各波段的平均值； 而用WT法、IHS法和Brovey法融合后圖像的平均值與原多光譜圖像各波段的平均值相差較大，但用IHS法和Brovey方法融合后圖像各波段的平均值接近128。對于灰度圖像，如果灰度值在128附近，則視覺效果良好。

從方差可以看出，只有用IHS法融合的圖像方差增加，用其他方法融合的圖像方差均降低，尤其是用Brovey法融合的圖像，方差降低得最多。

2.1.2.2 信息融入度評價

不同融合方法獲得的融合圖像和原始圖像的信息熵,以及各融合后圖像與全色圖像的相關系數等統計數據見表2。

表2 ZY-3融合圖像的信息熵和與全色圖像的相關系數

①帶下劃線的數據表示與原始圖像對應參數的差值。

從信息熵可以看出，6種方法融合的圖像信息熵均較原始多光譜相應波段的信息熵有所提高，說明這6種方法均可以提高多光譜各波段的信息量。其中，用IHS 法融合的圖像在3個波段上的信息量提高程度都較大，尤其是B1波段(信息熵變化值達1.9)； 其余依次為WT法和PCA法，Pansharp法和G-S法，信息量提高程度最小的為Brovey法。從不同波段信息量看，B4信息量的增加都是最小的。

從與全色圖像的相關系數可以看出，用6種方法融合的圖像與全色圖像的相關系數相對于原多光譜圖像與全色圖像的相關系數均有不同程度的提高。WT法融合圖像與全色圖像的相關系數提高得最多，說明小波變換后的圖像與全色圖像的相關性最高，增加值介于0.14和0.32之間，增加的幅度都較小，說明WT法比較穩定。PCA法和Brovey法，Pansharp法和G-S法分別次之。雖然IHS法在B3出現了負值，相關性降低，但其他2個波段仍然具有很高的相關性，并且高于PCA法。

2.1.2.3 光譜保真度評價

不同融合方法獲得的融合圖像與原始多光譜圖像的相關系數，以及各種融合圖像的偏差指數等統計數據見表3 。

表3 ZY-3融合圖像的偏差指數和與原始多光譜圖像的相關系數

從與多光譜圖像的相關系數可以看出，用PCA法、Pansharp法和G-S法 的融合圖像在各個波段與原始圖像的相關系數很接近(且都高于0.75)； IHS法次之，WT法低于IHS法，相關系數最低的是Brovey法。Brovey法只在B3的相關系數比其他方法高，但B1和B4相關系數低(且均為0.45)。

從偏差指數可以看出，各種融合方法均對原始圖像的光譜信息造成了一定的扭曲，但不同融合方法在各個波段的扭曲程度不盡相同。在B1和B2扭曲程度較大的是WT法和IHS法； 在B3和B4扭曲程度較大的是Brovey法，其次是IHS法。用Brovey法融合的圖像扭曲程度最大，且在各波段扭曲的程度都最高。PCA法和Pansharp法融合后的影像扭曲程度較小(偏差指數均小于0.08)。WT法和IHS法融合圖像次之。

綜合融合圖像與原始圖像的相關系數以及融合圖像的偏差指數的分析結果可以看出，PCA法具有較高的光譜保真度，IHS法、G-S法和Brovey法分別次之，WT法的光譜保真度最低。

2.2 Landsat8圖像融合效果及定量評價

2.2.1 融合效果

由于研究區包括農田、林地、水體及建筑物等地物，而農田和林地在Landsat8 B5(近紅外波段)中有很好的區分性，水體、建筑物和植被(林地和農田)在B4和B6波段中也有較好的區分性，所以，IHS法和Brovey法選擇B6，B5和B4波段進行融合，其他4種方法則是多光譜波段全部參與融合。融合結果如圖2所示。

(a) B6(R)B5(G)B4(B)(b) 全色圖像(c) PCA融合結果(d) WT融合結果合成圖像

(e) Pansharp融合結果(f) IHS融合結果(g) G-S融合結果(h) Brovey融合結果

2.2.2 定量評價

2.2.2.1 亮度評價

由于用IHS法融合后圖像的灰度等級為8 bit，所以均值和扭曲度只是相對于原始圖像和其他方法融合圖像，IHS法融合圖像的均值、方差和扭曲度只作參考。不同融合方法獲得的融合圖像和原始圖像的平均梯度、平均值和方差等統計數據見表4(受篇幅限制，亮度評價僅以B4，B5，B6波段為例)。

表4 Landsat8圖像6種融合結果的亮度評價

從平均梯度可以看出，除了受波段限制的融合方法(即IHS法和Brovey法)融合后圖像的平均梯度有所降低外，用G-S法和PCA法融合后圖像各波段的層次感和清晰度較原始多光譜相應波段的圖像都有較大提高，用WT法和Pansharp法得到的融合圖像在不同波段有提高、也有降低。用WT法融合后圖像的B4波段的平均梯度是提高的，但B5和B6波段的平均梯度是降低的。用Pansharp法融合后圖像的B4和B6波段的平均梯度是提高的，而B5波段的平均梯度是降低的。對近紅外波段(B5波段)的平均梯度而言，只有WT法融合圖像的平均梯度值比原始圖像的平均梯度值小。

從平均值可以看出，除IHS法和Brovey法外，PCA法各波段的平均值最接近原始圖像各波段的平均值； 而對于WT法、G-S法和Pansharp法，不同波段的平均值有提高、也有降低。但IHS法融合后圖像的平均值相對接近128。

從方差可以看出，6種方法得到的融合圖像的方差值均有所降低，除IHS法和Brovey法外，其他4種方法融合后圖像的方差值降低的程度相當。

2.2.2.2 信息融入度評價

不同融合方法獲得的融合圖像和原始圖像的信息熵以及各融合后圖像與全色圖像的相關系數等統計數據見表5。

表5 Landsat8融合圖像的信息熵和與全色圖像的相關系數

①帶下劃線的數據表示與原始圖像對應參數的差值。

從信息熵可以看出，只有PCA法和IHS法參與融合的波段信息熵都是增加的,尤其是IHS法，在B4波段增加的熵值達到1.116 9。WT法融合的圖像在每個波段的熵值都是減小的，說明小波變換法降低了多光譜波段的信息量，且在B5，B6，B7波段比較明顯，尤其在B5(近紅外波段)降低得最多。Pansharp法、G-S法和Brovey法得到融合圖像的熵在不同波段有增、有減，熵值減少的波段大多集中在B5，B6，B7這3個波段。Brovey法參與融合的3個波段中有2個波段的熵都是降低的。

從與全色圖像的相關系數可以看出，只有Pansharp法和G-S法融合后圖像各波段與全色圖像的相關系提高。WT法只在近紅外波段(即B5波段)有很大的提高，在其他波段提高得較少或是下降。PCA法融合后圖像的各個波段與全色圖像的相關系數是負值，呈現出負相關關系。Brovey法相關系數值保持不變。IHS法融合圖像相關系數值有所降低。

綜合信息熵和相關系數這2個參數，在中等分辨率Landsat8圖像融合中，G-S法的信息融入度最好，Pansharp次之，PCA法的信息融入度最差。

2.2.2.3 光譜保真度評價

不同融合方法獲得的融合圖像與原始圖像的相關系數以及各種融合圖像的偏差指數等見表6 。

表6 Landsat8融合圖像的偏差指數和與原始多光譜圖像的相關系數

從偏差指數可以看出，各種融合方法均對原始圖像信息造成一定的扭曲，其中PCA法、Pansharp法、G-S法融合后圖像的扭曲程度較低； WT法融合圖像在各個波段上的扭曲值均比前3種方法的高； Brovey法融合圖像扭曲程度最高,其次是IHS法。從波段來看，B6，B5，B4波段在各種方法融合圖像中的扭曲程度都較大(如Brovey法和IHS法)。

從與原始多光譜圖像的相關系數可以看出，PCA法中有6個波段呈現出負相關性，在B5波段和B9波段呈正相關，尤其是B9波段呈現高度的相關性； Pansharp法、G-S法都具有較高的相關性，在提高了融合圖像空間分辨率的同時，較好地保留了原始多光譜圖像的光譜信息； 其次是WT法； Brovey法融合后的圖像與原始多光譜圖像的相關性最低； IHS法在B4，B6波段呈現較高的相關性，而在B5波段相關性較低。

綜合融合圖像與原始圖像的相關系數以及融合圖像的偏差指數的分析結果可以看出，G-S法具有較高的光譜保真度，Pansharp法和Brovey法分別次之，IHS法、WT法和PCA法的光譜保真度較低。

3 結論

1)在空間信息融入方面，對于ZY-3圖像，Pansharp法信息融入度最差，IHS法信息融入度最好，PCA法和Brovey法，G-S法和Pansharp法分別次之； 對于Landsat8圖像，G-S法信息融入度最好，WT法信息融入度最差。

2)在光譜信息保真方面，對于ZY-3圖像，PCA法具有較高的光譜保真度，IHS法、G-S法和Brovey法分別次之，WT法的光譜保真度最低； 對于Landsat8圖像，G-S法具有較高的光譜保真度，Pansharp法和Brovey法分別次之，IHS法、WT法和PCA法的光譜保真度較低。

參考文獻(References)：

[1] 沈濤,黨安榮.遙感影像融合及高保真算法比較分析研究[J].微計算機信息,2010,26(14):1-3.

Shen T,Dang A R.The research on comparing and analyzing the remote sensing image fusion and algorithm with high spectral and spatial quality[J].Control and Automatic Publication Group,2010,26(14):1-3.

[2] 王廣杰,周介銘,楊存建,等.基于不同算法的遙感影像融合分析[J].四川師范大學學報:自然科學版,2011,34(2):255-259.

Wang G J,Zhou J M,Yang C J,et al.Analysis of remote sensing image fusion based on different algorithms[J].Journal of Sichuan Normal University:Natural Science,2011,34(2):255-259.

[3] 孟京輝,陸元昌,劉剛,等.基于ETM+遙感圖像的圖像融合試驗及評價方法[J].南京林業大學學報:自然科學版,2010,34(1):69-72.

Meng J H,Lu Y C,Liu G,et al.Trial of image fusion methods and quality assessment for ETM+image[J].Journal of Nanjing Forestry University:Natural Sciences Edition,2010,34(1):69-72.

[4] 譚永生,沈掌泉,賈春燕,等.中高分辨率遙感影像融合研究[J].遙感技術與應用,2007,22(4):536-542.

Tan Y S,Shen Z Q,Jia C Y,et al.The study on image fusion for medium and high spatial resolution remote sensing images[J].Remote Sensing Technology and Application,2007,22(4):536-542.

[5] 張榮群,趙明,王志成,等.IHS方法在QuickBird數據融合中存在的問題及其改進[J].國土資源遙感,2007,19(3):36-39.

Zhang R Q,Zhao M,Wang Z C,et al.The problem existent in the IHS method for QuickBird image fusion and the countermeasures for its improvement[J].Remote Sensing for Land and Resources,2007,19(3):36-39.

[6] 任琦,許有田,郭慶堂,等.QuickBird遙感影像數據處理方法的探討[J].測繪科學,2009,34(s1):31-33.

Ren Q,Xu Y T,Guo Q T,et al.The discussion of QuickBird remote sensing image data processing[J].Science of Surveying and Mapping,2009,34(s1):31-33.

[7] 馬友平,馮仲科,何友均,等.基于ERDAS IMAGINE軟件的快鳥影像融合研究[J].北京林業大學學報,2007,29(s2):181-184.

Ma Y P,Feng Z K,He Y J,et al.QuickBird image fusion using ERDAS IMAGINE software[J].Journal of Beijing Forestry University,2007,29(s2):181-184.

[8] 徐勝祥,徐運清.基于Matlab的遙感圖像融合效果的客觀評價方法[J].測繪科學,2008,33(4):143-145.

Xu S X,Xu Y Q.Objective evaluation method of fusion performance for remote sensing image based on Matlab[J].Science of Surveying and Mapping,2008,33(4):143-145.

[9] 趙珍梅,馬偉,王潤生.三種高保真遙感影像融合方法效果評價與分析[J].地質與勘探,2010,46(4):705-710.

Zhao Z M,Ma W,Wang R S.Evaluation and analysis of three methods of fusing remote sensing images with high fidelity of spectral information[J].Geology and Exploration,2010,46(4):705-710.

[10]韓閃閃,李海濤,顧海燕.高分辨率遙感影像融合研究[J].測繪科學,2009,34(5):60-62.

Han S S,Li H T,Gu H Y.Study on image fusion for high spatial resolution remote sensing images[J].Science of Surveying and Mapping,2009,34(5):60-62.

[11]樊旭艷,尹連旺,付春龍,等.QuickBird遙感影像數據融合方法研究[J].裝備指揮技術學院學報,2006,17(3):81-85.

Fan X Y,Yi L W,Fu C L,et al.Study on many fusion processing methods of QuickBird remote sensing image data[J].Journal of the Academy of Equipment Command and Technology,2006,17(3):81-85.

[12]張玉君.Landsat 8簡介[J].國土資源遙感,2013,25(1):176-177.

Zhang Y J.Landsat8 introduction[J].Remote Sensing for Land and Resources,2013,25(1):176-177.

[13]徐涵秋,唐菲.新一代Landsat系列衛星:Landsat 8遙感影像新增特征及其生態環境意義[J].生態學報,2013,33(11):3249-3257.

Xu H Q,Tang F.Analysis of new characteristics of the first Landsat 8 image and their eco-environmental significance[J].Acta Ecologica Sinica,2013,33(11):3249-3257.