一種融合中分辨率多光譜與高分辨率全色圖像的方法

王忠武，劉順喜

（中國土地勘測規劃院，北京100035）

一種融合中分辨率多光譜與高分辨率全色圖像的方法

王忠武，劉順喜

（中國土地勘測規劃院，北京100035）

針對中分辨率多光譜與高分辨率全色圖像空間分辨率差異大，導致融合結果難以較好平衡光譜信息保持和空間信息保持能力的問題，該文分析了7種常用融合方法用于中分辨率多光譜與高分辨率全色圖像融合的優缺點及其融合質量的影響因素，提出了一種組合融合方法。該方法在保留Gram－Schmidt方法的細節注入方式的基礎上，綜合利用高通濾波法和Gram－Schmidt方法的優勢構造低分辨率全色圖像，確保在提高融合圖像空間分辨率的同時有效降低其光譜變形。通過CBERS－02多光譜和IRS－P5全色圖像的實驗，證明了新融合方法的有效性。

融合；中分辨率多光譜圖像；高分辨率全色圖像

中空間分辨率（簡稱“中分辨率”）、大幅寬多光譜圖像（如CBERS－02、02B衛星多光譜圖像分辨率19.5 m、幅寬113 km；北京一號小衛星多光譜圖像分辨率32 m、幅寬600 km等）在快速提供大區域全覆蓋遙感數據、服務資源環境宏觀監測方面具有顯著優勢［1］。為提高多光譜圖像的地物解譯潛力，資源環境遙感調查監測中常用高分辨率（優于5 m）全色圖像對中分辨率多光譜圖像進行Pan－Sharpen融合，以獲得既具有多波段光譜又具有較高分辨率的融合圖像。然而，業務應用中，由于多光譜和全色圖像分辨率倍率、傳感器波譜范圍差異顯著等原因，常用融合方法往往受到高分辨率全色圖像的噪聲和中分辨率多光譜的虛假信息的影響，難以較好平衡保持光譜信息和保持空間信息能力，融合效果不佳［2］。為此，ERDAS 9.2版提出多級高通濾波方法，采用兩次高通濾波逐級提取細節信息并逐級濾除噪聲，但是難以解決幾何配準誤差引起的光譜漂移現象，而且融合過程耗時長。本文從常用融合方法的原理出發，分析各方法的優缺點及其融合質量的影響因素，提出了一種組合高通濾波方法和Gram－Schmidt方法的融合方法，確保在提高融合圖像空間分辨率的同時有效降低光譜變形，以提高中分辨率多光譜和高分辨率全色圖像的融合效果。

1 常用方法的融合質量影響因素分析

Pan－Sharpen融合理論框架［2］如下：

其中：HMS為融合后高分辨率多光譜圖像；LMS為對原始多光譜圖像重采樣至全色圖像尺度的低分辨率多光譜圖像；W 為空間細節注入方式；δ為空間細節信息，δ＝HRP－LRP，HRP為高分辨率（原始）全色圖像，LRP為低分辨率全色圖像。

由融合理論框架可知，影響融合質量的實際因素為W和LRP。LRP既可以通過HRP濾波得到，又可以通過LMS各波段變換或加權得到。

1.1 高通濾波（High Pass Filter，HPF）方法

HPF方法以多光譜和全色圖像的分辨率之比作為參數，自適應構造高通濾波器對HRP進行多級高通濾波，獲取高頻信息注入LMS（注入比例由高頻信息與LMS的標準方差確定），獲得初步融合圖像，將初步融合圖像與LMS進行基于均值－標準差的直方圖匹配，獲得最終融合圖像H MS［3］。采用直方圖匹配方法調整初次融合圖像的亮度，等價于對W、δ分別進行線性變換。在不考慮該過程的影響時，HPF方法可表示為：

HPF方法的本質是由HRP高通濾波構造LRP，當全色與多光譜圖像的分辨率較高且相差不大時，此方法能獲得較好效果。然而，中分辨率多光譜和高分辨率全色圖像的融合質量受到多個因素的影響［4］：1）受分辨率差別較大的影響，過大的分辨率差距將導致重采樣多光譜圖像時，產生較多虛假信息，使融合結果出現光譜不連續、浮雕等效果；2）受全色圖像噪聲的影響，噪聲會隨高頻信息一起注入LMS；3）受配準精度的影響，配準誤差過大會導致細節信息注入位置不當，使融合結果不穩定。

1.2 Gram－Schmidt方法

Gram－Schmidt［5］方法首先采用某種方式（HRP高通濾波、LMS波段加權平均、外部自定義等）獲得LRP，以LRP作為第一分量對LMS進行Gram－Schmidt正交變換，然后用直方圖匹配后的HRP替換第一分量，進行Gram－Schmidt反變換獲得H MS。Gram－Schmidt方法可表示為：

其中：ρ為相關系數，σ為標準差，GS1為Gram－Schmidt變換后的第一分量。獲得較好融合效果的前提是LRP與HRP具有較大相關性。

對于中分辨率多光譜和高分辨率全色圖像的融合，為避免HPF方法中HRP高通濾波構造LRP的缺點，通常采用LMS各波段加權平均構造LRP。然而，由于CBERS－02、02B、北京一號（BJ－1）等衛星多光譜圖像與常用高分辨率全色圖像的波段范圍差異顯著，直方圖匹配難以實現LRP與HRP中所有同類地物灰度的完美匹配，LRP與HRP相關性不高必然導致H MS產生嚴重光譜變形。

1.3 PANSHARP方法

PANSHARP方法假設LMS、HRP與H MS之間存在線性關系，采用最小二乘和統計理論等方法自動擬合三者的關系，實現較好保持光譜信息的目標［6］。理論上，PANSHARP方法可通過多項式變換方法在Pan－Sharpen理論框架下表示。

對于中分辨率多光譜和高分辨率全色圖像的融合，分辨率的巨大差異會影響不同面積的地物在不同尺度圖像上的表現，例如高亮度、大面積地物在多光譜圖像中的尺寸明顯大于全色圖像，低亮度、小面積地物在多光譜圖像中難以發現而在全色圖像中特征明顯。這些客觀現象極易破壞LMS、HRP與HMS的線性關系假設，從而降低PANSHARP方法融合質量。

1.4 亮度色調飽和度（IHS）變換法、主成分分析（PCA）變換法、Brovey變換法

IHS和PCA變換法的理論基本一致。首先，采用IHS［7］或PCA變換，將LMS分解為空間分量和光譜分量，然后參考空間分量對HRP進行直方圖調整，并替換變換后第一分量，最后反變換獲得HMS。相對于Gram－Schmidt正交變換，IHS和PCA變換很難得到相互獨立的分量，導致H MS存在光譜變形。此外，直方圖匹配也存在于此類方法中，同樣會導致嚴重的光譜變形。不同于IHS變換法將細節信息等量注入LMS，Brovey變換法根據LMS各波段間的灰度比例關系注入細節信息。3種融合方法分別表示為式（4）、式（5）、式（6）：

其中：K為多光譜圖像的波段數，ρ為相關系數，σ為標準差，PC1為PCA變換后第一分量。通常3種方法的融合圖像光譜連續性較好，但光譜變形較嚴重。

1.5 Multiplicative方法

Multiplicative方法將HRP和LMS按照乘法組合方式進行合成，乘法系數為經驗常數，如式（7）所示，其中A、B為經驗系數，不合適的經驗系數將會引起較嚴重的光譜變形［8］。

2 基于HPF方法和Gram－Schmidt方法的組合融合方法

根據以上分析，中分辨率多光譜和高分辨率全色圖像的分辨率和波譜范圍差異顯著是造成以上方法融合效果不理想的主要原因。同樣可知，HPF方法中高通濾波構造LRP方法能較好地提取細節信息，但易受到HRP噪聲的影響，Gram－Schmidt方法中波段加權構造LRP方法能避免噪聲的引入，但易受到來自LMS與HRP波譜范圍不同引起的細節信息提取不佳的影響。由于中分辨率多光譜和高分辨率全色圖像融合的目標是在提高空間分辨率的同時盡量降低光譜變形，因此可綜合LMS構造LRP和HRP構造LRP兩種方法的優勢，在提取細節信息和抑制噪聲之間實現較好的平衡，降低LMS構造LRP引起的光譜變形和HRP構造LRP引起的光譜突變［9］，顯著提升融合效果。此外，Gram－Schmidt方法的細節注入方法綜合考慮了LMS各波段間的灰度比例關系，以及與LRP間的相關性，是一種較好的細節注入方法。

綜上，在保留Gram－Schmidt方法的細節注入方式的基礎上，綜合利用高通濾波法和Gram－Schmidt方法的優勢構造低分辨率全色圖像，本文提出組合HPF方法和Gram－Schmidt方法的新融合方法，以確保在提高融合圖像空間分辨率的同時有效降低其光譜變形。在理論框架中表示為：

其中：LRPLMS和LRPHRP分別為LMS、HRP構造的LRP。

3 實驗分析

為驗證本文理論分析的正確性，選擇CBERS－02多光譜圖像和IRS－P5全色圖像進行實驗，實驗數據分辨率相差約8倍，波譜范圍差別較大（表1）。圖像覆蓋范圍為吉林省境內，從原始全色圖像中截取400 ×400像素作為實驗區。調整原始多光譜圖像色彩至自然真彩色，多光譜圖像波段組

合方式為241，地物類型包括植被、裸地、水體、居民地等。由于天氣的原因，圖像中存在少量薄云及其產生的陰影。

表1 實驗數據的分辨率與光譜范圍Table 1 Resolution and spectral range of experiment images

圖1（見封2）為各種融合方法的融合結果。經目視比較可知：1）HPF方法融合結果出現了較明顯的浮雕效果，主要原因是分辨率相差大，多光譜圖像重采樣時增加了很多虛假信息；河流處出現了明顯的馬賽克現象，原因在于全色圖像中河流的灰度值存在較小的差別，經過高通濾波后這部分細節信息被放大，并注入了多光譜圖像。2）Gram－Schmidt方法融合結果中，裸地變為紫色，原因在于LRP與HRP的直方圖相關性不高，采用線性拉伸或非線性調整的方法，無法使該類地物在兩幅圖像中的灰度值一致，導致提取細節信息時，灰度值的差異同時被提取出，并注入了多光譜圖像，最終引起光譜變形。此外，薄云處也出現了嚴重的光譜變形。3）PANSHARP方法融合結果與Gram－Schmidt融合法的結果相似，裸地也變為了淺紫色，河流區域出現了空間增強過量的現象，薄云變為暗灰色，這會影響對圖像的后續處理，特別是圖像分類。4）IHS變換法的結果中，薄云處已經變為暗灰色，在無其他輔助資料參與的情況下，后續處理中容易將其誤作裸地。PCA變換法的融合結果整體偏紅，由PCA變換法的原理可知，空間細節是LMS和LRP的函數，LRP是LMS的函數，可以推斷，整體偏紅的融合結果主要是由于LMS加權擬合LRP不當所致。Brovey變換法的融合結果光譜變形最嚴重，多光譜圖像的紅、藍波段被注入了大量多余光譜信息。5）Multiplicative方法的融合結果整體色彩偏暗，河流處幾乎變為黑色，原因在于經驗系數不適合于該景圖像。6）本文方法的融合結果整體看，融合圖像與原始多光譜的色彩基本一致，并且各波段光譜變化也較為連續。在本文所有實驗的融合方法中，該融合效果最好，更利于后續的圖像處理以及融合圖像的應用。

在定性主觀評價的基礎上，同時采用定量評價指標進行客觀評價。表2為各融合圖像與原始多光譜圖像的各波段相關系數及均值。Multiplicative方法和本文方法的相關系數全部達到0.94以上，其他方法的相應值基本在0.8以下，說明了兩種融合方法的結果圖像與原始多光譜圖像的光譜離散度基本一致，具有較好的相關性，說明融合圖像光譜保持性能較好。然而，從灰度均值看，Multiplicative融合圖像的各波段均值與原始多光譜圖像差距較大，在圖像中表現為亮度值偏低，這與定性評價中Multiplicative融合圖像整體顏色偏暗基本一致，相對而言，其他融合圖像的均值與原始多光譜圖像基本一致。綜合考慮以上兩個定量評價指標可知，本文方法融合質量最優。

表2 各融合圖像的定量評價Table 2 Quantity assessment of fusion results

4 結論

對于中分辨率多光譜圖像和高分辨率全色圖像的Pan－Sharpen融合，本文提出了一種組合HPF和Gram－Schmidt方法的新融合方法，實驗證明該方法能緩解空間細節增強過度導致光譜不連續、冗余信息增加過多導致光譜變形嚴重等問題，并有效提高融合質量。值得說明的是，相對于多級高通濾波法，本文方法僅需經過一次高通濾波計算，融合處理時間明顯縮短，更符合業務應用的要求，經改進后可為中分辨率多光譜圖像和高分辨率全色圖像融合提供一種全新方案。下一步將主要開展加權系數的自動選擇研究及更多數據的實驗等工作。

［1］ 柴淵，李萬東.土地利用動態監測技術與方法［M］.北京：地質出版社，2011.

［2］ 竇聞.多元遙感數據像素級融合統一理論框架研究［D］.北京：北京師范大學，2006.

［3］ GAMGKOFNER U G，PRADHAN P S，HOLCOMB D W.Optimizing the high－pass filter addition technique for image fusion［J］.Photogrammetric Engineering ＆Remote Sensing，2008，9：1101－1118.

［4］ 陳志剛，束炯.基于Savitzky－Golay方法的遙感影像融合［J］.地理與地理信息科學，2011，27（2）：26－29.

［5］ AIAZZI B，BARONTI S，SELVA M.Improving component substitution pansharpening through multivariate regression of MS＋Pan data［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45（10）：3230－3239.

［6］ ZHANG Y.A new merging method and its spectral and spatial effects［J］.Int.J.Remote Sensing，1999，20（10）：2003－2014.

［7］ 袁林山，杜培軍，王莉，等.基于灰色絕對關聯度邊緣檢測的多源遙感影像加權IHS融合［J］.地理與地理信息科學，2008，24（3）：11－15.

［8］ 柳文祎，何國金，張兆明，等.ALOS全色波段與多光譜影像融合方法的比較研究［J］.科學技術與工程，2008（11）：2864－2869.

［9］ 王忠武.Pan－Sharpen融合系統關鍵問題研究［D］.北京：中國科學院遙感應用研究所，2009.

Abstract：For pan－sharpening mid－resolution multi－spectral image and high－resolution panchromatic image，a better balance between spectral information maintaining and spatial information maintaining can hardly achieved because of the large resolution gap.Based on analyzing the characteristic and factors affecting fusion quality of seven popular fusion methods，a new fusion method is proposed to improve the resolution of the fusion result while minimizing the spectral distortion by combining methods of constructing low resolution panchromatic image in high pass filter resolution merging method and Gran－Schmidt spectral sharpening method and adopting the default injecting manner of the latter method.Experiment is carried out on CBERS－02 multi－spectral and IRS－P5 panchromatic image，and the result shows that the new method performs superiority.

Key words：fusion；mid－resolution multi－spectral image；high－resolution panchromatic image

A Fusion Method for Mid－resolution Multi－spectral Image and High－Resolution Panchromatic Image

WANG Zhong－wu，LIU Shun－xi
（China Land Surveying and Planning Institute，Beijing 100035，China）

TP751

A

1672－0504（2012）04－0042－04

2012－02－14；

2012－03－09

國土資源高分應用示范系統先期攻關項目（E0202／1112）

王忠武（1983－），男，博士，副研究員，主要從事土地遙感、遙感圖像處理等研究。E－mail：wangzhongwu＠mail.clspi.org.cn