基于AIHS的遙感影像融合方法及其應用研究*

胡佳偉，劉軍清，汪　康，陳　鵬，李偉生

(三峽大學 計算機與信息學院，湖北 宜昌 443000)

0　引言

目前，很多遙感衛星都提供了兩種影像，一種是多光譜影像(Multi-Spectral Image,MS圖像)，另一種是全色影像(Panchromatic Image,PAN圖像)。MS圖像具有高光譜分辨率和低空間分辨率，PAN圖像具有高空間分辨率和低光譜分辨率。現實中不可能直接獲得光譜分辨率和空間分辨率都高的圖像，因此很多學者試圖將這兩種圖像進行融合，從而獲得光譜分辨率和空間分辨率較高的圖像。目前圖像融合技術可以分為像素級融合、特征級融合和決策級融合三個層次，我國在該領域的研究起步相對較晚，實現算法多集中于像素級融合，與國外同行相比還存在很大的差距。研究者已提出的融合方法主要有IHS(Intensity Hue Saturation)變換、主成分分析(Principal Component Analysis，PCA)變換、Brovey變換、GS(Gram-Schimdt)變換等[1-2]。這些方法雖然能較好地增加MS圖像的空間分辨率，但當高分辨率圖像與MS圖像波段之間的光譜響應范圍不一致時，融合后的影像色彩畸變嚴重[3]。雖然有學者提出小波變換可以較好地解決這一問題，但融合圖像的空間分辨率卻低于IHS變換。鑒于此，本文提出了IAIHS變換融合模型，以期得到更好的融合效果。

1　融合方法分析

1.1　基于IHS變換的影像融合方法

IHS模型定義了三個互不相關又容易預測的顏色心理屬性，即強度I、色調H和飽和度S。IHS變換能有效地從RGB圖像中分離出空間和光譜信息，這種變換方法更接近人對圖像的感知機理。RGB顏色空間和IHS顏色空間有著精確的轉換關系，在色度學中，把從RGB顏色空間紅(R)、綠(G)、藍(B)到IHS空間的強度(I)、色調(H)、飽和度(S)的轉換稱為正變換[4]，相反地，把IHS變換成RGB稱為反變換。IHS模型正變換通常采用下列公式實現：

(1)

(2)

(3)

其原理即RGB空間和IHS空間之間的變換，是將RGB空間的圖像分解成強度I、色調H、飽和度S三個分量，屬于色度空間變換。IHS反變換可表示如下：

(4)

式中V1和V2是變換中間變量。其原理是從IHS空間到RGB空間的變換，即為IHS反變換。

MS圖像先進行IHS正變換得到H分量、S分量、I分量，保持H分量和S分量不變，用PAN圖像的P分量替換MS圖像的I分量，經過直方圖匹配后得到新的I分量，再用新的I分量、原來不變的MS圖像的H分量和S分量進行IHS反變換得到融合圖像[5]。根據上述融合原理，在MS圖像和PAN圖像融合過程中強度分量I將被PAN圖像的P分量替換。強度I可以通過下式計算而得：

(5)

式中Mi為MS圖像第i個頻帶，αi是一個以常數1/n為值的組合系數。然而大多數MS圖像包含了4個波段，即RGB和紅外波段。為了解決此問題，研究者們通過使用α=1/n(這里n表示的是波段數)來擴展這個方法。其過程是首先對MS圖像4個波段中的每一個波段進行上采樣，并將每個波段范圍標準化到0～1之間，完成上述初始化工作后，進行PAN圖像直方圖匹配，目的是確保PAN圖像和MS圖像的平均值和標準方差在相同的范圍內[6-7]。P的計算如下：

(6)

式中σ和μ是標準方差和平均值。最后融合后圖像為：

(7)

傳統IHS變換融合方法具有計算簡單、融合圖像空間分辨率高等優點，但其光譜失真較大。后來有學者提出了一種自適應IHS變換融合方法，即AIHS變換融合法，它通過調整α系數，在保證空間分辨率的同時盡可能減小光譜失真。

1.2　基于AIHS變換的影像融合方法

為了解決IHS變換存在的光譜扭曲的不足，專家學者使強度分量盡可能地調整到接近PAN圖像，期望通過調整α系數使強度盡量接近PAN圖像的P值，如下：

(8)

可以利用梯度下降的方法和線性代數的方法求解微分方程來得到系數α。通過這種方式計算出的系數α與原始影像緊密相連，因此可保證影像的空間分辨率，同時也保持了影像的光譜分辨率。

因為P和I之間的差異很大，經過IHS變換方法融合后的MS圖像通過式(7)雖然獲得了高空間質量，但其存在嚴重的頻譜失真問題。為了減少頻譜失真，相關文獻[8]中提出方法，通過解決下列優化問題獲得的MS頻帶組合系數的自適應線性組合求出強度分量I：

s.t.αi≥0,…,αn≥0

(9)

在確定強度分量I之后，AIHS實現為：

(10)

其中WP是PAN圖像由邊緣引起的加權矩陣，WP定義為：

(11)

其中λ是調諧參數，ε是PAN圖像梯度。

AIHS變換融合方法與傳統IHS變換相比，在一定程度上解決了光譜扭曲問題，融合后的圖像信息量較豐富，圖像清晰，地物細節表現力好，但仍然具有光譜失真的問題。目前提出的AIHS變換方法自適應性不高，融合圖像所顯示的地形區域的顏色變化過大，過于平滑，于是本文提出了如下的融合方法改進。

2　融合方法改進

目前，大多數的全銳化融合方法過程可以分解為兩個連續的步驟：一是空間細節提取，二是空間細節注入。空間細節提取步驟是從高空間分辨率的PAN圖像中提取有用的空間細節圖像；空間細節注入步驟是確定如何將提取的空間細節注入到上采樣MS圖像中。一般來說，提取空間細節由PAN圖像及其低通近似圖像之間的差異決定，根據計算低通近似PAN圖像的方法，全銳化方法可以大致分為兩個主要類別：線性組合近似方法(LCA)和空間濾波器近似方法(SFA)。

AIHS變換融合方法屬于線性組合近似方法，在該變換融合法中求解系數α的過程就是一個自適應的過程，得到的融合圖像仍然存在著光譜扭曲的不足，現將該方法改進如下。

PAN圖像融合進MS圖像的過程中，PAN圖像經過空間細節提取之后將空間細節注入到MS圖像，這時PAN圖像由邊緣引起的加權矩陣(或調制系數)決定了PAN圖像的空間細節注入到MS頻帶中的多少。一方面，如果注入的空間細節不夠，融合后的空間質量就沒有之前的高，另一方面，如果注入的空間細節過多，則融合后的圖像就會產生大量的冗余信息，導致頻譜失真。

為了實現從PAN圖像邊緣到融合后圖像的轉移，AIHS方法中的加權矩陣是PAN圖像邊緣的函數。由于出現在PAN圖像中的邊緣可能不會出現在每一個MS頻帶上，因此將相同量的細節注入到不同的頻帶中的方法是不合適的，這將引起頻譜失真。通過分析很自然地想到，如果能期望調制的每個MS頻帶的加權矩陣都不相同就能解決這一問題，所以提出了用MS圖像的加權矩陣(MS誘導權重)來代替PAN圖像的加權矩陣(PAN誘導權重)。應用MS圖像加權矩陣為：

(12)

在PAN圖像空間細節注入MS圖像頻帶過程中，為了避免頻譜失真，應該保持MS圖像中每對MS波段之間的比例不變，為了達到這個目的，要使下式成立：

(13)

此外，為了保持每對MS圖像波段之間的比例不變，需要重新定義一個加權矩陣來調制每個頻帶注入的空間細節的量。那么，可以用PAN圖像加權矩陣WP和MS圖像加權矩陣WMi之間的線性組合來表示每個MS頻帶適當的加權矩陣Wi，如下式所示：

(14)

通過改進后的IAIHS變換融合方法，融合圖像能更清晰地顯示出地物特征邊緣，且圖像對比其他全銳化方法融合圖像在顏色方面更加清晰。接下來進行常見全銳化方法和改進后IAIHS變換融合方法實驗，通過主客觀評價對融合效果進行分析。

3　實驗及結果分析

本文針對傳統的全銳化方法IHS變換進行了實驗，并在此基礎上進行了AIHS變換圖像融合實驗和算法改進后的IAIHS變換圖像融合實驗。

在圖像融合中對融合后圖像進行評價是非常重要的。對融合效果的評價分為主觀評價和客觀評價，主觀評價是指人眼的視覺特性所能觀察到的圖像質量的好壞，但這種評價會受到主觀因素的影響；客觀評價是指通過計算融合后圖像的信息熵、平均梯度等參數來評價融合的效果[9]。

圖1為待融合的MS圖像，圖2為待融合的PAN圖像，此為待融合的兩幅源圖像。圖3為IHS變換后融合圖像，圖4為AIHS變換后融合圖像。圖5為IAIHS變換后融合圖像。

圖1 MS圖像圖2 PAN圖像圖3 IHS變換后融合圖像圖4 AIHS變換后融合圖像圖5 IAIHS變換后融合圖像

IHS變換融合圖像色調變化大，但存在光譜扭曲，用AIHS變換進行融合得到的圖像色調變化小，說明對原始多光譜信息保存較好，進一步改善了IHS變換中存在的光譜扭曲。用IAIHS變換進行融合得到的圖像較亮，更好地改善了空間質量，保持了光譜特性。

試驗還從客觀方面計算了MS圖像、PAN圖像、各種融合變換以及改進的IAIHS變換得到的融合圖像的信息熵均值和平均梯度均值。待融合圖像、各種融合變換以及IAIHS變換得到的融合圖像第1、2、3通道的信息熵和平均梯度及最終信息熵均值和平均梯度值如表1、表2、表3所示。

表1　第1、2、3通道信息熵

表2　第1、2、3通道平均梯度

表3　信息熵均值和平局梯度均值

信息熵直接反映了一副圖像所包含信息的豐富程度，信息熵越大，圖像包含的信息越多，反之則越少，其計算公式如下：

(15)

其中H為圖像的熵，L為圖像的灰度級數，Pi為灰度值為i的像素點與圖像總像素之比。熵值越大表明圖像包含的平均信息量越豐富。

從表1和表3中數據分析可知改進后的IAIHS變換融合圖像的信息熵均值略大于AIHS變換融合圖像，說明了在圖像包含的信息豐富程度方面，IAIHS變換得到的融合圖像更具優勢。

平均梯度反映了圖像中微小細節反差與文理變化特征，同時也反映了圖像的清晰度。它的值越大則融合后圖像紋理越清晰。其計算公式如下：

(16)

其中M和N分別是圖像的行數和列數。

ΔIx=g(i+1,j)-g(i,j)

(17)

ΔIy=g(i,j+1)-g(i,j)

(18)

其中g(i,j)為像素點的灰度值。

對表2和表3中數據進行分析可知，改進后的IAIHS變換融合圖像的平均梯度值略大于AIHS變換融合圖像，說明了在圖像紋理清晰方面，IAIHS變換得到的融合圖像更具優勢。IAIHS變換融合結果無論是從信息量還是從光譜扭曲方面，都明顯優于其他各種變換方法。其信息量和光譜保真度較高，說明融合的影像信息量較豐富，圖像清晰，光譜扭曲現象較弱。

4　結論

高分辨率PAN圖像與低分辨率MS圖像的融合，是在RSI分析中得到高分辨率MS圖像的一種有效方式。本文針對用傳統IHS方法和AIHS方法融合得到的圖像存在嚴重的頻譜失真和光譜質量低等問題，對待融合圖像由邊緣引起的加權矩陣替換進行了分析，提出了一種改進后的IAIHS變換融合方法。理論分析與實驗結果表明，IAIHS變換方法能有效避免頻譜失真，改善空間質量，同時保持光譜質量。

[1] Lu Shanlong, Zou Lejun, Shen Xiaohua，et al.Multi-spectral remote sensing image enhancement method based on PCA and IHS transformations [J].Journal of Zhejiang University(Science A), 2011,12(6)：453-460.

[2] 劉軍，邵振峰.快速離散Curvelet變換和IHS變換集成的遙感影像融合方法[J].測繪科學，2012，37(1)：121-124.

[3] HA W，GOWDA P.HOWELL T A.A review of potential image fusion methods for remote sensing-based irrigation management： part II[J].Irrigation Science，2013，31(4)：851-869.

[4] TU T M，SU S C，SHYU H C，et al.A new look at IHS -like image fusion method[J]. Information Fusion， 2001(2)：177-186.

[5] 祝曉坤，龐國豐.一 種基 于 IHS 圓柱變換模型的影像融合質量綜合評價方法[J].測繪科學，2011，36(4)：136-138.

[6] NAVANEETH K， RAMAKRISHNAN， PHILOMINA S.A Bi-level IHS transform for fusing panchromatic and multispectral images [J].Pattern Recognition and Machine Intelligence，2013(8251)：367-372.

[7] BALLESTER C，CASELLES V，IGUAL L， et al. A variational model for P+XS image fusion[J]. International Journal of Computer Vision， 2006，59(1)：43-58.

[8] RAHMANI S, STRAIT M, MERKURJEV D, et al. An adaptive IHS pan-sharpening method[J].IEEE Geoscience&Remote Senssing Letters,2010， 7(4): 746-750.

[9] 閆莉萍,劉寶生,周東華.一種新的圖像融合及性能評價方法[J].系統工程與電子技術,2007,29(4):509-513.