ＩＨＳ變換與小波變換相結合的圖像融合新方法

（哈爾濱工業大學 圖像信息技術與工程研究所， 哈爾濱 150001）



摘 要：

提出了一種IHS變換與小波變換相結合的圖像融合新方法。對多光譜(TM)圖像的強度分量和全色(PAN)圖像分別進行小波分解，根據小波變換高低頻分量的不同特點，分別采取不同的高低頻融合準則形成新的小波高低頻分量，再先后進行小波逆變換和IHS逆變換得到融合后的TM圖像。實驗結果表明，提出的圖像融合算法明顯改善了融合圖像的客觀評價和主觀視覺效果。

關鍵詞：圖像融合； IHS變換； 小波變換

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695(2009)02-0784-03



New image fusion method based on combination of

IHS and wavelet transformation



ZHU Fu-zhen，LI Jin-zong，LI Dong-dong， MA Dong-dong

(Institute of Image Information Technology Engineering， Harbin Institute of Technology， Harbin 150001， China)



Abstract:This paper proposed a new image fusion method based on the combination of IHS and wavelet transformation. The intensity component of multispectrum images(TM) and panchromatic image (PAN) was decomposed respectively by wavelet transformation. Used different fusion rules to fuse TM and PAN images according to the coefficients of low frequency and high frequency， and then obtained the fused multi-spectral image by inverse wavelet transform and inverse IHS transform respectively. The experimental results show that the fused images with the new method greatly improve the objective evaluation and subjective visual effect.

Key words：image fusion;IHS transform; wavelet transform



0 引言

圖像融合（image fusion）是以圖像為主要研究內容的數據融合技術，是將相同或不同傳感器得到的同一目標的多幅圖像變換到同一坐標系中，利用圖像融合算法合成一幅圖像的過程。以兩幅圖像的融合為例，所得到的新圖像不是原圖像的簡單疊加，而是對原圖像的優化和復合，與原先兩幅圖像之間的關系可以用“(1+1)>2”來比喻。待融合的圖像之間具有信息的冗余性和互補性，經過圖像融合技術得到的合成圖像可以更全面、更精確地描述所研究的對象，為進一步圖像處理和分析提供高質量數據。因此，圖像融合技術在軍事、醫學、遙感、計算機視覺等領域得到了廣泛的應用。

數字圖像融合可分為三級，即像素級融合、特征級融合和決策級融合。較成熟的像素級融合方法主要有IHS變換法、PCA變換法、小波變換法，以及這幾種不同方法相結合的方法[1~3]。

多光譜圖像(thematic mapper，TM)含有豐富的光譜信息，全色圖像 (panchromatic，PAN)具有很高的空間分辨率。通過將TM圖像與PAN圖像進行像素級融合，使融合后的圖像在保留光譜信息的同時盡量提高圖像的空間分辨率。

1 IHS變換與小波變換相結合的融合算法

TM圖像與PAN圖像的融合主要包括兩個步驟：首先，圖像間必須嚴格配準；其次，利用不同的融合算法進行變換融合。TM圖像與PAN圖像的融合算法主要是通過將多光譜圖像變換到其他空間，之后用高分辨率PAN圖像對多光譜圖像中的某一個分量進行替換或在兩幅圖像之間通過某種算法進行疊加，再反變換回原空間，從而得到信息更豐富、更清晰的多光譜圖像。

1. 1 IHS變換與小波變換融合方法簡介

本文采用IHS變換與小波變換相結合的方法。

IHS (intensity， hue， saturation）表示強度、色度和飽和度，是人們認識顏色的三個特征。IHS彩色空間變換是指將RGB空間的圖像分解成空間信息(I)和光譜信息（H，S）[4]。常見的IHS融合是將TM圖像進行IHS變換，用PAN圖像與變換后的I分量直接進行直方圖匹配，用配準后的圖像代替TM圖像的I分量；然后再進行IHS逆變換，得到融合后的多光譜圖像。

小波變換利用Mallat提出的小波多分辨率分析思想及小波的分解和重構快速算法進行圖像融合[3]。用小波變換可以將圖像分解為更低分辨率水平上的低頻輪廓信息和原始信號在水平、垂直和對角線方向的高頻細節信息，且可以對圖像作多次分解，形成多級子帶信號。小波運算往往通過小波分解后小波系數的替換、選擇、權值或疊加運算進行融合，運算的規則由小波系數的大小、統計值或基于小波變換特性定義的新判決量來確定。從目前融合效果上看，小波變換是一種復雜但融合效果較好的算法，也是一種很有前途的算法。

本文提出了將IHS變換與小波變換相結合的算法，把兩種方法結合起來的原因在于： IHS變換方法得到的強度分量I與待融合的PAN圖像均具有類似的空間信息，為了能夠最大程度地利用PAN的空間信息，可以采用小波變換的方法先對得到的強度分量I和PAN進行一些融合處理；然后再利用IHS變換融合TM圖像的光譜信息，從而得到包含更多空間細節信息和光譜信息的TM圖像。而且，小波變換在進行融合操作時可以根據實際需要來引入雙方的細節信息，從而更有針對性和實用性，融合效果也更好。

1. 2 本文的融合算法與融合流程

融合算法具體步驟如下[5~8]：

a)將低分辨率的多光譜圖像與同樣大小的高分辨率全色圖像進行配準，配準精度在0.25個像素以內。將多光譜圖像配準到高分辨率全色圖像上去。

b)將多光譜圖像的RGB分量轉換成IHS分量。

c)根據多光譜圖像頻譜差異修正高分辨率全色圖像。在此采用傳統的直方圖匹配的方法，即將全色圖像與多光譜圖像的強度分量進行直方圖匹配。具體來講，就是分別計算全色圖像的直方圖和多光譜圖像IHS表示法中強度分量的直方圖，在做直方圖匹配時將多光譜圖像強度分量作為全色圖像的參考。

d)根據小波變換高低頻分量的不同特點，采用不同融合準則對匹配后的多光譜圖像強度分量和全色圖像進行融合。

e)先后進行小波逆變換和IHS逆變換，得到融合后多光譜圖像。

融合流程如圖1所示。

2 基于小波變換的融合準則

小波變換法的分解重構實際上是一個高通和低通濾波的過程，盡管融合效果相對較好，但在一定程度上丟失了原始圖像中的一些邊緣信息。本文充分考慮了小波變換的特點，將小波變換與人眼視覺系統特性結合。工作重點在于小波變換規則的選取與確定上，通過大量的實驗以及對各種空間信息融合方法的分析、比較，本文提出了效果較好的小波變換高低頻融合準則。

對TM圖像進行IHS變換后得到TM圖像的強度分量I，用PAN圖像與I分量進行直方圖匹配。設匹配后的多光譜圖像強度分量為A，高分辨的全色圖象為B。對A、B分別進行一級小波分解，分別得到A和B一級小波分解的低頻分量和高頻分量。對得到的高、低頻分量分別采用不同的融合準則進行融合：低頻分量分割成若干個塊，計算出每個塊的均勻度測度，通過一種融合準則進行融合，形成新的低頻分量；對于三個高頻分量進行平均梯度的計算，根據梯度值大小進行高頻分量的系數融合；最后通過小波逆變換重構增強的強度分量I′。

2.1 低頻分量的融合準則

小波系數的低頻分量，包含了信號的主要輪廓信息，它相當于在一定尺度下對原始信號的近似，這部分分量包含了信號的大部分信息?？紤]到人眼視覺系統的特性，此部分的融合準則借助了均勻度測度的概念進行。研究發現，經常選用的均方誤差與視覺系統的主觀視覺效果并不匹配。由于塊方差實際上就是均方誤差，塊方差并不是衡量區域均勻度的理想標準。在分析視覺系統對比度特性的基礎上，提出了一種有效的衡量圖像塊均勻度測度的概念。其定義如下：對于圖像f(x，y)中大小為N×N的塊Fk，其均勻度J定義為

J(Fk)=1/N×N∑(x，y)∈Fkω(mk)×|f(x，y)-mk|/mk(1)

其中：mk為Fk的均勻值；ω(mk)為根據塊平均亮度調整的加權因子，可以由下式確定

ω(mk)=(1/mk)a(2)

計算了均勻度后，再根據它的值大小進行融合。設兩幅圖像A和 B，分別計算每個圖像各個塊的均勻度測度J(Ai)和J(Bi)。比較兩幅圖像對應塊的均勻度測度，得出融合圖像的第i個塊Fi，融合準則如下式

Fi=Ai J(Ai)≥J(Bi)+ThBi J(Ai)≤J(Bi)+Th

(Ai+Bi)/2 其他

其中：Th為閾值參數，是個經驗因子。

2. 2 高頻分量的融合準則

小波系數的高頻分量包含了圖像的細節部分，根據它的特點筆者采用了與低頻分量不同的融合準則。考慮到小波系數變化較大的值，往往表征了圖像的細節，因而根據各個小波系數的梯度進行融合[9]。

設[ALH，AHL，AHH]為源圖A的LH、HL、HH三個小波系數子矩陣，[BLH，BHL，BHH]為源圖 B的LH、HL、HH三個小波系數子矩陣，[FLH，FHL，FHH]為融合后的LH、HL、HH三個小波系數子矩陣[10，11]。Grad代表梯度幅度。

高頻分量融合準則為

最后將得到的高頻和低頻子圖像進行小波逆變換，重構TM圖像強度分量與PAN圖像的融合圖像。

3 圖像融合效果的客觀評價

圖像融合中可采用以下參數來客觀、定量地評價融合效果[12]：

a)熵。

融合后圖像熵值的大小反映了融合圖像所包含的平均信息量的多少，圖像的熵定義為

E=∑L-1i=0pilog pi（3）

其中：E為圖像的熵；L為圖像總的灰度級；pi表示灰度級為i的像素數Ni與圖像總像素數N之比，即該灰度級出現的相對頻率。

b)標準差。圖像的標準差反映了各像素灰度相對于該圖像灰度均值的離散情況，標準差越大，則灰度級分布越分散，而灰度級的起伏和梯度反映了圖像的細節、紋理和邊緣信息。標準差STD定義如下：

STD=∑Mi=1∑Nj=1(xi，j-x）/MN(4)

其中：M、N分別為圖像的行數與列數；xi，j表示圖像(i，j)像素點的灰度值；x是圖像的平均灰度值。

c)平均梯度。

該梯度反映了圖像中的微小細節反差與紋理變化特征，同時也反映了圖像的清晰度。它的值越大說明融合后的圖像紋理越清晰。

D=∑Mi=1∑Nj=1(ΔI2x+ΔI2y)/2/MN(5)

其中：M和N分別是圖像的行數與列數。

ΔIx=g(i+1，j)-g(i，j)；

ΔIy=g(i，j+1)-g(i，j)(6)

其中：g(i，j)為(i，j)像素點的灰度值。

4 融合結果與分析

本文作了大量的實驗，將提出的小波分量高低頻融合算法與其他幾種小波融合算法進行了比較、分析，主要有：直接融合，即小波變換的高低頻分量不作任何變換的融合；選大融合，即低頻部分的融合準則選擇系數較大的值進行融合；均值融合，即低頻部分的融合準則選擇系數均值進行融合。高頻分量的融合準則均采用本文的融合算法。圖2給出了本文方法與其他方法的融合效果圖。

對于圖2所示的各種融合效果，從主觀視覺角度上看，（f）的細節分量更清楚，融合圖像的質量也更好。說明小波分解采用本文高低頻分量不同融合準則的效果最好，能夠較好地保留PAN圖像的細節信息，使融合后的TM圖像細節得到了增強。從客觀評價指標上來看，高低頻融合的方法相對于其他三種融合方法的熵、標準差、平均梯度都有了較大的提高，（評價指標的對比如表1所示）。與各評價參數相對應的含義是，融合后的圖像所包含的信息量更大、細節更清楚、紋理更清晰。

表1 客觀評價指標統計

融合方法熵標準差平均梯度

5 結束語

本文采用IHS變換與小波變換相結合的方法對TM圖像和PAN圖像進行融合。根據小波變換的高低頻分量不同的特點，分別對高低頻分量分別采取不同的融合準則。大量的實驗對比結果表明，本文的融合方法克服了IHS變換直接替換融合降低TM圖像光譜信息的缺點，同時也克服了小波變換法中高低頻直接分解、低頻取大、低頻平均融合方法中細節不夠清晰、紋理較粗糙的缺點。在提高多光譜圖像空間紋理信息的同時，更有效地保持了圖像的光譜信息，是一種較理想的多光譜圖像融合方法。

參考文獻：

[1]程英蕾，趙榮椿.一種基于小波包變換的SAR圖像與TM圖像融合方法[J].西北工業大學學報，2005，23(4):529-533.

[2]湯志偉，王建國，黃順吉.使用小波分析的圖像融合算法[J].電子科技大學學報，2000，29(2):122-125.

[3]董衛軍.基于小波 變換的圖像處理技術研究[D]. 西安：西北大學，2006.

[4]王仁禮，戚銘堯，王慧.用于圖像融合的IHS變換方法的比較[J].測繪學院學報，2000，17(4):269-272.

[5]ZHANG Yun， HONG Gang. An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and QuickBird images[J]. Information Fusion，2005，3(6):225-234.

[6]NUNEZ J， OTAZU X， FORS O， et al. Multiresolution-based image fusion with additive wavelet decomposition[J]. Geoscience and Remote Sensing， 1999，3(37):1204-1211.

[7]ALPARONE L， BARONTI S， GARZELLI A. et al. Landsat ETM+ and SAR image fusion based on generalized intensity modulation[J]. Geoscience and Remote Sensing， 2004，142(12): 2832-2839.

[8]CARPER W， LILLESAND T， KIEFER R. The use of intensity-hue-saturation transformations for merging SPOT panchromatic and multispectral image data[J]. Photogrammetric Engineering and Remote Sensing， 1990，56(4):459-467.

[9]張微，毛啟明，章孝燦，等.不同高分辨率遙感圖像融合技術特征比較[J].東海海洋，2005，23(1):23-31.

[10]劉貴喜，趙曙光.基于梯度塔形分解的多傳感器圖像融合[J].光電子激光，2001，12(3):293-296.

[11]呂曉琪，張寶華.符合人眼視覺特性的醫學圖像融合算法[J].計算機應用研究，2006，23(3):153-157.

[12]閆莉萍，劉寶生，周東華.一種新的圖像融合及性能評價方法[J].系統工程與電子技術，2007，29(4)：509-513.