基于IHS和小波變換的可見光與紅外圖像融合

李洋，焦淑紅，孫新童

(哈爾濱工程大學信息與通信工程學院，黑龍江哈爾濱150001)

圖像融合就是將不同傳感器在同一時間(或者不同時間)獲得同一目標的2幅或者多幅影像通過一種特定算法合成為一幅新圖像的技術[1].隨著科技的發展，圖像融合在自動目標識別、遙感、醫學圖像處理、計算機視覺等領域有著廣泛的應用.

紅外圖像與可見光圖像融合是圖像融合領域的重要組成部分，紅外圖像主要反映目標和場景的紅外輻射特性，不易受環境影響，但缺乏對目標場景紋理細節的表現，不利于人眼的判讀.而可見光圖像能較好地顯示對比度、形狀、彩色和紋理細節，但它卻受光照條件和環境條件的約束.因此可以利用紅外圖像獲取場景中的非自然(冷或熱)目標，而利用可見光圖像獲取場景的背景細節信息，這使得紅外圖像與可見光圖像的融合可以很好地提高對目標的探測和識別能力，在軍事作戰、電子產品檢測、資源探測等眾多領域中都有廣泛的實用價值[2].

圖像融合可分為3級，即像素級融合、特征級融合和決策級融合[3-5].目前的融合方法大多為像素級融合，常用方法包括IHS變換、PCA、金字塔變換、小波變換、Contourlet變換等融合方法[6-11]其中PCA法是一種選取最優像素權值的方法，但無法突出光譜特性，不適用于相關性弱的圖像融合;金字塔變換法是多分辨率分析方法，有較好的融合效果，但是該類方法計算量大，并且融合結果為灰度圖像，無法保持可見光圖像的光譜特性;Contourlet變換是小波變換的一種擴展，是一種多分辨率、多方向的分析方法，能較好地保持圖像的光譜特性.

IHS變換因其計算簡單，并能極大地提高圖像空間分辨率，而被廣泛應用，但會出現光譜扭曲現象[12].而小波變換將圖像分解為水平、垂直及對角方向的高頻分量和相應分辨率下的低頻分量，在進行融合時，對高頻分量和低頻分量使用不同的融合規則，這樣它就能較好地保持原始圖像的光譜信息，但會出現分塊效應，計算速度比IHS變換相對慢一些.因此將IHS和小波變換結合的圖像融合方法既可以保留光譜信息，又可以保持空間信息.目前此方法普遍應用于遙感影像融合.

針對可見光圖像和紅外圖像的特點，本文提出一種基于IHS和小波變換的圖像融合方法，該方法不僅能較好地保持圖像光譜信息和提高空間細節信息，而且還可以獲得紅外圖像中的熱目標信息.實驗結果證明，該方法優于傳統的IHS變換法和小波變換等方法，取得了很好的融合效果.

1 基于IHS和小波變換的圖像融合方法

1.1 IHS變換融合方法

常用的色彩空間有RGB色彩空間和IHS色彩空間[13]，RGB色彩空間常用于計算機彩色顯示器的顯示系統中，RGB中R代表紅色，G代表綠色，B代表藍色，3種色彩疊加形成其他的色彩.而IHS色彩空間包含亮度I、色度H與飽和度S三要素，這三要素相關性很低，這就使IHS空間中的3個分量可以單獨地被處理.而且這種模型面向視覺感知，更適合基于人的視覺對彩色感知特性進行處理分析，所以在圖像融合中被廣泛使用.傳統IHS變換公式如下:

1)IHS正變換公式:

2)IHS逆變換公式:

式中:R0、G0、B0代表RGB空間的3種色彩.

傳統IHS變換融合原理:在已配準可見光圖像與紅外圖像下，對可見光圖像進行IHS正變換，提取I分量，然后用紅外圖像替換掉可見光圖像的I分量，保持可見光圖像的H分量和S分量不變，然后進行IHS逆變換，最后便得出融合的新圖像.

1.2 小波變換融合方法

通常使用的是二維的Mallat小波算法[14]，它是一種常用的離散小波變換的快速實現算法，它將圖像分解為水平、垂直及對角方向的高頻信息和相應分辨率下的低頻分量.由于小波基的正交性，所以圖像小波分解過程中不產生冗余數據[15].這樣，就可以方便地分析信號在不同頻帶上的頻域特性.根據算法，圖像的第j次小波分解后生成3個高頻分量分別為水平方向對角方向DDj和一個低頻分量Cj，j表示小波分解尺度，H表示低通濾波器，G表示高通濾波器.分解公式為:

式中:下標m和n分別表示圖像的行與列，重構公式如下:

式中:H*、G*分別為H、G的共軛轉置矩陣.

基于小波變換的圖像融合基本步驟為:首先對已配準的源圖像A、B分別進行N層小波分解，得到3N個高頻子帶圖和一個低頻子帶圖;接下來分別對每一層、每一方向的相應子帶圖進行融合處理，產生融合后的各子帶圖;最后對融合后的子帶圖進行小波重構得到融合圖像F.圖1為基于小波變換的圖像融合原理圖.

圖1 基于小波變換的圖像融合原理Fig.1 Image fusion principles for wavelet transforms

1.3 基于IHS和小波變換的圖像融合方法

由于紅外成像器件本身存在的缺陷和環境因素的影響，造成了成像效果不理想，主要表現為紅外圖像中噪聲較大、對比度較低、視覺效果不好、分辨圖像細節能力比較差等缺點，這些都將影響后續與可見光圖像的配準效果以及融合質量[16].所以，本文方法先對紅外圖像進行增強處理，改善紅外圖像的視覺效果，在這里采用的增強方法是灰度變換方法.它能夠使圖像的動態范圍加大，增大圖像對比度，使目標更加清晰明顯，更方便融合.

在圖像融合中，融合規則非常重要.一般情況下，圖像所含信息不是一個像素所能表現的，而是由局部區域中多個像素共同表征和體現的.在人類視覺感知對象中，對單個像素的灰度值并不能很好地感知，而是對圖像特定區域內像素比較敏感地感知.另外，圖像中某一局部區域各像素之間往往具有較強的相關性[17-18].綜上可知，基于像素的融合規則有片面性，所以融合效果往往不夠理想.然而基于區域窗口的融合規則相比于基于像素的融合規則更復雜，花費時間更長，但可以獲得更好的融合效果.為得到更好的融合效果，本文低頻和高頻融合規則都采用基于窗口的融合規則.

本文提出了一種基于IHS和小波變換的圖像融合算法，該算法步驟如下:

1)對紅外圖像和可見光圖像進行嚴格配準.

2)對可見光圖像進行IHS變換，得到I、H、S分量，對紅外圖像進行灰度變換.

灰度變換采用的是三段線性變換法，表示為

式中:f和g分別是灰度變換前和變換后的灰度值，[f1，f2]為實際圖像的灰度范圍，[g1，g2]為灰度變換后圖像的灰度范圍.圖2為灰度變換對比圖像.

圖2 灰度變換對比圖像Fig.2 The comparison images of gray-scale transformation

3)對可見光圖像的I分量和已增強的紅外圖像進行二次小波分解，得到各自高頻和低頻子圖.

4)對小波分解后的低頻近似分量采用基于窗口能量的低頻子帶圖融合準則.小波系數的低頻分量，包含了圖像信息的主要輪廓信息，它相當于在一定尺度下對原始信號的近似.而低頻能量是圖像強度的一種有效測度，在某種程度上反應圖像基本信息，因此可以用局部能量作為低頻系數重要性的度量.本文采用基于窗口能量的低頻子帶圖融合方法，其思想是:用低頻子帶圖的窗口能量表征系數的重要性，根據窗口能量的大小決定融合源圖像子帶系數.

源圖像A、B的低頻子帶圖在位置(i，j)處的窗口局部能量(i，j)定義為

比較2幅圖像對應的窗口能量，得出新的低頻分量:

5)小波系數分解后的高頻分量包含圖像的顯著細節特征，如邊緣、紋理、細節等信息.因此對高頻部分處理的主要目的是盡可能增強融合圖像的細節信息.而圖像局部區域的標準差能夠反映各像素灰度對應于區域灰度均值的離散情況，標準差越大，則灰度級分別越分散，從而可以更好地反映圖像的紋理、邊緣等信息.因此本文采用了基于窗口標準差取大法的融合規則.此融合方法的思想是，選定M×N的窗口，計算窗口內像素點灰度值標準差，比較2幅圖像高頻分量對應窗口的標準差，取標準差較大的高頻分量作為新的高頻分量.高頻分量窗口標準差的定義為

得出標準差后按照下式確定新的高頻分量.

6)對新分塊圖像進行小波重建，得到新強度分量圖像Inew，然后再進行IHS逆變換得到融合圖像F.

2 融合實驗及評價

圖3(a)、(b)給出了一組同一場景的彩色可見光圖像和紅外圖像.圖3(a)亮度較高、可視性好、細節信息豐富，但是由于有煙霧的存在，觀察不到煙霧后面的目標人物和發熱源.圖3(b)中2個目標人物、發熱源和房屋都清晰可見，但是周圍其他景物很模糊，細節信息缺失嚴重，只能看到大概輪廓.

圖3 不同圖像融合方法的實驗結果Fig.3 The results of different image fusion methods

為了驗證本方法的有效性，還采用了其他5種圖像融合算法進行對比實驗，如圖3(c)～(h).圖3(c)能夠觀察到紅外目標，但是光譜失真并且細節信息缺失嚴重;圖3(d)整體偏暗，雖然光譜效果較好，但卻丟失了紅外圖像中重要的信息，只能觀察到一個目標人物，而且紅外目標不清晰;圖3(e)與圖3(c)效果接近，但是細節信息保留較好;圖3(f)、(g)視覺效果較好、清晰度高、邊緣清晰、光譜失真較小，但是紅外圖像中的重要信息卻表現不夠明顯，只能觀察到一個目標人物.利用本文算法融合的圖像3(h)視覺效果最好，圖像整體亮度高、色彩鮮明并且圖像邊緣清晰，既保留了可見光圖像中背景信息(樹、房子、煙霧等)又保留了紅外圖像中的重要信息，2個目標人物與發熱源均清晰可見.綜上比較本文算法優于上述其他算法，獲得了很好的融合效果.

本文還采用均值、信息熵、標準差和平均梯度等客觀評價標準將文中提出的方法與其他的方法進行了對比，以下為評價標準的計算公式.

1)均值(average value).它指的是像素的灰度平均值，對人眼反應為平均亮度，其定義為

式中:圖像大小是M×N，F(i，j)表示的是在點(i，j)的灰度值.

2)標準差(standarn deviation).它反映了圖像相對于平均灰度值的離散情況.標準差越大，圖像的灰度級分布越分散，說明融合效果越好.

3)信息熵(information entropy).它是圖像信息量的度量，其定義為

式中:Pi為灰度i的分布概率，L為灰度級總數，熵值越大說明圖像信息量越大.

4)平均梯度(mean grade).它反映了圖像中的微小細節反差與紋理變化特征以及圖像的清晰度，其定義為

式中:Δxf(i，j)、Δyf( i，j)分別為像素(i，j)在 x、y方向上的一階差分值.

從表1中可看出，本文所提出的方法在灰度均值、信息熵、平均梯度上優于其他算法，其中灰度均值和平均梯度優勢明顯.這表明對比其他算法，利用本文的算法，融合后的圖像亮度更高，微小細節及紋理反映更好，圖像的清晰度更高，融合圖像攜帶的信息更豐富.

表1 圖像融合試驗結果Table 1 Results of image fusion

3 結束語

針對可見光與紅外圖像融合，本文提出了一種基于IHS變換和小波變換的方法.首先對紅外圖像進行適當的灰度變換，并對可見光進行IHS變換，然后對可見光圖像中I亮度分量和紅外圖像進行小波分解得到低頻和高頻分量，對于低頻和高頻分量分別采用基于窗口能量的加權平均法和基于窗口區域標準差取大法.實驗仿真結果表明，本文方法不僅能夠大大增強融合圖像的亮度與清晰度，并且能夠保留可見光圖像中的光譜信息與紅外圖像中的重要信息，是一種有效的圖像融合方法.

[1]POHL C，Van GENDEREN J L.Multisensor image fusion in remote sensing:concepts，methods and applications[J].International Journal of Remote Sensing，1998，9(5):823-854.

[2]葛小青.紅外與可見光圖像融合的研究[D].重慶:重慶大學，2010:1-3.GE Xiaoqing.Research on fusion of infrared and visible images[D].Chongqing:Chongqing University，2010:1-3.

[3]蔣曉瑜.基于小波變換和偽彩色方法的多重圖像融合算法研究[D].北京:北京理工大學，1997:1-5.JIANG Xiaoyu.Multiple image fusion algorithm based on wavelet transform and pseudo-color method[D].Beijing:Beijing Institute of Technology，1997:1-5.

[4]胡江華，柏連發，張保民.像素級多傳感器圖像融合技術[J].南京理工大學學報，1996，20(5):453-456.HU Jianghua，BAI Lianfa，ZHANG Baomin.Pixel level multisensor image fusion technique[J].Journal of Nanjing University of Science and Technology，1996，20(5):453-456.

[5]張加友，王江安.紅外圖像融合[J].光電子·激光，2000，11(5):337-539.ZHANG Jiayou，WANG Jiang’an.Infrared image fusion[J].Journal of Optoelectronics· Laser，2000，11(5):537-539.

[6]CARPER W J，LILLESAND T M，KIEFER R F.The use of intensity-hue-saturation transformations for merging SPOT panchromatic and multispectral image data[J].Photogrammetric Engineering＆ Remote Sensing，1990，56(4):459-467.

[7]Jr CHAVEZ P S，SIDES S C，ANDERSON J A.Comparison of three difference methods to merge multiresolution and multipectral data:landsat TM and SPOT panchromatic[J].Photogrammetric Engineering＆ Remote Sensing，1991，57(3):295-303.

[8]BURT P J，ADELSON E H.The Laplacian pyramid as a compact image code[J].IEEE Trans Commun，1983，31(4):532-540.

[9]LAINE I K A，TAYLOR F.Image fusion using steerable dyadic wavelet transform[C]//Proc of the IEEE Int'l Conf on Image Processing.Washington DC，USA，1995:232-235.

[10]DO M N，VETTERLI M.The contourlet transform:an efficient directional multi-resolution image representation[J].IEEE Transactions on Image Processing，2005，14(12):2091-2106.

[11]吳懷群，黃宵寧，王建，等.一種基于熵值的自動閾值圖像分割方法[J].應用科技，2011，38(8):1-4.WU Huaiqun，HUANG Xiaoning，WANG Jian，et al.A method of image segmentation for automatically calculating threshold based on entropy[J].Applied Science and Technology，2011，38(8):1-4.

[12]TU T，SU S，SHYN H，et al.A new look at IHS-like image fusion methods[J].Information Fusion，2001(2):177-186.

[13]張曉煜，李向.基于IHS變換與小波變換的圖像融合[J].計算機與現代化，2007(8):48-53.ZHANG Xiaoyu，LI Xiang.Image fusion based on IHS and wavelet transforms[J].Computer and Modernization，2007(8):48-53.

[14]MALLAT S.A theory for multiresolution signal decomposition:the wavelet representation[J].IEEE Transactions on Pattern Analysis and Machine Intellience，1989，11(7):674-693.

[15]唐國良，普杰信，黃心漢.一種基于IHS和小波變換的彩色圖像融合算法[J].計算機應用研究，2006(10):174-175.TANG Guoliang，PU Jiexin，HUANG Xinhan.Color image fusion algorithm based on IHS and wavelet transformation[J].Application Research of Computers，2006(10):174-175.

[16]郭佳.紅外與可見光圖像融合技術的研究[D].西安:西安工業大學，2009:7-16.GUO Jia.Research on fusion technology of infrared and visible image[D].Xi'an:Xi'an Technological University，2009:7-16.

[17]孫即祥.圖像處理[M].北京:科學出版社，2009:25-27.

[18]曲昆鵬，鄭麗穎.基于目標、背景比例的灰度圖像自動閾值選取法[J].應用科技，2011，37(2):52-54.QU Kunpeng，ZHENG Liying.Automatic thresholding of gray-scale image based on the proportion of object and background[J].Applied Science and Technology，2010，37(2):52-54.