基于支持度變換的紅外與可見光圖像融合算法

張 雷，羅長更，張穎穎，李根全，楊興強，王肖霞

(1.南陽師范學院物理與電子工程學院，南陽473061;2.中北大學信息與工程學院，太原030051)

引 言

隨著傳感器技術的發展，最近20年來，圖像處理和多傳感器數據處理技術成為人們研究的熱點［1］，單一的光學傳感器不可能完全反映圖像特征，采用不同的傳感器可以有效地解決這一問題，圖像融合技術在充分分析不同傳感器圖像特性的基礎上，結合不同傳感器圖像的優勢特性，形成對場景和目標更全面、更可靠、更精確的描述［2］，在早期圖像融合研究的基礎上，20世紀80年代中期，BURT和ADELSON采用拉普拉斯金字塔實現了多重圖像鑲嵌［3］，TOET構造出對比度金字塔，并實現了紅外圖像與可見光圖像融合［4］，1989年MALLAT提出快速離散小波變換［5］，此后小波變換在圖像融合中得到了廣泛應用，STEINNOCHER采用小波變換對衛星遙感圖像進行了融合［6］，2002年DO 和 VETTERLI提出了 Contourlet變換［7］，這些多分辨率分析方法都取得了較好融合效果，由于可見光圖像和紅外圖像融合可以更全面地反映場景特征，成為各國的研究熱點，在軍事、醫學、航空等領域得到廣泛的應用。

圖像融合主要分為像素級融合、特征級融合和決策級融合，目前大多數融合算法都屬于像素級融合，主要有金字塔算法［8］、小波變換算法［9］、Contourlet變換［7］等算法，這些多分辨率分析算法可以有效提取圖像的有效信息。小波變換具有良好的空域和頻域特性，但是存在平移敏感性和方向有限缺陷［10］。Contourlet變換是一種靈活的多尺度、局域的、方向性的分析方法，可以很好地捕捉圖像的幾何結構，但是輪廓波變換基函數光滑度不理想，存在頻譜混淆現象［11］。2007年ZHENG等人提出了支持度變換的多分辨率分析方法［12］，該算法首次采對多聚焦圖像以及遙感圖像進行支持度變換，融合結果在互信息量、加權融合質量上都取得了較好的效果，支持度變換不僅可以很好地表征圖像的細節信息，非下采樣，具有平移不變的特性，不會產生振鈴效應和虛假信息，可以克服金字塔算法和小波算法的缺點，同時算法相對簡單，運算速度快［13］，是一種很好的多尺度分析工具。

［13］和參考文獻［14］中利用支持度變換對雙色中波紅外圖像進行融合，在可見光和紅外圖像融合中還很少應用，首先利用支持度濾波器對圖像進行多尺度分解，分解后的圖像分為支持度圖像和近似圖像，支持度圖像包含圖像的細節信息，近似圖像包含了圖像的低頻信息。目前支持度算法對近似圖像帶圖像融合規則主要是算數平均或簡單的加權平均(見參考文獻［13］～參考文獻［15］)，算法雖然簡單，但是造成圖像的對比度的下降，使圖像的邊緣變得模糊［16］，因此作者根據支持度變換以及紅外和可見光圖像的特點，采用局部能量比例調制的方法對近似圖像進行融合，利用局部方差比例加權對支持度圖像進行融合。

1 支持度變換基本原理

支持度變換是根據最小二乘支持向量機(least square support vector machine，LS-SVM)的基礎上提出的一種新的圖像多尺度變換方法。以高斯徑向核函數作為核函數，濾波器大小為5×5。對濾波器填充0可以構造出一系列多尺度支持度濾波器［7］。圖像的支持度變換步驟如下。

給定的圖像 I，其支持度值序列{S1，S2，…，SN}通過圖像多分辨率分解得到，其式為:

式中，Bi為支持度濾波器，*為卷積符號。

第i+1層低頻圖像通過Ii與Si的差值得到，如下式所示:

圖像重建如下式所示:

式中，N為最終分解層數。

2 融合算法

(1)對紅外圖像Ii和可見光圖像Iv進行支持度變換，得到低頻子帶圖像 Ii，l和 Iv，l，高頻子帶圖像 Ii，h，n和Iv，h，n(n=1，…，N)。

(2)分解后低頻系數占據了變換后圖像的絕大部分能量，反映源圖像的近似特征，因此低頻子帶圖像采用局部能量進行融合，算數平均與簡單加權方法會造成場景的對比度降低，采用局部能量最大會造成圖像中可見光圖像信息量下降，如果單純地采用局部能量比的方法，會造成場景對比度下降較大［17］，余弦函數在區間［0，π/2］上為減函數，可以平衡加權系數，因此本文中采用局部能量比例調制加權的方法對低頻子帶圖像進行融合，保持融合圖像的對比度和清晰度。其過程如下。

計算低頻子帶圖像局部能量，如下式所示:

式中，下標m取i或v，表示紅外圖像和可見光圖像，ω(i，j)為局部能量加權窗口，本文中采用3×3窗口。

局部能量比計算如下式所示:

式中，α(i，j)為(i，j)處局部能量比。

融合公式為:

式中，Hl(i，j)為融合后的低頻子帶圖像。

(3)高頻子帶圖像包含圖像的細節信息，局部方差反映了灰度值的離散程度，圖像信息量越大，細節越豐富，圖像的方差就越大，高頻系數采用局部方差比例加權的方法進行融合。

式中，σi，n為紅外圖像高頻子帶圖像方差，σv，n為可見光圖像高頻子帶圖像方差。

式中，β(i，j)為局部方差比，Hh，n(n=1，…，N)為融合后的高頻子帶圖像。

基于支持度變換融合算法流程圖見圖1。

Fig.1 Process of support value transform

3 實驗結果

為了驗證本文中算法的有效性，采用小波算法、Contourlet變換算法和參考文獻［13］～參考文獻［15］中的加權平均支持度算法與本文中算法對可見光圖像和紅外圖像進行融合。圖2a、圖3a為不同的可見光圖像，圖2b、圖3b為不同的紅外圖像，圖4a、圖5a為小波算法融合圖像，圖4b、圖5b為Contourlet變換算法融合圖像，圖4c、圖5c為參考文獻［13］～參考文獻［15］中的加權平均支持度算法，圖4d、圖5d為本文中算法融合圖像。圖中UN為聯合國(the united nations)簡稱。

Fig.2 a—UN camp visible image b—UN camp infrared image

Fig.3 a—visible image b— infrared image

Fig.4 a—UN camp image wavelet transform b—UN camp image contourlet transform c—UN camp image weighted mean support value transform fusion algorithm in reference［13］～ refe-rence［15］d—UN camp image fusion algorithm of this paper

Fig.5 a—wavelet transform b—contourlet transform c—weighted mean support value transform fusion algorithm in reference［13］～reference［15］ d—fusion algorithm of this paper

域特性，算法具有較好的穩定性和融合效果，但是同其它算法相比在灰度值動態范圍以及細節信息和信息量上都較差;Contourlet變換算法采用方向濾波器組對圖像進行多分辨率分析，效果較小波算法好，但是融合圖像有偽輪廓;參考文獻［13］～參考文獻［15］中的支持度變換算法具有平移不變性，同時克服了偽輪廓，但是融合規則上采用加權平均融合算法容易造成圖像對比度下降、細節缺失;本文中算法采用局部能量比例調制加權融合規則?？朔松鲜鏊惴ǖ娜秉c，在結果上優于其它算法。為了更好地對圖像做出評價，采用主觀和客觀兩方面對圖像進行進一步評價。

從圖像主觀評價來看，視覺效果上參考文獻［13］～參考文獻［15］中的支持度算法雖然優于Contourlet變換算法，但是場景對比度相對較低;Contourlet變換算法優于小波算法，但圖像出現明顯的偽輪廓;本文中算法融合圖像中樹木、草叢、柵欄、房屋等背景圖像較其它算法清晰，更符合人的視覺特性，細節信息更豐富，清晰度、場景對比度更高，視覺效果更好，目標也較為清晰，同時克服了Contourlet變換算法偽輪廓的缺點，整體效果優于其它3種算法。

主觀評價上述幾種算法具有簡單、快捷的特點，但是主觀性強、不易量化［18］。為了克服主觀評價的缺點，選取一些客觀量作為評價指標，目前常用的客觀評價指標主要有:信息熵E、標準差σ、平均梯度▽ˉG等［19］。本文中采用用標準差、平均梯度、熵對圖像進行評價，標準差反應了圖像灰度級的離散程度，平均梯度反應圖像的清晰程度，熵反應圖像的信息量［20］，公式如下:

式中，σ為圖像的標準差，E為圖像的熵，▽ˉG為平均梯度，f(i，j)為輸入圖像，u為圖像的平均灰度值，M和Q為圖像行列值，P(l)為圖像灰度級概率。

從表1(圖4～圖5評價指標)中的客觀指標來看，本文中算法的標準差、平均梯度和熵都最大，說明本文中算法的融合圖像灰度值的動態范圍、清晰度和信息量都較其它算法好，具有比較好的客觀效果。

Table 1 Image evaluation index

4 結論

針對支持度變換具有平移不變，不會產生振鈴效應和虛假信息，算法簡單等特點，本文中提出了局部能量比例調制的可見光和紅外圖像融合算法，該算法在低頻系數上采用局部能量比例調制加權的方法進行融合，避免了算術平均、簡單加權和單純局部能量比算法對比度下降的問題，高頻系數采用局部方差比例加權的方法，通過與小波算法、Contourlet變換算法和參考文獻［13］～參考文獻［15］中的支持度算法相比，融合圖像背景細節豐富、信息量大、清晰度高、目標清晰、視覺效果好、算法過程簡單，達到了融合的目的。

參考文獻

［1］ UKIMURA O.Image fusion［M］.Rijeka，Croatia:InTech，2011:1-438.

內容是這樣的，班主任：20日不用補課了，開學直接來上課。一個同學家長問：老師，是真的嗎？班主任說：當然是真的，讓你們開開心心地玩幾天。

［2］ GUO M，WANG Sh M.Image fusion based on region and directional variance weighted entropy［J］.Systems Engineering and Electronics，2013，35(4):721-724(in Chinese).

［3］ BURT P J，ADELSON E H.Merging image through pattern decomposition［J］.Proceedings of the SPIE，1985，575:173-182.

［4］ TOET A，LODEWIK J，RUYVEN V，et al.Merging thermal and visual image by a contrast pyramid［J］.Optical Engineering，1992，28(7):789-792.

［5］ MALLAT S A.Theory for multi-resolution signal decomposition:the wavelet representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11(7):674-693.

［6］ STEINNOCHER K.Application of adaptive filters for multisensoral image fusion［J］.Geoscienceand Remote Sensing，1997，3(8):910-912.

［7］ DO M N，VETTERLI M.Contourlets:a new directional multiresolution image representation［C］//Signals，Systemsand Computers，Conference Record of the Thirty-Sixth Asilomar Conference，Image Processing.New York，USA:IEEE，2002:497-501.

［8］ BURT P J.The pyramid as structure for efficient computation［J］.Multire Solution Image Processing and Analysis，1984，12(3):6-35.

［9］ GAO Y，WANG A M，WANG F H，et al.Application of improved wavelet transform algorithm in image fusion［J］.Laser Technology，2013，37(5):690-695(in Chinese).

［10］ YU W J，GU G H，YANG W.Fusion algorithm of infrared polarization images based on wavelet transform［J］.Laser Technology，2013，37(3):289-292(in Chinese).

［11］ YANG Y T，ZHU M，HE B G，et al.Fusion algorithm based on improved Projected gradient NMF and NSCT［J］.Optics and Precision Engineering，2011，19(5):1144-1150(in Chinese).

［12］ ZHENG Sh，SHI W Zh，LIU J，et al.Multisource image fusion method using support value transform［J］.IEEE Transactions on Inage Processing，2007，16(7):1831-1839.

［13］ YANG F B，LIN S Zh，LENG M.Fusion of dual color MWIR image based on segmentation and support value transform［J］.Journal of Infrared and Millimeter Wave，2010，29(5):363-366(in Chinese).

［14］ LIN S Zh，YANG F B，JI L N，et al.Fusion of dual color MWIR image with weak signal based on suprathreshold stochastic resonance［J］.Journal of infrared and Millimeter Wave，2011，30(6):547-550(in Chinese).

［15］ LI W W，YANG F B，LIN S Zh.Second fusion method of infrared polarization image［J］.Journal of Applied Optics，2012，33(3):516-520(in Chinese).

［16］ LI Y F，FENG X Y，FAN Y，et al.A fast multi-sensor image mutual fusion algorithm［J］.Opto-Electronic Eegineering，2011，38(8):117-123(in Chinese).

［17］ GUO M，FU Zh，XI X L.Novel fusion algorithm for infrared and visible images based on local energy in NSCT domain［J］.Infrared and Laser Engineering，2012，41(8):2230-2235(in Chinese).

［18］ LI Sh Sh，WANG Q，FENG X L.A novel quality based on luminance and contrast model for image fusion［J］.Laser＆ Optoelectronics Progress，2011(6):1-6(in Chinese).

［19］ LUO X Q，WU X J.An evaluation method of image fusion based on region similarity［J］.Acta Electronica Sinica，2010，38(5):1152-1155(in Chinese).

［20］ WANG X W，WANG Sh L.Novel method image fusion［J］.Laser＆Infrared，2012，42(9):1055-1057(in Chinese).