馬氏距離與引導濾波加權的紅外與可見光圖像融合

劉 佳，李登峰

馬氏距離與引導濾波加權的紅外與可見光圖像融合

劉 佳，李登峰

（武漢紡織大學 數學與計算機學院，湖北 武漢 430200）

為使紅外與可見光融合圖像獲得更好的分辨率和清晰度，提出基于非下采樣輪廓波變換（non-subsampled contourlet transform, NSCT）的馬氏距離加權拉普拉斯能量和與引導濾波改進（frequency tuned, FT）結合的紅外與可見光圖像融合算法。首先，對可見光圖像進行對比度受限的自適應直方圖均衡（contrast limited adaptive histogram equalization, CLAHE），并將紅外圖像與CLAHE處理后可見光圖像進行NSCT變換，分解為低頻和高頻；其次，對FT算法使用引導濾波進行改進，利用改進的FT算法提取紅外圖像顯著性圖自適應加權融合低頻圖像，對高頻圖像使用基于馬氏距離加權的拉普拉斯能量和取大融合；最后，對融合的低頻和高頻圖像進行NSCT逆變換獲得融合圖像。實驗結果表明，該融合方法相較其他傳統融合方法，在主觀視覺上和客觀指標上都有較好的表現。

圖像融合；紅外圖像；非下采樣輪廓波變換；馬氏距離；引導濾波

0 引言

圖像融合可以將多幅不同成像機制的同一場景圖像通過融合算法合成為一張新的圖像，以有利于人眼觀察和計算機處理[1]，目前已經在醫學[2]、遙感[3]、軍事[4]等鄰域得到廣泛運用。紅外圖像和可見光圖像融合旨在利用圖像融合算法運用紅外圖像和可見光圖像的不同成像特點得到場景內目標更全面、清晰、準確的圖像[5]。紅外獲取的圖像不依賴于光照條件，抗干擾能力較強，但通常對比度和分辨率都較低，不能有效獲取目標場景的細節信息[6]。可見光圖像通常分辨率較高，邊緣紋理等細節信息豐富，但依賴于光照條件[7]。紅外圖像與可見光圖像之間有很強的信息互補性，充分利用兩種圖像信息的互補性，將這兩種圖像進行融合，可以得到目標場景清晰的圖像。紅外圖像和可見光圖像融合技術在軍事、安全等鄰域已經有較為廣泛的運用[8]。

像素級的圖像融合方法包含空間域融合和變換域融合方法。空間域的融合方法在像素層面上進行融合，復雜度低，但融合圖像通常信息保留不完整[9]。變換域融合方法是基于多尺度變換理論將圖像進行多層分解，得到源圖像的低頻近似子帶和高頻細節子帶[10]。利用低頻子帶和高頻子帶的不同特點將低頻子帶和高頻子帶分別采用不同的融合規則融合，最后通過逆變換得到重構的融合圖像。常用的多尺度變換如：金字塔變換、小波變換、輪廓波變換、非下采樣Contourlet變換[11]等。金字塔變換的數據冗余度高且缺乏方向性[12]；小波變換克服了金字塔變換的缺點，在不同尺度上具有水平、垂直和對角線3個方向的分解信息[13]；在一定程度上提高了圖像融合的效果；但在二維奇異曲線的表示上還具有局限性；Curvelet變換[14]的提出旨在更好地解決曲線奇異性問題；輪廓波變換是文獻[15]提出的一種圖像二維表示方法，能夠更好地表示圖像輪廓，但低頻子帶和高頻子帶中存在頻譜混疊現象[16]，為消除輪廓波變換的頻譜混疊現象，文獻[17]中提出的非下采樣輪廓波變換（non-subsampled contourlet transform, NSCT），刪除了下采樣操作，具有更好的頻譜特性[18]。

本文算法對源圖像首先進行初處理，然后對其進行NSCT分解。低頻子帶利用紅外圖像顯著性圖進行加權融合，在獲取顯著性圖時，對傳統FT算法進行基于引導濾波的改進以突出邊界顯著性；對高頻子帶采用基于馬氏距離加權的拉普拉斯能量和取大的融合規則以獲得更多的細節信息。實驗結果表明，本文算法相較傳統小波變化和NSCT變換等算法而言，不僅在主觀視覺上表現較好，在客觀評價上也有較好的表現。

1 非下采樣Contourlet變換

進行NSCT分解時，對源圖像首先經過塔形分解為高通和低通，對高通部分再進行多方向分解，低通部分繼續進行二層分解[19]。如圖1為NSCT兩層分解的示意圖。

圖1 NSCT分解過程

2 對比度受限的自適應直方圖均衡化

可見光成像容易受光照等條件的影響，獲取的圖像有時對比度較低，使用這樣的源圖像進行融合會丟掉很多圖像目標細節信息，因此需要對源可見光圖像進行對比度增強[20-21]。對比度受限的自適應直方圖均衡（contrast limited adaptive histogram equalization，CLAHE）將圖像劃分為若干個小塊，對每個子塊的直方圖做裁剪，然后將裁剪的部分均勻地分布在整個灰度區間上。在將圖像進行分塊處理時，圖像容易出現塊狀效應，為解決這個問題，每個子塊上像素點的值由它周圍4個子塊的映射函數進行雙線性插值得到，角點處像素點由該子塊的映射函數得到，邊緣子塊的像素值則以相鄰兩個子塊的映射函數做線性插值得到。

本文采用CLAHE算法對可見光圖像進行對比度增強，分別使用傳統直方圖均衡化算法（histogram equalization, HE）和CLAHE算法對可見光圖像增強的結果如圖2所示。

圖2 可見光圖像對比度增強

3 引導濾波改進的圖像顯著性圖

人眼在觀察一幅圖像時，有些區域會引起人眼極大的興趣，有些區域則會被忽略。而紅外圖像中的目標通常為人眼視覺的顯著性區域，以人類視覺機制為基礎，構建圖像顯著性模型[21]，將人眼對圖像各區域感興趣的程度使用灰度信息進行量化，即可獲得圖像的顯著性圖。

FT算法是提取圖像顯著性圖的一種常用算法，FT算法獲取圖像顯著性圖的算法如下式(1)所示：

式中：m為輸入圖像的均值；gauss(,)為輸入圖像經高斯濾波后的圖像在點(,)處的像素值。

高斯模糊在對圖像進行細節平滑濾波時會使圖像邊緣也變得模糊，而引導濾波作為一種可以保持圖像邊緣的濾波方法可以有效地在濾波過程中保持圖像的邊緣，可以有效突出圖像顯著性區域的邊界，基于此，本文使用引導濾波對傳統FT算法進行改進，提出基于引導濾波的紅外圖像顯著性圖提取方法。引導濾波是一種自適應濾波器，能夠在平滑圖像的同時起到保持邊界的作用[22]。引導濾波處理圖像時，通過一張引導圖對輸入圖像進行濾波處理，濾波后的輸出圖像與輸入圖像的紋理部分與引導圖像相似。在使用引導濾波時，如果引導圖像與輸入圖像相同，此時引導濾波成為一個保持邊緣的濾波操作。在局部窗口內使用線性模型，使得濾波器輸出結果與引導圖在局部窗口內的梯度一致。引導濾波函數的輸入和輸出在一個局部窗口內滿足線性關系如下式(2)：

式中：為引導圖像；為輸出圖像；是中心像素點為的局部窗口；a和為當前窗口通過最小成本函數(a,b)獲得，如下式(3)所示：

式中：是用來調節a，防止a過大的參數，對代價函數進行求解，可以得到a、b得最優解。

式中：為局部窗口內引導圖像的均值；為局部窗口內引導圖像的方差；||為局部窗口大小；`p為輸入圖像在局部窗口內的均值。由于濾波窗口滑動，同一個像素會出現在不同的窗口中，對同一像素位置在不同窗口下的a、b取平均值得到該像素位置的濾波參數，則某一像素點的濾波輸出為：

其中：

假設(,)為紅外圖像同時作為引導圖像和輸入圖像輸入到引導濾波中的輸出圖像，將此輸出圖像代替公式(1)中的高斯濾波圖像，因此，基于引導濾波改進的FT算法顯著性圖計算公式如下：

將獲得的紅外圖像顯著性圖進行歸一化：

式中：maxg和ming分別為g的最大灰度值和最小灰度值。最后對歸一化的顯著性圖做對比度拉伸得到最后的紅外圖像顯著性圖，拉伸函數如下式(9)：

4 馬氏距離加權的拉普拉斯能量和

傳統的拉普拉斯能量和（sum of modified Laplacian, SML）[23]使用水平和垂直兩個方向來計算拉普拉斯能量值，為獲得更好的細節信息表征效果，本文計算4個方向上的拉普拉斯能量值，其計算方式如下式(10)：

馬氏距離可以計算樣本到樣本“重心”之間的距離，樣本到樣本“重心”的距離越大[24-25]，表明該樣本與總體偏離越遠，與樣本的相關度越低，使用馬氏距離對拉普拉斯能量進行加權求和。設以點(,)為中心的3×3鄰域Q,y內ML的均值和協方差為、，則鄰域內的點(,)到該鄰域內基于拉普拉斯能量ML的馬氏距離為：

使用函數1/e將馬氏距離映射到[0, 1]區間內計算拉普拉斯能量求和的權值，但指數函數運算給計算機硬件實現帶來了極大的不便，因此采用麥克勞林公式對指數函數e進行分式展開如下：

由此，使用1/e的逼近函數1/(1＋)計算拉普拉斯能量和的權值：

則使用馬氏距離加權計算的點(,)的改進拉普拉斯能量和SL為：

5 融合算法

本文結合NSCT變換的系數特點和可見光與紅外圖像的成像特點，首先對可見光圖像進行對比度增強處理，并將紅外圖像與CLAHE處理后可見光圖像經過NSCT變換分解為低頻近似圖像和一系列高頻細節圖像；低頻圖像是源圖像的一個近似圖像，對低頻圖像使用紅外顯著性圖融合；高頻圖像中包含了圖像的細節紋理信息，使用馬氏距離對拉普拉斯能量和進行改進，對高頻采用改進拉普拉斯能量和取大的融合規則進行融合；融合的低頻圖像和高頻圖像經過NSCT逆變換后獲得最終融合圖像。如圖3為本文算法融合框架圖。

圖3 融合框架

對CLAHE增強后的可見光圖像VIS和紅外圖像IR進行NSCT多層分解，設Lvis和Lir分別為VIS和IR的低頻系數，C,kvis和C,kir分別表示VIS和IR的第層第個方向的高頻系數。對低頻系數采用紅外圖像的顯著性圖進行加權融合，其融合規則為：

其中權值：

對高頻系數采用馬氏距離加權改進的拉普拉斯能量和取大的規則進行融合。

6 實驗結果分析

為驗證本文算法的有效性，將本文算法（NSCT-M）與多種融合算法融合的紅外圖像和可見光圖像進行實驗對比，如圖4所示為可見光圖像和紅外圖像源圖像。第一組圖像為白天拍攝的遠距離海上船只的圖像，第二組圖像為白天拍攝的目標與背景難以區分的圖像，第三組圖像為夜間拍攝的街道場景。

如圖5為3組實驗圖像對比結果，對比實驗設置為：小波變換（DWT）融合方法的源圖像采用二維離散小波變換分解，低頻采用取均值的融合規則、高頻采用區域能量取大的融合規則。基于NSCT分解的融合算法以及本算法采用三層分解。NSCT融合低頻采用取均值的融合規則、高頻采用區域能量取大的融合規則；NSCT-FT融合低頻采用紅外圖像FT顯著性圖提取加權融合的規則、高頻采用區域能量取大的融合規則。NSCT-M為本文所提的融合框架算法。

圖4 可見光源圖像與紅外源圖像

從主觀視覺上看，本文所提算法在圖像清晰度以及細節邊緣的保持上都優于其他3組融合算法。為進一步驗證實驗的有效性，使用信息熵（information entropy, EI）、標準差（standard deviation, SD）、平均梯度（average gradient, AG）和空間頻率（spatial frequency, SF）圖像融合客觀評價指標對3組實驗融合圖像進行客觀評價。從表1的客觀評價指標上分析，本文算法相對其他算法保留的圖像信息更多、圖像清晰度更高、細節紋理信息也更豐富。

表1 融合圖像客觀評價結果

7 結語

本文算法利用NSCT變換的系數特點，利用可見光圖像與紅外圖像之間信息的互補性與冗余性，對紅外圖像和可見光圖像進行融合。針對可見光對比度低的問題，采用對比度受限的直方圖均衡算法調整可見光圖像的對比度。在對低頻圖像進行融合時，使用引導濾波改進的FT顯著性圖提取算法對紅外圖像提取顯著性圖，利用紅外圖像顯著性圖對低頻圖像做加權融合；在對高頻圖像進行融合時，針對傳統算法通過四領域計算拉普拉斯能量的局限，本文使用八鄰域計算拉普拉斯能量，并使用馬氏距離對鄰域內的拉普拉斯能量進行加權求和，最后使用改進的拉普拉斯能量和取大的規則對高頻圖像進行融合。理論分析與實驗結果及指標表明，本文算法在主觀視覺圖像上和客觀評價指標上都有較好的表現。

[1] LIU Z, CHAI Y, YIN H, et al. A novel multi-focus image fusion approach based on image decomposition[J]., 2017, 35: 102-116.

[2] Mauri G, Cova L, Beni S D, et al. Real-time US-CT/MRI image fusion for guidance of thermal ablation of liver tumors undetectable with US: results in 295 cases[J]., 2015, 38(1): 143.

[3] Tuia D, Marcos D, Camps-Valls G. Multi-temporal and multi-source remote sensing image classification by nonlinear relative normalization[J]., 2016, 120: 1-12.

[4] Baviskar J, Mulla A, Kudu N, et al. Sub-band exchange DWT based image fusion algorithm for enhanced security[C]//,, 2014: 534-539.

[5] ZHAO Cheng, HUANG Yongdong, QIU Shi. Infrared and visible image fusion algorithm based on saliency detection and adaptive double-channel spiking cortical model[J]., 2019: 102: 102976.

[6] SONG Minghui, LIU Lu, PENG Yuanxi, et al. Infrared & visible images fusion based on redundant directional lifting-based wavelet and saliency detection[J]., 2019, 101: 45-55.

[7] 甄媚, 王書朋. 可見光與紅外圖像自適應加權平均融合方法[J]. 紅外技術, 2019, 41(4): 341-346.

ZHEN Mei, WANG Shupeng. An adaptive weight average fusion method for visible and infrared images[J].y, 2019, 41(4): 341-346.

[8] 甘玲, 張倩雯. 結合NSCT與引導濾波的圖像融合方法[J]. 紅外技術, 2018, 40(5): 444-448, 454.

GAN Ling, ZHANG Qianwen. Image fusion method combining non-subsampled contourlet transform and guide filtering[J]., 2018, 40(5): 444-448, 454.

[9] 劉智嘉, 賈鵬, 夏寅輝, 等. 基于紅外與可見光圖像融合技術發展與性能評價[J]. 激光與紅外, 2019, 49(5): 633-640.

LIU Zhijia, JIA Peng XIA Yinhui, et al. Development and performance evaluation of infrared and visual image fusion technology[J]., 2019, 49(5): 633-640.

[10] 肖兒良, 劉雯雯. 多尺度梯度域可見光與紅外熱圖像融合方法研究[J]. 計算機應用研究, 2015, 32(10): 3160-3163, 3167.

XIAO Erliang, LIU Wenwen. Research of multi-scale gradient domain visible and thermal image fusion method[J]., 2015, 32(10): 3160-3163, 3167.

[11] WANG Shiying, SHEN Yan. Multi-modal image fusion based on saliency guided in NSCT domain[J]., 2020, 14(13): 3188 – 3201.

[12] 劉斌, 辛迦楠, 諶文江, 等. 不可分拉普拉斯金字塔構造及其在多光譜圖像融合中的應用[J]. 計算機應用, 2019, 39(2): 564-570.

LIU Bin, XIN Jianan, CHEN Wenjiang, et al. Construction of non-separable Laplacian pyramid and its application in multi-spectral image fusion[J]., 2019, 39(2): 564-570.

[13] Baviskar J, Mulla A, Kudu N, et al. Sub-band exchange DWT based image fusion algorithm for enhanced security[C]//, 2014: 534-539.

[14] 郭全民, 王言, 李翰山. 改進IHS-Curvelet變換融合可見光與紅外圖像抗暈光方法[J]. 紅外與激光工程, 2018, 47(11): 440-448.

GUO Quanmin WANG Yan, LI Hanshan. Anti-halation method of visible and infrared image fusion based on improved IHS-curvelet transform[J]., 2018, 47(11): 440-448.

[15] Do Minh N, Vetterli Martin. The contourlet transform: an efficient directional multiresolution image representation[J].:, 2005, 14(12): 2091-2107 .

[16] 胡順石, 丁琳, 秦建新, 等. 基于Iαβ色彩空間和Contourlet變換相結合的融合方法[J]. 計算機應用研究, 2010, 27(4): 1521-1523.

HU Shunshi, DING Lin, QIN Jianxin. Image fusion technique based on combination of Iαβ color space and contourlet transform[J]., 2010, 27(4): 1521-1523.

[17] HOU Yingkun, ZHAO Chunxia, LIU Mingxia. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2008, DOI: 10.1109/CSSE.2008.806.

[18] 劉卷舒, 蔣偉. 改進的基于非下采樣的Contourlet變換的圖像融合算法[J]. 計算機應用, 2018, 38(S1): 194-197.

LIU Juanshu, JIANG Wei. Improved image fusion algorithm based on nonsubsampled Contourlet transform[J]., 2018, 38(S1): 194-197.

[19] 常誠, 黃國榮, 常雅男, 等. 基于非下采樣Contourlet變換的無人機景象匹配算法[J]. 科學技術與工程, 2014, 14(2): 137-140, 171.

CHANG Cheng, HUANG Guorong, CHANG Yanan, et al. Scene matching algorithm for unmanned aerial vehicle based on nonsubsampled contourlet transform[J]., 2014, 14(2): 137-140, 171.

[20] 林子慧, 魏宇星, 張建林, 等. 基于顯著性圖的紅外與可見光圖像融合[J]. 紅外技術, 2019, 41(7): 640-645.

LIN Zihui, WEI Yuxing, ZHANG Jianlin, et al. Image fusion of infrared and visible image based on saliency map[J]., 2019, 41(7): 640-645.

[21] 劉玉婷, 陳崢, 付占方, 等. 基于CLAHE的紅外圖像增強算法[J]. 激光與紅外, 2016, 46(10): 1290-1294.

LIU Yuting, CHEN Zheng, FU Zhanfang, et al. Infrared image enhancement algorithm based on CLAHE[J]., 2016, 46(10): 1290-1294.

[22] Achanta R, Hemami S, Estrada F. Frequency-tuned salient region detection[C]//, 2009: DOI: 10.1109/CVPR.2009.5206596.

[23] 謝偉, 王莉明, 胡歡君, 等. 結合引導濾波的自適應多曝光圖像融合[J]. 計算機工程與應用, 2019, 55(4): 193-199.

XIE Wei, WANG Liming, HU Huanjun, et al. Adaptive multi-exposure image fusion with guided filtering[J]., 2019, 55(4): 193-199.

[24] 孫曉龍, 王正勇, 符耀慶, 等. 基于改進拉普拉斯能量和的快速圖像融合[J]. 計算機工程與應用, 2015, 51(5): 193-197.

SUN Xiaolong, WANG Zhengyong, FU Yaoqing, et al. Fast image fusion based on sum of modified Laplacian[J]., 2015, 51(5): 193-197.

[25] 劉光宇, 龐永杰. 基于阿爾法均值算法和馬氏距離的圖像自適應濾波[J]. 吉林大學學報: 工學版, 2015, 45(2): 670-674.

LIU Guangyu, PANG Yongjie. Filter of the optical image based on alpha-trimmed mean filter and Mahalanobis distance[J].: Engineering and Technology Edition, 2015, 45(2): 670-674.

Infrared and Visible Light Image Fusion Based on Mahalanobis Distance and Guided Filter Weighting

LIU Jia，LI Dengfeng

(School of Mathematics and Computer, Wuhan Textile University, Wuhan 430200, China)

Toimprove the definition of fusion images and obtain better target information duringthe fusion of infrared and visible light images using the characteristics of non-subsampled contourlet transform(NSCT) coefficients, an Manalanobis distance weighted Laplacian energy combined with guided filtering is proposed to improve the frequency tuned (FT) algorithm. First, the visible light image is subjected to contrast limited adaptive histogram equalization(CLAHE), and the infrared image and the CLAHE processed visible light image are decomposed into a low-frequency approximate image and a high-frequency detail image through a multi-scale and multi-directional NSCT transform. Second, the FT algorithm improved by guided filtering isused to extract the significance graph of infrared images, the adaptive weighted fusion rule based on the significance graph of infrared images isused for low-frequency images, and the fusion rule based on the Laplace energy and maximum weighted by the Manalanobis distance isused for high-frequency images. Finally, the fusion image is obtained by the NSCT inverse transformation of the fused low-frequency and high-frequency images. The experimental results show that this fusion method has better performance in terms of subjective vision and objective indexes than other traditional fusion methods.

image fusion, infrared image, non-subsampled contourlet transform, Mahalanobis distance, guided filtering

TP391

A

1001-8891(2021)02-0162-08

2020-03-11；

2020-03-19.

劉佳（1997-），女，湖北黃岡人，碩士，主研領域：數字圖像處理。E-mail：1769723820@qq.com。

李登峰（1964-），男，河南開封人，博士，教授，博士生導師，主研領域：小波分析與圖像處理。

國家自然科學基金項目“稀疏框架與相關問題研究”（61471410）。