基于引導濾波二尺度分解的紅外與可見光圖像融合

張 慧，韓新寧，韓惠麗，常莉紅

基于引導濾波二尺度分解的紅外與可見光圖像融合

張 慧1，韓新寧2，韓惠麗1，常莉紅1

（1. 寧夏師范學院 數學與計算機科學學院，寧夏 固原 756000；2. 寧夏師范學院 資源環境與生命科學學院，寧夏 固原 756000）

為了降低多尺度分解融合算法的復雜性，并提高融合圖像適應人類視覺特點，本文提出一種基于引導濾波二尺度分解的紅外與可見光圖像融合的方法。首先利用引導濾波對可見光圖像實施增強的圖像預處理，然后利用引導濾波將源圖像分解為基礎層和細節層。在細節層的融合規則中我們采用能量保護和細節提取的方法，最后將融合后的細節層與基礎層合成融合結果。實驗結果表明所給方法在提高視覺感知、細節處理、邊緣保護等方面都有良好的效果。本文最后還討論了可見光圖像增強對融合方法的影響：從實驗數據可知，增強可以提升融合效果，但在圖像融合中融合方法才是關鍵。

引導濾波的二尺度分解；圖像增強；能量保護

0 引言

在軍事、導航、探測等領域的應用場景中，會使用紅外和可見光成像系統來監測目標以獲得所需信息。但從成像效果來看，紅外圖像可以提供目標的細節，而可見光圖像能夠提供植被、紋理、面積和土壤等背景細節。通過紅外和可見光圖像的融合，將兩幅圖像中相關聯的有效信息合成為一個圖像，從而彌補單一圖像的不足、獲取更豐富的圖像細節[1-2]。

在可見光與紅外圖像融合中，根據數據信息處理的抽象程度以及提取圖像的不同層次可以將圖像的融合方法分為三種類型，分別為基于像素級、特征級和決策級的圖像融合，我們研究的重點放在像素級的多尺度融合方法上[3-6]。一個有效的像素級融合方法應該將大部分有用的內容從源圖像轉移到合成圖像，同時在融合過程中盡量減少信息丟失、避免引入偽影。為了實現這些要求，在多尺度分解中首先選用合適的分解變換策略如離散小波變換（Discrete Wavelet Transform，DWT）、曲波變換（Curvelet Transform，CVT）等對圖像進行分解。但利用DWT和CVT分解過程中有可能產生偽影、邊緣容易產生光暈反應等缺點，因此邊緣保持技術應運而生。常用的保邊濾波器有引導濾波（Guided ?ltering，GF）、滾動方向濾波（Rolling Guidance Filter，RGF）及交叉雙邊濾波器（Cross Bilateral Filter，CBF）等，這些濾波器將源圖像分解為基礎層和連續的細節層，同時保留邊緣信息。文獻[7]中所提方法（Multi-Scale Guided Fusion，MGF）利用引導濾波分解、構造顯著性權重，最終所得良好的融合效果，這也證實選引導濾波作為分解工具有一定的優勢。

大多數多尺度融合方法需要兩個以上的分解級別才能獲得令人滿意的結果，因此需要更多的內存和計算時間；有些濾波器的分解過程實現起來很復雜，因此較為耗時。為了減少融合時間并降低多尺度融合算法的復雜性，有些研究者提出了兩尺度分解的圖像融合方法。在文獻[8]中提出利用引導濾波將圖像兩尺度分解并構造加權平均系數，充分利用空間一致性進行基礎層和細節層的融合。該方法（Guided ?ltering Fusion，GFF）在結構相似度上表現的非常好，但是整個融合過程耗時較長。為了實現快速融合，文獻[9]中提出了一種基于顯著性檢測的兩尺度的融合方法（Two-Scale Image Fusion，TSF）。該方法利用平均濾波器實現兩尺度分解，再基于顯著性的權重圖構造算法將源圖像的有用和互補信息集成到融合圖像中。TSF方法耗時少、速度快，但是顯著性權重構造不利于圖像特征的保留，融合圖像視覺效果相較其他方法還待提高。通過研究以上方法的優、缺點發現，為了降低算法的復雜性同時兼顧融合圖像保邊性的考慮，本文采用基于引導濾波的二尺度分解融合方法。

通過上面的分析，二尺度分解中構造顯著性權重作為融合規則有缺點，所以必須考慮適合二尺度分解方法的融合規則。有些研究將稀疏表示[10]（Sparse Representation，SR）和脈沖耦合神經網絡[11]（Pulse Coupled Neural Network，PCNN）作為融合規則引入圖像融合的研究中。但基于稀疏的方法會導致融合圖像細節過于平滑，圖像局部模糊不清；基于PCNN的融合方法耗時太長，不適用于某些快速融合圖像應用的要求。分析二尺度分解特點，由于分解的層數少，導致在細節層中仍然包含一些細節信息和能量，所以二尺度分解方法的融合規則必須解決細節層的能量保護和細節提取。

綜上，本文提出一種基于引導濾波二尺度分解的紅外與可見光圖像融合的方法。首先使用引導濾波進行二尺度分解，在細節層的融合中需采用能量保護和細節提取的融合規則，最后將融合后的基礎層和細節層合并成融合圖像。同時，我們之前針對可見光圖像增強的研究也取得很好的效果，在本文中也會利用引導濾波先對可見光圖像進行增強的預處理，以期取得好的融合效果。

1 相關理論

1.1 引導濾波

引導濾波是一種基于局部線性模型的邊緣保護的濾波器。

假設引導圖像為，為通過線性變換所將輸出圖像，由文獻[8]給出的線性變換的如下：

式中：是以像素為中心的一個正方形鄰域窗，本文取3×3。利用式(2)來計算式(1)中的系數(c,d)：

式中：表示待處理圖像；是為了防止c過大的正則化參數。

式(2)可以利用式(3)、式(4)的線性回歸求解：

d＝P－c(4)

式中：||代表的是在窗體中像素的個數；和2是圖像在內的均值和方差；P是在內的均值。由于像素領域塊之間是有重疊的，因此最后的濾波輸出是通過計算所有可能的平均值得到，如下：

1.2 基于引導濾波的可見光圖像增強

為了實現對可見光圖像的增強，采用基于引導濾波的高動態范圍壓縮的圖像增強方法[12]，標記引導濾波算子為GF,(×)，則基本步驟可以表述如下（凡公式中涉及的參數可參閱文獻[12]）：

首先，引導濾波作用于可見光圖像，得到基礎層b＝GF,()。

增強后的圖像為：

1.3 基于引導濾波的二尺度分解

設EIV是經過增強的可見光圖像，R代表紅外圖像。首先，引導濾波分解EIV和R，分別得到各自的基礎層：

接下來，通過公式(12)、(13)獲得細節層，完成二尺度分解：

基于引導濾波二尺度分解的融合框架如圖1所示。

圖1 基于引導濾波二尺度分解的圖像融合流程

2 分解后的信息合成

2.1 基礎層的信息合成

由于基礎層系數的絕對值越大，對應的特征越顯著，所以在基礎層上采用傳統的“絕對值最大”融合規則進行合并。

首先給出絕對值最大的系數：

那么在基礎層的復合信息利用下式進行計算：

2.2 細節層的信息合成

由于二尺度分解特點，細節層在分解后包含一些細節和能量，根據文獻[13]提出一種基于能量保護和細節提取的細節層融合規則。

首先給出一個活躍水平的測量方法記為WLE，定義如下：

這里＝{EIV,R}，是半徑為，(2＋1)×(2＋1)的帶權矩陣。中的每一個元素的值被設定為22r－，是4領域元素到中心的距離。

為了從源圖像中完全提取細節信息，本文使用測量活躍水平的方法記為WSEML，定義如下：

EML如下定義：

細節層的最終活躍水平測量被定義為WLE和WSEML的乘法，因此細節層融合的規則如下：

最后，圖像的融合結果通過＝B＋D完成。

3 實驗結果與分析

3.1 測試集與相比較的融合方法

為了驗證本文所提出方法的融合效果，選取如圖2所給的9組紅外與可見光圖像的測試集。本文所提的方法記為E_GF_TSF，與本文所提方法進行比較的融合方法有TSF[9]，GFF[8]和MGF[7]方法，以及SR方法（DWT＋SR）和PCNN方法（CVT＋PCNN）。

圖2 測試集

3.2 圖像質量評價指標

為了更加客觀地評價融合的效果，本文采用6種常見的融合指標對各種融合方法進行客觀質量評價。6種融合指標分別為度量圖像中信息豐富程度的熵（Entropy, EN）；度量融合圖像中結構信息的標準偏差（Standard deviation, SD）；度量保留源圖像信息量的互信息（Mutual information, MI）[14]；基于結構相似度的梯度評價指標G[15]和度量圖像的感知顯著性（Perceptual Saliency, PS）[12]，最后一個是運行時間。在評價指標中除了時間，這些評價指標的數值越大說明融合效果越好。

3.3 融合后的主觀評價

鑒于文章篇幅的限制，從9組融合結果中給出其中兩組的融合結果進行比較，如圖3所示。

通過觀察融合結果可以發現每種方法之間的融合差異。在SR方法的融合結果中，第一組圖像中白板比較虛，第二組的圖像明顯有“塊效應”，這是稀疏表示方法的弱點。基于PCNN方法的兩個融合結果，無論是第一組的樹葉還是第二組整個圖像都很模糊，對比度較低，視覺效果比較差。GFF方法和TSF方法的融合結果較為相似，比前兩種方法效果要好一些，但是也有一些缺憾，兩種方法的融合結果丟失了一些紋理信息。如果將第一組圖像放大后會發現樹葉比較的模糊；第二組的圖像中，兩種方法的融合結果遠處的樹木輪廓還是比較模糊，層次不清。MGF方法整個融合效果還是不錯的，但是在細節信息和灰度層次感的處理上還是有待提高。圖4是我們將第一組融合圖像的部分進行了放大，從圖4中我們看出MGF方法融合的結果中白板周圍的物體不清晰；利用MGF融合方法所得第二組圖像中遠處的樹木顯得比較“黑”，不太好辨識。本文所提E_GF_TSF方法的融合效果整體不錯，在MGF方法中所出現的弊端，在本文的方法中都得到了改善。整個圖像的對比度好，物體的辨識度高、細節信息處理較好，輪廓也比較分明。

圖3 兩組實驗結果對比

圖4 第一組實驗結果放大圖

通過實驗結果展示和分析可以看出，本文所提出的方法無論是在邊緣保護還是在對比度上都有很好的表現，所得融合圖像適應人類視覺感知，有很好的視覺效果。

3.4 融合后的客觀評價

表1給出的是9組圖像經不同融合方法后所得客觀評價指標的結果，由于篇幅原因，表中的數據是9組圖像在同一方法、同一指標取平均值。通過觀察6種客觀評價指標的測試數據（加粗表明結果最好），本文所提出的方法在其中4項的評價指標中都是最好的，一項指標在6種方法中是排在第二。所以可以看出本文給出的融合方法在邊緣保護、細節的融合處理以及視覺效果等方面都有不錯的表現。TSF方法和MGF方法主要是融合快速為特點，所以這兩種方法在時間上表現最好。本文所提方法由于還要進行可見光圖像的預處理，因此較為耗時，但時間指標上與其他方法還有較大差距，這也是今后需要提高的地方。

表1 用SR 、PCNN、GFF、TSF、MGF和E_GF_TSF方法融合得到的指標

3.5 關于圖像增強的討論

在之前的研究中發現對可見光圖像進行增強后，融合所得的結果無論是視覺效果還是評價指標方面表現都非常好，如果使用其他方法將可見光圖像增強，是否就會比本文所提方法效果更好？帶著疑問，我們進行了圖像融合實驗來對圖像增強情況討論。由于SR方法和PCNN方法融合效果一般，GFF方法耗時太長，因此下面就TSF、MGF和本文所提方法進行增強的討論。圖5是3種方法可見光圖像未增強和增強后的效果圖對比。

在圖5中，GF_TSF是本文所提方法，只是沒有進行可見光圖像增強。而E_TSF、E_MGF分別代表將可見光圖像增強后再使用TSF和MGF兩個方法融合。通過效果圖可以發現，在未增強的3張效果圖中MGF和GF_TSF方法的融合效果較好，MGF方法人物等比較清晰，而GF_TSF方法路面的輪廓清晰。在增強后的3張圖像中，是我們所提方法的融合效果好一些，尤其是路面上的細節都處理的很好。因此，我們所提方法無論是細節還是對比度上都比較適合人類的視覺感官。

表2是6種方法融合后的數據，和表1的數據處理方法一樣，都是測試集中9組源圖像評價指標的平均值。從表2中可以看出，可見光圖像在未增強前，GF_TSF方法的數據整體最好，同樣增強后也是我們所提方法的數據最好。

圖5 不同融合方法的效果對比

表2 用TSF, MGF, GF_TSF, E_TSF, E_MGF和E_GF_TSF方法融合得到的指標

因此，我們從主觀評價和評價指標的數據分析都可以發現，我們所提方法無論是在可見光圖像未增強前還是增強后在融合效果和數據表現都比較好，增強后提高了對比度，使得融合后的效果更好。所以，對可見光圖像的增強是可以提升融合效果，但是最終決定融合結果的還是要看融合方法是否有效。

4 結論

本文提出了一種基于引導濾波二尺度分解的紅外與可見光圖像融合的方法，首先利用引導濾波對可見光圖像增強，以便在融合圖像中獲取更好的視覺效果。然后，再次利用引導濾波對處理后的源圖像進行二尺度分解得到基礎層和細節層，在細節層選用細節提取和能量保護的融合規則。最后，將融合后的基礎層和細節層進行融合得到融合結果。主觀評價與客觀評價也證實了本文方法的有效性。

[1] ZHANG H, HAN X, ZHANG R. Multimodal image fusion method based on guided filter[J]., 2022, 36(1): 2254003-1-2254003-16.

[2] MA J, MA Y, LI C. Infrared and image fusion methods and applications: a survey[J]., 2019, 45: 153-178.

[3] ZHANG H, MA X, TIAN Y S. An Image fusion method based on curvelet transform and guided filter enhancement[J/OL]., 2020, https://doi.org/10.1155/2020/9821715.

[4] 張慧, 常莉紅, 馬旭, 等. 一種基于曲波變換與引導濾波增強的圖像融合方法[J]. 吉林大學學報: 理學版, 2020, 58(1): 113-119. ZHANG H, CHANG L H, MA X. An image fusion method based on curvelet transform and guide filtering enhancement[J]: Science Edition, 2020, 58(1): 113-119.

[5] 張慧, 常莉紅. 基于方向導波增強的紅外與可見光圖像融合[J]. 激光與紅外, 2020, 50(4): 508-512. ZHANG H, CHANG L H. Infrared and visible image fusion based on guided filtering enhancement[J]., 2020, 50(4): 508-512.

[6] 張慧, 韓新寧, 韓惠麗. 基于滾動引導濾波的紅外與可見光圖像融合[J]. 紅外技術, 2022, 44(6): 598-603.ZHANG Hui, HAN Xinning, HAN Huili. Infrared and visible image fusion based on a rolling guidance filter[J]., 2022, 44(6): 598-603.

[7] Bavirisetti, XIAO D P, ZHAO G H, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]., 2019, 38: 5576-5605.

[8] LI S T, KANG X D, HU J W. Image fusion with guided ?ltering[J]., 2013, 22(7): 2864 2875.

[9] Durga Prasad Bavirisetti, Ravindra Dhuli. Two-scale image fusion of visible and infrared images using saliency detection[J]., 2016, 76: 52-64.

[10] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[11] Ganasala Padadma, Kumar Vinod. Feature-motivated simplified adaptive PCNN-based medical image fusion algorithm in NSST domain[J]., 2016, 29(1): 73-85.

[12] ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]., 2016, 55(23): 6480-6489.

[13] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.

[14] Xydeas C S, Petrovi? V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

[15] Hossny M, Nahavandi S, Creighton D. Comments on ‘Information measure for performance of image fusion’[J]., 2008, 44(18): 1066-1067.

Two-scale Image Fusion of Visible and Infrared Images Based on Guided Filtering Decomposition

ZHANG Hui1，HAN Xinning2，HAN Huili1，CHANG Lihong1

(1. School of Mathematics and Computer Science, Ningxia Normal University, Guyuan 756000, China;2. School of Resources Environment and Life sciences, Ningxia Normal University, Guyuan 756000, China)

We proposed atwo-scale image-fusion method for infrared and visible light image fusion based on guided filtering to reduce the complexity of multi-scale decomposition fusion algorithms and improve the adaptability of fused images to human visual characteristics. First, we used guided filtering to enhance the visible image and decomposed the source images into base and detail layers using guided filtering. In the fusion rules of the detail layer, we adopted the energy protection methods and detail extraction. Finally, we combined the fused detail layer with the base layer to synthesize the fusion results. The experimental results showed that the proposed method improves the visual effect, detail processing, and edge protection. We discussed the impact of visible image enhancement on fusion methods from experimental data. Enhancement can improve the fusion effect, but the fusion method is key in image fusion.

two scale decomposition of guided filtering, image enhancement, energy protection

TN911.7

A

1001-8891(2023)11-1216-07

2023-05-19；

2023-06-21.

張慧（1977-），女，寧夏固原人，碩士，教授，主要研究方向為圖形圖像處理。E-mail：2466437143@qq.com。

寧夏自然科學基金（2022AAC03331；2021AAC03028；2022AAC03300；2023AAC03330）。