NSCT框架下動靜態聯合濾波的紅外與可見光圖像融合方法

摘要：針對NSCT變換在紅外與可見光圖像融合中的不足，提出一種基于NSCT和動靜態聯合濾波的紅外與可見光圖像融合方法。首先，采用NSCT將源圖像分解為低頻子帶和高頻子帶，進一步采用動靜態聯合濾波將低頻子帶分解為低頻紋理分量和低頻結構分量；再分別針對低頻紋理分量、低頻結構分量和高頻子帶的特征，采用不同的融合規則。其中，低頻紋理分量以改進拉普拉斯能量和取大為權重圖，低頻結構分量以絕對值最大和引導濾波為融合規則，高頻子帶融合以梯度和改進拉普拉斯能量和綜合信息作為權重。最后，通過NSCT逆變換得到融合圖像。通過對比多組融合圖像主、客觀評價結果表明，該方法能有效保留邊緣信息，保留較多的源圖像信息，在視覺質量和客觀評價方法優于其他圖像融合方法。

關鍵詞：圖像融合；紅外與可見光圖像；動靜態聯合濾波；非下采樣輪廓波變換

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2024）08-0001-04

開放科學（資源服務）標識碼（OSID）

0 引言

紅外與可見光圖像融合技術在軍事和民用領域中占有重要地位，如目標檢測、監控和情報收集等[1]。 NSCT能更好地保持圖像的邊緣信息和輪廓結構，增強圖像的平移不變性。因此，許多學者[2-4]將NSCT變換應用到紅外與可見光圖像融合中，取得了較好的融合效果。例如，朱亞輝等人[2]用NSCT將源圖像分解為低頻子帶和高頻子帶，進一步采用潛在低秩表示模型將低頻子帶分解為低頻基礎子帶和低頻顯著子帶。劉佳等人[3]采用NSCT對源圖像進行分解，利用改進的引導濾波算法提取紅外圖像顯著性圖自適應加權融合低頻圖像，對高頻圖像使用基于馬氏距離加權的拉普拉斯能量和取大融合。Selvaraj等人[4]應用NSCT和滾動濾波器將源圖像分解為基本層、細節層和高頻系數。

雖然NSCT變換能夠增強圖像的平移不變性，但也導致低頻子帶分解不充分。為了解決這類問題，對低頻子帶采用濾波器再次分解，常用的濾波器分為靜態濾波器和動態濾波器兩大類。其中，靜態濾波器能夠保持邊緣結構信息，但邊緣區域容易出現光暈現象；動態濾波雖然從正則化輸入圖像得到權重函數，但忽略靜態引導圖像可用的附加信息[5]。參考文獻[6]給出了動靜態聯合濾波（Static and Dynamic joint Filters， SDF） ，它既克服了單一引導結構出現的邊緣結構模糊，也解決粗糙邊緣邊界定位差的問題，具有良好的邊緣保持特性。

通過上述分析可知，本文綜合NSCT和SDF的優勢，提出了基于NSCT和SDF的紅外與可見光圖像融合方法。其中，NSCT將原圖像分解為低頻子帶和高頻子帶；再采用SDF將低頻子帶分解為結構分量和紋理分量；根據高頻子帶、低頻結構分量、低頻紋理分量的特征，采用不同的融合策略；最后將低頻結構分量和低頻紋理分量疊加，再與高頻子帶進行逆NSCT，得到最終的融合圖像。實驗結果表明，本文融合方法在主、客觀評價中都有較好的性能。

1 動靜態聯合濾波

動靜態聯合濾波（Static and Dynamic joint Filters，SDF）是以加權最小二乘濾波為目標函數，輔以滾動導向濾波算法的迭代模型。

令[f]為輸入圖像，[g]為靜態引導圖像，[u]為輸出圖像，SDF的目標函數定義為：

[εu=iciui-fi2+λΩu，g]? ? ?（1）

其中[λ]和[ci]分別為正則化參數和輸入圖像調節參數，[Ωu，g]為正則項，即

[Ωu，g=i，j∈N?ugi-gj?vui-ujφvui-uj]

[?ux=e-μx2;φvx=1-?vxv]

其中，[μ，v]分別控制靜態引導和動態引導的平滑帶寬。

記靜態引導圖像權重矩陣[Wμ]和動態引導的權重矩陣[Wv]分別為：

[Wμ=φμgi-gjN×N，Wv=ψμui-ujN×N]

令[W=Wμ×Wv，C=diagc1，…，cN]。公式（1） 可表示為

[εu=u-fTCu-f+λvWμ-W]

采用最小最優算法，則有

[?kuk=εuk?ku≥εu]

經過迭代可以求出[u]。

2 融合框架及融合規則

設圖像[I，V]分別為紅外圖像和可見光圖像，圖像[F]為融合圖像，圖1給出了基于NSCT和SDF的紅外與可見光圖像融合方法流程圖。

其中，HI和LI分別表示紅外圖像的高頻子帶和低頻子帶；HV和LV分別表示可見光圖像的高頻子帶和低頻子帶；LI_T和LI_S分別表示紅外圖像的低頻紋理分量和低頻結構分量；LV_T和LV_S分別表示可見光圖像的低頻紋理分量和低頻結構分量；LF_T和LF_S分別表示融合后圖像的低頻紋理分量和低頻結構分量；LF和HF分別表示融合后的低頻子帶和高頻子帶。

2.1 低頻子帶融合規則

低頻子帶包含了圖像的大部分信息，其存在分解不完全問題。因此，針對低頻子帶的融合，本文采用SDF將低頻子帶分解為低頻結構分量和低頻紋理分量，并根據分量的特征，采用不同的融合規則。圖2給出了低頻子帶的分解結果圖。

由圖2可以看出：在低頻紋理分量中，目標等關鍵區域能夠有效區分；在結構分量中，結構能夠被有效識別出來，且具有良好的邊緣保持性。

1）? 低頻紋理分量的融合規則。由圖2 （a1）和（b1）可以看出，低頻結構分量可以看作不同的聚焦區域，改進的拉普拉斯能量和既反映圖像邊緣特征信息，也能反映圖像的聚焦特性。因此，本文采用改進的拉普拉斯能量和取大作為權重，具體融合公式如下。

[LF_T=w?LI_T+1-w?LV_T]? ? ?（2）

其中，權重[w=maxELI_T，ELV_T]；[ELI_T，ELV_T]分別表示紅外低頻紋理分量和可見光低頻紋理分量的拉普拉斯能量和，拉普拉斯能量和公式如下。

[EHi，j=1mnp=-mmq=-nnIML（i+p，j+q）]

[IMLi，j=2Hi，j-Hi-1，j-Hi+1，j+2Hi，j-Hi，j-1-Hi，j+1+122Hi，j-Hi-1，j-1-Hi+1，j+1+122Hi，j-Hi+1，j-1-Hi-1，j+1]

2） 低頻結構分量的融合規則。通過對比圖2（a2）和（b2）可以看出，這兩幅低頻結構分量是互補的，因此選擇灰度值最大作為權重，即：

[w1=1，LI_S>LV_S0，LI_SLI_S0，LV_S

為將邊緣對齊，對權重圖[w1，w2]進行引導濾波[7]，獲得新的權重圖：

[w1=guide_filterw1，LI_S，r，ε;w2=guide_filterw2，LV_S，r，ε]

其中，函數[guide_filter?]為引導濾波。

融合后的低頻結構分量為：

[LF_S=w1?LI_S+w2?LV_S]? ? （3）

3） 低頻融合子帶的獲取。應用公式（2）和公式（3）分別獲得低頻紋理分量和低頻結構分量，將其疊加獲得低頻融合子帶，即

[LF=LF_T+LF_S]

由圖3可以看出，低頻融合規則能夠有效識別紅外目標，且對可見光圖像的低頻信息保留完整，具有良好的邊緣保持性。這說明本融合方法的低頻融合規則設計合理。

2.2 高頻子帶融合規則

高頻子帶主要描述源圖像的邊緣信息，改進拉普拉斯能量和及局部梯度幅值均可有效描述圖像的邊緣信息。因此，本文結合改進拉普拉斯能量和[E]及局部梯度幅值[G]作為決策圖，獲得融合后的高頻子帶：

[HF=wHI+1-wHV]

其中，[HI，HV]分別表示紅外圖像和可見光圖像的高頻子帶；權重

[w=1，ENTI>ENTV0，ENTI

這里，[ENTI=GI+EI，ENTV=GV+EV]分別表示紅外高頻子帶和可見光高頻子帶的綜合信息，[GI，GV]分別為紅外高頻子帶和可見光高頻子帶的梯度幅值；[EI，EV]分別為紅外高頻子帶和可見光高頻子帶的拉普拉斯能量和。

3 實驗及結果分析

在本節中，通過主、客觀評價多組融合圖像的效果。采用的融合方法包括：VSM_WLS[8]、MLGCF[9]、NSCT[2]和本文方法。本文融合方法的參數設置為：在NSCT分解中，級數為4級，濾波器參數為'pyrexc'和'vk'，分解方向數為[2 3 3 4]；在SDF中，參數[μ=50，v=400，K=10，][λ=0.8×103]。多種方法的融合結果見圖4所示。圖中，每行分別是以Road、Camp、Kaptein、UNcamp為例。

3.1 融合圖像的主觀評價

對比“Road”融合結果可以看出，在VSM_WLS和MLGCF融合結果中，道路上的折痕與周圍整個路面的對比度不是很明顯；在基于NSCT方法融合結果中，第一輛汽車的尾燈模糊不清；基于本文方法的融合結果不僅保留了可見光場景的細節信息，且行人、車輛、紅綠燈紅外熱目標邊緣清晰，接近自然場景。

對比“Camp”的融合結果可以看出：在基于NSCT方法融合結果中，目標人物存在明顯光暈；雖然在基于VSM_WLS和基于MLGCF方法的融合結果能夠看出樹的紋理，但目標人物周圍的柵欄比較模糊?；诒疚娜诤戏椒ǖ娜诤辖Y果較好地保留了可見光圖像的豐富場景信息，也突出了紅外圖像的熱目標信息，尤其能較明顯地看出樹杈的紋理信息。

本文融合方法的優勢同樣體現在“Kaptein”“UNcamp”中。因此，本文融合方法在視覺質量上較優于其他圖像融合方法。

3.2 融合圖像的客觀評價

為了更加客觀地評價本文融合方法的有效性，應用QAB[10]、SSIM[11]、FSIM[12]、Entropy和MI評價融合圖像質量，表1為多組融合圖像的客觀評價指標值。

由表1可知：1） 對于評價指標MI和Entropy，本文融合方法均優于其他融合方法，表明本文融合方法包含豐富的信息；2） 對于評價指標QAB，本文融合方法在“Road”和“UNcamp”圖像融合效果評價值最優，而在其他三組融合圖像上，本文融合方法次之，但與最優評價值比較接近，表明了本文融合方法較好地保留了源圖像的特征；3） 對于評價指標SSIM，本文融合方法在“Road”“Kaptein”“UNcamp”的融合效果評價值最優，表明本文融合方法較好地保留了源圖像的結構相似性；4） 對于評價指標FSIM，本文融合方法在“Road”和“Camp”上評價值最優，在其他2組融合圖像的評價值位于第二?？傊瑥恼w上，本文融合方法具有較好的融合結果。

4 結束語

針對傳統基于多尺度變換的紅外與可見光圖像融合算法的不足，提出一種基于NSCT和SDF的紅外與可見光圖像融合方法。該方法采用NSCT和SDF將源圖像分解為低頻紋理分量、低頻結構分量和高頻子帶；再根據各個子帶的特征，分別采用改進拉普拉斯能量和取大、絕對值最大和引導濾波、梯度和改進拉普拉斯能量作為融合規則。最后，通過NSCT逆變換得到融合圖像。通過對多組融合結果的主、客觀評價，分析了本文方法是切實可行的，能夠得到具有豐富信息且較為清晰的融合圖像，在視覺質量和客觀評價方法較優于其他圖像融。

參考文獻：

[1] 張亞峰，耿則勛，王軍敏.基于擴展相位拉伸變換的多聚焦圖像融合算法[J].激光與光電子學進展，2020，57（22）：111-120.

[2] 朱亞輝，高邐.基于復合分解與直覺模糊集的紅外與可見光圖像融合方法[J].西北工業大學學報，2021，39（4）：930-936.

[3] 劉佳，李登峰.馬氏距離與引導濾波加權的紅外與可見光圖像融合[J].紅外技術，2021，43（2）：162-169.

[4] SELVARAJ A，GANESAN P.Infrared and visible image fusion using multi-scale NSCT and rolling-guidance filter[J].IET Image Processing，2020，14（16）：4210-4219.

[5] 田小平，鄭娜，吳成茂.多尺度動靜態聯合彩色圖像濾波處理[J].西安郵電大學學報，2017，22（3）：39-43.

[6] HAM B，CHO M，PONCE J.Robust guided image filtering using nonconvex potentials[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（1）：192-207.

[7] 鞏稼民，吳藝杰，劉芳，等.基于NSST域結合SCM與引導濾波的圖像融合[J].光電子·激光，2021，32（7）：719-727.

[8] MA J Y，CHEN C，LI C，et al.Infrared and visible image fusion via gradient transfer and total variation minimization[J].Information Fusion，2016，31（C）：100-109.

[9] TAN W，ZHOU H X，SONG J，et al.Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J].Applied Optics，2019，58（12）：3064-3073.

[10] XYDEAS C S，PETROVIC? V.Objective image fusion performance measure[J].Electronics Letters，2000，36（4）：308.

[11] MA K D，ZENG K，WANG Z.Perceptual quality assessment for multi-exposure image fusion[J].IEEE Transactions on Image Processing，2015，24（11）：3345-3356.

[12] ZHANG L，ZHANG L，MOU X Q，et al.FSIM：a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

【通聯編輯：王 力】