基于復合分解與直覺模糊集的紅外與可見光圖像融合方法

朱亞輝, 高邐

(1.陜西學前師范學院 數學與統計學院, 陜西 西安 710100; 2.西北工業大學 計算機學院, 陜西 西安 710072)

紅外與可見光圖像融合技術在軍事和民用領域中占有重要地位，如目標檢測、監控和情報收集等。其中，可見光圖像含有豐富的細節和紋理信息，但易受光線和天氣等因素的影響，難以捕捉到場景內的所有信息；紅外圖像是經紅外成像傳感器獲得的圖像，易丟失許多空間細節信息，視覺感受不自然。紅外與可見光圖像融合的目的是充分利用紅外圖像和可見光圖像的優勢，生成1幅含有豐富細節背景和熱目標的高質量圖像，便于計算機視覺任務[1]。

由于成像機理的不同，同一空間位置的紅外和可見光圖像的像素強度往往差異很大，為了得到具有良好視覺感知的融合結果，引入多尺度變換(multi-scale transformation,MST)。常用的MST方法包括：Curvelet、Contourlet、DTCWT等，雖然這些方法能將圖像分解為低頻子帶和高頻子帶，但它們不具有平移不變性，容易造成偽Gibbs現象。非下采樣contourlet(non-subsampled contourlet transform,NSCT)的變換過程包括非下采樣結構濾波和非下采樣方向濾波，且它們相互獨立，這樣能更好地保持圖像的邊緣信息和輪廓結構，增強圖像的平移不變性。因此，許多學者將NSCT變換應用到紅外與可見光圖像融合中，取得了較好的融合效果[2-5]。例如，Wu等[2]充分利用了NSCT靈活的多分辨率和多向性，以及PCNN的全局耦合和脈沖同步激勵特性，有效地將紅外圖像的特征與可見光圖像的紋理細節相結合；Wang等[3]從NSCT分解的近似子帶中提取亮/暗圖像特征，將提取的亮圖像特征和暗圖像特征與基于不同尺度局部能量圖的最大選擇規則進行融合。Zhao等[4]通過灰度能量差異性提取紅外圖像中的目標特征，再應用NSCT對紅外圖像和可見光圖像進行高低頻的分解，將灰度能量差異圖作為融合權重對紅外圖像和可見光圖像的低頻部分進行融合,對于高頻部分采用加權方差的規則進行融合；Zhang等[5]采用NSCT將源圖像分解為低頻子帶和高頻子帶，分別采用能量和與直覺模糊熵作為低頻子帶和高頻子帶的融合規則。

雖然NSCT變換增強了圖像的平移不變性，但在融合過程中未考慮空間一致性，容易引起亮度失真。隨著機器學習的發展，稀疏表示具有良好的去噪能力和空間一致性等特征，因此基于稀疏表示的圖像融合方法已成為主流方法之一。其中，潛在低秩表示(latent low-rank representation,LatLRR)具有較好的空間一致性，已有學者將其應用到紅外與可見光圖像融合中，并取得較好的融合結果[6-8]。

通過上述分析可知，NSCT變換能較好地保留了圖像的邊緣信息和輪廓結構，LatLRR方法能更好地平滑圖像紋理信息。因此，本文綜合NSCT和LatLRR的優勢，提出了基于復合分解與直覺模糊集的紅外與可見光圖像融合方法。實驗結果表明，本文融合方法在主、客觀評價中都有較好的性能。

1 相關理論

1.1 圖像NSCT分解

NSCT是由非下采樣方向濾波器組(NSDFB)和非下采樣塔式結構濾波器組(NSP)組成的，圖1給出了NSCT變換的結構圖。

圖1 NSCT變換三級分解結構圖

1.2 潛在低秩表示方法

LatLRR方法[9-10]具有較好的空間一致性，能有效提取原始數據中的全局結構和局部結構。它將圖像分解為基礎子帶與顯著子帶，其表達式為

X=BX+DX+N

式中：X是輸入圖像；B是基礎系數；D是顯著系數；XB,DX分別表示基礎子帶和顯著子帶；N表示稀疏噪聲。

將LatLRR問題進行最優化求解,其表達式為

2 融合方法及融合規則

設紅外圖像I與可見光圖像V融合后的圖像為F,圖2給出了本文融合算法。

圖2 本文融合方法的流程圖

其中,①表示NSCT分解方法;②表示LatLRR方法;③表示絕對值最大運算;④表示以視覺顯著度為權重的加權融合規則;⑤表示基于局部梯度幅值和拉普拉斯能量和的直覺模糊數,并以直覺模糊熵的最大選擇為融合規則;⑥表示NSCT的逆運算。

2.1 低頻子帶的融合規則

低頻子帶包含了大量的圖像基本信息,通過分解低頻子帶挖掘更多的有用信息,能有效進行低頻子帶融合。本文通過LatLRR方法提取低頻子帶的基礎信息和顯著信息。圖3是 “Camp”紅外低頻圖像的LatLRR分解示意圖,其中λ=0.8。

圖3 低頻圖層的LatLRR分解圖示

由圖3可以看出:采用LatLRR方法將低頻子帶分解為低頻基礎子帶和低頻顯著子帶,挖掘更多子帶信息,其不足之處在于紅外目標不顯著。

視覺顯著圖(visual saliency map,VSM)[11]不僅能夠捕捉顯著性目標、突出顯著性區域,而且能夠忽略噪聲。因此,計算低頻顯著子帶的視覺顯著圖,即

(1)

圖4 低頻顯著子帶和視覺顯著圖

由圖4可以看出,經V獲得的視覺顯著圖特征提取效果更好,紅外目標更加突出。

融合圖像的低頻子帶LF融合公式為

2.2 高頻子帶融合規則

直覺模糊集(intuitionistic fuzzy set,IFS)可以表示“非此非彼”的中立狀態,在刻畫事物的模糊性時更準確。如何確定融合區域隸屬于紅外區域還是可見光區域顯然是一個模糊問題。因此,許多學者將直覺模糊集應用到圖像融合方法中,并取得了較好的融合效果[5,12-14]。但這些融合方法均是通過圖像灰度值定義隸屬度,而高頻子帶主要描述源圖像的結構信息和紋理信息。

因此,結合局部梯度幅值En和拉普拉斯能量和Em,本文定義高頻子帶的隸屬度μ、非隸屬度vIFS和猶豫度πIFS分別為

式中

η(i,j)=Em(i,j)+En(i,j)

這里

L(i,j)=|2H(i,j)-H(i-1,j)-H(i+1,j)|+

|2H(i,j)-H(i,j-1)-H(i,j+1)|+

En(i,j)=max{G0,G45,G90,G135,G180,G225,G270,G315}

式中,H(i,j)表示源圖像的高頻子帶。

模糊熵是模糊集合論中的一個重要概念。模糊熵越大,模糊集包含的信息量越多。其局部模糊熵描述如下

融合圖像的高頻子帶HF融合公式為

式中：HI,HV分別表示紅外源圖像和可見光源圖像的高頻子帶;EI,EV分別表示紅外和可見光源圖像的局部模糊熵。

3 實驗及結果分析

在本節中,通過主、客觀評價多組融合圖像的效果,分析本文融合方法的有效性。其中,5組紅外與可見光源圖像對分別是“Road”、“Camp”、“Kaptein”、“UNcamp”和“Leaves”,它們均來自于TNO Image Fusion Dataset;采用的融合方法包括:Curvelet、DTCWT、LatLRR[6]、GCF[15]和本文方法。其中,Curvelet和DTCWT分別采用5層和4層分解,DTCWT濾波器參數為“legall”、“qshift-06”; LatLRR方法中設置參數α=0.8;本文融合方法的參數設置為:NSCT分解級數為4級,濾波器參數為‘pyrexc’和‘vk’,分解方向數為[2 3 3 4];圖像塊大小為3×3;α=0.8,λ=10。多種方法的融合結果如圖5所示,其中,圖5a)為紅外源圖像、圖5b)為可見光源圖像、圖5c)～5g)分別為Curvelet、DTCWT、LatLRR、GCF和本文融合方法。

圖5 源圖像及多種融合結果示意圖(從左至右依次為Road,Camp,Kaptein,UNcamp,Leaves)

3.1 融合圖像的主觀評價

對比Road組融合結果可以看出，基于Curvelet方法和DTCWT方法的融合結果存在明顯的光暈，例如行人、紅綠燈等，整體視覺效果較模糊；在基于LatLRR的融合結果中，行人存在很明顯的偽Gibbs效應，整幅圖像較為模糊；在基于GCF的融合結果中，能夠看出廣告牌上的字較為模糊；基于本文方法的融合結果不僅保留了可見光場景的細節信息，且行人、車輛、紅綠燈等紅外熱目標邊緣清晰，接近自然場景。

對比Camp組的融合結果可以看出，在基于Curvelet、DTCWT和LatLRR方法的融合結果中，左右兩側樹的辨識度相對較低，尤其是基于LatLRR融合結果中樹的紋理幾乎看不清；在基于Curvelet和DTCWT的融合結果中，行人周圍存在明顯光暈；雖然基于GCF的融合結果優于上述3種融合方法，但該方法保留了過多紅外信息，房頂處可見光信息幾乎全部丟失。基于本文融合方法的融合結果較好地保留了可見光圖像的豐富場景信息，也突出了紅外圖像的熱目標信息，尤其能較明顯地看出樹杈的紋理信息。

本文融合方法的優勢同樣體現在Kaptein組、Uncamp組和Leaves組的融合圖像中。例如，在Kaptein組中，本文方法較好地保留了地面、左側草叢等紋理信息，行人周圍沒有明顯的光暈現象；在Uncamp組中，在本文方法的融合結果中，“人”在結果圖像中對比度適中，燈光等背景細節信息清晰；在Leaves組中，基于本文方法融合結果的目標板更接近紅外源圖像，目標板與周圍細節信息更豐富。總體來說，在視覺質量上，本文融合方法較優于其他圖像融合方法。

3.2 融合圖像的客觀評價

為了更加客觀地評價本文融合方法的有效性，應用邊緣信息傳遞量QAB|F[16]、結構相似度SSIM[17]、特征相似度FSIM[18]和歸一化互信息NMI[19]分別從邊緣信息保留程度、結構相似度、特征相似度和信息相關程度評價融合圖像質量。這4個指標數值越大，則融合效果越好。圖6給出了多組融合圖像的客觀評價指標值。

圖6 多組融合圖像客觀評價指標值

由圖6可知，對于QAB|F,本文融合方法均優于其他融合方法(見圖6a))，表明本文融合方法很好地保留更多的邊緣信息；對于SSIM，本文融合方法在Road、Camp、Uncamp和Leaves圖像融合效果評價值最優，但在Kaptein融合圖像上本文融合方法次之(見圖6b))，表明了本文融合方法較好地保持源圖像的結構信息；對于FSIM，本文融合方法在Road、Camp、Kaptein和Uncamp融合圖像上對應的評價值最優，而在Leaves融合圖像上本文融合方法次之(見圖6c))，表明了本文融合方法較好地保持源圖像的特征信息；對于NMI，本文融合方法均優于其他融合方法(見圖6d))，表明了本文融合方法很好地保留源圖像的信息。從整體上，本文融合方法較其他融合方法具有更好的融合效果。

4 結 論

本文結合NSCT和LatLRR的優勢，將源圖像分解為低頻基礎子帶、低頻顯著子帶和高頻子帶，分別以加權和法、絕對值最大法、基于局部梯度幅值和區域拉普拉斯能量和的直覺模糊熵選擇最大為融合規則，最后通過NSCT逆變換獲得融合圖像。通過對多組融合結果的主、客觀評價，分析了本文方法是切實可行的，能夠得到具有豐富信息且較為清晰的融合圖像，在視覺質量和客觀評價方法較優于其他圖像融合方法。