基于RGF改進顯著性檢測與SCM相結合的圖像融合

鞏稼民,吳成超,郭劉飛,劉 威,裴夢杰,盧姣姣,高睿杰

(西安郵電大學通信與信息工程學院,陜西 西安710121)

1 引 言

作為圖像融合技術的一條重要分支,可見光與紅外圖像融合技術因其共享互補特性以及應用的廣泛性而備受國內外學者的關注。可見光圖像捕獲物體的反射光,具有較高的空間分辨率以及豐富的細節信息,但易受煙霧、氣候、光照等因素影響[1]。紅外圖像通過捕獲物體自身的熱輻射從而抵抗天氣、光照等因素干擾,但圖像分辨率低且紋理較差。因此,將兩種圖像融合可以得到信息豐富且互補的融合圖像[2]。目前,可見光與紅外圖像融合技術被普遍應用于軍事、安防監控、搜救等眾多領域。

基于多尺度變換的方法因其時頻局部化特性而成為當前研究的焦點。非下采樣剪切波變換(NSST)作為多尺度變換中最具代表性的方法之一,不僅可以避免由于移變性而造成的吉布斯效應[3],而且還具有比非下采樣輪廓波變換(NSCT)更小的運算量和更好的實時性。除此之外,NSST還可以有效地提取出圖像中所包含的紋理細節信息。姜等人[4]提出了一種基于NSST變換的紅外偏振圖像融合算法,解決了以往融合圖像中邊緣細節信息不夠充分的問題。

根據人眼視覺感知機制,基于顯著性檢測的融合方法可以保持顯著目標區域的完整性,并提高融合圖像的視覺質量[5]。Hou等[6]提出基于譜殘差的方法,通過對圖像進行傅里葉變換去消除冗余信息從而提取顯著目標部分。該方法雖然能以較高效率輸出顯著圖,但其顯著區域比較模糊,視覺效果較差。Achanta R等[7]提出的Frequency Tune(FT)顯著性檢測算法由于可以輸出全分辨率的顯著圖而被廣泛用于圖像融合領域。但FT算法在使用高斯濾波平滑小尺度目標時還容易模糊大尺度目標邊緣,導致融合圖像顯著目標邊緣信息的丟失。而Zhang等[8]提出的滾動導向濾波(RGF)在平滑小尺度目標后,通過迭代來恢復大尺度目標的邊緣,具有良好的邊緣和亮度保持特性。因此,本文設計了一種利用RGF來對FT進行改進的顯著性檢測算法。

此外,在圖像融合時,融合規則的選取十分重要。其中采用脈沖發放皮層模型(SCM)來融合圖像,既可以保持源圖像的信息,又能抑制融合圖像的像素失真。如,鞏等人[9]提出了一種對NSST分解后的高頻和低頻子帶圖像采用SCM進行融合的方法,得到的融合圖像包含了豐富的紋理細節信息。根據以上思想,本文提出一種基于RGF改進的顯著性檢測與SCM相結合的可見光與紅外圖像融合方法。為保證紅外目標的清晰完整,利用RGF改進的Frequency Tuned算法提取出顯著圖,通過投影方式指導低頻部分融合；為保留更多紋理細節信息,采用SCM結合區域能量與改進的拉普拉斯能量和融合高頻部分。與其他幾種算法相比,提出算法所得融合圖像紅外目標更清晰,背景細節更豐富。

2 基本原理

2.1 非下采樣剪切波變換

非下采樣剪切波變換[10](NSST)相較于非下采樣輪廓波變換[11](NSCT)有更高的計算效率和更好的融合效果。NSST對圖像的分解主要由以下兩個過程組成:

NSST對圖像分解的具體過程如圖1所示。圖中展示了k=2時的分解過程,其中,f表示子帶圖像系數,上標中1,2表示尺度因子k的不同取值,l表示不同的方向,下標a和b分別代表低頻和高頻。

圖1 NSST分解流程圖

2.2 FT算法原理

FT算法有以下優點[12]:1)能有效過濾噪聲以及紋理的高頻成分；2)能較好地定義出目標的邊界；3)可以突顯出最顯著的目標；4)能夠輸出與原圖像相同大小的顯著性圖；5)能比較均衡地呈現出顯著區域。因此,FT算法被普遍應用于圖像融合領域。FT算法通過頻域高斯差分濾波(Difference of Gaussians,DoG)的方式來進行顯著性檢測,其中選擇的頻率范圍為(0,π/2.75),高斯差分濾波器公式為:

=G(x,y,σ1)-G(x,y,σ2)

(1)

(2)

令k=ρN由公式(2)可知,取大的k值可以獲得與同時使用多個DoG濾波器一樣的效果。在FT算法中,為取大的k值將ρ趨于無窮大,并且再使用一個小的高斯核函數對圖像中的高頻噪聲以及對顯著目標造成干擾紋理細節進行過濾。因此,用FT算法對圖像進行顯著檢測的過程可表示為:

M(x,y)=‖Iμ-Iwhc(x,y)‖

(3)

式中,Iμ為輸入圖像I的平均灰度值;Iwhc(x,y)為輸入圖像I經高斯濾波后在像素點(x,y)處的灰度值;‖·‖表示L2范數。

2.3 基于滾動導向濾波改進的算法RGF-FT

由于原FT算法在采用高斯濾波濾除輸入圖像中噪聲和紋理的同時還容易造成圖像邊緣信息的丟失,而滾動導向濾波(Rolling Guidance Filter,RGF)不僅可以去除復雜背景,還能保證顯著目標邊緣的準確性,因此本文采用RGF對原FT算法進行改進。RGF算法可用公式表達如下:

(4)

式中,

(1)當t=0時,設J0為常數,此時RGF相當于高斯濾波主要執行小尺度消除功能。對于尺度小于σs的結構RGF會將其消除,由此可以消除輸入圖像中的噪聲和紋理信息,但同時也會一定程度上模糊大尺度結構邊緣。

(2)當t>0時,RGF主要執行大尺度邊緣恢復功能,此過程主要分為迭代和導向濾波兩部分。RGF將經過小尺度消除處理后的輸出J1作為引導圖像,原始輸入I作為輸入圖像,進行導向濾波；然后將導向濾波的輸出J2作為下一次導向濾波的引導圖像再進行導向濾波,以此進行迭代直到迭代次數完成,恢復出含有清晰的大尺度邊緣圖像Jt+1。

利用RGF改進后的顯著性檢測算法RGF-FT提取顯著圖可表達為:

M(x,y)=‖Iμ-IRGF(x,y)‖

(5)

式中,IRGF(x,y)為滾動導向濾波后像素點的灰度值,其他參數同公式(3)。

不同算法提取顯著圖結果如圖2所示。其中,SR為文獻[6]基于譜殘差的算法。由圖2(e)與(f)可以看出本文改進算法在提取出完整顯著目標的同時,還保留了原FT算法所不具備的目標邊緣細節信息,并且目標人物更清晰,與源圖像目標人物更相近。

圖2 不同算法顯著圖

2.4 脈沖發放皮層模型與賦時矩陣

脈沖發放皮層模型[13](SCM)是由脈沖耦合神經網絡[14](Pluse Couple Neural Network,PCNN)簡化而來。SCM繼承了PCNN與人眼視覺機制一致的優點,相比于比PCNN,SCM具有更低的復雜度和更高的計算效率,并且SCM在處理圖像時對于圖像的細節信息具有比PCNN更強的表達能力[15]。

SCM的原理圖如圖3所示,SCM神經元是由接收域、調制域和脈沖發生域三塊區域構成。在接收域中,神經元接收外部激勵Sij并根據鄰域神經元的輸出Ypq計算鏈接輸入Lij；在調制域中,將來自接收域的外部激勵Sij和鏈接輸入Lij進行非線性調制,再將調制后的結果作為神經元內部活動Uij輸出；最后,神經元通過對比內部活動項Uij與脈沖發生閾值Eij來決定神經元的脈沖輸出Yij。當脈沖輸出為1時,神經元被激活并產生點火；輸出脈沖為0時,神經元不產生點火。

圖3 SCM結構原理圖

SCM模型可用數學表達式表示為:

(6)

式中,(i,j)為神經元位置坐標；n為迭代次數；F為反饋輸入；S為外部激勵；L為鏈接輸入；VL為放大系數；(p,q)為區域范圍；Wij,pq為神經元間連接權重系數矩陣；U為神經元內部活動；Y為神經元輸出；k和g為衰減系數；h為閾值活動系數。

對于SCM而言,迭代次數n的大小會直接影響整個模型的性能,選擇一個合適的迭代次數可以有效地提升融合圖像的質量。為此,選擇在SCM的輸出端添加一個賦時矩陣[16]。賦時矩陣可用來記錄神經元完成第一次點火時的迭代次數n并且能有效地避免SCM迭代次數過多的問題。最后,將賦時矩陣的輸出作為SCM的點火映射矩陣輸出,賦時矩陣可用數學表達式定義為:

(7)

式中,(i,j)為神經元位置坐標；T為點火映射矩陣；n為迭代次數；S為外部激勵；Y為神經元輸出。

3 融合算法

本文的融合算法整體流程如圖4所示。步驟如下:

(1)將可見光圖像與紅外圖像使用NSST分解,得到各自的低頻和高頻子帶圖像。

(2)采用改進的顯著性檢測算法RGF-FT提取出紅外源圖像的目標顯著圖。

(3)將紅外目標顯著圖投影到紅外低頻子帶圖像上,從而映射出紅外低頻圖像的目標區域和背景區域。

(4)針對可見光低頻、紅外低頻目標區域、紅外低頻背景區域使用不同的規則進行融合；對可見光高頻和紅外高頻采用SCM結合區域能量與改進的拉普拉斯和(SML)進行融合。

(5)對融合后的低頻和高頻子帶圖像使用逆NSST變換,得到最終融合圖像。

圖4 融合算法整體流程圖

3.1 低頻融合規則

低頻子帶圖像是源圖像的一種近似,其中包含了大部分的源圖像能量。對于紅外源圖像而言,能量主要集中在亮度較高的紅外目標區域。因此,利用RGF-FT算法檢測出紅外圖像目標顯著圖并將其投影到紅外低頻圖像上,可以準確的將紅外低頻子帶圖像中的目標區域與背景區域分離開。為了讓最終融合圖像保留更完整的紅外目標信息,將投影映射出的紅外低頻目標區域對應的子帶系數作為最終融合圖像對應區域的低頻子帶系數。具體過程如下:

設紅外源圖像系數為R(x,y),RGF-FT算法檢測出的目標區域為θ,則紅外源圖像顯著目標區域系數可表示為:Rθ(x,y)；根據投影像素的位置關系,得出紅外低頻子帶圖像顯著目標區域系數和紅外低頻子帶圖像背景區域系數為:

(8)

式中,(x,y)為像素點坐標；Rl(x,y)為紅外低頻子帶圖像系數；Rlo(x,y)和Rlb(x,y)分別為紅外低頻子帶圖像目標區域系數和背景區域系數。最后得出最終融合圖像的目標區域低頻子帶系數Flo:

Flo(x,y)=Rlo(x,y)

(9)

可見光低頻子帶圖像中包含了比紅外低頻圖像更多的背景信息,這些信息對于融合圖像的背景來說尤為重要。在傳統方法中往往僅選擇可見光低頻圖像的背景信息作為最終融合圖像的背景。然而,紅外低頻圖像中的背景信息也不可忽略,為此采用對比可見光低頻圖像與紅外低頻圖像信息熵IE的方法,去選擇信息熵較大的那類圖像去作為最終的融合結果。因此,最終融合低頻子帶圖像的背景區域融合系數Flb:

(10)

式中,Vl(x,y)為可見光低頻子帶圖像系數；IE為圖像的信息熵,其定義式為:

(11)

式中,pi表示圖像中第i級灰度值出現的概率。

3.2 高頻融合規則

經NSST分解后的高頻子帶圖像攜帶了豐富的紋理細節信息。為了突出最終融合圖像的紋理細節并減少噪聲信息的影響,采用高頻子帶系數所對應鄰域的能量作為紋理細節信息突出程度的度量指標；同時,為了減少信息丟失,將改進的拉普拉斯能量和[17](Sum-Modified Laplacian,SML)作為圖像清晰度的度量指標。最后,將區域能量與SML相結合作為SCM的外部激勵。具體表達式為:

(12)

(13)

式中,Epq為區域能量；SML為改進的拉普拉斯能量和；H為高頻子帶系數；M和N取值為3；ML為拉普拉斯算子,其計算公式如下:

ML(x,y)=|2H(x,y)-H(x+1,y)-H(x-1,y)|+

|2H(x,y)-H(x,y+1)-H(x,y-1)|

(14)

將區域能量Epq與改進的拉普拉斯能量和SML的乘積作為SCM的外部激勵S,進而得出賦時矩陣輸出T。外部激勵的表達式為

S(x,y)=Epq(x,y)·SML(x,y)

(15)

對于融合圖像高頻子帶系數Fh選取規則如下:

(16)

式中,Vh(x,y)為可見光高頻子帶系數；Rh(x,y)為紅外高頻子帶系數；TVh和TRh分別為可見光高頻子帶圖像和紅外高頻子帶圖像的賦時矩陣輸出。

最后將得到的各個融合系數Flo,Flb,Fh進行逆NSST變換,從而得到最終融合圖像。

4 實驗結果及分析

為驗證所提出圖像融合方法的可行性以及有效性,實驗從TNO數據集中選取三組圖像進行融合仿真實驗。實驗仿真環境采用配置為Intel Core i5-6300H CPU,運行內存8 GB,搭載64位Windows 10系統和MATLAB 2014b的PC機。同時,選取其他顯著性融合算法MST[18]、VSM-WLS[19]以及其他神經網絡融合算法NSCT-PCNN[20]進行對比,MST、VSM-WLS和NSCT-PCNN三種方法的參數設置均和原文獻保持一致。本文方法的NSST分解尺度參數nlevel為[2,2,4,4],濾波器參數為“maxflat”；RGF-FT算法中σs、σr和t分別設置為4、0.1、4；所使用SCM模型中衰減系數k和g分別設置為e-1和e-0.5,閾值活動系數h為20,權重系數設置為:

4.1 主觀評價

第一組圖像融合結果如圖5所示。圖(c)背景的邊緣信息以及紋理細節信息較為豐富,樹木比較清晰,但目標人物偏暗并且較為模糊,人物的顯著度不夠。圖(d)中目標人物清晰完整并且比較突出,但是環境背景對比度偏低。相較于可見光圖(b),圖(d)樹木與地面的清晰度和立體感較差。圖(e)雖然對可見光圖像(b)的背景信息保留較好,但目標人物部分的融合不徹底,目標人物不明顯,難以和樹木分辨開來。同時,融合后的圖像還引入了大量的噪聲,視覺效果較差。綜合來看,本文提出方法的融合圖像(f)中目標人物突出且完整,背景的邊緣和紋理細節信息較為豐富,從整體上來看,融合圖像也更具有立體感和層次感,同時融合后的圖像表現也更加自然,更加符合人眼視覺對場景的觀測效果。

圖5 第一組圖像融合結果

第二組圖像的融合結果如圖6所示。根據融合結果可以看出,圖(c)中車輛和路面以及路燈等背景信息較為清晰,但目標人物不夠突出和完整,汽車受燈光影響較為嚴重,圖像的層次不太明顯。圖(d)中目標人物和汽車較為清晰,路面上紋理細節信息也較為豐富,但圖像整體偏暗,對比度較低,目標人物顯著度不足,人物上半身不明顯。圖(e)的整體對比度較高,但目標人物不夠突出,人物上半身也比較模糊,路面等背景區域上還出現一部分陰影,從整體上來看,圖像的清晰度也較低。與其他三種方法相比,本文提出方法的融合圖像不僅能完整的突顯人物和保留清晰的路面紋理細節信息,而且圖像的整體清晰度較高,視覺效果更好。

圖6 第二組圖像融合結果

第三組圖像的融合結果如圖7所示。通過融合結果可以看出,所有融合圖像都表達出了該場景中的人物、交通燈和汽車等顯著性特征,但圖(e)中的路面以及建筑物等區域出現了不同大小陰影,視覺效果較差。圖(c)和圖(d)中廣告牌、路面以及建筑物的紋理細節比較清晰,但圖(d)的整體亮度偏暗并且對比度也較低。圖(c)與圖(f)相比,圖(f)場景中的熱源物體更顯著且圖像的清晰度更高。

圖7 第三組圖像融合結果

4.2 客觀評價

主觀評價雖然能比較直接的評判出融合圖像的優劣,但是由于每個人的視覺敏感度存在差異,其主觀的評價結果具有一定的片面性。因此,本文選用了6種客觀評價指標來檢驗本文所提出融合方法的性能。6種客觀評價指標分別是:平均梯度(AG)、標準差(STD)、信息熵(IE)、互信息(MI)、結構相似度(SSIM)和邊緣保留因子(QAB/F)。以上6種評價指標均為正向指標,其值越大越好。四種方法的三組融合圖像評價指標如表1、表2及表3所示。

表1 第一組融合圖像評價指標

表2 第二組融合圖像評價指標

表3 第三組融合圖像評價指標

表1中本文提出的方法除AG指標沒有MST方法高外,另外5項評價指標均比其他三種方法高。說明本文方法的融合圖像保留了大量的源圖像顯著目標信息和背景細節信息；表2中本文方法只有SSIM指標比VSM-WLS稍低,其他各項評價指標均高于三種對比方法,其中邊緣保留因子領先幅度最大,表明本文方法所得融合圖像具有豐富的邊緣細節信息；表3中本文提出方法的6項評價指標均高于其他三種方法,說明本文方法所得融合圖像具有較高的對比度和清晰度,視覺效果較好,更加符合人眼視覺系統對實際場景的觀測。|總體來說,客觀評價結果與主觀評價結果大致相同,表明了本文所提出方法較三種對比方法具有一定的優勢。

5 總 結

本文了提出一種基于RGF改進顯著性檢測和SCM相結合的可見光與紅外圖像融合方法,利用改進的RGF-FT算法提取出紅外源圖像的目標顯著圖并將其映射到低頻圖像上,用來指導低頻子帶的融合能夠有效突出圖像清晰完整的顯著性目標；采用SCM結合區域能量與SML融合高頻子帶能夠有效的保留圖像的背景紋理細節信息。實驗結果表明,本文提出的方法相比于其他幾種方法在主觀視覺上和客觀評價上均具有一定優勢。但本文提出的方法在融合圖像的結構相似度方面仍有提升的空間,下一步的研究將會在突出顯著性特征和保留細節信息的方向上繼續努力,同時全力改善融合圖像的結構相似度。