基于方向導波增強的紅外與可見光圖像融合

張 慧,常莉紅

(寧夏師范學院數學與計算機科學學院,寧夏 固原 756000)

1 引 言

圖像融合主要是將來自同一傳感器在不同條件,或者不同傳感器獲取的同一場景中的多幅源圖像進行合并[1]。紅外線和可見光圖像融合可以綜合兩種圖像的優點[2],獲取更多的場景信息與目標指示,所以近些年被廣泛應用于軍事、監控、安防等領域。

基于多尺度分解的方法在紅外線與可見光圖像融合較為流行,多尺度分解能夠實現圖像尺度和空間特征的自動定位,正好符合人類視覺神經對物體的處理機理。傳統的多尺度方法包括小波變換、非下采樣輪廓波變換,四元數小波變換等,這些方法在圖像融合中取得較好的效果[3-5],但是在空間一致性表現一般。李等人在文獻[6]中提出了一種基于方向導波分解的圖像融合方法,提高了像素顯著性和空間一致性。隨著紅外線與可見光圖像融合方法的深入研究發現,在同一場景下紅外線圖像與可見光圖像對比度反饋可能截然不同,一般的多尺度分解將會降低可見光圖像中包含的原始的視覺信息。文獻[7]中提出同時利用多尺度高斯濾波和雙邊濾波分解源圖像為多尺度紋理細節和邊界特征,能夠增強背景中目標的可視度和可見光圖像的細節,更加適應人類的視覺效果。所以在選取分解方法時應該綜合文獻[6]、[7]方法的優點,既能提高像素顯著性和空間一致性,又能獲得更加適應人類視覺效果。

在較暗的光線條件下,可見光圖像的對比度比較低,直接融合紅外線與可見光圖像融合后視覺效果不佳,所以增強可見光圖像的信息是非常有必要的。如文獻[8]～[10]中提到幾種增強方法都取得的不錯的效果,但還是有弊端,例如計算成本高,或者會產生偽影等。

在圖像融合中融合規則也起到了決定性的作用,多尺度分解中最常用的基礎層融合規則就是取平均值的方法[11]。但能量大多包含在基礎層,基于平均值的融合規則往往使融合圖像中的能量損失,導致對比度降低。經改進后的融合規則,如劉等人在文獻[12]中將稀疏表示作為基礎層的融合規則,很好的解決了對比度下降的缺點；但是,基于稀疏表示的融合方法一般都采用滑動窗口的技術,因此在融合的過程中往往會對圖像的細節過于平滑,致使圖像細節模糊。所以在基礎層融合規則中需要解決能量保存和細節提取的問題。

基于以上的描述,本文提出一種基于方向導波的夜視背景內容增強的紅外線與可見光圖像融合的方法:首先,在圖像融合前對可見光圖像的內容進行增強,接下來使用方向導波多尺度分解可見光與紅外線圖像,將圖像分解后再分別合成大尺度層、小尺度層和基礎層。在大尺度層的信息合成過程中利用視覺基礎上的正則化參數來決定融入紅外線光譜特征的相對數量,實現紅外線圖像的信息加到可見光圖像的過程。最后,在基礎層使用能量保護與細節提取法作為融合規則,同時解決能量保存和細節提取的問題。實驗結果表明,本文所提出的融合方法在主觀評價和客觀評價上都取得了較好的效果。

2 相關理論

2.1 利用方向導波的圖像增強

為了增強較暗光線下可見光圖像的夜視背景,文獻[6]給出了一種有效的方法—基于方向導波的高動態范圍壓縮的圖像增強方法。為了方便描述,我們標記方向導波算子為GFr,ε(·),r與ε是關于導波尺寸和保護圖像邊緣程度的參數,則基本步驟可以表述如下:

(1)對輸入圖像I先利用方向導波算子進行分解得到基礎層Ib=GFr,ε(I)。

(3)增強后的圖像為:

(1)

圖1給出了兩組不同夜視背景下可見光圖像的增強示例,圖1(a)中源圖像照明條件較弱,利用式(1)進行增強的結果為圖1(b),從中可以看出區域的夜視背景下細節部分明顯得到了增強。但是,圖1(c)有較好照明條件,增強后的效果一般。因此,圖像的增強效果依賴于可見光圖像本身成像時的光照條件。

圖1 兩組可見光圖像的增強結果Fig.1 Visibility enhancement results for two set of test visible images

2.2 基于多尺度分解的方向導波

給定待濾波圖像P,引導濾波將輸出圖像O,引導圖像假定為),則根據文獻[6],方向導波算子記為GFr,ε(·) 。文獻[13]中曾證明,如果引導圖像I與輸入圖像P完全相同,方向導波具有良好的保邊性,在多尺度分解中用方向導波可以代替雙邊濾波；另一方面,如果ε的值足夠大,方向導波能夠在多尺度分解過程中反復轉移高頻的信息,在這種情況下方向導波可以用來替代高斯濾波。所以采用基于多尺度分解的方向導波進行分解不僅可以滿足文獻[7]里的混合多尺度分解,還可以滿足文獻[6]里的方向導波分解的要求。

根據文獻[13],新的基于方向導波的尺度分解框架結構如圖2所示。

圖2 基于多尺度分解的方向導波融合流程圖Fig.2 Flow chart of fusion based on MSD of the guided filter

Ir,Iv是輸入的紅外線圖像與可見光圖像,首先,給出兩組方向導波:

最后,可以通過式(2)和式(3)來獲得多尺度紋理細節及邊界特征。

(2)

(3)

2.3 基于視覺的正則參數選擇

本文提出一種基于視覺的正則參數選擇方法,即描述人類視覺系統對于各種視覺刺激偏好的敏感度函數(CSF),參數選擇方法如下[13]:

(1)使用索貝爾算子獲得輸入圖像的每一個像素x的梯度強度G(x)。同時,輸入圖像被分為不重疊的窗口,在每一個局部的窗口中的原始圖像的信息被轉變在頻域。

(3)在每個窗口中視覺能量Ei都通過Ci(u,v)平方的和獲得,輸入圖像的視覺顯著性(PS)被定義為所有原始視覺能量的加權平均。

最后,參數τ的值由相對的視覺顯著性的值來決定。

(4)

當Rs<0.8時,我們假定紅外線圖像與可見光圖像相比缺乏足夠的視覺信息,所以參數τ選擇參數值為100,最大的參數值不超過2000。參數τ可以全局性的決定加入可見光圖像的紅外線光譜信息的相對數量。τ的值越大時,越多的紅外線光譜信息融入可見光圖像中。

3 分解后的信息合成

3.1 小尺度層的信息合成

圖2展示了整體的紅外線與可見光圖像基于方向導波的圖像分解與信息合成,Ir,Iv經過分解后依據不同的尺度層:大尺度層,小尺度層和基礎層,通過不同的權重選擇進行來進行信息的合并。

頂層的分解信息被選中作為小尺度層的合并,在這一層的融合權重是由絕對值最大的選擇方法決定的。

那么在尺度層的復合信息利用下式進行計算:

(5)

3.2 大尺度層的信息合成

大尺度層包含從j=2到j=n的分解層,大尺度層包含紅外線圖像邊緣特征信息的大尺度特征。紅外線被壓縮的邊緣特征常常對于紅外線重要的光譜特征,并且可以用來決定紅外線圖像信息的融合權重。

首先,紅外線光譜在每一層中重要的特征利用以下公式確定的:

(6)

融合權重計算如下:

(7)

在大尺度層被分解的信息通過如下方法來合成:

(8)

3.3 基礎層的信息合成

在這里根據文獻[14]提出基礎層上基于能量保護和細節提取的合成權重:

首先給出一個活躍水平的測量方法稱為WLE,定義如下:

LS(i+m,j+n)2

(9)

由于分解層數的有限性,導致在基礎層中仍然包括一些細節信息,為了從源圖像中完全提取細節信息,可以利用WSEML來測量活躍水平,定義如下:

(10)

EML如下定義:

EMLS(i,j)=|2S(i,j)-S(i-1,j)-S(i+1,j)|+|2S(i,j)-S(i,j-1)-S(i,j+1)|

(11)

基礎層的最終活躍水平測量被定義為WLE和WSEML的乘法,因此基礎層權重的計算如下:

(12)

最后,被分解的基礎層通過下式被合成：

BF=CbBr+(1-Cb)Bv

(13)

4 實驗結果與分析

4.1 測試集與所比較的算法

為了驗證本文所研究方法與所比較算法的融合效果,選取如圖3所給的6組紅外線與可見光圖像的測試集(來源于http://www.imagefusion.org/),第一行的圖片所給的是可見光圖像,第二行所給的是同一場景中的紅外線圖像。本文所提方法(記為EGFF)和所要比較的算法分別為拉普拉斯變換方法、對偶數復小波變換方法、曲波變換方法、小波變換方法和非下采樣輪廓波變換。分別記為LP 、DTCWT、 CVT和 DWT,以及NSCT,所有的尺度分解都選4層分解。

圖3 測試集Fig.3 Test set

4.2 圖像質量評價指標

為了更加客觀地評價融合的效果,本文采用6種常見的融合指標對各種融合方法進行客觀質量評價。六種融合指標分別為度量圖像中信息豐富程度的熵(Entropy,EN),度量融合圖像中結構信息的標準偏差(Standard deviation,SD),度量保留源圖像信息量的互信息(Mutual information,MI)[15]、基于結構相似度的梯度評價指標QG[16],和描述圖像邊緣信息的相位一致性的度量指標QP[17],以及融合圖像結構相似度的度量QY[18]。在評價的過程中,這些評價指標的數值越大說明融合效果越好。

4.3 融合后的主觀評價

由于篇幅原因,我們從實驗結果中任意選出一組示例圖。從融合結果可以看出:幾種融合方法都實現了紅外線圖像和可見光圖像的融合,但在目視效果上還是有一定的差別。從圖4 中可以看到,本文提出的方法對于遠處樹木的處理效果最好,與其他幾種方法相比較樹木的紋理更清晰,輪廓更清楚。經本文所提出的方法處理后的地面,與其余方法相比較,在對比度上表現最優,并且地面物體輪廓也最清晰。總體上本文所提出的方法將紅外線圖像中的很多信息在融合后的圖像中被保留,并且在細節處理上也是非常好,對比度得到了提升。

圖4 一組實驗結果圖Fig.4 A set of experimental results

4.4 實驗結果與討論

表1給出的是6組圖像經不同融合方法后客觀評價指標的結果,由于篇幅原因,表中的數據是6組圖像在同一方法、同一指標下六組數據取平均值。通過梳理六種客觀評價指標的測試數據(加粗數據表明結果最好),可以看出本文給出的融合方法在處理細節、能量保護方面都有以及在保留源圖像的信息方面有非常好的效果。

表1 用LP、DTCWT 、DWT 、NSCT、CVT和EGFF方法融合得到的指標Tab.1 Comparison with LP、DTCWT 、DWT 、NSCT、CVT and EGFF of different processing results

5 結 論

本文提出一種基于夜視背景增強的可見光與紅外線圖像融合方法,首先利用方向導波對可見光圖像的內容進行增強,提高可見光圖像在照明條件不好情況下的融合效果。同時,為了提高空間一致性與像素顯著性、實現將紅外線圖像的信息加入到可見光圖像中去,本文利用方向導波的多尺度分解將源圖像分解后,再分別合成小尺度層、大尺度層和基礎層。在大尺度層的信息合并中,依據基于視覺的正則參數選擇將紅外線圖像的信息加入到可見光圖像中去。為了確保源圖像中細節完全的提取,在基礎層的信息合成過程中使用了基于細節保護和能量提取的融合方法。實驗結果也驗證了本文方法的有效性。