基于雙邊濾波的可見光與紅外圖像自適應融合

唐偉， 賈方秀， 王曉鳴

(南京理工大學 智能彈藥技術國防重點學科實驗室， 江蘇 南京 210094)

0 引言

可見光圖像擁有豐富的細節紋理等信息，但當目標出現遮擋或者光線不足、雨霧等惡劣天氣時，難以捕獲其關鍵信息；而紅外圖像能在惡劣條件下清晰地探測到物體目標，缺點是圖像分辨率相對較低[1]。可見光與紅外圖像融合技術能夠充分融合二者的互補信息，融合之后的圖像能夠更加全面地描述場景特征[2]。可見光與紅外圖像融合技術在目標識別[3]、目標跟蹤[4]、航空航天、國防安全等領域有著重要的作用。

基于多尺度變換的融合方法能夠很好地提取圖像的細節信息進行融合，更符合人類視覺系統，因此這類方法能夠有良好的性能[5-6]。可見光圖像有豐富的細節特征信息，如點、線、邊緣等特征，紅外圖像缺少可見光圖像特有的細節信息，而傳統的多尺度分解方法對二者圖像采用相同的多尺度分解方式來獲得源圖像低頻和高頻部分，并沒有根據紅外圖像與可見光圖像各自的特點設計不同的多尺度分解方式，因此本文根據二者獨有的特性，設計了一種基于雙邊濾波的分解方式，在能夠提取可見光細節特征的同時，又能夠提取紅外圖像特有的信息。

通過多尺度變換能夠得到圖像的低頻部分和高頻部分，低頻部分包含了源圖像大部分信息，而高頻部分則包含了圖像細節等信息，因此往往需要根據高頻與低頻部分的特點設計不同的融合規則。高頻部分的融合，通常采用絕對值最大的融合方法，這樣的融合規則容易使得圖像之間各自的信息失衡[7]。文獻[8]采用區域標準差的方法來融合高頻部分，通過計算3×3窗口大小的標準差來確定融合的權值，而標準差反映了數據的離散程度，由于圖像高頻信息往往包含點、線、邊緣細節等信息，離散程度相對較高，標準差對圖像高頻部分不能進行有效的度量。低頻部分的融合規則一般采用簡單的求和平均的方法，但這種融合方法會導致低頻部分某些信息的丟失，如紅外圖像特有的信息在平均之后會變得平滑模糊。文獻[7]提出了一種基于紅外圖像改進拉普拉斯能量和的正則化參數來確定低頻部分的融合權重，但是也需要根據具體圖像場景人為設定正則化參數的值。文獻[9]提出了一種利用紅外信息來確定融合權重的方法，該方法雖然能更方便地選擇正則化參數值，但當使用該方法融合可見光與紅外圖像反差較大的區域時難以調整其融合參數，不易達到理想的效果。針對以上問題，對低頻部分的融合，本文提出了一種自適應正則化參數的融合方法，能夠根據圖像場景的不同自適應確定融合的權值。高頻部分的融合，本文算法提取了源圖像特有細節和局部細節，為了最大程度上保留可見光與紅外圖像特有的信息，特有細節部分采用絕對值最大的融合方法，而局部細節部分包括源圖像大量的邊緣、線等細節信息，因此本文提出了一種基于邊緣能量的融合方法，通過計算其邊緣能量值來確定融合的權值。

1 基于融合的雙邊濾波

經典的雙邊濾波算法能夠很好地保留圖像的邊緣細節信息，當使用雙邊濾波提取圖像某個尺度信息時，不能很好地提取紅外圖像中的人物信息，如 圖1(a) 和圖1(c)的人物目標，雙邊濾波之后紅外圖像特有的人物目標沒有明顯的變化，不易于提取人物目標。因此本節針對可見光與紅外圖像融合的特性，設計了一種適用于可見光與紅外圖像融合的雙邊濾波算法。

圖1 兩種濾波算法濾波后的圖像對比

1.1 經典的雙邊濾波方法

雙邊濾波是一種能夠保留圖像邊緣細節的非線性濾波[10]，對于明顯的邊緣細節信息能夠較好地保留，對于局部弱小的紋理細節有一定的平滑作用。傳統的高斯濾波只考慮圖像像素點在空間上的位置關系，容易丟失圖像的強邊緣信息，雙邊濾波不光考慮了圖像像素點之間的空間位置關系，還考慮了圖像像素點與其鄰域像素點的像素大小之間的關系。圖像I在像素點I(x,y)的雙邊濾波Ib(x,y)可表示為

(1)

(2)

(3)

(4)

式中：Gσs、Gσr分別表示空間位置的濾波核、像素大小的濾波核，s、r分別為區分空間位置和像素部分的高斯標準差；σs、σr分別表示空間位置和像素大小的高斯標準差；I(i,j)表示像素點I(x,y)的鄰域像素；Ω表示圖像I的濾波窗口。

在原始圖像像素變化較小的區域，I(x,y)與I(i,j)基本一致，即Gσr近似為1，雙邊濾波的效果與高斯濾波的結果基本一致，因此該濾波方法不能有效地保留局部弱小紋理細節部分。當原始圖像像素大小變化明顯時Gσr不能近似為1，雙邊濾波算法考慮到了該像素點鄰域內像素值的差異，能夠很好地保留圖像的邊緣信息。因此取原圖像與濾波后的圖像的差值表示為圖像的局部細節信息，該信息是源圖像被經典雙邊濾波平滑掉的噪聲、弱小紋理細節信息，但如果對可見光和紅外圖像采用相同的雙邊濾波算法，濾波后的圖像保留了原始圖像的邊緣輪廓等信息，不能通過計算原圖像與濾波后圖像差值的方式來獲取圖像特有細節信息。該信息包括紅外圖像相對于可見光圖像特有的邊緣輪廓等信息或可見光圖像相對于紅外圖像特有的邊緣輪廓等信息，如紅外圖像的人物顯著邊緣輪廓信息。

1.2 可見光與紅外圖像融合的雙邊濾波算法

基于傳統雙邊濾波的融合算法對源圖像采用相同的分解方式，雖然該方法能夠提取源圖像大部分局部弱小細節信息，但是不能提取紅外圖像和可見光圖像特有的細節信息。后續的融合過程會丟失紅外圖像和可見光圖像特有的細節信息部分，所以本文提出了一種改進的雙邊濾波算法來提取可見光或紅外圖像特有的細節信息，經典雙邊濾波算法中像素域原本只有單一圖像的像素值，改進的算法同時引入了可見光圖像和紅外圖像的像素值，該方法能充分提取圖像的局部細節信息和特有細節信息，具體的表示方法如(5)式、(6)式所示。

改進后的雙邊濾波可以表示為

(5)

(6)

式中：Ie表示與I相對應的另一種源圖像。通過設定合適的σr值，由(5)式可以得到濾波后的圖像Ib,e，其中圖像I與圖像Ie相同的細節信息將會被模糊平滑，不同于圖像Ie的獨特信息會被保留下來，因此通過這種濾波算法可以得到圖像I獨特的細節信息。對比圖1(c)和圖1(d)可以看出：紅外圖像的局部弱小紋理細節均被平滑模糊，圖1(c)中的紅外特有人物目標信息與有原圖像中的人物基本一致，不便于提取目標信息；圖1(d)中的紅外特有人物目標信息被過濾掉絕大部分，因此后續的方法能夠輕松地提取紅外圖像特有的人物目標信息。

2 基于雙邊濾波的可見光與紅外圖像融合

本節針對傳統的分解方法不能充分提取圖像特有細節信息的問題，提出了一種基于雙邊濾波多尺度分解算法來提取可見光或紅外圖像特有的細節信息。同時在圖像融合階段，針對目前基于正則化參數的融合方法需要人為調整參數的問題，提出了一種完全自適應控制融合權值的方法，該方法不需要人為調整參數，同時融合后的圖像細節更加豐富、圖像整體更加自然。

本節所提出的圖像融合方法主要由圖像分解，分解之后的融合以及圖像重建三個部分組成。圖像分解部分主要是通過雙邊濾波和改進的雙邊濾波將源圖像分解為高頻細節和低頻近似兩個部分，高頻細節部分包括圖像局部細節部分和特有細節部分，低頻近似部分包括圖像的基礎部分；然后采用不同的融合規則對這三部分進行融合；最后通過融合之后的基礎、局部細節、特有細節三個部分重建融合后的圖像。

本節提出的可見光與紅外圖像的融合框架如 圖2 所示，假設在進行可見光與紅外圖像融合之前，所使用的紅外與可見光圖像均進行了配準，圖像融合的具體步驟如下。

圖2 融合算法流程圖

2.1 基于雙邊濾波的多尺度分解

源圖像經過經典的雙邊濾波可以得到濾波后的圖像Ib，Ib保留了源圖像明顯的邊緣輪廓等信息，圖像的噪聲、弱小的紋理細節被平滑模糊，因此可以取原圖像與濾波后的圖像的差值表示圖像的局部細節信息E；而源圖像通過改進的雙邊濾波可以得到濾波后的圖像Ib,e，Ib,e中所包含的局部細節信息同樣被平滑模糊，同時平滑模糊掉了源圖像獨特的特有細節信息，因此可以得到源圖像所包含的特有細節信息D；Ib,e表示源圖像的基礎部分B。根據雙邊濾波算法可以將圖像分解為B、D和E三部分，具體的計算方法可以表示為

B=Ib,e
D=Ib-Ib,e
E=I-Ib

(7)

圖3 本文提出的多尺度分解算法流程

Ij=Bj+Dj+Ej

(8)

(9)

(10)

2.2 低頻部分融合規則

為了充分保留可見光圖像和紅外圖像各自獨特的信息，本文針對圖像分解后的不同信息設計了不同的像素級融合算法。根據低頻部分的特點，引入了自適應的正則化參數來控制兩種圖像特征信息之間的權重值，既能保留可見光圖像的細節信息，又能保留紅外圖像特有的信息；對于高頻部分的融合，局部細節部分本文提出了一種基于邊緣能量的融合算法，特有細節部分采用絕對值最大的融合規則。

圖像的基礎部分包含了源圖像大量的低頻能量，代表了源圖像平滑的區域，傳統的融合方法是基于像素平均的方法，這種融合方式會丟失源圖像的能量信息。文獻[11]和文獻[12]提出了通過正則化參數調整圖像融合的權重值，但是需要手工根據源圖像的不同來調整參數值，本文提出了一種基于正則化參數的自適應融合方法，通過像素點鄰域內的局部能量值來間接確定融合的權重值，該方法不用人為調整參數，融合效率更高。首先，求得紅外圖像低頻部分的局部能量值REVis和可見光圖像低頻部分的局部能量值REIR：

(11)

(12)

式中：wr(·)表示(x,y)鄰域窗口ψ的權值；(m，n)表示鄰域窗口內的坐標位置，本文中ψ選用5×5大小的窗口；BVis、BIR分別表示由多尺度分解所得的可見光圖像和紅外圖像的基礎部分。

基于非線性函數的權重C可以表示為

(13)

Bf=CBIR+(1-C)BVis

(14)

式中：C表示紅外圖像基礎部分的權重值，通過(13)式求得；BIR和BVis分別表示為由本文分解算法得到紅外基礎部分和可見光基礎部分，通過(7)式求得。

2.3 高頻部分融合規則

2.3.1 局部細節部分融合規則

高頻部分包含了源圖像大量的邊緣細節信息，如果采用傳統的絕對值最大的方法對高頻部分進行融合，則會丟失源圖像所包含的細節信息，不能最大化地保留源圖像的信息，也會在一定程度上降低圖像的對比度。因此本節提出了一種基于邊緣能量(EOE)[13]的改進融合方法。改進的邊緣能量定義為

(15)

式中：we(·)表示像素點(i,j)鄰域窗口φ的權值，本文中φ選用3×3大小的窗口；EE(i,j)的計算公式如下：

EE(i,j)=|E1*D(i,j)|+|E2*D(i,j)|+
|E3*D(i,j)|+|E4*D(i,j)|

(16)

式中：|*|表示卷積運算；E1、E2、E3、E4分別表示0°、45°、90°、135°方向上的方向濾波算子。

(17)

通過這4個濾波算子可以得到圖像4個方向上的邊緣細節信息，從而通過邊緣能量的方法來確定紅外圖像與可見光圖像局部細節部分融合的權重值；然后對兩種圖像的權重值進行歸一化處理，使權重值分布在0～1之間，從而可以確定紅外圖像局部細節部分的權重值wIR為

(18)

式中：gσe表示高斯函數，能夠減少圖像的噪聲，同時起著平滑權重值的作用；EOEIR和EOEVis可以通過(15)式求得；|*|表示卷積運算；k是一個可以調整融合權重值的參數，能夠根據紅外圖像的強弱進行相應的調整，本文中k=1。融合后的局部細節部分Df可以表示為

Df=(1-wIR)DVis+wIRDIR

(19)

2.3.2 特有細節部分融合規則

對于特有細節部分的融合，為了最大程度上保留可見光圖像與紅外圖像各自特有的信息，本文采用絕對值最大的融合規則，融合后的特有細節部分Ef可以表示為

Ef=βVisEVis+βIREIR

(20)

(21)

βIR=1-βVis

最終融合后的圖像F可以表示為

(22)

式中：n=2。

3 實驗結果分析與討論

為了驗證所提出算法的有效性，本文從主觀上和客觀上來評價提出算法的融合效果。對比分析了其他5種經典的融合算法，分別是拉普拉斯金字塔的方法(LP)[14]、低通比率金字塔(RP)[15]、曲波變換(CVT)[16]、多分辨率奇異值分解(MSVD)[17]、梯度轉移的融合方法(GTF)[18]。這5種經典的融合算法都是基于公開的代碼實現的，其中參數的設置與原文一致。本文實驗用的紅外與可見光圖像均進行了配準，實驗平臺為MATLAB 2020b，Intel core 3.6 GHz，16 GB內存。所使用的圖像數據均來源于文獻[19]。

為了從客觀上評價本文的可見光紅外圖像算法的融合效果，本文通過均值(Mean)[20]、標準偏差(SD)[20]、互信息(MI)[21]、邊緣保持度(QAB/F)[22]、特征互信息(FMI)[23]、信息熵(EN)[24]等6種定量指標來對融合結果進行客觀的評價。圖像的均值反映圖像的明亮程度，其值越大，圖像視覺效果越好；標準偏差能夠描述圖像的對比度特征，其值越大，圖像的對比度越大；互信息代表了圖像之間的相關程度，MI值越大，融合后的圖像與源圖像之間相關程度越大，融合效果越好。邊緣保持度代表了融合后的圖像邊緣信息量的多少，能夠反映融合后的圖像質量。特征互信息代表了融合后的圖像特征保留的完整度；信息熵反映了融合圖像的信息豐富程度，其值越大，圖像所包含的信息越豐富。在本文仿真實驗中，一些參數的初始值如下：σs=3，σr=4；為方便計算，wr用窗口大小為5×5的歸一化高斯模板代替，同時we用窗口大小為3×3的歸一化高斯模板代替。

圖4對比分析了本文算法與其他5種算法的融合效果，源圖像為Trees4917。從圖4中可以看出，除了本文算法外，其他5種算法融合的圖像對比度相對較差，在可見光圖像中原本明亮的區域相對較暗，而基于MSVD方法融合結果的圖像中人物不夠突出；通過圖4中的紅色矩形部分可以看出，本文的算法能夠清晰地看見樹的邊緣，輪廓細節更加的明顯，接近可見光圖像的視覺效果，其他5種方法保留了太多紅外圖像得特性，導致圖像的細節信息存在一定程度的丟失。

圖4 不同融合方法融合結果細節對比

本文選取5組不同場景下的圖像，更加直觀地展現了本文算法與其他融合算法的融合效果。本文算法與其他5種融合算法融合結果如表1所示。通過綜合對比不同場景下的其他融合算法可以看出，本文算法能夠最大程度地保留紅外圖像信息和可見光圖像信息，融合圖像看起來更加自然，細節信息保留更好；本文算法能夠更好地融合可見光與紅外圖像各自的特性，能夠最大程度地保留紅外圖像特有的人物目標，也能夠保留可見光圖像的細節信息，融合后的圖像更加自然；通過RP算法融合后的圖像存在偽吉布斯現象，輪廓細節的表現沒有本文算法自然。CVT方法丟失了較多可見光圖像的細節信息；MSVD方法對比度相對較弱，人物目標突出不夠充分；LP方法不能夠充分的表現圖像的細節信息，如表1中的營地圖像；GTF方法對于圖像細節的表現不足，如表1中的坦克圖像中，樹葉沒有完全表現出來。而本文的方法能夠很好地展現人物輪廓、細節等信息，融合后圖像的對比度也較強，視覺效果更加自然。

表1 不同融合方法對不同圖像的融合結果

為定量分析本文融合算法與其他融合算法的融合效果，實驗對比了兩組圖像序列的融合效果，圖像序列分別是Trees和Duines，實驗結果如表2所示。由表2可見：本文算法的SD、FMI、EN、MI、Mean值最大，相比于對比算法的融合效果，通過本文算法融合后的圖像與源圖像相關程度最高，圖像對比度越好，視覺特征越明顯，細節特征更豐富；QAB/F評價指標僅次于RP算法，但是RP算法融合的圖像存在偽吉布斯現象，對于細節部分的融合不夠自然。綜上所述，本文提出的融合算法融合效果更好，源圖像的細節表現能力更強，融合后的圖像更加的自然。

表2 不同融合算法下Trees和Duine圖像序列融合結果的6種評價指標對比

表3和表4分別為圖像序列Trees和Duine通過6種方法融合后的6種客觀評價指標。通過表3和表4能夠看出：本文所提方法的MI、EN、FMI、SD指標都最大，表明融合效果相對較好；與其他5種方法效果最好的相比，表3和表4中的MI、EN、FMI、SD4種指標分別提高了13.6%、1.1%、0.7%、4.4%和22.6%、5.7%、0.1%、30.4%。QAB/F指標相對于其他5種方法的平均值提升了14.2%和9.7%，僅次于基于RP方法融合的結果，但從主觀視覺效果分析，RP的方法存在偽吉布斯現象。Mean評價指標在Duine圖像序列中值相對較小，在Trees圖像序列中比最好的方法提升了18.4%。本文提出的融合方法對圖像進行多尺度分解，但與傳統非下采樣金字塔濾波器組多尺度分解算法相比，雙邊濾波器結構單一，使得多尺度分解更加高效。以Road圖像為例，從表5中可以看出，本文融合方法所運行的時間比LP、RP和MSVD方法高，比CVT和GTF方法運行時間少。

表3 Trees圖像序列在不同融合方法下融合結果的客觀評價指標

表4 Duine圖像序列在不同融合方法下融合結果的客觀評價指標

表5 不同融合方法的運行時間比較

4 結論

本文提出了一種基于雙邊濾波的紅外與可見光自適應融合的算法，針對傳統融合方法會導致融合后圖像細節信息缺失、不能充分保留源圖像特有細節信息等問題，通過改進的雙邊濾波算法進行圖像分解，得到了紅外與可見光圖像特有的信息以及局部的細節信息。在融合過程中，引入了局部能量值和邊緣能量值來計算融合的權重值，同時引入了正則化參數來控制紅外與可見光的權重值。實驗結果表明，通過該方法融合的圖像在具備良好的視覺效果外，還充分保留了源圖像的細節特征；相對于本文對比的其他方法，通過本文提出的方法融合的圖像能夠包含豐富的特征信息。對比客觀數據可知，本文融合方法的MI、EN、FMI、SD、QAB/F、Mean4種指標相對于其他方法綜合提升了22.6%、5.7%、0.7%、30.4%、14.2%、18.4%。在主觀視覺上和客觀評價指標中，本文所提的算法均具備更優的融合效果。

本文的融合算法綜合性能相對較好，但目前還難以在小型的機載平臺中對圖像進行實時處理，因此后續的研究需要關注如何提升算法的實時性，特別是對大尺寸圖像的實時融合處理的研究。