基于雙引導濾波的紅外和可見光圖像融合算法

劉 丹,朱鴻泰,程 虎,桑賢偵

(中科芯集成電路有限公司,江蘇 無錫 214072)

1 引 言

單一圖像傳感器可能無法提供目標場景的完整信息,為了解決這一問題,“多傳感器圖像融合技術”應運而生[1-2]。目前常見的融合方式包括遙感圖像融合、多聚焦圖像融合、醫學圖像融合、紅外和可見光圖像融合等。其中,紅外和可見光圖像融合是最具研究價值的融合技術之一,廣泛應用于目標跟蹤、檢測識別[3-4]等領域。

紅外和可見光圖像融合算法分為像素級、特征級、決策級三個層次。其中,像素級融合方式得到的圖像信息最為豐富,本文所研究的融合算法是基于該層次進行的。Li等人提出的基于引導濾波的圖像融合算法(Guided Filter Fusion,GFF)[5],采用均值濾波對圖像進行分解,之后利用拉普拉斯、高斯和引導濾波生成顯著圖和融合權重,在多種應用場景表現出優越性能,但利用拉普拉斯算子生成的顯著圖會損失部分圖像特征。之后,Gan[6]和Javed[7]等人通過調整GFF算法中的部分組件來提升算法性能,但算法時間開銷增加。Shreyamsha提出的交叉雙邊濾波融合算法(Cross Bilateral Filter,CBF)[8],利用協方差矩陣的特征值計算融合權重,融合圖像中會引入人工偽影。Zhou等人[9]采用非線性方式構造權重圖,將重要紅外特征注入可見光圖像中,但在過度曝光場景下,部分圖像特征會被淹沒。近年來,深度學習在圖像處理等領域展示出優越性能,也已成功應用于圖像融合。Liu提出的基于卷積神經網絡(Convolutional Neural Networks,CNN)[10]的融合算法,利用CNN計算權重高斯金字塔,但該算法對過曝光等低質量圖像融合效果差;Zhang[11]提出的具有多分類約束的生成對抗網絡可對低質量圖像進行較好融合,但二者均存在算法時間開銷大的問題,在圖像融合服務于目標檢測、跟蹤等實時性要求高的場景時,上述算法不適用。Zhang[12]提出的用于多模態圖像融合的壓縮分解網絡以及Ma[13]等人提出的基于顯著目標檢測的融合網絡,在算法融合速度方面得到了改善,但這兩種算法訓練難度高,所需數據量大,對于小樣本情況不適用。因此,盡管基于深度學習的圖像融合算法在部分性能指標上得到提升,但在圖像數據集、硬件條件受限,處理速度要求高的情況下,算法無法滿足應用需求[14];

為解決上述問題,本文提出了一種基于引導濾波多尺度分解的圖像融合算法,利用雙引導濾波器將圖像分解為小尺度紋理、大尺度邊緣和基礎圖像;之后,直接利用紋理及邊緣層圖像構建顯著性映射圖,突出源圖像顯著性信息的同時降低算法復雜度;根據顯著信息構造權重圖,紋理層權重采用非線性方式構造,將互補的紋理細節信息以較大比重注入到融合圖像中,邊緣層權重采用等比例方式構造,簡單但有效地將大尺度特征進行融合,同時不會出現由于過度注入而產生的圖像對比度下降問題;基礎層采用平均加權方式融合,控制圖像的整體觀感。

2 引導濾波

引導濾波器是一種邊緣保持濾波器,其操作基于局部線性模型,以像素k為中心的局部窗口wk中,濾波輸出q與導向圖G之間關系如下:

qi=akGi+bk?i∈wk

(1)

其中,wk表示半徑為r的方形窗口;ak,bk是wk上的常系數,可通過最小化以下代價函數估計:

(2)

其中,ε是為了防止ak太大的正則化參數;I為輸入圖像。利用最小二乘法可得:

(3)

(4)

(5)

2.1 濾波核半徑r的影響

由引導濾波原理可知,濾波核半徑r越大,鄰域像素的影響越大,平滑越明顯。

2.2 正則化參數ε的影響

2.3 引導圖像G的影響

引導濾波具有結構轉移特性。當引導圖像與輸入圖像相同時,則進行保持邊緣的濾波操作;當引導圖像與輸入圖像不同時,平滑操作由引導圖像的結構來調節。

引導濾波是一種很好的保邊濾波方法,不需要像其他濾波方法那樣直接進行卷積操作,它可以通過使用積分圖像技術[15]的盒形濾波器快速實現,計算時間與濾波器的參數無關。

3 基于引導濾波多尺度分解的圖像融合算法

紅外圖像和可見光圖像對同一目標場景的亮度響應可能存在較大差異,這主要是由于兩類圖像的成像原理不同所致。前者依據物體的熱輻射特性進行成像,在光照不足或霧、煙等惡劣條件下仍能捕獲目標;后者依據物體的光反射特性進行成像,圖像分辨率更高,包含更豐富的紋理細節信息。基于此,結合引導濾波性質,設計圖像多尺度分解框架,將紅外和可見光圖像分為小尺度紋理、大尺度邊緣和基礎圖像,之后對兩類圖像的相應分量采用不同策略進行融合得到融合后圖像。

3.1 多尺度圖像分解

引導濾波器是一種良好的邊緣保持濾波器,濾波器參數對濾波結果的影響已在第2節中進行了分析說明,其中,不同正則化參數ε對濾波結果的影響如圖1所示。

圖1 不同正則化參數的濾波結果

由圖1可知,正則化參數越大,圖像越模糊,濾波后圖像包含的高頻信息越少。為進一步驗證濾波核半徑對濾波結果的影響,測試不同ε(0.01,104)下濾波核半徑分別為2、4、8、16的濾波結果和迭代濾波效果,如圖2和圖3所示。

圖2 ε=0.01時不同濾波核半徑的濾波結果和迭代濾波結果

圖3 ε=104時不同濾波核半徑的濾波結果和迭代濾波結果

由圖2、3可知,當ε=0.01時,不同半徑濾波器對圖像的紋理細節信息起到平滑作用,圖像邊緣信息保留較好;當ε=104時,隨著濾波核半徑的增大,圖像邊緣成分被顯著平滑,圖像變得十分模糊。

綜上,設計基于雙引導濾波的多尺度圖像分解方法,如圖4所示。引導濾波器1的參數ε設置為非常大的數值,引導濾波器2的參數ε設置為非常小的數值。因此,級聯的引導濾波器1反復平滑輸入圖像的高頻成分,級聯的引導濾波器2反復平滑輸入圖像的紋理細節,同時保留邊緣特征。進而,我們可以通過以下計算得到濾波器2去除的紋理細節和相對于濾波器1額外保留的邊緣特征。

圖4 基于引導濾波多尺度分解的圖像融合算法框架

D(j,0)=GFrj-1,ε1(I1_(j-1))-GFrj,ε2(I2_j)

(6)

D(j,1)=GFrj,ε2(I2_j)-GFrj,ε1(I1_j)

(7)

其中,j=1,2,…,n表示分解級數;GFr0,ε1(I1_0)=IvisorIir,濾波器1的最終輸出結果表示多尺度分解的基礎圖像。上述圖像分解思想與文獻[16]類似,并將其推廣到多尺度分解,得到紅外與可見光圖像在不同尺度上的特征信息。與傳統引導濾波圖像融合算法相比,本文采用雙引導濾波器代替均值濾波器對圖像進行更加精細地劃分,融合時可更好的保留源圖像中不同尺度上的特征信息。

多尺度分解獲得的基礎圖像包含了最粗尺度的信息。理論上,我們可以繼續進行分解操作,直至得到源圖像的平均信息為止。但在實際應用中不需要這樣做,因為基礎圖像中含有一定量的低頻殘余信息可以很好地控制融合后圖像的整體觀感。此外,該種方式需要大量的分解級數,這將大大增加算法計算量。結合不同正則化參數下不同濾波核半徑的處理效果(圖2、圖3),設置分解級數n=3即可有效提取源圖像中的紋理、邊緣信息。

源圖像I可通過分解后的多尺度圖像和基礎圖像重構,表示如下:

(8)

3.2 權重圖構造及圖像融合

(9)

(10)

之后,利用Sigmoid函數進行調整,函數定義如下:

(11)

函數圖像如圖5所示,函數值在0～1之間,且在x=0時,f(x)=0.5。依據上述函數性質,構造基于S函數的對任意輸入變量輸出概率在0與1之間,且輸出概率和為1的權重函數,表示如下:

圖5 Sigmoid函數圖像

(12)

(13)

(14)

根據權重圖得到小尺度紋理層的融合信息為:

(15)

該融合策略可將源圖像中的紋理細節信息盡可能多的注入融合圖像中,融合結果如圖6(a)所示。

圖6 圖像融合結果

(16)

(17)

根據權重圖得到大尺度邊緣層的融合信息為:

(j=1,i=1;j=2,…,n,i=0,1)

(18)

利用等比例映射策略得到的大尺度邊緣層融合圖像如圖6(b)所示,可很好地保留源圖像中邊緣信息,同時不會引入額外的人工偽影。

基礎層圖像融合采用平均加權方式,將紅外和可見光圖像的最粗尺度信息進行整合,控制融合后圖像的整體觀感,如圖6(c)所示,公式表示如下:

(19)

最后,將融合后的各層圖像整合得到最終融合圖像如圖6(d)所示,公式表示如下:

(20)

3.3 彩色圖像融合方法

根據彩色空間信息的表達形式,基于灰度圖像融合方法,設計彩色圖像的融合方式。傳統方法通常將彩色圖像按照RGB三基色分成R通道、G通道、B通道,后對三通道圖像分別進行融合,之后將各通道融合結果合并形成最終融合圖像。但是,由于彩色圖像本身的復雜性,融合后圖像會出現偏色失真嚴重等致命問題。

為解決上述問題,通過對色彩模型的研究,采用色彩模型轉換方法對彩色圖像融合進行優化。其中,YUV色彩模型可將圖像亮度信息和色彩信息分離,Y描述圖像亮度信息,UV描述色彩信息。所以,對彩色圖像進行融合操作前,將RGB圖像轉換為YUV格式圖像,后根據灰度圖像融合策略,對Y通道圖像進行融合,最后,將融合圖像與UV通道圖像YUV格式圖像轉換為RGB格式圖像,得最終的融合圖像。

4 實驗結果與分析

本文所使用的紅外-可見光圖像對從數據集[17-18]中收集,涵蓋多種場景及工作條件,如樹木、戰場、房屋、過度曝光和低照度等,部分測試數據如圖7所示,圖中第一、三行是可見光圖像,第二、四行是紅外圖像。每對紅外-可見光圖像均已被嚴格配準,以確保圖像融合算法可以成功執行及實驗結果的準確性。算法參數設置如下:引導濾波器1和2的正則化參數ε1,ε2分別設置為104,0.01,濾波核半徑rj+1=2rj,r1=2,分解級數n=3。實驗在Matlab 2016a環境下進行,PC規格包括i7-10510U CPU(2.30 GHz),16.0 GB內存。

圖7 紅外和可見光圖像數據

4.1 定性分析

在圖像融合質量評價中,定性評價是一種重要的評價方法,它以人眼視覺系統為基礎對融合圖像質量進行評價。因此,為了驗證所提算法的有效性,首先對其進行定性評估。并與其他基于多尺度分解、深度學習的圖像融合算法CBF[8]、GFF[5]、CNN[10]進行比較。圖8為不同算法在過度曝光圖像上的融合結果。圖8(a)可見光圖像可提供場景信息,但是由于汽車燈光的過度曝光,汽車周圍的行人不可見。圖8(b)紅外圖像可提供行人信息,但缺少場景細節。由圖可知,CBF算法會產生人工偽影;CNN算法汽車周圍的人不清晰;與GFF算法相比,本文算法含更豐富的場景細節。

圖8 不同融合算法在過度曝光圖像上的融合結果

圖9、10(a)可見光圖像可提供樹木、圍欄等場景信息;圖9、10(b)紅外圖像可提供可見光圖像中由于樹木遮擋、能見度低等原因導致不可見的人的信息。如圖(c)～(f)所示,與其他融合算法相比,本文算法可成功地將互補的紅外光譜信息注入到融合圖像中,同時也很好地保留了可見光圖像中的場景細節。

圖9 不同融合算法在戰場圖像上的融合結果

圖10 不同融合算法在樹木圖像上的融合結果

為驗證本文彩色圖像融合算法相比于RGB三通道分別融合方式的優越性,分別在停車場、房屋彩色場景圖片上進行測試。由圖11可知,利用本文方法處理得到的融合圖像對色彩信息的保留效果更好,融合圖像偏色失真問題更小,更貼近自然場景。

圖11 不同彩色圖像融合策略的融合結果

4.2 定量分析

定性評價不足以判斷融合算法的有效性,因此本節將對算法的融合性能進行定量評估。使用平均梯度[19]、邊緣強度[19]、空間頻率[20]、結構相似度[19]和一種基于人類感知啟發的度量標準[20]五種質量指標進行客觀評價。前三種指標直接測量生成融合圖像的質量,不需要使用輸入圖像。后兩種是為圖像融合設計的質量評價指標,測量輸入圖像與融合圖像之間的相似性。不同圖像融合算法的定量測試結果如表1所示,性能最優及次優的結果分別用下劃直線及下劃曲線區分顯示。

表1 不同圖像融合算法的定量測試結果

從表1可以看出,本文算法在空間頻率、結構相似度、Qcv指標上表現最優,在平均梯度、邊緣強度指標上表現次優。然而值得注意的是,雖然CBF算法在平均梯度、邊緣強度指標上獲得了最好的定量性能,但其定性性能不是很好,從圖4可以明顯看出,利用CBF算法得到的融合圖像中引入了大量偽影。綜上可得,本文算法能夠將紅外和可見光圖像中的互補信息注入到融合圖像中,信息損失少。

表2給出了不同圖像融合算法在4種典型圖像上的運行時間及21對測試圖像上的平均運行時間。CBF算法利用雙邊濾波、特征值等方式進行圖像融合,二者均比較耗時,導致算法時間開銷大幅增加;CNN算法使用卷積神經網絡計算權重金字塔,耗時最大;GFF算法雖然在圖像分解階段均采用兩尺度分解方式,但圖像分解或權重圖計算操作復雜,導致算法運行時間增加;本文算法采用多尺度分解方式進行圖像融合,引導濾波可使用盒形濾波器快速實現,利用分解的特征圖構造顯著圖及權重圖,無需引入額外特征提取操作,保證算法融合效果的同時提升處理速度。

表2 不同算法運行時間

5 結 論

本文提出了一種基于引導濾波多尺度分解的圖像融合算法,用于紅外和可見光圖像的融合。該算法采用雙引導濾波器代替均值濾波器對紅外和可見光圖像進行更加精細地劃分;融合時,根據不同尺度層細節圖像構造顯著性映射圖,用其代替額外的特征提取操作,突出源圖像顯著信息的同時大大降低算法復雜度;利用顯著性映射圖、Sigmoid函數構造權重圖,有效地保留了源圖像中的場景細節和邊緣特征;利用先RGB到YUV色彩模型轉換后融合方式,更好地保留了圖像的色彩信息,減小融合圖像的偏色失真。定性和定量實驗結果表明,與其他圖像融合算法相比,本文算法能更好地將紅外和可見光圖像中的互補信息注入到融合圖像中,偏色失真小,引入偽影少,計算復雜度低。