基于FGF與VGGNet19的紅外可見光圖像融合

楊艷春,閆 巖,王 可

(蘭州交通大學電子與信息工程學院,甘肅 蘭州 730070)

1 引 言

圖像融合的目的是為了將不同的圖像融合在一起生成更適于人類觀察的圖像,從而方便得到兩幅圖像中的有用信息[1]。紅外圖像中,物體熱輻射與其對應在圖像中的灰度值成正比關系,熱輻射越高的物體,灰度值也就越高,能夠較好地突出發熱目標;可見光圖像中,主要突出反射亮度較高的物體,具有豐富紋理細節信息,符合人類視覺感知[2-6]。將紅外與可見光圖像進行融合之后的圖像既能夠凸顯紅外圖像中的熱輻射較高的目標,也能夠保持可見光圖像中的紋理細節以及邊緣信息,提高在視覺效果不佳時(如降水、大霧或有遮擋情況下)對發熱目標的檢測和識別的能力[7-10]。目前在電力設備監測、軍事目標識別與自動駕駛等領域有廣泛應用[11]。

目前大多數學者廣泛認可的圖像融合方法可分為兩類:傳統方法和基于深度學習的方法。多尺度變換方法是傳統方法的一個重要分支,其中包括有金字塔變換方法[12]、小波變換[13]以及非下采樣剪切波變換(Non-Subsampled Shearlrt Transform,NSST)[14]等。近年來,由于深度學習具有較強的非線性特征學習和復雜特征表達能力,因此在圖像融合領域中得到了深入研究。Ma等人[15]利用兩個神經網絡同步訓練的模式,訓練出的生成器負責向紅外圖像中添加紋理細節,鑒別器負責識別生成器生成的融合圖像,有效提升了融合質量;Zhang等人[16]提出了將多個融合問題轉化為梯度和強度信息的提取和重建,并據此設計了一種由強度項和梯度項組成的通用形式的損失函數的一種壓縮分解網絡(SDNet);Tang等人[17]提出了一種基于光照感知的漸進式圖像融合網絡(PIAFusion),自適應地保持顯著目標的強度分布,并保留背景中的紋理信息;Xu等人[18]提出的U2Fusion通過特征提取和信息測量,自動估計相應源圖像的重要性,并提出自適應信息保留度。目前利用深度學習工具進行融合取得了較好的融合效果,然而紅外與可見光圖像在融合過程中存在不能很好地結合尺度信息,出現紅外目標不夠突出,邊緣模糊及細節丟失等問題。

為了解決上述問題,由于快速引導濾波的邊緣保護特性,在平滑操作中不丟失基礎層的邊緣信息,本文提出了一種基于FGF和VGGNet19的紅外與可見光圖像融合方法。首先,利用快速引導濾波器有效實現源圖像雙尺度分解。其次,利用VGGNet19網絡得到初步融合權重圖,采用最大類間方差法提取前景與背景,進行二值化。然后,對得到的二值圖像再次使用快速引導濾波器得到最終融合權重矩陣,利用加權融合重建各層的融合圖像以獲得初步融合圖像。最后,重構再利用FGF和增強處理實現圖像最終融合。通過對比實驗,本文方法能夠有效保留顯著熱目標,邊緣細節清晰,融合圖像具有較好的可視性。

2 相關工作介紹

2.1 快速引導濾波器

快速引導濾波器(Fast Guided Filter,FGF)[19]是一種保邊平滑濾波器,是對引導濾波器(Guided Filter)[20]的一個改進方法。

引導濾波器的局部線性關系為:

qi=ajIi+bj,?i∈ωj

(1)

在公式(1)、(2)和(3)中Ii,pi與qi分別為引導圖像、輸入圖像與輸出圖像對應像素點的值。對給定的輸入圖像p,使p與q之間的重構誤差最小,因此可將aj與bj的求解問題轉化為如下兩式:

(2)

(3)

其中,λj與?j是濾波窗口j中的均值與方差;δ為防止當輸入圖像p和引導圖像I相同時導致aj=1的正則化參數。

快速引導濾波進行了針對性的改進,在(1)式中aj和bj為兩個系數圖,q中的邊緣與結構主要通過引導圖像I給出,但引導濾波器的主要計算是針對aj和bj,不需要以全分辨率執行。所以對輸入圖像p和引導圖像I進行下采樣(最近鄰下采樣或雙線性下采樣)。所有的盒式濾波器都在低分辨率圖像上執行,這是引導濾波器的核心計算過程。在得到最終輸出圖像之前,將兩個系數圖aj和bj雙線性上采樣到原始大小。輸出q仍然由qi=ajIi+bj計算。在最后一步中,圖像I是未經下采樣的全分辨率引導圖像,所以引導圖像分辨率沒有變化。

2.2 VGGNet19網絡框架

因為采用更多的非線性層可以增加網絡深度,有效提取圖像特征,而且生成的參數還相對較少,提高網絡性能,所以VGGNet19網絡設計利用多個小卷積核代替單一大卷積核[21],在相同感受野的前提下,效果得到提升。更深一層的神經網絡都會利用上一層輸出的參數來更加精確的提取特征,所以,可以認為每層神經網絡都是由多個不同卷積核所組成的多個局部特征提取器。與此同時,也驗證了在一定程度上,增加網絡卷積層的數量,可以提升網絡最終的特征提取結果。VGGNet19網絡包括16個卷積層與3個全連接層,其網絡結構如圖1所示。

圖1 VGGNet19網絡結構模型圖

3 本文方法

本文提出的方法如圖2所示,具體步驟如下:

圖2 所提方法處理流程

(1)將紅外圖像I1與可見光圖像I2通過使用快速引導濾波器,得到相應的基礎圖B1和B2與細節圖D1和D2;

(2)將I1、I2輸入到VGGNet19預訓練模型中得到得分圖S,將S經過最大類間方差法(OTSU),分割圖像前景與背景并且二值化,得到特征圖T,基礎層與細節層權重圖(WB1,WB2)、(WD1,WD2)由FGF得到;

(3)將得到B和D求和,再經過快速引導濾波和圖像增強得到融合圖像。

3.1 雙尺度分解

均值濾波通常作為傳統的雙尺度圖像分解方法,但是由于均值濾波器的特性,它不僅消除了高頻噪聲,還使圖像邊緣模糊,同時,細節層的邊緣會產生冗余信息,這對融合結果產生不利影響。因此,本文使用快速引導濾波器對源圖像進行雙尺度分解。快速引導濾波器具有更好的邊緣保護特性,可以在不模糊圖像邊緣的情況下獲得圖像的基礎層,通過源圖像減去基礎層得到細節層不會生成冗余信息,并且比傳統方法更真實地恢復圖像細節。通過快速引導濾波得到的可表示為:

Bn=FGF(In,pn,r,eps,s)

(4)

其中,In為引導圖像,pn為輸入圖像,將源圖像作為引導圖像此處引導圖像與輸入圖像為同一組紅外與可見光圖像,r為FGF窗口尺寸,eps為正則化參數,s為子采樣率。細節層Dn如下所示:

Dn=In-Bn

(5)

3.2 特征圖與權重矩陣

VGGNet19網絡最大的特點是源圖像通過預訓練框架得到的特征圖能夠充分提取圖像特征,得到有用的部分,去除冗余數據與偽影,使得后續得到的融合權重圖更加精準。因此將紅外圖像I1與可見光圖像I2輸入VGGNet19預訓練框架,可表示為:

(6)

(7)

(8)

其中,r確定平均算子窗口大小。在本文的方法中r=1。

(9)

(10)

(11)

選取得到的四個初始得分圖中每個對應像素點的最大值,輸出有且僅有一個的最終得分圖S:

S(x,y)=max[Si(x,y)|i∈{1,2,3,4}]

(12)

最大類間方差法[22](OTSU)其自適應性強,在任何前景與背景灰度值差異較大的情況下都可以取得很好的效果,且計算簡單。

將得分圖S通過OTSU算法得到初始特征圖T′,可由式(13)表示:

T′(x,y)=OTSU[S(x,y)]

(13)

然后將T′進行二值分割,得到最終特征圖T可由式(14)表示:

(14)

由于快速引導濾波器可以通過引導圖像中的邊緣部分將輸入圖像的邊緣進行平滑,去除噪聲與冗余,因此利用FGF對特征圖T進行處理,特征圖T分別由In與Dn作為引導圖像,基礎層和細節層的融合權重圖(WB1,WB2)、(WD1,WD2)是利用FGF后得到,可由式(15)、(16)表示:

WBn=FGF(In,T,r,eps,s)

(15)

WDn=FGF(Dn,T,r,eps,s)

(16)

3.3 圖像重構

對應于紅外和可見光雙尺度分解的基礎層Bn和細節層Dn乘以相應的權重矩陣,以獲得基礎層和細節層的融合圖像,其公式如下:

B=WB1×B1+WB2×B2

(17)

D=WD1×D1+WD2×D2

(18)

初步的融合圖像FC如下:

FC=B+D

(19)

初步融合圖像FC只保留了紅外和可見光圖像的細節部分,而并沒有突出融合圖像中的紅外目標。為了得到細節豐富、目標突出的融合圖像,利用快速引導濾波具有圖像增強的特性,對初步融合圖像進行增強:

G=FGF(FC,FC,r,eps,s)

(20)

F=(FC-G).*n+G

(21)

其中,G是以FC作為引導圖像與輸入圖像的快速引導濾波結果;n是增強系數;F是最終融合圖像,其中n=2。由于快速引導濾波對灰度值變化較大的邊緣區域作用明顯,所以通過式(21)增強圖像邊緣信息,然后將其疊加在G上以達到提取圖像邊緣信息的目的。

4 實驗結果與分析

4.1 實驗說明

本文紅外與可見光源圖像選取公共數據集TNO中的42組圖像進行實驗,實驗仿真平臺采用AMD Ryzen 7 5800H CPU,RTX 3060 GPU編程環境為Matlab2016a。為驗證算法性能,本文選定6組已配準圖像進行實驗分析,其大小分別為768×576 pixel、596×328 pixel、620×450 pixel、768×576 pixel、768×576 pixel、632×496 pixel。本文快速引導濾波器參數為r=32;eps=0.3;s=4。

本文使用在ImageNet上訓練的固定VGGNet19來提取特征。硬件平臺為四個NVIDIA Titan Black GPU,訓練時網絡設置Batch size為32,學習率為10-3,訓練輪數為150次,訓練過程在Caffe框架上實現。

為驗證本文算法的可行性與有效性,將本文方法的融合結果與引導濾波[20](GFF)、梯度濾波[23](GRFF)、壓縮分解網絡[16](SDNet)、基于融合網絡體系結構[24](RFN-Nest)和漸進式圖像融合網絡[17](PIAFusion)五種方法進行了對比。

4.2 主觀評價

通過6組實驗的融合結果如圖3所示,Img 1中GRFF右上角出現偽影,GFF與RFN-Nest中樹木與背景分界輪廓不清,SDNet中樹木與房屋輪廓不夠清晰,PIAFusion包含一定紋理信息,但是不如OURS豐富,本文算法中樹木細節清晰,紅外人像突出;Img 2中GRFF紅外目標不夠清晰,GFF中樹木上方出現白色偽影,SDNet中森林與天空分界輪廓不清,RFN-Nest與PIAFusion紅外圖像部分細節丟失,本文算法中紅外目標輪廓與森林細節明顯;Img 3中GRFF中人物部分沒有體現紅外細節,GFF中背景出現紋理缺失,SDNet中手持雨傘與背景無法區分,RFN-Nest人物雖顯示出來,但是并不十分明顯,PIAFusion中人物亮度過高,易于背景混淆,本文算法既突出了紅外圖像中的人物,又使得可見光圖像中的雨傘與背景相區分;Img4中GRFF中道路護欄部分細節缺失,GFFusion中道路中間的細節無法區分,SDNet與RFN-Nest左下角紋理細節缺失,PIAFusion中道路與兩旁輪廓不清,不易區分,本文算法對紅外圖像中的護欄部分細節提取完整,可見光圖像中的草木紋理信息最為凸顯;Img 5中GRFF中水域部分紅外細節缺失,GFFusion圖像水域中細節無法區分,SDNet圖像大部分紋理信息缺失,RFN-Nest圖像中心水草部分細節明顯缺失,PIAFusion圖像左側明顯缺失紅外圖像細節,本文算法將可見光圖像中的水草紋理信息完整保留,同時與紅外圖像中的水域相區分;Img 6中GRFF圖像右上角紅外細節缺失,GFFusion圖像人物邊緣出現偽影,SDNet圖像整體偏暗,細節區分不清,RFN-Nest圖像紅綠燈無法分辨,PIAFusion圖像燈牌細節無法區分,本文算法既保留了可見光圖像中的發光目標,如燈牌、路燈等,又突出了紅外圖像中的車輛、行人等發熱目標。在所選取的六組圖像中,本文方法能夠有效保留顯著熱目標,細節邊緣清晰,更加符合人類視覺感知,均優于其他五種對比方法。

圖3 實驗結果圖

圖4 指標對比折線圖

4.3 客觀評價指標

為驗證算法性能及圖像融合質量,本文采用反映灰度變化情況的SF(空間頻率)、衡量圖像清晰程度的AG(平均梯度)、體現圖像失真和噪聲的PSNR(峰值信噪比)、評估融合圖像和源圖像差異的MSE(均方誤差)和表達圖像所含信息的EN(信息熵)進行客觀地分析[25]。其中只有MSE為數值越小,說明圖像融合質量越好,其余五個指標均為數值越大,融合質量越好。

6組實驗圖像的客觀評價指標值如表1所示。通過實驗指標值可以看出本文方法的Img4在本文選定的五種指標中都處于最優,其余五幅圖像絕大多數指標處于最優。表明本文方法所獲得的融合圖像包含的圖像細節更豐富,融合質量更好與源圖像差異程度小。綜上,本文方法具有更優的融合效果。

表1 客觀評價指標對比

5 結 語

本文提出了一種基于快速引導濾波器與VGGNet19的紅外與可見光圖像融合算法,不僅能夠在進行圖像平滑的過程中保留邊緣信息,而且有效提取目標信息,使得融合圖像同時具有豐富的紋理細節和較高的目標識別能力。利用FGF算法進行圖像的雙尺度變換,有效保留邊緣細節;使用VGGNet19提取得分圖,再使用OTSU算法進行前景與背景分割,進一步提取紅外目標;再次利用FGF算法得到融合權重圖;最后將初步融合圖像經過FGF進行圖像平滑和圖像增強得到最終的融合圖像。與其他方法相比,本文方法得到的融合圖像具有更豐富的紋理細節與突出的紅外目標,更加符合人類視覺感知,是一種有效的融合方法。為了更好地提取源圖像特征信息,今后將進一步改進網絡的具體架構、融合規則、嘗試使用其他深度學習網絡,來提高融合效果。