基于多尺度變換和VGG網絡的紅外與可見光圖像融合

付涵，嚴華

(四川大學電子信息學院，成都 610065)

1 介紹

圖像融合的目的是將不同源圖像中的重要信息整合到同一張融合圖像。近年來，紅外與可見光圖像的融合問題已經成為圖像融合領域一個重要的分支。紅外圖像由紅外傳感器獲得，反映了圖像中物體的溫度差異，但細節(jié)信息較少、對比度低；可見光圖像由可見光傳感器獲得，保存了目標的顏色、亮度等信息。將紅外與可見光圖像進行融合，可以提高圖像的分辨率，并獲得更為豐富、全面的信息。

基于多尺度變換的融合方法是解決紅外與可見光圖像融合問題的經典方法，如拉普拉斯金字塔(LP)[1]、低通金字塔(RP)[2]、梯度金字塔(GP)[3]、離散小波變換(DWT)[4]、平穩(wěn)小波變換(SWT)[5]、雙樹復小波變換(DTCWT)[6]和非下采樣輪廓波變換(NSCT)[7]等。這些方法一般是先將源圖像進行多尺度分解，然后執(zhí)行特定的融合規(guī)則處理變換后的系數(shù)，最后再進行多尺度逆變換。上述經典方法雖然很好地保留了紅外與可見光圖像的細節(jié)，但是卻存在顏色失真、對比度損失等潛在問題。基于優(yōu)化的融合方法在很大程度上解決了多尺度變換的局限性，如基于廣義隨機行走[8]和馬爾可夫隨機場[9]的方法。這些方法大多先求解能量函數(shù)，進而估計空間平滑和邊緣對齊的權重，再將像素值進行加權平均，以獲得融合圖像，但是由于多次迭代，效率十分低下。Li Shutao等人[10]提出了一種基于引導濾波的融合方法，該方法使用了快速的兩尺度分解，引導濾波的方法被用于圖像的局部濾波。但大量的實踐證明，該方法存在著可能出現(xiàn)偽影等問題。Liu Yu等人[11]提出了一種圖像融合框架，該方法首先將源圖像進行多尺度分解成高通和低通部分，低通部分與基于稀疏表示的融合方法進行結合，高通部分則使用流行的最大絕對值融合規(guī)則。近年來，隨著深度學習的興起，許多深度學習的方法被應用到圖像融合領域中。Liu Yu等人[12]提出了一種基于卷積神經網絡(CNN)的融合方法，他們將源圖像灰度化后輸送到訓練好的CNN模型中，經過小區(qū)域去除和引導濾波后，獲得決策圖。然而，該方法只提取了后面幾層的結果，丟失了中間層的重要信息。Li Hui等人[13]提出了一種基于深度學習框架的方法，他們將圖像進行兩尺度分解，細節(jié)內容被輸送到VGG-19網絡中以提取特征，基礎部分使用了加權平均方法，使圖像丟失掉很多亮度信息。

本文將深度學習框架與多尺度變換進行結合，提出了一種有效的紅外與可見光圖像融合方法。首先，將紅外與可見光圖像進行拉普拉斯變換分解，獲得圖像的高通和低通部分。對于圖像的高通部分，我們將其輸入到預訓練的VGG-19網絡模型中，獲取圖像的深層特征，通過L1范數(shù)和加權平均的融合策略，得到初始的特征圖，對于每個relu層執(zhí)行相同的操作，再通過平均策略，得到高通部分的融合圖像。對于圖像的低通部分，我們使用最大選擇策略，以獲取更多的亮度信息。將融合后的低通部分和高通合并后進行拉普拉斯逆變換，就可以獲得最終的融合圖像。

2 提出的方法

提出的融合方法如圖1所示，大致分為以下幾個部分：

圖1 本文提出的融合框架

(1)LP分解：將獲得的一對紅外與可見光圖像通過拉普拉斯變換分解成低通和高通部分。

(2)低通部分的融合：采用最大融合策略。

(3)高通部分的融合：利用VGG-19深度學習網絡獲取高通部分的深層特征，再通過L1范數(shù)和平均策略獲得融合后的細節(jié)部分。

(4)圖像重構：將融合后的低通與高通部分先進行重構，再經過拉普拉斯逆變換，得到最終的融合圖像。

2.1 LP分解

假定有兩張預先配準的紅外與可見光圖像，我們通過拉普拉斯變換將這兩張源圖像分解成低通部分{s1_1，s2_1}和高通部分{s1_h，s2_h}。

2.2 低通部分的融合

為了獲得更多的亮度信息，增強融合圖像的對比度，我們在低通部分采用最大選擇融合策略，如等式(1)所示。

S_1=max{s1_1,s2_1}

(1)

2.3 高通部分的融合

(1)讓表示第k張源圖像的高通部分所提取的第i層細節(jié)特征，則：

(2)

其中，sk_h表示第k張源圖像通過拉普拉斯變換分解獲得的高通部分，Φi(·)表示VGG-19網絡，i是我們從VGG-19網絡中提取的relu層，此處i∈{1，2，…，16}分別代表relu1-5中所有的relu層，共16層。

(2)讓表示第k張源圖像的高通部分所提取的第i層細節(jié)特征，則：

(3)

其中，sk_h表示第k張源圖像通過拉普拉斯變換分解獲得的高通部分，Φi(·)表示VGG-19網絡，i是我們從VGG-19網絡中提取的relu層，此處i∈{1，2，…，16}分別代表relu1-5中所有的relu層，共16層。

(4)

在本文中，k∈(1，2)。

(5)

為了保留更多細節(jié)，我們使r=1。

(6)

此處，我們令K=2。

(6)通過上采樣，將權重圖調整到和輸入圖像相同的大小：

(7)

p，q∈{0，1，…，(2i-1-1)}

(8)

此處K=2。

(8)最后，為了保證所有的細節(jié)內容都不被丟失，我們對高通部分每個位置的初始融合圖像取平均值：

(9)

2.4 重建融合圖像

首先，將獲得的低通部分和高通部分的融合圖像進行重構，如(10)式所示：

F=S_1+S_h

(10)

然后，再進行LP逆變換，以獲得最終的融合圖像。

3 實驗結果與分析

3.1 實驗設置

為了驗證所提出的方法的有效性和可靠性，我們在47對紅外與可見光圖像上進行了實驗，它們分別來自不同的場景和細節(jié)。在本文中，我們選取了其中的4對源圖像。我們將9種先進的圖像融合方法作為對比，包括基于ResNet的圖像融合[21]、自適應稀疏表示(ASR)[16]、梯度傳遞融合(GTF)[17]、低通金字塔(RP)[2]、曲波變換(CVT)[18]、雙樹復小波變換(DTCWT)[6]、離散小波變換(DWT)[4]、拉普拉斯金字塔(LP)[1]和使用深度學習框架的圖像融合方法(DL)[13]。

3.2 主觀分析

由于篇幅限制，我們以兩組圖像為例，對我們的圖像進行主觀評價。

第一對紅外與可見光圖像如圖2(a)(b)所示，(c)-(k)為不同方法生成的融合圖像，(l)為本文提出的方法生成的融合圖像。可以看出，本文提出的方法獲得的融合圖像在紅框內具有更多的細節(jié)信息。在行人處，(e)(f)(g)(h)存在一些偽影，而本文提出的方法生成的融合圖像在保留細節(jié)的前提下做到了過渡自然，明顯優(yōu)于其他競爭方法。

圖2 第一組實驗圖像，(a)-(l)依次為紅外圖像和可見光圖像，ResNet、ASR、GTF、RP、CVT、DTCWT、DWT、LP、DL、OUR。

第二對紅外與可見光圖像如圖3(a)(b)所示，這是夜間植物的場景。(c)-(k)為不同方法生成的融合圖像，(l)為本文提出的方法生成的融合圖像。對于紅框內的部分，通過所提出的方法獲得的融合圖像包含較少的噪聲，而圖(f)(g)(h)(j)則存在較為嚴重的噪聲。從圖片的整體上看，本文生成的融合圖像具有更多的亮度信息，且邊緣清晰，視覺效果更佳。

圖3 第二組實驗圖像，(a)-(l)依次為紅外圖像和可見光圖像，ResNet、ASR、GTF、RP、CVT、DTCWT、DWT、LP、DL、OUR。

3.3 客觀評價

為了更好體現(xiàn)出不同融合方法的性能差異，本文采用了四種常用的圖像融合評價指標，分別是熵(EN)、互信息(MI)、標準差(SD)和非線性相關信息熵(NCIE)。評價指標的值越高，證明融合圖像的質量越好。四個指標的定義如下。

3.3.1 熵(EN)

根據(jù)香農信息論，熵值大小反映了圖像包含信息量的多少，熵值越大，圖像融合的效果越好。熵定義如下：

(11)

其中，pi是圖像中第i個灰度級的概率，L表示圖像灰度級別，在我們的實驗中，將L設置為256。若圖像存在嚴重的偽影或噪聲，會使EN的值增大，因此，EN的值并不能完全代表融合圖像的質量。

3.3.2 互信息(MI)

互信息反映了融合圖像與源圖像的相似性，它描述融合圖像保留源圖像的信息量的多少。MI的值越大，表示從源圖像到融合圖像的信息量越大。根據(jù)文獻[19]，定義如下：

(12)

其中PABF(i，j，k)表示源圖像A、B與融合圖像。

F的歸一化聯(lián)合灰度直方圖分布，PAB(i，j)是圖像A與B的歸一化聯(lián)合灰度直方圖分布，PF(k)是融合圖像F的歸一化邊緣灰度直方圖分布。L為灰度級數(shù)，(i，j，k)分別代表源圖像A、B與融合圖像F的像素值。

3.3.3 標準差(SD)

圖像的標準差表示圖像中單個像素的值相對于圖像像素均值的偏移程度。在數(shù)學上，定義如下：

(13)

其中x是M×N維的融合圖像，xi，j表示在(i，j)處的像素值，μ是融合圖像的平均像素值。標準差越大，灰度越分散，也就說明圖像具有較高的對比度，視覺效果更佳。

3.3.4 非線性相關信息熵(NCIE)

根據(jù)文獻[20]，非線性相關信息熵(NCIE)定義為：

(14)

3.3.5 實驗數(shù)據(jù)分析

進一步地，我們通過圖像的評價指標來驗證所提出的方法的有效性。

表1第一行列出了第一對圖像的所有融合方法的評價指標。不難看出，本文提出的方法的EN和NCIE值略高于其他方法，MI和SD值則明顯高于其他方法。從評價指標的數(shù)據(jù)上來看，我們的方法保留了大量源圖像的有用信息，且具有較高的對比度。

表1 四組圖片的評價指標對比

表1第二行列出了第二對圖像的所有融合方法的評價指標。對于指標EN和NCIE，所有方法的值都非常接近，我們的方法略有優(yōu)勢。DWT、DL和我們的方法的MI值明顯高于其他的方法，進一步地，我們的方法相比DWT和DL又具有更大的優(yōu)勢。而對于指標SD，我們的方法明顯優(yōu)于其他方法。通過以上分析可以得出結論，我們的方法具有更大的價值。

表1第三行列出了第三對圖像的所有融合方法的評價指標。從數(shù)據(jù)上來看，對于第三對圖像，我們的四項評價指標值雖然沒有與其他方法拉開明顯的差距，但是都會稍高與其他的方法，結合主觀視覺效果分析，我們的方法是優(yōu)于其他方法的。

表1第四行列出了第四對圖像的所有融合方法的評價指標。從EN、MI和SD三項指標值來看，我們的方法均與其他方法拉開明顯差距，具有非常大的潛力。而NCIE值也略高于其他方法，綜上分析，我們的方法總體上優(yōu)于其他方法，在紅外與可見光的圖像融合方面具有一定優(yōu)勢。

4 結語

本文提出了一種有效的基于VGG-19深度學習框架的圖像融合方法。首先，通過拉普拉斯變換將源圖像分解為低通部分和高通部分。低通部分包含圖像更多的基礎信息，高通部分則含有更多的細節(jié)內容。對于低通部分，我們采用最大融合策略。對于高通部分，我們利用預訓練的VGG-19深度學習網絡來獲取深層特征，然后通過L1范數(shù)和平均操作進行優(yōu)化，再經過Softmax和上采樣，獲得最終的權重圖，將所有relu層的權重圖進行平均，就得到高通部分的融合圖像。最后，我們將融合后的高通和低通部分進行重構，通過拉普拉斯逆變換，獲得最終的融合圖像。為了驗證提出的方法的可靠性，我們在47對紅外與可見光圖像上進行了實驗，在4個指標的基礎上與9種先進的圖像融合方法進行了對比。實驗結果表明，我們的方法無論是從主觀視覺效果還是客觀評價指標上來看，都具有先進的性能。