基于兩尺度分解和特征提取的紅外與可見光圖像融合

黃文博，嚴華

(四川大學電子信息學院，成都610065)

0 引言

圖像融合是把兩幅或多幅從不同類型傳感器采集而來的同一場景的圖像經過特定的算法，將有效信息整合到一張圖片上，這張融合結果圖包含源圖像的不同種類的特征，實現了不同成像模式的優勢結合的同時也彌補了不同傳感器的自身劣勢。常見的圖像融合有可見光與紅外圖像融合、多聚焦圖像融合、醫學圖像融合、多曝光圖像融合。可見光與紅外圖像融合在軍事上能夠提升裝備的探測和識別能力，可見光圖像和紅外圖像的成像原理不同，前者經過物體的反射率進行成像，類似于人類視網膜成像的工作原理，而紅外圖像則是根據物體的溫度和輻射率進行成像，在軍事上對于探測隱蔽事物有極大幫助。目前圖像融合技術按層次分可以劃分為三類：像素級融合、特征級融合、決策級融合。像素級融合是最基層的融合，傳統主流方法大多基于像素級融合。顧名思義，像素級融合是直接針對像素點進行融合操作的，在原始數據上進行融合，可以增加原始數據的信息量，融合后的圖像具有更多的細節信息，如邊緣、紋理，有利于圖像的進一步分析、處理與理解，還能夠把潛在的目標暴露出來，利于判斷識別潛在的目標像素點的操作，這種方法才可以盡可能多地保存源圖像中的信息，使得融合后的圖片不論是內容還是細節都有所增加，這個優點是獨一無二的，僅存在于像素級融合中。

像素級圖像融合算法主要分為兩類：基于空間域的算法和基于變換域的算法。常見的空間域融合算法是基于塊操作的，如簡單的線性加權平均、邏輯濾波、對比調制等方法，塊的選取也是尤為重要的。最常見的變換域融合方法基于多尺度變換理論，將圖像按照變換規則映射到另一空間，在變換后的空間進行融合操作，最后再通過重構操作逆變換回原始空間。如金字塔分解法(LP)[1]和基于小波變換的離散小波變換(DWT)[2]、平穩小波變換(SWT)[3]和雙樹復小波變換(DTCWT)[4]。后面還出現了稀疏表示(SR)[5]的方法，基于SR的融合已經成為圖像融合研究中一個活躍的新分支，并提出了許多改進的方法。也有人將多尺度變換和稀疏表示方法相結合(MST-SR)[6]，取得了不錯的結果。但像素級圖像融合的局限性也是不能忽視的，由于它是對像素點進行操作，所以計算機就要對大量的數據進行處理，處理時所消耗的時間會比較長，就不能夠及時地將融合后圖像顯示出來，無法實現實時處理；另外在進行數據通信時，信息量較大，容易受到噪聲的影響；還有如果沒有將圖片進行嚴格的配準就直接參加圖像融合，會導致融合后的圖像模糊，目標和細節不清楚、不精確。所以有了后面的特征級融合，將特征信息從源圖像中提取出來，包括源圖像中的目標或者感興趣的區域，接著對這些特征信息進行分析、處理，整合到一張圖片上，使融合結果包含盡可能多的特征信息。相較于像素級融合，特征級融合時處理的信息更少，因此更節省內存和時間。但因為是將提取出的特征作為融合信息，因此同時也會丟失部分細節性特征。

1 提出的方法

我們提出用快速的兩尺度分解方法分解源圖像，將源圖像I1和I2分別分解成基礎層Bi和細節層Di，i為源圖像個數，即待融合圖像的個數。基礎層直接采用最大值融合規則進行融合保留更多原始信息，得到融合后的基礎圖B。細節層送入預訓練好的ResNet50網絡進行細節特征的提取，分離出多個relu層得到的不同尺度的特征圖，特征圖通過求L1范數操作后得到更為稀疏的特征圖Ci，后接softmax操作得到不同尺度的權重圖Wi，用獲得的權重圖對源圖像Ii進行加權平均得到不同層次的細節層融合結果，為了獲得更加豐富的細節特征，本文將最后兩個relu層的融合結果進行相加獲得最終的細節層融合圖D。最后基礎層融合結果B與細節層融合結果D相加得到最終融合結果F。算法流程圖如圖1所示。

圖1 提出的融合流程圖

1.1 圖像的分解

采用均值濾波器對源圖像I1和I2進行濾波，濾波后的圖像包含大范圍的粗糙信息，作為基礎層B1和B2，源圖像I減去各自的基礎層B得到各自的細節層D。濾波器的大小決定濾波范圍，濾波器越大得到的基礎層模糊程度越高，相應的細節層的細節信息就更多。其中f為均值濾波，I(s，t)為原始圖像，Sxy表示中心點在(x，y)處，大小為m×n的濾波器窗口，f(Ix，y)表示均值濾波后的圖像。

Bi=f(Ii)

(1)

其中i=1，2，下面同理。

Di=Ii-Bi

(2)

1.2 基礎層融合

由于基礎層多為灰度變換緩慢的區域，包含大部分背景，代表平均能量，所以為了獲得更顯著的特征信息，我們采用最大值融合規則。同時能夠獲得更高的亮度和對比度，適應于人類視覺系統。

B=max(Bi)

(3)

1.3 細節層融合

(4)

(5)

接下來通過softmax操作獲得初始權重圖W

(6)

(7)

得到的最終權重圖用于加權平均融合源圖像Ik。

(8)

Di表示源圖像I1和I2的第i個relu層的融合結果，要獲得更高質量的融合圖像，需要更多細節信息，所以本文將最后兩層的結果相加得到細節層最終融合結果D。

D=D5+D4

(9)

最終的融合圖像由基礎層融合結果和細節層融合結果相加得到：

F=B+D

(10)

2 實驗結果與分析

2.1 實驗設置

實驗的目的主要是與最近和經典方法的比較，包括主觀與客觀指標的比較，以驗證提出的方法的可靠性和實用性。本實驗所使用的軟、硬件環境如表1所示。參數選擇見表2。

表1 軟、硬件環境

表2 實驗參數選擇

我們挑選了47對來源于TNO據集[17]和OTCBVSBenchmark[16]數據集的圖片，其中包含樹、人物、建筑、道路、車輛等可見光和紅外圖像，所有的圖像都是經過嚴格配準的。這些圖像的示例圖如圖2。

圖2 示例源圖像，上面為紅外圖像，下面為可見光圖像

本方法將與當前經典方法進行比較，分別為基于多尺度變換和系數表示的一種通用圖像融合框架(MST-SR)[6]、梯度傳遞融合(GTF)[9]、拉普拉斯金字塔(LP)[1]、基于非子采樣輪廓波變換方法(NSCT)[12]、曲波變換(CVT)[14]和基于ResNet50和零相位分量分析的紅外與可見光圖像融合(ResNet50)[10]、基于VGG19的紅外與可見光圖像融合(VGG19)[8]。

2.2 主觀分析

我們從來自包含多光譜圖像的TNO數據集[17]和OTCBVSBenchmarkDataset[16]中的47對圖像中挑選出了5對圖像進行定量和定性的分析。其中包含坦克、草地、道路交叉口、人、營地。所有的結果都由各算法公開的代碼得到，結果在圖3中展示。

圖3 五組實驗圖像，從左至右的五幅圖分別為坦克、草地、道路交叉口、人、營地。從上至下前兩行為可見光圖像和紅外圖像，下面依次是GTF、LP、CVT、ResNet50、VGG19、MST-SR、NSCT、Proposed方法結果圖。

我們詳細看道路交叉口圖，如圖4所示，圖(a)和(b)為可見光圖像和紅外圖像。從整體上來看，圖(c)整體色調偏暗，且目標不清晰，圖(e)整體噪聲太多導致圖像看起來比較粗糙模糊，圖(f)、(e)整體呈灰色，分辨不出明顯的目標。從對比度上來看，圖(h)、(i)和我們的結果都不錯，能清晰地看到目標人物，但我們的結果整體風格更加明亮，并且存在更少的黑色不均勻區域。從圖(c)、(d)、(e)、(h)、(i)細節中可以看出，GTF、LP、CVT、MST-SR、NSCT方法融合出的圖像偽影較嚴重，紅框中的人物放大在圖片右下角，放大后可以明顯地看出右側的偽影，基于深度學習框架ResNet50和VGG19的方法所代表的圖(f)、(g)雖然從人物上看不出明顯的偽影，但結合綠框中放大在左下角的窗戶背景來看，玻璃和窗格的灰度比較接近，致使融合結果的對比度不高，圖像所包含的信息也不顯著，比較模糊，未能很好地結合可見光和紅外圖像的顯著特征。相反我們的結果中，窗格為白色、玻璃為黑色，能夠清晰地看出整個窗戶的結構，在視覺上能夠很輕易地描繪出窗戶的輪廓，這符合圖像融合期望的結果。

圖4 各方法道路交叉口結果圖(a)、(b)分別為可見光與紅外圖像，(c)至(j)為GTF、LP、CVT、ResNet50、Vgg19、MST-SR、NSCT、Proposed方法結果圖

2.3 客觀分析

選擇圖像融合領域常用的四個指標作為定量比較的指標，分別為熵(EN)、互信息(MI)、標準差(SD)、視覺保真度(VIF)[15]，下面分別講解指標所對應的含義。

(1)客觀分析指標

①熵EN

基于信息理論，熵的大小反映了信息量的多少，熵越大，融合圖像的質量越高。

(11)

式子中L為灰度級，設置為256，p(g)為灰度級為g級時融合圖像的歸一化直方圖。

②互信息MI

互信息量用于衡量兩個分布之間的距離，也是衡量兩個分布之間互相依賴的度量。MI值越大，表面融合結果含有源圖像的信息越多。

MI(A，B，F)=MI(A，F)+MI(B，F)

(12)

其中A，B，F分別為源圖像1，源圖像2和融合結果。MI(A，F)表示A和F之間的互信息，PA，F(i，j)為A和F的聯合概率密度，PB，F(i，j)同理，當有多張源圖像時，融合圖像的互信息指數為融合圖像與所有源圖像的互信息指數之和。

③標準差SD

標準差用于測量一組數值的離散程度。離散程度越大，說明圖像信息更加豐富。

(13)

此處xi，j表示在(i，j)位置處的像素值，μ為在該位置處的平均像素值。

④視覺保真度VIF

視覺保真度用于評估融合圖像的品質，VIF值越大表示圖像越符合人類視覺感知，圖像質量越高。

(14)

(15)

(2)客觀指標對比

在(1)中我們介紹了4種指標，包含衡量圖片信息量的EN和SD、表明融合圖像與源圖像之間相似程度的MI和衡量人類視覺保真度的VIF[15]。表3展示了2.2小節中不同方法的5組圖片的4個指標，加粗字體為最優結果。結果表明，我們方法在各個方面都具有最好的性能。從EN值可以看出在包含信息量方面，我們的方法比其他方法平均高出接近0.5，表示我們方法得到的圖像具有更多的信息，融合圖像質量更佳。MI互信息指標優于其他方法說明我們的方法能夠更好地提取兩張源圖像的信息，并融合進結果圖中，我們的結果圖中包含更多來自源圖像的信息。可以看到我們的SD指標高于其他方法，說明我們的方法生成的圖像像素值分布更加離散均勻，圖像信息豐富。特別的是VIF，在某些場景下，我們的VIF指標也高于其他方法，作為最符合人類視覺感知的指標，其值越大表明越貼合于人眼，所以我們的結果擁有高的對比度和分辨率。總的來說，我們所提出的方法在實驗結果上優于其他方法。

表3 定量比較

3 結語

我們提出一種基于快速兩尺度分解的圖像融合方法，用均值濾波進行源圖像的分解得到包含背景粗糙信息的基礎層和包含紋理、邊緣等細節信息的細節層。對基礎層我們采取最大值融合規則，同時將深度學習運用于細節層的融合。細節層被送入預訓練好的ResNet50進行特征的提取，我們分離出深度學習網絡不同層次的特征圖進行融合。先讓不同層次的特征圖經過提取L1范數和平均操作，得到稀疏的權重圖，再通過上采樣得到大小一致的最終權重圖，最終權重圖用于源圖像的加權平均得到細節層的融合圖像。最后將基礎層的融合結果和細節層的融合結果進行相加獲得最終融合結果。我們的實驗基于TNO數據集和OTCBVS Benchmark數據集，在4個指標上與先進的7種方法進行對比，無論從主觀上還是客觀指標上都表明我們的方法優于其他方法。