基于小波變換和各向異性擴散的紅外和可見光圖像融合算法

2022-03-14 06:15:06安倍逸付周興馬瑞澤趙新生

西安科技大學學報 2022年1期

郝帥，安倍逸，付周興，馬瑞澤，趙新生，馬旭，劉彬

(1.西安科技大學電氣與控制工程學院，陜西西安 710054；2.西安衛星測控中心，陜西西安 710043)

0 引言

圖像融合一直是計算機視覺領域中的研究熱點，主要是將同一場景中的異源/同源圖像按照一定的融合策略生成融合圖像，從而增強圖像中目標細節表達能力，以便后續處理。目前，圖像融合技術已在測繪遙感[1]、人臉識別[2]、醫學成像[3]、軍事偵察[4]、輸電線路故障檢測[5]等領域廣泛應用。紅外圖像和可見光圖像是圖像融合中研究最為廣泛的2類圖像[6]，紅外圖像主要是利用目標與背景的熱輻射差異來區分目標和背景，它受光照變化以及天氣條件影響較小[7]。然而，相比可見光圖像，紅外圖像對目標的細節表達能力往往不足。可見光圖像具有較強的細節分辨力，但是它受光照變化影響嚴重。為此，將紅外與可見光圖像進行融合，綜合二者優點，可以使融合圖像能夠更加符合人類視覺感知標準，便于后續任務處理。

根據圖像表征層次的不同，圖像融合可以分為像素級、特征級和決策級融合[8]。決策級融合主要是依據一定的融合準則對每種傳感器采集的數據進行可信度綜合判斷。該方法計算量小，但是由于每種傳感器的決策結果都會傳遞到最終的決策層，所以該方法的融合精度嚴重依賴于所選取決策函數的容錯能力。特征級融合是對各原圖像所提取的特征(如形狀、邊緣、紋理等)進行融合。該方法可以有效降低處理的數據量，計算速度快，但是往往會損失部分細節特征。像素級融合方法是直接在像素點基礎上進行融合，該方法可以保留圖像中豐富的細節信息，但是處理時存在數據量大且易受噪聲干擾等問題。李海賓等在研究中證明了像素級圖像融合方法具有較好的融合效果，而且計算復雜度低[9]。為此，本方法研究重點是基于像素級的融合方法。

像素級圖像融合方法大致可分為基于空域和基于變換域的融合方法[10]。在基于變換域的圖像融合方法中，由于基于多尺度的融合方法模擬了人類視覺系統感知方式，是目前最常用的像素級融合方法之一。劉先紅等提出了基于多尺度方向引導濾波和卷積稀疏表示的圖像融合方法[11]，陳勇等提出了基于小波變換的融合方法[12]，ZHANG等提出了基于非采樣Contourlet變換的融合算法[13]，吳延海等提出了基于NSCT變換和壓縮感知的融合算法[14]，他們通過融合實驗證明了基于多尺度融合的方法能夠獲取較好視覺效果。但是葉明等在研究中指出，基于小波變換的融合圖像算法會隨小波分解尺度的增大出現較為明顯的非均勻效應，而且融合結果中會存在細節信息保留不完整問題[15]。

為了使融合結果具有較好的細節表達能力，大量學者利用濾波的方法來增強圖像融合效果。如朱浩然等提出了基于迭代導向濾波的圖像融合算法[16]，KUMAR采用交叉雙邊濾波算法進行圖像融合[17]，趙程等提出了基于滾動導向濾波和混合多尺度分解的紅外與可見光圖像融合方法[18]，涂超平等提出了基于各向異性熱擴散方程的多聚焦圖像融合算法[19]。上述方法的思想都是先將源圖像分解為基礎層和細節層，然后利用不同的融合策略生成融合圖像。封子軍等在研究中指出，相比于濾波融合方法，基于各向異性擴散的方法能夠更好的保留圖像邊緣信息，而且圖像具有較好的去噪能力[20]。但目前針對各向異性擴散模型提出的改進方式大多都是針對擴散方程本身提出的，忽略了圖像的自身特征信息，可能造成圖像細節部分(紋理、弱邊緣等)的丟失或模糊。

綜上所述，為了使融合圖像具有較好的細節分辨能力的同時，更加符合人類視覺感知特性，提出一種基于小波變換和各向異性擴散的紅外和可見光圖像融合算法。

1 小波分解與重構

小波變換作為一種有效的多尺度分析工具，可以將圖像分解為低頻分量和高頻分量[21]。文中利用2個一維濾波器實現對二維圖像的快速小波分解，然后通過2個一維重構濾波器實現圖像的重構。j-1尺度下的分解公式可以表示為

(1)

(2)

式中H*和G*為H和G的共軛轉置矩陣。

2 各向異性擴散

通過各向異性擴散可將給定的圖像保留常規比例下的特性，并借助偏微分方程可以保存邊緣輪廓信息，獲取區域邊界清晰的圖像。為此，選擇通過各向異性擴散來增強圖像的細節表達能力。

各向異性擴散方程可以表示為

It=c(x,y,t)ΔI+c·I

(3)

式中c(x,y,t)為擴散速率；Δ為拉普拉斯算符；為空間變量的梯度算子；t為時間；It為一個隨時間t變化的圖像。將式(3)利用拉普拉斯算子進行離散化可得到迭代方程

(4)

(5)

同理，沿北、南、西、東4個方向上的傳導系數可以定義為

(6)

式中 g(·)為使細節平滑與邊緣保持之間的一個邊緣停止函數。為了使圖像具有豐富的細節以及邊緣信息，選擇函數如下

(7)

式中K為邊緣導熱系數。

3 融合算法

3.1 融合流程

整個算法的流程如圖1所示。

圖1 文中算法結構框

1)對源圖像分別進行小波變換，提取高頻部分和低頻部分，在各自尺度進行疊加后形成最終高頻層和最終低頻層。

2)對上一步疊加生成的低頻層和高頻層分別進行各向異性擴散從而生成相應的基礎層和細節層。

3)細節層融合利用KL變換進行融合，基礎層利用加權平均的方法進行融合。

4)將細節層和基礎層通過線性融合重構出最終融合圖像。

3.2 融合策略

(8)

式中 AD(·)為各項異性擴散運算子。

(9)

(10)

求取特征值σ1和σ2，并找出其最大特征值σmax，記作

σmax=max(σ1,σ2)

(11)

假定σmax相對應的特征向量為ξmax，由此可計算出融合權重系數KL1，KL2，見式(12)

(12)

(13)

(14)

式中ωn為加權平均系數，且ωn滿足條件

(15)

實驗中，取ω1=ω2=0.5。

3.3 線性融合重構

(16)

部分融合結果如圖2所示。

圖2 融合結果圖像

4 仿真結果及分析

為了驗證所提出融合算法(WDK)的優勢，選取多尺度奇異值分解(MSVD)算法、小波變換(WT)、雙尺度融合(TS)算法進行比較，從主觀和客觀2個方面來對算法的性能進行評估。本算法的運行環境為戴爾筆記本電腦(型號為靈越7380)，軟件平臺為MATLAB R2019a，所用的異源圖像來自于數據庫https：//figshare.com/articles/TN_Image_Fusion_Dataset/1008029。

4.1 主觀評價

為了驗證本算法的主觀評價效果，從上述數據庫中隨機選取5組經過配準的紅外與可見光圖像進行融合實驗，各算法的融合結果如圖3所示。

從圖3第1組圖像可以看出，圖3(d)(f)背景細節和房屋邊緣對比度不高，融合結果較為模糊，圖3(e)圖像對比度較高，但房屋邊緣及背景信息保留不完整，而本算法圖3(c)可以明顯看出房屋邊緣紋理較為清晰，如圖中紅色矩形框區域所示。從圖3第2組圖像可以看出，圖3(d)(e)(f)背景信息較為模糊，本算法圖3(c)具有較高的圖像對比度，在紅色矩形框標注的部分可以清晰的看到人的邊緣輪廓信息，融合效果較好。從圖3第3組圖像可以看出，本算法相比于其它算法更好地保留了樹木細節信息。從第4組圖像可以看出，圖3(d)(e)圖像清晰度較低，圖3(c)和(f)的圖像清晰度較高，但是圖3(c)中紅色矩形框中所示的樹木細節信息相比于圖3(f)更加豐富。而在第5組中，4種方法的融合圖像都能將煙霧中的人物較為清楚的表示出來，但本算法能夠更好地保留源圖像的人物邊緣輪廓，融合效果較好。通過以上5組對比實驗可以看出，相比于其他3種融合算法，本算法能夠更好的保留融合圖像中目標的細節信息。

圖3 圖像融合結果比較

4.2 客觀評價

為了客觀評價本算法的優越性，實驗中選取香農熵(shannon entropy，EN)、圖像交叉熵(cross entropy，CE)、特征相似度(feature SIMilarity，FSIM)、圖像互信息(mutual information，MI)、相對標準偏差(relative standard deviation，RSD)以及運行時間作為評價指標[23]。其中，EN反映圖像所含信息量的豐富程度，數值越大表明獲得的融合圖像所包含的信息量越大；CE表示融合后2幅圖像與原始圖像的交叉熵。交叉熵越小，圖像間的差異越小，融合效果越好；FSIM用于評價圖像間相似度，數值越大說明融合圖像與源圖像在某些特征方面更相似；RSD表示原始圖像與融合圖像的相對標準偏差，反映了與真實值的偏差程度，相對標準偏差越小，融合精度越高，圖像融合效果越好；MI表示融合后的圖像與原始圖像之間的相互信息，MI越大，2幅圖像的相似度越高。

利用4.1節主觀評價中的5組圖像進行測試驗證，其客觀評價指標結果分別見表1～表5。從表1～表5可以看出，所提出算法的EN值在4組實驗中效果最好，FSIM值在2組實驗中保持數值最優，其余3組均為次優值，說明所提出的算法可以較好的保留源圖像的信息，而且融合后的圖像與原始圖像特征具有較高的相似度。通過5組對比實驗的CE數值可以看出，所提出算法生成的融合圖像與源圖像差異較小。通過5組實驗的RSD指標可以看出，本算法在其中4組對比實驗中效果最好。通過5組對比實驗的MI指標可以看出，本算法均為最優數值，表明本算法相較于其他算法，融合圖像的特征相似度與原始圖像最為接近。從各算法的運行時間可以看出，所提出算法和TS算法的實時較好，其運行時間遠小于其他算法，可以用于對實時性要求較高的場合。通過各客觀評價指標可以看出，所提出的算法綜合性能最好。