基于GF-WLS和VSM的多能量X射線圖像融合方法

白贇沨，劉 祎，張小琳，張鵬程，桂志國,3

(1.中北大學 信息與通信工程學院，太原 030051；2.中北大學 生物醫學成像與影像大數據山西重點實驗室，太原 030051; 3.省部共建動態測試技術國家重點實驗室，太原 030051)

數字射線成像是工業器件質量檢測的主要方 法。工業器件形狀復雜，在射線透照方向上的等效厚度差異比較大，而X射線平板探測器的動態范圍有限，在對復雜工業器件進行成像時，可能同時出現過曝光和曝光不足的情況，影響圖像質量和后續觀察。所以針對這一問題，提出了多能量X射線圖像融合算法。

圖像融合是最大限度提取多幅圖像的有利信息，綜合成一幅高質量圖像的過程，融合后的圖像較融合前的圖像含有更多的有用信息[1]。將圖像融合技術應用到多能量X射線圖像中，可以將工業器件在不同射線能量透照下的有效信息顯示在一幅圖中，提升圖像的信息量，為觀察提供便利。目前的圖像融合算法一般可分為基于多尺度變換、基于稀疏表示、基于神經網絡以及上述方法結合的混合模式。趙賀等[2](2021年)提出了一種基于非下采樣輪廓波變換(NSCT)與離散小波變換(DWT)的脈沖耦合神經網絡(PCNN)醫學圖像融合算法，有效提升了融合圖像的對比度并保留源圖像的細節信息。董安勇等[3](2019年)提出了一種卷積稀疏表示和鄰域特征結合的多聚焦圖像融合算法，有效地提取了源圖像更深層次的清晰測度信息。李雨晨等(2021年)提出了一種基于卷積神經網絡(CNN)和加權最小二乘法(WLS)的醫學圖像融合算法，使融合圖像包含更多的視覺細節信息和具有更高的對比度。

圖像融合技術經歷了由單一到復雜的演變過程，有了很大的進展。邊緣保持濾波器由于具有在保持邊緣的同時可以平滑圖像的特性，被成功運用到圖像融合中。LI等[4](2013年)提出一種基于引導濾波的圖像融合算法，首次將引導濾波用于權重圖的構造，解決了初始權重圖中目標邊緣未對齊的問題。MA等[5](2017年)提出一種基于滾動引導濾波(RGF)和高斯濾波器的圖像融合算法，將輸入圖像分解為基本層和細節層，使用基于視覺顯著性圖(VSM)和加權最小二乘(WLS)優化的多尺度融合方法，克服了傳統方法的一些常見缺陷。SHARMA等[6](2017年)基于雙邊濾波和加權最小二乘濾波的融合方法進行圖像處理，最終得到的結果具有較好的視覺表現力。羊肇俊等[7](2021年)提出基于加權最小二乘濾波和引導濾波的鑄件X射線DR(數字射線成像)圖像融合算法, 使用具有邊緣保護性質的濾波提取細節圖中包含的信息，結合拉普拉斯濾波和高斯濾波來獲取顯著圖，最后的結果有更好的視覺效果。劉明葳等[8](2021年)采用各向異性導向濾波獲得基礎圖和細節圖，有效去除了噪聲和抑制光暈偽影。

上述算法雖然在一定程度上提升了融合圖像的質量，但都不適用于復雜結構件多能量X射線圖像的融合。因此，文章結合不同方法的優勢，提出了基于GF-WLS(GF為引導濾波器)和VSM的圖像融合算法。該算法在提取圖像細節時對邊緣的保護性良好，融合后的圖像紋理清晰，在復雜結構件的多能量X射線圖像融合中表現良好。

1 相關理論

1.1 引導濾波

引導濾波是一種新的邊緣保持濾波器，其引導圖像的局部線性變換，可以實現圖像邊緣的平滑、細節增強等功能，具有視覺質量好、速度快和易于實現等特點，已成為目前最受關注的濾波方法之一[9]。

文獻[4]最早將引導濾波運用于圖像融合。引導濾波是一種局部線性濾波器，引導圖像的梯度可以被傳遞到輸出圖像，邊緣細節因此得到保留。引導濾波的數學公式為

(1)

式中：IGF為經過引導濾波的輸出圖像；G為引導圖像；下標p和k為像素的空間位置；wk為以k為中心的窗口；ak和bk是wk中的兩個常數，目的是使輸出圖像和輸入圖像的差距最小化。

ak和bk可通過式(2)來求解。

(2)

式中：I為輸入圖像；τ為正則化參數，防止ak過大。

根據式(2)求解出ak和bk的值為

(3)

bk=k-akμk

(4)

由式(1)可知，在不同的窗口wk內，輸出的圖像會發生變化。為了解決這個問題，對所有的ak和bk按式(5)取平均。

(5)

1.2 加權最小二乘濾波

加權最小二乘濾波是一種非線性濾波器，能夠在平滑圖像的同時保護圖像邊緣，并且在多尺度的細節處理上具有出色的表現力[7]。該算法最早見于文獻[10]。加權最小二乘濾波是一種全局濾波器，目的是使得輸出圖像盡可能接近輸入圖像，并且保持輸入圖像中顯著區域外的其他部分平滑，該算法的具體數學表達式為

(6)

式中：g為輸入圖像;u為輸出圖像;p為像素的空間位置；函數的第一項實現輸入圖像與輸出圖像盡可能相似的目的，第二項通過對輸出圖像求x，y方向的偏導來達到平滑圖像的效果，λ則為平衡兩項的參數；ax,p(g)和ay,p(g)為權重控制平滑程度，其計算方法為

(7)

(8)

式中：l為輸入圖像的對數亮度通道；α為參數，決定了梯度權重項對圖像邊緣的敏感度；ε為一個極小的常數，防止輸入圖像g為常數的區域被零除。

為了方便計算，將公式(6)寫成公式(9)的矩陣形式。

(u-g)T(u-g)+

(9)

求解式(9)的最小值，u定義為式(10)的唯一解。

u=(E+λLg)-1g

(10)

式中：E為單位矩陣；Lg為五點空間異構拉普拉斯矩陣。

(11)

1.3 相位一致性

視覺顯著圖反映的是人眼視覺最感興趣的區域，而人眼主要依靠圖像相位觀察圖像，因此在圖像融合的過程中，將相位一致性算子PC引入顯著圖的構造來提升最終融合圖像的視覺效果。與傳統的拉普拉斯算子等提取特征生成顯著圖的方法相比，相位一致性具有兩點優勢：① 對圖像的亮度和對比度的變化并不敏感；② 在一幅圖像中，與傅里葉振幅相比，傅里葉相位包含更多的感知信息。相位一致性的大小度量了特征的顯著程度[8]。像素點x的相位值表示為

(12)

式中：An為表示第n個傅里葉分量的幅值；E(x)為局部能量函數；η為常數，引入η的目的是為了應對所有傅里葉振幅都非常小的情況。

用拉普拉斯算子與PC算子對器件提取特征的對比試驗結果如圖1所示，可以看出相位一致性算子提取的特征更清晰且突出。

圖1 相位一致性和拉普拉斯算子提取的特征比較

2 算法設計

基于引導濾波和加權最小二乘濾波的圖像融合模型可以在平滑圖像和保護邊緣的同時,在多尺度提取特征時擁有良好的能力。對源圖像進行多尺度分解,引入PC算子和像素對比度提取顯著圖, 用引導濾波對權重圖進行優化,最后疊加各層融合圖像獲得初步融合圖像，重復進行兩次融合得到最終融合圖像。融合算法框架如圖2所示。

圖2 融合算法框架

2.1 基于引導濾波和加權最小二乘濾波的多尺度細節提取

傳統的多尺度變換主要使用的是線性濾波器，在分解過程中易有光暈偽影產生，可以利用非線性邊緣保持濾波器減少偽影。受文獻[8]的啟發，引入多尺度的方式，采用GF和WLS兩種濾波方式分別提取兩幅待融合的多能量 X 射線圖像中的細節信息。具體過程如下所述。

(1) 對輸入圖像U進行平滑處理得到對應的平滑圖像UGF和UWLS，將平滑后的圖像作為下一級平滑處理的輸入圖像。

(13)

(14)

(15)

式中：Uj為第j級濾波圖像;U0為源圖像;N為分解層數,設置N=4。

引導濾波器通過σs和σr分別控制濾波的空間范圍權重與強度差范圍權重。加權最小二乘濾波通過λ和α控制輸出圖像的平滑程度和邊緣的銳化程度。

(16)

(17)

將源圖作為基礎層b

b=U0

(18)

(3) 對兩種濾波提取出的細節信息進行加權平均得到最終的細節層圖像，設置權重wGF=wWLS=0.5，則第i層細節di為

(19)

多尺度圖像分解流程如圖3所示。

圖3 多尺度圖像分解流程

文章直接將源圖作為基礎層圖像，在細節層與源圖像進行疊加的同時，可以達到圖像增強的目的。

2.2 基于相位一致性及像素對比度的權重圖構造

將相位一致性引入圖像融合框架，可以提升融合圖像的視覺效果。

(20)

i=(0,1,…,N)

(21)

由式(21)可知，若兩個像素點的像素強度值相同，則這兩個像素點的像素顯著值也相等。因此式(21)可以改寫為

i=(0,1,…,N)

(22)

式中：m為像素強度；Mm為強度等于m的像素數；L為灰度級數。

(23)

(24)

(25)

圖4 權重圖構造流程

2.3 圖像融合

融合基礎層和融合細節層由加權映射計算得到，分別表示為：

(26)

(27)

最后，將融合后的基礎層B與融合后的細節層Di相加，得到融合結果F，即

F=B+D1+D2+…+Di,

i=(1,2,…,N)

(28)

3 試驗結果與分析

為進一步驗證文章所提方法的優越性，選擇了 3 組DR圖像進行融合試驗。同時，為了驗證算法的優勢，文章選取了5種其他常見的圖像融合算法，從主、客觀兩方面與所提方法進行對比。這5種算法包括文獻[11]所提出的基于結構塊分解的圖像融合算法(SPD),文獻[12]所提的基于尺度不變特征變換和引導濾波的圖像融合算法(SIFT-GF),文獻[13]所提的基于各向異性擴散的圖像融合算法(ADF),文獻[14]所提的基于多分辨率奇異值分解的圖像融合算法(MSVD),文獻[5]所提的基于視覺顯著性圖和加權最小二乘的圖像融合算法(VSM-WLS)。試驗使用的軟件MATLAB2018a。

3.1 主觀評價

3個器件不同方法DR圖像的融合結果如圖57所示。為了更清晰地比較，框出了一些細節并將其放大。

由圖57可以看出，通過SPD方法獲得的融合圖像的完整性良好，但是清晰度不夠高，器件的細節信息損失嚴重;SIFT-GF方法處理的融合圖像亮度較低，在觀察器件較厚區域的細節時有一定困難;通過ADF方法獲得的融合圖像總體上較暗，細節信息相對模糊，邊緣特征不明顯;通過MSVD方法獲得的融合圖像對比度較高，但在局部放大圖中可以看出器件較厚的區域較暗，細節部分不夠豐富;VSM-WLS方法獲得的圖像整體亮度更高，但清晰度較低，視覺效果不佳。試驗結果表明，文章提出的算法在多能量X射線圖像融合中效果良好，亮度適中且保留的細節信息豐富，融合后圖像的清晰度較高，視覺效果較好。

圖5 器件1不同方法的融合結果及局部放大圖

圖6 器件2不同方法的融合結果及局部放大圖

圖7 器件3不同方法的融合結果及局部放大圖

3.2 客觀評價

由于主觀算法對細微細節的區分欠缺客觀性，所以為了進一步證明文章算法的有效性，對文章算法與對比算法進行客觀質量評價。針對圖像特點，采用6個客觀評價指標來對算法進行評價，分別是方差[15]、空間頻率[16]、信息熵[17]、邊緣強度、平均梯度[18]、基于視覺信息保真度的指標[19]，比較結果如表 1 所示(加粗字體為最佳結果)。

方差反映圖像細節信息的豐富程度；空間頻率反映圖像的清晰度；信息熵反映圖像中平均信息量的多少；邊緣強度反映圖像的邊緣強度；平均梯度反映圖像中的微小細節反差和紋理變化特征；信息保真度是基于視覺信息保真度提出的衡量融合圖像質量的指標。所選的6個客觀指標均為正項指標，其值越大表明融合效果越好。

從表1可以看出，在3種器件試驗中，文章方法的方差，信息熵和信息保真度指標僅總體高于其他算法的，表明該方法在信息量的傳遞方面稍有欠缺；空間頻率、邊緣強度和平均梯度指標均優于其他算法的，說明該方法保護邊緣的能力遠高于其他算法的，對圖像微小細節的描述能力良好，清晰度與其他算法相比也有很大提升。結論與主觀評價一致，說明了該算法有明顯的優越性。

表1 3種器件DR圖像融合結果的客觀指標比較

4 結語

提出了一種基于GF-WLS和VSM的多能量X射線圖像融合方法，用兩種濾波方法提取圖像細節。在融合規則上，采用了相位一致性和像素對比度構造權重圖。將所提方法與 5種代表性算法進行比較。主觀視覺和客觀數值比較結果表明，所提算法較好地保留了兩張圖像的細節，且在擁有良好融合效果的同時，獲得了很好的增強效果, 在復雜結構件的多能量X射線圖像融合中表現優越。