基于小波變換的紅外與X光圖像融合方法研究

陳樹越，劉金星，丁 藝

(常州大學信息科學與工程學院，常州213164)

引 言

圖像融合是指采用某種算法對兩幅或多幅不同的圖像進行綜合處理，得到一幅或多幅信息更加豐富的新圖像［1］。紅外與可見光圖像融合是一種典型的圖像融合，即在一幅圖像中既保留豐富的外在特征信息，同時又顯示圖像中的熱輻射信息。目前，可見光與紅外圖像的融合技術在民用領域、醫(yī)學成像、國防科技等都有廣泛的應用［2］。

圖像融合采用的方法主要有灰度加權平均法、主成分分析(principal component analysis，PCA)法、金字塔變換、小波變換等融合方法［3－5］，其中小波變換是一種有效的信號分析及處理技術，受到人們的廣泛關注和應用。由于紅外圖像和X光圖像不能直接進行小波變換融合，所以首先將紅外圖像和X光圖像分別轉化為灰度圖像，然后把這兩幅灰度圖像進行小波融合，獲得小波融合圖。然后采用YIQ彩色空間變換將融合后的圖像進行彩色處理，將紅外圖像的顏色信息轉移到融合后的小波圖像上，最終獲得小波融合圖。

紅外圖像與X光圖像進行融合，不僅能獲得構件表面的溫度場分布，還可以透過構件內(nèi)部獲得不可視零部件的結構，進而可根據(jù)融合圖像的溫度場分布判斷和追蹤熱輻射來源，使得圖像的信息更加豐富，該方法對發(fā)現(xiàn)構件內(nèi)部熱源提供了一條新思路。在融合方法上借鑒紅外與可見光融合方法，提出了基于小波變換的紅外圖像與X光圖像融合，并通過特征參量對融合圖像的效果進行評價。

1 小波融合

1.1 小波變換MALLAT算法

若利用Hr，Hc和Gr，Gc分別表示鏡像與共軛濾波器H和G的行濾波器值和列濾波器值，它們對{Cj(m1，m2)}(m1，m2∈Z2)行和列進行濾波，Z2是一個點的集合，則2維MALLAT分解算法可表示為:

式中，Cj+1表示圖像f(x，y)的低頻部分;D1，j+1，D2，j+1，D3，j+1分別表示高頻部分的水平方向分量、垂直方向分量、對角方向分量。

2維MALLAT分解算法的重構算法表達式為:

式中，H'，G'分別表示H，G的共軛轉置矩陣。

1.2 YIQ變換

YIQ色彩空間中，亮度信息Y代表灰度級信息，而色調(diào)I和飽和度Q攜帶顏色信息。從RGB到YIQ的轉換關系［8］是:

1.3 基于小波分解和重構的融合原理

利用2維小波對圖像進行分解，在不同的分解層采用不同的融合規(guī)則，對應用規(guī)則處理過的各層圖像用小波重構的方法重構。紅外與X光圖像融合過程如下:(1)首先對配準后的圖像進行灰度變換，然后采用2維離散小波對灰度圖像分別進行分解，把灰度圖像分解到不同的頻率和方向上，可以指定小波和分解層數(shù)，常用小波基有 Haar小波、Daubechies(dbN)小波、Mexican Hat(mexh)小波、Morlet小波、Meyer小波等5種，由于Daubechies小波基在表達圖像的細節(jié)部分效果較好，在此選擇了DBSS(2，2)小波的2層和3層分解［9］;(2)對獲得的各層分解圖像分別進行融合處理，對各分解層采用對應的融合規(guī)則，在此高頻系數(shù)選擇最大值，低頻系數(shù)選擇加權平均法［10－11］;(3)對上一步得到的小波系數(shù)矩陣進行重構，重構圖像即為小波變換融合圖像;(4)對原紅外RGB圖像進行YIQ顏色空間變換，提取其I，Q顏色分量，該顏色分量表示溫度信息。然后提取小波融合圖像的Y分量，該分量表示亮度。最后，將它們合成為新的YIQ空間圖像，通過YIQ變換轉換為RGB圖像，即為最終的小波融合圖像。

Fig.1 Flow chart of wavelet fusion of infrared and X－ray images

上述步驟的流程圖如圖1所示。

2 質量評價

對同樣的兩幅圖像，不同的融合方法可以得到不同的融合圖像，采用不同的融合方法有不同的優(yōu)點。因此，對融合圖像進行質量評價，有助于選擇適當?shù)膱D像融合算法和改進現(xiàn)有的融合算法。

客觀評價主要有:熵、平均梯度、標準差、均方根誤差、峰值信噪比、聯(lián)合熵等。由于在實際應用中很難得到融合圖像的標準圖像，因此，對于紅外與X光圖像融合效果，可以采用圖像的熵、平均梯度、標準差等參量來評價圖像融合前后的變化和融合圖像質量。

(1)圖像的熵越大，說明圖像的信息量越豐富。信息熵定義為［12］:

式中，L為圖像總的灰度級數(shù)，Pi表示圖像中像素灰度值為i的概率。

(2)標準差越大，說明圖像的對比度大，圖像融合效果越好。其定義為［13］:

式中，F(xiàn)(i，j)和分別表示在點(i，j)的灰度值和平均灰度，這里的圖像大小為M×N。

(3)圖像的平均梯度越大，說明圖像越清晰。其定義為［14］:

式中，f(m，n)表示圖像中點(m，n)的灰度大小。

3 實驗結果及分析

電路在工作中，其中的元器件會產(chǎn)生熱量，實驗以電路板為研究對象。首先，采用紅外熱像儀和X光機獲取紅外與X光圖像，如圖2a、圖2b所示。

Fig.2 a—infrared image b—X－ray image

由于紅外圖像與X光圖像不能直接進行融合，先將配準后的紅外圖像和X光圖像分別進行灰度變換，然后采用小波變換對變換后的灰度圖像進行融合，高頻系數(shù)選取最大的方法，低頻系數(shù)取兩幅圖像對應的均值，本次實驗中選用DBSS(2，2)小波變換分解和重構圖像，分解層數(shù)分別為2層、3層，得到融合后的圖像，如圖3所示，然后將圖3a和圖3b進行YIQ顏色空間變換，獲得最終融合圖像，如圖4所示。通過融合實驗結果可以清晰地觀察到電路板所反映的溫度信息和內(nèi)部結構細節(jié)。

Fig.3 Image of wavelet fusion

Fig.4 YIQ transform of wavelet fusion image

由于不存在標準的融合圖像，因此，采用熵、標準差和聯(lián)合熵來客觀評價獲得融合圖像。此外，為了驗證小波融合的效果，還做了一組灰度平均加權的圖像融合實驗。由于本實驗中主要是獲得構件內(nèi)部溫度場分布和細節(jié)，尤其是芯片的溫度場分布，因此，選取芯片附近互相對應的區(qū)域進行融合質量評價，如圖5所示，評價結果如表1所示。

從主觀視覺上看，融合的幾幅圖像都能得到比較滿意的視覺效果，融合的圖像既能看到電路板上芯片溫度場分布，也能看到芯片的細節(jié)信息，圖像較融合前的紅外圖像清晰了許多，對比度也有了很大的提高。

Fig.5 Region image

Table 1 Evaluation results

從客觀評價上看，融合圖像的清晰度較紅外圖像高、較X光圖像低，這說明融合圖像在繼承了兩幅圖像的信息基礎上進行了折中，既包含了構件的溫度場分布，同時也反映了構件內(nèi)部清晰的結構。從表1中也可以看出，2層、3層小波分解在信息熵、標準差、平均梯度等方面的指標較平均值融合都有了較大的提高，融合質量較好。評價結果對比情況如表2所示。

Table 2 Comparison results of evaluation parameter average of two and three wavelet transform

4 結論

采用小波融合方法對紅外與X光圖像融合能夠較好地反映構件內(nèi)部細節(jié)和溫度場分布。從主觀上看，與融合前的紅外圖像相比，融合后的圖像所含有的信息更加豐富，圖像也更加清晰。從客觀上看，小波融合的圖像在熵值、標準差以及平均梯度上都比融合前的紅外圖像得到提高，分別提高了12.53%，63.28%，757.11%。另外，融合圖像在這些評價參量上比X光圖像低，分別降低了4.49%，27.17%，6.32%。可見，融合后的圖像在繼承了兩幅圖像的信息基礎上進行了折中，既包含構件的溫度場分布，同時也反映了構件內(nèi)部清晰的結構，從而有利于發(fā)現(xiàn)內(nèi)部熱輻射源。

［1］ YU K L，XIE Zh Y，YUAN Zh W，et al.Application of improved wavelet image fusion algorithms［J］.Computer and Digital Engineering，2014，42(4):592－593(in Chinese).

［2］ REN H P.Research progress and development trends of infrared and visible image fusion［J］.Ship Electronic Engineering，2013，33(1):16－17(in Chinese).

［3］ ZHU L，SUN F，XIA F L，et al.Review on image fusion research［J］.Transduce and Microsystem Technologies，2014，33(2):14－15(in Chinese).

［4］ RANI K，SHARMA R.Study of different image fusion algorithm［J］.International Journalist of Emerging Technology and Advanced Engineering，2013，3(5):288－289.

［5］ SAPKAL R J，KULKARNI S M.Image fusion based on wavelet transform for medical application［J］.International Journal of Engineering Research and Applications，2012，2(5):624－627.

［6］ GAO Y，WANG A M，WAG F H，et al.Application of improved wavelet transform algorithm in image fusion［J］.Laser Technology，2013，37(5):691－693(in Chinese).

［7］ CHENG G，GUO L，ZHAO T Y，et al.Multi－focus image method based on wavelet transform［J］.Computer Engineering and Applications，2012，48(1):194－195(in Chinese).

［8］ Lü Y N，ZHU X，ZHU Ch H，et al.Common color space and its conversions in image processing［J］ .Computer and Digital Engineering，2006，34(11):55－56(in Chinese).

［9］ ZHAO Y H.Studies on wavelet transform based image fusion［D］.Shanghai:Shanghai Jiaotong University，2002:30－34(in Chinese).

［10］ ZHANG W，WANG P L.A image fusion algorithm with wavelet transform based on multi－scale edge detection［J］.Microcomputer Information，2009，25(10):130－131(in Chinese).

［11］ CHENG F，ZHANG W W，YU W J，et al.Fusion algorithm of EMCCD’s low－light－level images based on wavelet transform［J］.Laser Technology，2014，38(2):157－159(in Chinese).

［12］ XING S X，CHEN T H，SUN M.Study on quality measures for infrared and low－light－level image fusion［J］.Infrared Technology，2009，31(7):407－408(in Chinese).

［13］ MANDHARE R A，UPADHYAY P，GUPTA S.Pixel－level image fusion using brovey transforme and wavelet transform［J］.International Journal of Advanced Research in Electrical，Electronics and Instrcumentation Engineering，2013，2(6):2692－2693.

［14］ XUE D J，HE Zh W，QIU W X，et al.Quality assessment and application of remote sensing image fusion based on EML and SML［J］.Remote Sensing Information，2009(6):63－64(in Chinese).