非下采樣離散小波變換多聚焦圖像融合

郭凌鑫 袁麗英 王飛越

摘 要：圖像融合在軍事、醫療等領域有廣泛的應用，圖像融合技術是指采用特定的算法將兩幅或者多幅圖像融合成為一幅新的圖像。針對離散小波變換圖像融合算法中下采樣環節在每次濾波后一半的系數被丟棄導致缺乏平移不變性，使得融合算法易受到源圖像誤配準影響的問題，提出了一種基于非下采樣離散小波變換的圖像融合算法，采用窗口融合規則，并對融合系數進行一致性檢測，彌補下采樣環節的不足，提高融合效果。通過對基于離散小波變換和基于非下采樣離散小波算法的圖像多聚焦融合仿真研究表明，非下采樣離散小波變換算法具有平移不變性，而且具有較高融合圖像互信息和峰值信噪比，融合效果優于離散小波變換圖像融合算法。

關鍵詞：關鍵字：圖像融合；離散小波變換；非下采樣離散小波變換

DOI：10.15938/j.jhust.2018.02.004

中圖分類號： TN911.73

文獻標志碼： A

文章編號： 1007-2683（2018）02-0018-05

Abstract：Image fusion is widely used in military， medical and other fields. Image fusion technology is to use a specific algorithm to synthesize two or more images into a new image. Because of down sampling link of discrete wavelet transform image fusion algorithm， half of the coefficients are discarded， resulting in the lack of translation invariance. It makes the fusion algorithm easily affected by the error of source image registration. Due to these shortcomings， an image fusion algorithm based on non-sampling discrete wavelet transform is proposed and window fusion rule is also applied. The coefficient consistency detection makes up for the lack of sampling link and improve the fusion effect. Through discrete wavelet transform and non-sampling discrete wavelet algorithm are applied to image fusion respectively. Non-sampled discrete wavelet transform algorithm has translation invariance and it has high mutual information and peak signal to noise ratio of fusion image. Non-sampled discrete wavelet transform algorithm fusion effect is better than discrete wavelet transform image fusion algorithm.

Keywords：image fusion； discrete wavelet transform； non-subsampled discrete wavelet transform

0 引 言

近二十年來，圖像融合技術在軍事領域得到了廣泛的應用。美軍通過微光和多波段紅外圖像融合方式讓其夜視技術處于世界領先的地位[1]。美軍的另一個夜視融合研究項目便是研發多光譜自適應網絡戰術圖像系統（MANTIS），該系統可將可見光、短波和長波紅外圖像進行融合[2]。此外，美國一些其他的軍事工業企業也著力開展基于紅外和可見光傳感器的夜視圖像融合技術[3]。圖像融合不僅在軍事領域有廣泛應用，而且遍及到眾多民用應用領域。在醫療診斷過程中，圖像融合技術可以把各種醫學圖像的信息有機地結合起來，完成多模式圖像融合， 不僅可以優勢互補，還有可能發現新的有價值的信息，從而幫助醫生對疾病的準確診斷[4]。

自從1989年Mallat提出二維小波分解后，小波變換在圖像處理等領域中迅速得到了廣泛的應用[5]。小波變換是局域的頻率變換，是將信號分解成一系列小波函數的疊加，小波函數是由母小波函數平移或伸縮得來[6]。小波變換可以有效地提取信號的信息，并對信號進行多尺度分析。在圖像融合領域，離散小波變換方法是重要的分析方法。離散小波變換在數字信號處理、量子物理、醫學斷層診斷、概率論、石油勘探、地震預報、編碼理論等諸多領域有廣泛的應用[7]。快速傅里葉與離散小波變換算法的出現，遠遠超過了算法研究的范疇， 成為諸多科技領域研究的一個新的局面[8]。由于經典離散小波的下采樣環節使得在重構小波系數時會得到一些偽信號，而非下采樣小波變換[9]具有多尺度、冗余性和平移不變性的特性，可以避免一般方法對融合圖像引入的振鈴效應[10]。本文在采用非下采樣小波變換情況下對圖像的低高頻系數采用系數點融合規則和窗口融合規則，并對基于這兩種規則的融合圖像的結果進行分析。

圖1中在分解過程中，將該層的近似系數分別經過低通濾波器和高通濾波器，分別得到下一層的近似系數和細節系數。以此類推重復上面的過程，直到得到想要的分解的層數為止。圖2在合成的過程中，當前的近似系數和細節系數分別通過低通濾波器和高通濾波器，然后做加法再乘以1/2即可得到上一層的近似系數。以此類推重復上面的過程，直到得到想要的原來的輸入信號。

3 多聚焦圖像融合

3.1 融合算法流程

如圖3所示，記源圖像為A和B，融合成的圖像為F。

3.2 融合規則

圖像融合的關鍵在于對系數的處理，高頻系數和低頻系數表征不同，所以需要不同的融合規則進行處理。低頻系數表示圖像的灰度信息，常見的對低頻融合規則是對源系數進行平均處理。高頻系數反映的是圖像的細節信息，比如邊緣、線條還有區域的邊界[12]。高頻系數融合規則常見的方法是選擇在相同位置上絕對值最大的系數作為融合系數，這種處理低頻系數和高頻系數的融合規則統稱為系數點融合規則[13]。但這種融合規則忽略了系數的相關性且易受到噪聲的干擾。

為了改善融合質量，將圖像的某個窗口或者某塊區域的系數進行整體考慮，這兩種規則分別稱為窗口融合規則[13]和區域融合規則。窗口融合規則是根據融合系數局部區域的統計特性來選取像素的一種融合規則。區域融合規則涉及到分割算法，計算復雜，誤差也很大，所以不考慮這種融合方法。所以窗口融合規則比較適合融合任務[14]。

3.3 聚焦評價函數

1）互信息（MI）

互信息[16]是信息論的一個重要概念，闡明了兩幅圖像灰度信息分布的相關性。它的值越大，其融合圖像從原圖像獲取的信息越豐富，融合的效果也越好。其定義為：

2）峰值信噪比（PSNR）

信噪比[16]是評價圖像融合噪聲抑制的情況。峰值信噪比是信號最大功率與其噪聲越高，噪聲功率的比值。峰值噪聲比的定義為：

4 本文融合算法驗證及分析

4.1 融合算法移變性驗證

首先將源圖像按DWT和NSDWT兩種融合算法進行融合，將融合得到的圖像作為參考圖像。將源圖像進行平移變換，每平移一個像素對平移后的圖像進行DWT和NSDWT的算法進行融合，再將融合圖像反方向平移一直到初始位置。利用均方根誤差計算融合圖像與參考圖像的差異。所得結果如圖4所示。

通過圖4得到平移量和均方根誤差的關系，由圖可知，在DWT融合下得到的均方差嚴重偏移了0點，說明源圖像的平移對在DWT作用下融合的結果有很大的改變。造成DWT融合算法產生偏移的原因是多尺度變換的移變性使系數發生了變化，造成融合規則對系數的選取產生了錯誤。而在NSDWT融合下得到的均方差很穩定的在0點，沒有產生偏移，說明NSDWT融合法則不受源圖像平移的影響。

4.2 融合算法對比驗證

融合算法對比驗證對DWT和NSDWT融合規則下的效果進行對比和分析，同時可以驗證窗口融合規則比系數點融合規則的優勢，以及一致性檢測（CV）[18]的有效性。

對比的方式如表1。

多聚焦圖像融合的實驗源圖像如圖5所示：

按照不同的融合規則對圖5的（a）和（b）的圖像融合，得到融合圖像。再將參考圖像與融合圖像做差，得到殘差圖像[19]。殘差圖像是判斷融合效果其中的一個判據。如果殘差圖像的內容比較豐富，說明融合效果不好。如果殘差圖像信息少，說明融合的圖像貼近融合圖像，融合效果好。本實驗采集互信息（MI）和峰值信噪比（PSNR）作為判斷的依據。

如圖6所示，對所得的融合圖像進行比較。從圖6（a）和圖6（b）對比可以看出，殘差圖像中都出現了一定程度的震蕩條紋，但融合圖6（a）更明顯一些。這是因為多尺度對應位置上的融合系數的來源不一致造成了融合圖像出現了偽Gibbs現象[20]。DWT因為下采樣環節的頻率重疊[21]加劇了這種效應，而NSDWT的平移不變性，這種現象明顯減小。

對比圖6（b）與圖6（c）。融合圖6（b）采取的是系數點融合規則，融合圖6（c）采取窗口融合規則。從兩幅圖像的殘差圖像可以明顯看出，融合圖6（b）的殘差圖像比融合圖6（c）的殘差圖像內容更豐富，說明融合圖6（b）的效果比圖6（c）差，繼而驗證在圖像融合方面窗口融合規則比系數點融合規則更有優勢。這主要是由于系數點融合規則過于片面，不能把握圖像的聚焦區域。窗口融合規則將系數作為整體考慮，因此融合效果得到了很大的改善。

為了能更清晰的直觀看出各規則的融合效果，獲得表2的數據。

從表2可以看到第四組的互信息和峰值信噪比比第三組高，說明第四組的融合效果更好。

5 結 語

多尺度算法的移變性在一定程度上會對融合算法造成移變。NSDWT具有平移不變性，基于NSDWT的融合算法能夠得到更好的融合效果。窗口融合規則將各點系數作為窗口中心，通過系數之間的特征信息決定低頻和高頻融合系數，從而彌補系數點融合的不足。一致性檢測能進一步提高融合算法的準確性。

參 考 文 獻：

[1]譚征，鮑富民，李愛國，等.多傳感器圖像融合及其應用綜述[J].微電子學與計算機，2004，21（2）：1-5

[2]王昕.含噪聲圖像的多聚焦融合算法[J].光學精密工程，2011，19（12）：2977-2984

[3]李光鑫.紅外和可見光圖像融合技術的研究[J].吉林大學通信工程學院，2008.

[4]STRANG G. Wavelets and Dilation Equations： A Brief Introduction[J]. SIAM review，1989，31（4）：614-627

[5]UNSER M. Texture Classification and Segmentation Using Wavelet Frames[J].Image Processing， IEEE Transactionsons，1995，4（11）：1549-1560.

[6]HOLSCHNEIDER M， KRONLAND-MARTINET R， MORLET J， et al. A Real-time Algorithm for Signal Analysis with the Help of the Wavelet Transform[M]. Wavelets. Springer Berlin Heidelberg， 1990：286-297

[7]葉傳奇，王寶樹，苗啟廣.一種基于區域特性的紅外與可見光圖像融合算法[J].光子學報，2009，38（6）：1498-1503

[8]楊斌.像素級多傳感器圖像融合新方法研究[D].長沙：湖南大學.2010.

[9]王宏，敬忠良，李建勛.多分辨率圖像融合的研究與發展[J].控制理論與應用，21（1）：145-151.

[10]楊嬌. 基于小波變換的圖像融合算法的研究[D]. 北京：中國地質大學， 2014： 8-9.

[11]徐進偉. 基于小波變換的數字圖像融合研究[D]. 成都：成都理工大學， 2012： 12-14.

[12]晁銳， 張科， 李言俊. 一種基于小波變換的圖像融合算法[J]. 電子學報， 2004， 5： 750-753.

[13]李希寧. 基于多尺度分析的圖像融合算法研究[D]. 青島：中國海洋大學， 2010： 15-18.

[14]SHREYAMSHA Kumar. Multifocus and Multispectral Image Fusion Based on Pixel Significance Using Discrete Cosine Harmonic Wavelet Transform[J]. Signal， Image and Video Processing， 2013， 76： 156-168.

[14]XIAO Fen， GAO Xie-ping， LI Bo-dong. A Novel Image Fusion Method based on Translation Invariant Wavelet Transforms[J]. Journal of Software， 2014， 94： 67-78.

[15]KAVITHA C.T.， RAJESH R.. Medical Image Fusion using Combined Discrete Wavelet and Ripplet Transforms[J]. Procedia Engineering， 2012， 38： 90-102.

[16]馬艷君. 基于變換的醫學圖像融合技術研究[D]. 青島：青島大學， 2010： 19-25.

[17]唐向宏， 謝淑琴. 小波分析與應用[M]. 四川： 科學技術出版社， 1999： 137-151.

[18]WU Jonathan， AHMADI Majid. Tunable Halfband-pair Wavelet Filter Banks and Application to Multifocus Image Fusion[J]. Pattern Recognition， 2011， 452： 200-210.

[19]秦定宇， 李鵬. 圖像中小波基的選擇分析[J]. 光電子技術， 2006， 26（3）： 203-207.

[20]趙青， 何建華， 溫鵬. 基于平均梯度和方向對比度的圖像融合方法[J]. 計算機工程與應用， 2012， 24： 165-168.

[21]蒲恬， 方慶吉， 倪國強. 基于對比度的多分辨圖像融合[J]. 電子學報， 2000， 28（12）： 116-118.

（編輯：關 毅）