基于小波變換的圖像融合增強算法

高 林，趙建輝

（1.西安航天動力試驗技術研究所，陜西西安710100；2.空軍西安飛行學院，陜西西安710306）

基于小波變換的圖像融合增強算法

高 林1，趙建輝2

（1.西安航天動力試驗技術研究所，陜西西安710100；2.空軍西安飛行學院，陜西西安710306）

針對當前高速攝影系統不能保證采集的高幀頻圖像中所有目標物體聚焦清晰的特點，提出了一種基于小波變換的圖像融合算法，對快速小波變換后得到的低頻系數與高頻系數采用一種改進型的融合規則進行算法仿真實驗，并與傳統的圖像融合規則對比分析。

多聚焦圖像；圖像融合算法；小波變換；仿真實驗

0 引言

圖像融合技術作為信息融合技術的一個重要領域，是將來自不同源、不同時間、不同媒介的圖像數據按一定的規則綜合，以形成對同一場景下目標更為完整、清晰、準確的圖像描述的圖像處理技術。圖像融合技術在衛星遙感、醫學成像、計算機視覺、目標識別及軍事等領域有著廣泛的應用前景。尤其近幾年隨著圖像傳感器的迅猛發展，圖像融合技術的應用也越來越廣泛。當前液體火箭發動機試驗中高速攝影系統用來獲取發動機關鍵部位的高幀圖像，但是普遍存在的現象是同一光學傳感器對同一場景中物體進行成像時，要使場景中的所有目標都聚焦清晰是很困難的。因此，將同一場景中的所有目標進行融合，使融合后的圖像中的所有目標都清晰，已成為一個值得研究的課題[1-3]。

圖像融合是將不同傳感器得到的多個圖像根據某個算法進行綜合處理，以得到一個新的、滿足某種需求的新圖像，它可將同一對象的2個或更多的圖像合成在一幅圖像中，以便它比原來的任何一幅圖像更容易被人們所理解。高效的圖像融合算法可以根據需要綜合處理多源通道的信息，從而有效地提高圖像信息的利用率和系統對目標探測識別的可靠性。小波變換的多分辨率分析是當前信號與圖像處理領域的研究熱點。圖像融合根據融合處理所處的階段不同，通常在3個不同層次上進行，即像素級融合、特征級融合以及決策級融合。在像素級融合層次融合算法主要有簡單圖像融合算法、基于金字塔分解的圖像融合算法以及基于小波變換的圖像融合算法[4]。本文選擇在對小波變換理論的基礎上，提出了一種基于融合規則改進型的圖像融合算法，最后對算法進行了仿真實驗，并對結果進行了分析。

1 圖像融合算法簡介

1.1 基于小波變換的圖像融合算法原理

應用小波變換進行圖像融合的原理是將融合規則應用到原始圖像的小波變換的低頻分量和高頻分量中。在一幅圖像的小波變換中，絕對值較大的小波系數對應于邊緣這些較為顯著的特征，所以絕大部分基于小波變換的圖像融合算法主要研究如何選擇合成圖像中的小波系數，也就是小波變換空間矩陣3個方向上的高頻系數，從而達到保留圖像邊緣的目的。高頻系數的選擇對于保留圖像的邊緣特征具有非常主要的作用，但低頻系數決定了圖像的輪廓，正確選擇低頻系數對提高合成圖像的視覺效果具有舉足輕重的作用[5]。

1.2 融合圖像的評價指標

圖像融合的評價指標如表1所示。

表1 圖像融合的評價指標Tab.1 Evaluation indexes for image fusion performance

2 一種基于小波變換的改進型融合算法

2.1 基于小波變換的圖像融合

小波變換的固有特性使其在圖像處理中有如下優點：即完善的重構能力，保證信號在分解過程中沒有信息損失和冗余信息；把圖像分解成平均圖像和細節圖像的組合，分別代表了圖像的不同結構，因此容易提取原始圖像的結構信息和細節信息。小波分析提供了與人類視覺系統方向相吻合的選擇性圖像。

基于小波變換的融合算法是對圖像進行小波分解，以得到圖像的高低頻信息，作為后期目標判決的依據，小波變換應用于圖像融合的優勢在于它可以將圖像分解到不同的頻率域，在不同的頻率域應用不同的選擇規則，得到合成圖像的多分辨小波分解，從而在合成圖像中保留原圖像在不同頻率域的顯著特征[6-7]。基于小波變換的圖像融合算法流程圖如圖1所示，主要步驟為：

1）對2張同分辨率的多聚焦灰度圖像Image A，Image B進行幾何精確配準；

2） 選取合適的小波基以及分解層數，對圖像Image A，Image B進行多層小波分解，獲取各自的小波分解系數；

3）根據低頻分量和高頻分量的特點，設計小波系數的融合規則，比如可以對小波系數進行取最大值或者求方差或是結合各種規則的改進型等；

4）對融合后的小波分解系數經過小波逆變換，重構得到融合圖像Image F。

根據上述步驟可以對多焦距圖像進行融合。在融合算法中，對原始多焦距灰度圖像進行小波分解，這里就存在選取合適小波基以及分解層數。不同的小波基的選擇對最后分解的結果有很大影響，并且小波變換的分解層次并不是越多越好，本文選擇Matlab函數庫中的DWT2小波基函數并對小波基進行4層分解。

2.2 一種改進型圖像融合規則

圖像的融合規則是圖像融合的核心，方法與規則的優劣直接影響融合的速度與質量。在建立融合圖像的每個小波系數時，必須確定哪幅源圖的小波系數對融合有利，這個信息將保留在融合決策圖中。由上述圖1可知，融合規則在融合處理中扮演了一個重要角色，在融合過程中融合規則精確地控制著融合算子并生成新的小波分解系數。

規則一：局部方差法準則

在領域W中，圖像I以為中心點的局部方差

式中：μ為圖像I的均值；M，N分別為局部區域的行數和列數，這里取局部區域為3×3。

基于局部方差法的融合方式常用的方法是選擇法，即通常說的局部方差取大法。方差選擇法的融合規則：

如果圖1中Image A,Image B直接使用局部方差法進行融合，局部方差相差較大時，采用局部方差取大法能夠比較完整的存儲圖像的微小細節。一旦局部方差相差很小時，局部方差取大法會使圖像細節失真[8]。

規則二：系數絕對值取最大法準則

該融合規則適合亮度與對比度比較高的源圖像且高頻成分比較豐富，否則在融合圖像中只保留一幅源圖像的特征，其他的特征被覆蓋。小波變換的實際作用是對信號解相關，并將信號的全部信息集中到一部分具有大幅值的小波系數中。這些大的小波系數含有的能量遠比小系數含有的能量大，從而在信號的重構中，大的系數比小的系數所占的權重更大[9]。本文算法提出的規則：最大系數法與方差法準則。

使用規則一對源圖像小波分解后高頻成分不豐富的情況存在重構后圖像信息熵值較低，針對這一問題，本文結合規則二解決了高低頻成分分布不均衡帶來的圖像融合效果欠佳的問題，從而提出了一種最大系數法與方差法結合的圖像融合算法。

由于圖像的像素特征往往不是由單一的低頻成分或是高頻成分所能表征的，而是由某一平均范圍的低頻成分疊加高頻成分共同來更為精確地表達圖像的真實面貌，同時，通常圖像待融合區域內的各像素之間有較強的相關性，因此，基于像素的融合規則帶有片面性，而基于最大系數法與方差法的融合方式可以克服這一缺點，獲得更好的視覺特性和融合效果。最大系數法與方差法準則融合規則可將全部圖像的最大系數、方差、梯度等作為特征算子。

設參與融合的源圖像A，B，融合后的結果為F。首先分別計算源圖像A，B的區域梯度，區域M的大小為3×3的小窗口。假設AAN(i,j)，BAN(i,j)分別代表A，B的點p(i,j)低頻系數；FAN(i,j)表示融合圖像F的點p(i,j)的低頻系數

綜合式（7） 和式（8），得到源圖像A和源圖像B在點p i,（）j方差平均后的高頻系數，以及得到圖像A和圖像B在點p i,（）j取最大系數的低頻系數。

這樣就完成了多分辨率下的圖像融合，小波分解系數在有限的算法運行時間范圍內擬合程度越高，圖像平滑的程度越高，視覺效果越好，融合整體效果得到改善越大，當然圖像融合的各項評價指標表現的越好，最后對融合后的子帶系數進行反變換得到融合后的圖像質量越好。

3 基于小波變換的圖像融合算法仿真與分析

3.1 算法原理與設計

本文所討論的融合算法是針對靜態圖像的，以相同物體在相同距離上用不同焦距進行拍攝的情況，融合目的是去除焦點不同對圖像的影響，提高圖像的清晰度。同一場景的不同傳感器得到的圖像，其低頻系數大小差不多，但高頻細節部分卻存在顯著差異[10]。因此，基于小波變換的圖像融合算法的研究重點多集中在高頻域部分。對實驗用的圖像作以下假設：所用圖像均是經過預處理（濾波、對準）的、大小一致的灰度圖像。

為了驗證基于最大系數法與方差法準則的圖像融合算法的有效性，使用高速攝像機的不同焦距拍攝圖像Image A，Image B及Image A使用f/4.0光圈，70 mm焦距，對焦focus值為1900拍攝，Image B使用f/4.0光圈，70 mm焦距，對焦focus值為1 600拍攝，分別得到多聚焦灰度圖像，然后截取662×662大小的灰度圖像進行嚴格配準得到實驗待融合圖像，通過使用Matlab R2016a對提出的最大系數法與方差法準則進行算法仿真實驗，讀取待融合圖像Image A，Image B，得到4層小波分解圖像和融合后的圖像，算法流程圖如圖2所示。其中詳細算法步驟如下：

1)采用Mallat快速算法對兩幅多聚焦圖像分別進行4層小波分解，由上面討論可知可得到(3×3+1)個圖像分量，包括3×3個高頻分量和1個低頻分量[11-12]；

2)在對多聚焦圖像進行小波變換后，將2幅圖像對應的低頻分量和高頻分量選用上面介紹的融合規則進行融合，得到各個對應分量的融合結果；

3)將各個對應分量的融合結果進行小波逆變換得到最后的融合圖像。

3.2 仿真結果分析

為了對使用每種融合規則的融合圖像質量進行客觀評價，采用信息熵、平均梯度、方差性能指標來進行對比分析，此外，還綜合每種融合規則的算法效率來分析本文提出的融合規則的有效性[13]。

圖3為待融合多聚焦圖像，其中圖3（a） 為背景清晰，目標物體（右側鋼架） 不清晰的圖像，圖3（b）為背景不清晰，目標物體清晰的圖像。圖4為基于規則一的融合后圖像，圖5為基于規則二的融合后圖像，圖6為使用本文算法提出規則的融合后圖像。

觀察圖4、圖5及圖6，并與原始圖像進行比較，可以看出：各融合結果圖在整體分辨率上比融合前的原始圖像均有明顯的提高，3種融合規則的融合結果均對原始圖像信息有較好的保留和增強，目標物體的右側鋼腿邊界區分清楚，鋼腿上面圓孔清晰可見，和原始圖像中目標物體的信息基本保持一致，融合后使圖像整體更加明確和豐富。

為進一步客觀評價各融合規則的融合性能，采用基于統計學方法的評價方式對融合性能進行分析與評價[14-15]。采用常用的信息熵、平均梯度、方差3項指標來客觀評價融合圖像，而且該3項指標越大越好，具體統計結果見表2。

表2 融合效果客觀評價Tab.2 Objective evaluation of fusion effect

由表2可見，在反映圖像灰度離散程度的方差指標中，采用規則二的融合圖像的方差差最大，但是規則一明顯較小；本文融合規則的方差大小非常接近規則二，說明采用本文融合規則融合后圖像信息較為豐富；3種規則的平均梯度差異顯著，其中規則一的平均梯度明顯偏小，而本文融合規則的平均梯度最大，說明本文融合規則的融合圖像反映微小細節的能力較強，圖像質量最好；在反映圖像信息量的指標信息熵中，規則一明顯偏小，本文融合規則最佳。由此可見，盡管都采用了基于小波變換的融合算法，但采用的融合規則和融合算子不同，其融合性能也大不相同，規則一各項指標均較低。因為規則一算法復雜度較低，算法運行平均時間雖然僅為0.438 313 s，但是圖像融合效果各項指標達不到最優，尤其是針對圖像小波分解后高頻成分較多時得到的圖像融合效果各項指標表現會更差。

4 結論

基于小波分析理論，結合多聚焦圖像的特點，提出了一種最大系數法與方差法的圖像融合算法。對本文算法與已有的傳統算法進行實驗與分析，實驗結果表明：本算法不管是視覺效果，還是融合效果指標上都獲得了滿意的效果，具有較好的適用性和應用價值。

[1]WANG Z J,ZIOU D.A comparative analysis of image fusion methods[J].IEEE transactions on geosciences and remote sensing,2005,43(6):1391-1400.

[2]王智均,李德仁.利用小波變換對影像進行融合的研究[J].武漢測繪科技大學學報,2000,25(2):137-141.

[3]林卉,杜培軍,肖劍平.利用小波變換進行遙感多光譜圖像融合的算法及實現[J].地球科學與環境學報,2006,2(1):75-78.

[4]曾梅蘭,金升平.基于小波框架的多傳感器圖像融合[J].計算機工程與應用,2004,40(25):59-61.

[5]POLO A,CATTANI F,VAVASSORI A,et al.MR and CT image fusion for postimplant analysis in permanent prostate seed implants[J].International journal of radiation oncology biology physics,2004,60(5):1572-1579.

[6]王焮,吳國平.小波分析在遙感圖像融合中的模型研究[J].中國圖像圖形網,2004,11(1):67-70.

[7]鄭永安,陳玉春,宋建社,等.基于提升機制小波變換的SAR與多光譜圖像融合算法 [J].計算機工程,2006,32(6):195-197.

[8]LI H,MANJUNATH B S,MITRA S K.Multisensor image fusion using the wavelet transform[J].Graphical models and image processing,1993,57(3):235-245.

[9]JIANG X Y,ZHOU L W,GAO Z Y.Multispectral image fusion using wavelet transform[J].Proceedings of SPIE,1996,2898:35-42.

[10]SANTOS M,PAJARES G.A new wavelets image fusion strategy[J].Lecture notes in computer science 2652,2003:919-926.

[11]CHIBANI Y,HOUACINE A,BARBIER C.Fusion of multispectral and radar images in the redundant wavelet domain[C]//Proceedings of the EUROPTO Conference on Image and Signal Processing for Remote Sensing.Barcelona,Spain:SPIE,1998:330-338.

[12]周偉,周林,張家祥.Matlab7.0小波分析高級技術[M].西安:西安電子科技大學出版社,2005.

[13]王海暉,彭嘉雄,吳巍,等.多源遙感圖像融合效果評價方法研究[J].計算機工程與應用,2003,39(25):33-37.

[14]曾梅蘭,金升平.基于小波框架的多傳感器圖像融合[J].計算機工程與應用,2004,40(25):59-61.

[15]楊俊,趙忠明.基于Curvelet變換的多聚焦圖像融合方法[J].光電工程,2007,34(6):67-70.

（編輯：馬 杰）

Image fusion enhancement algorithm based on wavelet transform

GAO Lin1,ZHAO Jianhui2
（1.Xi’an Aerospace Propulsion Test Technology Institute,Xi’an 710100,China;2.PLA Air Force Xi’an Flight Academy,Xi’an 710306,China）

In this paper,an image fusion algorithm based on wavelet transform is proposed to solve the problem that all the target objects in the high frame rate images taken by the current high-speed photography system can not be guaranteed to be clear enough.An improved fusion rule is adopted to perform the simulation experiment for the low-frequency coefficients and high-frequency coefficients obtained by fast wavelet transform,and compared with the traditional image fusion rules.The experiment results show that the improved fusion role has better applicability and application value.

multi-focus image;image fusion algorithm;wavelet transform;simulation experiment

V416-34

A

1672-9374(2017)04-0057-06

2017-03-29；

2017-04-25

高林（1988—），男，碩士，研究領域為液體火箭發動機試驗測量技術