結合Curvelet變換和LSWT的多聚焦圖像融合算法

結合Curvelet變換和LSWT的多聚焦圖像融合算法*

王麗1，苗鳳娟1，陶佰睿2

(1. 齊齊哈爾大學通信與電子工程學院，黑龍江 齊齊哈爾 161005；2.齊齊哈爾大學計算中心，黑龍江 齊齊哈爾 161005)

摘要：針對多聚焦圖像，提出了一種結合二代Curvelet變換和提升靜態小波變換LSWT的圖像融合算法。首先將待融合的圖像分別進行離散Curvelet分解變換，得到不同分解級數和方向下的細節尺度系數和粗尺度系數；其次對粗尺度系數分別進行LSWT變換，對變換得到的低頻分量和高頻分量分別采用不同的方法融合后進行LSWT逆變換，得到的系數作為Curvelet變換的粗尺度系數；對于Curvelet變換后得到的細節尺度系數采用局部平均能量方差的方法進行融合；最后進行Curvelet逆變換得到融合后的圖像。實驗結果顯示，該方法融合效果較好，優于傳統方法。

關鍵詞：Curvelet變換；LSWT；圖像融合

中圖分類號：TP391.41 文獻標志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.025

收稿日期：*2014-01-14;修回日期：2014-07-04

基金項目：黑龍江省教育廳科學技術研究項目(12531774)；黑龍江省自然科學基金資助項目(F201438)

作者簡介:

通信地址：161005 黑龍江省齊齊哈爾市齊齊哈爾大學通信與電子工程學院

Address:Communication and Electronic Engineering Institute,Qiqihar University,Qiqihar 161005,Heilongjiang,P.R.China

Amulti-focusimagefusionalgorithmbasedonCurvelettransformandLSWT

WANGLi1,MIAO Feng-juan1,TAO Bai-rui2

(1.CommunicationandElectronicEngineeringInstitute,QiqiharUniversity,Qiqihar161005;

2.ComputerCenter,QiqiharUniversity,Qiqihar161005,China)

Abstract:Focusing on multi-focus images,in this paper we present an image fusion method based on the second generation Curvelet transform and the lifting stationary wavelet transform (LSWT).Firstly,the images to be fused are decomposed by discrete Curvelet transform, thus the fine-scale and coarse-scale coefficients are obtained in different scales and directions.Secondly,the coarse scale coefficients are decomposed by the LSWT.The low-frequency coefficients and the high-frequency coefficients are separately fused by different methods.Subsequently the coefficients obtained by the lifting stationary wavelet inverse transform are the coarse-scale coefficients of the Curvelet inverse transform.The fine-scale coefficients are fused by the local average energy and variance method.Finally,the fused image is obtained by the Curvelet inverse transform.Experimental results show that the proposed method is superior to the traditional methods.

Keywords:Curvelettransform;LSWT;imagefusion

1引言

圖像融合一般分為三個層次：像素級融合、特征級融合和決策級融合。多聚焦圖像融合屬于像素級融合，其特點是同一場景的多個目標不能同時清晰，而多聚焦圖像融合是把兩個或多個傳感器所獲得的圖像進行綜合處理，得到在一個場景內或一幅圖像內，多個目標均清晰的圖像。

近年來，多尺度分析方法應用廣泛，比較典型的研究方法有金字塔分解、小波變換、Curvelet變換等，此外，文獻[1]提出了Contourlet變換CT(ContourletTransform)方法，文獻[2]提出了非下采樣輪廓波變換NSCT(NonSubsampledContourletTransform)方法，能克服CT方法的吉布斯效應。但是，此方法不能很好地表征圖像的邊緣、細節等信息，同時融合過程中帶來大量的冗余信息，融合時間較長。小波變換屬于多尺度多分辨率分析，在時域和頻域都能很好地表征局部細節信息，并且能使融合圖像具有較高分辨率。傳統的離散小波變換DWT(DiscreteWaveletTransform)存在運算速度慢、內存需要大、實時性較差的特點，而提升靜態小波變換LSWT(LiftingStationaryWaveletTransform)能有效克服其缺點，繼承其很好地表征圖像局部細節特征的優點，并且能夠克服小波變換平移伸縮不變性帶來的局限[3～6]。

1999年CandesE和DonhoD[7]提出了第一代Curvelet變換理論。這種變換能有效逼近圖像中的邊緣細節信息，2002年，CandesE等人[8]提出了第二代Curvelet變換。第二代Curvelet理論實現過程更加簡單，更加容易理解，實現過程無需用到Ridgelet，而且數據冗余少[9,10]。Curvelet變換和小波變換類似，也能對圖像進行多尺度分解，與小波變換的最大區別是，它具有各向異性，而小波變換僅有水平、垂直、45°三個方向。但是,它弱化了奇異點，在表征圖像的局部變化特征方面較差，因此，針對多聚焦圖像，本文提出了一種結合第二代Curvelet變換和LSWT的圖像融合算法。該算法既能夠利用Curvelet變換較好地提取圖像特征以及獲取邊緣等細節信息，也能利用LSWT克服小波變換平移伸縮不變性所帶來的局限性,可以實現快速運算，并且圖像的細節等信息更加清晰。實驗結果表明了該方法的有效性。

2LSWT和Curvelet變換

2.1LSWT

提升靜態小波變換LSWT又稱為第二代小波變換。提升靜態小波的母小波通過分裂(Split)、預測(Predict)、更新(Update)三個步驟之后，能夠構造出新的小波，提升小波首先經過多項式插值得到高頻部分。通過構建尺度函數得到低頻部分，其分解和重構示意圖如圖1所示，Pl和Ul分別為進行第l層分解后的預測與更新算子，al-1為原始輸入信號，al和dl分別為原始輸入信號al-1經過提升靜態小波變換后的低頻信號和高頻信號，重構過程為分解過程倒過來，并加減互換。

Figure 1　Diagram of lifting stationary wavelet decomposition and reconstruction 圖1　提升靜態小波分解和重構示意圖

2.2Curvelet變換

本文采用離散二代Curvelet變換，即以信號f(t1,t2)(0≤t1,t2

(1)

3基于LSWT和Curvelet變換的圖像融合算法

本文采用將提升靜態小波變換LSWT和Curvelet變換相結合的方法對多聚焦圖像進行融合，假設待融合的兩幅原始圖像分別為圖像X和圖像Y，融合流程如圖2所示，融合步驟如下：

(1)首先將兩幅圖像進行Curvelet變換，得到粗尺度系數和細節尺度系數；

(2)對粗尺度系數進行LSWT變換，得到低頻系數和高頻系數；

(3)對低頻系數采用平均法融合，對高頻系數采用區域能量和方向對比度相結合的方法融合，然后進行LWST逆變換，得到融合后的Curvelet變換粗尺度系數；

(4)對于Curvelet變換細節尺度系數，采用局部平均能量方差方法融合，將融合后的細節尺度系數和粗尺度系數進行Curvelet逆變換，得到融合后的圖像。

3.1LSWT變換后的高頻系數所采用的融合規則

LSWT變換后的高頻系數，采用區域能量和小波方向對比度結合的方法，區域選取大小為3×3。

(2)

(3)

Figure 2　Flowchart of the fusion algorithm 圖2　本文的融合算法流程圖

(4)

(2)按照如下融合規則確定LSWT變換后的高頻系數：

(5)

3.2Curvelet變換后的細節尺度系數所采用的融合規則

對于Curvelet變換后的細節尺度系數，采用本文提出的局部平均能量方差方法融合，細節尺度的局部區域的能量越大，圖像的邊緣或者紋理越清晰。局部區域的方差能表示對比度變化程度，方差越大，圖像灰度變化也越大，將局部區域能量和局部區域方差相乘后再除以局部區域平均值，能反映這個區域的視覺可見度信息。本文區域大小采用3×3，定義區域平均能量方差為：

(6)

按照式(7)確定融合后的細節尺度系數：

(7)

4實驗仿真結果及分析

4.1與傳統方法比較

為了驗證算法的有效性，將本文算法與僅采用LSWT和僅采用Curvelet變換的算法以及NSCT方法進行比較，以兩幅512×512的Lena圖像和Clock圖像為例進行實驗仿真，并且引入空間頻率SF(SpatialFrequency)、峰值信噪比PSNR(PeakSignaltoNoiseRatio)、相似性量度SM(SimilarityMeasure)、平均誤差MAE(MeanAbsoluteError)、對比度差ΔC等客觀評價法來評價融合圖像與標準參考圖像之間的差別。

圖3和圖4分別為采用本文算法和僅采用LSWT、僅采用Curvelet變換算法以及采用NSCT方法得到的融合后的Lena圖像和Clock圖像，從圖中可以看出，用本文算法得到的融合圖像最清晰。

Figure 3　Lena fusion images obtained by different methods 圖3　不同方法得到的Lena融合圖像

Figure 4　Clock fusion images obtained by different methods 圖4　不同方法得到的Clock融合圖像

表1和表2為相應的融合效果評價值，綜合各項融合效果評價值，本文的算法融合效果最好(所有方法均采用LSWT分解層數為三層，Curvelet分解層數為三層，NSCT分解層數為三層)。

4.2分解層數的影響

在上一節中，為了驗證本文方法的有效性，所有方法均采用LSWT，分解層數為三層，Curvelet分解層數也為三層，LSWT和Curvelet變換均能隨著分解層數的增加，其融合效果也發生變化。表

Table 1　 Fusion effect evaluation values of Lena image

Table 2　 Fusion effect evaluation values of Clock image

3為采用本文算法對lena圖像仿真結果，當LSWT分解層數為三層時，不同Curvelet分解層數所得到的融合結果，隨著Curvelet分解層數的增加，融合效果也越好。但是，層數增加，會導致計算量增加，并且到達一定層數后，融合效果會下降，所以最佳分解層為四層。表4為當Curvelet分解層數為三層時，不同LSWT分解層數得到的融合結果，隨著LSWT分解層數的增加，融合效果也越好，但是到達四層以后再分解，融合結果變差，綜上，最佳分解層數為四層。

Table 3　 Fusion results of different Curvelet decomposition

5結束語

LSWT和小波變換一樣也是多尺度分析且比小波變換具有更好的空間域和頻率域局部特性，并且具有平移不變性和快速運算特性，而Curvelet變換能夠更好地提取原始圖像的特征。基于此，本文將LSWT和Curvelet變換相結合，既能夠利用Curvelet變換較好地提取圖像特征以及獲取邊緣等細節信息，也能克服平移伸縮不變性所帶來的局限,可以實現快速運算。在融合規則中，對LSWT的高頻分量采用區域能量和方向對比度相結合的方法，對Curvelet變換后得到的細節尺度系數采用局部平均能量方差的方法進行融合。該方法可提高區域的視覺可見度信息，獲得更好的融合效果。實驗結果顯示了本文算法的有效性，得到的圖像質量優于傳統算法。

Table 4　 Fusion results of different LSWT decomposition

參考文獻:

[1]ChenMi,LiDe-ren,QinQian-qing,etal.RemotesensingimagefusionbasedonContourlettransform[J].Mini-MicroSystems,2006,27(11):2052-2055.(inChinese)

[2]YeChuan-qi,WangBao-shu,MiaoQi-guang.FusionalgorithmofinfraredandvisiblelightimagesbasedonNSCTtransform[J].SystemsEngineeringandElectronics, 2008,30(4):593-596.(inChinese)

[3]ChaiY,LiHF,QuJF.Imagefusionschemeusinganoveldual-channelPCNNinliftingstationarywaveletdomain[J].OpticsCommunications,2010,283(19):3591-3602.

[4]LiST,YangB,HuJW.Performancecomparisonofdifferentmulti-resolutiontransformsforimagefusion[J].InformationFusion, 2011, 12(2):74-84.

[5]SweldensW.Theliftingscheme:Acustom-designconstruc-

tionofbiorthogonalwavelets[J].AppliedandComputationalHarmonicAnalysis, 1996, 3(2):186-200.

[6]SweldensW.Theliftingscheme:Aconstructionofsecondgenerationwavelets[J].SIAMJournalonMathematicalAnalysis,1998, 29(2):511-546.

[7]CandèsE,DonohoD.Curvelets-Asurprisinglyeffectivenonadaptiverepresentationforobjectswithedges[M].Nashville:VanderbiltUniversityPress, 2000.

[8]CandèsE,DemanetL,DonohoD.Fastdiscretecurvelettransforms[J].MultiscaleModeling&Simulation,2006, 5(3):861-899.

[9]LiHui-hui,GuoLei,LiuHang.ResearchonimagefusionbasedonthesecondgenerationCurvelettransform[J].ActaOpticaSinica, 2006,26(5):657-662.(inChinese)

[10]SapkalRJ,KulkarniSM.Innovativeimagefusionalgorithmbasedonfastdiscretecurvelettransformwithdifferentfusionrules[C]//Procof2013IEEEConferenceonInformation&CommunicationTechnologies(ICT), 2013:1070-1074.

[11]WangLi,LuDi.New-multi-focusimagefusionscheme[J].VideoEngineering, 2012,36(9):19-21.(inChinese)

參考文獻：附中文

[1]陳蜜，李德仁，秦前清，等. 基于Contourlet變換的遙感影像融合算法[J].小型微型計算機系統，2006,27(11)：2052-2055.

[2]葉傳奇，王寶樹，苗啟廣. 基于NSCT變化的紅外與可見光圖像融合算法[J].系統工程與電子技術，2008,30(4)：593-596.

[9]李暉暉,郭雷,劉航.基于二代Curvelet變換的圖像融合研究[J].光學學報, 2006,26(5):657-662.

[11]王麗，盧迪. 一種新的多聚焦圖像融合方法[J].電視技術，2012,36(9):19-21.

王麗(1982-),女,黑龍江齊齊哈爾人，碩士，講師，研究方向為圖像處理和傳感器技術。E-mail:wangli2524897@163.com

WANGLi,bornin1982,MS,lecturer,herresearchinterestsincludeimageprocessing,andsensortechnology.