基于小波－Ｃｏｎｔｏｕｒｌｅｔ變換和區(qū)域能量融合規(guī)則的圖像融合算法

摘 要：利用小波-Contourlet變換的多尺度和多方向性特征以及基于區(qū)域能量的融合規(guī)則在選取融合系數(shù)上的優(yōu)勢(shì)，提出了一種基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法，并引入Cycle Spinning來(lái)消除變換缺乏平移不變性而引起的圖像失真。實(shí)驗(yàn)結(jié)果表明，該算法明顯降低了融合圖像的RMSE值，減少了運(yùn)算時(shí)間，達(dá)到了良好的視覺(jué)效果。

關(guān)鍵詞：小波-Contourlet變換；區(qū)域能量；Cycle Spinning；圖像融合

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695(2008)07-2197-03

Image fusion based on rule of local energy using WBCT

YIN Binga， YU Meia，LIANG Donga，b， BAO Wen-xiab



(a.Educational Department Key Lab of ICSP，b.School of Electronic Science Technology， Anhui University， Hefei 230039，China)



Abstract:Fusion rules are very important in image fusion algorithms. Because the rule of local energy has advantage in choosing coefficients and the wavelet based Contourlet transform is of multi-scale and multi-direction.A method based on the rule of local energy for image fusion using wavelet based Contourlet transform (WBCT) was proposed. Because the transform was shift-variant，Cycle Spinning was employed to restrain image distortion.The experimental results indicate that this method can get lower RMSE value and better visual effect.The runtime of the method is reduced at the same time.

Key words：wavelet based Contourlet transform; local energy; Cycle Spinning; image fusion

圖像融合是把來(lái)自多傳感數(shù)據(jù)的信息互補(bǔ)合成一幅新的圖像，以提供比原圖像更豐富的視覺(jué)信息。它在遙感圖像處理、目標(biāo)識(shí)別、醫(yī)學(xué)、機(jī)器人視覺(jué)等方面具有廣闊的應(yīng)用前景。多聚焦圖像融合是圖像融合研究?jī)?nèi)容之一，它是指在相同的成像條件下，鏡頭聚焦目標(biāo)不同的多個(gè)圖像，通過(guò)融合得到一個(gè)聚焦度清晰的圖像。

多聚焦圖像融合算法是目前融合領(lǐng)域研究的熱點(diǎn)， 目前的算法主要可以分為兩大類：a）基于數(shù)學(xué)或統(tǒng)計(jì)學(xué)的方法，如加權(quán)平均、比值變換、主分量分析(PCA)^[1]、高通濾波等；b）多分辨率分析的方法^[2]，如基于金字塔式的分解算法^[3]、基于小波變換的算法^[4]等。就各種算法的實(shí)際效果看，加權(quán)平均的算法會(huì)降低圖像的對(duì)比度；主分量分析算法要求被替換的和替換的數(shù)據(jù)之間有較強(qiáng)的相關(guān)性，通常情況下，這種條件并不成立；具有多分辨率分析特征的小波變換方法已在圖像融合領(lǐng)域得到廣泛應(yīng)用，但是二維可分離小波基只具有有限的方向，即水平、垂直、對(duì)角。方向性和各項(xiàng)異性上的缺陷使得小波變換不能充分利用圖像本身的幾何正則性，因而不能很好地表示圖像中的方向信息^[5]。Contourlet變換^[6]、小波-Contourlet變換^[7]的提出很好地克服了小波變換的缺陷。

在融合算法中， 融合規(guī)則的選取至關(guān)重要。比較常用的有變換系數(shù)絕對(duì)值最大的融合規(guī)則以及變換系數(shù)局部方差最大的融合規(guī)則。已有的多分辨率融合算法都是將小波變換、Contourlet變換分別與這兩者相結(jié)合，但是基于變換系數(shù)絕對(duì)值最大的算法融合效果不夠明顯，基于方差最大的算法運(yùn)行時(shí)間較長(zhǎng)。本文將小波-Contourlet變換與基于區(qū)域能量的融合規(guī)則^[8]相結(jié)合，提出了一種基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法，算法中引入Cycle Spinning^[9]來(lái)消除變換缺乏平移不變性而引起的圖像失真。

1 基本理論

1．1 小波-Contourlet變換

2002年M.N.Do等人提出的一種真正二維圖像表示方法Contourlet變換^[10]。它是一種二維分段光滑信號(hào)的稀疏表示方法，它能用比小波更少的系數(shù)來(lái)表達(dá)光滑的曲線（圖1）。它是由塔形方向?yàn)V波器組(PDFB)將圖像分解成各個(gè)尺度上的帶通方向子帶，它有兩級(jí)實(shí)現(xiàn)，即子帶分解和方向變換（圖2）。首先用LP(Laplacian pyramid)變換對(duì)圖像進(jìn)行多尺度分解以捕獲奇異點(diǎn)；然后由方向?yàn)V波器組(DFB)將分布在同方向上的奇異點(diǎn)合成一個(gè)系數(shù)。方向?yàn)V波器組是能把圖像分解成2的任意次冪個(gè)方向的臨界抽樣濾波器組。Contourlet變換提供了一種靈活的多尺度、局部的、方向性分析方法。

Contourlet對(duì)圖像的表達(dá)雖然是超越了小波，但是它的第一層是用LP來(lái)實(shí)現(xiàn)的。由于LP變換的冗余性，Contourlet變換有4/3的冗余，LP變換在去除相關(guān)性方面也比不上小波。Eslami和Radha結(jié)合小波與Contourlet變換的優(yōu)點(diǎn)提出小波-Contourlet變換(WBCT)，它也由兩級(jí)濾波器組成（圖3）。第一級(jí)，WBCT利用小波代替Contourlet變換中的LP變換進(jìn)行多尺度分解；第二級(jí)也是一個(gè)方向?yàn)V波器組，每一層小波會(huì)獲得三個(gè)高頻子帶(LH、HL、HH)，對(duì)三個(gè)高頻子帶使用方向數(shù)相同的方向?yàn)V波器組。由此可以看出小波-Contourlet變換能夠?yàn)閳D像提供更稀疏的表達(dá)。



1．2 融合規(guī)則

1．2．1 一般規(guī)則

一般融合所采用的融合規(guī)則主要有兩種：

a）基于單個(gè)像素點(diǎn)的圖像融合規(guī)則。這一類算法主要有基于絕對(duì)值最大最小的選取規(guī)則，即挑選圖像每一個(gè)位置上具有最大或最小絕對(duì)值的變換系數(shù)到融合圖像的相應(yīng)位置，即

b)基于像素點(diǎn)鄰域特征的圖像融合規(guī)則，大多集中在鄰域方差。也就是選取高頻系數(shù)中鄰域方差較大的那一個(gè)作為融合后的系數(shù)。在一個(gè)窗口內(nèi)，局部方差越大，細(xì)節(jié)越豐富。

其中: CkA(2j，x，y)、CkB(2j，x，y)分別為兩幅待融合圖像經(jīng)小波變換在第k個(gè)融合子帶、在分辨率 2j下 (x，y)位置的變換系數(shù)； VkOA(2j，x，y)、VkOB(2j，x，y)分別為第k個(gè)融合子帶、在分辨率 2j下的變換系數(shù)以 (x，y)為中心的局域窗口的方差值； DkF(2j，x，y)為融合系數(shù)。

1．2．2 基于區(qū)域能量的選取規(guī)則

為了獲得視覺(jué)特性更佳、細(xì)節(jié)更豐富的融合效果，文獻(xiàn)[8]提出了一種基于區(qū)域能量的融合規(guī)則。將待融合的兩幅圖像分別進(jìn)行多尺度分解，低頻系數(shù)進(jìn)行加權(quán)平均。利用不同的特征選擇算子，有方向地計(jì)算對(duì)應(yīng)細(xì)節(jié)圖像以像素（i，j）為中心的區(qū)域能量E(i，j)，E(i，j)可以作為圖像信息突出程度的衡量。根據(jù)E(i，j)計(jì)算兩幅圖像的匹配度R(i，j)，通過(guò)匹配度與閾值c的比較，對(duì)變換系數(shù)進(jìn)行加權(quán)運(yùn)算決定融合后的高頻系數(shù)^[11]。鄰域窗口可以是3×3或5×5等。為方便計(jì)算設(shè)：

其中：tmp(i，j)表示以(i，j)為中心的3×3鄰域窗口。由此可計(jì)算兩幅待融合圖像變換系數(shù)的區(qū)域能量：

其中：tmp1與tmp2分別表示參與融合的兩幅圖像的對(duì)應(yīng)窗口。定義R(i，j)為以圖像變換系數(shù) (i，j)位置為中心的鄰域的匹配度：

R(i，j)取值在[-1，1]。當(dāng) R(i，j)＝1時(shí)認(rèn)為來(lái)自兩幅圖像的信息完全匹配，當(dāng) R(i，j)＝0表示兩幅圖像完全不匹配；若兩幅待融合圖像在某位置處相似程度很高，則其匹配度幅值一定很大；若相似程度很低，則其匹配度幅值一定很小。由此可以設(shè)定閾值c，當(dāng) R(i，j)≥c時(shí)，認(rèn)為兩圖像相關(guān)，分別提取細(xì)節(jié)分量的一部分作為融合圖像的細(xì)節(jié)分量；當(dāng) R(i，j)＜c，則表示兩個(gè)圖像不相關(guān)，高頻系數(shù)中區(qū)域能量越大，則細(xì)節(jié)越豐富，可以作為融合后的變換系數(shù)。融合的加權(quán)系數(shù)W按下式確定，其中c=0．5。

最后由權(quán)值得出融合系數(shù) ：

因?yàn)橄袼刂g存在很大的相關(guān)性，單個(gè)像素不能很好地表達(dá)圖像特征，所以基于單個(gè)像素點(diǎn)的融合規(guī)則并不優(yōu)于基于鄰域特征的融合規(guī)則。局部方差和區(qū)域能量均能表達(dá)鄰域特征。基于局部方差的融合規(guī)則直接根據(jù)變換系數(shù)局部方差的大小來(lái)決定變換系數(shù)的取舍，沒(méi)有考慮兩幅圖像的相關(guān)度。而待融合的圖像一般都具有一定的相關(guān)度，基于區(qū)域能量的融合規(guī)則充分考慮了圖像的相關(guān)度，利用圖像匹配度和閾值的比較來(lái)確定融合的加權(quán)系數(shù)。由此可以看出在融合算法中采用基于區(qū)域能量的規(guī)則可以達(dá)到更好的融合效果。

1．3 Cycle Spinning

由于對(duì)數(shù)據(jù)下抽樣過(guò)程的存在，三種變換都缺乏平移不變性，信號(hào)中不連續(xù)點(diǎn)的鄰域在處理過(guò)程中會(huì)產(chǎn)生視覺(jué)失真，稱為吉布斯現(xiàn)象。Coifman提出的Cycle Spinning（CS）算法就是將數(shù)據(jù)進(jìn)行循環(huán)平移，對(duì)平移后的數(shù)據(jù)作處理再反平移，將多次平移處理的結(jié)果平均，從而可以得到吉布斯現(xiàn)象明顯減弱的結(jié)果。假設(shè)經(jīng)Cycle Spinning處理的結(jié)果由S^表示，則



其中： (K1，K2)為最大平移量；S為循環(huán)平移算子；T為變換算子；θ為融合算子。

2 基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法

鑒于小波-Contourlet變換、基于區(qū)域能量的融合規(guī)則以及Cycle Spining這三者的優(yōu)點(diǎn)，提出一種基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法。算法步驟如下：

a)將待融合圖像行和列分別作8次平移，得到共64組圖像。

b)分別對(duì)每組兩幅圖像作小波-Contourlet變換，建立各自的多分辨圖像序列，得到不同子帶不同方向上的變換系數(shù)。

c)采用基于區(qū)域能量的融合規(guī)則對(duì)變換系數(shù)進(jìn)行處理，得到目標(biāo)圖像的變換系數(shù)。

d)對(duì)融合系數(shù)作反變換，最后反平移，得64個(gè)結(jié)果圖像。

e)取64個(gè)結(jié)果圖像的平均值得最終融合結(jié)果。

3 融合算法評(píng)價(jià)

本文算法采用融合圖像與標(biāo)準(zhǔn)圖像之間的均方誤差根（RMSE）以及算法運(yùn)行的時(shí)間來(lái)評(píng)價(jià)。RMSE的計(jì)算公式為

其中： (M，N)為圖像大小；xR為參考圖像， xF為融合后的圖像。RMSE值越小，說(shuō)明融合圖像與參考圖像的差距越小。

4 實(shí)驗(yàn)結(jié)果與分析

本文將小波、Contourlet、小波-Contourlet分別與三種融合規(guī)則交叉配合進(jìn)行了實(shí)驗(yàn)，并對(duì)引入與不引入Cycle Spinning進(jìn)行了實(shí)驗(yàn)， 對(duì)大小為256×256圖像實(shí)驗(yàn)結(jié)果如圖4所示。結(jié)果中wbct-energy-cs表示采用基于區(qū)域能量的融合規(guī)則，用小波-Contourlet變換并引入Cycle Spinning作圖像融合：其他類似。本文算法利用MATLAB 6.5編程實(shí)現(xiàn)，運(yùn)行環(huán)境P4 2.4 GHz CPU，操作系統(tǒng)Windows XP。

圖4給出的Pepsi圖像運(yùn)用不同方法得到結(jié)果。可以看出，本文的算法得到的融合圖像信息最豐富，具有最好的視覺(jué)效果。

表1給出了不同融合算法得到的RMSE值，從結(jié)果上看，無(wú)論采用哪種變換進(jìn)行融合，采用區(qū)域能量的融合規(guī)則所得到的融合效果都是最好。當(dāng)采用相同的融合規(guī)則時(shí)，運(yùn)用小波-Contourlet并引入Cycle Spinning進(jìn)行融合所得到的結(jié)果也是最好。

表2給出了基于鄰域特征的兩種融合規(guī)則即基于局部方差最大和基于區(qū)域能量融合規(guī)則的算法耗時(shí)。從實(shí)驗(yàn)結(jié)果看，由于引入Cycle Spinning要對(duì)64幅圖像進(jìn)行融合再取平均，就增加了程序的運(yùn)算量，對(duì)于一種固定的變換，引入Cycle Spinning要比不引入所用的時(shí)間長(zhǎng)；但是同樣引入Cycle Spinning與同樣不引入的情況下，基于區(qū)域能量的融合規(guī)則所用的時(shí)間要遠(yuǎn)遠(yuǎn)小于基于局部方差最大的算法所用的時(shí)間，從而可以更好地滿足融合系統(tǒng)的實(shí)時(shí)性要求。

5 結(jié)束語(yǔ)

基于區(qū)域能量的融合規(guī)則能更好地提取豐富的細(xì)節(jié)信息，小波-Contourlet變換與小波變換以及Contourlet相比能對(duì)圖像進(jìn)行更稀疏的表達(dá)，Cycle Spinning的引入消除了變換缺乏平移不變性而引起的圖像失真。本文提出的基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法明顯降低了RMSE值，達(dá)到了良好的視覺(jué)效果，同時(shí)減少了運(yùn)算時(shí)間。該算法同樣也適用于多幅多聚焦圖像的融合。



參考文獻(xiàn)：

［1］

ACHALAKUL T， LEE J， TAYLOR S. Resilient image fusion[C]// Proc of International Conference on Parallel Processing Workshops. Toronto:[s.n.]，2000: 291-296.

[2]TOET A. A morphological pyramidal image decomposition[J].Pattern Recognition Letters， 1989，9(3):255-261.

[3]THEVENAZ P， UNSER M. A pyramid approach to sub-pixel image fusion based on mutual information[C]// Proc of IEEE International Conference on Image Processing.Lausanne， Switzerland：[s.n.]， 1996: 265-268.

[4]LI H， MANJUNATH B S， MITRA S K.Multisensor image fusion using the wavelet transform [J].Graphical Models and Image Processing， 1995， 57(3):235-245.

[5]焦李成，譚山.圖像的多尺度幾何分析:回顧和展望 [J].電子學(xué)報(bào)，2003，31(12A):1975-1981.

[6]DO MN ， VETTERLI M. The Contourlet transform: an efficient directional multiresolution image representation[J]．IEEE Trans on Image Proc，2005，14(12)：2091-2106.

[7]ESLAMI R， RADHA H. Wavelet-based Contourlet transform and it’s application to image coding[C]// Proc of IEEE International Conference on image Processing.Singapore:[s.n.]，2004:3189-3192.

[8]BURT P J， KOLCZYUSKI R J. Enhanced image capture through fusion[C]// Proc ofthe 4th International Conference on Computer Vision.Berlin:[s.n.]，1993.173-182.

[9]ESLAMI R， RADHA H. The Contourlet transform for image denoising using Cycle Spinning[C]// Proc ofAsilomar Conference on Signals， Systems， and Computers.Pacific Grove:[s.n.]，2003:1982-1986.

[10]DO M N， VETTERLI M.Contourlets: a directional multiresolution image representation[C]// Proc of IEEE International Conference on Image Processing.Rochester:[s.n.]，2002:357-360.

[11]陶觀群，李大鵬，陸光華.基于小波變換的不同融合規(guī)則的圖像融合研究[J].光子學(xué)報(bào)，2004，33(2): 221-224.

注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。”