非下采樣Ｃｏｎｔｏｕｒｌｅｔ變換的圖像融合及評價

(南昌航空大學 計算機學院， 南昌 330063)



摘 要：分析和研究了非下采樣Contourlet圖像表示方法及其在圖像變換中的優點，提出一種基于非下采樣Contourlet變換的圖像融合方法。首先將待融合源圖像分解成不同尺度、多方向的頻帶；然后采取不同的融合方法對分解的高低頻分量進行融合處理，低頻系數采取局部能量優先的加權法融合，高頻系數則采取局部梯度優先的加權法融合；最后將融合的各頻帶進行逆非下采樣Contourlet變換得到融合圖像。實驗表明，在幾種不同的客觀評價標準下，該方法優于傳統的小波域中的融合效果，能有效消除小波變換帶來的光譜扭曲和假邊緣現象。

關鍵詞：圖像融合； 非下采樣Contourlet變換； 小波變換； 光譜扭曲

中圖分類號：TP391 文獻標志碼：A

文章編號：10013695(2009)03113804



Image fusion based on nonsubsampled Contourlet transform and evaluation



LI Qishen， LI Junfeng， JIANG Zetao



(School of Computer， Nanchang Hangkong University， Nanchang 330063， China)



Abstract:This paper introduced the characteristics of nonsubsampled Contourlet transform (NSCT)， as well as its advantages in image transformation. NSCT was built upon nonsubsampled pyramids and nonsubsampled directional filter banks and it was a flexible multiscale， directional multiresolution and shiftunvariant image transform.Proposed a novel image fusion algorithm based on NSCT. Firstly， decomposed each source image in highpass subbands and lowpass subbands by NSCT. Secondly，used different fusion rules in different subbands， where local gradient preferential image fusion rule was adopted in highpass subbands and local energy preferential image fusion rule was adopted in lowpass subbandds. Finally， reconstructed the fused image by taking inverse transform of NSCT. The experimental results show that the performance of the novel algorithm is better than the traditional fusion algorithms based on wavelet transformation， and especially， the novel fusion algorithm can effectively eliminate the spectrum warping and the artificial edges caused by wavelet transform.

Key words：image fusion; nonsubsampled Contourlet transform(NSCT); wavelet transform; spectrum warping



0 引 言

圖像融合是將兩幅或者多幅具有不同信息表現形式的圖像融合為一幅圖像，使融合圖像在信息的表達上更能滿足人們需要的圖像處理方法。其實質是利用待融合圖像的信息在時空上的互補性、冗余性，使融合圖像對場景和目標的表達更加全面，更加有利于人們分析和理解的過程。圖像融合方法主要經歷三個階段：簡單的融合方法[1]、基于塔式分解的融合方法[2~4]及基于小波分解的圖像融合方法[5，6]。

小波變換作為一種圖像的多尺度、多分辨率分解工具，具有良好的空域和頻域特性，在圖像融合領域得到了廣泛的應用[7]。該方法較容易提取圖像的細節信息，所以在一定程度上能夠滿足圖像融合的一般要求，且融合效果要優于一般早期傳統的融合算法[5，6]。但是，基于小波變換的融合方法并非完美。實驗證明，小波變換的優勢主要體現在對一維信號的歧義性檢測上，而對于二維圖像，小波只能以點奇異逼近線奇異，這樣就不能稀疏地表示原來信號的特征[7，8]。另外小波變換只能檢測有限方向上的邊緣信息，即水平方向、垂直方向和對角方向。方向上的缺乏使得小波變換不能充分地表現圖像本身的特性，變換后圖像的信息缺失較大，融合后的圖像容易產生假邊緣和光譜扭曲等現象[9，10]。

為克服小波變換在高維信號處理中的缺點，Ridgelet、Curvelet、Contourlet等新的圖像變換方法應運而生[9~11]。Ridgelet變換的實質是對小波基函數增加一個表征方向的參數而得到的，所以具有較強的方向選擇性和辨識能力。Curvelet變換是為了克服多尺度Ridgelet變換的高冗余度而產生的，且能很好地表達圖像信號的曲線奇異性，但Curvelet變換的數字實現還存在著一定的難度，且冗余度高[11]。Donoho等人提出了一種新的圖像表示方法，即Contourlet變換，其優點在于能夠使用少量稀疏系數有效地表示圖像的平滑輪廓[6]。Contourlet變換分為兩部分，即拉普拉斯塔形分解對圖像進行多尺度分解和方向濾波器組對帶通分量進行方向分解。其缺點是不滿足平移不變性[9~13]。雖然以上變換在圖像融合中有一定優勢，但其所存在的缺陷會轉嫁到融合圖像中，影響融合圖像信息表達效果。

非下采樣Contourlet變換(NSCT)是Contourle變換的改進，解決了Contourlet變換因下采樣而不滿足平移不變性和頻譜泄露及頻譜混疊等缺陷，在圖像表示上能更好地表現圖像的細節特征[13]。本文基于NSCT的這些優點，將其應用在圖像融合中，較好地消除了利用小波變換方法在融合圖像中出現的假邊緣和光譜扭曲等現象。

1 非下采樣Contourlet變換

非下采樣Contourlet變換包括兩部分，一是具有多尺度性質的非下采樣塔形分解結構，二是具有多方向分解性質的非下采樣方向濾波器組結構[12，13]。由于這兩部分都去除了濾波器組中的下采樣因子，使該變換滿足平移不變性。

1.1 非下采樣塔形分解

與傳統的Contourlet變換中的拉普拉斯塔形分解不同的是，非下采樣塔形分解不需要對經過濾波器Hi(i=0，1)濾波后的圖像進行上、下采樣，再與上一級圖像相減而得到高頻分量，而是將上、下采樣器去除，并將濾波器進行上二采樣后作為下一級濾波器。這樣可以避免圖像因上、下采樣而導致的像素之間的錯位，以滿足平移不變性。如圖1所示為雙通道濾波器組的分解與重構結構圖。對于下一級分解，先對濾波器H作上二采樣，再以迭代的方式對上一級分解的低頻分量以相同的方式分解，構成一個樹型結構以達到多尺度分解的目的。其雙通道三級塔形分解過程如圖2所示。

從圖1、2可以看出，對于雙通道濾波器組而言，要完美地實現分解后的重構，則濾波器組必須滿足等式

H0(z)G0(z)+H1(z)G1(z)=1

其中：H0(z)和G0(z)分別為雙通道低通濾波器和高通濾波器的頻率響應。

H1(z)=1-H0(z)

其中：G0(z)和G1(z)分別為低通與高通合成濾波器的頻率響應。

1.2 非下采樣方向濾波器組

與傳統的方向濾波器相似，非下采樣方向濾波器組也是將圖像頻譜分解成不同方向的楔形區域，但它將傳統方向濾波器組中的上下采樣因子去除，而只對各濾波器進行上采樣，這樣就得到非下采樣方向濾波器。實現過程是通過雙通道濾波器級聯而成，第一級濾波器采用的是互補扇形濾波器和，而后兩級所需要的濾波器組均可由U0、U1進行線性變換得到。實現這種線性變換需要使用采樣矩陣Q和幺模矩陣Ri(i=0，1，2，3)。其中：

Q= 1 1-1 1

R0=1 -10 1，R1=1 10 1，R2= 1 0-1 1，R3=1 01 1

因此非下采樣方向濾波器組的基本單元是非下采樣扇形濾波器。其雙通道結構如圖3所示。

扇形濾波器的設計可采用映射方法得到，設計映射函數為P(z1，z2)=(z2+z2-1-z1-z1-1)/4，其頻域中的響應函數為P(ω1，ω2)=(cos ω2-cos ω1)/2。在頻域下扇形濾波器可以通過一維分數階樣條正交濾波器為原型濾波器來設計：

Uλ(ω)=(2+2 cos ω)λ/2/(2+2 cos ω)λ+(2-2 cos ω)λ

V λ(ω)=(2-2 cos ω)λ/2/(2+2 cos ω)λ+(2-2 cos ω)λ(1)

其中：Uλ(ω)、V λ(ω)分別是一維低、高通濾波器。將映射函數P(ω1，ω2)通過McClellan變換得到二維扇形濾波器：

U0(ω1，ω2)=V0(ω1，ω2)=Vλ(ω)|cos(ω)=P(ω1，ω2)=

(2-2 cos ω)λ/2/(2+2 cos ω)λ+(2-2 cos ω)λ

U1(ω1，ω2)=V1(ω1，ω2)=Uλ(ω)| cos (ω)=P(ω1，ω2)=

(2+2 cos ω)λ/2/(2+2 cos ω)λ+(2-2 cos ω)λ(2)

其中：U0、U1為分解扇形濾波器；V0、V1為重構扇形濾波器，并且容易驗證它們滿足完美的重構條件，即U0(ω)V0(ω)+U1(ω)V1(ω)=1。對得到的頻域中的扇形濾波器作z變換就可得到z變換域中的扇形濾波器組U0(z)、U1(z)和重構扇形濾波器組V0(z)、V1(z)。

通過迭代N級雙通道扇形濾波器可以得到2N個方向的非下采樣方向濾波器組。四方向非下采樣方向濾波器組分解后的頻譜圖如圖4所示，得到的四個方向支撐域是通過在扇形濾波器后級聯相應的棋盤濾波器而得到。圖5所示的棋盤濾波器Ui(zQ)(i=0，1)是通過對扇形濾波器作Q上采樣得到的，它與第一級的扇形濾波器進行級聯就得到了第二級的四個方向支撐域的濾波器。對于八級非下采樣濾波器組，可以先對扇形濾波器進行幺模矩陣上采樣而得到具有平行四邊形支撐域的濾波器，然后將其與四方向的濾波器組進行級聯就得到八方向濾波器組。圖6所示為扇形濾波器進行幺模矩陣Ri(i=0，1，3)上采樣后所得到的具有平行四邊形支撐域的濾波器。

綜合1.1和1.2節分析，非下采樣Contourlet變換的兩部分分別實現了多尺度分解和多方向多分辨率分解，可以通過迭代的方式對非下采樣金字塔分解的高頻分量進行非下采樣方向濾波器組的分解以得到不同方向的子頻帶。分解的總體框架和分解頻帶如圖7所示。

2 基于非下采樣Contourlet融合方法

由于非下采樣Contourlet變換具有平移不變性，消除了頻譜泄露及頻譜重疊，同時又繼承了多尺度、多分辨率和多方向分解的特性，從而使圖像在同一尺度變換下的高頻分量表現了多個方向的細節信息，克服了小波變換只能檢測有限方向高頻分量的缺點，并且NSCT比小波變換更加適合表示圖像邊緣曲線的特征[10]。這就為圖像融合提供了更好的條件，有利于圖像細節信息的融合?，F以兩幅圖像A、B為例來說明具體的融合過程：

a)對圖像A、B進行J級NSCT變換，得到的高低頻系數分別為 {cA，J，dljA，j，k}和{cB，J，dljB，j，k}。其中：cX，J表示圖像X分解J層的低頻系數；dljX，j，k表示圖像X第j層第k方向的高頻系數(X=A，B)；lj表示第j層分解的方向數；j=1，2，...，J; k=1，2，…，lj 。

b)對于高低頻系數采取不同的融合規則，由于低頻分量占有了變換后圖像的絕大部分能量，低頻系數可以采用局部能量優先來決定兩幅圖像低頻系數所占有的比例[14，15]。首先對兩幅圖像低頻分量進行分塊，一般子塊為3×3大小的窗口，然后分別計算對應窗口的能量，根據各自能量的占有比例來決定融合的權值。具體計算方法如下：

cFi，J=wAi×cAi，J+wBi×cBi，J(3)

其中：cFi，J、cAi，J和cBi，J分別是第i個子塊的低頻融合系數、圖像A的第i個子塊的低頻系數和圖像B的第i個子塊低頻系數；wAi和wBi分別是相應子塊融合的權值系數。其中權值wXi(X=A，B)的計算公式分別為

wAi，J=E(cAi，J)/(E(cAi，J)+E(cBi，J))

wBi，J=E(cAi，J)/(E(cAi，J)+E(cBi，J))(4)

其中：E(cXi，J)(X=A，B)為圖像X第i子塊的能量。

對于高頻分量，首先將某一級的某一方向分量進行分塊，子塊一般選取3×3的窗口，根據子塊的平均梯度特征顯著性決定該子塊的權值。這樣就可以根據高頻分量的局部特征改變相應局部的權值，具有自適應確定權值的作用[16]。對于第i子塊dljXi，j，k(X=A，B)對應的融合系數dljFi，j，k，其融合方法為

dljFi，j，k=wlji，j，k×dljAi，j，k+(1-wlji，j，k)×dljBi，j，k(5)

其中：wlji，j，k權值表示第j層、第k方向系數的第i子塊的權值，其計算公式為

wlji，j，k=T grad(dljAi，j，k)≥grad(dljBi，j，k)1-T其他(6)

其中：T為對應的閾值，T ∈(0， 1)，一般選取其值為0.4~0.9；grad(dljXi，j，k)為第i子塊的梯度值。

為避免因分塊帶來子塊之間明顯的分割現象，可在相鄰子塊之間有一到兩個像素的重疊，這樣既可增強子塊之間的依賴性，也可增強子塊之間權值的依賴性，以提高融合效果。

c)依據步驟b)的計算，可以得到融合后圖像在NSCT域中的各個分量，然后進行NSCT逆變換，就可以得到所求的融合圖像。

3 實驗及融合圖像的評價

選取常用的256灰度級的醫學圖像(CT/MIR，大小為256×256像素)、多聚焦鐘表圖像(clock，大小為256×256像素)、 多聚焦磁盤圖像(disk，大小為320×240像素)和遙感圖像(map，大小為256×256像素)對本文方法進行了驗證。實驗中分別利用小波變換(DWT)和NSCT變換方法對它們作了融合處理，其中小波變換為db4下的三層小波變換；NSCT變換為三層變換，每一層變換的方向數目分別為8、4、4。小波變換采用與NSCT變換相同的融合規則。經過大量實驗驗證，對于實驗中所選的圖像，高頻分量所需要的閾值T=0.8時，所得的融合圖像的效果較好。它們的融合結果分別如圖8~11所示，并給出了實驗的主觀分析和客觀評價。

主觀分析：圖8(c)是小波方法得到的醫學多傳感器圖像的融合效果圖，從融合結果可以看出圖中所標注的1、2、3、4、5區域都出現了假邊緣現象，與圖8(d)所采用的NSCT變換融合方法相比，其假邊緣使得融合圖像的信息表達較為欠缺，不能很好地表達圖像的信息；圖9(c)是小波方法得到的多聚焦圖像融合效果圖，圖中標注的1、2區域與圖9(d)相比，較粗糙，產生了光譜扭曲現象，圖9(c)所標注的3處還產生了假邊緣現象；圖10(c)是小波變換方法得到的多聚焦圖像融合效果，圖中標注的1、2、3區域與圖10(d)相比都產生了不同程度的圖像光譜扭曲現象；圖11(c)是小波變換方法得到的多聚焦圖像融合效果，圖中標注的1區域與圖11(d)相比有光譜扭曲現象，2區域出現了虛假邊緣。從直觀上看，小波變換方法得到的融合圖像容易在光譜特性上產生較大誤差，由此產生的光譜扭曲現象也成為小波變換在圖像融合應用中的一大弱點[9，10]。

客觀評價：為了進一步對融合效果進行客觀評價，本文采用常用的信息熵、偏差、交互信息量、相關系數、等效視數評價參數作為融合圖像定量的評價標準。

1)偏差 偏差D是融合圖像與源圖像差值的灰度平均值，它能反映融合圖像和源圖像在光譜信息上的差異大小和光譜特性變化的平均程度，是光譜扭曲程度的重要指數。偏差越小說明融合效果越好，光譜扭曲程度也就越低。其表達式為

D=1/(MN) Mi=1 Nj=1|F(i，j)-A(i，j)|(7)

其中：F為融合圖像；A為源圖像；M、N為圖像的大小?？梢酝ㄟ^計算融合圖像F與A、B源圖像偏差的均值來衡量融合圖像的偏差。

2)交互信息量 交互信息量MI可以作為幾個變量相關性的量度，即反映了融合圖像包含源圖像信息量的量度。其值越大表示融合圖像從源圖像中獲取的信息量越大，融合效果也就越好。其表達式為

MIFAB= L-1K=0 L-1i=0 L-1j=0PFAB(k，i，j)log2{PFAB(k，i，j)/[PAB(i，j)PF(k)]} (8)

其中：PFAB(k，i，j)是融合圖像F和源圖像A、B的歸一化聯合灰度直方圖；PAB(i，j)是源圖像A、B的歸一化聯合灰度直方圖；L為圖像的灰度級。

3)相關系數 它反映了兩幅圖像光譜特征的相似性，即保持光譜特性的能力，從該參數可以看出融合圖像空間分辨率的改善程度。相關系數越大，融合圖像從源圖像中獲取的信息越多，融合效果越好。其表達式為

ρFA= {Mi=1 Nj=1[(F(i，j)-f)×(A(i，j)-a)]}/ Mi=1 Nj=1(F-f)2× Mi=1 Nj=1(F-a)2(9)

其中：f和a分別是融合圖像F與源圖像A的平均值，可以計算融合圖像F與源圖像A、B相關系數的平均值作為總體的相關系數。

4)等效視數 可用來衡量噪聲的抑制效果、邊緣的清晰度和圖像的保持性。等效視數越大，說明圖像邊緣保持性和噪聲的抑制性越大。其計算方法如下：

ENL=μF/σF (10)

其中：μF和σF分別表示圖像F灰度值的平均值和標準差。

表1給出了該實驗的NSCT融合方法與小波變換融合方法的評價參數表?？梢钥闯龌贜SCT變換的融合方法在所給的評價參數中融合效果上要優于小波變換的融合方法。

熵的討論：信息熵能較好地描述圖像所包含信息量的大小。圖像中高頻細節信息越豐富，其信息熵就越大，說明圖像包含的信息量越大。信息熵是常用的評價圖像融合方法的一個重要指標，其表達式為

H=- L-1i=0p(i)log p(i)(11)

其中：L為圖像的灰度級數；p(i)表示灰度級為i的像素數所占總像素數的比例。H越大表明融合圖像所包含的信息量越大。

圖像的信息熵也有不完備的一面，因為信息熵的概念是建立在數理統計的基礎之上，圖像的信息熵反映了圖像中不同信息出現的概率及其差別，它只對圖像像素的個數進行了統計，而沒有涉及到圖像中各個像素出現的位置關系。而一幅圖像中像素的位置關系對圖像的信息表達也有非常重要的作用，像素位置的不同在圖像的視覺效果上有很大的區別，所以從視覺角度來說，像素位置的概念也非常重要，而純粹利用信息熵的概念來描述圖像的信息量則具有一定的不完備性。最近Dou Wen等人[17]利用源圖像信息熵和融合圖像信息熵的差別程度作為評價參數來描述融合圖像效果的優劣，具有一定的合理性。因為融合圖像的虛假邊緣和不合理的細節信息充當了圖像的信息量，從而增大了融合圖像的信息熵。這種增大在客觀上是與源圖像信息量背離的，而在視覺特性上這種與源圖像信息量背離的現象是不合理的。本文對融合圖像的信息熵進行了計算，如表2所示。

從表2中可以看出，采用NSCT變換方法得到的融合圖像其信息熵更接近于源圖像的信息熵，而DWT變換方法所得到的融合圖像因為存在虛假邊緣和光譜扭曲，其信息熵偏大，與源圖像的信息熵偏離更大，則虛假信息熵的產生就越大，所以融合效果也就越差。

4 結束語

本文對非下采樣Contourlet圖像變換方法、特性進行了分析和研究，提出了一種基于NSCT的圖像融合算法。NSCT因為滿足平移不變性，同時它又繼承了多尺度、多分辨率分解的優點，所以在邊緣提取和紋理分析上要優于小波變換，在一定程度上克服了小波分解在二維圖像處理中的局限性。同時還分析了信息熵在融合圖像評價中的不完備性，并引入了一種新的基于信息熵的融合圖像評價標準。從實驗結果看，本文的融合方法在處理多傳感器醫學圖像、多聚焦圖像及遙感圖像的融合時均取得了令人滿意的效果，在較大程度上消除了小波變換方法帶來的假邊緣和光譜扭曲現象。NSCT變換作為一種新的圖像表示方法，在圖像融合乃至圖像處理領域都有著重要的潛在應用價值。