多聚焦圖像融合中最優雙樹復小波分解層數的選擇

【摘要】 采用具有近似平移不變性和方向選擇性的雙樹復小波變換對多聚焦圖像進行多分辨率分析與重構，是一種高效的融合方法。然而，分解層數的選擇是影響該算法性能的重要因素之一。本文提出了一種基于信息熵、互信息量、邊緣融合質量和加權融合質量等融合質量評價指標確定最優分解層數的方法。實驗結果表明，不同的原始圖像用同種融合算法分解重構，最優分解層數不一定相同；相同的原始圖像用不同的融合算法分解重構，最優分解層數也不一定相同。因此，只有綜合考慮多種代表性的評價指標，才能確定最優分解層數。

【關鍵詞】 雙樹復小波 多聚焦圖像 融合 最優分解層數

一、引言

現實生活中，一些光學鏡頭往往不能使同一場景中的多個目標都在同一聚焦區域，這種情況下致使圖像不是全面清晰的。這就需要分多次分別聚焦其中某一區域，再對這些圖片進行融合處理，得到各個目標都清晰的一幅圖片，這張圖片對場景描述得比任何單一源圖像都更精確、更全面，便于人眼的觀察或計算機的后續處理，這一過程就是多聚焦圖像的融合。

圖像融合的方法與具體的處理對象類型、處理等級有關。這主要是各類圖像的解析度不同、表現的內容不同，相應的處理方法也要根據具體情況而定。雙樹復小波變換（Dual-Tree Complex Wavelet Transform，DT-CWT），不僅保持了傳統小波優良的時頻局部化分析能力，還具有優良的方向分析能力，能夠反映圖像在不同分辨率上沿多個方向變化的情形，更好地描述圖像的方向性。但是雙樹復小波分解層數的選擇是影響圖像融合質量的一大關鍵性因素，層數選擇過少，會降低融合圖像的空間質量；選擇過大，又會增加融合圖像變形的可能性。本文基于雙樹復小波變換對圖像進行融合，并討論如何對最優分解層數進行選擇。

二、基于雙樹復小波變換的圖像融合

2.1 雙樹復小波變換理論的提出

1822年傅立葉（Fourier）發表了“熱傳導解析理論”，然而它在時域里無定位性及無分辨率。1946年Gabor提出了Gabor變換，又發展成為短時傅立葉變換（STFT），給信號加一小窗，反映出信號的局部特征。但無法同時適應高頻及低頻信號的要求，且不能構成一組正交基，給計算帶來不便。小波變換繼承和發展了STFT的局部化思想，又彌補了Gabor變換的不足之處，但仍存在不具備平移不變性和有限的方向選擇性的兩大缺陷。Simoncelli在拉普拉斯金字塔結構和可操控濾波器基礎上設計提出了復小波變換理論，既能保持平移不變性又具有方向選擇性，但它的問題是在超過一層分解時由于輸入形式是復數形式，要構造它完整的重構濾波器非常困難。N.G.Kingsbury提出了雙樹復小波（dual-tree complex wavelet transform，DT-CWT），既滿足完全重構條件，又保留了復小波其它的優點，也就是說既保持了傳統的小波變換時頻局部化的分析能力，還具有近似的平移不變性和良好的方向選擇性。[1-3]

2.2 雙樹復小波變換理論

雙樹復小波變換（DT-CWT）使用解析的（analytical）復小波函數基。設計一對小波函數和，使其滿足Hilbert變換對要求。則由這兩個函數分別作為實部和虛部的復小波函數是解析的，其頻譜只包含正的高頻部分。

圖1為二維雙樹復小波正變換框圖。四個方框表示行列可分離的Mallat算法中的濾波器組結構。其中和為對應的低通和高通濾波器，和為對應的低通和高通濾波器。四組系數經線性變換后得到雙樹小波系數的實部和虛部。每層分解產生12個高頻子帶（實部和虛部分別計為不同的子帶），冗余度固定為4，不隨分解層數增大而變化。

圖像的雙樹復小波分解如圖2所示，從圖中的系數形狀也可以看出每個分解層包含了±15°，±45°，±75°6個方向。

綜上所述，二維DT-CWT具有近似不變性，良好方向選擇性，有限數據冗余性及高效計算效率的特點。

2.3 圖像融合

圖像融合步驟如下：

（1）將兩幅源圖像作雙樹復小波分解，以qshift為濾波器，得到多個分解層，每個分解層六個方向的細節子帶圖像和最高層的近似子帶圖像。

（2）根據高低頻分量的不同特性，采用不同的融合策略對各個方向的子帶進行融合。

（3）利用雙樹復小波逆變換將融合后高低頻域重構出融合圖像。

三、分解層數確定方法

基于雙樹復小波變換的原理可以看出，每一次分解都是對低頻近似分量進行的，即進一步刻畫圖像在低頻部分的細節特征。分解層數越多，產生的子帶越多，頻帶劃分得越細，層數增加意味著級間的濾波器越多，造成信號移位也越大；另一方面，雙樹復小波分解合成都要進行邊界延拓，層數越多引起邊界失真越大。[4]

因此，選擇分解層數并不是越大越好。選擇合適的分解層數是得到最優融合圖像的關鍵性因素。本文提出了基于多融合質量評價確定最優分解層數的方法。算法流程如圖3所示。

圖3中設J為分解層數，當J=0時，圖像融合在空間域中進行。J值過大，將會引起子圖像像素的失真，而得不到多尺度的優勢。因此雙樹復小波分解的最大分解層數應該由輸入圖像的尺寸決定，如果輸入圖像的尺寸為N×N，的最大值為：

（1）

四、 融合質量評價

4.1 信息熵

設被評定的融合圖像為，圖像函數為 ，圖像的大小為，為圖像總的灰度級。

信息熵（Entropy）簡稱熵是衡量圖像信息豐富程度的一個重要指標，圖像的熵定義為：

（2）

式中：EN ----表示圖像的熵；

-----表示灰度值為的像素數與圖像總像素之比。即：

（3）

反應了圖像中具有不同灰度值像素的概率分布。間的關系圖即為圖像的灰度直方圖。

如果融合圖像的熵越大，表示融合圖像所包含的信息越豐富，融合質量越好。

4.2 互信息量

互信息量 MI（Mutual Information） 反映兩個變量之間相關性的量度，或一個變量包含另一個變量的信息量的量度，它的值越大表示融合圖像從原圖像中獲取的信息越豐富，融合效果越好。

設源圖像分別為A、B，其灰度值范圍分別為[0，a]和[0，b]；融合圖像為F，其灰度值范圍為。F與A、B的交互信息量分別表示為IFA和IFB。

（4）

（5）

式中，，和分別是A、B和F的先驗概率，PAF和PBF分別代表兩組圖像的聯合概率。綜合考慮這兩個數值取式（6）來表示融合圖像F包含源圖像A、B的交互信息量。

（6）

4.3 WFQI和EFQI

Gemma Piella和Henk Heijamans[5]提出了無需標準參考圖像的圖像融合質量客觀評價方法：邊緣融合質量指標EFQI（Edge-Dependent Fusion Quality Index）和加權融合質量指標WFQI（Weighted Fusion Quality Index）。該指標充分考慮了人類的視覺特性，能夠度量兩幅圖像結構上的失真和評價融合圖像中保留了多少顯著信息，優于傳統的評價指標，且具有通用性。

設兩個數組和，用表示的均值， 表示的方差， 表示和的協方差，以此類推。

（10）

（11）

描述和間結構化相似度的評價指標定義為：

（12）

其取值在-1～1之間，值越大表明相似度越大，當兩個數組完全相等時值為1。

上述和可以看作是圖像的灰度值，由于圖像的非平穩性，在處理兩個大小相同的圖像、時，通常先分塊計算局部區域中的指標值，再由局部指標取均值得到總體指標，所以重新定義：

（13）

上式中的是圖像中所有窗口組成的集合，即總的窗口個數。本文計算中取窗口大小為7×7。

在總體結構化相似指標的基礎上，為了評價源圖像、及融合圖像這三者之間的關系，構造下面的函數來評價融合圖像的質量：

（14）

其中：

（15）

是源圖像中窗口的某些顯著特征，如對比度、清晰度或熵， 本文計算中采用窗口中系數的方差值。

在計算時，可以對每個窗口賦予不同的權值，從而定義加權融合質量評價指標為：

（16）

其中

（17）

（18）

考慮到人眼的視覺特性，即圖像邊緣信息的重要性，用梯度范數和分別代替源圖像的灰度值和，計算得到，定義邊緣融合質量評價指標為

（19）

上式中的用于調整邊緣圖像對原始圖像的貢獻，值在[0，1]之間，本文取。

以上評價指標、的值都在[-1，1]之間，值越接近于1，表示融合圖像的質量越高。

五、實驗分析

5.1實驗一：不同源圖像同種融合算法的最優分解層數選擇

圖4、圖5均為已配準的多聚焦圖像，大小為512×512。根據式（1），最大分解層數為8層。

兩圖均采用雙樹復小波分解重構，低頻子帶基于加權平均，高頻子帶基于局部能量取大，分解層數從1到8，采用互信息MI、熵EN、加權融合質量指標WFQI、邊緣融合質量指標EFQI、空間頻率SF作為客觀評價標準，結果如表1所示。

（a）左聚焦 （b）右聚焦

圖4 源圖像mulfocus

Fig.4 original image：mulfocus

表1 兩種圖像融合質量與分解層數的關系

Tab.1 the relationship between two kinds of image fusion quality and decomposition level

圖像 12345678

mulfocusMI6.80366.84746.79196.89637.08677.19446.76206.5323

EN7.09967.09877.09527.09987.10207.10837.14996.7891

EFQI0.68460.86680.90350.90720.90750.90750.90720.5071

WFQI0.86950.93080.94190.94340.94350.94350.94320.6428

clockMI6.85516.77846.83586.88207.00507.18347.33096.4014

EN6.99147.02937.05267.06407.06907.07777.06526.6630

EFQI0.63030.71890.79650.81190.81380.81410.81420.5277

WFQI0.86360.88510.90840.91540.91800.91910.91960.6911

表2 mulfocus不同算法融合質量與分解層數的關系

Tab.2 mulfocus：the relationship between image fusion quality using different algorithms and decomposition level

算法 12345678

第一種

算法MI6.80366.84746.79196.89637.08677.19446.76206.5323

EN7.09967.09877.09527.09987.10207.10837.14996.7891

EFQI0.68460.86680.90350.90720.90750.90750.90720.5071

WFQI0.86950.93080.94190.94340.94350.94350.94320.6428

第二種

算法MI6.88196.77046.74496.78106.79856.83396.86916.3916

EN6.97957.02167.04027.05767.06257.06637.09776.6675

EFQI0.63050.71870.79460.80910.81060.81090.81090.5332

WFQI0.86390.88590.91020.91670.91870.91940.91970.6964

本文中所用融合性能評價指標的準則是：對于同一組融合實驗，得到的融合圖像的互信息量、信息熵、相對較大，邊緣融合質量指標、加權融合質量指標更接近于1，則說明該融合方法的性能相對較好。

如表1所示，兩組源圖像采用的融合算法是相同的，對于mulfocus圖像，綜合對比各層評價指標，第6層相對較好。對于clock圖像，綜合對比各層評價指標，第7層相對較好。

由此可見，不同的源圖像用同一種算法進行融合，不能盲目確定哪個分解層最好，要結合融合質量評價指標來進行判斷。

5.2同種源圖像不同融合算法的最優分解層數選擇

以圖4mulfocus源圖像為例，采用兩種不同雙樹復小波分解算法，第一種采用低頻基于加權平均，高頻基于局部能量取大的融合算法；第二種采用低頻基于加權平均，高頻基于相似性度量的局部能量取大和加權平均相結合的融合算法。[6]分解層數依然從1到8，結果如表2所示。

如表2所示，根據本文各評價指標的準則，綜合分析后，得出第一種算法中最優分解層數為第6層，第二種算法中最優分解層數為第7層。可見，同一組源圖像，采用不同的融合算法進行融合，也不能盲目確定分解層數，也要根據評價指標來進行選擇。

六、結束語

采用雙樹復小波變換進行多聚焦圖像融合時，分解層數的選擇對融合質量的好壞有著決定性的因素。但分解層數不能盲目選擇，也不是越多越好。本文提出了基于多融合質量評價確定最優分解層數的方法。實驗證明，不同的原始圖像用同種融合算法分解重構，最優分解層數不一定相同；相同的原始圖像用不同的融合算法分解重構，最優分解層數也不一定相同。因此，只有綜合考慮多種代表性的評價指標，才能確定最優分解層數。