基于快速非抽樣小波變換的巖屑多聚焦圖像融合

張 影，王正勇，王 林，何小海

ZHANG Ying,WANG Zhengyong,WANG Lin,HE Xiaohai

四川大學 電子信息學院，成都 610064

College of Electronics and Information,Sichuan University,Chengdu 610064,China

1 引言

在高分辨率巖屑圖像采集中，由于相機景深的限制和巖屑大小不一且表面凹凸不平，因此需要聚焦到不同平面采集多次，并通過多聚焦圖像融合[1-2]處理才能得到一幅目標聚焦都清晰的巖屑圖像。近年來，人們使用較多的是基于非抽樣小波變換[3-4]的多聚焦圖像融合。20世紀90年代后，人們將小波變換技術用于圖像融合，取得了較好的融合質量。Liuetal在融合過程中增加了方向濾波器[5]，在進行小波變換時，分別對圖像的行和列進行下采樣。Nunezetal[6]提出非抽樣小波變換方法，在進行小波分解的過程中去除了下采樣。由于非抽樣小波變換的平移不變性，且有效地抑制了振鈴效應和Gibbs現象，融合過程可以逐層跟蹤圖像中的重要特征，有效避免了虛假信息的引入，因此受到了人們越來越多的青睞。然而，非抽樣小波變換算法非常復雜，極大地延長了圖像處理的時間，尤其對巖屑高分辨率圖像的處理實時性非常差。

本文提出了一種基于快速非抽樣小波變換的多聚焦圖像融合算法，該算法仍然采用非抽樣小波變換將圖像轉換到頻域進行處理，同時針對空域直接對單個像素點處理上簡潔、直觀的特點，再將圖像轉換到空域上處理，非常有效地提高了圖像處理的實時性，也一定程度上改善了圖像的融合效果。

2 非抽樣小波變換

非抽樣小波變換是以抽樣小波變換為基礎，但是在每次分解時不進行下采樣，因此每層變換后的高、低頻圖像與源圖像大小相等。它利用小波系數之間的冗余性尋找與鄰域系數之間的相關性，通過小波系數與鄰域系數之間的關系來確定包含圖像細節信息的非抽樣小波系數[7]。目前最常用的非抽樣小波正變換公式為[7]：

這里，A-1(x，y)為源圖像對應的函數。式中的h(·)、g(·)分別對應于非抽樣小波變換的低、高通分解濾波器系數，hi(·)、gi(·)分別對應于非抽樣小波變換的低、高通重構濾波器系數，Aj(x，y)、Dj(x，y)為尺度 2j，位置(x，y)處非抽樣尺度函數系數和非抽樣小波系數，分別對應于非抽樣小波的概貌子帶、水平細節子帶、垂直細節子帶和對角細節子帶。

顯然，傳統的非抽樣小波變換的正、反變換算法都十分復雜，并且正、反變換的運算量也非常大。假如在非抽樣小波變換融合過程中取消其反變換運算，那么將極大地提高圖像處理的實時性。

由于非抽樣小波變換沒有抽樣和插值的過程，且依次對圖像像素點進行處理，因此對一幅圖像進行非抽樣小波變換后，每一層分解得到的一幅低頻概貌圖像、三幅高頻細節圖像都與源圖像大小一樣。所以，進行非抽樣小波變換后的小波系數，不僅包含了源圖像的所有特征信息，而且還存在一些冗余信息，而這些冗余信息便有利于尋找這些小波系數之間的依賴關系。假如對一幅二維圖像進行N層非抽樣小波分解，將得到(3N+1)個與源圖像大小相同的小波系數圖像，尤其對于本文處理的高分辨率巖屑圖像，需要很大的內存空間，即對電腦的配置要求很高。然而經過深入研究，進行一層非抽樣小波變換后得到的小波系數所包含的圖像信息，足以滿足后續圖像融合的需求，因此本文算法采用非抽樣小波一層分解。

3 快速非抽樣小波融合算法

3.1 傳統非抽樣小波融合算法

基于非抽樣小波變換的多聚焦圖像融合算法主要是對不同分解層、不同頻帶的小波系數采用相應融合規則分別進行融合處理，然后再作非抽樣小波反變換，即得到所需要的融合圖像，如圖1示。

圖1 傳統非抽樣小波融合算法

基于非抽樣小波變換的圖像融合過程中，決定融合結果質量的關鍵因素是處理高低頻小波系數時采用的融合算法[8]。根據人眼對局部對比度變化較敏感的特點，在參與融合的源圖像中選擇顯著邊緣和線段等的清晰特征，并將這些特征保留到最后的融合圖像中。因此，選擇一種好的融合算法，對于圖像融合的處理效果十分必要。

3.2 快速非抽樣小波融合算法

多聚焦圖像融合主要有基于空域和變換域兩種方法。基于空域的多聚焦圖像融合方法，不對參與融合的各源圖像進行任何圖像變換或分解，也就不存在因變換或分解而產生的信息損失，其原理簡單易懂、計算量小。非抽樣小波變換在每個分解層數據量保持不變，在逐層跟蹤圖像中的重要特征方面性能更強，并且具有線性相伴特性和空間坐標一致性，也使得按像素級[9]進行分析成為可能。因此，本文結合空域和變換域兩種融合方法的優點，提出了一種基于快速非抽樣小波變換的多聚焦圖像融合算法。該算法從頻、空域結合的角度對圖像進行融合處理，基本思想是：設待融合圖像分別為圖像A和圖像B，融合結果為圖像F。首先對圖像A和B分別作非抽樣小波正變換，然后將得到的三個高頻小波系數絕對值和作為融合規則，即：若圖像A的高頻系數絕對值和最大，則選取圖像A對應空間位置的像素值作為融合圖像F對應位置的像素值，否則，選取圖像B對應空間位置的像素值作為融合圖像F對應位置的像素值，如圖2示。

圖2 本文算法流程框圖

具體步驟如下：

（1）分別對圖像A和B進行非抽樣小波一層分解，得到概貌子帶 A0(x，y)、水平細節子帶、垂直細節子帶和對角細節子帶

（2）分別計算待融合圖像A和B對應像素點的高頻系數絕對值和：

其中，K取為A、B。

（3）得到的融合圖像F可表示為：

其中C為常數，一般取值為4.00～15.00，最優值取決于待融合圖像。

針對人眼的視覺敏感特性，高頻小波系數絕對值和越高，表明對應的邊緣細節特征越明顯，給人的視覺反映越直觀。該融合規則能夠識別源圖像的特征，提取出不同源圖像的清晰部分，獲得一幅目標聚焦都清晰的融合圖像。在理論上，傳統的非抽樣小波變換在進行正變換將圖像由空域變換到頻域上后，必須進行反變換再將圖像變換回空域，顯然，在反變換過程中必然造成一定的信息損失，又由于反變換算法十分復雜，這樣不僅延長了圖像的處理時間，而且也增加了圖像的計算誤差。本文算法取消了反變換，將融合后的結果直接應用于源圖像，減少了處理過程中噪聲等的影響，極大地提高了圖像處理的實時性。它將頻域與空域進行了完美的結合，取其各自的優點，提取出待融合圖像的清晰部分，獲得了一幅完全清晰的融合圖像。

由于該融合規則是針對像素級融合，因此，在進行非抽樣小波變換之前，待融合圖像需要進行精確的配準。由于本文算法在獲得融合結果后，直接對待融合圖像進行處理，因此很大程度上減少了處理過程中噪聲干擾產生的影響，增強了圖像處理的魯棒性。

另外，融合后的圖像，有時會出現某像素點與周圍相鄰像素點來自不同源圖像的情況，即融合圖像的像素是不連續的，則需要對融合圖像F進行一致性校驗。即：選取3×3窗口，如果融合圖像F中心像素點來自源圖像A，而其周圍8個鄰域內來自源圖像B的像素點個數大于或等于6，則將中心像素值置換成源圖像B對應的像素值。該方法有效地提高了融合圖像的連續性和抗噪能力。

其中，CA為以F(x，y)為中心的的3×3窗口內取自圖像A的像素點個數，CB為以F(x，y)為中心的的3×3窗口內取自圖像B的像素點個數。

4 實驗結果及分析

非抽樣小波變換將圖像由空域轉換到頻域，提取出圖像的概貌特征和邊緣細節特征。融合規則是圖像融合的核心部分，其算法的優劣將直接影響最終圖像融合的效果。高頻分量對應圖像的細節信息，針對視覺敏感性，它能直接反映出圖像的清晰度。

本文的實驗環境：32位x86操作系統，Intel?CoreTMCPU i5-2400 3.09 GHz，3.23 GB的內存。

4.1 融合算法對比

在非抽樣小波變換的基礎上，將本文提出的多聚焦圖像融合算法與幾種基于非抽樣小波變換的多聚焦圖像融合算法進行對比實驗。其中較常用的基于非抽樣小波變換的多聚焦圖像融合算法使用了以下5種融合規則，分別是：（1）三個高頻絕對值和取大、低頻取平均；（2）高低頻分別取大；（3）三個高頻絕對值和取大、低頻依據梯度；（4）三個高頻絕對值和取大、低頻對比度取大；（5）三個高頻絕對值和取大、低頻在高頻基礎上判斷。目前一種較新的多聚焦圖像融合算法[1]：高、低頻分別依據標準差、向量模值。

圖3 原圖及融合結果圖

圖3（a）～3（c）為依次由低到高聚焦的三幅巖屑圖像，圖像像素大小都為5 184×3 456，圖3（d）為本文提出的基于非抽樣小波變換的多聚焦圖像融合算法的融合圖像，采用的是一層非抽樣小波正反變換。圖3（e）～3（j）為以上提出的六種基于傳統非抽樣小波變換的多聚焦融合算法的融合圖像（通過大量測試證明，當進行非抽樣小波三層分解時，基于傳統非抽樣小波變換的多聚焦圖像融合的融合效果相對較優，因此圖3（e）～3（j）采用的是非抽樣小波三層分解）。圖3顯示了截取的待融合圖像和融合圖像的小部分圖像，表1為這些圖像的融合質量評估。

表1 本文算法（非抽樣）與幾種常用非抽樣小波融合算法質量比較

從圖3和表1可以看出，不僅在直觀視覺效果上，而且在平均梯度、信息熵、空間頻域的客觀數值評估上，本文提出的融合算法都優于其他幾種非抽樣小波融合算法。

4.2 融合時間對比

采用本文提出的多聚焦圖像融合算法，對上述三幅待融合圖像分別進行快速非抽樣和非抽樣小波變換，對比得到的融合圖像及其融合時間。

圖4（a）為本文提出的基于快速非抽樣小波變換的多聚焦圖像融合算法的融合圖像。圖4（b）為采用本文提出的融合算法的非抽樣小波變換的融合圖像（其中進行了一層非抽樣小波正反變換）。圖4為截取它們的小部分圖像，表2為這兩幅圖像的融合質量評估。

圖4 快速非抽樣小波與非抽樣小波融合結果圖

表2 快速非抽樣小波融合與非抽樣小波融合圖像質量比較

從圖4和表2中可以看出，在直觀視覺效果和平均梯度、信息熵、空間頻域的客觀數值評估上，這兩幅融合圖像的融合效果差別很小。然而，在融合時間上，基于快速非抽樣小波變換的多聚焦圖像融合遠遠快于基于非抽樣小波變換的多聚焦圖像融合，尤其對于高分辨率的的巖屑圖像，快速非抽樣小波變換具有非常明顯的優勢，很大程度上提高了圖像融合處理的實時性。因此，在圖像融合處理時間要求比較高的情況下，快速非抽樣小波融合算法具有較強的實用性。

5 結論

本文分析研究了傳統非抽樣小波的正反變換算法，針對其對巖屑這樣的高分辨率圖像，處理實時性很差的缺點，結合頻、空域的處理方法，提出了基于快速非抽樣小波變換的多聚焦圖像融合。文中比較了該融合算法與六種非抽樣小波變換融合算法，并且對比了快速非抽樣小波變換與非抽樣小波變換的融合時間，實驗結果表明，基于快速非抽樣小波變換的多聚焦圖像融合算法獲得了比較好的圖像融合效果，并極大地提高了實時性，具有較好的應用前景。

[1]Zhang Qiang，Guo Bao-long.Multifocus image fusion using the nonsubsampled contourlet transform[J].Signal Processing，2009，89（7）：1334-1346.

[2]Yang Shu-yuan，Wang Min，Lu Yan-xiong，et al.Fusion of multiparametric SAR images based on SW-nonsubsampled contourlet and PCNN[J].Signal Processing，2009，89（12）：2596-2608.

[3]Balster E J，Zheng Y F，Ewing R L.Feature-based wavelet shrinkage algorithm for image denoising[J].IEEE Trans on Image Processing，2005，14（12）：2024-2039.

[4]矯媛，黃斌文.基于上下文模型的非抽樣小波圖像去噪[J].科技信息，2010（19）：52-54.

[5]Kie B.Fusion of multiple images with robust random field models[J].IEEE，2003：335-338.

[6]Nunezetal J，Otazu X，Fors O.Multiresolution-based image fusion with additive wavelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing，1999，37（3）：1204-1211.

[7]靳士利，趙志剛.基于非抽樣小波的多閾值去噪[J].青島大學學報，2009，22（4）：77-81.

[8]李光鑫，王珂，張立保.加權多分辨率圖像融合的快速算法[J].中國圖象圖形學報，2005，12（10）：1529-1536.

[9]李暉暉.多傳感器圖像融合算法研究[D].西安：西北工業大學，2006.