基于可協調經驗小波變換的多聚焦圖像融合

宮 睿，王小春

北京林業大學 理學院，北京100083

1 引言

由于光學透鏡的局限性，大部分相機的景深是有限的，使得只有在景深范圍之內的物體是聚焦的，可以清晰成像，而景深范圍之外的場景是散焦的，其成像會存在或多或少的視覺模糊。由此可知，通過拍攝直接得到一幅全聚焦圖像是十分困難的。然而，為了準確分析和理解，人們往往希望獲得場景中所有目標對象都清晰的圖像，多聚焦圖像融合是實現此目標的有效方法之一。多聚焦圖像融合就是從多個部分聚焦圖像中提取聚焦區域，并按一定的融合算法生成所有對象都聚焦的合成圖像的過程。多聚焦圖像融合是圖像融合的一個重要分支[1-2]。

小波變換[3]因其良好的時頻局部性和多分辨性，已成為非平穩信號分析的常用工具，被廣泛應用于包括圖像融合[4-5]在內的圖像處理之中。基于小波變換的多聚焦圖像融合算法主要由三步組成：首先，在選定小波基和確定分解層數N 的前提下，對待融合的兩幅圖像分別進行小波變換；然后，采用合適的融合規則對高低頻小波系數分別進行融合，得到融合小波系數；最后，基于融合小波系數，用小波逆變換進行重構，得到最終融合圖像。但是傳統的小波變換依賴于規定的尺度細分方案和固定的小波函數和尺度函數，不是完全自適應的信號分析工具。在小波對圖像的分解過程中，濾波器組是事先選定的，與圖像的特性無關。顯然，固定不變的濾波器組不可能對任何圖像都達到最優表示。

Huang 等人[6]1998 年提出的經驗模態分解（EMD）算法是一種自適應的信號分析方法，其核心思想是在一定的迭代和篩選過程中，檢測出代表信號的主要“模式”。由于EMD能適應性地分離出信號的高低頻分量，近十多年來受到了學者們的廣泛關注，成為非線性和非平穩信號分析的有效工具。然而，EMD 算法仍然存在一些明顯的缺陷，其一，分解結果中容易出現虛假模態和產生混頻現象；其二，EMD 是一種算法式的方法，缺乏嚴格的數學理論基礎，且難以用數學模型進行描述，導致人們很難真正理解EMD分解提供的內容。

為了改進EMD方法，Gilles結合小波分析的理論框架和時頻平面重新劃分的思想，于2013 年提出了一種稱為經驗小波變換（Empirical Wavelet Transform，EWT）的自適應信號分析工具[7]。該方法首先根據信號的傅里葉譜的支撐，對傅里葉譜進行自適應劃分；然后根據Meyer小波的構造方式，在頻域定義經驗尺度函數和經驗小波函數；最后利用相應的濾波器對信號進行濾波，實現不同調幅-調頻成分AM-FM的提取。EWT與傳統小波變換有著本質的不同，傳統小波變換的分解頻段是固定的，引入的尺度因子與信號的頻率沒有直接聯系。而EWT 對時頻平面的劃分是自適應的，其中的尺度因子是根據研究信號的信息經驗檢測而得到的。利用EWT 可以實現信號在任意頻段的分析。至今，EWT 已被用于機械故障診斷[8]、信號去噪[9]等方面。EWT 作為一種新型的信號處理方法，其作用和意義仍在不斷探索之中。

針對多聚焦圖像融合問題，本文首次將經驗小波變換引入其中，為了保證多幅源圖像具有相同的分解層數，以及對應子帶具有相匹配的特性，以滿足圖像融合對圖像多尺度分解的要求，本文在EWT的基礎上，提出了一種自適應可協調經驗小波變換，并根據多聚焦圖像在該變換下的低高頻子帶特性構造合適的融合規則，實現多聚焦圖像融合。

2 經驗小波變換

EWT 是一種具有嚴格理論支撐，且包含經驗信息的自適應小波分析工具。它不依賴于預先指定的基函數，而是根據信號本身的特性自適應地生成一組在頻域內具有緊支撐的正交小波基函數。

經驗小波變換的主要思想是：首先根據信號的傅里葉譜的特性，進行頻譜分割；然后在被分割的頻譜上生成帶通濾波器，形成濾波器組。最后使用濾波器組對信號進行濾波，得到表征信號內在模式的各成分分量。一維經驗小波變換的算法[7]（簡稱為算法A）步驟具體如下：

（1）獲取信號的時域離散表示f(n)，其中，n 為自變量，其取值為正整數；設置譜帶數量N ，即模態分量個數。

（2）將頻率范圍歸一化至區間[0,π]，對信號f(n)進行快速傅里葉變換（FFT），得到信號頻譜F(ω)，其中ω為頻率，取值區間為[0,π]。

（3）尋找信號頻譜F(ω)的N 個局部極大值點，確定N 個區分模態分量的顯著值，并將其從大到小排列。

（4）計算相鄰兩個局部極大值點之間的中間頻率點ωm(m=1,2,…,N-1)，并將其作為頻譜分界點。

（5）用N+1 個邊界點ωm（其中ω0=0,ωN=π）將[0,π]劃分成N 個區間Λn=[ωn-1,ωn]，根據Meyer 小波的構造方式，定義經驗尺度函數和經驗小波函數，得到濾波器組

（6）對信號f(n)使用濾波器組中的濾波器進行濾波，得到信號的N+1 個時域表示。

步驟（5）中的經驗尺度函數和經驗小波函數分別由以下公式（1）和（2）構造，其中參數γ 的取值范圍和函數β(x)分別由公式（3）和（4）給出：

一維經驗小波變換可以依據張量積的方式擴展應用到二維圖像信號上，具體步驟如下：

（2）對圖像f 的每一列進行FFT，得到頻譜f(ω,j )，其中，Ncol為圖像的列數，j 為列標。并求得所有列的傅里葉頻譜均值

（5）使用行濾波器組中的濾波器對圖像按行進行濾波，得到NR+1 個中間結果。

（6）使用列濾波器組中的濾波器對NR+1 個中間結果分別按列進行濾波，得到最終( NR+1) ×( NC+1)個子帶圖像。

3 基于C-EWT的圖像融合算法

3.1 可協調經驗小波變換

EWT 所用濾波組是根據信號自適應生成的，一般來說，不同圖像的EWT 分解結果具有不同的子帶圖像個數。即使子帶圖像個數相同，其頻譜區間的劃分也未必完全一致。然而，圖像融合需要對匹配的子帶圖像逐一進行處理，若直接利用EWT進行分解，會因不同頻率模式的混合導致融合結果中出現頻譜混疊或頻帶缺失的現象。

為了解決上述問題，本文提出了一種適合于圖像融合算法的可協調經驗小波變換（Coordinative EWT，CEWT）。C-EWT 同時利用兩個及以上源圖像生成濾波器，以保證待融合圖像具有相同的譜帶數量和頻譜劃分區間。下面以兩幅待融合圖像為例給出C-EWT算法的具體步驟如下：

（1）對兩幅圖像的每一行i 進行快速傅里葉變換，得到頻譜，計算兩幅圖像所有行傅里葉頻譜的均值，其中Nrow為單幅圖像的行數。

（2）對Frow執行一維經驗小波生成算法，即算法A 中的步驟（3）～（5），得到一個行濾波器組,，其中NR是行濾波器組中經驗小波函數的個數。

（3）對兩幅圖像的各列執行上面（1）、（2）步驟中類似的操作，得到所有列傅里葉頻譜的均值，并由此得到一個列濾波器組，其中Ncol為單幅圖像的列數，NC是列濾波器組中經驗小波函數的個數。

圖1 不同聚焦的“Clock”圖像及其C-EWT分解結果

為了驗證C-EWT 分解的有效性，對將要參加融合實驗的兩幅多聚焦圖像（如圖1（a）、（b）所示）進行了CEWT 分解。圖1（c）和（d）分別表示圖1（a）和（b）的CEWT分解結果，其中，各圖像的行、列譜帶數均設置為3。為了方便查看，圖1（c）和（d）中的每一子圖的尺寸均被縮小，其真實尺寸與源圖像1（a）、（b）一致。比較圖1（c）和（d）可以發現，最下面一行右邊的兩個對應子圖差別較大，很明顯，聚焦部分的細節更加豐富，說明C-EWT能很好地識別圖像的聚焦部分。其他對應子圖像差別很小，體現了兩幅源圖像整體輪廓信息的相似性。實驗結果表明C-EWT能很好地描述多聚焦圖像的特性。

3.2 本文融合算法

基于C-EWT 分解方法，本文提出了一種新的圖像融合算法——基于C-EWT 的多聚焦圖像融合算法，該算法的框架如圖2 所示。算法涉及的待融合圖像均已完全配準。具體步驟如下：

步驟1 對兩幅源圖像A,B 分別進行C-EWT分解，得到低頻子帶圖像AL,BL,和多個高頻子帶圖像AHi,BHi，即：

其中，n 為高頻子帶個數。

步驟2 使用高頻融合規則分別對第i(i=1,2,…,n)個高頻子帶AHi和BHi進行融合，使用低頻融合規則對低頻子帶AL和BL進行融合。

步驟3 對步驟2 得到的各分量的融合結果進行CEWT逆變換，即可得到最終的融合圖像。

圖2 基于C-EWT的圖像融合框架

3.3 融合規則

在圖像融合算法中，融合規則的選取也是另一個至關重要的步驟。一般情況下，圖像多尺度分解下的高頻分量和低頻分量具有不同的圖像特征。根據C-EWT分解的特點，本文對C-EWT 分解下的低頻分量和高頻分量分別設計融合規則。

3.3.1 低頻分量融合規則

C-EWT 的低頻分量，反映了源圖像的概貌特征及總體灰度值分布情況。為了能夠較好地保存源圖像的概貌特征和總體灰度信息，本文對低頻分量AL,BL采用基于改進Laplacian 能量和（SML）[10]的閾值匹配選擇與加權的融合規則。

圖像f 中任意一點(x,y)處的改進Laplacian 能量和定義為：

其中，M×N 代表局部鄰域窗口的大小，M 和N 一般為奇數（本文取M=N=3）；MLf(x,y)代表圖像f 在點(x,y)處的改進Laplacian能量，定義為：

低頻分量的融合規則計算如下：

（1）根據式（5），分別計算AL和BL在中心像素(x,y)處的SML：

（2）由式（7）、（8）定義AL和BL在中心像素(x,y)處的SML匹配度(x,y)，計算如下：

其中：

（3）確定融合圖像F 的低頻分量FL。定義一個匹配度閾值T1（一般取值范圍為0.5～1，本文取0.7），如果＜T1，則選用SML 最大的系數作為融合系數，即：

否則，執行加權規則：

3.3.2 高頻分量融合規則

C-EWT 的高頻分量包含了源圖像的細節信息，如邊緣、紋理、線條等，因此合理選擇高頻融合規則對保持源圖像的細節特征極其重要。目前多數高頻分量融合都采用絕對值取大的融合規則，此方法的不足之處在于沒有考慮像素之間的相關性，容易導致細節信息損失和圖像扭曲。為了改進融合效果，本文采用局部Log-Gabor能量取大的融合規則對高頻分量進行融合，這種方法符合人眼視覺對像素局部區域內的整體突變特征較為敏感的特性[11]。

Gabor濾波器[12]是借鑒生理學研究中方向可選神經元的計算機制提出的一種有效的紋理特征提取算子。它以Gabor 函數作為小波基，既具有尺度不變性，又能有效地提取圖像特征。Log-Gabor 濾波器[13]是在Gabor濾波器的基礎上提出的，該濾波器的尺度可以隨意變化，彌補了Gabor 濾波器對高頻分量表達不足的缺陷，同時能夠大幅減少信息冗余。

圖像f 中任一點(x,y)處的局部Log-Gabor 能量[14]定義為：

其中，M×N 代表局部鄰域窗口的大小，M 和N 一般為奇數（本文取M=N=3）；Tf(x,y)表示圖像f 在(x,y)處的Log-Gabor能量值。

由于Log-Gabor 能量能夠反映圖像的局部紋理特征，而多聚焦圖像的高頻分量在聚焦區域擁有比散焦區域更多的細節信息，因此，對高頻分量采用表示紋理特征的Log-Gabor 能量取大融合規則能有效地提取圖像的聚焦區域。

高頻分量AHi和BHi(i=1,2,…,n)的融合規則按照以下步驟實現：

（1）根據式（12），分別計算AHi和BHi在像素(x,y)處的Log-Gabor能量：

（2）確定融合圖像F 的高頻分量FHi。采用Log-Gabor能量最大的系數作為融合系數，即：

4 融合結果及分析

4.1 實驗設置

為了驗證本文算法的有效性，設計了大量的比較實驗，將其與基于小波變換的方法（DWT）、基于Contourlet變換的方法（CT）、文獻[15]中的基于人眼感知特性的NSCT域方法（簡記為文獻[15]）、文獻[16]中的基于自相似性和深度信息的空域方法（簡記為文獻[16]）、文獻[17]中的基于PCNN的NSCT域方法（簡記為文獻[17]）以及文獻[18]中的基于多尺度變換和稀疏表示的方法（簡記為文獻[18]）等進行比較。其中，DWT 的基函數為Haar小波，分解層數為3層；CT的分解層數及各層方向數為[1，4，8，16]，LP 和DFB 均采用pkva 濾波器；DWT 算法和CT 算法中采用經典的低頻加權平均、高頻取大的融合規則；其余四種對比算法的參數設置與融合規則均與原文獻一致。

選用4組已配準的多聚焦圖像進行仿真對比實驗，如圖3 所示。其中，前三組為常用標準測試圖像，最后一組（wheel）為通過人工在不同區域內進行Gaussian局部區域模糊得到的圖像。圖3（a）中右側大鐘表為聚焦區域，左側小鐘表處于離焦狀態，而圖3（b）正好相反，聚焦區域為左側小鐘表。圖3（c）中，遠處部分為聚焦區域，包括人、電腦等，而圖3（d）的聚焦區域則為近處的鐘表，其余部分都較模糊。圖3（e）～（h）中各自的聚焦區域已在圖中說明。

圖3 四組待融合多聚焦圖像

實驗所用計算機為：64位Win7操作系統，內存8 GB，Intel?CoreTMi5-4590 CPU @3.30 GHz。所用編程環境為Matlab R2016a。

4.2 實驗結果分析

圖4 不同方法對多聚焦“clock”（圖3（a）（b））的融合結果（Group1）

圖5 不同方法對多聚焦“lab”（圖3（c）（d））的融合結果（Group2）

圖6 不同方法對多聚焦“pepsi”（圖3（e）（f））的融合結果（Group3）

圖7 不同方法對多聚焦“wheel”（圖3（g）（h））的融合結果（Group4）

圖4～7分別給出了圖3中四組多聚焦圖像的融合結果。為了方便，記圖4、圖5、圖6、圖7所示融合結果分別為Group1、Group2、Group3、Group4。可以看出，七種方法均能有效利用待融合圖像之間的互補信息，融合圖像一定程度上包含了各聚焦區域的細節信息。但各方法的融合結果具有一定的視覺差異。相比于其他六種方法，本文算法有更好的視覺效果。對比圖4（a）～（h）可以看出，基于DWT、CT及文獻[18]的方法所得融合結果中有虛影模糊現象（如左側鐘表的邊緣處）；文獻[15]方法的結果在左上角有條紋狀噪聲；而本文算法所得融合結果既無條紋狀噪聲也無虛影模糊現象。對比圖5（a）～（h）同樣可以看出，基于DWT、CT及文獻[15]的方法所得融合結果中也存在虛影現象（如人物頭部周圍），文獻[17]方法的結果中人物頭部存在白色噪聲，文獻[18]方法的結果中人物周圍存在光暈現象。對比圖6（a）～（h）可以看出，基于DWT、CT及文獻[15]的方法所得融合結果在左側大寫字母P 的邊緣較為模糊，且存在虛影。對比圖7（a）～（h）可以看出，基于DWT、CT的方法所得融合結果在白色背景區域存在模糊噪聲點現象，文獻[18]結果的中上部分靠近車把附近有白色亮斑出現。而本文算法所得融合結果并未出現上述虛影和噪聲現象，并有效地保留了源圖像中的聚焦部分和細節信息，整體視覺效果最佳。

為了進一步說明本文算法的有效性，選取六種常用的客觀圖像質量評價指標對各算法的融合結果進行定量分析，它們分別是信息熵（Information Entropy，IE）、空間頻率（Spatial Frequency，SF）、標準差（Standard Deviation，SD）、平均梯度（Average Gradient，AG）、互信息[19]（Mutual Information，MI）和邊緣保持度[20]（edge preserving degree，QAB/F）。

信息熵IE反映了圖像包含信息的多少，其定義為：

其中，L 為灰度級數，pi表示灰度為i 的像素數占圖像總像素數的比值。

標準差SD體現了圖像灰度相對于整體平均灰度的離散分布情況，其定義為：

其中，F(i,j)為融合圖像，大小為M×N ，μ 為圖像像素的均值。

平均梯度AG刻畫了圖像邊緣細節的保持程度，定義為：

其中，ΔFx,ΔFy分別表示圖像在x,y 方向上的差分。

空間頻率SF是一個只對像素灰度值階躍敏感的圖像評價指標，其大小反映了圖像灰度的變化快慢，其定義為：

其中，RF,CF 分別表示圖像的行頻率和列頻率，計算如下：

互信息MI的大小衡量了融合圖像與兩幅源圖像的相關程度，其定義為：

其中，pX(x)表示圖像X 的概率密度函數，pXF(x,f)表示源圖像X 與融合圖像F 的聯合密度函數。

邊緣保持度QAB/F用于衡量由源圖像轉移至融合圖像中的邊緣細節信息的多少，定義為：

其中，ωX(i,j)表示圖像X 的邊緣強度，(i,j)和(i,j)分別表示融合圖像F 相對于源圖像X 的邊緣強度和方向保留度。上述指標對各算法的評價結果如表1～4所示。

從表1～4 可以看出，在四組實驗結果中，本文算法的六個客觀指標值均處于中間位置。同時，沒有一種算法在所有指標上均取得最大值，甚至連標準圖像也只在極少幾個指標上取得最優。另外，除了標準圖像的空間頻率在四組實驗中都取得最大以外，其他各指標在四個實驗中的最大值都不是由同一個算法取得。以上分析表明單一的客觀評價指標很難直接區分融合算法的優劣。通過進一步分析，發現評價指標的優劣并不能完全反映融合圖像視覺效果的好壞。例如，在Group1中，文獻[15]方法雖然在信息熵和平均梯度上取得了最大值，但其融合結果（如圖4（d）所示）在左上角有條紋狀噪聲；文獻[18]方法的標準差雖然取得了最大值，但其融合結果（如圖4（g）所示）在左側鐘表的邊緣處有明顯的虛影模糊現象。在Group2中，CT方法雖然在平均梯度上取得了最大值，但其融合結果（如圖5（c）所示）在人物頭部周圍存在光暈現象；文獻[18]方法的信息熵雖然取得最大值，但其融合結果在人物頭部周圍存在明顯虛影（如圖5（g）所示）。同樣的結果也出現在Group3、Group4中。

表1 Group1客觀評價指標

表2 Group2客觀評價指標

表3 Group3客觀評價指標

表4 Group4客觀評價指標

由上面的分析可知，這些評價指標雖然常被用來對融合結果的質量進行定量分析，但是其數值的大小并不能十分準確地反映融合結果的優劣。其原因在于，第一，圖像融合領域目前并沒有公認的客觀評價指標，想要定義一個符合人眼視覺特征的無參客觀評價指標依舊是一件很困難的事情[21]；第二，客觀評價指標在很多情況下會與主觀評價相違背，無參評價指標所評估的結果有時會與人眼視覺感知不符[22]，比如：一些視覺感知上有明顯模糊、虛影、顏色失真的圖像，其客觀評價指標反而較高[19-20]。

為了充分利用以上6種客觀評價指標，減少單一評價指標的誤判，本文以標準圖像為參照定義了一種新的融合圖像評價指標，稱為融合效果偏差（Fusion Effect Deviation，FED）。相對于本文所選6 種評價指標，第i種算法的融合效果偏差，記為FEDi，定義如下：

其中，i=1,2,…,7 分別表示對比實驗中的7 種融合算法，表2中第一列從”DWT”到”本文算法”依次為第1種至第7種算法。 j=1,2,…,6 分別代表6種客觀評價指標，表2 中第二行從”信息熵”到”邊緣保持度”依次為第1個至第6個評價指標；FEDi,j表示第i 種算法相對于第j 種指標的融合效果偏差；st 代表標準融合圖像；ei,j表示第i 種算法所得融合結果的第j 個評價指標值，est,j表示標準圖像的第j 個評價指標值。顯然，FED 值越小，其融合圖像與標準圖像越接近，融合效果越好。

為了更直觀地區分算法優劣，對于兩組圖像基于多種算法融合結果的客觀評價指標分別計算FEDi,j，并以堆積條形圖的方式展示，如圖8所示。

由圖8可以看出，本文算法具有最小的融合效果偏差FED。這說明本文算法在融合聚焦區域、保留邊緣和細節信息、保持與源圖像相關程度的同時，能夠更準確地完成融合任務，是一種有效的多聚焦圖像融合算法。

圖8 融合效果偏差的堆積條形圖

表5 列出了不同融合算法的平均耗時。對比發現本文所提算法的效率處于中等，比文獻[15]、文獻[16]和文獻[17]算法的時間開銷小，但比DWT、CT以及文獻[18]算法的運行時間長，其原因可能是融合規則太復雜。然而，雖然本文算法比DWT、CT以及文獻[18]算法的復雜度高，但有更好的融合效果和客觀評價指標。

5 結語

本文針對多聚焦圖像融合問題，提出了一種自適應可協調經驗小波變換，使其適用于圖像間相匹配的多層次分解表示。并將其作用于多聚焦圖像，通過對C-EWT分解所得的高頻分量和低頻分量分別設計合適的融合規則，得到了一種新的多聚焦圖像融合算法。實驗結果表明，本文所提算法無論是主觀視覺效果還是客觀指標評判，都取得了好的結果，是一種簡單有效的融合方法。本文還利用多種客觀評價指標構造了一種新的評價指標——融合效果偏差FED，該指標能較好地對圖像融合效果進行評價，本文方法在四組實驗中均取得了最優的FED 值。將EWT 方法應用于多聚焦圖像融合中，不僅增加了圖像融合的手段，而且也擴展了EWT 的應用領域，對EWT 自身的發展也將具有一定的促進作用。如何對信號的Fourier譜自適應地進行分割是EWT的關鍵之一，下一步工作將根據信號的特點探索更優的Fourier譜自適應分割方法，得到改進的EWT分解，同時考慮將本文算法拓展至彩色圖像融合領域。

表5 不同融合算法的耗時比較