基于Contourlet的圖像融合方法?

王　建，王必寧，侯維剛

（1．西安航空學院計算機學院，西安710077；2．西安熱工研究院有限公司，西安710032）

·微機軟件·

基于Contourlet的圖像融合方法?

王建1，王必寧2，侯維剛1

（1．西安航空學院計算機學院，西安710077；2．西安熱工研究院有限公司，西安710032）

針對兩幅嚴格配準的同一場景左聚焦和右聚焦圖像融合問題，設計了一種基于Contourlet變換的多聚焦圖像融合方法。應用Contourlet變換對源圖像進行多尺度、多方向分解，分別采用主成分分析法和區域結構相似度的融合規則得到融合圖像的低通子帶系數和帶通方向子帶系數，經過Contourlet逆變換得到融合圖像。實驗結果和定量分析結果表明，融合成為一幅清晰的單一聚焦圖像，且將熵提高2．64%～3．15%，相關系數提高0．11%～0．57%，平均梯度提高4．44%～51．4%。

多聚焦圖像；Contourlet變換；主成分分析；結構相似度；圖像融合；融合規則

1　引　言

圖像融合技術已經在計算機視覺、機器人、自動目標識別等方面進行了研究，其應用領域非常廣闊。多聚焦圖像的產生是由于光學成像系統聚焦范圍的限制，在相同焦距下無法獲得遠近不同或距離不同的多個目標都清晰的圖像，必須分別采取不同的焦距以獲得各自清晰的多幅圖像［1］。

圖像融合的主要方法是基于金字塔變換和基于小波變換的方法［2－3］。由于，金字塔分解結構中不同層次的分辨率細節彼此相關，融合方法的穩定性差；小波變換雖然提高了金字塔融合方法的穩定性，但其只具有3個方向的分解，只能反映點奇異性，不能較好地表達圖像中的線、面奇異性。因此，提出了多尺度幾何分析方法Contourlet變換，該變換具有各向異性和多方向性的特點，與小波變換相比具有更好的稀疏表達能力，能更好地描述圖像方向的奇異性特征［4－5］。

在以上方法的基礎之上進行了深入研究，給出了一種基于Contourlet變換的多聚焦圖像融合方法。首先對待融合圖像進行Contourlet變換，分解成低通子帶和帶通方向子帶；然后采用PCA的融合規則和區域結構相似度的融合規則來獲取相應的系數；再對其進行Contourlet的反變換以得到最終融合圖像；最后采用客觀評價對融合方法的性能進行定量分析和比較。實驗結果和定量分析比較的結果均說明該融合方法法具有較好的優越性。

2　Contourlet變換

M．N．Do和M．Vetterli于二十一以世紀初提出一種二維圖像稀疏表達方法即Contourlet變換，該方法主要解決了小波變換無法識別數字圖像中固有的線面奇異和方向性信息差的缺點，采用類似于輪廓段（Contour Segment）的光滑結構來逼近圖像，其支撐區間是“長條形”結構且具備隨尺度變化長寬比例［6－7］。Contourlet變換除了擁有小波變換的多尺度、時域和頻域局部特性之外，還具有良好的多分辨率、局部化、各向異性和多方向特性，能夠對光滑曲線采用比較少的系數來表達，以便更好地捕捉圖像的邊緣信息。

Contourlet變換利用雙重濾波器組結構實現一種多尺度、多方向的圖像表示方法。第一步，二維圖像采用拉普拉斯金字塔（Laplacian Pyramid，LP）變換進行分解，產生一個下采樣的原始圖像一半的低通子帶和一個與原始圖像分辨率相同的高通子帶。再次采用拉普拉斯金字塔變換對低通子帶圖像進行迭代分解，以便將原始圖像分解為一系列不同尺度上的高通和低通子帶圖像。第二步，高通子帶圖像采用方向濾波器組（Directional Filter Bank，DFB）進行多方向分解，對拉普拉斯金字塔分解所得到的每層高通子帶圖像都進行多方向分解，以便將分布在同方向的奇異點合成一個系數。方向濾波器組包括兩個模塊：第一個模塊是兩通道的Quincunx梅花扇形濾波器組，用扇形濾波器將2－D光譜分解成垂直和水平兩個主要方向。第二個模塊是Shearing平移操作，其作用是旋轉重采樣并且寬度變為原來的兩倍，以實現圖像信息在其余方向的分析，捕獲圖像的線和面的奇異性。最終目標是將高通子帶圖像信息的頻域劃分成2的n次方個楔形區域［7］。Contourlet變換原理結構框圖如圖1所示。

圖1　Contourlet變換原理結構框圖

Contourlet變換之后的系數分布由塔式方向濾波器組（Pyramidal Directional Filter Bank，PDFB）分解時所給定的參數numlevs決定。numlevs為一維向量，numlevs向量中的每一個值對應每一級塔式方向濾波器組分解級數的系數。在金字塔分解的過程中，如果方向濾波器組分解級數的系數為0，則必須嚴格采用二維小波分解來處理；如果分解級數的系數為K，則該層級上方向濾波器組分解的級數為2K個方向。Contourlet變換之后的系數coeffs與分解參數numlevs相對應，變換所得到的系數coeffs是一個多維向量組，向量組的長度Length是向量numlevs的長度加1。其中coeffs｛1｝是低通子帶圖像，coeffs｛i｝（i＝2，…，Length）代表金字塔第i層級上DFB分解所得到的方向子帶圖像。當numlevs為［0，3，4］時，待融合圖像大小為512×512，待融合圖像的3級Contourlet變換示意圖如圖2所示。由圖2可知，Contourlet分解的最上層是低通子帶系數，中間層和最下層都是帶通方向子帶系數，且中間層分解的級數為8個方向，最下層分解的級數為16個方向。

3　融合方法

在圖像融合之前，待融合的多聚焦圖像A和B已經過嚴格的空間配準。基于Contourlet變換的多聚焦圖像融合步驟如下：

（1）對源圖像A和B分別采用Contourlet變換進行J層（J＝3）分解，得到不同尺度和方向子帶系數。其中，和為低通子帶，和為帶通方向子帶，k＝1，2，．．．，2nj，j＝1，2，…J。J代表分解的最大層次，2nj代表每一層分解的方向數目。

（2）對源圖像A和B的低通子帶系數采用PCA融合規則，帶通方向子帶系數采用SSIM融合規則，以得到融合圖像F的Contourlet系數。

（3）對融合后的系數進行Contourlet逆變換，以產生最終的融合圖像F。

圖2　Contourlet變換示意圖

3．1低通子帶系數融合規則

Karhunen和Loeve首次提出主成分分析（principal component analysis，PCA），又名K－L變換。其數學過程是將許多個相關的變量經過一系列數學計算轉換為少數幾個不相關變量，這些不相關的變量稱為主元成分［1，8］。主成分分析的目標是降低維數，將原來的R維空間投影到M維空間（R＞M），并且在降低維數之后保存了原始數據中的主要信息。圖像的近似和平均特性主要由圖像的低通子帶描述，低通子帶不但包含圖像的主要能量，而且決定圖像的輪廓。由于主成分分析能夠很好地結合待融合源圖像A和B相應的低通子帶中的最主要信息，因此，采用二維主成分分析法進行低通子帶系數融合。低通子帶系數融合算法流程如下：

和一杭分手后，雪螢發現被人跟蹤。她看了看那個戴墨鏡的男子，不動聲色地跨上一輛公交車。當她選擇一個相對寬松的位置站好時，那個男子也上了車。他朝雪螢瞥了一眼，又把目光移開，鉆到密集的人群中，消失了作為個體的特征，成為無數灰色背影中的一個。

（1）將待融合圖像的低通子帶系數矩陣以列為主序轉化為一維向量X1和X2，構造數據矩陣X＝（X1X2）。

（2）計算數據矩陣X的協方差矩陣C。

xi為第i個向量的平均值。

（3）計算協方差矩陣C的特征值λi和相應的特征向量ξi，其中i＝1，．．．，m。

（4）確定加權系數ωi：

（5）計算融合圖像F的低通子帶系數。

3．2帶通方向子帶系數融合規則

帶通方向子帶描述了圖像的亮度突變特性，圖像的細節和邊緣信息將受其融合效果的影響。由于帶通方向子帶系數與其周圍8個相鄰系數之間存在很大的相關性，是由區域內的多個系數共同表征和體現的。因此，提出基于區域結構相似度的帶通方向子帶系數融合規則，避免了單一特征量對融合結果的影響，帶通方向子帶系數融合算法包含以下三個步驟。

第一步：定義圖像A和圖像B的結構相似度（structural similarity，SSIM）［9－10］為：

其中，L（A，B）表示圖像A和B的亮度比較，C（A，B）表示圖像A和B的對比度比較，S（A，B）表示圖像A和B的結構比較。μA和μB是圖像A和B的均值，和是圖像A和B的方差，σA和σB是圖像A和B的標準差，σAB是圖像A和B的協方差，C1，C2和C3為非常小的正常數。

第二步：定義基于區域的結構相似度，在上一步的基礎之上需要定義基于區域的均值、方差、標準差和協方差，實現以各個像素為中心的區域多尺度結構相似度，其定義為：

4　實驗結果及分析

其中，num為將圖像劃分成區域的總數；w標識區域窗口函數，區域為N×N的窗口，其值之和為1；A為區域所對應圖像的像素值。

第三步：定義區域結構相似度臨界值為α，則融合圖像F的帶通方向子帶系數為：

若SSIM＜α，則采用區域方差比較大的系數為融合之后的帶通方向子帶在此區域中心位置上的系數；

若SSIM≥α，則采用如下加權方法確定融合之后的帶通方向子帶在此區域中心位置上的系數。

圖像融合方法以Windows 7操作系統為平臺，以Matlab為設計語言，針對左聚焦圖像和右聚焦圖像進行融合實驗，實驗結果如圖3所示。在融合實驗之前，對源圖像已進行了嚴格的空間配準，圖像大小是512×512，灰度總級數為256。圖3（a）是左聚焦圖像，圖3（b）是右聚焦圖像，采用不同的融合方法得到的實驗結果見圖3（c）－圖3（f）。通過觀察融合實驗后的結果可知，圖3（f）比圖3（c）－圖3（e）表達的圖像更加清楚，圖像信息更加豐富，完全能夠將左聚焦圖像和右聚焦圖像融合成一幅左右兩邊均清晰的單一聚焦圖像。

圖3　多聚焦圖像的融合

為了表明融合方法的有效性和正確性，將此方法與其他三種圖像融合方法進行定量比較，并采用信息熵、相關系數和平均梯度三個客觀評價標準作為定量比較的依據［11－13］。與其他融合方法相比較，該融合方法能夠將熵提高2．64%～3．15%，相關系數提高0．11%～0．57%，平均梯度提高4．44%～51．4%。比較結果見表1，表1的定量比較結果和圖3的結論是一致的，說明融合方法是有效的，融合結果是正確的。

5　結束語

設計了一種基于Contourlet的多聚焦圖像融合方法。首先分別對左聚焦和右聚焦圖像采用Contourlet變換進行分解，得到低通子帶系數和帶通方向子帶系數，然后分別對各個子帶選用PCA的融合規則或SSIM的融合規則，最后進行Contourlet逆變換得到一幅融合圖像。實驗結果表明，融合方法能夠將多個目標的左聚焦和右聚焦圖像進行融合從而生成同一目標的單一聚焦融合圖像。依據客觀評價標準的定量分析，融合方法在熵、相關系數和平均梯度等方面均有較為明顯的改善，無論視覺效果還是客觀評價均具有較好的優越性。

表1　融合方法的性能比較

［1］王玲，李紅松，周浩，等．基于非向下采樣Contourlet變換的多聚焦圖像融合［J］．計算機應用與軟件，2011，28（4）：196－198．Wang Ling，Li Hongsong，Zhou Hao，et al．MULTIFOCUS IMAGE FUSION BASED ON NON－SUBSAMPLEDCONTOURLETTRANSFORM［J］．Computer Applications and Software，2011，28（4）：196－198．

［2］馬先喜，彭力，徐紅．基于PCA的拉普拉斯金字塔變換融合算法研究［J］．計算機工程與應用，2012，48（8）：211－213．MA Xianxi，PENG Li，XU Hong．PCA－based Laplacian pyramid in image fusion［J］．Computer Engineering and Applications，2012，48（8）：211－213．

［3］郭雷，程塨，趙天云．基于小波變換和鄰域特征的多聚焦圖像融合算法［J］．西北工業大學學報，2011，29（3）：454－458．

Guo Li，Cheng Gng，Zhao Tanyuni．A New and Effective Multi－Focus Image Fusion Algorithm Based on Wavelet Transforms and Neighborhood Features［J］．Journal of Northwestern Polytechnical University，2011，29（3）：454－458．

［4］朱康，賀新光．基于形態學和Contourlet系數區域特征的遙感圖像融合方法［J］．計算機科學，2013，40（4）：301－305．GHU Kung，HF Xin－guang．Remote Sensing Images Fusion MethodBasedonMorphologyandRegional Feature of Contourlet Coefficients［J］．Computer Science，2013，40（4）：301－305．

［5］張瑩，李言俊，張科，等．基于NSCT的紅外與可見光圖像融合［J］．計算機工程與應用，2011，47（3）：196－198．ZHANG Ying，LI Yanjun，ZHANG Ke，et al．Fusion of infrared and visible images based on nonsubsampled Contourlet transform［J］．Computer Engineering and Applications，2011，47（3）：196－198．

［6］Do M N，Vetter li M．The Contourlet Transform：An Efficient Directional Multiresolution Image Representation［J］．IEEE Transaction on Image Processing，2005，14（12）：2091－2106．

［7］Starck J L，Candes E，Donoho D L．The Curvelet Transform for Image Denoising［J］．IEEE Transaction on Image Processing，2002，11（6）：670－684．

［8］EMMANUELJ．CANDES，XIAODONGLI．Robust Principal Component Analysis［J］．Journal of the ACM，2011，58（3）：11．1－11．37．

［9］Sourav Pramanik，Swagatika Prusty，Debotosh Bhattacharjee，et al．A Region－to－Pixel Based Multi－sensor Image Fusion［J］．International Conference on Computational Intelligence：Modeling，Techniques and Applications，2013，10：654－662．

［10］Ashirbani Saha，Gaurav Bhatnagar，Q．M．，et al．Mutual spectral residual approach for multifocus image fusion［J］．Digital Signal Processing，2013，23：1121－1135．

［11］王建，劉肖，王國琿．基于梯度變換的多傳感器圖像融合算法［J］．重慶理工大學學報（自然科學），2012，26（10）：62－65．WANG Jian，Liu Xiao，WANG Guo－hui．Multi－Sensor Image Fusion Algorithm Based on Gradient Transform［J］．Journal of Chongqing University of Technology（Natural Science），2012，26（10）：62－65．

［12］王建，劉肖，王國琿．基于區域能量的多聚焦圖像融合算法［J］．陜西理工學院學報（自然科學版），2012，28（5）：39－43．WANG Jian，LIU Xiao，WANG Guo－hui．Multi－focus image fusion algorithm based on regional energy［J］．Journal of Shaanxi University of Technology（Natural Science Edition），2012，28（5）：39－43．

［13］王建，王必寧，楊根善，等．基于形態學金字塔的醫學圖像融合技術［J］．兵工自動化，2014，33（1）：82－84．Wang Jian，Wang Bining，Yang Genshan，et al．Fusion Technology of Medical Image Based on Morphological Pyramid［J］．Ordnance Industry Automation，2014，33（1）：82－84．

Approach of Image Fusion Based on Contourlet Transform

Wang Jian1，Wang Bining2，Hou Weigang1
（1．School of Computer Science，Xi'an Aeronautical University，Xi'an 710077，China；2．Xi'an Thermal Power Research Institute Co．，Ltd．，Xi'an 710032，China）

Focusing on the problem of the fusion of the left－focus image and right－focus image from the same scene，a novel multi－focus image fusion approach based on contourlet transform is designed．Firstly，the contourlet transform is used to perform the multiscale and multidirection decomposition of the source images．Secondly，low frequency subband coefficients and bandpass directional subband coefficients of the fused image can be obtained by the fusion rules based on principal component analysis（PCA）and region structural similarity．Finally，the fused image is reconstructed by performing the inverse contourlet transform on the combined coefficients．The results of experiment and quantitative analysis demonstrate that the proposed algorithm can fuse into a clear single focus image，and the proposed algorithm is superior with entropy improvement from 2．64%to 3．15%，correlation coefficient enhancement from 0．11%to 0．57%and average gradient improvement from 4．44%to 51．4%．

Multi－focus images；Contourlet transform；Principal Component Analysis（PCA）；Structural similarity；Image fusion；Fusion rules

10．3969／j．issn．1002－2279．2016．05．011

TP39

A

1002－2279（2016）05－0043－05

?陜西省光電測試與儀器技術重點實驗室開放基金資助（ZSKJ201408）

王建（1976－），男，陜西省渭南市人，碩士研究生，講師，主研方向：圖像融合、計算機視覺等方面的研究。

2016－03－21