一種基于細節特征的MCA多聚焦圖像融合方法

陳 杰，陳榮鑫，謝書童

(集美大學計算機工程學院，福建廈門361021)

隨著傳感器技術的飛速發展以及應用的增加，系統中獲得信息呈現出多樣性，傳統的信息處理方法已經無法滿足這種情況，信息融合正是為了滿足這種需求而發展起來的一種新方法［1］。

圖像融合是信息融合范疇內主要以圖像為對象的研究領域，是將多個不同或相同類型的傳感器在同一時間或不同時間獲取的關于某個場景的多幅圖像信息加以綜合，從而產生新的有關此場景解釋的信息處理過程。通過對多幅傳感器圖像的融合可克服單一傳感器圖像在幾何、光譜和空間分辨率等方面存在的局限性和差異性，提高圖像的質量有利于對物理現象和事件進行定位、識別和解釋。圖像融合一般分為像素級、特征級和決策級融合［1-3］。

目前，圖像融合算法主要包括DCT變換［4-5］、離散小波變換(DWT)［6-9］、Curvelet變換［10-11］和 NSCT 變換［12-14］等方法。近年來，由于稀疏表達的發展，有相關學者也提出了基于稀疏表達的圖像融合方法［15-18］。形態分量分析(Morphological Component Analysis，MCA)是結合圖像的稀疏表示理論和變分方法進行圖像分解的一種新方法，目前已經在圖像去噪，修復等領域取得應用，然而，采用MCA進行圖像融合方面的文獻不多。文獻［19］對原始圖像進行MCA分解，對分解后的光滑部分和紋理部分的稀疏表達系數采用絕對值最大法進行多源圖像融合，實驗結果表明，采用該圖像融合算法在多個評價指標上都優于傳統的單分量融合算法。

本文提出了一種形態分量分析分解下的圖像融合方法，首先將待融合的源圖像進行形態分量分析的分解，通過對分解后的光滑部分和紋理部分的分析，對分解后的光滑部分和紋理部分分別采取不同融合規則，最后將融合后的光滑部分與紋理部分合并，最終得到融合后的圖像。實驗結果表明，該方法利用了形態分量分析的特點，在評價指標上優于傳統的圖像融合方法。

1 形態分量分析理論簡介

1．1 信號的稀疏表示

設 Φ=［φ1，φ2，…，φK］是一個含 K個 N 維列向量的字典，則Φ可表示為一個N×K的矩陣，當K?N時，稱字典Φ是過完備的。則含有N個像素點的圖像x可表示為

由Φ過完備，可知方程(1)有無窮多個解。因此，通過以下優化問題可以求得最稀疏解

其中l0范數 α0為α中所含非零系數的個數。由于式(2)求解復雜，且該優化問題是非凸的，因此，使用l1范數取代l0范數，使用容易求解的基追蹤模型［20］

1．2 形態分量分析的圖像分解

形態分量分析或稱形態成分分析是J.L.Starck等人提出的一種基于信號稀疏表示的分離方法［21-22］，通過結合圖像的稀疏表示理論和變分方法進行圖像分解。該方法假設源混和信號x可表示成若干個信號的疊加，即

其中的每一個源信號xi，都存在著能夠稀疏表示該源信號的字典，并為該字典僅能稀疏表示該源信號，對于其他源信號不能稀疏表示［20］。MCA方法認為圖像由Cartoon分量和Texture分量組成(本文按照文獻［20］的講法，將Cartoon分量稱為光滑部分，將Texture分量稱為紋理部分)

MCA的目的是通過尋找分類稀疏表示字典，達到對光滑部分和紋理部分的稀疏表示，從而達到形態分量分離的目的，光滑部分和紋理部分的基追蹤模型可表示為

上述模型只考慮無噪聲的情況。若圖像中含有噪聲，則上述追蹤模型可轉換為

在字典選擇上，光滑部分可選擇的變換有雙正交小波變換、非抽樣小波變換、局部脊波變換(Local Ridgelet Transform)、Curvlet變換和Contourlet變換。紋理部分可選擇的變換有局部離散余弦變換(Local DCT)和 Gabor變換。J.L.Starck等人通過考慮這些經典圖像變換，建議光滑部分選用Curvdct變換，而紋理部分則選用局部離散余弦變換。

目前，形態分量分析的應用有J.L.Starck［21］中將其用于圖像中點線的分離，同時將MCA應用于天文信號數據的重建上，該方法都取得了一定的效果。Elad 等［23］和 Fadili等［24］都將MCA應用在自然圖像的分解、去噪和圖像的修復上。Yong Jiang等［19］使用MCA將圖像進行分解，對分解后的光滑部分和紋理部分的稀疏表達系數采用絕對值最大法進行多源圖像融合。實驗結果表明，采用MCA的圖像融合算法在多個評價指標上都優于傳統的融合算法。Dubois S.等［25］將MCA應用于動態紋理的分解上，并取得良好的效果。Chong Yu［26］將MCA應用于衛星圖像的分類。

2 基于MCA的圖像融合算法

2．1 MCA圖像分解分析

在介紹MCA的圖像融合方法之前，本文先對MCA分解后的結果進行進一步的分析。

如圖1所示，光滑部分(即圖1c和圖1d)保留了原始圖像中的整體結構信息和部分邊緣信息，而紋理部分(即圖1e和圖1f)則體現出原圖像中紋理部分的信息。

圖1 多聚焦圖像MCA分解

此外，還可以看到，原來左聚焦的圖像盡管提取了部分紋理信息，但其光滑部分仍是左聚焦圖像，而右聚焦圖像也同樣。

2．2 基于MCA的圖像融合具體步驟

根據MCA的特點，本文提出的圖像融合算法基本步驟如下:

1)將待融合的源圖像A和源圖像B進行MCA分解，得到其光滑部分和紋理部分，分別記為CA，TA和CB，TB。

2)對分解后的光滑部分和紋理部分分別采用不同的融合規則進行處理，得到新的光滑部分和紋理部分。

3)將新的光滑部分和紋理部分合并，得到最終的融合結果。

具體過程如圖2所示。

圖2 基于MCA的圖像融合過程

2.2.1 光滑部分的融合規則

由于光滑部分保留了圖像整體的幾何結構和部分邊緣信息，因此在融合過程中需要選取較為清晰的部分。由于圖像中清晰的部分往往體現出較高的對比度，每個像素點與其相鄰的像素點的差值相對較大，即圖像清晰程度由區域內像素共同決定。因此在光滑部分的融合中需要充分體現其細節信息，細節信息越豐富的部分，圖像就越清晰。因此本文定義細節特征來作為光滑部分的融合規則。具體定義如下

其中，abs(·)表示絕對值運算;X=A，B，表示待融合的源圖像 A，B。

使用拉普拉斯算子和Sobel算子進行細節特征定義的原因在于，微分算子對于提取圖像邊緣信息具有較好的效果。二階微分算子產生的邊緣較細，在體現細節方面效果比一階微分算子要好。Sobel算子相對其他梯度算子不僅可以濾除一部分的噪聲，同時它還可以提供相對準確的邊緣方向估計。

細節特征越大，表明該像素點與其鄰域的對比越大，表明該點的清晰度越大，因此光滑部分的融合規則為

2.2.2 紋理部分的融合規則

由于紋理部分是由局部離散余弦變換得到的紋理信息，已去除了低頻信息(光滑部分)，相當于其他變換中的高頻信息。常用的高頻信息融合方法主要是加權平均和絕對值最大法。加權平均盡管能在一定程度上抑制噪聲，但是也在一定程度上平滑了圖像中如角、邊緣和線等某些細節特征。而從式(5)可知，MCA分解后的紋理部分直接體現了原圖在空域中的紋理細節。

由于理想的融合規則應該能夠從融合后的圖像中獲得源圖像的所有可視信息，絕對值反應了源圖像中的重要信息［14］，因此，本文選擇絕對值作為紋理部分的活躍程度的度量，采用絕對值最大法作為紋理部分的融合規則，即

3 實驗結果與分析

為了對上述算法進行驗證，本文采用了圖1a和圖1b的多聚焦圖像進行實驗分析，采用MATLAB R2008進行仿真實驗。實驗同時實現了基于三層小波變換的融合技術(DWT)、基于PCA的融合技術(PCA)、梯度金字塔的融合技術(GP)、拉普拉斯金字塔的融合技術(LP)和文獻［14］中基于MCA稀疏系數的融合算法(MCA-SC)，本文方法記為MCA-DF，實驗結果如圖3所示。

圖3顯示了6種圖像融合的方法，可以看到，本文的方法與DWT和MCA-SC在視覺效果上看差不多，但在左下角的圖像清晰度上稍優于傳統的PCA、梯度金字塔和拉普拉斯金字塔方法。

為了能進一步說明本算法的實驗結果，本文同時進行客觀評價指標的評價。本文選取了清晰度(平均梯度)、空間頻率、信息熵和互信息等客觀評價指標［1］

清晰度(平均梯度)定義為

其中，Gx(i，j)和 Gy(i，j)分別為像素點(i，j)在 x 方向和 y 方向的一階差分。

空間頻率定義為

其中，RF表示圖像的行頻率，定義為

圖3 融合算法的實驗結果

CF表示圖像的行頻率，定義為

信息熵定義為

式中:p(k)表示圖像的直方圖，k=1，2，…，L。

互信息定義為

其中

PAF(i，k)與 PBF(j，k)，i，k=1，2，…，L，分別表示源圖像A與融合后圖像F的聯合直方圖和源圖像B與融合后圖像F的聯合直方圖。

仿真實驗同時對圖4所示的圖像進行實驗結果分析，實驗結果及其數據如圖5和表1～表3所示。

圖4 多聚焦圖像

圖5 圖4的實驗結果

表1 圖1測試圖像的客觀評價指標

表2 圖5a～5 f的客觀評價指標

表3 圖5g～5l圖像的客觀評價指標

由表1、表2和表3的實驗結果可以看出，本文提出的圖像融合方法在清晰度、空間頻率和互信息3個指標上均比文獻［14］提出的方法要好，而在信息熵上，表3的結果稍強于文獻［14］所提出的方法，而表1和表2的結果稍弱于文獻［14］中的方法。

與小波、PCA、梯度金字塔和拉普拉斯金字塔方法對比可以看到，本文所提出的方法在清晰度和空間頻率上具有較大的優勢，在信息熵方面，在表1和表3中也表現出比上述方法更好的指標，說明該方法在從源圖像獲取信息、邊緣保護等方面要優于其他算法。

而在互信息指標中，本文提出的方法強于文獻［14］的方法和DWT方法，弱于PCA和拉普拉斯金字塔方法，與梯度金字塔對比，在表1和表3中強于梯度金字塔方法。

4 結論

本文提出了一種基于微分算子的細節特征的MCA圖像融合算法。該方法首先對多幅圖像進行MCA分解得到光滑部分和紋理部分，然后在光滑部分使用拉普拉斯算子和Sobel算子定義的細節特征作為融合規則，而在紋理部分中使用絕對值最大法的融合規則。最后將融合后的光滑部分和紋理部分疊加得到最終的融合圖像。實驗結果表明，該方法不僅在主觀評價中效果比傳統的融合效果好，而在客觀評價中大多數指標也優于傳統的融合方法。

［1］敬忠良.圖像融合——理論與應用［M］.北京:高等教育出版社，2007.

［2］覃征，鮑復民，李愛國，等.多傳感器圖像融合及其應用綜述［J］.微電子學與計算機，2004，21(2):1-5.

［3］朱煉，孫楓，夏芳莉，等.圖像融合研究綜述［J］.傳感器與微系統，2014，33(2):14-18.

［4］ TANG J S.A contrast based image fusion technique in the DCT domain ［J］.Digital Signal Processing，2004，14(3):218-226.

［5］楚恒，朱維樂.基于DCT變換的圖像融合方法研究［J］.光學精密工程，2006，14(2):266-272.

［6］陶觀群，李大鵬，陸光華.基于小波變換的不同融合規則的圖像融合研究［J］.紅外與激光工程，2003，32(2):173-176.

［7］ PAJARES G.，CRUZ J M.A wavelet-based image fusion tutorial［J］.Pattern Recognition，2004 37(9):1855-1872.

［8］溫黎茗，彭力.基于Sobel算子的小波包變換遙感圖像融合算法［J］. 計算機工程與應用，2013，49(3):207-209.

［9］孫永明，吳謹，劉勁，等.基于DWT的高頻系數壓縮感知圖像融合［J］.紅外技術，2014，36(9):714-718.

［10］ CHOI M，KIM R Y，NAM M R，et al.Fusion of multispectral and panchromatic satellite images using the Curvelet transform［J］.IEEE Trans.Geoscience and Remote Sensing Letters，2005，2(2):136-140.

［11］周愛平，梁久禎.基于二代Curvelet變換與MPCA的可見光與紅外圖像融合［J］.計算機應用，2010，30(11):3011-3014.

［12］ YANG Xiaohui，JIAO Licheng.Fusion algorithm for remote sensing images based on nonsubsampled contourlet transform［J］.2008，34(3):274-281.

［13］時丕麗，郭雷，李暉暉.基于NSCT的SAR與可見光圖像融合方法［J］.計算機應用研究，2013，30(5):1568-1570.

［14］石瀚洋，楊靜，趙焱.一種基于NSCT和PCNN的圖像融合算法［J］. 電視技術，2014，38(9):247-250

［15］劉婷，程建.小波變換和稀疏表示相結合的遙感圖像融合［J］.中國圖象圖形學報，2013，18(8):1045-1053.

［16］肖冬杰，李其申，周翠嶺.基于稀疏表示的自適應圖像融合方法研究［J］.計算機應用與軟件，2014，31(3):203-206.

［17］李奕，吳小俊.香農熵加權稀疏表示圖像融合方法研究［J］.自動化學報，2014，40(8):1819-1835.

［18］首照宇，胡蓉，歐陽寧.改進的基于稀疏表示的多聚焦圖像融合［J］.電視技術，2014，38(7):13-16.

［19］ JIANG Y，WANG M H.Image fusion with morphological component analysis［J］.Information Fusion，2014(18):107-118.

［20］李映，張艷寧，許星.基于信號稀疏表示的形態成分分析:進展和展望［J］.電子學報，2009，37(1):146-152.

［21］ STARCK J L，ELAD M，DONOHO D.Redundant multiscale transforms and their application for morphological component analysis［J］.Advances in Imaging and Electron Physics，2004，132(82):287-348.

［22］STARCK J L，ELAD M，DONOHO D.Image decomposition via the combination of sparse representation and a variational approach［J］.IEEE Trans.Image Processing，2005，14(10):1570-1582.

［23］ELAD M，STARCK J L，QUERRE P，et al.Donoho.simultaneous cartoon and texture image inpainting using morphological component analysis(MCA)［J］.Appl.Comput.Harmon.Anal，2005，(19):340-358.

［24］ FADILIM J，STARCK JL.An algorithm for sparse representationbased image inpainting［C］//Proc.IEEE International Conference on Image Processing.Genoa，Italia:IEEE Press，2005:61-63.

［25］ DUBOISS，PETERIR，MENARDM.Decomposition of dynamic textures using morphological component analysis［J］.IEEE Trans.Circuits and Systems for Video Technology，2012，22(2):188-201.

［26］ YU C，QUI Q F，ZHAO Y L，et al.Satellite image classification using morphological component analysis of texture and cartoon layers［J］.IEEE Geoscience and Remote Sensing Letters，2013，10(5):1109-1113.