基于非下采樣Contourlet 變換和稀疏表示的紅外與可見(jiàn)光圖像融合方法

王珺，彭進(jìn)業(yè)，何貴青，馮曉毅，閻昆

(1.西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安710072;2.中國(guó)空間電子信息技術(shù)研究院，陜西 西安710000)

0 引言

紅外圖像是根據(jù)目標(biāo)場(chǎng)景散發(fā)或反射的熱輻射信息成像，圖像整體反映目標(biāo)場(chǎng)景的輪廓特征，細(xì)節(jié)信息不豐富，基本不受照明條件的影響。可見(jiàn)光圖像根據(jù)目標(biāo)場(chǎng)景光譜反射特性成像，包含了場(chǎng)景的邊緣、紋理等豐富的細(xì)節(jié)信息，但是受場(chǎng)景照明的影響較大。將紅外與可見(jiàn)光圖像進(jìn)行融合，可以充分利用其信息的互補(bǔ)性，更加全面、準(zhǔn)確地描述場(chǎng)景信息，在國(guó)防、航空、遙感等領(lǐng)域有著重要的應(yīng)用[1－2]。

近年來(lái)，基于非下采樣Contourlet 變換(NSCT)以其具有平移不變、多分辨率、多方向和各向異性的圖像表示能力[3]，并且能有效克服傳統(tǒng)小波變換不能處理2D 或更高維奇異性的問(wèn)題，成功用于圖像融合領(lǐng)域并取得較優(yōu)的融合效果[4]。然而，在圖像融合問(wèn)題中，研究人員希望提取的圖像表示系數(shù)具有優(yōu)秀的稀疏性與特征保持性，從而只需融合少量的系數(shù)就能獲得較優(yōu)的融合結(jié)果[5－6]。但是，經(jīng)NSCT 變換得到圖像低頻子帶系數(shù)近似為零項(xiàng)十分有限，即不能稀疏地表示圖像的低頻信息。若直接對(duì)其融合，不利于提取源圖像的特征。考慮到低頻子帶包含了圖像的主要能量，在很大程度上決定了融合結(jié)果的質(zhì)量，所以希望通過(guò)提高低頻子帶系數(shù)的稀疏度，以得到更優(yōu)的融合結(jié)果。

本文提出一種基于NSCT 和稀疏表示的紅外與可見(jiàn)光圖像融合方法。利用NSCT 有效捕捉源圖像低頻子帶與高頻方向子帶的信息。根據(jù)稀疏表示理論對(duì)低頻子帶系數(shù)稀疏地表示，再在其基礎(chǔ)上提取共有和特有系數(shù)，加以融合，以顯著提高融合效果。經(jīng)仿真驗(yàn)證，該方法在主觀視覺(jué)效果和客觀評(píng)價(jià)方面均具有顯著優(yōu)勢(shì)。

1 NSCT 變化與稀疏表示

1.1 NSCT 及其構(gòu)造

NSCT 是一種具有平移不變性和靈活的多尺度、多方向的圖像分解方法。NSCT 是將多尺度分解與方向分解分開(kāi)進(jìn)行:首先采用非下采樣金字塔(NSP)對(duì)圖像進(jìn)行多尺度分解，得到不同尺度的子帶系數(shù);然后采用非下采樣方向?yàn)V波器組(NSDFB)對(duì)各尺度子帶系數(shù)進(jìn)行方向分解，從而得到不同尺度、方向的子帶圖像(系數(shù))。圖1 為NSCT 示意圖。

圖1 NSCT 示意圖Fig.1 Schematic diagram of NSCT

NSCT 與Coutourlet 變換的區(qū)別在于NSCT 采用的是非子采樣金字塔和非子采樣DFB，NSCT 利用Z變換的等效移位性質(zhì)，去掉了LP 分解和DFB 分解中信號(hào)經(jīng)分析濾波后的下采樣以及綜合濾波前的上采樣，而改為對(duì)相應(yīng)的濾波器進(jìn)行上采樣，再對(duì)信號(hào)進(jìn)行分析濾波和綜合濾波[7]。NSCT 所采用的二通道非子采樣濾波器組結(jié)構(gòu)如圖2 所示。

圖2 NSCT 采用的雙通道非下采樣濾波器組結(jié)構(gòu)Fig.2 Two－channel non－subsampled filter banks in NSCT

由圖3 可看出，圖像低頻子帶系數(shù)是非稀疏的，而高頻各個(gè)方向子帶系數(shù)都在零值附近波動(dòng)，是近似稀疏的，并且能明顯觀察到高頻方向子帶的多方向性特點(diǎn)。

圖3 NSCT 對(duì)紅外圖像分解的示例Fig.3 Infrared image decomposition by NSCT

1.2 NSCT 域的稀疏表示

稀疏表示理論基于以下假設(shè):自然信號(hào)可以由字典中少量原子的線性組合表示或近似表示。對(duì)給定的信號(hào)Y，可以用如下近似的方法找出其稀疏表示:

式中:Y∈Rn×m;D∈Rn×k為由紅外和可見(jiàn)光圖像的低頻子帶系數(shù)采用k－SVD 方法[8]共同學(xué)習(xí)得到字典，其中每一列稱(chēng)作一個(gè)原子;α∈Rk×m為向量，‖α‖0表示向量α 中非零元素的個(gè)數(shù);ε 為允許偏差的精度，解決這個(gè)優(yōu)化問(wèn)題的過(guò)程通常稱(chēng)作稀疏編碼。

根據(jù)文獻(xiàn)[9]多尺度字典學(xué)習(xí)的思想，不僅可以在圖像域中訓(xùn)練字典，也可以在變換的域中訓(xùn)練字典。即(1)式可以等價(jià)地寫(xiě)為

式中:WA為變換分析算子。(2)式說(shuō)明，可以對(duì)NSCT 后的低頻子帶系數(shù)通過(guò)訓(xùn)練字典的方式求解其稀疏表示，從而使其具有更優(yōu)秀的稀疏性與特征保持性。

2 圖像融合方法

2.1 基于聯(lián)合稀疏表示的低頻子帶系數(shù)融合

聯(lián)合稀疏表示是指所有來(lái)自同一個(gè)字典的信號(hào)，由他們共同的稀疏表示和各自特有特征的稀疏表示組成[10]。由于來(lái)自同一場(chǎng)景的紅外圖像與可見(jiàn)光圖像之間存在相關(guān)性，經(jīng)NSCT 后的系數(shù)也存在相關(guān)性，可以由統(tǒng)一的字典表示。因此每幅源圖像的系數(shù)Vi可以看做由兩部分組成:共有系數(shù)Vc，它包含于所有源圖像中;特有系數(shù)Vui，它只包含于相應(yīng)一幅源圖像中。根據(jù)聯(lián)合稀疏表示理論，這兩部分可以分別用共有稀疏表示系數(shù)ac和特有稀疏表示系數(shù)aui表示，則有

所有源圖像NSCT 域系數(shù)的聯(lián)合稀疏表示為

為了求解最稀疏解，即使得a 最稀疏，估計(jì)(6)式:

式中:代價(jià)函數(shù)l0范數(shù)非凸且高度不可微，該優(yōu)化問(wèn)題是一個(gè)NP 難問(wèn)題，通常考慮用近似解代替，本文采用較為常用的正交匹配追蹤(OMP)算法求解。

圖4 為提取共有和特有特征圖例。將源圖像非稀疏的低頻子帶系數(shù)，通過(guò)上述方法提取其稀疏表示形式，并用共有系數(shù)和特有系數(shù)表示。圖4(e)～圖4(g)分別為提取源圖像低頻子帶系數(shù)的特有和共有特征后再重構(gòu)的圖像。可以看出，有效地提取出紅外低頻子帶中特有的人物和樹(shù)木輪廓與可見(jiàn)光低頻子帶中房頂?shù)缆返忍赜刑卣鳎约八麄児灿械慕ㄖΡ诤偷缆返忍卣鳌?/p>

圖4 提取共有和特有特征圖例Fig.4 Extraction the common and innovation features

融合的圖像應(yīng)該集合各個(gè)源圖像的共有與特有特征，因此，為了考慮到所有源圖像對(duì)融合圖像的貢獻(xiàn)，融合圖像的低頻子帶系數(shù)應(yīng)為共有特征與線性疊加的特有特征之和

式中:ni表示系數(shù)的活動(dòng)因子，其反映了特征的能量大小，即重要程度

融合圖像低頻系數(shù)可以重構(gòu)為

2.2 高頻方向子帶系數(shù)的融合

NSCT 不僅對(duì)圖像提供了多尺度分析，它的基還具有豐富的方向和形狀，能夠在高頻方向子帶上捕獲紅外與可見(jiàn)光圖像中的顯著特征，如邊緣、線性特征和區(qū)域邊界。由于高頻方向子帶的稀疏性，這些顯著特征在同一尺度所有方向子帶上都表現(xiàn)出較大的模值，而其他非顯著特征系數(shù)模值幾乎為0.所以根據(jù)每個(gè)像素同一尺度上的方向子帶信息足以區(qū)分并提取該像素上的細(xì)節(jié)信息。此外，由于紅外與可見(jiàn)光圖像在圖像細(xì)節(jié)上往往存在互補(bǔ)關(guān)系，如紅外圖像輪廓更加明顯而可見(jiàn)光圖像的紋理更加清晰。綜合上述因素，對(duì)高頻方向子帶系數(shù)采用如下融合策略。

將源圖像在尺度為2－l上的方向子帶信息定義為

如果源圖像A，如圖4(a)所示，在尺度2－l上像素位置(n，m)的方向子帶信息和大于等于源圖像B，如圖4(b)所示，即，那么選取源圖像A 在尺度2－l上(n，m)像素位置方向子帶系數(shù)作為融合圖像F，如圖4(f)所示，在相應(yīng)位置上的NSCT 分解系數(shù)，所以高頻方向子帶的融合規(guī)則為

式中:0≤l≤L－1，1≤i≤2kl.

2.3 融合步驟

1)輸入紅外與可見(jiàn)光圖像，并分別對(duì)其進(jìn)行NSCT 變化，分解成低頻子帶與高頻方向子帶。

2)對(duì)低頻子帶采用k－SVD 方法學(xué)習(xí)字典，再采用基于聯(lián)合稀疏表示的方法提取紅外與可見(jiàn)光圖像的特有特征(系數(shù))和共有特征(系數(shù))，并按照特有特征的權(quán)重對(duì)低頻子帶的稀疏表示系數(shù)進(jìn)行融合;最后結(jié)合學(xué)習(xí)的字典與融合的稀疏表示系數(shù)，重構(gòu)出融合圖像的低頻子帶系數(shù)。

3)對(duì)各個(gè)方向上的高頻子帶，按照(11)式對(duì)其進(jìn)行融合。

4)對(duì)融合圖像F 的低頻子帶和各個(gè)尺度上的高頻方向子帶作NSCT 逆變換，得到最終的融合圖像F.

3 實(shí)驗(yàn)結(jié)果與分析

將本文提出的方法與傳統(tǒng)基于DWT 的圖像融合方法、目前性能較為優(yōu)越的基于NSCT 圖像融合方法[4]、基于稀疏表示的圖像融合方法SOMP[5]及JSR 方法[6]進(jìn)行比較。前2 種方法是基于變換域的方法，后2 種是基于圖像域稀疏表示的融合方法。實(shí)驗(yàn)中采用圖像大小為240 像素×320 像素且經(jīng)過(guò)對(duì)準(zhǔn)的紅外與可見(jiàn)光圖像，其中DWT 分解的小波類(lèi)型為3 級(jí)db4 小波，NSCT 參數(shù)設(shè)置與文獻(xiàn)[4]相同，即“9 －7”塔形分解和“c－d”方向?yàn)V波器組，高頻層所取的方向數(shù)依次為24、23、22、21.稀疏表示的字典大小均為64 ×256，ε=0.01.

融合結(jié)果如圖5 所示，可看出，DWT 融合結(jié)果的房屋與周?chē)拔飳?duì)比度減弱;NSCT 融合結(jié)果中樹(shù)木道路層次感較強(qiáng)，但是紋理不清晰，人物和房屋也不夠突出;SOMP 和JSR 人物較為突出，但對(duì)樹(shù)葉等紋理特征明顯的區(qū)域融合得過(guò)于平滑;本文方法則將欄桿、房屋、樹(shù)葉和道路等地物融合得更為清晰，人物也較為明顯，連貫性好，視覺(jué)效果最佳。

圖5 5 種方法的融合結(jié)果Fig.5 Fusion results by five methods

為了定量評(píng)價(jià)不同融合方法用于紅外和可見(jiàn)光圖像融合的性能，本文采用比較方法中指標(biāo)均方根交叉熵(RCE)、QW、QE和Qabf進(jìn)行評(píng)價(jià)[11－13]。其中，指標(biāo)RCE 用來(lái)評(píng)價(jià)融合圖像與源圖像間的綜合差異，越小越好;QW為源圖像與融合圖像窗口加權(quán)的融合質(zhì)量評(píng)價(jià);QE和Qabf分別從局部和整體反映了融合圖像融合源圖像邊緣的情況;Q0、QW、Qabf的值均在[0，1]之間，越接近1 表明融合質(zhì)量越好。

表1 為5 種融合方法的性能指標(biāo)。從表1 可看出，相對(duì)于在變化域直接融合的方法DWT、NSCT 與在圖像域單尺度基于稀疏表示的方法SOMP、JSR，本文提出的方法既能對(duì)源圖像進(jìn)行多尺度分析，又能進(jìn)一步提高圖像表示系數(shù)的稀疏度，增強(qiáng)了融合圖像的細(xì)節(jié)表現(xiàn)能力，從源圖像提取更多的有用信息并加以融合，所以具有更優(yōu)的融合效果。

表1 5 種融合方法的性能指標(biāo)Tab.1 Performance indices of the different fusion methods

4 結(jié)論

本文提出了一種基于NSCT 和稀疏表示的紅外與可見(jiàn)光圖像融合算法，針對(duì)NSCT 變化后包含圖像主要能量的低頻子帶稀疏度較差，不利于提取有用信息進(jìn)行融合的問(wèn)題，對(duì)低頻子帶系數(shù)學(xué)習(xí)字典，并提取紅外與可見(jiàn)光圖像的特有和共有特征，再按照特有特征系數(shù)活動(dòng)水平賦予各個(gè)源圖像融合的權(quán)重進(jìn)行融合。對(duì)稀疏度較好的高頻方向子帶系數(shù)采用同一尺度下方向子帶系數(shù)活動(dòng)水平最大的策略融合。實(shí)驗(yàn)結(jié)果表明，該方法同時(shí)具有NSCT 多尺度、多方向的特點(diǎn)和稀疏表示有效提取特征的特性，在主觀視覺(jué)效果與客觀評(píng)價(jià)指標(biāo)上均取得了更優(yōu)的融合效果，是一種有效可行的融合方法。

References)

[1]Mahyari A G，Yazdi M.Panchromatic and multispectral image fusion based on maximization of both spectral and spatial similarities[J].IEEE Transactions on Geoscience and Remote Sensing，2011，49(6):1 －10.

[2]趙誠(chéng)，付夢(mèng)印，王立平.基于粒子群優(yōu)化的多分辨率圖像融合[J].兵工學(xué)報(bào)，2010，31(2):171 －176.ZHAO Cheng，F(xiàn)U Meng－yin，WANG Li－ping.Multi－resolution image fusion using particle swarm optimization[J].Acta Armamentarii，2010，31(2):171 － 176.(in Chinese)

[3]Do M N，Vetterli M.The coutourlet transform:an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing，2005，14(12):2091 － 2106.

[4]常霞，焦李成，賈建華.基于非下采樣Contourlet 的多傳感器圖像自適應(yīng)融合[J].計(jì)算機(jī)學(xué)報(bào)，2009，32(11):2229 －2237.CHANG Xia，JIAO Li－cheng，JIA Jian－h(huán)ua，Multisensor image adaptive fusion based on nonsubsampled contourlet[J].Chinese Journal of Computers，2009，32 (11):2229 －2237.(in Chinese)

[5]Yang B，Li S T，Pixel－level image fusion with simultaneous orthogonal matching pursuit[J].Information Fusion，2012，1(13):10 －19.

[6]Yu N N，Qiu T S，Bi F.Image features extraction and fusion based on joint sparse representation[J].IEEE Journal of Selected Topics in Signal Processing，2011，5(5):1074 －1082.

[7]Cunha A L，Zhou J，Do M N.The nonsubsampled contourlet transform:theory，design，and applications[J].IEEE Transactions on Image Processing，2006，15(10):3089 －3101.

[8]Aharon M，Elad M，Bruckstein A.K－SVD:an algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing，2006，54(11):4311 －4322.

[9]Ophir B，Lustig M，Elad M.Multi－scale dictionary learning using wavelets[J].IEEE Journal of Selected Topics in Signal Processing，2011，5(5):1014 －1024.

[10]Duarte M F，Sarvotham S，Baron D，et al.Distributed compressed sensing of jointly sparse signals[C]∥Computer Society.Conference Record of The Thirty－Ninth Asilomar Conference on Signals，Systems and Computers.US:Institute of Electrical and Electronics Engineers Computer Society，2005:1537 －1541.

[11]Piella G，Heijmans H，A new quality metric for image fusion[C]∥Proceedings of IEEE International Conference on Image Processing.Barcelona:IEEE，2003:173 －176.

[12]Petrovic V.Subjective tests for image fusion evaluation and objective metric validation[J].Information Fusion，2007，8(2):208 －216.

[13]Xydeas C S，Petrovic V.Objective image fusion performance measure[J].Electronics Letters，2003，6(4):308 －309.