塔型分解多源圖像融合方法

楊 釩，錢立志，劉 曉

(陸軍軍官學(xué)院，安徽 合肥 230031)

0 引 言

圖像融合(image fusion)是指將多個(gè)傳感器采集到的關(guān)于同一目標(biāo)的圖像進(jìn)行信息提取，最大限度地保留各個(gè)圖像中的有利信息，并將信息匯總綜合成一幅高質(zhì)量的圖像，以提高圖像信息的利用率、滿足人們對(duì)圖像目標(biāo)信息的高要求，便于人眼或機(jī)器對(duì)景物目標(biāo)的進(jìn)一步感知和后續(xù)處理[1-2]。

紅外熱像儀和微光夜視儀是當(dāng)前兩種主要的夜視裝備，由于它們工作波段和成像機(jī)理不同導(dǎo)致其獲取夜晚圖像方面各有優(yōu)缺點(diǎn)。因此，紅外探測(cè)器和微光探測(cè)器所表達(dá)的圖像信息側(cè)重點(diǎn)和信息量也不一樣，紅外和微光圖像融合的必要性不言而喻[3-4]。當(dāng)前，常用的紅外與微光圖像融合方法有很多，譬如加權(quán)平均法、PCA(principal component analysis)變換法、圖像金字塔法、小波融合方法等[5]?；趫D像金字塔分解的圖像融合方法是利用不同圖像在不同尺度、空間分辨率以及分解層上信息的差異進(jìn)行的一種多尺度、多分辨率圖像融合方法[6]。其融合的過程具有以下優(yōu)點(diǎn)：金字塔圖像分解法能夠?yàn)槿搜厶峁┓浅Ｃ舾械膶?duì)比度突變信息；金字塔圖像分解法在空域和頻域中能夠提供局部化信息。與其他一些融合方法相比，基于塔形分解的融合方法在改善融合效果方面比較明顯。因此，文中重點(diǎn)對(duì)基于塔型分解的紅外與微光圖像融合方法進(jìn)行研究，并對(duì)比率低通、拉普拉斯、梯度、對(duì)比度以及形態(tài)金字塔等不同方法進(jìn)行了性能比較實(shí)驗(yàn)。

1 圖像金字塔變換方法

圖像金字塔變換是將源圖像分解成多個(gè)不同層級(jí)分辨率的子圖像，并將低分辨率(尺度較小)和高分辨率(尺度較大)的子圖像分別放在上層和下層，形成一個(gè)從上至下由小至大的金字塔。通過拉普拉斯變換量化、編碼每一層金字塔，并用較少的碼字量化、編碼人眼不敏感的層，從而達(dá)到圖像壓縮的目的[7]。

此外，圖像不同分辨率層包含的圖像信息也可通過圖像金字塔來對(duì)圖像中的細(xì)節(jié)和內(nèi)容進(jìn)行分析和相互指導(dǎo)，大大簡化了計(jì)算量，使之更適合進(jìn)行圖像融合[8]。

2 塔型變換紅外與微光圖像融合方法

一幅圖像通常可以通過金字塔分解成不同的頻帶，然后在不同頻率層上分別進(jìn)行融合，因此，不同融合算子可以突出不同的特征和細(xì)節(jié)，從而達(dá)到有效融合[9-10]。

2.1 融合流程

令A(yù)、B分別為兩幅紅外與微光圖像，F(xiàn)為融合圖像，融合流程如圖1所示。

圖1 基于金字塔變換的紅外與微光圖像融合過程

步驟如下：

(1)分別對(duì)圖像A和B進(jìn)行金字塔形分解，得到各圖的分解層；

(2)利用融合規(guī)則對(duì)每個(gè)圖像不同的分解層分別進(jìn)行融合處理，形成一個(gè)新的金字塔；

(3)重建融合后圖像的金字塔，最終得到融合圖像F。

2.2 融合規(guī)則

對(duì)不同源圖像的對(duì)應(yīng)分解層進(jìn)行融合處理決定了圖像融合的優(yōu)劣，因此融合方式及融合算子的選擇將在圖像融合過程中對(duì)融合結(jié)果具有較大影響[11-12]。文中分別采用基于單個(gè)像素融合和基于像素區(qū)域融合的方式進(jìn)行融合，其原理如圖2所示。

圖2 圖像融合的不同方式

(1)基于單個(gè)像素的融合方式。

該融合方式通過兩幅圖像上對(duì)應(yīng)分解層相應(yīng)位置圖像像素大小灰度值來確定融合后的像素值，新的像素值可通過取大、取小或者加權(quán)平均來確定。

對(duì)于一幅可讀性較強(qiáng)的圖像而言，圖像中每一塊區(qū)域中的像素都具有很強(qiáng)的相關(guān)性，其特征也是由多個(gè)像素來體現(xiàn)，因此，采用基于單個(gè)像素的融合方法具有很大的片面性，對(duì)融合結(jié)果也會(huì)有較大影響[13]。

(2)基于像素區(qū)域的融合方式。

該融合方式通過計(jì)算圖像中以某一像素為中心的鄰域以及自身的方差作為基準(zhǔn)進(jìn)行融合。鄰域大小可以是3×3、5×5、7×7或9×9等。具體為通過比較兩幅圖像的某方面特征，動(dòng)態(tài)地選取突出特征獲得融合結(jié)果[14]。

文中利用基于區(qū)域特征的方法進(jìn)行融合，以三種特征作為區(qū)域特征：

一是特征量為區(qū)域信息量，以兩幅圖像中信息含量更為豐富的圖像部分來融合圖像，信息含量包括區(qū)域方差Dev(X)和區(qū)域熵E(X)：

(1)

(2)

在圖像分解層中，中心像素所在區(qū)域像素，以方差或熵值大的為該像素在融合后圖像分解層上的灰度值。

二是以該點(diǎn)鄰域灰度值之和的平均值為特征量，中心像素所在區(qū)域中特征量最大的，以該像素為融合后灰度值。

三是以區(qū)域能量作為特征量。首先在兩幅圖像相應(yīng)分解層上計(jì)算其對(duì)應(yīng)局部區(qū)域“能量”El,A和El,B：

(3)

其中，El(m,n)表示以(m,n)為中心的在拉普拉斯金字塔第l層上的局部區(qū)域能量；Ll為金字塔第l層圖像；wl(m',n')為加權(quán)矩陣算子；J、K為局部區(qū)域大小的范圍，m'、n'取值范圍在J、K內(nèi)。

然后，計(jì)算圖像對(duì)應(yīng)區(qū)域的匹配度MAB：

n+n')Ll,B(m+m',n+n')]/

[Ll,A(m+m',n+n')+

Ll,B(m+m',n+n')]

(4)

這里設(shè)一個(gè)取值在0.5到1之間的匹配度閾值T，則融合后金字塔的第l層圖像Ll,F為：

若Ml,AB(m,n)

(5)

若Ml,AB(m,n)≥T，則：

(6)

其中：

(7)

從式中可以看出，局部區(qū)域的匹配度MAB決定了兩幅圖像在該區(qū)域上的“能量”差別，若MAB小于閾值T，則選擇“能量”大的區(qū)域中心像素作為融合后圖像在該區(qū)域上的中心像素；反之，匹配度大于或等于閾值T，表明在該區(qū)域上兩圖像的“能量”相近，則該區(qū)域上的中心像素的灰度值可用加權(quán)融合算子來確定。

該方法相比基于單一獨(dú)立像素的簡單選擇的融合方式，具有能量特征的區(qū)域融合，更能代表原始圖像中區(qū)域的明顯特征，因此更為合理和科學(xué)。

2.3 實(shí)驗(yàn)與結(jié)果分析

下面將通過多個(gè)實(shí)驗(yàn)來研究影響紅外與微光圖像融合效果的因素，包括金字塔分解類型、分解層數(shù)以及不同融合方式。

(1)不同金字塔分解類型對(duì)融合效果的影響。

圖像融合前后的結(jié)果如圖3所示。其中采用了相同的分解層和融合方式進(jìn)行融合，分解層數(shù)均為4，其高、低頻部分分別采用基于像素和加權(quán)平均融合方式。

圖3 不同金字塔分解類型融合結(jié)果

為評(píng)價(jià)采用不同金字塔變換得到的紅外與微光圖像融合結(jié)果的質(zhì)量，選用衡量圖像信息豐富程度的信息熵[15]、反映了圖像中的微小細(xì)節(jié)與紋理變化特征的平均梯度以及反映了圖像像素值分布情況的標(biāo)準(zhǔn)差等三個(gè)客觀評(píng)價(jià)指標(biāo)對(duì)圖像進(jìn)行客觀評(píng)價(jià)。結(jié)果如表1所示。從直觀上看，比率低通金字塔和對(duì)比度金字塔這三種融合方法均對(duì)兩幅源圖像進(jìn)行了有效融合，而且基于梯度金字塔變換和形態(tài)金字塔變換的融合方法，從融合圖像的清晰度、對(duì)比度等方面，要好于其他幾種金字塔變換的圖像融合方法。

表1 不同的金字塔融合效果的客觀評(píng)價(jià)指標(biāo)

(2)分解層數(shù)對(duì)融合效果的影響。

為測(cè)試金字塔分解層數(shù)對(duì)圖像融合效果的影響，采用基于像素的融合方式對(duì)上述5種融合方法進(jìn)行實(shí)驗(yàn)，并將源圖像與融合后圖像進(jìn)行比較。得出的結(jié)論是：盡管融合后圖像包含了更多的信息量，但隨著圖像分解層數(shù)的增加，源圖像中的部分信息在融合圖像中出現(xiàn)了缺失。

表2～5分別是比率低通、對(duì)比度、梯度和形態(tài)學(xué)金字塔變換所得融合圖像的評(píng)價(jià)指標(biāo)。

表2 (比率低通金字塔)不同分解層融合后

表3 (對(duì)比度金字塔)不同分解層融合后

表4 (梯度金字塔)不同分解層融合后

表5 (形態(tài)金字塔)不同分解層融合后

可以看出，隨著圖像分解層數(shù)的不斷增加，基于比率低通和對(duì)比度金字塔變換的圖像融合方法所獲得融合圖像的信息熵、標(biāo)準(zhǔn)差和平均梯度等指標(biāo)均得到提高；基于梯度金字塔變換的圖像融合方法其標(biāo)準(zhǔn)差有所提高，但信息熵和平均梯度卻有所下降；基于形態(tài)金字塔變換的圖像融合方法其融合圖像的信息熵變化不大，但標(biāo)準(zhǔn)差和平均梯度有所提高，且在分解層數(shù)為3時(shí)達(dá)到峰值，隨后有所下降。由上述實(shí)驗(yàn)結(jié)果可知，對(duì)于不同的圖像金字塔變換融合方法，不同的分解類型會(huì)使得融合后圖像的不同指標(biāo)具有一定的差異，但總體上說，隨著分解層數(shù)(融合層數(shù))的增加，融合效果和質(zhì)量會(huì)有所提高。

(3)不同融合方式對(duì)融合效果的影響。

為了測(cè)試不同融合方式對(duì)紅外與微光圖像融合效果的影響，對(duì)基于像素和基于區(qū)域兩種融合方式進(jìn)行了比較。選擇3×3的區(qū)域大小窗口，分解層數(shù)為4。評(píng)價(jià)指標(biāo)的結(jié)果如表6所示。

表6 不同金子塔分解兩種圖像融合

從表6中可以看出，基于區(qū)域的融合方式在融合后圖像的信息熵、平均梯度等指標(biāo)方面均高于基于像素的融合方式，說明采用基于區(qū)域的融合方式繼承了源圖像更多的信息，融合后的圖像信息更為豐富，兩者比較基于區(qū)域的融合方式要更好。

3 結(jié)束語

針對(duì)紅外與微光圖像信息融合的必要性，主要研究了基于塔型分解的紅外與微光圖像融合方法，較全面地描述了塔形分解的實(shí)現(xiàn)、重構(gòu)及特性，重點(diǎn)分析比較了基于像素和區(qū)域特征圖像融合方式。通過實(shí)驗(yàn)詳細(xì)地分析了不同的金字塔類型、不同分解層數(shù)和不同融合方式對(duì)圖像融合效果的影響。實(shí)驗(yàn)結(jié)果表明，采用塔形分解圖像融合方法可以較好地融合圖像。但由于對(duì)圖像融合效果的影響不僅取決于融合方法，其圖像的類型也是一個(gè)重要因素。因此，下一步將針對(duì)其他類型的圖像融合情況進(jìn)行進(jìn)一步研究。