NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見(jiàn)光圖像融合方法

郝文超，賈 年

(西華大學(xué)無(wú)線電管理技術(shù)研究中心，四川 成都 610039)

圖像融合是用特定的算法對(duì)多個(gè)不同模式的圖像傳感器在同一時(shí)刻或同一傳感器在不同時(shí)刻獲得的同一場(chǎng)景的多幅圖像或圖像序列加以處理，綜合生成滿足某種應(yīng)用需要、具有更多信息的場(chǎng)景解釋的過(guò)程。它在地球遙感、安全監(jiān)控、智能交通、醫(yī)學(xué)圖像處理和軍事偵查等領(lǐng)域有著廣泛應(yīng)用。

根據(jù)對(duì)信息抽象程度的不同，圖像融合可分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合3個(gè)層次。像素級(jí)圖像融合是高層次圖像融合的基礎(chǔ)。該層次的融合方法大致分為基于空間域的圖像融合和基于變換域的圖像融合2大類?；谧儞Q域的圖像融合算法是目前研究的熱點(diǎn),這些算法大部分是基于多尺度分解的。按采用的多尺度分解方法不同可分為傳統(tǒng)的基于金字塔變換的圖像融合算法和目前研究比較多的基于小波變換的圖像融合算法，然而由一維小波張成的二維可分離小波只具有有限的方向，即水平、垂直、對(duì)角，不能很好地表達(dá)二維圖像的邊緣及線狀特征等的線、面奇異性。Contourlet變換[1]是一種離散圖像的多方向、多尺度計(jì)算框架。它不僅具有小波變換的多分辨率和時(shí)頻局部性特點(diǎn)，還具有高度的方向性和各向異性；但由于變換過(guò)程中需要對(duì)圖像進(jìn)行下采樣操作，因此不具備平移不變性，在圖像處理中會(huì)產(chǎn)生偽Gibbs現(xiàn)象，導(dǎo)致圖像失真。為此，A. L. Da Cunha等[2]基于Contourlet變換和非下采樣的思想，提出一種具有平移不變性的Contourlet變換——非下采樣Contourlet變換(nonsubsampled contourlet transform，NSCT)。

脈沖耦合神經(jīng)網(wǎng)絡(luò)[3](pulse coupled neural networks，PCNN)是R. Eckhorn等在研究貓的大腦皮層的視覺(jué)區(qū)神經(jīng)元信號(hào)傳導(dǎo)特性時(shí)，提出的展示神經(jīng)元同步脈沖發(fā)放現(xiàn)象的神經(jīng)網(wǎng)絡(luò)模型。與BP神經(jīng)網(wǎng)絡(luò)和Kohonen神經(jīng)網(wǎng)絡(luò)不同，PCNN為單層模型神經(jīng)網(wǎng)絡(luò)，不需要學(xué)習(xí)或者訓(xùn)練，就可實(shí)現(xiàn)圖像分割、模式識(shí)別和目標(biāo)分類等，因此非常適用于實(shí)時(shí)圖像處理環(huán)境。文獻(xiàn)[4]借助該網(wǎng)絡(luò)實(shí)現(xiàn)圖像融合以提高目標(biāo)的識(shí)別率，并論證了PCNN神經(jīng)元的點(diǎn)火頻率與圖像灰度的關(guān)系，證實(shí)了PCNN用于圖像融合的可行性。

本文提出一種在圖像NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見(jiàn)光圖像融合方法。首先，采用NSCT將嚴(yán)格配準(zhǔn)的源圖像分解到不同尺度、不同方向子帶范圍內(nèi)；然后，使用各子帶系數(shù)的空間頻率(spatial frequency，SF)作為PCNN神經(jīng)元的自適應(yīng)連接強(qiáng)度系數(shù)，使用各子帶系數(shù)的改進(jìn)的拉普拉斯能量和(sum-modified-Laplacian，SML)作為PCNN的外部激勵(lì)，計(jì)算點(diǎn)火映射圖，以此確定融合圖像的各子帶系數(shù)；最后，經(jīng)過(guò)NSCT逆變換得到融合圖像。實(shí)驗(yàn)結(jié)果表明，本文方法優(yōu)于基于小波變換、NSCT和傳統(tǒng)NSCT與PCNN結(jié)合的圖像融合方法。

1 圖像的非下采樣Contourlet變換

(a)構(gòu)建NSCT所采用的NSDFB結(jié)構(gòu) (b)由(a)得到的理想頻域劃分

2 脈沖耦合神經(jīng)網(wǎng)絡(luò)模型

PCNN是一種基于貓的視覺(jué)原理構(gòu)建的簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)模型。每個(gè)PCNN神經(jīng)元由接收域、調(diào)制域和脈沖發(fā)生器3部分組成[5]。構(gòu)成PCNN的神經(jīng)元系統(tǒng)是一個(gè)復(fù)雜的非線性動(dòng)態(tài)系統(tǒng)，如圖2所示。

圖2 PCNN神經(jīng)元模型框圖

PCNN的數(shù)字圖像處理模型由脈沖耦合神經(jīng)元構(gòu)成的二維單層神經(jīng)元陣列組成，網(wǎng)絡(luò)中神經(jīng)元數(shù)目與輸入圖像像素?cái)?shù)目一致，神經(jīng)元與像素點(diǎn)一一對(duì)應(yīng)[6]。由于基本模型實(shí)現(xiàn)相對(duì)復(fù)雜，在實(shí)際應(yīng)用中常使用改進(jìn)型的PCNN，其數(shù)學(xué)模型為：

(1)

Tij(n)=Tij(n-1)+Yij(n)

(2)

式中：(i,j)為PCNN中神經(jīng)元的標(biāo)號(hào)；F為神經(jīng)元的反饋輸入；S為神經(jīng)元強(qiáng)制激發(fā)的外部激勵(lì)(在圖像處理中通常為圖像像素灰度值)；L為神經(jīng)元的連接輸入，VL和αL分別為其放大系數(shù)和衰減時(shí)間系數(shù)；權(quán)值矩陣W為連接輸入的連接矩陣；k、l表示與周圍神經(jīng)元連接的范圍；U為神經(jīng)元的內(nèi)部活動(dòng)項(xiàng)；β為連接強(qiáng)度系數(shù)；θ為變閾值函數(shù)輸出，Vθ和αθ分別為其放大系數(shù)和衰減時(shí)間系數(shù)；Y為神經(jīng)元的輸出，當(dāng)Uij≥θij時(shí)，神經(jīng)元產(chǎn)生1個(gè)脈沖，稱為1次點(diǎn)火。實(shí)際應(yīng)用中，常用式(1)和(2)計(jì)算的n次迭代后神經(jīng)元的點(diǎn)火次數(shù)Tij構(gòu)成的點(diǎn)火映射圖作為PCNN的輸出。

3 NSCT域內(nèi)基于自適應(yīng)PCNN的圖像融合算法

3.1 自適應(yīng)PCNN中連接強(qiáng)度系數(shù)β和外部激勵(lì)S的確定

在傳統(tǒng)基于PCNN的圖像融合中，神經(jīng)元的連接強(qiáng)度系數(shù)β通常是根據(jù)具體應(yīng)用環(huán)境通過(guò)多次試驗(yàn)的方法確定的，且所有神經(jīng)元的β都為相同數(shù)值，但在人眼的視覺(jué)系統(tǒng)中，每個(gè)神經(jīng)元有其自己的連接強(qiáng)度系數(shù)；因此，在PCNN中β隨著圖像特征變化根據(jù)輸入外部激勵(lì)S的不同自適應(yīng)的調(diào)整是合理的。文獻(xiàn)[7]給出了圖像空間域內(nèi)多種典型的清晰度評(píng)價(jià)方法，例如圖像梯度能量(energy of gradient，EOG)、拉普拉斯能量(energy of Laplacian，EOL)、改進(jìn)的拉普拉斯能量和(SML)和空間頻率(SF),它們都是通過(guò)測(cè)量像素的變化程度來(lái)表征的。文獻(xiàn)[8]使用圖像的SML作為PCNN對(duì)應(yīng)神經(jīng)元的連接強(qiáng)度系數(shù)，進(jìn)行醫(yī)學(xué)圖像的融合，取得了較好的融合效果。由于圖像在NSCT變換域內(nèi)的子帶也可看作圖像,并且存在幅值的變化，因此利用EOG、SML等清晰度指標(biāo)來(lái)選擇融合圖像的NSCT變換域系數(shù)是合理的。文獻(xiàn)[9]使用圖像的SF作為PCNN的外部激勵(lì)，結(jié)合NSCT，對(duì)多聚焦圖像、可見(jiàn)光與紅外圖像進(jìn)行融合實(shí)驗(yàn)，取得了較好的融合效果。

本文提出一種在圖像NSCT變換域內(nèi)使用SF作為神經(jīng)元自適應(yīng)連接強(qiáng)度系數(shù)、SML作為外部激勵(lì)的自適應(yīng)PCNN圖像融合新方法。與文獻(xiàn)[7]的清晰度定義不同，本文在NSCT域定義子帶系數(shù)的清晰度,用Ii,j表示子帶內(nèi)位置為(i,j)的系數(shù)。(i,j)位置上對(duì)應(yīng)的空間頻率(SF)和改進(jìn)的拉普拉斯能量和(SML)定義如下。

1)空間頻率(SF)定義為

(3)

其中，(2P+1)×(2Q+1)為子帶系數(shù)內(nèi)滑動(dòng)窗口的大小，本文選取3×3的窗口。在計(jì)算過(guò)程中，需要對(duì)子帶系數(shù)矩陣進(jìn)行擴(kuò)充處理。

2)改進(jìn)的拉普拉斯(ML)及改進(jìn)的拉普拉斯能量和(SML)定義為：

MLij=|2Ii,j-Ii-step,j-Ii+step,j|+|2Ii,j-

Ii,j-step-Ii,j+step|

(4)

(5)

其中：step為像素點(diǎn)間的可變間距，本文總是為1；(2P+1)×(2Q+1)為子帶系數(shù)內(nèi)滑動(dòng)窗口的大小，本文選取3×3的窗口。在計(jì)算過(guò)程中，需要對(duì)子帶系數(shù)矩陣進(jìn)行擴(kuò)充處理。

3.2 融合過(guò)程及算法步驟描述

參與融合的源圖像首先經(jīng)過(guò)NSCT多分辨率多方向分解，得到低頻子帶和高頻方向子帶；然后使用各子帶系數(shù)的空間頻率SF作為PCNN對(duì)應(yīng)神經(jīng)元的自適應(yīng)連接強(qiáng)度系數(shù)，同時(shí)利用各子帶系數(shù)的SML激勵(lì)每個(gè)神經(jīng)元，經(jīng)過(guò)PCNN點(diǎn)火過(guò)程獲得各子帶對(duì)應(yīng)的點(diǎn)火映射圖，通過(guò)判決選擇算子確定融合圖像各子帶的系數(shù)來(lái)源；最后經(jīng)過(guò)NSCT逆變換重構(gòu)得到融合圖像。2幅圖像的融合過(guò)程如圖3所示。

圖3 融合算法流程示意圖

假定參與融合的2幅源圖像是經(jīng)過(guò)嚴(yán)格配準(zhǔn)的，具體融合算法步驟如下。

step1對(duì)源圖像A和B進(jìn)行NSCT分解，分別得到各自分解后的低頻子帶系數(shù)和高頻方向子帶系數(shù)。

step2利用式(3)計(jì)算子帶系數(shù)的SF，并進(jìn)行歸一化，作為PCNN神經(jīng)元的自適應(yīng)連接強(qiáng)度系數(shù)，即式(1)中Sij=SFij；利用式(5)計(jì)算子帶系數(shù)的SML，作為外部激勵(lì)輸入PCNN網(wǎng)絡(luò)，即式(1)中β=SMLij。

step3初始化式(1)中的Lij(0)、Uij(0)、θij(0)、Yij(0)和式(2)中的Tij(0)為零矩陣，利用式(1)和式(2)計(jì)算n次迭代后PCNN中神經(jīng)元的點(diǎn)火次數(shù)Tij(n)，作為點(diǎn)火映射圖輸出。

step4經(jīng)過(guò)step 2和step 3的PCNN處理后，每個(gè)子帶系數(shù)得到對(duì)應(yīng)的點(diǎn)火映射圖，利用式(6)計(jì)算每個(gè)子帶系數(shù)對(duì)應(yīng)的決策圖。在決策圖DF,ij中，利用一致性檢驗(yàn)方法[10]，如果中心元素為1，而鄰域內(nèi)大多數(shù)元素為0，則將中心元素修改為0。使用一致性檢驗(yàn)后的決策圖，利用式(7)選取子帶系數(shù)。

(6)

(7)

其中，DF,ij代表融合圖像F各子帶系數(shù)對(duì)應(yīng)的決策圖，TA,ij(n)和TB,ij(n)分別對(duì)應(yīng)源圖像A和B的子帶系數(shù)對(duì)應(yīng)的點(diǎn)火映射圖，xF,ij、xA,ij和xB,ij分別代表融合圖像F、源圖像A和B的子帶系數(shù)。

step5使用式(7)選出的低頻子帶系數(shù)和高頻方向子帶系數(shù)做NSCT逆變換，重構(gòu)輸出融合圖像F。

4 仿真實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)中紅外與可見(jiàn)光圖像以及各融合算法的融合結(jié)果如圖4所示。源圖像是一片樹(shù)林。由于樹(shù)葉的遮擋，目標(biāo)人在可見(jiàn)光圖像中完全不可見(jiàn)，但人可以產(chǎn)生熱輻射，從而在紅外圖像中被完整的保留。從圖4(c)—(f)可以看出，幾種融合方法都很好地保留了可見(jiàn)光圖像中的背景信息和紅外圖像中的目標(biāo)信息；但仔細(xì)觀察圖4(c)—(f)中左下角與右下角部分，可以發(fā)現(xiàn)圖4(f)中樹(shù)葉區(qū)域的像素灰度和邊緣輪廓與可見(jiàn)光圖像更為接近，說(shuō)明本文算法能更好地保留可見(jiàn)光圖像中的背景信息，更符合人眼的視覺(jué)系統(tǒng)。

在無(wú)標(biāo)準(zhǔn)參考圖像的情況下，本文選取信息熵(IE)和互信息(MI)2個(gè)常用融合定量評(píng)價(jià)指標(biāo)，對(duì)上述4種融合方法進(jìn)行比較。圖像信息熵是圖像的平均信息量，融合圖像的信息熵越大，說(shuō)明包含的信息越多；互信息是衡量融合圖像從源圖像中繼承信息的多少，互信息越大，說(shuō)明融合圖像從源圖像中繼承的信息越多。從表1可以看出，使用本文算法，其融合結(jié)果的2項(xiàng)評(píng)價(jià)指標(biāo)均為最大，說(shuō)明本文算法優(yōu)于其他3種方法。

(a)可見(jiàn)光圖像

(b)紅外圖像

(c)DWT融合結(jié)果

(d)NSCT融合結(jié)果

(e)NSCT-PCNN融合結(jié)果

(f)本文方法融合結(jié)果

方法 評(píng)價(jià)指標(biāo)IE MIDWT6.575 0491.388 607NSCT6.535 0311.487 682NSCT-PCNN6.964 3842.163 878本文算法7.072 2462.736 526

5 結(jié)論

本文根據(jù)NSCT和PCNN的特點(diǎn)，提出一種在圖像NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見(jiàn)光圖像融合新方法。該方法的最大特點(diǎn)是在源圖像NSCT變換域上，使用各子帶系數(shù)的空間頻率SF作為神經(jīng)元的自適應(yīng)連接強(qiáng)度系數(shù)，使用改進(jìn)的拉普拉斯能量和SML激勵(lì)PCNN中的每個(gè)神經(jīng)元。實(shí)驗(yàn)結(jié)果表明，本文方法能更好地保留可見(jiàn)光圖像的背景信息和紅外圖像的目標(biāo)信息，在視覺(jué)效果方面更符合人眼的視覺(jué)系統(tǒng)。雖然PCNN的簡(jiǎn)化模型易于并行實(shí)現(xiàn)，但NSCT的計(jì)算復(fù)雜度較高，融合過(guò)程耗時(shí)；因此如何提高運(yùn)算速度有待于進(jìn)一步研究。

[1]Do M N，Martin V. The Contourlet Transform: an Efficient Directional Multiresolution Image Representation [J]. IEEE Transactions on Image Processing，2005，14(12)：2091-2106.

[2]Da Cunha A L，Zhou J，Do M N. The Nonsubsampled Contourlet Transform: Theory, Design, and Applications [J]. IEEE Transactions on Image Processing，2006，15(10)：3089-3101.

[3]Eckhorn R，Reitboeck H J，Arndt M，et al. Feature Iinking Via Synchronization Among Distributed Assemblies: Simulations of Results from Cat Visual Cortex [J]. Neural Computation，1990，2(3)：293-307.

[4]張軍英，梁軍利. 基于脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合[J]. 計(jì)算機(jī)仿真，2004，21(4)：102-104.

[5]Wang Z B，Ma Y D，Cheng F Y, et al. Review of Pulse-coupled Neural Networks [J]. Image and Vision Computing, 2010，28：5-13.

[6]房華. 脈沖耦合神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用研究[D]. 西安：西安石油大學(xué)，2010.

[7]Huang W，Jing Z L. Evaluation of Focus Measures in Multi-focus Image Fusion [J]. Pattern Recognition Letters，2007，28：493-500.

[8]夏加星，段先華，魏世超. 利用鄰域激勵(lì)的自適應(yīng)PCNN 進(jìn)行醫(yī)學(xué)圖像融合[J]. 計(jì)算機(jī)應(yīng)用研究, 2011, 28(10)：3929-3933.

[9]Qu X B，Yan J W，Xiao H Z，et al. Image Fusion Algorithm Based on Spatial Frequency-Motivated Pulse Coupled Neural Networks in Nonsubsampled Contourlet Transform Domain[J]. Acta Automatica Sinica，2008，34(12)：1508-1514.

[10] 任國(guó)超，師黎. 基于2v-SVM和一致性檢驗(yàn)的醫(yī)學(xué)圖像融合算法[J]. 計(jì)算機(jī)工程與應(yīng)用，2010，46(13)：199-201.

[11] Xu L，Du J P，Li Q P. Image Fusion Based on Nonsubsampled Contourlet Transform and Saliency-Motivated Pulse Coupled Neural Networks [J]. Mathematical Problems in Engineering， vol2013，Article ID 135182，10 pages，2013.

[12] 李美麗，李言俊，王紅梅，等. 基于NSCT 和PCNN 的紅外與可見(jiàn)光圖像融合方法[J]. 光電工程，2010，37(6)：90-95.

[13] 趙飛翔，陶忠祥. 基于NSCT的紅外與可見(jiàn)光圖像融合[J]. 電光與控制，2013,20(9)：29-33.

[14] 馬義德，李廉，綻琨，等. 脈沖耦合神經(jīng)網(wǎng)絡(luò)與數(shù)字圖像處理[M]. 北京：科學(xué)出版社，2008：1-17.

[15] 敬忠良，肖剛，李振華. 圖像融合：理論與應(yīng)用[M]. 北京：高等教育出版社，2007：73-83.