基于NSST和自適應PCNN的圖像融合算法

江 平，張 強，李 靜，張 錦

（合肥工業大學數學學院，安徽合肥230009）

基于NSST和自適應PCNN的圖像融合算法

江 平，張 強，李 靜，張 錦

（合肥工業大學數學學院，安徽合肥230009）

針對紅外和可見光圖像的特點，本文提出了一種基于非下采樣剪切波變換（NSST）和自適應的脈沖耦合神經網絡（PCNN）相結合的紅外與可見光圖像融合的新算法。對經過NSST變換后的低頻子帶系數采用帶高斯權重分布矩陣的局域方差和方差匹配度相結合的融合規則，對高頻子帶系數采用一種改進的空間頻率作為PCNN輸入，且采用改進的拉普拉斯能量和作為PCNN的鏈接強度，利用PCNN全局耦合性和脈沖同步性選擇高頻子帶系數，最后經NSST逆變換后得到融合結果。實驗結果表明，本文提出的算法與傳統的圖像融合算法相比不僅在主觀視覺上取得較好的效果，而且在客觀標準上也有了一定的提高。

圖像融合；非下采樣剪切波變換（NSST）；脈沖耦合神經網絡（PCNN）；空間頻率；拉普拉斯能量和

1 引 言

隨著紅外成像技術的飛速發展，紅外與可見光圖像融合成為圖像處理領域的研究熱點［1－2］。融合后的圖像可以有效地綜合紅外圖像目標特征和可見光圖像中場景細節信息。小波變換具有良好的方向性和局部化特征可以較好地表示圖像的細節信息，但小波變換在一維時的優良特性并不能簡單地推廣到二維或更高維。于是，多尺度幾何分析受到廣泛關注主要有Ridgelet、Curvelet、Contourlet、Shearlet等變換工具。Contourlet變換（CT）是由DO等人［3］提出，其與小波分析相比具有良好的多分辨率和方向性但缺乏平移不變性，為此Cunha等人［4］提出非下采樣Contourlet變換（NSCT）。但是NSCT計算復雜度較高運行時間較長，Guo等人［5］提出了Shearlet變換（ST），ST與CT相比它沒有方向數目和支撐基尺寸大小的限制且計算效率更高，并在圖像融合中取得不錯的效果［6］。然而由于ST不具備平移不變性，在圖像融合時易在奇異點附近產生偽吉布斯現象。于是，Easley等人［7］提出了NSST，它具備剪切波的所有優點且有平移不變性。NSST在圖像融合中的應用仍處于探索階段，雖然曹等人［8］利用NSST進行圖像融合，但是他們沒有分析和討論分解子圖的融合規則，因此有必要進一步探究NSST在圖像融合中的應用。

PCNN是Eckhorn等人［9］通過模擬貓的大腦視覺皮層中同步脈沖發放現象提出的模型，其具有全局耦合性和脈沖同步性，被廣泛應用于圖像融合［6，10－11］。Broussard等人［10］首先將PCNN應用于圖像融合中，證實了PCNN用于圖像融合的可行性。之后肖等人［11］提出了一種結合NSCT和PCNN的圖像融合算法，但是由于他們沒有考慮到鏈接強度β是個變量，因而融合效果不理想。綜上，本文采用改進的拉普拉斯能量和作為PCNN的鏈接強度β，且采用改進的空間頻率作為PCNN的輸入。

2 基礎知識

2.1 NSST理論［12］

當維數n＝2時，具有合成膨脹的放射系統定義為：

式中，ψ∈L2（R2）；A和B是2×2可逆矩陣；｜det B｜＝1。如果MAB（ψ）具有如下形式的緊框架條件，則MAB（ψ）中的元素稱為合成小波，即對?f∈L2（R2），有：

NSST離散化過程是由多尺度剖分和方向局部化構成：（1）多尺度剖分。通過非下采樣金字塔組實現，圖像經k級非下采樣濾波器分解可以得到（k＋1）個與原圖像大小相同的子帶圖像，其中包括1個低頻和k個高頻子圖；（2）方向局部化。NSST和ST不同，NSST的方向局部化是通過改進的剪切波濾波器實現，標準的剪切濾波器是在偽極化網格中通過窗函數的平移操作實現，執行過程中需要進行下采樣操作，因而不具有平移不變性，而NSST把標準的剪切波濾波器從偽極化網格系統映射回到笛卡爾坐標系統，通過逆傅里葉變換，最后直接通過二維卷積就可完成其操作［7］，因而避免了下采樣操作而滿足平移不變性。

2.2 PCNN理論

PCNN由多個神經元組成，每個神經元由三部分組成：接收域、調制域及脈沖產生器。

PCNN中圖像每個像素點對應一個神經元，為了更好地將其應用于圖像處理中，人們提出了各種改進模型。本文采用的是一種簡化模型［2］，其數學表達式如下：

式中，n是迭代次數；（i，j）表示剪切波系數在l尺度k方向的位置；（i，j）是神經元之間的鏈接權值矩陣；a，b是PCNN中鏈接范圍大小；（i，j）和（i，j）分別是反饋輸入和鏈接輸入；Il，k（i，j）是外部輸入刺激矩陣；（i，j）為內部活躍性總數；（i，j）為神經元間的鏈接強度；（i，j）為閾值；VL是鏈接輸入放大系數；Vθ是閥值放大系數；αL和αθ分別為鏈接輸入和變閥值函數的時間常數；（i，j）為PCNN的脈沖輸出。如果Ul，k（i，j）＞（i，j），則神經元產生一個脈沖Yl，k（i，j）＝1，稱為一次點火。

3 基于NSST與自適應PCNN的圖像融合規則

假定待融合的紅外圖像（I）和可見光圖像（V）已經過幾何配準處理，圖像融合流程如圖1所示，融合步驟為：

（1）對I和V分別進行NSST分解，得到各自的圖像分解后NSST系數：｛CI｝（l≥1）和｛CV，｝（l≥1）。其中，CI和CV為低頻子帶系數和ClV，k為l尺度下k方向上高頻子帶系數。

（2）對低頻子帶系數和各高頻子帶系數使用不同的融合策略，獲得融合后的系數｛CF，Cl，kF｝（l≥1）其中，CF為融合后圖像的低頻子帶系數；Cl，kF為融合后圖像在l尺度下k方向上的高頻子帶系數。

（3）對融合后系數進行NSST逆變換，得到最終的融合圖像F。

圖1 紅外和可見光圖像融合流程圖

3.1 低頻子帶系數融合規則

圖像經過NSST變換后得到的低頻部分代表了圖像的近似分量，包含了源圖像大量的能量信息。如果低頻系數采用常規的融合算法，如加權平均法有可能丟失源圖像中的一些重要信息或與源圖像形成較大的灰度差異。圖像的區域方差則反映了局部區域內圖像信息量的豐富程度，因此本文采用局部區域方差匹配的融合規則對低頻系數進行處理。

區域方差定義為：

式中，ˉC為所選區域的灰度均值；CS（i，j）為紅外（或可見光）圖像低頻子帶系數在點（i，j）時的灰度值；G為以點P（k1，k2）為中心大小為M×N（本文取3× 3）的局部區域；w（i，j）是以點P為中心時矩陣各點的對應高斯權重分布系數，離點P越近權值越大，權值是通過行和列的高斯分布加權相加得到的。

局部區域的方差匹配度MS（k1，k2）定義為：

設α為方差匹配度閾值，本文取α＝0.5。

當MS（k1，k2）＜α時，表明兩個區域的相關性差，區域方差大表示該區域包含更豐富的細節信息，因此采用方差取大的融合策略：

當MS（k1，k2）≥α時，表明兩個區域的相關程度高，兩個區域都包含相當的細節信息，因此采用加權平均融合策略：

式中，Wmin和Wmax為定義的自適應因子且：

3.2 高頻子帶系數融合規則

3.2.1 改進的空間頻率作為PCNN的刺激輸入

由于NSST的高頻子帶系數代表了圖像的細節分量，如邊緣、直線、區域邊界等。在文獻［1］中，方勇等人首先成功地把PCNN應用到紅外與可見光圖像融合中，但他直接使用子帶系數刺激PCNN，事實上人們對邊緣等特征更加敏感。因此，單純使用子帶系數作為輸入是不夠的。圖像的空間頻率反映了一幅圖像的總體活躍程度，空間頻率越大圖像越活躍、越清晰，因此在文獻［13］中，屈等人使用空間頻率作為PCNN的輸入，取得了一定的效果。

對于M×N的矩陣，空間頻率［13］定義為：

式中，RF表示行頻率；CF表示列頻率且：

由于式（7）中定義的空間頻率只描述了水平和垂直信息而缺乏對角信息，這樣就使得融合結果可能丟失很重要的細節信息。鑒于此，本文提出了一種改進的空間頻率（MSF）。MSF包含了行頻率（RF），列頻率（CF），對角頻率（DF1，DF2）。

對于M×N的矩陣，改進的空間頻率定義為：

3.2.2 改進的拉普拉斯能量和作為鏈接強度β

在PCNN模型中的鏈接強度β表示當前神經元與其他神經元鏈接的強度，在圖像中表現為當前像素值與其周圍像素值的緊密聯系。在傳統的PCNN融合算法中，β取固定的常數。根據生理學和心理學研究發現，人眼對特征明顯區域的反應要比不明顯區域反應強烈，不可能每個神經元的鏈接強度都相同［14］，而拉普拉斯能量和可以很好的反映圖像的邊緣特征信息，文獻［15］利用拉普拉斯能量和進行圖像融合取得了較好的效果。

拉普拉斯能量和［15］定義為：

其中：

改進的拉普拉斯能量和定義為：

3.2.3 高頻子帶系數的判決選擇

PCNN點火次數的大小反映了神經元所受到外部刺激的大小，表征了NSST變換中所含細節信息的多少，因此選取點火次數大的點所對應的NSST系數可得到更多源圖像細節信息。選取步驟如下：

（2）當PCNN迭代到N時，由式（11）可以得到了一幅由Dl，k（i，j）表征的點火頻率映射圖：

（3）根據式（12）選取點火次數大的點所對應的NSST系數作為最后融合圖像的高頻子帶系數：

4 仿真實驗及結果分析

本文采用嚴格配準的紅外與可見光圖像（大小均為256×256）進行仿真實驗。將本文的算法與以下算法進行比較：基于梯度金字塔變換的融合算法（記為GP-mean-max）、基于離散小波變換融合算法（記為DWT-mean-max）、基于CT的融合算法（記為CT-mean-max）、基于ST的融合算法（記為ST-mean-max）、基于NSST的融合算法（記為NSST-mean-max），這些算法均采用低頻子帶系數取平均，高頻子帶系數取絕對值最大的融合規則；QU等人［13］提出的基于NSCT的融合算法（記為NSCT-mean-SFPCNN）和基于NSST的融合算法（記為NSST-mean-SFPCNN）融合規則均為低頻子帶取平均高頻子帶以空間頻率為輸入矩陣的PCNN。本文中PCNN的參數選取如下：N＝200，αL＝1.0，αθ＝0.2，VL＝1.0，Vθ＝20，a×b＝3×3 W＝［0.707 1 0.707； 1 0 1； 0.707 1 0.707］。

為了定量評價融合效果，本文采用標準差、信息熵、互信息［17］和QAB／F［18］作為客觀評價指標。標準差（STD）反映了灰度相對灰度均值的離散程度，標準差越大融合效果越好；信息熵（En）表示圖像中所包含的平均信息量的多少；互信息（MI）是計算源圖像有多少信息轉移到融合后的圖像中，互信息越大，說明該方法攜帶的信息量越大；QAB／F是衡量有多少邊緣信息從源圖像中轉移到融合圖像中，其值越大融合效果越好。

圖2（a）為紅外圖像能夠清晰看到一個欲穿過柵欄的人，但其他景物較模糊。圖2（b）為同一場景的可見光圖像，由于光線較暗，很難辨別可見光中的人，但柵欄、路、方桌、灌木叢等景物較清晰。圖2（c）～圖2（i）是本文選取的經典融合算法融合圖像，圖2（j）是本文算法的融合圖像。從主觀評價看，基于梯度金字塔的融合圖像對比度比較低，圖像較模糊；基于小波的融合效果雖有些改善但仍存在明顯的波紋干擾；基于CT及ST，融合效果有一定的提高，但有明顯的Gibbs塊狀效應，容易產生虛影模糊；至于NSST-mean-max、NSST-mean-SFPCNN這兩種算法雖然使用了NSST變換但是由于融合規則的不足，融合效果仍不是很理想。而本文融合算法由于NSST具有方向敏感性等優良特性，可以提供不同的邊緣和細節信息，再加上提出的融合規則可以在一定程度上改善其清晰度、對比度，細節信息相對更豐富，人的目標更清晰突出，有利于目標的識別與檢測。

圖2 源圖像與融合結果圖

表1 融合結果的客觀評價數據

從客觀評價看，表1給出了不同融合算法融合后的標準差、信息熵、互信息及QAB／F值，由表中可以看出本文提出算法的客觀數據都高于其他算法，其結果基本與視覺特性保持一致。

5 結束語

本文提出了一種新的基于NSST和自適應PCNN的圖像融合算法。NSST作為一種新的多尺度幾何分析工具，可以多尺度多方向地描述圖像，其執行過程更高效。為了更有效地利用PCNN的優良特性，本文采用改進的拉普拉斯能量和作為PCNN的鏈接強度和改進的空間頻率作為PCNN的輸入。實驗結果表明，本文算法可以有效地綜合紅外圖像的目標特征信息和可見光圖像的場景細節信息，證實了本文算法是一種有效的融合算法。

［1］ Fang Y，Liu SP.Infrared image fusion algorithm based on contourlet transform and improved pulse coupled neural networks［J］.China Patent1873693A，December 2006.

［2］ Li Meili，Li Yanjun，Wang Hongmei，et al.Fusion algorithm of infrared and visible images based on NSCT and PCNN［J］.Opto-Electronic Engineering，2010，37（6）：90－95.（in Chinese）李美麗，李言俊，王紅梅，等.基于NSCT和PCNN的紅外和可見光圖像融合方法［J］.光電工程，2010，37（6）：90－95.

［3］ Do M N，VetterliM.The contourlet transform：an efficient directionalmultiresolution image representation［J］.IEEE Transactions on Image Processing，1992，40（4）：882－893.

［4］ Cunha A L，Zhou JP，DO M N.The nonsubsampled cont-ourlet transform：theory design and application［J］.IEEE Transactions on Image Processing，2006，15（10）：3089－3101.

［5］ Guo K，Labate D.Optimally sparsemultidimensional representation using shearlets［J］.SIAM Journal on Mathematical Analysis，2007，39（1）：298－318.

［6］ Wang ZH，Wang JQ，Zhao DG，etal.Image fusion based on shearlet and improved PCNN［J］.Laser＆Infrared，2012，42（2）：213－216.（in Chinese）王朝暉，王佳琪，趙德功，等.基于Shearlet與改進PCNN的圖像融合［J］.激光與紅外，2012，42（2）：213－216.

［7］ Easley G，Labate D，Lim W Q.Sparse directional image representation using discrete shearlet transform［J］.Applied and Computation Harmonic Analysis，2008，25（1）：25－46.

［8］ Cao Y，Li ST.Multifocus image fusion by nonsubsampled shearlet transform［C］／／Proc.IEEE 6thInt.Conf.on Image and Graphics，IEEE Press，Piscataway，NJ，2011，17－21.

［9］ Eckhorn R，Reiboeck H J，Arndt M，et al.Feature linking via synchronization among distributed assemblies：simulation of results from cat cortex［J］.Neural Computation，1900，2：293－307.

［10］Broussard R P，Pogers S K，Oxley M E，et al.Physiologicallymotivated image fusion for object detection using a pulse coupled neural network［J］.IEEE Transactions on Neural Networks，1999，10（3）：554－563.

［11］XiaoW，Wang R F.Image fusion algorithm based on nonsubsampled contourlet transform and pulse coupled neural network.［J］.Comput.Appl.，2008，28（S2）：164－167.

［12］Jiao Licheng，Hou Biao，Wang Suang，et al.Image multiscale geometric analysis：theory and applications［M］. Xi’an：Xidian University Press，2008.（in Chinese）焦李成，候彪，王爽，等.圖像多尺度幾何分析理論與應用［M］.西安：西安電子科技大學出版社，2008.

［13］Qu X B，Yan JW，Xiao H Z，et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain［J］.Acta Autom Sin.，2008，34（12）：1508－1514.

［14］Wang Zhihui，Zhao Baojun，Shen Tingzhi.Image fusion based on MMPN and adjustable linking strength［J］.Acta Electronica Sinica，2010，38（5）：1162－1166.（in Chinese）王志慧，趙保軍，沈庭芝.基于MMPN和可調節鏈接強度的圖像融合［J］.電子學報，2010，38（5）：1162－1166.

［15］HuangW，Jing Z L.Evaluation of focusmeasures inmultifocus image fusion［J］.Pattern Recognition Letters，2007，28（4）：493－500.

［16］Hu Gang，Ji Xiaomin，Liu Zhe，et al.Regional feature selfadaptive image fusion method based on nonsubsampled steerable pyramid transform［J］.Journal of Computer-Aided Design＆Computer Graghics，2012，24（5）：637－648.（in Chinese）胡鋼，吉曉民，劉哲，等.結合區域特性和非下采樣SPT的圖像融合方法［J］.計算機輔助設計與圖像學報，2012，24（5）：637－648.

［17］Qu G H，Zhang D L，Yan P F.Information measure for performance of image fusion［J］.Electronics Letters，2002，38（7）：313－315.

［18］Petrovic V，Xydeas C.On the effects of sensor noise in pixel-level image fusion performance［C］.Proceedings Of the Third International Conference on Information Fusion，IEEE Press，2000，2：14－19.

Fusion algorithm for infrared and visible image based on NSST and adaptive PCNN

JIANG Ping，ZHANG Qiang，LIJing，ZHANG Jin
（School of Mathematics，Hefei University of Technology，Hefei230009，China）

Aiming at the feature of infrared and vision images，a new fusion algorithm which combines nonsubsampled shearlet transform（NSST）with adaptive pulse coupled neural network（PCNN）is presented.For the low-frequency sub-band coefficients，a fusion rule which combines local variance with a Gaussian weight distribution matrix after NSST transform with variancematching is used.For the high-frequency sub-band coefficients，an improved spatial frequency as the input of the PCNN is used，and the improved sum of Laplace energy as the PCNN link strength is used.The high-frequency sub-band coefficients are selected by using the global coupling and pulse synchronization of PCNN，and finally fusion results are obtained by inverse NSST transform.The experiment results show that compared to the traditional image fusion algorithms，the proposed algorithm achieves better results in the subjective visual and also improves the objective criteria in some extent.

image fusion；nonsubsampled shearlet transform（NSST）；pulse coupled neural network（PCNN）；spatial frequency；the sum of Laplace energy

TP391

A

10.3969／j.issn.1001-5078.2014.01.024

1001-5078（2014）01-0108-06

江 平（1972－），女，副教授，博士，研究方向為應用數值逼近，幾何造型，圖形圖像處理等。E-mail：jiangping_72＠sina.com

2013-04-27；

2013-06-27