基于小波分解的PCNN遙感圖像融合算法

符 強，任風華，蔣昌茂，紀元法，趙嶺忠

（1.桂林電子科技大學 信息與通信工程學院，廣西 桂林 541004；2.桂林師范高等?？茖W校，廣西 桂林 541002）

遙感圖像（包括航空攝影像片和航天遙感圖像）以特定的空間分辨率和波譜段，如實地、無遺漏地記錄地面上的一切客體和地面以下的部分地理信息.無論是全色圖像、多光譜圖像、紅外圖像或全息圖像，都是地面的綜合圖像.高空間分辨率全色圖像反映了空間結構信息，能夠詳盡地表達地物的細節特征；低空間分辨率多光譜圖像的光譜信息豐富，有利于對地物的識別與解釋.將全色圖像和多光譜圖像進行融合，盡量增強多光譜圖像的空間分辨率，可以改善后續處理效果，在土地利用調查、城區識別和森林資源調查等遙感應用領域中有著極其重要的作用［1－2］.

目前關于多光譜圖像與高分辨率圖像的融合方法主要有IHS變換方法、主成分分析法（PCA）、纓帽變換法（BT）、基于張量積離散小波變換（DWT）的融合方法及基于ARSIS概念的融合方法等.在這些方法中，使用最廣泛的是IHS變換方法和小波變換方法.IHS變換方法和小波變換方法都有其不足：IHS變換方法能得到高空間分辨率的圖像，但融合結果圖像的光譜信息損失嚴重；采用離散小波變換方法所得融合結果圖像有好的光譜信息，但其空間分辨率低，且由于對圖像進行分解和重構時進行了抽樣，使得融合結果圖像中有方塊效應［3－5］.

基于上述不足，本文提出了一種新的圖像融合方法，即將小波變換和符合生物視覺特性的脈沖耦合神經網絡（PCNN）相結合進行遙感圖像的融合方法.為了不損失光譜信息，在小波基的選擇上進行了對比，并選取了圖像保光譜性的DB1作為小波基；同時，為保證融合后圖像具有詳盡的空間結構信息和豐富的光譜信息，在融合算法中采用了對比度與脈沖耦合神經網絡相結合的方法來完成融合系數的選擇.

1 圖像小波的分解

Mallat在Burt和Adelson的塔形圖像分解和重構算法的啟發下，提出了小波變換的Mallat快速算法.若設H（低通）和G（高通）為兩個一維鏡像濾波算子，其下標r和c分別對應于圖像的行和列，則按照二維Mallat算法，在尺度j－1上有如式（1）的Mallat分解公式：

其中，Cj，D1j，D2j，D3j分別對應于圖像Cj－1r低頻成分、垂直方向上的高頻成分、水平方向上的高頻成分和對角方向上的高頻成分.與之相應的二維圖像的Mallat重構算法如式（2）：

其中，H＊和G＊分別為H和G的共軛轉置矩陣［3，8］.

為了使圖像在分解和重構過程中，損失的信息更少，本文對Daubechies（DBN）、Coiflets（coiefN）、Syslets（symN）、Discrete Meyer wavelet（dmey）、BiorSplines（biorNr.Nd）小波基進行了對比，最后選取了DB1作為本文小波變換的小波基［9］.

2 圖像處理中的PCNN模型

PCNN是由若干個神經元互相連接而成的反饋型網絡，其每一神經元由3部分組成：接收部分、調制部分和脈沖產生部分.PCNN用于圖像處理時，是一個單層二維的局部連接的網絡，神經元的個數等于輸入圖像中的像素點的個數，神經元與像素點一一對應.為了更好地將其用于圖像處理，人們提出了各種改進模型.本文采用的是文獻［2］中提出的一種簡化模型，其數學方程描述如式（3）所示：

其中，i，j是神經元的標號，Fij（n）是（i，j）神經元在第n次迭代時的反饋輸入，Iij（n）為外部輸入刺激信號（在圖像處理中，則為第（i，j）個像數的灰度值）；Lij（n）是神經元的鏈接輸入，β是鏈接強度，T為閾值，Uij（n）是神經元的內部行為，Yij（n）則是第n次迭代時（i，j）神經元的輸出；w為神經元之間的連接權系數矩陣，VL是連接輸入的放大系數；θij和Vθ是變閾值函數輸出和閾值放大系數，αL和αθ分別為鏈接輸入和變閾值函數的時間常數.n表示迭代次數.如果Uij（n）大于θij（n），則神經元產生一個脈沖，稱為一次點火.事實上，n次迭代以后，人們常利用（i，j）神經元總的點火次數來表示圖像對應處的信息.經過PCNN點火，由神經元總的點火次數構成的點火映射圖作為PCNN的輸出［5－7］.

3 圖像的融合算法

3.1 算法步驟

本文融合算法的步驟如下：

1）對多光譜圖像進行IHS變換，將其分解為強度I、色調H和飽和度S的3個近似正交分量，并將高分辨率圖像與強度分量I進行直方圖像匹配；

2）對匹配后的高空間分辨率圖像和強度分量I進行小波分解；

3）為了提高圖像的對比度和邊緣特殊，小波分解后的低頻系數采用基于邊緣的選擇方案；

4）小波分解后的高頻系數采用改進的PCNN融合算法；

5）最后將融合得到的I分量進行小波反變換得到I，再結合色調分量H、飽和度分量S進行IHS反變換得到最后融合結果.

3.2 低頻系數融合方法

圖像低頻的變化反映圖像的信息量和清晰程度，低頻變化越大的圖像越清晰.一方面，低頻信息包含圖像的大量信息，是圖像變化緩慢的部分，然而經典算法往往注重研究高頻信息的變化特性，而忽略低頻信息的變化，這會導致融合圖像的對比度不高、圖像模糊.另一方面，圖像的低頻為圖像中變化緩慢的分量，僅僅考慮其變化會在一定程度上造成圖像的斑點效應.本文采用Laplacian算子來對低頻系數進行融合可以克服大多數頻率域算法因為忽略了圖像低頻變化對圖像的影響而導致的圖像清晰度不夠的缺點.

3.3 高頻系數融合方法

在選擇高頻系數時，由于傳統的基于PCNN的圖像融合中，所有神經元的鏈接強度都取相同的數值，但是在人眼視覺系統中，視覺對于特征明顯區域的反應比特征不明顯的區域反應強烈，不可能每個神經元的鏈接強度都相同.因此，我們有理由認為PCNN中神經元鏈接強度的取值與對應像素的特征有一定的關系，而不是固定的常數.

為了得到更合理的PCNN神經元鏈接強度的取值，本文采用基于小波方向對比度作為PCNN神經元鏈接強度的值.文獻2在研究對比度金字塔時提出了局部亮度對比度的定義，如式（4）所示：

式中，L為圖像局部亮度；LB為圖像的局部背景亮度，可以認為低頻分量，LH＝L－LB是局部亮度減去局部背景得到的局部細節，可以認為是高頻分量，文獻3結合式（4）表達的意義，定義了小波對比度如式（5）：

式中，Al－1為圖像在2j－1分辨率上的低頻近似分量；為圖像在2l－1分辨率上的垂直高頻細節；為圖像在2l－1分辨率上的水平高頻細節；為圖像在2l－1分辨率上的對角高頻細節.經過式（5）的計算得到了在2l－1分辨率上的對比度值分別為

改進的基于PCNN的融合步驟如下：

1）利用式（5）計算在2l－1分辨率上的垂直方向、水平方向和對角方向上的對比度值；

2）將以上的對比度值分別作為2l－1分辨率在不同方向上PCNN中相應神經元的鏈接強度值；

3）根據式（3）計算每個方向上的PCNN的點火次數；

4）最后比較兩幅圖像的點火次數來選擇高頻系數.

4 實驗結果與分析

為了驗證算法的有效性，本文選取一組全色光圖像和多光譜圖像進行融合試驗.將本文算法（方法4）與目前圖像融合處理中常用的Laplacian金字塔方法（簡稱為方法1）、傳統的基于小波方法（簡稱方法2）和傳統的基于NSCT的融合方法（簡稱為方法3）作比較；其中方法1和方法2中融合規則都采用低頻系數取平均值，高頻系數采用區域能量法；方法3中的低頻系數采用平均值，高頻子帶系數采用邊緣法.

圖1 多光譜與全色圖像及融合結果Fig.1 Multispectral image，Panchromatic image and the fusion results of every method.

實驗結果如圖1所示，圖1（a）為多光譜圖像，圖1（b）為全色圖像，圖1（c）為方法1融合結果，圖1（d）為方法2融合結果，圖1（e）為方法3融合結果，圖1（f）為本文算法融合結果.從視覺效果方面看：在頻譜信息表現方面，3種方法得到的融合結果分別有不同程度的顏色失真，其中方法1較為嚴重，相反地，本文方法得到的融合效果較好；在空間細節信息表現方面看，3種方法和本文方法得到的效果都較好.

為了進一步對融合效果進行評價，本文采用熵、標準差、互信息和光譜所扭曲度客觀評價指標對上述四種方法進行客觀比較.其中熵是圖像信息豐富程度的一個重要指標；圖像的標準差反映了圖像像素值的分布情況；互信息是計算源圖像有多少信息轉移到了融合結果中，數值越大，說明融合結果越好；圖像的扭曲度則直接反映了多光譜圖像的光譜失真程度，光譜扭曲度越大，這表明其光譜信息保持最差.通過表1中可知，不同的融合方法得到熵、互信息、標準差、光譜扭曲度的值都不同；通過比較，本文算法在熵、互信息、標準差、光譜扭曲度的指標中效果都是最好的；需要注意的是，該算法性能的提高是以復雜度的增加作為代價的.

表1 融合算法性能的比較Fab.1 Compare of the fusion algorithm

5 結論

圖像對比度的變化反映了圖像內各個對象的差異，更加適合人眼的生理視覺特點；神經元的鏈接強度β反映網絡中神經元之間耦合關系的強弱.本文提出的基于小波分解的自適應PCNN遙感圖像融合算法，是在PCNN神經網絡脈沖數（即點火次數）基礎上采用基于小波方向對比度作為PCNN神經元鏈接強度的值，用符合人類視覺特性的圖像對比度來進行調節，是一種可調節鏈接強度的圖像融合算法.仿真實驗表明，該算法在融合后的圖像中空間結構信息和光譜信息都得到明顯的提高，說明該算法有效、可行、性能良好，對于進一步深入研究利用PCNN及小波變換實現圖像融合有重要的意義.

［1］Zhongni Wang，Xianchuan Yu.A Remote Sensing image fusion algorithm based on constrained nonnegative matrix factorization［J］.Image and Signal Processing，2008，672－676.

［2］Shaohui Chen，Renhua Zhang.SAR and multispectral image fusion using generalized IHS transform based on a trous wavelet and EMD decompositions［J］.Sensors Journal，2010，10（3）：737－745.

［3］陳 浩，王延杰.基于小波變換的圖像融合技術研究［J］.微電子學與計算機，2010，27（5）：39－41.

［4］Zhenhua Li，Henry Lenug.Fusion of multispectral and panchromatic images using a estoration－based method［J］.2009，47（5）：1482－1491.

［5］李美麗，李言俊，王紅梅，等.基于NSCT和PCNN的紅外與可見光圖像融合方法［J］.光電工程，37（6）：90－95.

［6］王志慧，趙保軍，沈庭芝.基于MMPN和可調節鏈接強度的圖像融合［J］.電子學報，2010，38（5）：1162－1166.

［7］苗啟廣，王寶樹.一種自適應PCNN多聚集圖像融合新方法［J］.電子與信息學報，2006，28（2）：466－470.

［8］王 麗，盧 迪，呂劍飛.一種基于小波方向對比度的多聚集圖像融合方法 ［J］.中 國圖象 圖形 學報，2008，13（1）：145－150.

［9］龔建周，劉彥隨，夏北成，等.小波基及其參數對遙感影像融合圖像質量的影響［J］.地理與地理信息科學，2010，26（2）：6－10.

［10］吳 艷、李 明，楊萬海，等.多光譜與高分辨率圖像融合的新算法［J］.西安電子科技大學學報：自然科學版，2008，35（4）：696－702.

［11］洪日昌，吳秀清，袁 勛.基于雙正交多小波變換的多光譜與全色圖像融合研究［J］.中國圖象圖形學報，2007，12（4）：684－690.