基于多小波的高分辨率與多光譜圖像融合

劉佳，段先華，孫慶國

（江蘇科技大學 計算機科學與工程學院，江蘇 鎮江 212003）

圖像以特定的空間分辨率和波譜段記錄地面上的一切客體和地面以下的部分地理信息。高空間分辨率全色圖像反映了空間結構信息，能夠詳盡地表達地物的細節特征；低空間分辨率多光譜圖像的光譜信息豐富，有利于對地物的識別與解釋。將高分辨率的全色圖像與含有豐富光譜信息的多光譜圖像進行有效地融合，得到一幅既保持豐富光譜信息又有較高分辨率的圖像。

感圖像融合中，較成熟的像素級融合方法主要有線性加權平均算法，HIS變換法，PCA變換法，小波變換法以及這幾種不同方法結合的方法[1-3]。線性加權平均算法雖然簡單運算量小，但是每幅原圖像特征被極大的削弱了，融合效果欠佳。而HIS變換直接替換融合法由于高分辨率圖像和多光譜圖像的成像原理等條件存在很大差異，造成這兩種圖像之間相關性弱，因此會降低圖像的光譜信息。而直接小波變換會丟失原始圖像一些邊緣信息，造成細節不夠清晰，紋理比較粗糙[1]，另外小波變換是依賴于小波基可以用較少的非零小波系數去逼近實際函數，因此選擇小波基應該是以盡量產生接近于零的小波系數為最優，但是這需要小波基的一些特性為前提，正交性確保圖像分解系數不具有冗余性；緊致性保證濾波器的有限響應；對稱性適合于人眼的視覺系統；但是Duabechies等人證明在實數域中除Harr小波外，對稱、正交、緊支集非平凡單小波基是不存在的，這限制了單小波的應用。而多小波卻克服了這些，具有這些特性。1994年，Geronimo等人應用分形插值方法構造出了具有緊支撐，正交性，對稱性和二階消失矩的多小波中兩尺度函數。1996年，Geronimo等人再次應用分形插值方法構造出了GHM多小波系統，該系統由兩個尺度函數和兩個小波組成[4]。所以本文采用結合HIS變換與GHM多小波變換的變換方法。

變換方法之外，不同的融合規則的選擇對融合效果有重要的影響。第三代人工神經網絡脈沖耦合神經網絡（Pulse Coupled Neural Network，PCNN），是一種不同于傳統人工神經網絡的新型神經網絡。1989年，ReinhardEckhorn和Charles M.Gray研究了貓的大腦視覺皮層，提出了具有脈沖同步發放特性的網絡模型。1990年，ReinhardEckhorn根據貓的大腦皮層同步脈沖發放現象，提出了展示脈沖發放現象的連接模型。1994年，Johnson發表論文，闡述了PCNN的周期波動現象及在圖像處理中具有旋轉、可伸縮、扭曲、強度不變性，通過對Eckhorn提出的模型進行改進，就形成脈沖耦合神經網絡（PCNN）模型。Li等人[5]提出了一種基于小波包分解與PCNN相結合的圖像融合方法，它將PCNN網絡的脈沖輸出量作為圖像融合的準則，由于采用小波包對圖像進行處理，實驗結果表明該方法融合圖像后易出現邊緣移位的現象；武治國等人設計實現了一種基于自適應PCNN和小波變換的融合技術[6]，效果不錯。基于上述，本文采用了一種將HIS變換，多小波變換及PCNN神經網絡相結合的圖像融合算法。

1 相關圖像融合方法介紹

1.1 HIS變換及逆變換

人眼不能直接感覺紅、綠、藍三色的比例，而只能通過感知顏色的亮度、色調以及飽和度來區分物體，而色調和飽和度與紅、綠、藍的關系是非線性的。IHS模型是另一種表色系統，它是基于視覺原理的一個系統，定義了3個互不相關，相互獨立的屬性：明度（I），色調（H）和飽和度（S），可分別對它們進行控制來獲得不同的顯示效果。明度是指彩色光所引起的人眼對明暗程度的感覺，明度和照射光的強度有關。色調是指光的顏色，改變色光的光譜成分，就會引起色調的變化。色的飽和度是指色的顏色的深淺程度。HIS變換方法，將一幅彩色圖像的R、G、B成分分離成代表空間信息的明度（I）與代表光譜信息的色調（H）和飽和度（S）3個成分。變換方法有很多[3]，三角形法，圓柱體法，六棱錐法。本文采用圓柱體法。

1.2 多小波變換原理

小波變換是信號分析發展史上的里程碑。與單小波相比較，多小波同時具備諸如緊支性、正交性、對稱性等諸多在信號處理中非常重要的良好性質，決定了多小波是一種優于單小波的信號處理技術。在小波分析中，一個多分辨率分析是由一個小波函數平移與伸縮構成L2（R）空間的基。多分辨率分析多小波變換，則是多個小波函數平移與伸縮構成L2（R）空間的基，這些小波函數被稱為多小波。

方程（1）和（2）成為二尺度方程。r×r階矩陣序列{Hk}k∈Z和分別為低通濾波器和高通濾波器滿足其平移和伸縮形成正交補子空間的正交基，即Vj在Vj+1中的補子空間。

圖1為r=2的多小波的進行2層分解，當多小波分解進行到第L層，會生成一個包含3L+1塊矩陣的結共有（3L+1）r2個子圖像。

圖1 多小波的進行2層分解Fig.1 2 layer of multiwavelet decomposition

用離散的小波系數進行分解和重構的Mallat算法對于多小波同樣適用，多小波基于矢量濾波器對信號進行分解、重構。濾波對象必須是滿足一定要求的矢量信號。因此在進行多小波分解前必須通過前置濾波器對原始信號進行預處理得到初始矢量，預濾波方法有多種，常用的預濾波方法有：odd/even法，Haar法，標Haar法，平滑法[7]。然后在進行多小波變換，重構后的信號也要進行后處理才能得到最終結果。

本文以GHM多小波進行分解與重構，其中低通濾波器系數矩陣如下：

由于多小波變換具有矢量性，其變換系數表現出矢量性，所以在低頻分量采用矢量融合策略，綜合矢量的分量之間的關系[7]。

1.3 PCNN模型

PCNN是由若干個神經元互相連接而成的反饋型網絡，其每一個神經元由3各部分組成：接收部分、調制部分和脈沖產生部分，PCNN用于圖像處理時，是一個單層二維的局部連接的網絡，神經元的個數等于輸入圖像中的像素點的個數，神經元與像素點一一對應，人們并提出了很多模型，本文采用其中的一種簡化模型[8－9]，如圖2所示。

圖2 神經元簡化模型Fig.2 A simplified model of neuron

其數學方程描述

其中，i，j是神經元標號，Fij（n）是（i，j）神經元在第 n 次迭代時的反饋輸入。Iij（n）為外部輸入刺激信號，圖像中的像素值；Lij（n）是神經元的鏈接輸入，β 是鏈接強度，Yij（n）則是第次迭代時（i，j）神經元的輸出；Wij，pq為神經元之間的連接權系數矩陣，VL是連接輸入的放大系數；θij和Vθ是變閾值函數輸出和閾值放大的放大系數，αL和αθ分別為鏈接輸入和變閾值函數的時間常數，表示迭代次數。 若 Uij（n）＞θij（n），脈沖發生器打開則神經元產生一個脈沖，稱該神經元一次點火，輸出為1，之后θij在閾值信號發生器中通過反饋而迅速得到提高，當其提高到大于Uij時，脈沖發生器關閉，輸出為0，從而形成脈沖信號。

2 HIS變換，多小波變換及PCNN神經網絡相結合的圖像融合算法

2.1 基于HIS變換，多小波變換及PCNN相結合的圖像融合方法步驟

第1步：多光譜圖像空間配準。因為采用像素級融合，所以采用的圖像必須進行嚴格的配準。否則會嚴重影響融合結果。

第2步：多光譜圖像進行HIS變換。得到3個分量I、H、S。

第3步：將第2步得到的I分量與高分辨率圖像分別進行GHM多小波變換1級分解，預濾波采用”Odd/even”方法。

第4步：對上步分解后的子塊高低頻分別進行融合。

第5步：將融合后的F進行反GHM變換，然后在進行后處理濾波得到I′。

第6步：將I′與第2步得到H、S分量進行HIS逆變換得到融合結果。

2.2 低頻融合方法

低頻采用矢量加權平均[7]。令A，B為將待融合圖像多小波變換后的矢量，F為多小波變換域融合圖像矢量，即

式中 α，β 為加權系數（α，β 非負，α+β=1）。 采取。

2.3 高頻融合方法

在選擇高頻系數時，采用了PCNN方法。由于傳統的基于PCNN的圖像融合中，所有神經元鏈接強度取相同數值，但是單個神經元的點火會對其鏈接的鄰近神經元做出貢獻，鏈接強度β與圖像該像素處的特征信息有一定的關系，應該隨著圖像特征變化進行自適應地調整，這樣才可以有效地提取圖像細節信息。所以本文采用方向性信息來自適應鏈接強度[8]。高頻系數采用點火次數取大者作為融合后的圖像像素點。

3 實驗結果及分析

實驗環境：win7 64位系統，matlab R2010b

為了測試本文融合算法的有效性，用兩組IKONOS衛星圖像進行仿真實驗，采用IKNOS 1 m高分辨率圖像和4 m的多光譜數據。并與HIS變換直接替換I分量方法（簡稱方法1），HIS變換與單小波變換結合的方法（Daubechies小波系中‘db4’，n=3）（簡稱方法 2）， 基于多小波極大方差－極大能量的矢量方法（MV－ME）[7]（簡稱方法 3），參考文獻[8]中的方法（簡稱方法4）從平均梯度，偏差指數，信息熵3個方面進行融合結果比較。兩組實驗相應融合結果見圖3和圖4，相應數據結果比較見表1和表2。

本文所采用的方法中PCNN神經元的參數選擇[8]迭代次數選擇n=200

結果分析：

1）視覺方面：方法1，2的融合效果更清晰，其次清晰的是方法4和本文方法，方法3在這幾個方法中最不清晰，但是方法1和方法2光譜失真較其它方法嚴重。所以從視覺上綜合看方法4以及本文方法會令人滿意些，在提高空間分辨率的同時最大的保持了光譜特性。

2）客觀評價方面，本文從信息熵，平均梯度，偏差指數3個指標進行評價。熵是圖像信息豐富程度的一個指標。融合圖像的熵越大，則融合圖像的信息量越大。平均梯度可敏感的反映圖像對微小細節反差表達的能力，可以用來衡量圖像的清晰度，其越大越清晰。偏差系數反映了融合圖像與源圖像的光譜信息上的匹配程度，偏差系數越小，表明圖像融合效果越好。

圖3 5種方法融合結果Fig.3 Five results of fusion

圖4 5種方法融合結果圖像Fig.4 Five results of fusion image

表1 5種方法融合結果表格Tab.1 Table of fusion results

表2 5種方法融合結果表格Tab.2 Table of fusion results

①熵：方法2的熵最大，然后依次是本文方法＞方法3＞方法 1＞方法 4

②平均梯度：方法2＞方法1＞本文方法＞方法4＞方法3

③偏差指數：方法3<本文方法<方法4<方法2<方法1

方法1的3個指標都沒有方法2好。方法2偏差指數很大，說明光譜失真很嚴重。方法3清晰度很差。所以從以上數據顯示方法4和本文方法綜合起來效果比較好，但是時間上看方法4在多小波分解之后融合花費102.542秒而本方法花費46.094秒。綜上所述本文方法取得的結果綜合比較起來比其他方法好。

4 結 論

由于PCNN方法[10]計算有些復雜又有不斷的迭代計算，運行時間較作比較的方法有點長，所以低頻系數融合采用矢量加權，減少了PCNN方法計算次數，縮短了時間，實驗結果表明，本文方法在實驗效果綜合起來由于前3種方法，時間上優于第4種方法并保持了其效果。空間信息得到了提高，光譜信息失真也可容許。但是在高頻系數融合時采用的PCNN自適應鏈接強度β的選擇沒有進行更明確的比較研究，什么樣的方案更合適，而只是采用參考文獻中一種根據的方向信息決定的β，這點是應該做進一步研究的。

[1]朱福珍，李金宗，李冬冬.HIS變換與小波變換相結合的圖像融合新方法[J].計算機應用研究，2009，26（2）:784－786.ZHU Fu-zhen，LI Jin-zong，LI Dong-dong.New image fusion method based on combination of HIS and wavelet transform[J].Application Research of Computers，2009，26 （2）:784－786.

[2]張桂銘，朱小麗，張興明.基于HIS變換融合IKONOS不同分辨率影像[J].科技資訊，2009（20）：4－6 ZHANG Gui-ming，ZHU Xiao-li，ZHANG Xing-ming.Image fusion of IKONOS different resolution based on HIS[J].Science&Technology Information，2009（20）:4－6.

[3]王仁禮，戚銘堯.用于圖像融合的IHS變換方法的比較[J].測繪學院學報，2000，17（4）:269－272 WANG Ren-li，QI Ming-yao，WANG Hui.Comparative study on the method of HIS transformation for image fusion[J].Journal of Institute of Surveying and Mapping.，2000，17（4）:269－272.

[4]Geronimo J，Hardin D P，Massopust P.Fractal functions and wavelet expansions based on several scaling funxtions[J].J Approx Theory，1994（78）:373－401.

[5]LI W，ZHU X F.A new image fusion algorithmbased on wavelet packet analysis and PCNN[C]//Proceedings of the Fourth International Conference on Machine Learning and Cybernetics，2005:5297－5301.

[6]武治國，王延杰，李桂菊.應用小波變換的自適應脈沖耦合神經網絡在圖像融合中的應用 [J].光學精密工程，2010，18（3）:708－715.WU Zhi-guo，WANG Yan-jie，LI Gui-ju.Application of adaptive PCNN based on wavelet transform to image fusion[J].Optics and Precision Engineering，2010，18（3）:708－715.

[7]吳曉蓉，何明一.基于多小波分解的多光譜圖像矢量融合[J]. 電子與信息學報，2007，29（4）:789－794.WU Xiao-rong，HE Ming-yi.Vector fusion of multispectral images based on multiwavelet decomposition[J].Journal of Electronics&Information Technology，2007，29（4）:789－794.

[8]夏加星.醫學圖像融合方法研究[D].鎮江：江蘇科技大學，2012.

[9]王志慧，趙保軍，沈庭芝.基于MMPN和可調節鏈接強度的圖像融合[J].電子學校，2010（5）:1162－1166.WANG Zhi-hui，ZHAO Bao-jun，SHEN Ting-zhi.Image fusion based on MMPN and adjustable linking strength[J].ACTA Electronica Sinica，2010（5）:1162－1166.

[10]胡玉成，王創新.基于區域方向的NSCT與PCNN圖像融合算法[J].電子科技，2014（4）:30－33.HU Yu-cheng，WANG Chuang-xin.The NSCT and PCNN image fusion algorithm based on regional direction[J].Electronic Science and Technology，2014（4）:30－33.