非下采樣Contourlet變換耦合區(qū)域信息特征的遙感圖像融合算法

張淑艷 朱 娟 王 超 田紀亞 曾小慧

1(長春光華學院電氣信息學院 吉林 長春 130033) 2(井岡山大學電信學院 江西 吉安 343000)

0 引 言

遙感圖像通常分為含有豐富光譜信息的多光譜圖像，以及具有較高空間分辨率的全色圖像[1]。為了得到同時具有豐富光譜信息與較高分辨率的遙感圖像，通常需要將多光譜圖像與全色圖像進行融合，即遙感圖像融合[2]。

近年來，國內(nèi)外學者提出一系列的遙感融合方法，如Deng等[2]利用局部方差特征設計了一種遙感圖像融合算法，通過滑動窗口計算圖像的局部方差，利用IHS變換獲取圖像的亮度分量，通過局部方差特征求取亮度分量以及SPOT圖像的權重，進而通過IHS逆變換獲取融合圖像。實驗結(jié)果顯示，這種方法融合的圖像具有較好的空間信息，清晰度較高，不存在模糊現(xiàn)象。但由于IHS變換獲取的亮度分量與全色圖像存在一定偏差，導致融合結(jié)果中存在光譜失真現(xiàn)象，使得融合圖像的顏色偏深。Zhang等[3]將PCA方法與稀疏表示用于遙感圖像的融合，通過PCA方法建立高空間分辨率的多光譜圖像字典，使用將稀疏表示產(chǎn)生的殘差插值作為補償，進而實現(xiàn)遙感圖像的融合，實驗結(jié)果顯示，該方法融合的圖像具有較好的空間分辨率，不存在塊效應等，融合圖像的細節(jié)較為清晰，而且圖像質(zhì)量指數(shù)也較好。但由于PCA方法存在光譜丟失的缺陷，導致融合圖像中具有光譜扭曲的缺陷，融合圖像的人眼視覺有待提升。趙學軍等[4]通過shearlet變換獲取圖像的高頻系數(shù)與低頻系數(shù)，利用OMP算法獲取稀疏系數(shù)，并利用圖像的能量信息完成低頻系數(shù)的融合，采用PCNN方法來實現(xiàn)高頻系數(shù)的融合，通過OMP重構及shearlet逆變換獲取融合圖像。實驗結(jié)果顯示，該方法具有較好的融合圖像的視覺效果，其融合圖像保持了源圖像的絕大部分光譜色彩信息，并改善了圖像的空間細節(jié)信息，其平均梯度值與信息熵分別保持在14.3、16以上。但是該方法在低頻系數(shù)融合時，只考慮了圖像的能量信息，而忽略了圖像的光譜信息特征，使得融合圖像中存在光譜扭曲等缺陷，而且shearlet變換具有下采樣過程，不具備平移不變性，使得融合圖像存在模糊效應。

為了使得融合的遙感圖像包含更多的光譜信息與空間信息，本文提出了一種非下采樣Contourlet變換與區(qū)域信息特征相結(jié)合的遙感圖像融合算法。通過HSV變換分解出多光譜圖像的亮度分量。利用具有平移不變性的非下采樣Contourlet變換對亮度分量以及全色圖像進行分解，得到高頻系數(shù)與低頻系數(shù)。在低頻系數(shù)融合時，通過圖像的區(qū)域能量度量圖像特征信息的大小，并通過信息熵度量圖像中的光譜信息，利用圖像的區(qū)域能量以及信息熵特征作為低頻系數(shù)的融合依據(jù)，完成低頻系數(shù)融合。通過圖像的區(qū)域方差相似度對圖像塊的區(qū)域方差差異度進行度量，建立高頻系數(shù)融合規(guī)則，完成高頻系數(shù)融合。利用非下采樣Contourlet逆變換以及HSV逆變換完成圖像融合。最后，測試了所提算法的融合質(zhì)量。

1 算法設計

所提的基于非下采樣Contourlet變換與區(qū)域信息特征的遙感圖像融合算法過程見圖1。從圖1可知，本文算法主要由提取亮度分量、獲取分解系數(shù)以及系數(shù)融合三部分組成：

1) 提取亮度分量。利用HSV變換從多光譜圖像中提取出包含圖像主要亮度信息的亮度分量V。

2) 獲取分解系數(shù)。通過非下采樣Contourlet變換，將亮度分量V及全色圖像進行系數(shù)分解，得到圖像的低頻系數(shù)與高頻系數(shù)。

圖1 本文遙感圖像算法的融合過程

1.1 提取亮度分量

HSV變換過程中包含了色調(diào)分量H、飽和度分量S、亮度分量V。通過H、S、V三個分量、形成一個如圖2所示的錐形HSV變換空間[5]。多光譜圖像通過HSV變換可被分解成H、S、V三個分量，該分解過程如下。

圖2 HSV變換空間示意圖

令R、G、B表示三原色中的三個分量，a=max(R,G,B)以及b=min(R,G,B)分別表示R、G、B分量中的最大值與最小值，則HSV變換過程可表述為[6]：

(1)

(2)

V=a

(3)

令H=360°與H=0°時相等，則HSV反變換可表述為：

(4)

(5)

對多光譜圖像進行HSV變換后，可提取其亮度分量。以圖3(a)所示多光譜圖像為例，對其進行HSV變換，提取出的亮度分量如圖3(b)所示。

(a) 多光譜圖像 (b) 所提取亮度分量圖3 亮度分量提取結(jié)果圖

1.2 獲取分解系數(shù)

非下采樣Contourlet變換不僅繼承了Contourlet變換具有的多方向性，而且還具有平移不變性，克服了Contourlet變換在對圖像進行系數(shù)分解時產(chǎn)生的塊效應，使得融合圖像的質(zhì)量得以提升。對此，本文將采用非下采樣Contourlet變換對圖像進行系數(shù)分解，獲取低頻與高頻系數(shù)。

非下采樣Contourlet變換在結(jié)構上由非下采樣金字塔NSP(Nonsubsampled Pyramid)以及非下采樣方向濾波器組NSDFB(Nonsubsampled Directional Filter Bank)構成[7]。下采樣Contourlet變換中的NSP具有非下采樣性，其通過雙通道的NSDFB進行迭代來構造NSP，可以達到多尺度分解的效果。在實現(xiàn)NSP分解后，非下采樣Contourlet變換還將采用NSDFB對分解所得的高頻子帶進行多方向的分解[8]。NSDFB通過利用多種采樣矩陣對扇形濾波器進行上采樣，同時對前級分解子帶采用濾波操作，以實現(xiàn)對子帶圖像進行精細方向分解的效果。

非下采樣Contourlet變換利用NSP與NSDFB分別實現(xiàn)精細的多尺度與多方向的分解，從而使得獲取到的低頻系數(shù)與高頻系數(shù)能夠包含更多的空間與光譜信息。圖3(b)中的亮度分量和圖4(a)中的全色圖像經(jīng)過非下采樣Contourlet變換后所得到的結(jié)果分別如圖4(b)與圖4(c)所示。

(a) 全色圖像 (b)亮度分量系數(shù)分解圖

(c) 全色圖像系數(shù)分解圖圖4 非下采樣Contourlet變換系數(shù)分解效果圖

1.3 系數(shù)融合策略

信息熵能夠?qū)D像所含信息量進行度量，同時也能對圖像的光譜信息量進行度量。本文將通過圖像的區(qū)域能量以及信息熵兩個特征，構建低頻系數(shù)融合模型，使得在融合低頻系數(shù)時不僅能夠考慮圖像的特征信息，而且還能兼顧圖像的光譜信息。

在低頻系數(shù)H(x,y)中，以任意像素點p(i,j)為中心建立一個尺寸為3×3的矩形窗口L，則該窗口內(nèi)的區(qū)域能量R為[9]：

(6)

通過式(6)求取不同低頻系數(shù)Ha與Hb中區(qū)域能量的占比Ea與Eb：

(7)

令圖像的灰度級為{0,1,2,…,S-1}，其中灰度n(n

(8)

式中：lb表示以2為底的對數(shù)運算。

通過式(8)按照類似式(7)的方法，求取不同低頻系數(shù)Ha與Hb中信息熵的占比Wa與Wb。則通過區(qū)域能量與信息熵特征構造的低頻系數(shù)融合模型為：

Hc=(Ea+Wa)Ha+(Eb+Wb)Hb

(9)

式中：Hc表示融合后的低頻系數(shù)。

在高頻系數(shù)融合的過程中，本文將利用圖像的方差，對不同高頻系數(shù)的區(qū)域方差差異度進行度量，并根據(jù)度量結(jié)果，建立高頻系數(shù)融合規(guī)則，實現(xiàn)高頻系數(shù)的融合。

令高頻系數(shù)T(x,y)中，以任意像素點p(n,m)為中心建立的尺寸為3×3的矩形窗口U中的系數(shù)平均值為K(n,m)，方差為F(n,m)，則不同高頻系數(shù)Ta與Tb對應的區(qū)域方差相似度D(n,m)為[11]：

(10)

區(qū)域方差相似度D(n,m)的大小反映了不同高頻系數(shù)的區(qū)域差異度，其值越大表示不同高頻系數(shù)的區(qū)域特征差異較小。本文根據(jù)區(qū)域方差相似度D(n,m)建立的高頻系數(shù)融合規(guī)則如下。

選取相似度閾值YF對D(n,m)大小進行判斷，若D(n,m)

(11)

若D(n,m)≥YF，則高頻系數(shù)的融合規(guī)則為：

(12)

式中：Tc(n,m)為融合后的高頻系數(shù)。

以圖3(a)與圖4(a)為對象，利用上述算法融合后所輸出的結(jié)果如圖5所示。從圖5可見，融合后圖像具有較好的光譜特性與空間特性。

圖5 本文算法的融合結(jié)果

2 實 驗

實驗硬件環(huán)境為AMDR3CPU、500 GB硬盤的PC機，采用MATLAB 7.0作為軟件環(huán)境。實驗中設置的對照組為文獻[12]及文獻[13]中的算法。實驗中將相似度閾值YF的值設置為0.4。

2.1 不同算法融合圖像的視覺分析

圖6為不同算法對SOPT5衛(wèi)星拍攝的某綠化區(qū)的遙感圖像(大小為512×512)融合結(jié)果。從圖6可見，文獻[12]算法融合的圖像(見圖6(c))中存在較為嚴重的光譜扭曲現(xiàn)象，圖像中的建筑物顏色偏紫色，而且左下角的方框所示的觀察區(qū)中存在塊效應現(xiàn)象，綠色植被輪廓不清晰。文獻[13]算法融合的圖像(見圖6(d))中存在的光譜失真現(xiàn)象，圖像中的綠色植被顏色偏淺，而且左下角的方框所示的觀察區(qū)中存在模糊效應現(xiàn)象，綠色植被模糊不清。本文算法融合的圖像(見圖6(e))中建筑物與綠色植被顏色較為正常，但整體圖像稍微偏亮，方框所示的觀察區(qū)中綠色植被輪廓較為清晰。圖7為不同算法對QuickBird衛(wèi)星拍攝的某生活區(qū)的遙感圖像(大小為512×512)融合結(jié)果。通過對比圖7中各算法的融合圖像可見，文獻[12]算法的融合圖像中存在較為嚴重的光譜失真現(xiàn)象，整體圖像的顏色偏綠，而且左下角的方框所示的觀察區(qū)中存在一定的模糊塊現(xiàn)象，建筑物與植被較為模糊，見圖7(c)。文獻[13]算法的融合圖像中存在一定的光譜丟失現(xiàn)象，圖像顏色偏暗，而且方框所示的觀察區(qū)中存在較為嚴重塊效應現(xiàn)象，建筑物之間的間隔變窄，見圖7(d)。本文算法的融合圖像中明暗度以及顏色都較為正常，左下角的方框所示的觀察區(qū)建筑物與植被都較為清晰，僅建筑物與植被間存在輕微的模糊效應, 見圖7(e)。由此可見，本文算法融合的圖像具有更好的光譜信息與空間信息，以及視覺效果。原因是本文算法采用了HSV變換對多光譜圖像進行分解獲取亮度分量，較好地保持了多光譜圖像中的亮度以及光譜信息。另外，本文算法還根據(jù)圖像的區(qū)域方差特征，建立了高頻系數(shù)融合規(guī)則，較好地保留了高頻系數(shù)中的細節(jié)信息，使得融合圖像具有較好的視覺效果。

(c) 文獻[12]算法 (d) 文獻[13]算法

(e) 本文算法圖6 不同算法的融合圖像

(a) 全色圖像 (b) 多光譜圖像

(c) 文獻[12]算法 (d) 文獻[13]算法

(e) 本文算法圖7 不同算法的融合圖像

2.2 不同算法融合圖像的客觀分析

利用通用圖像質(zhì)量指數(shù)UIQI(universal image quality index)能夠?qū)θ诤虾髨D像與全色圖像的相似程度進行度量。UIQI的理想值為1，其值越趨近于1，則說明融合后圖像與全色圖像的相似程度越高。UIQI的函數(shù)為[14]：

(13)

式中:B′與P′分別代表了融合后圖像B與全色圖像P的像素平均值，βB與βP分別代表了圖像B與P的像素標準差值，βBP代表了圖像B與P的協(xié)方差值。

利用相關系數(shù)指標CC(Correlation Coefficient)能夠?qū)θ诤虾髨D像與多光譜圖像的相關程度進行度量。CC的理想值為1，CC值越接近1，則說明融合后圖像與多光譜圖像的相關程度越高，所包含的光譜信息就越豐富。CC的表達式為[15]：

(14)

式中:b(i,j)與m(i,j)分別代表了尺寸為K×J的圖像B與多光譜圖像M中的像素點。

從IKONOS衛(wèi)星拍攝的遙感圖像中任意選取12組圖像用作客觀分析對象，并通過UIQI以及CC兩個指標對不同算法融合圖像的質(zhì)量進行量化度量。

不同算法所輸出的融合圖像對應的量化度量結(jié)果如圖8所示。通過觀察圖8(a)可見，在對不同圖像組的融合結(jié)果中，本文算法融合圖像的UIQI值始終是最大的，對3號圖像組融合后，本文算法融合圖像的UIQI值為0.964 2，文獻[13]算法的融合圖像對應的UIQI值為0.944 6，文獻[12]算法的融合圖像對應的UIQI值為0.908 6。通過觀察圖8(b)可見，在對不同圖像組的融合結(jié)果中，本文算法融合圖像的CC指標值始終最大，不同算法對3號圖像組融合后，本文算法融合圖像的CC值為0.920 6，文獻[13]算法融合圖像的CC值為0.897 5，文獻[12]算法融合圖像的CC值為0.850 8。由此可見，本文算法較對照組具有良好的融合性能。因為本文采用了具有多方向性以及平移不變性的非下采樣contourlet變換對圖像進行系數(shù)分解，同時還通過圖像的區(qū)域能量以及信息熵特征，構造了低頻系數(shù)的融合模型對低頻系數(shù)進行融合，較好地保留了圖像的空間以及光譜信息，克服了塊效應的產(chǎn)生，使得算法的融合性能得以提高。文獻[12]算法中利用PCA方法與滾動導向濾波器相結(jié)合，獲取多光譜圖像的大尺度結(jié)構信息，以及全色圖像的小尺度信息，進而再通過PCA反變換獲取融合圖像。由于PCA方法在獲取尺度信息時存在光譜丟失現(xiàn)象，而且該方法中滾動導向濾波器對參數(shù)設置較為依賴，易導致濾波出錯，從而使得算法的融合性能不佳。文獻[13]算法中利用顯著性方法對圖像進行多分辨率分析，將二叉樹復小波變換與多分辨率分析相結(jié)合實現(xiàn)圖像融合。由于小波變換不具備多方向性特征，使得融合圖像中存在光譜以及圖像細節(jié)信息丟失現(xiàn)象，導致算法融合性能有所下降。

(a) UIQI值測試結(jié)果

(b) CC值測試結(jié)果圖8 不同算法融合圖像的量化結(jié)果

3 結(jié) 論

本文通過HSV變換提取多光譜圖像的亮度分量。使用非下采樣Contourlet獲取圖像的低頻系數(shù)與高頻系數(shù)，使得所得高頻系數(shù)與低頻系數(shù)能夠包含原圖的更多細節(jié)信息。利用圖像的區(qū)域能量以及信息熵特征完成低頻系數(shù)的融合，使得低頻系數(shù)的融合過程既考慮了圖像的結(jié)構特征，也考慮了圖像的光譜特征，提高了融合圖像的光譜與空間特性。利用圖像的區(qū)域方差特征完成高頻系數(shù)的融合。通過實驗對比驗證了本文算法的優(yōu)越性能，表明了本文算法能夠較好地實現(xiàn)遙感圖像的融合。