基于NSST的PCNN-SR衛星遙感圖像融合方法*

曹義親 楊世超 謝舒慧

華東交通大學軟件學院, 南昌330013

0 引言

衛星傳感器可以檢測和記錄地表反射的電磁波，而遙感圖像是存儲這類信息的載體，用于環境[1]和氣候監測[2]、以及土地覆被變化檢測[3]和分類[4]等應用。許多地球觀測衛星，如Landsat、IKONOS、高分一號、QuickBird等，可以在相同的覆蓋范圍內同時拍攝全色圖像和多光譜圖像。由于反射率值隨地表覆蓋和光譜波段的不同而變化，多光譜[5](multispectral, MS)圖像比全色(panchromatic, PAN)圖像能夠記錄更多的地表信息[6]。然而，考慮到傳感器的信噪比和權衡，MS圖像的空間分辨率通常低于PAN圖像。因此，圖像融合的目的是通過融合共配準的PAN圖像和MS圖像，最大限度地利用空間和光譜信息。理想情況下，融合圖像應具有PAN圖像的空間分辨率，并保留MS圖像的光譜信息。

近年來，大量的基于遙感圖像的圖像融合[7]方法被提出，一般來說，大致可以分為2類方法：空間域和變換域。空間域方法是直接對圖像像素點進行操作，而變換域方法需要先對圖像進行頻域變換，再對變換后的系數進行融合。在變換域方法中，比較常用的有：非下采樣輪廓波變換、Curvelet變換和非下采樣剪切波變換。文獻[8]提出了基于非下采樣輪廓波變換的耦合區域信息特征提取的衛星遙感圖像融合算法，通過構建區域特性的融合規則，從而對高低頻子帶系數進行處理。文獻[9]提出了基于二代Curvelet變換與近似度制約規則的衛星遙感圖像融合算法，采用結構相似度模型對高頻系數進行處理。文獻[10]提出了一種基于非下采樣剪切波變換的耦合邊緣制約的衛星遙感圖像融合算法，將邊緣制約模型用于處理高頻系數，在一定程度上提高了融合圖像的清晰度。

為了對衛星遙感圖像融合效果進行改善，并在一定程度上提高衛星遙感圖像融合算法的效率，本文提出了一種全新的思路，將源圖像進行NSST變換，對得到的高頻分量采用改進的PCNN方法進行處理，用改進的拉普拉斯能量和當作其外部激勵，分別選取梯度能量、標準差作為其連接強度，將2種不同結果進行加權處理，得到最終的點火映射圖；采用改進的稀疏表示對低頻分量進行融合，最后進行NSST逆變換，得到一個細節信息比較豐富的融合圖像，同時，算法效率得到較大提升。

1 NSST的基本理論

在傳統仿射系統的基礎上，Easley等將幾何與多尺度相結合，提出了一種新型的多分辨率分析工具-非下采樣剪切波(NonSubsampled Shearlet Transform, NSST)，它不僅吸收了小波理論的最新研究成果，而且具有嚴格的數學基礎。在二維情況下，該仿射系統表達式如式(1)所示:

j,l∈Z,k∈Z2}

(1)

其中，ψ∈L2(R2)，|detN|=1；j為分解尺度，l為方向參數，K為剪切參數；M為各向異性矩陣，N為剪切矩陣，Z為整數域。

NSST變換主要包括多尺度分解和多方向分解。通過對源圖像進行多尺度分解，可以得到高頻分量和低頻分量。多尺度分解主要通過非下采樣金字塔(Non Subsampled Pyramid，NSP)實現，而多方向分解則由改進的剪切濾波器(Shearlet Filter，SF)實現，具體流程如圖1所示:

圖1 NSST的多尺度多方向分解過程

2 稀疏表示理論

稀疏表示(Sparse Representation,SF)[11]是一種對超完備字典的“少數”原子進行線性組合，用來表示信號的模型。在稀疏表示建模中，輸入信號可以表示為:

y=Da

(2)

其中，向量a∈RK表示信號y的系數矩陣，D∈Rn×K(K>n)表示字典矩陣。通過對以下優化問題進行求解，從而得到最稀疏解:

(3)

在稀疏表示模型中，一個比較重要的任務就是需要構建一個適當的字典。一般來說，有2種方法可以獲得字典。第1種方法是使用分析模型。第2種方法是從大量的訓練圖像塊中獲取字典。字典學習模型[14]可以用式(4)求得：

i∈{1，…，M}

(4)

上述最小化問題可以使用K奇異值分解(K Singular Value Decomposition,K-SVD)來解決。

3 脈沖耦合神經網絡(PCNN)

脈沖耦合神經網絡(Pulse Coupled Neural Network,PCNN)[15]是一種簡化的神經網絡。該網絡模型是根據生物視覺神經系統的工作原理，由Eckhorn提出，通過模擬貓腦視覺皮層同步脈沖爆發現象，從而建立模型。

標準的PCNN模型主要由3部分組成：刺激接收場，脈沖調制場和脈沖生成場。當把PCNN模型與圖像相結合時，圖像的每個像素與網絡中的神經元一一對應，迭代公式如下所示:

F(n)=S

(5)

L(n)=eaLL(n-1)+VL∑WY(n-1)

(6)

U(n)=F(n)(1+βL(n))

(7)

(8)

θ(n)=e-aθ×θ(n-1)+VθY(n-1)

(9)

其中，n是迭代次數,F和L分別代表第1個反饋輸入神經元和連接輸入,β是連接強度,U是全部內部活動,θ是內部活動動態閾值,Y是PCNN的脈沖輸出,W是神經元矩陣之間的連接權重,VF，VL和Vθ是放大因子,aF，aL和aθ為時間常數。

4 PCNN-SR圖像融合算法

4.1 基于PCNN的高頻子帶融合規則

最原始的PCNN模型的連接強度，通常會采用不變的值。而人眼對不同特征區域的響應程度存在差異，導致所有神經元的連接強度不會完全一致。所以，連接強度的取值并不是固定常數。因此，本文分別采用梯度能量、標準差作為其連接強度。

梯度能量：

(10)

G(i,j)=

(11)

標準差：

(12)

其中，f(i,j)為位置(i,j)的高頻子帶系數，像素點的鄰域大小M×N，avg為求平均值函數。

為了更好地提高圖像融合效果，將外部激勵設置成改進的拉普拉斯能量和:

CSL(x,y)=

|2f(x,y)-f(x-1,y)-f(x+1,y)|+

|2f(x,y)-f(x,y-1)-f(x,y+1)|+

(13)

(14)

(15)

其中，f(x,y)為對應子帶系數值，w為區域窗口的權值。將CEOL當做該模型的外部激勵。

圖像融合規則如下：

1)通過NSST變換對圖像進行分解，得到高頻子帶系數HA和HB，根據PCNN神經網絡的運作方式，可以得到不同的輸出，分別為OA,E，OB,E，OA,S和OB,S。

2)根據輸出值的不同，構造加權函數：

(16)

3)根據不同的權重，構造點火映射圖：

OA=w1OA,E+w3OA,SOB=w2OB,E+w4OB,S

(17)

4)根據點火映射圖，確定融合規則，如下所示：

(18)

4.2 基于SR的低頻子帶融合規則

本文對低頻子帶系數采用改進的稀疏表示進行處理，采用K-SVD方法獲取字典，最后采用正交匹配追蹤算法(OMP)得到稀疏系數矩陣。具體步驟如下所示：

(19)

(20)

其中，D為字典。

3)計算圖像塊的顯著性：

(21)

其中,Lμ代表圖像塊的均值，Lw代表圖像塊的高斯濾波，‖‖為歐式距離。

4)根據顯著性的大小構造加權映射

(22)

5)構造融合規則：

(23)

融合向量的計算如下：

(24)

4.3 算法流程

算法主要的步驟如下所示：

1)將源圖像分別進行NSST變換，得到高頻子帶系數和低頻子帶系數。

2)將高頻子帶系數采用PCNN模型進行處理。將外部激勵設置為改進的拉普拉斯能量和，將梯度能量、標準差作為其連接強度，得到2種不同的點火映射圖，對點火映射圖進行處理，得到高頻融合系數。

4)采用改進的稀疏表示對低頻子帶進行處理，得到稀疏系數矩陣，根據融合規則進行選擇。

5)將獲得的字典和稀疏系數矩陣進行重構，得到低頻融合系數。

6)對低頻融合系數和高頻融合系數進行NSST逆變換，得到最終的融合圖像。

具體的流程如圖2所示。

圖2 算法流程圖

5 實驗結果分析

本實驗采用win7系統，在主頻1.70GHz、內存為8G的筆記本電腦上運行，軟件環境是MATALAB R2016b。選擇地球眼衛星數據和快鳥衛星數據作為源圖像，多光譜圖像的大小分別為256×256，全色圖像的大小為1024×1024，如圖3所示。

圖3 實驗源圖像

為了能更好地說明本文算法的融合效果，將本文算法與3種不同的算法進行對比，分別為：NSCT算法、SML-EN算法[16]、EN-SR算法[17]。對于NSCT算法，高頻分量用能量取大方式處理，低頻系數采用平均方法處理。對于SML-EN算法，高頻分量采取SML作為改進PCNN算法的輸入，低頻分量用能量取大方式處理。對于EN-SR算法，低頻分量用稀疏表示方法處理，高頻分量用能量取大方式處理。實驗結果如圖4和圖5所示。

圖4 地球眼衛星圖像實驗結果對比

圖5 快鳥衛星圖像實驗結果對比

從圖4中可以看出，圖4(a)～(d)的融合效果有明顯的差異。從主觀方面來評價，(a)圖整體比較模糊。(b)圖雖然在清晰度方面處理得比較好，但細節部分丟失比較嚴重。(c)圖邊緣部分出現了變形，降低了圖像的整體效果。(d)圖細節信息比較豐富，對比度比較高。

從圖5中可以看出，圖5(a)和(b)丟失了比較多的信息，在圖5(c)中，圖像的層次感比較低。圖5(d)中圖像的空間分辨率和光譜分辨率都比較高。

為了能更好地對本文算法的效果進行驗證，采用常用的客觀評價指標對圖像融合效果進行評估，其中IE代表信息熵、AG為平均梯度、SD為標準差、SF為空間頻率、MI為互信息。

表1～2給出了相關融合方法客觀指標的比較。

表1 地球眼衛星圖像融合結果的客觀比較

表2 快鳥衛星圖像融合結果的客觀比較

從表1和表2可以看出，與NSCT算法、SML-EN算法和EN-SR算法相比較，本文方法在客觀評價指標IE、AG、SD、SF、MI上，都占有一定的優勢。

在時間復雜度上，本文分別對4種算法在2組圖像上進行了測試，結果大致相同，如表3所示。從表中可以看出，本文算法具有較大優勢。

表3 不同圖像融合算法的時間比較

6 結論

針對衛星遙感圖像，通過對高空間分辨率的全色圖像和低空間分辨率的多光譜圖像進行融合，從而得到高空間分辨率的多光譜圖像。采用基于非下采樣剪切波變換的脈沖耦合神經網絡與稀疏表示相結合的圖像融合方法對全色圖像和多光譜圖像進行處理。實驗結果表明，與其他3種圖像融合算法相比較，本文在主觀視覺和客觀評價上都取得了不錯的效果，并且在時間復雜度上有著明顯的提升。