一種多光譜遙感影像與航拍影像融合算法

李小軍，閆浩文，楊樹文，牛麗峰

(1.蘭州交通大學 測繪與地理信息學院，蘭州 730070；2.甘肅省地理國情監測工程實驗室，蘭州 730070)

0 引言

無人機技術的快速發展，使得無人機遙感影像的獲取更加快捷和方便。無人機航拍簡便快捷，空域要求低，時效性更好，在工業和軍事領域均得到了廣泛應用[1]。由于無人機一般在云層以下飛行，獲取的遙感影像分辨率更高，受遮擋影響更小。但小型無人機受載重限制，一般獲取的航拍影像缺乏多光譜信息，影響了后續遙感影像光譜分析與解譯。為此，需要采用多光譜融合技術，提高無人機航拍影像的光譜分辨率。

過去的20年間，多分辨率分析的融合方法作為有效解決多光譜融合問題的主要手段之一獲得了大量學者的關注。多分辨率分析方法主要通過多分辨率分解提取高分辨影像的空間紋理細節信息，將其注入到低分辨多光譜影像中，獲取兼有空間分辨率和光譜分辨率的融合影像。空間細節信息的提取，主要包含降采樣小波變換[2]、非抽樣小波方法[3]、孔小波變換[4-5]、拉普拉斯金字塔方法[6]、輪廓波方法[7]、和曲小波方法[8]等。多分辨率分析方法在計算注射權重時，一般采用全局或局部的統計方法。其中，采用局部的統計方法明顯優于全局的統計方法。但在對局部進行聚類統計時，學者大多采用固定的矩形框，而沒有考慮像素間的相關性，這將導致注入信息增益的方塊效應，特別是高分影像的邊緣更易出現光譜扭曲。另外，由于多光譜影像和航片影像分辨率差異較大，單次的融合處理也難以直接對其進行融合。

為此，本文提出了一種基于脈沖耦合神經網絡(pulse-coupled neural network，PCNN)的遙感衛星多光譜影像與無人機航拍影像融合算法。該算法通過二次融合方案逐級提高多光譜影像的分辨率，同時在融合中利用PCNN符合人眼視覺特性的非規則區域分割特性進行注射權重的計算，最后將細節信息注入到多光譜影像獲得融合影像。實驗結果表明，本方法在較好保持無人機遙感影像亞米級分辨率同時，獲得了多光譜影像的光譜信息。

1 PCNN遙感影像分割

PCNN最初是基于哺乳動物視覺皮層神經元脈沖發放現象建立的，它對圖像的理解符合人眼視覺特性。標準PCNN是一種由脈沖耦合神經元橫向連接的反饋網絡。每個神經元由3個部分組成，分別為接收輸入域、連接調制域及脈沖產生域[9]。其數學描述如下：

(1)

(2)

Uij[n]=Fij[n]1+βLij[n]

(3)

(4)

Eij[n+1]=e-αEEij[n]+VEYij[n]

(5)

PCNN模型應用于遙感影像處理時，一個像素就是一個神經元(i，j)，(k，l)是(i，j)鄰域神經元。I為輸入的遙感影像。參數αF、αL和αE是時間常量，VF、VL和VE為標準化常量，β為連接權重，F和L分別為反饋輸入和連接輸入。當內部活動項U大于活動閾值E時，神經元在當前迭代n被激發，產生輸出脈沖Y。

遙感影像融合中，主要利用PCNN的分割特性。在這里，如果神經元在第n次迭代中被激發，則將活動閾值E相應設為無窮大，以保證每個神經元屬于唯一的分割區域。利用PCNN進行遙感影像分割的部分分割結果如圖1所示，其中圖1(a)為原始輸入遙感圖像，圖1(b)～圖1(h)為不同迭代n下的分割結果。通過PCNN分割，整個遙感影像被分割為具有一定相關性的非規則區域。如圖2(a)所示為傳統進行局部注射權重統計所采用的矩形區域統計方法，本文采用的非規則統計區域如圖2(b)和圖2(c)所示。顯而易見，非規則統計區域更容易統計到具有相似特征和鄰域關系的相關像素特征。

圖1 PCNN遙感影像分割示例

2 多光譜影像與無人機航拍影像融合算法

本文提出的衛星多光譜影像和無人機航拍影像融合算法如圖3所示。算法具體執行步驟如下：

圖3 本文算法流程示意圖

①對多光譜遙感影像采用三次非線性插值到全色分辨率，得到全色尺寸多光譜影像Imsk，其中k表示多光譜影像不同的光譜通道，K為光譜通道總數；

②對全色影像執行“trous”小波分解，提取全色影像細節Psd[4]；

③對多光譜影像執行PCNN神經網絡，將其分割為非規則區域，進行統計特征計算，并通過公式(6)計算增益權重Gk1；

④對全色分辨率的多光譜影像繼續進行PCNN處理，獲得Y矩陣，并利用公式(6)計算增益權重Gk2；

⑤對航拍影像執行HSV顏色空間變換，對其中的V分量執行“à trous”小波分解，提取航拍影像細節Pud；

⑥根據公式(7)計算獲得具有航片亞米級分辨率的多光譜影像Ismsk。

(6)

Ismsk=Imsk+Gk1×Psd+Gk2×Pud， k=1，…，K

(7)

3 實驗結果分析及評價

3.1 實驗數據源

用于實驗的無人機影像數據，是課題組采用八旋翼無人機攜帶航拍相機于2017年11月25日于蘭州交通大學八教廣場拍攝，采用的無人機如圖4所示，拍攝的八教廣場航拍影像如圖5(a)所示。無人機航拍影像的分辨率為0.2 m。多光譜和全色影像采集于高分二號遙感衛星于2017年8月4日的成像結果。多光譜圖像具有藍色、綠色、紅色和近紅外4個波段。多光譜影像的分辨率為3.5 m，全色影像的分辨率為0.875 m。相應的八教廣場全色影像和多光譜影像分別如圖5(b)和圖5(c)所示。

圖4 航拍無人機

圖5 遙感原始影像數據

3.2 PCNN參數設置

PCNN參數設置中除了αE參數采用1.9，VE設置為無窮大值，其他PCNN參數均采用經典值[10]。其中，輸入遙感影像I歸一化到0～1之間。迭代次數初始值n=1。F=YF=YU=0，E=1。連接權重矩陣W和M為[0.5，1，0.5；1，0，1；0.5，1，0.5]。其余參數如表1所示。

表1 PCNN模型參數設置值

3.3 融合質量評價標準

實驗主要采用通用的遙感影像融合評價指標進行定量評價，主要包括光譜扭曲度、空間信息失真度、光譜映射角和融合質量評價索引4個指標[11]。其中，光譜扭曲度是對融合后的遙感影像光譜失真的描述，其值越小融合效果越好；空間信息失真度描述融合影像與原始高分辨率影像紋理細節的相似性，同樣值越小融合效果越好；光譜映射角通過計算融合影像與多光譜影像的差異角來獲得光譜扭曲程度，其值越小融合效果越好；融合質量評價索引是對融合影像光譜扭曲和空間細節保持的綜合評價，值越大融合質量越好，融合質量評價索引的最大值為1。公式(8)～公式(11)分別給出了4種指標的數學描述[11]。其中，Dλ表示光譜扭曲度、Ds表示空間信息失真度、SAM表示光譜映射角、QR表示融合質量評價索引。

(8)

(9)

(10)

QR=(1-Dλ)α(1-Ds)β

(11)

3.4 對比實驗

為了評價本文算法的有效性，本節將本文算法與其他5種方法做了對比實驗。包括基于形態學算子的融合算法(morphological operators based fusion method，MOF)[12]、基于小波分解的融合算法(additive à trous wavelet transform with unitary injection model，ATWT)[4]、GS(gram-schmidt)變換融合方法[13]、IHS分解的融合方法[14]及主成分分析(principal component analysis，PCA)融合方法[15]。對比算法中均采用2次融合的方法，即先將全色影像與多光譜影像融合，再將融合結果與無人機航片影像融合。圖6(a)為本文算法融合結果，圖6(b)～圖6(f)分別為對比算法融合結果。從主觀上觀察發現，相比圖5原始遙感影像，本文方法、MOF方法和ATWT方法光譜保持較好，紋理細節也獲得了較大提升，而Gram-Schmidt變換方法、IHS融合方法和PCA融合方法在紋理細節上得到了較好提升，但它們的光譜信息均發生較大扭曲，特別是大理石地面和廣場均出現不同程度的其他波段光譜成分，樹木的光譜也出現了較大失真。

圖6 對比結果圖

對幾種方法的融合定量指標分析見表2所示。由表2可見，本文方法的融合結果在光譜扭曲度、空間信息失真度、光譜映射角和融合質量評價索引等4個指標均優于其他方法。因此，本文融合方法所得的融合影像光譜失真更少、空間紋理信息更加豐富，驗證了本文衛星多光譜遙感影像與無人機航拍影像融合算法的有效性。

表2 定量對比評價結果

4 結束語

針對無人機航拍影像缺乏多光譜信息問題，提出了一種基于PCNN模型的衛星遙感多光譜影像與無人機航拍高分影像的融合算法。由于PCNN模型符合人眼視覺特性，將其引入遙感影像融合，獲得的融合影像光譜扭曲更小，空間紋理細節保持更好。通過采用高分二號遙感影像和無人機影像融合的對比實驗，驗證了本文方法的有效性。