基于雙通道變分自編碼器的高光譜圖像分類

劉遵雄，石亞鵬，彭瀟雨，王毅宏

華東交通大學 信息工程學院，南昌 330013

得益于過去幾十年里遙感技術的快速發展，高光譜遙感器通過在數百個連續的窄光譜波段對同一空間區域進行成像，生成高維的高光譜圖像數據（HSIs）。高光譜圖像為三維立方體結構，由二維空間維度與數十甚至上百個光譜波段組成，在包含豐富的光譜特征的同時具有較高的空間相關性，能夠有效地反映成像地物信息，但同時高光譜圖像也存在維數災難、信息冗余、同譜異物、異物同譜和非線性數據空間等問題[1]。高光譜圖像增強了對地面物體的識別能力[2-5]，在精準農業[6]、礦產勘探[7]、監視環境[8]和軍事領域[9]等領域得到了廣泛的應用。高光譜圖像分類算法作為這些應用中的一項重要的前提技術，根據圖像中的光譜信息和空間信息將圖像中的每個像元劃分為不同的地物類別[10-11]。

近些年隨著高光譜圖像的應用越來越廣泛，高光譜圖像的分類技術作為其重要的信息處理分析手段也愈顯得重要，故諸多國內外學者將研究方向轉向高光譜圖像的分類問題。HSIs分類算法按有無標簽訓練數據分為三類：監督分類、半監督分類和無監督分類。得益于高光譜遙感技術的高速發展，高光譜圖像有了一定數量的已標記數據，使得高光譜圖像可以進行有監督訓練完成分類。監督分類的方法通過對標簽數據的訓練，依據經驗損失最小化、結構損失最小化等原則進行數據分類。其中最小錯誤概率的貝葉斯分類器、隨機森林、支持向量機（SVM）、基于拉普拉斯算子的SVM都是基于高光譜圖像的光譜特征分類的方法，并沒有用到空間特征，故分類效果大多不是很理想[12]。2014年Chen等人在高光譜圖像分類中首次使用深度學習[13]，他們使用多層疊加的自動編碼器提取聯合頻譜空間特征。2015年Chen等人將深度信念網絡用于高光譜圖像分類獲得了不錯的分類效果[14]。2018年Zhu等人將深度卷積生成對抗網絡（DCGAN）引入到高光譜圖像分類中[15]。近幾年來循環神經網絡與卷積神經網絡被證明在高光譜圖像上具有較好的分類性能[16-17]。半監督分類將有限有標簽數據與大量無標簽數據一起訓練進行分類，如基于半監督流形對齊（SSMA）方法[18]、基于主動學習[19]的分類方法。而無監督分類是在無標簽數據情況下，利用數據本身同類相似性和類間向異性對數據分類，如Kmeans、遙感人工免疫網絡[20]、模糊C-means聚類[21]、稀疏子空間聚類[22]。

變分自編碼器（VAE）是一種深度隱空間生成模型的同時也具有特征提取的功能，能夠學習輸入數據的潛在表示，通過編碼器輸出潛在變量概率的均值和方差得到分布參數[23]，進而從分布中采樣生成隱變量，作為解碼器的輸入數據，用來重構編碼器中原始輸入數據。因此可以從解碼器的輸出中獲取重構數據，同時從隱變量中得到數據的特征。在圖像領域中，由于VAE生成的圖片偏模糊，因此本文更側重的是VAE作為圖像特征提取器的作用。

高光譜圖像是由二維空間域和光譜域組成的三維數據體，它們都包含分類的必要信息。針對高光譜圖像現有的變分自編碼器分類方法沒有完全有效利用圖像中的光譜和空間信息，存在圖像信息丟失問題，提出一種基于雙通道變分自編碼器的高光譜圖像分類算法，提出的深度模型由兩個通道組成，改進的一維CVAE分類框架作為光譜通道提取光譜特征，利用卷積神經網絡與長短期記憶網絡改進CVAE得到的二維CRCVAE分類框架作為空間通道提取空間特征；然后結合以上兩種框架形成雙通道VAE分類框架，通過該框架將光譜特征和空間特征融合形成空譜聯合特征，最后把聯合特征送入softmax分類器中進行分類，獲得更高的分類精度。

1 變分自編碼器

變分自編碼器（VAE）是由Kingma等人在2014年提出的基于變分貝葉斯（variation Bayes，VB）推斷的一種深度生成模型[24]，目前主要用于特征提取和數據生成。其框架結構如圖1所示，由編碼器網絡和解碼器網絡組成，其中解碼器也叫生成器。編碼器對原始輸入數據進行變分推斷，生成潛在變量概率的均值和方差得到分布參數，稱為編碼網絡；生成器根據編碼網絡生成的隱變量的概率分布，重構原始數據的近似概率分布，稱解碼網絡或生成網絡。

圖1 VAE框架結構Fig.1 VAE framework structure

其中，Xi為原始數據；Zi為經編碼器qφ編碼后的隱變量；Xi′為經解碼器pθ重構的數據。

VAE的整體結構與自編碼器結構類似，但兩者的作用原理大不相同，VAE的編碼器輸出正態分布參數均值和方差，還要進行重采樣操作，而自編碼器的編碼器輸出的是數據深層特征。

VAE網絡結構的目標是通過最大化條件概率pθ(Xi|Zi)間接地最大化重構數據的生成概率pθ(Xi)，并且盡可能使得重構數據無限接近于原始數據。由于隱變量Z的分布無法直接觀測，不能直接使用EM算法進行變分推斷求解，為之VAE用編碼網絡計算出的條件概率qφ(Zi|Xi)來近似真的后驗概率pθ(Zi|Xi)，并假設qφ(Zi|Xi)為一個高斯分布。通過從原始數據到隱變量的條件概率qφ(Zi|Xi)進行N組隨機采樣得到隱變量并使其與之生成的數據一一對應，采樣的目標參數實際上是編碼網絡生成的均值(μ)和標準差(σ)兩個向量。VAE使用KL散度來衡量編碼器產生的分布與真實分布的相似度，并通過優化約束參數φ和θ使KL散度最小化，即讓兩種分布盡可能相似：

其中，lgpθ(Xi)是需要最大化的對數似然函數，假設記：

由公式（3）、（4）得：

由于KL散度DKL(*)≥0恒成立，當且僅當兩個分布相同時取零值，lgpθ(Xi)≥L(θ,φ;Xi)恒成立，故L(θ,φ;Xi)稱為對數似然函數lgpθ(Xi)的變分下界。由于直接優化lgpθ(Xi)不可行，VAE可以通過最大化變分下界L(θ,φ;Xi)來間接最大化lgpθ(Xi)。根據聯合分布pθ(Xi′,Zi)=pθ(Zi)pθ(Xi′|Zi)，隱變量Zi的先驗分布pθ(Zi)可以通過其后驗分布pθ(Zi|Xi)進行參數變換使其服從標準正態分布，由于：

其中，pθ(Zi)為標準正態分布，qφ(Zi|Xi)和pθ(Xi|Zi)為一般正態分布，故公式（6）第一項剛好等于：

其中，K表示隱變量的維度。對于公式（6）第二項表示依賴Z重建出來的數據X′要與原始數據X盡可能相似，因此采用自編碼器形式的重構誤差來做代替：

由于優化目標是要最大化L(θ,φ;Xi)，故最終的優化損失函數為：

特別需要注意的是，由于該網絡采用的是隨機采樣，無法使用反向傳播算法優化網絡參數，因此使用了“重新參數化”的技巧。首先按照分布ε~N(0,I)對ε進行采樣，然后通過變換Zi=μi+σi×εi來獲得Zi的采樣。至此，優化損失函數的每一項都可以計算得到，模型的結構可以最終確定，VAE詳細結構圖如圖2所示。

圖2 VAE詳細框架結構Fig.2 VAE detailed framework structure

2 基于雙通道VAE的高光譜圖像分類算法

2.1 基于一維CVAE分類框架提取光譜特征

本文使用一維條件變分自編碼器（CVAE）分類框架提取高光譜圖像的光譜特征，網絡結構在圖3所示CVAE網絡基礎上改進，調整網絡結構參數，使其能提取高光譜圖像全部的光譜特征。該算法提取光譜特征無需對高光譜圖像進行降維預處理操作，直接將高光譜數據送入框架網絡中，避免了數據在預處理過程中的丟失。編碼網絡提取輸入數據的光譜特征并將特征向量輸出到隱藏層，光譜特征向量在隱藏層中經過重采樣后通過生成網絡重構原始輸入數據，當生成的數據與原始數據基本一致時網絡提取到全部的光譜特征。為了避免神經網絡太淺導致網絡對復雜特征表示能力差與分類的泛化能力受制約等問題，根據實驗效果適當加深了編碼網絡和生成網絡，增強了網絡的學習能力，改進后編碼網絡能提取更復雜更深層次的光譜特征，生成網絡生成的數據更加貼近原始數據，從而改進后的網絡可提取全部的光譜特征。改進后的1D-CVAE分類與特征提取框架網絡由5層全連接編碼層、5層全連接生成層、1層隱變量層和1層Softmax多分類層構成。對于含有N個像素點的原高光譜圖像，選取其第n(n∈N)個像素點的光譜向量Sn∈RM×1（其中M為光譜帶長度）作為1DCVAE框架的輸入，從隱變量層的輸出中得到一維光譜特征向量f1，包含用于分類的深層光譜特征。

圖3 一維CVAE分類結構Fig.3 One-dimensional VAE classification structure

2.2 基于二維CRCVAE分類框架提取空間特征

傳統VAE采用深度神經網絡（DNN）對參數進行訓練、中間隱變量層都為全連接層、KL散度做正則懲罰項，這種結構使得其缺乏表達復雜分布的能力，在處理生成圖像時會有生成圖像模糊、復雜結構特征表現能力差等缺點，為了克服這些缺點，提取高光譜圖像更為全面的空間特征。本文提出基于循環通道條件變分自編碼分類框架提取空間特征，該網絡結構利用全卷積神經網絡代替DNN，使只關注全局特征的網絡增強了局部深度細節特征的提取能力，同時在隱變量層中加入了兩個長短期記憶網絡（LSTM），將時序性結構整合到隱變量層，對隱變量通道進行遞歸處理，增強從全局到細節局部特征的學習表達能力，加入生成對抗網絡結構并使用兩種正則化懲罰項代替KL散度正則項，從而能提取高光譜圖像更為全面的空間特征。

高光譜圖像波段的高維特性導致數據難以處理的同時容易引起Hughes現象，本文使用主成分分析（PCA）對高光譜數據進行降維。由于高光譜波段之間存在較高相關性，PCA可以將原始高光譜圖像從數十上百個波段轉化為少數幾個具有綜合性且彼此之間互不相關的波段。PCA降維是通過對已標準化處理過的高光譜圖像矩陣計算出協方差矩陣，進而計算出協方差矩陣每一列的特征向量與特征值，按每一特征值與所有特征值之和的比例由大到小排序，當前m個比例值之和即累計貢獻率大于給定的閾值時，選取前m個主成分代替原高光譜圖像。如選取的主成分個數小于m時，會丟失一部分圖像信息，選取的主成分個數大于m時，為了極少一部分圖像信息會增加大量運算成本。本文累計貢獻率閾值設置為0.99，此時高光譜圖像被降維成三維。將圖像切割成大小為45×45×3的數據塊，選取高光譜圖像中與1D-CVAE框架網絡的輸入像素所相對應的空間鄰域塊Pn∈R45×45×3作為2D-CRCVAE框架網絡的輸入進行特征提取，從隱變量層的輸出中得到空間特征向量f2，包含用于分類的深層空間特征。

改進的2D-CRCVAE空間特征提取算法的分類框架結構如圖4所示，由編碼網絡、生成網絡、隱變量層和一個Softmax分類器組成。其中編碼網絡包含5層卷積層和1層全連接層，生成網絡包含5層反卷積層和1層全連接層，隱變量層含有兩個LSTM模塊。LSTM模塊結構如圖5所示，第一個LSTM模塊中，將編碼網絡的輸出σ按順序輸入LSTM中，輸出的σL作為近似后驗的方差。將采樣得到的樣本z通過另一個LSTM模塊得到更復雜的表示u，這兩個LSTM層可以提升網絡結構的分類性能。

圖4 二維CRCVAE分類結構Fig.4 Two-dimensional CRCVAE classification structure

圖5 LSTM框架結構Fig.5 LSTM framework structure

2.3 雙通道VAE分類框架設計

高光譜圖像不僅包含光譜特征，還包含空間特征，基于空譜聯合特征的分類方法往往比基于單一特征的分類方法更有效[25]。為了提取高光譜圖像更為完整的光譜空間特征，本文在上述光譜和空間特征提取框架的基礎上，以空譜特征聯合為中心思想，設計如圖6所示的雙通道VAE分類模型。首先通過訓練1D-CVAE框架提取光譜特征f1，再通過訓練2D-CRCVAE框架提取空間特征f2，最后將兩種特征融合生成空譜聯合特征f，并將空譜聯合特征f送入softmax多元回歸分類器中進行分類。將高光譜圖像數據分解為光譜數據與空間數據，分別作為光譜通道與空間通道的輸入數據，采用隨機梯度下降算法（SGD）對網絡進行訓練，輸入softmax層的空譜聯合特征包含了幾乎全部高光譜圖像用于分類的特征信息，保證了雙通道VAE分類網絡具有高分類精度的性能，通過softmax多元回歸分類器得到高光譜圖像的分類結果，相對于基于光譜特征或空間特征的方法具有更高的分類精度。

圖6 雙通道VAE分類框架結構Fig.6 Two-channel VAE classification framework structure

本文采用求和融合的方式構造融合特征網絡，求和融合是一種簡單且高效的特征融合方法，通過將維度相同的光譜特征f1與空間特征f2中對應值一一相加得到空譜聯合特征向量，運算方便且只增加少量運算成本。空譜聯合特征f的表達式為：

3 實驗結果及分析

為了驗證本文所提出算法在高光譜圖像分類任務上的有效性，選取了Indian pines、Pavia University數據集這兩種常用高光譜數據集作為實驗數據進行評估。并將本文所提出的雙通道VAE分類算法（TC-VAE）與近些年來所提出的高光譜分類算法進行比較驗證模型性能，SVM算法為傳統的高光譜分類研究方法，本文將其作為對比的基準，1D-CNN算法僅使用高光譜圖像光譜特征進行分類，2D-CNN算法僅使用高光譜圖像空間特征進行分類，和3D-CNN算法將高光譜圖像的光譜特征與空間特征作為一個整體輸入網絡進行分類。

在本文提出的1D-CVAE分類框架中，batchsize設置為100，網絡的迭代次數為2 000，初始學習率設置為0.001，經500次迭代后學習率變化為0.000 1。在2DCRCVAE分類框架中，編碼網絡卷積層中第一個卷積核為5×5，其余卷積核為3×3，生成網絡反卷積層中最后一個卷積核為5×5，其余卷積核為3×3，batchsize設置為50，網絡的迭代次數為2 000，初始學習率設置為0.001，經500次迭代后學習率改為0.000 1。在TC-VAE分類框架中，batchsize設置為50，網絡的迭代次數為2 000，初始學習率設置為0.001，經500次迭代后學習率改為0.000 1，都采用隨機梯度下降算法（SGD）對網絡進行訓練。為了驗證本文算法在小規模樣本數據集上的有效性及泛化能力，對每個數據集中每個地物類別選取10%樣本作為訓練集，其余90%作為測試集。通過實驗測試本文提出算法的分類性能，運行20次取實驗結果的平均值作為最終結果。

采用常用的高光譜分類衡量指標總分類精度（OA）、平均分類精度（AA）和Kappa系數來評估所提出算法的性能。

總分類精度表示被正確分類的測試樣本數在全部測試樣本數中的比率，平均分類精度表示每一個類別分類精度的平均值，Kappa系數表示測試樣本的分類預測類別與實際類別的一致性檢測指標系數。具體計算公式如下：

其中，K表示類別數；N表示測試樣本總個數；P(i,i)表示第i類被正確分類；OA(i)表示第i類的總分類精度；P(i,)(,i)分別表示第i行和第i列的總測試樣本數。

3.1 Indian pines數據集實驗結果

Indian pines數據集是由機載可視紅外成像光譜儀（AVIRIS）于1992年在美國印第安納州西北部的印度松樹測試場地上收集的，其波長范圍在0.4~2.5μm，光譜分辨率為10μm，空間分辨率為20 m，圖像大小為145 pixel×145 pixel。原始數據集包含220個光譜波段，除去水汽吸收帶和低信噪比的波段，剩余200個可用波段作為實驗數據。圖7顯示了Indian pines高光譜偽彩色合成圖和真值圖。數據集有16種地物類別共計樣本10 249個，樣本具體分布如表1所示。

表1 Indian pines數據集樣本表Table 1 Indian pines dataset sample table

圖7 Indian pines偽彩色合成圖與真值圖Fig.7 Indian pines pseudo color composite map and ground truth map

表2給出了SVM、1D-CNN、2D-CNN、3D-CNN算法和本文提出的算法在Indian pines數據集上的分類性能比較。根據表2中的數據顯示，本文提出的雙通道VAE分類算法（TC-VAE）在Indian pines數據集上取得最高的的分類精度。總分類精度達到了99.23%，平均分類精度達到了98.48%，Kappa系數為99.12%。相比對比算法中最高分類精度的3D-CNN算法，TC-VAE算法在OA、AA和Kappa系數分別提升了3.82、4.27和4.58個百分點，從分類精度角度TC-VAE分類算法分類效果最優。

表2 各算法Indian pines數據集分類性能比較Table 2 Comparison of classification performances of different algorithms on Indian pines dataset %

圖8給出了5種算法在Indian pines數據集上的圖像分類對照圖，由圖可看出，本文算法分類結果錯分的點比3D-CNN還要少不少，更為接近Indian pines數據集真值圖，可知TC-VAE分類算法分類結果從視覺角度效果最優。

圖8 各算法在Indian pines數據集的分類對照圖Fig.8 Classification map of different algorithms on Indian pines dataset

3.2 Pavia University數據集實驗結果

Pavia University數據集是由機載反射光學光譜成像儀（ROSIS）于2003年在意大利帕維亞大學采集得到，其波長范圍在0.43~0.86μm，空間分辨率為1.3 m，圖像大小為610 pixel×340 pixel。原始數據集包含115個光譜波段，去除其中帶有噪聲的波段，剩余103個可用波段作為實驗數據。圖9顯示了Pavia University高光譜偽彩色合成圖和真值圖。數據集共有9種地物類別共計樣本42 776個，樣本具體分布如表3所示。

圖9 Pavia University偽彩色合成圖與真值圖Fig.9 Pavia University pseudo color composite map and ground truth map

表3 Pavia University數據集樣本表Table 3 Pavia University dataset sample table

表4給出了SVM、1D-CNN、2D-CNN、3D-CNN算法和本文提出的算法在Pavia University數據集上的分類性能比較。根據表4中的數據顯示，本文提出的雙通道VAE分類算法（TC-VAE）在Pavia University數據集上取得最高的分類精度。總分類精度達到了98.63%，平均分類精度達到了97.49%，Kappa系數為98.43%。相比對比算法中最高分類精度的3D-CNN算法，TC-VAE算法在OA、AA和Kappa系數分別提升了3.40、2.75和3.57個百分點，從分類精度角度TC-VAE分類算法分類效果最優。

表4 各算法Pavia University數據集分類性能比較Table 4 Comparison of classification performances of different algorithms on Pavia University dataset %

圖10給出了5種算法在Pavia University數據集上的圖像分類對照圖，由圖可看出，本文算法分類結果錯分的點比3D-CNN還要少不少，更為接近Pavia University數據集真值圖，可知TC-VAE分類算法分類結果從視覺角度效果最優。

圖10 各算法在Pavia University數據集分類對照圖Fig.10 Classification map of different algorithms on Pavia University dataset

4 結論

本文提出了一種基于雙通道VAE的高光譜圖像深度學習分類算法，該方法可以全面地提取高光譜圖像的空譜聯合特征提升分類精度。算法由三部分構成，首先基于一維改進CVAE分類框架提取全面的光譜特征，其次基于二維改進CRCVAE分類框架提取完整的空間特征，最后結合上述兩種框架構建雙通道VAE分類框架，該框架可以將提取到的光譜特征和空間特征融合為空譜聯合特征進行高光譜圖像分類。實驗結果表明，本文算法與傳統的SVM算法、1D-CNN算法、2D-CNN算法和3D-CNN算法相比，本文算法獲得更高的分類精度與更為平滑的分類結果圖。并且本文算法與對比算法中分類精度最高的3D-CNN算法相比在Indian pines數據集上OA、AA和Kappa系數分別提升了3.82、4.27和4.58個百分點，在Pavia University數據集上分別提升了3.40、2.75和3.57個百分點。證明了本文算法對小樣本訓練的有效性，同時驗證了本文算法的先進性和有效性。