基于SSAE深度學習特征表示的高光譜遙感圖像分類方法

,

(河海大學 商學院,南京 211100)

0 引言

高光譜遙感圖像不僅包含地物的連續、緊密的光譜信息，且包含地物的空間分布信息，為此在如農業、礦物學、監測和環境科學中有重要應用[1]。對高光譜影像中每個像素進行分類是關鍵問題，目前學者引入了大量的機器學習方法來解決分類問題[2]。

機器學習算法的性能在很大程度上取決于它們的數據表示(特征)的選擇，這在計算機視覺任務中尤為明顯。其中精心設計的手工特征，如尺度不變特征變換(SIFT)或梯度直方圖(HOG)在各種任務中表現出很高的有效性[3-4]。但是，這些特征描述符的主要缺點是在設計過程中需要進行人為干預。此外，這些特征具有高維度特性并且具有有限的泛化能力。這就促使需要通過特征表示學習從數據中自動提取的有效特征，旨在學習原始數據的有用表示以用于更高級別的任務，并最小化學習算法對特征工程的依賴性[5]。

從基礎數據中學習這些特征會受許多變異因素的影響。例如，在遙感圖像方面，包括地面環境條件以及云污染會給特征學習帶來挑戰。一些學者采用各種經典神經網絡來提取特征，例如文獻[6]采用了卷積神經網絡進行特征學習來提取特征。但是這些神經網絡的計算復雜度都很高。

在這項工作中，我們的目標是在現實世界的情景下找到衛星數據的“優良特征表示”。本文通過考慮稀疏自動編碼器(Sparse Auto-encoder, SAE)的框架，構建一種無監督特征表示學習方法。SAE是一種采用非線性編碼并施加稀疏性約束來表示原始數據的人工神經網絡。為了在復雜背景下訓練深度模型，本文利用一系列堆疊的稀疏自動編碼器，構建堆疊稀疏自動編碼器(Stacked Auto-encoder, SSAE)進行特征映射，獲得圖像的特征表示。最后通過傳統的支持向量機(Support Vector Machine, SVM)分類器對輸入圖像特征進行分類，最終實現遙感圖像中像素的分類。

1 基于SSAE深度學習的特征表示

1.1 稀疏自動編碼器(SAE)

特征映射是將輸入模式x∈Rd轉換為k個神經元(單位)的隱藏表示h(稱為編碼)，由編碼器函數定義：

f(x)=h=αf(W1x+b1)

(1)

其中:αf是應用于輸入向量的激活函數。激活函數通常選擇為非線性，如邏輯sigmoid和雙曲正切。最近，人們越來越關注修正線性單元(Rectified Linear Unit, ReLU)[8]，它似乎在監督識別任務中效果更好。

(2)

其中:αg是激活函數，W2∈Rd×k是解碼矩陣，b2∈Rd是從隱藏層到輸出層學習的偏置參數。

通過特定的損失函數，最小化輸入和輸出之間的重建誤差，來實現對自動編碼器的參數集A=W1的估計。給定訓練集，一個典型的損失函數是用來尋求最小化的最小二乘誤差，優化目標[9]定義如下：

(3)

SAE是典型自動編碼器的特殊情況，其中編碼被限制為稀疏，即在訓練期間僅有一小部分單元是活動的。信號和模型稀疏性具有許多優點，對信號處理和機器學習產生了深遠的影響，例如魯棒性，模型復雜性，生成性和判別能力等。此外，來自神經科學的證據表明，稀疏網絡更接近生物神經元的反應，因為被同時激活的神經元的百分比估計在總數的1%到4%之間[10-11]。

圖1 傳統自動編碼器體系結構

(4)

(5)

(6)

超參數β確定稀疏正則化的重要性。通過計算JspAE的偏導數并應用反向傳播算法來更新一組特定的權重。這樣，在少量迭代之后，訓練通常會收斂到全局最小。可以通過常規優化算法(例如，梯度下降)來實現最小化模型參數θ，也可以使用更復雜的算法，例如共軛梯度和BFGS(Broyden-Fletcher-Goldfarb-Shanno)方法以加速收斂。

1.2 堆疊稀疏自動編碼器(SSAE)

深度學習是表示學習的一個特例，它認為多層次表示會產生更通用和有益的特征。第一層神經元的活動對應于輸入的低級特征，而更高級別的抽象概念在隨后的隱藏層中進行編碼。更具體地說，本文為深度架構提供表面反射輸入數據，這是從遙感觀測系統收集的原始數據，并嘗試通過分層方法來學習它們的“高級”版本，這將理想地匹配高質量的手工特征。這里，本文考慮的高質量特征是歸一化植被指數(NDVI)和地表溫度(LST)，這些特征是從MODIS Terra檢索的相同月份的相同圖塊上提取的。NDVI和LST時間序列特征的組合可以量化植被生長表現和土地覆蓋物理特征的變化。

通過這種方式，本文目標是繞過專家對這些特征的經驗設計要求，自動學習可以替代和增強圖像的特征表示。同時，由于處理的無監督性質，所提出的方法更具普遍性，并且還可以與其他類型的目標一起工作，例如城市地區的結構。

通過將單層自動編碼器堆疊在一起，可以創建具有兩個或更多隱藏層的堆疊自動編碼器架構[13]，如圖2所示，其中圓圈表示特征單元。黑色表示隱藏層單元，而白色表示可見單元，兩個中間層構成一個編碼器。

圖2 4層堆疊自動編碼器網絡[3-4-4-2]

形式上，首先將原始數據作為輸入，訓練SAE。然后丟棄解碼器層，使得隱藏單元(第1層特征)的激活，成為用于訓練第二自動編碼器層的輸入(前饋)，進而產生另一表示(第2層特征)。這種貪婪的逐層過程使先前的圖層保持固定，并忽略與后續圖層的交互，從而大大減少了對參數空間的搜索。雖然這個過程可以重復多次，但很少涉及三個以上的隱藏層。我們可以根據下式來公式化堆疊自動編碼器：

hL=fL(…f2(f1(x)))

(7)

其中:hL表示由頂層L學習的表示。整個架構的輸出用于反饋給獨立的分類器，與原始輸入相比，這種方式提供了改善的數據表示。

深度學習的挑戰在于，梯度信息很難通過一系列隨機初始化的層，這是因為很難確定一個好的起點。無監督預訓練是最近開發的且非常有影響力的協議，通過引入用于初始化每層權重的先驗知識來幫助緩解該優化問題，允許梯度“流動良好”。自動編碼器作為無監督學習的一個基本例子，作為預訓練深度神經網絡的方法引起了很多關注。在形式上，我們使用SAE以自下而上的方式一次訓練一個層，用于固定數量的更新(輪次)。到目前為止，該程序完全沒有監督。隨后在深層結構的頂層引入監督的重建，以便相對于監督標準微調基于梯度的優化算法，該標準稱為微調階段的過程。作為最后一個可選的訓練階段，可以通過全局微調進一步優化參數，每調整一次都使用通過整個網絡架構的反向傳播。

1.3 數據預處理

(8)

2 基于SVM的像素分類

本文將支持向量機(SVM)作為基礎分類器，根據所提取的特征對遙感圖像進行分類。SVM被認為是最有效的遙感數據分類器之一[14]。假設每個訓練示例xi與二進制標簽yi∈{0,1}相關聯，則SVM分類器試圖在該較高維空間中找到具有最大余量的線性分離超平面。形式上，當內核函數是線性的時，SVM尋求以下約束優化問題的解決方案：

subject toyi(ωxi-ω0)≥1-ξi,ξi≥0

(9)

其中:松弛變量ξi測量數據的錯誤分類程度，參數C> 0控制松弛變量罰分和保證金之間的交易。

3 實驗及分析

3.1 數據集

在本文的實驗中，使用兩個高光譜數據集，印第安納農場數據集(Indian Pines)和意大利帕維亞大學數據集(U.Pavia)[15]。對于兩個數據集，從圖像的地面實況中都選擇出包含9種不同土地覆蓋類別進行分類實驗。兩個數據集中的遙感圖像和分類標簽實例分別如圖3和圖4所示。

圖3 Indian Pines數據集上的實例圖像

圖4 U.Pavia數據集上的實例圖像

隨機挑選來自每個類的200個標記像素以構建訓練集。其余的標記樣品構成測試集。從可用訓練集中提取一部分驗證集以調整模型的超參數。

3.2 參數設置

對于控制自動編碼器稀疏度的超參數ρ和β，我們首先以合理的值執行粗網格搜索，并且在所有情況下，根據最小Jaccard系數執行參數選擇。其中，ρ∈{0.001,0.01,0.1,0.5,0.9}，β∈{1,3,5,7,9}。隨后在產生最佳分數的參數組合(ρ,β)附近進行更精細的搜索。最后結果表明，當ρ=0.5，β=3時效果較好。

對于神經網絡的兩個關鍵系統參數，即隱藏層神經元數量以及隱藏層深度對性能的影響。通過多次實驗，最終設定神經網絡中隱藏層數量為2，每層的神經元數量為120。

3.3 性能指標

根據以下指標評估分類方法的性能：

1)總體準確度(OA)：是正確分類的樣本總數與所有類別的樣本總數之比。

2)F值：設置TP，TN，FN和FP分別表示真陽性，真陰性，假陰性和假陽性樣品的數量，那么F值表示為：

(10)

3)Kappa系數：是不同評估者之間一致性程度的統計指標。假設有兩個評估者將N個項分類為C個互斥類。然后，Kappa系數由下式給出：

(11)

其中:p0是相對觀察到的一致概率，pe是一致改變的假設概率。k=1表示評估者之間完全一致，而k≤0表示根本沒有達成一致。

3.4 實驗結果

本文結合了基于SSAE深度學習的特征表示方法和SVM分類器，構建了一種遙感圖像分類方法，稱為SSAE+SVM。為了驗證本文方法的有效性，將其與現有的幾種方法進行比較。為了比較的公平性，分類器都采用SVM分類器。首先，為了證明SSAE深度學習特征表示的有效性，構建一種對比方法，即傳統特征+SVM分類器。另外，還與文獻[6]提出的利用卷積神經網絡(CNN)進行特征提取的方法進行了比較。在兩個數據集上的比較結果如表1和表2所示。

表1 Indian Pines數據集上的實驗結果

表2 U.Pavia數據集上的實驗結果

可以看到，本文SSAE+SVM方法與傳統特征+SVM方法相比有明顯改善，這說明了采用SSAE深度學習進行特征表示對提高分類性能有明顯的促進作用。另外，本文方法也比文獻[6]方法的性能更好，這是因為SSAE深度學習能夠解決傳統神經網絡易陷入局部最優的問題，且無需大量含有標簽的數據集，為此進一步提高了分類性能。

4 結論

本文提出一種基于SSAE深度學習特征表示和SVM的高光譜遙感圖像分類方法，用以解決傳統分類方法中特征需要手工設計的缺陷。通過SSAE來從訓練數據中不斷學習，以此獲得最佳的特征表示，并將其作為SVM分類器的輸入，對圖像像素進行分類。在兩個都包含9種物質類別的Indian Pines和U.Pavia高光譜數據集上進行了驗證實驗，結果證明了本文方法的有效性。