基于空譜特征的核極端學習機高光譜遙感圖像分類算法

宋雯琦,閆德勤,劉德山,王軍浩

(遼寧師范大學 數學學院，遼寧 大連 116021)

0 引言

近年來，基于圖像特征的分類一直是高光譜圖像處理領域的一個重要課題。隨著傳感器技術的進步，高分辨率的遙感圖像得到了越來越多的應用。在傳統的高光譜圖像分類系統中，分類器只考慮光譜特征，而忽略相鄰位置的空間信息。近十年來，人們對利用空間特征來提高高光譜圖像分類性能有著極大的興趣。例如，馬爾可夫隨機場(MRF)模型[1]可以將空間上下文信息集成到圖像分類的概率模型中。本文提出的局部二值模式(LBP)是描述局部空間模式的一種簡單而有效的高級算子，它通過比較每個像素與其相鄰像素之間的關系，來有效地描繪圖像的局部結構。簡而言之，局部二值模式就是用中心像素值通過二進制閾值來標記局部區域中的像素。在高光譜圖像分類領域，LBP因其原理相對簡單、計算復雜度低、具有旋轉不變性和灰度不變性等顯著優點，在空間特征提取中得到了廣泛的應用。在文獻[2]中，研究局部二值模式(LBP)和局部相位量化(LPQ)的紋理表征在光學遙感圖像數據的土地覆蓋分類中的應用，在LBP的基礎上，提出基于局部二進制編碼的紋理表示方法，即局部相位量化，并將LBP和LPQ算子與基于灰度共生矩陣的紋理特征進行比較。在文獻[3]中，提取長波紅外圖像中的LBP算子，并利用定向梯度直方圖(HoG)和均值-方差描述符進行異常檢測。在文獻[4]中，LBP和HoG特征被用于跟蹤TerraSAR-X圖像中的船舶交通，LBP被用作結構重點濾波器，HOG被用于方向估計，對給定的檢測進行穩定分割。文獻[5]在LBP算法的基礎上，提出一種循環局部二值模式(CLBP)算法，該算法是在從高光譜立方體圖像中選取的單個條帶上計算得到LBP特征，然后利用該特征向量來表示活檢樣本中的圖像，用以進行結腸活檢分類。使用LBP提取高光譜圖像的空間特征，既能減少類內方差，又可以改善分類性能，但卻忽視了對光譜特征的提取。近年來，許多科學家發現，只有將空間和光譜信息結合起來，同時考慮高光譜圖像的光譜特征和鄰域像素之間的空間關系，才能更好地實現高光譜圖像的精確分類。文獻[6]中提出，利用核主成分分析(KPCA)等核方法對遙感圖像數據進行非線性特征提取，并擴展數據的譜維數，然后根據提取的光譜特征，進而提取空間信息。在文獻[7]中，提出一種將光譜信息和空間信息相結合，以支持向量機(SVM)作為基礎分類器的高光譜遙感圖像增量分類算法。在文獻[8]中，提出基于深度置信網絡(DBN)的一種新的特征提取方法，用于提取空間和光譜的聯合信息，并使用新的圖像分類體系結構分析高光譜數據。在文獻[9]中，提出基于高光譜圖像的空間光譜特征，提取褪色壁畫圖案，將空間分析和光譜分析相結合，從圖像空間中提取類葉模式的區域。

極端學習機[10-11]由Hung等人于2006年提出，是一種新的單隱層前饋神經網絡(Single-hidden layer feedforward neural networks，SLFNs)，它可以利用提取的空間光譜特征對高光譜圖像進行分類。選擇極端學習機分類器是由于其在訓練時無過多人為干預，在一定程度上可以避免傳統神經網絡陷入局部最優解的問題。極端學習機程序設計相對簡單，分類有效性高，且在針對不同問題時可以提供統一的模型框架，有效的提高訓練速度。除此之外，與傳統的神經網絡和支持向量機(SVM)相比，極端學習機也具有更好的分類性能。由于極端學習機的優點，使其被廣泛應用于解決各類實際問題，例如：利用ELM分類器解決不平衡數據分類問題等。近年來，極端學習機分類器在高光譜圖像分類領域中的應用受到了更加廣泛的關注。在文獻[12]中，使用單隱層前饋網絡(SLFN)進行分類，再分別使用極端學習和優化剪枝的ELM(OP-ELM)進行訓練，來獲取農業中大豆作物的精確專題圖。在文獻[13]中，在以交叉驗證精度作為性能指標來確定最優ELM參數的基礎上，開發了一種基于自動求解的差分進化(DE)算法。

傳統的極端學習機(ELM)由于輸入權重和偏差是隨機分配的，且具有相同數量的隱藏節點，因此在分類精度上可能會存在很大的差異。在文獻[14]中，提出了核極端學習機(kernei extreme learning machine，KELM)來解決這個問題，其基本思想是使用核函數來代替ELM的隱藏層。值得注意的是，KELM中使用的核函數不需要滿足Mercer定理，且能為多類分類問題提供統一的解決方案，因此KELM比傳統的極端學習機更具有優勢。由于KELM的性能優于使用隨機輸入參數的標準ELM算法，因此在各個領域得到了廣泛的應用。在文獻[15]中，KELM用于多光譜和高光譜遙感圖像分類。結果表明，就分類準確性而言，KELM與SVM相似或比SVM更為準確，且KELM的計算成本顯著降低。在文獻[16]中，將核極端學習機(KELM)引入到航天結構領域的損傷位置檢測中，可以更快的得到與支持向量機(SVM)和傳統的BP神經網絡(BPNN)相似精度的結果。在文獻[17]中，利用KELM建立了基于實驗數據的生物柴油發動機模型，以確定生物柴油的最佳配比。在文獻[18]中，提出一種近似核極端學習機分類器，可用于大規模非線性人臉圖像分類問題。在文獻[19]中，利用核極端學習機作為分類器完成對小鋼球表面缺陷的檢測和分類。在文獻[20]中，利用核極端學習機將從紅外圖像中提取的HOG特征進行分割。

本文受基于LBP空間特征的提取方法以及空間和光譜特征結合技術的啟發，提出基于空譜特征的核極端學習機高光譜遙感圖像分類算法SS-KELM，該算法將提取的光譜特征以及通過LBP提取的空間特征進行矢量堆疊，得到新的空譜特征向量，而后引入到KELM模型中，彌補特征提取不充分的問題。

本文所提算法的主要貢獻在于：

1)將提取的光譜特征以及通過LBP提取的空間特征，通過使用矢量堆疊方法進行堆疊得到的新的特征向量——空譜特征向量：避免了只提取其中一種特征導致特征提取不充分，分類效果不理想的問題。

2)在KELM的基礎上提出了SS-KELM算法，SS-KELM在引入新的特征向量的情況下對原始數據進行分類：在ELM的基礎上提出了KELM，進而提出了SS-KELM，使得分類效果更加良好。

為了評價和驗證所提出方法在圖像分類過程中所具有的性能，我們使用Indian Pines和University of Pavia兩個高光譜遙感圖像數據集進行實驗，將本文所提出的SS-KELM算法與SVM，KELM，內核協同表示與Tikhonov正則化(KCRT-CK)[21]及多項邏輯回歸(MLR)[22]算法進行綜合對比，實驗結果表明本文所提出的算法在圖像分類中能夠取得較好的分類效果。

本文剩余部分安排如下，第二部分介紹空譜特征提取，第三部分介紹分類器，第四部分給出實驗結果及分析，第五部分給出最后結論。

1 空譜特征提取

空譜特征提取的步驟包括兩個并行模塊：光譜特征提取和空間特征提取。然后將每個像素的光譜和空間特征堆疊成一維矢量，就可以得到同時包含圖像的光譜信息和鄰域像素間空間關系的空譜特征向量。最后將新的特征向量饋送到KELM核極端學習機中進行分類。在這里，本文先介紹如何進行光譜和空間向量提取。然后，簡要介紹如何在擬議的框架中組合光譜和空間特征。

高光譜圖像由大量光譜帶組成，但其中包含許多冗余信息，因此，為了減少空間特征提取時的計算量，首先要對高光譜圖像的光譜維進行數據降維處理。本文利用波段選擇(例如LPE[23])通過選擇具有獨特和豐富信息特征的光譜帶的子集來降低維數。

線性預測誤差(LPE)是一種簡單而有效的波段選擇方法，它是基于波段相似性測量的。在空間特征提取中，線性預測誤差(LPE)首先用于選擇具有獨特和信息特征的光譜帶子集。假設存在兩個初始波段B1和B2，對于每隔一個波段B，近似可以表示為B′=a0+a1B1+a2B2。在這里a0，a1和a2是最小化LPE的參數為：e = |B-B′|2。參數矢量可以用a=[a0,a1,a2]T表示?？梢圆捎米钚《私鈦慝@得如下的參數向量：

a=(MTM)-1MTm

(1)

其中:M是具有三列的矩陣，其第一列是全1，第二列是B1波段，第三列是B2波段。M的行數是每個波段中的像素總數。m是B波段。產生最大誤差e的波段被認為是與B1和B2最不相似的波段，是要被選中的波段。以此類推，波段組合可以隨后增加到五，六，七等，直到獲得所需數量的波段。

在波段選擇之后，我們要將基于局部二值模式(LBP)[24]的特征向量提取過程應用于每個所選波段。

1996年T.Ojala等人引入局部二值模式(LBP)對圖像進行紋理分析。局部二值模式的主要思想是先由結構法對固定窗口進行分析，再由統計法對整體特征進行提取。LBP算法常以3×3為固定窗口，以該窗口的中心像素的灰度值為閾值，對其它相鄰像素進行二值化處理，最后由其相對于中心像素的位置，進行加權求和，得到所求LBP值。局部二值模式是通過比較每個像素與其相鄰像素之間的差異，來有效地總結圖像的局部結構的，因此它是一種非參數方法。局部二值模式最重要的特性是其對單調照明變化的容忍度及其計算的簡單性，同時它在精度和運算方面也具有優勢，因此它還是一種理論簡單但功能強大的分析算法。

給定中心像素tc，局部區域的每個相鄰像素都被分配一個二進制標簽，標簽可以是“0”或“1”，這取決于中心像素是否具有更大的強度值。具體地說，k個相鄰像素就是以中心像素tc為中心，半徑為r的圓上的一組等間隔樣本。半徑r確定相鄰像素和中心像素之間的距離，與所選擇的k個相鄰像素一起，中心像素tc的LBP代碼可以由下式給出：

(2)

Z其中，若ti>tc，則U(ti-tc)=1；若ti≤tc，則U(ti-tc)=0。圖1說明了給定的中心像素tc的八個((k,r)=(8,1))圓形鄰域的二進制閾值處理的示例。然后以順時針方向計算LBP代碼，即二進制標簽序列“11001010”= 83。

圖1 LBP二進制閾值的示例

輸出的LBP代碼反映了尺寸為3×3的局部區域中的紋理取向和平滑度。在獲得所有像素的LBP代碼之后，再在以感興趣的像素為中心的局部塊上計算得出直方圖，如圖2所示。然后，將所有的LBP直方圖帶連接起來形成空間特征向量。

圖2 LBP特征提取的實現

要注意的是，在本文中，我們使用的是原始LBP的擴展，稱為均勻模式。均勻模式可以有效地減少特征向量并實現簡單的旋轉不變算子。如果二進制模式中最多包含兩個0-1或1-0轉換，則LBP被稱為均勻的。在計算每個波段的LBP直方圖時，將所有非均勻的圖案都分配到一個單格點上。然后，一個波段的特征向量就可以從256個減少到59個。

光譜特征包含用于區分不同類型的地面類別的重要信息?？臻g特征減少了類內方差，并且可以改善分類性能。因此，光譜和空間特征向量的組合為實現高光譜圖像的分類提供了更可靠的結果。本文中，通過使用矢量堆疊方法來解決光譜和空間特征向量的集成，如圖3所示。具體地就是，對于每個像素將其空間特征向量添加到光譜特征向量的末尾，即可得到新的空譜特征向量。然后，將這些新的空譜特征向量引入到分類器中進行分類。詳細的分類模型將在以下小節中描述。

圖3 光譜特征和空間特征提取及矢量堆疊方法流程圖

2 系統結構及原理

2.1 極端學習機

2006年，Huang等人[25-26]提出極限學習機(ELM)，因其計算成本遠低于任何其他基于神經網絡的方法，不僅計算效率高，而且趨于實現與SVM相似或者更好的泛化性能，近年來引起了計算機視覺和模式識別領域的廣泛關注。

(3)

其中h(·)是非線性激活函數(例如，sigmoid函數)，βj=(βj1,βj2,...,βjC)∈RC表示將第j個隱藏節點連接到輸出節點的輸出權重向量，wj∈Rd表示將第j個隱藏節點連接到輸入節點的權重向量，bj是第j個隱藏節點的偏置值。術語wj·xi表示wj和xi的內積。如果將值1填充到xi中以使其成為d+1維向量，則可以將偏差視為權重向量的一個元素，也可以隨機分配。對于n個等式，將所有數據樣本進行化簡整合，式(3)可以改寫為如下形式：

Hβ=Y

(4)

其中:Y=[y1;y2;…;yn]∈Rn×C為期望輸出矩陣，β=[β1;β2;…;βn]∈RL×C為輸出權值矩陣，且H是神經網絡的隱層輸出矩陣，則上式可以表示為：

(5)

在式(5)中，h(xi)=[h(w1·x1+b1) …h(wL·x1+bL)]是響應輸入xi的隱藏節點的輸出，將數據從d維輸入空間映射到L維特征空間。在大多數情況下，隱藏神經元的數量要遠遠小于訓練樣本的數量，即L?n，此時H為奇異矩陣，我們可以利用最小二乘解的方法對(4)式進行求解:

(6)

(7)

綜上所述，具有L個隱藏節點，激活函數為h(·)的ELM算法的求解過程可總結成如下步驟：

1) 初始化訓練樣本集；

2) 隨機指定網絡輸入權值wj和偏置值bj；

3) 通過顯式激活函數計算隱層節點輸出矩陣H；

2.2 基于核極端學習機的SS-KELM

傳統的極端學習機模型仍存在著網絡隱含層節點個數難以確定、缺乏考慮結構化風險導致過擬合等問題。針對此問題，Huang 等人將支持向量機中隱式表達特征空間的核函數映射引入極端學習機中，作為極端學習機的隱含層節點映射，構建核極端學習機模型。

在ELM中，假設的特征映射h(xi)是已知的。通過將ELM中的顯式激活函數擴展到隱式映射函數中，構建出基于內核的ELM。此時假設的特征映射未知，則可以將ELM的核矩陣定義為：

ΩELM=HHT:ΩELM i,j=h(xi)·h(xj) =K(xi,xj)

(8)

因此，KELM的輸出函數由下式給出：

(9)

最后根據具有最大值的輸出節點的索引確定輸入數據標簽。

核極端學習機包含了傳統極端學習機和支持向量機優點的同時，由于其假設特征映射是未知的，并給出相應的核函數，解決了傳統極端學習機網絡隱含層節點個數難以確定的問題。核極端學習機也可以使用更多的特征映射，如Sigmoid、三角函數等。與傳統的支持向量機相比，核極端學習機在優化目標函數相同的基礎上，對拉格朗日乘子的約束更少，因此可以得到更優的解。此外，由于傳統的支持向量機需要解決大約束優化問題，而核極端學習機只需要一個分析步驟，因此，核極端學習機具有更快的學習速度。實驗表明，KELM可以提供與SVM類似或甚至更好的分類準確度。

本文提出的SS-KELM算法，就是將經過矢量堆疊得到的新的空譜特征向量，引入到核極端學習機中進行分類，其步驟可總結如下。

輸入：高光譜遙感圖像數據集。

步驟1：定義基本參數，對三維真實高光譜數據集進行歸一化處理；

步驟2：根據公式(1)利用波段選擇LPE方法對數據進行降維處理，同時保存數據的光譜維特征；

步驟3：根據公式(2)，對降維后數據使用LBP方法提取圖像的空間特征向量；

步驟4：根據圖像3所示流程圖，將空譜數據進行結合；

步驟5：選擇核函數，利用公式(9)計算輸出結果；

輸出：類內分類準確率CA、總體準確率OA、平均準確率AA和kappa系數。

3 高光譜圖像分類實驗

為了評估本文所提出的SS-KELM算法的性能，我們采用了兩個被廣泛使用的高光譜數據集Indian Pines數據集和Pavia University數據集進行評估，并選擇了一些經典傳統的分類算法來進行綜合比較。在本小節中，我們首先對數據集進行簡要的介紹。然后，通過與SVM，KELM，KCRT-CK，MLR算法的比較，顯示并討論實驗結果。

3.1 數據集描述

第一個數據集是Indian Pines數據集。它由美國國家航空航天局的機載可見/紅外成像光譜儀(AVIRIS)傳感器，在1992年6月，于印第安納州西北部的印度松試驗場上采集的。該圖像代表了145×145像素和220個波段的分類場景，擁有0.4至2.45μm的可見光譜和紅外光譜區域，空間分辨率為20 m。該方案包含三分之二的農業和三分之一的森林。在本文中，去除吸水帶后總共使用了202條光譜帶。有16種不同的土地覆被類別，但在指定的地面真實地圖中并非所有類別都是互斥的。訓練和測試樣本的數量在表1中顯示。

表1 Indian Pines數據集樣本信息

使用的第二個實驗數據集是由反射光學系統成像光譜儀傳感器收集的。該圖像場景是在DLR(德國航空航天局)管理的HySens項目下收集的，覆蓋了意大利的帕維亞市，其空間覆蓋率為610×340像素。在去除水帶之前，數據集具有103個光譜帶。它的光譜范圍可從0.43到0.86-μm，空間分辨率為1.3 m。地面真相圖大約有9類的42 776個標記像素。表2總結了有關訓練和測試樣本數量的更多詳細信息。

表2 Pavia University數據集樣本信息

3.2 實驗結果與分析

在本節中，將本文所提算法 SS-KELM與SVM，KELM，KCRT-CK，MLR算法的分類結果進行對比。通過對比它們的類內分類準確率CA、總體準確率OA、平均準確率AA和kappa系數來衡量每種算法的分類性能。

3.2.1 Indian Pines 圖像數據實驗結果

表3展示在Indian Pines數據集上固定訓練樣本個數，不同算法的類內分類準確率CA、總體準確率OA、平均準確率AA和kappa系數。通過比較6種算法的OA、AA和kappa系數可以很清楚地看到本文所提的SS-KELM 算法與SVM，KELM，KCRT-CK，MLR算法相比，在16類數據樣本中，有12類的類內分類準確率CA要高于其他算法，總體準確率OA、平均準確率AA和 Kappa 系數均有所提升。圖4展示在Indian Pines數據集上不同算法的類內分類準確率CA與類別之間的關系，根據分類準確率曲線可以看出，本文所提算法的分類準確率相對較高。

表3 Indian Pines 數據分類中不同分類算法的比較

圖4 Indian Pines數據集不同方法分類準確率對照圖

3.2.2 University of Pavia 圖像數據實驗結果

表4展示在University of Pavia數據集上固定訓練樣本個數，不同算法的類內分類準確率CA、總體準確率OA、平均準確率AA和kappa系數。通過比較6種算法的OA、AA和kappa系數可以很清楚地看到本文所提的SS-KELM 算法與SVM，KELM，KCRT-CK，MLR算法相比，在9類數據樣本中，有6類的類內分類準確率CA以及總體準確率OA、平均準確率AA和 Kappa 系數均高于其他算法。圖5展示在University of Pavia數據集上不同算法的類內分類準確率CA與類別之間的關系，根據分類準確率曲線可以看出，本文所提算法的分類準確率較高且曲線在2-9類上較為平穩。

表4 University of Pavia 數據分類中不同分類算法的比較

圖5 Pavia University數據集不同方法分類準確率對照圖

通過表3和表4的對比實驗結果以及圖4和圖5的類內分類準確率對照圖可以看出，SS-KELM 算法的分類性能優于其他分類算法，其原因在于SS-KELM算法在進行特征提取時，同時考慮高光譜遙感圖像的光譜和空間特征，光譜特征包含用于區分不同類型的地面類別的重要信息，空間特征考慮了鄰域像素之間的空間關系。本文利用局部二值模式(LBP)提取空間特征既減少了類內方差，又可以改善分類性能，同時使用矢量堆疊的方法將兩種信息融合，使得特征向量包含更多信息，再將其引入到核極限學習機模型中，可以有效地提高高光譜遙感圖像的分類精度，彌補核極限學習機在高光譜遙感圖像分類中學習不充分、空間信息利用不充分等問題。

4 結束語

本文提出了一種基于空譜特征的核極端學習機高光譜遙感圖像分類算法，利用LBP的框架來提取局部圖像空間特征并與其光譜特征進行結合以進行高光譜遙感圖像的分類。具體而言，首先，基于LBP提取空間特征，將LBP實施到通過LPE方法選擇的原始波段的子集。然后，將提取的LBP空間特征和光譜特征通過使用矢量堆疊的方式進行結合形成新的特征向量。最后，還提出了利用KELM對新的特征向量進行分類。實驗結果表明，局部LBP表示在高光譜圖像空間特征提取中是有效的，因為它們在提供局部結構圖案的同時還對圖像紋理配置信息進行編碼。同時考慮光譜和空間特征的新的特征向量，使向量的特征表示更具有準確性。此外，核極端學習機可以提供有效的分類，優于基于SVM的方法。在未來的工作中，我們將研究更復雜的特征選擇方法。