旋轉森林與極限學習相結合的遙感影像分類方法

肖東升，魯恩銘，劉福臻

(西南石油大學 土木工程與建筑學院，成都 610500)

0 引言

遙感影像分類是采用樣本數據訓練生成預測模型，該模型具有較強的泛化性，并依據生成的預測模型對待分類的遙感數據進行目標分類[1]。隨著遙感和信息技術的發展，衛星在軌數量不斷增多，每日產生海量的遙感數據。如何在海量的遙感數據中自動提取信息成為海內外學者研究的熱點問題。

影像分類技術已經在不同領域得到廣泛應用。但采用不同的分類方法對于同一個區域進行分類處理，獲得的分類結果差別很大，目前分類方法的泛化性較差[2]。選擇適合單一分類算法的特征和規則，未能充分利用影像上其他有效信息，存在一定的局限性，最終導致分類結果精度難以滿足實際工程應用的需要。集成多分類器方法能夠充分挖掘單一分類器的優勢，同時能夠綜合利用多種分類器的優勢提高算法的泛化能力和分類精度[3]。集成多分類器是利用存在較大差異的多個基分類器，采用某種集成策略進行優化組合，構造優于單個分類器的融合分類器，獲得最終分類器集成[4]。組合的方法逐漸應用在遙感影像分類領域中并取得了良好分類效果[5]。因此，國內外學者從下面2個基本方面提高分類效果：一是采用差別較大的訓練樣本提高基分類器的差別，即提高同質基分類器的性能；二是采用預測模型結果差別較大的基分類器，即集成異質分類器[6]。同質類型的分類器集成主要是通過訓練集的不同構建集成分類器，比較常見的集成策略有隨機子空間[7](random subspace method，RSM)、Bagging[8]、旋轉森林[9-10](rotation forest)以及AdaBoost[11]等。對于這類分類器，如果采用穩定性較好的分類學習算法，表現出來的集成結果可能相對基分類器的效果不明顯，甚至有可能影響最終的分類性能的提高。如Kim Myoung等提出的采用多層感知機作為AdaBoost的基分類，獲得較好的實驗效果[12]。Rodriguez等人提出旋轉森林算法，該方法采用決策樹作為基分類器，對于地物光譜負責的遙感影像會過于適應噪聲，導致過擬合現象[13]。Han等人采用徑向基函數用于DECORATE(diverse ensemble creation by oppositional relabeling of artificial training examples)算法很好地解決了分類問題中的過擬合問題[14]。Huang等人提出ELM(extreme learning machine)算法，通過給定輸入權重以及隱含層的偏置值，僅訓練網絡的輸出權值來解決分類問題中的過擬合問題，但單個ELM神經網絡對于復雜遙感影像進行分類時，泛化能力表現較差[15]。因此，為解決原始RF采用決策樹作為基分類器對遙感數據分類時容易出現過擬合現象以及單個ELM算法對復雜數據泛化能力較差問題，本文提出一種結合RF和ELM算法的多分類器混合集成的遙感影像分類方法。該方法能夠利用RF方法對ELM神經網絡進行集成，可以較好地提高ELM算法的泛化能力，提高2種算法的互補性，有較高的泛化能力與識別精度。

1 RF與ELM結合方法

1.1 ELM算法

極限學習機(extreme learning machine，ELM)是針對單個隱藏層的前饋型神經網絡(single-hidden layer feedforward neural network，SLFNs)的監督型學習方法[16]。相對于傳統的前饋神經網絡訓練速度慢、學習率選擇敏感等缺點，EML方法通過輸入層與隱藏層之間的權值以及隱藏層神經元的閾值，且在訓練過程中無需調整，僅僅設置隱含層神經元的個數，便可求解一個最優范數。與傳統訓練方法相比極限學習機法具有訓練參數少、訓練速度快、泛化性能好等優點。

通常，單個隱藏層的前饋型神經網絡模型在求解最優目標時需要設置多個隱藏神經元。假設存在N個任意的樣本數據(xi，yi)，其中xi、yi分別表示訓練樣本的特征向量和該樣本的標簽。對于給定ELM網絡的輸入層、隱層和輸出層的節點數分別為n、r、m，那么極限學習機可以表示為[17]：

(1)

式中：g為隱層神經元的激活函數；ωi為第i輸入網絡層隱藏結點連接的權重向量；βi=[βi1，βi2，…βin]T是為第i輸出層網絡層隱藏結點的輸出權值向量；yk是網絡輸出值；bi為隱層偏置值；g為隱層神經元的激活函數。ELM在開始訓練時，固定輸入權重ωi和隱層偏置值bi隨機產生，只需訓練βi，如式(2)[18]所示：

式中：H為極限學習機隱層節點輸出矩陣；Y為期望輸出矩陣；βi為輸出權值向量。中間的隱含神經元層與最終輸出層間的連接權重向量通過最小二乘方法求解方程組min||Hβ-Y||獲得最優解。求解出βi即完成極限學習機的網絡訓練過程。因此，對于給定訓練樣本集、激活函數以及隱單元個數，ELM算法主要包括3步：

①任意指定輸入的權重w和隱含層神經元的閾值b向量；

②計算隱含層輸出矩陣H；

③計算輸出的權重向量β=H-1Y。

1.2 RF-ELM方法

由于決策樹算法具有對數據間的變換比較敏感特性，因此決策樹被絕大數的集成方法選著作基分類器，但對遙感數據分類時容易出現過擬合現象，同時處理速度較慢。由1.1節中極限學習的訓練過程與式(2)可知，極限學習機在構建模型時對訓練數據集嚴重依賴，采用差異數據會獲得不同的權重向量β，對于給定不同的2個隨機值ω和b在相同的數據集上計算輸出權重β值存在一定的差異，所以容易訓練出具有一定差異的 ELM 模型，因此滿足基分類器構造集成分類器的基礎條件。

設X為N*M維的訓練數據集，Y為N*1維每個實例對應的類標，F表示訓練數據的屬性集，E1、E2、…El為l個基分類器，以旋轉森林選取訓練樣本為前提并結合極限學習作為基分類器構建集成學習分類模型。具體步驟如下：

②用Fij表示采用訓練數據集的第j個子屬性集訓練第i個基分類器Ei構建的模型，對訓練數據屬性集進行自動采樣，抽取為原數據集的75%數據子集Xij，對Xij樣本數據在Fij對應特征子集中數據通過主成分特征變換進行特征提取，獲得nj個特征子集的主成分變換系數Cij=[a1ij，a2ij…ajij]。

③將計算得到的K個主成分系數存儲在Ri矩陣內，依據系數矩陣對原始數據屬性進行排序獲得Ri[19]。

(3)

④對原始訓練數據集X采用③計算得到的Ri進行主成分變換分析獲得數據，并在變換后的數據上訓練極限學習機Ei獲得對應的基分類器。

⑤重復步驟①～步驟④訓練獲得L個極限學習基分類器。

2 實驗與分析

2.1 模型集成驗證

選取公共UIC測試數據庫中Balance Scale、 Hepatitis、Tic-tac-toe 3個數據集，從每個數據集中任意抽取70%原數據作為訓練數據，剩下的30%作為檢驗數據，重復采用70%的訓練數據，依次運行25次單個極限學習(ELM)模型、RF-ELM模型，計算測試結果的平極差、均方差、平均準確率以及分類時間。實驗結果見表1。同時交叉驗證實驗結果如表2所示。在公共數據集上實驗，本文算法構造RF-ELM 模型旋轉矩陣時選擇的子特征屬性個數為5，極限學習的隱層神經網絡節點個數設置為50。

表1 不同模型對比實驗

表2 交叉驗證實驗對比結果

由表1可知，文中提出改進的RF-ELM模型無論在處理訓練數據集的模型構建，還是在檢驗數據集的預測模型結果都比單個極限學習模型的效果好；RF-ELM模型25次預測結果的方差和極差的平均值遠小于單個極限學習模型，離散程度較小說明RF-ELM模型實驗結果的穩定，算法的魯棒性較好；模型的運算效率較高。表2給出的交叉驗證實驗結果，RF-ELM準確率最高。在公共數據集上改進的RF-ELM模型方法提高了極限學習算法的穩定性與預測精度。

2.2 遙感影像實驗

為了驗證改進的 RF-ELM 模型方法能夠有效地解決原始RF 中容易出現過擬合現象以及單個ELM算法對復雜數據泛化能力較差問題，將本文所提方法對北京市順義區和成都市新都區的Landsat-8衛星遙感影像上進行了實驗驗證。

1)實驗1。實驗1中采用北京順義地區影像是大小為2 000像素×2 000像素的真彩色遙感影像，包括7個波段，空間分辨率為30 m的多光譜數據。對預處理后的影像利用eCognition軟件進行多尺度分割獲取分割矢量，考慮到尺度越小像斑數越多，分割尺度取100，形狀因子取0.3，緊致度因子取0.5，分割后獲取像斑數目為10 632個。圖1為研究區域432波段合成的真彩色影像。對像斑進行特征提取，再選取843個類別屬性像斑作為訓練樣本集，類別包括：水域、荒裸地、道路、建筑區、耕地、林地。

圖1 順義區Landsat-8真彩色影像

基于RF-ELM模型方法的高分辨率遙感影像分類結果如圖2所示。可以看出，RF-ELM模型對每種地物都有很好的分類效果。表3給出了幾何RF-EML模型方法對每種地物的分類精度。從各算法得到的分類精度對比可以看出，RF算法、ELM算法以及Bag-ELM算法出現了分類精度都比較低的現象。而對比所提算法與 RF 算法得到的分類結果可以看出，RF-ELM 算法改善了 RF 中的過分類現象，得到的分類結果效果更好。

圖2 RF-ELM分類結果

類別制圖精度用戶精度漏分精度錯分精度水域 94.7987.505.2112.50荒裸地90.9095.239.104.77道路 86.1193.9313.896.07建筑區95.0484.954.9615.05耕地 95.5096.594.503.41林地 81.1397.7218.872.28

2)實驗2。實驗2中采用的成都市新都地區2017年遙感影像，影像大小為1 000像素×800像素的真彩色遙感影像，包括7個波段，空間分辨率為30 m的多光譜數據。利用eCognition軟件進行多尺度分割獲取分割矢量，分割尺度取90，形狀因子取0.4，緊致度因子取0.6，分割后獲取像斑數目為6 542個。圖3為研究區域432波段合成的真彩色影像。對像斑進行特征提取，再選取586個類別屬性像斑作為訓練樣本集，類別包括：水域、荒裸地、道路、建筑區、耕地、林地。

圖3 新都區Landsat-8真彩色影像

基于RF-ELM模型方法的高分辨率遙感影像分類結果如圖4所示。可以看出，RF-ELM模型對每類地物都有很好的分類效果，表4給出了幾何RF-EML模型方法對每種地物的分類精度。通過2組實驗證明本文提出算法的有效性。

圖4 RF-ELM分類結果

類別制圖精度用戶精度漏分精度錯分精度水域93.9886.825.6813.01荒裸地92.0492.418.725.24道路87.5294.2511.587.18建筑區92.3482.915.0714.16耕地96.0594.605.403.94林地82.4296.8519.735.46

將本文方法分類的精度同RF、ELM以及Bag-ELM方法進行對比(表5)。從表5中可以看出，本文方法總體分類精度、Kappa系數最高。

綜合實驗1和實驗2可以得出以下結論：①RF-ELM模型相比于RF算法、ELM算法分類器具有更高的分類精度。ELM算法分類結果的總分精度和Kappa系數都是最低，運行效率最高，這是由于單個ELM算法對復雜遙感影像數據泛化能力較差問題導致，但是具有訓練速度快、自學習能力強等特點。以決策樹作為基分類器，但對遙感數據分類時容易出現過擬合現象，同時處理速度較慢，RF算法的分類精度較RF-ELM方法的分類精度低，計算效率低。因此，結合RF與ELM算法避免RF算法容易出現過擬合現象同時利用了ELM算法訓練速度快、自學習能力強等特點，利用 RF 對 ELM 進行集成則可很好地提高算法的泛化性能，這體現了混合集成器組合方法在遙感分類應用的優勢。②RF-ELM方法相比于Bag-ELM方法總分類精度實驗1高出1.61%，Kappa系數高出0.05，實驗2高出1.86%，Kappa系數高出0.07，分類精度有所提高，這是因為RF算法是在Bagging基礎上做的改進，使得RF算法的偏差要小于Bagging算法的偏差[20]，使得RF-ELM得到的組合模型的預測偏差要小于Bag-ELM的預測偏差提高分類的正確率，因此RF-ELM的分類精度最高。通過2組實驗驗證了所提RF-ELM算法可改善原始RF 中存在的過擬合現象。③旋轉森林作為基分類器具有處理速度較慢、單個ELM算法訓練速度快的特點。經過本文改進后的RF-ELM算法對于一幅大小為2 000像素×2 000像素的影像數據，整個分類流程僅需消耗時間約為2.32 s，計算效率較高。

表5 不同分類方法精度對比

3 結束語

針對RF、ELM算法在復雜遙感影像數據上分類不夠理想的問題，提出了旋轉森林與極限學習相結合高分辨率遙感影像分類方法。該方法以RF為集成框架對訓練集進行特征提取，增強基分類器間的差異，然后再選用具有自組織自適應性的極限學習快速學習特點，特別適用于對數量較大的影像的處理，最后以Landsat-8影像為例對多種分類方法進行對比，驗證了本文方法具有更好的分類性能。