一種基于ELM-SVM的遙感圖像分類方法

古麗娜孜·艾力木江，乎西旦·居馬洪，孫鐵利，梁 義

(1.伊犁師范學院電子與信息工程學院，新疆 伊寧 835000；2.東北師范大學地理科學學院，吉林 長春 130024；3.東北師范大學計算機科學與信息技術學院，吉林 長春 130117)

一種基于ELM-SVM的遙感圖像分類方法

古麗娜孜·艾力木江1，2，乎西旦·居馬洪1，孫鐵利3，梁 義1

(1.伊犁師范學院電子與信息工程學院，新疆 伊寧 835000；2.東北師范大學地理科學學院，吉林 長春 130024；3.東北師范大學計算機科學與信息技術學院，吉林 長春 130117)

提出一種極限學習機(ELM)和支持向量機(SVM)相融合的遙感圖像分類模式.選取ELM為基礎分類器，以SVM來修正改善分類效率.仿真實驗結果表明，該算法不僅具有較高的分類精度，而且消除一些訓練樣本標簽對分類的負面影響.結合ALOS/PALSAR、PSM圖像與SVM、ANN(Artificial Neural Network)方法進行對比分析，發現該方法魯棒性較好.

支持向量機；遙感數據；極限學習機；分類精度

近幾年，各類商用高空間分辨率遙感圖像顯著增加.傳感器獲取的圖像信息給測繪、環境監測、資源調查、災害管理、軍事情報等領域提供很多細節表面信息，而遙感圖像需要轉化成與其他數據集兼容的標準模式[1]，遙感圖像分類是從圖像像素中自動提取分類信息來識別不同地表物的過程[2].自動獲取圖像分類信息的方法主要有監督分類方法和無監督分類方法.然而，光譜混淆問題在很大程度上給這2種分類都增加了獲取地表物的難度，影響分類的準確性.在過去幾年里，國內外不少研究工作者不斷探索新的智能方法和分類技術[3-6]，試圖消除干擾，提高分類精度.從遙感數據處理任務的不同層面來分析，尤其在監督分類[7-8]、無監督分類[9-10]、特征提取[11-13]、目標識別[14-15]、變化檢測[16-17]等模式識別領域，取得了令人振奮的成果.

基于統計模式的分類方法Vapnik提出的支持向量機(SVM)方法，該方法在非線性分類問題很受歡迎并成為研究熱點，也是模式識別領域最為活躍的一個機器學習算法[18-19]，同樣在維數高、數據不確定性等數據處理領域里也顯出了其優勢[20-21].SVM在空間數據處理和分析包括高光譜遙感圖像分類[22]、空間數據挖掘[23]、對象檢測[24]、土地覆蓋分類[25]和道路信息提取[26]等領域都被廣泛使用.極限學習機(ELM)是由黃廣斌[27]提出來的一種新型神經網絡算法.ELM具有訓練速度快，人工干擾較少，對于異質的數據集泛化能力較強等優點[28].缺點是與神經網絡等其他機器學習方法一樣，ELM也是經驗風險最小化原理上搭建的模型，所以很難避免“過擬合”現象，從而影響ELM的應用.其實，機器學習方法都有其優缺點.因此，在遙感領域里探索組合學習方法已成為研究熱點[29]，解決遙感數據不確定性特征而造成的錯分、漏分現象或降低其精度，避免或減少“椒鹽效應”現象，從而達到提高分類精度的目標.各類組合技術說明，有時單靠一種方法去解決某個特定領域分類問題而獲得的結果往往不理想，反而在某種優化改進或某種組合模式下可得到較好的分類效果.因此，根據數據集特征和分類問題的需要靈活選用或搭配分類算法及參數最優值.

在機器學習領域，一直提倡使用基于結構風險最小化原理的簡單有效學習方法.如果學習方法的構造原理過于復雜，即便帶來較高的效率，但所付出的時間、空間代價也是不能忽略的.因此，本文針對提高分類精度，提出一種基于SVM和ELM的簡單有效融合模式，保證了算法復雜度和分類精度.

1 基本概念

1.1 ELM

圖1 ELM模型結構

目前，有許多像徑向基函數神經網絡[30]、標準神經網絡模型[31]等改進的神經網絡方法.ELM以其獨特的優勢在各種非線性問題中被廣泛應用，如圖1所示.ELM是由輸入層、隱含層和輸出層等簡單三層組成的單隱含層前饋神經網絡.對于一個單隱含層神經網絡，假設n是輸入層節點數，r是隱含層節點數，c是輸出層節點數.對于N個任意樣本(xi，li)，1≤i≤N，存在xi=[xi1，xi2，…，xin]T∈Rn，li=[li1，li2，…，lic]T∈Rc，則ELM的數學模型可以描述為

(1)

其中：fk=[fk1，fk2，…，fkc]T是期望輸出值；ωi=[ωi1，ωi2，…，ωin]是第i個隱含層神經元和輸入神經元之間的連接權值，即它是一個n維的權值向量；βi=[βi1，βi2，…，βic]T，βi是第i個隱含層神經元和輸出神經元之間的連接權值；bi是第i個隱含層單元的偏置；g(x)是激活的函數.

傳統的一些機器學習算法，如BP(Back Propagation)學習算法及其變種，所有的參數需要在迭代過程中進行調整.而在ELM一開始的訓練中輸入權重ωi和隱含層偏置bi就隨機生成并保持不變，只有β才是唯一的訓練參數.將公式(1)可簡單的描述為

β=H?L，

(2)

(3)

其中：H為神經網絡隱含層的輸出矩陣，L就是期望輸出向量.當解決了β則ELM訓練完成.因此，訓練一個網絡就是相當于找到線性函數(2)式的一個最小二乘解β.

從以上可以看到，ELM只需要設置隱含層節點數量，不改變隱含層的輸入權值和閾值，只生成一個最優解.所以ELM具有良好的泛化性能和學習速度.

1.2 SVM

圖2 線性支持向量機

SVM是統計學習理論中最重要的學習方法，從分類角度來分析，SVM是一種廣義的線性分類器，在此基礎上，經過引入結構風險最小化、最優化和核函數方法逐漸演化而成[32-33].雖然該方法的設計完成花了3年時間，但從實用角度來看，目前仍處于不斷完善、優化的階段.

SVM的基本思想：首先通過非線性變換將輸入空間中的樣本信息變換到一個高維空間中，然后在新空間中求得最優線性分類面，而這非線性變換是通過定義適當的內積函數實現的.所謂的最大間隔分類線在二維空間中叫最優分類線，推廣到多維空間時叫最優分類面，不管怎樣最優分類線不但能正確分開不同類別的樣本，而且使得分類間隔最大(見圖2).

訓練樣本集為

S={(xi，yi)，i=1，2，…，r}，xi∈Rn，yi∈{+1，-1}；

(4)

SVM的線性公式為

(5)

(6)

其中對應ai≠0的樣本就是支持向量.

解決非線性分類問題，利用一些非線性特征變換，將原始輸入空間中的輸入點(樣本)信息轉變(映射)到某個高維特征空間中去，然后在新的空間求出最優的分類面.根據映射(5)式可變為：

s.t.yi[wxi+b]-1+ξi≥0，i=1，2，…，l，ξi≥0，i=1，2，…，l.

(7)

其中φ( )為空間變化函數，C為懲罰系數，ξi為松弛因子.

通過運用與構造不同形式的核函數，可解決不同的分類問題，這樣最優分類面(6)式引入核函數后變為

(8)

根據黃廣斌的一系列調查研究思想，詳細分析(8)式的SVM分類模型和(1)式的ELM分類模型后可總結出以下思想：SVM也可看成神經網絡，把神經網絡的輸入層到最后一層隱含層的部分或者SVM核函數映射的部分都看成從輸入空間到一個新的空間的轉換，然后，BP將誤差反向傳播更新權值使得誤差最小化，而SVM則力求找到最大間隔的分界面，將新空間映射到輸出空間.從這個角度來看，SVM確實可以看成是一種神經網絡.因此，本文將這2種神經網絡模型融合起來完成遙感圖像的分類.以ELM為基礎訓練，以SVM訓練結果來修正重構ELM分類模型.

2 融合分類算法原理和實現步驟

由于ELM經驗風險最小，即訓練誤差最小的準則來評價算法優劣，所以難免會出現過擬合現象，影響分類模型泛化能力.一個理想分類模型要同時考慮結構風險和經驗風險，在分類模型中對兩者合理權衡，才能保證分類模型泛化能力.本文將結構風險最小化SVM引入到ELM中，保證融合模型的泛化能力.

2.1 算法模型

圖3 ELM-SVM算法模型

對訓練樣本xi=[xi1，xi2，…，xin]和測試樣本Test=[test1，test2，…，testn]，ELM-SVM算法的各個模塊及各模塊間的工作流程如圖3所示.

2.2 算法實現步驟

步驟1：將原始訓練節點xi=[xi1，xi2，…，xin]輸入到ELM，用ELM進行訓練.

步驟2：同樣將所有訓練節點xi=[xi1，xi2，…，xin]導入到SVM中，運行得到的各類支持向量(Support Vectors，SVs)為

(9)

其中n是類數，每類共含m個支持向量，而svij是從輸入文檔中所獲得的支持向量.確定每類的SVs之后，其余的訓練數據點可以被消除.

步驟3：通過測試樣本Test=[test1，test2，…，testn]和(9)式的svij得到

(10)

的ELM輸入節點.

步驟4：(10)式的向量初始化神經網絡，即采用ELM進行第2次訓練.

步驟5：應用神經網絡并獲得分類結果.

步驟6：對同樣數據把步驟1—5的操作重復執行t次，得到t個分類結果(f1，f2，…，ft)(實驗將t值設為5).然后把最高次數的分類結果當做實驗最終分類結果.

3 實驗結果及分析

3.1 數據集1的實驗結果

數據集1：2009年12月18日制作的吉林省長春市伊通河ALOS數據，覆蓋范圍為12.312 788 m×11.815 463 m地段，由7 100行7 995列4個波段([BIP]式)組成，含227，123，619像素.伊通河為長春歷史上的第一大河，將1 014像素×721像素×3像素規格的一部分數據當做本文的實驗數據.實驗數據由水體、建筑、草地和灌木、裸地、道路等5類組成，實驗數據、感興趣區域樣本間分類度的數字化和可視化表示形式見圖4—6.

圖4 2009-12制作的吉林省長春市伊通河遙感影像的實驗數據

圖5 數據集1的ROI樣本分離性報告

圖6 數據集1的ROI樣本分類型n-D可視化報告

將ELM-SVM方法分別與傳統SVM、ANN方法進行對比分析.分類統計混淆矩陣見表1—3，分類效果見圖7，混淆矩陣行代表分類預測，列代表分類的準確性.最后對3個機器學習方法分類精度及其Kappa系數進行橫向對比，數據分別見表4和圖8.結果說明本文提出方法具有較大的優越性.

表1 SVM分類測試圖像像素的混淆矩陣數據

表2 ANN分類測試圖像像素的混淆矩陣數據

表3 ELM-SVM分類測試圖像像素的混淆矩陣數據

(a)原實驗數據1/4部分

(b)SVM

(c)ANN

(d)ELM-SVM

表4 3個機器學習算法分類精度的對比

MLAsSVMANNELM-SVMOverallaccuracy/%89.2287.5090.60Kappa0.7420.710.779

圖8 數據集1的分類精度的對比

3.2 數據集2的實驗結果

第2個數據集是從PMS傳感器獲取，2014年3月5日制作的江蘇省一個工廠區的正射影像(http：//www.rscloudmart.com/image//sampleData)，其分辨率為2 m.從該數據集中，以556像素×389像素×3像素含641，850 B的部分數據當做本文的實驗數據.實驗數據大致可分為草坪、房屋、高層建筑、水體、裸地、道路、樹林等7類，實驗數據、感興趣區域樣本間分類度的數字化和可視化表示形式分別為如圖9—11所示.

圖9 2014-03制作的江蘇省一個工廠區影像的實驗數據

圖10 數據集2的ROI樣本分離性報告

圖11 數據集2的ROI樣本分類型n-D可視化報告

對實驗數據2，同樣將ELM-SVM方法效率分別與傳統SVM、ANN方法進行對比分析.分類統計混淆矩陣見表5—7，分類效果見圖12.對這3個算法效率進行對比分析，分別為見表8和圖13.說明本文提出方法的魯棒性較好.

表5 SVM分類測試圖像像素的混淆矩陣數據

表6 ANN分類測試圖像像素的混淆矩陣數據

表7 ELM-SVM分類測試圖像像素的混淆矩陣數據

(a)原實驗數據1/4部分

(b)SVM

(c)ANN

(d)ELM-SVM

圖12 數據集2的分類效果圖

表8 3個機器學習算法分類精度的對比

MLAsSVMANNELM-SVMOverallaccuracy/%96.5287.6197.55Kappa0.950.8230.964

圖13 數據集2的分類精度的比較

實驗結果分析：遙感數據感興趣區域里每類樣本之間的區分度都在1.8以上比較理想.但在圖5(對應實驗數據1)和 圖10(對應實驗數據2)中的數據沒有全部達到1.8，在實驗數據集1里建筑和道路的區分度只有1.578 440 05，而在實驗數據集2里裸地和道路的區分度為1.603 121 96，房屋和高層建筑的區分度為1.748 902 43，房屋和裸地的區分度為1.703 091 76，這就影響到我們分類算法最終的分類精度.眾所周知，光譜信息是紋理信息、形狀信息的基礎.遙感數據應用研究是同一個光譜對應不同地表物的現象(簡稱“同譜異物”現象)，如果忽略了形狀信息分類精度也會受到影響.一般建筑屋頂和道路等建筑材料主要都是水泥和瀝青，因此有相同的光譜特征，但它們的形狀不同.若能加上樣本形狀特征，分類精度會更高，但本文提出方法的分類效果已達到預期研究目標.我們下一步將對于算法進一步優化.

5 結論

本文選用機器學習方法將SVM算法和新的神經網絡ELM方法融合在一起，實現了基于ELM-SVM的遙感圖像分類.該融合模型中心思想是以SVM的訓練結果修正重構ELM.仿真實驗結果表明，提出的融合算法不管從視覺角度還是數字統計都顯出較好的分類效果，魯棒性較好，對遙感圖像分類研究提供了有益的理論參考.

[1] BLASCHKE T.Object based image analysis for remote sensing[J].ISPRS Journal of Photogrammetry and Remote Sensing，2010，65(1)：2-16.

[2] BORAK J S，STAHLER A H.Feature selection and land cover classification of a MODIS-like data set for a semiarid environment[J].International Journal of Remote Sensing，1999，20：919-938.

[3] LU D，WENG Q.A survey of image classification methods and techniques for improving classification performance[J].International Journal of Remote Sensing，2007，28(5)：823-870.

[4] YOUSSEF A M.An enhanced remote sensing procedure for material mapping in the Western Desert of Egypt：a tool for managing urban development[J].Natural Resources Research，2008，17(4)：215-226.

[5] PAN X，ZHANG S Q，ZHANG H Q.A variable precision rough set approach to the remote sensing land use/cover classification[J].Computers & Geosciences，2010，36(14)：66-1473.

[6] FOODY G M，MATHUR A.Toward intelligent training of supervised image classification：directing training data acquisition for SVM classification[J].Remote Sensing of Environment，2004，93：107-117.

[7] LI J，BIOUCAS-DIAS J M，PLAZA A.Semi supervised hyper spectral image classification using soft sparse multinomial logistic regression[J].IEEE Geosci Remote Sens Lett，2013，10(2)：318-322.

[8] ZHONG Y F，ZHANG L P.An adaptive artificial immune network for supervised classification of multi hyperspectral remote sensing imagery[J].IEEE Trans.Geosci.Remote Sens，2012，50(3)：894-909.

[9] VILLA A，CHANUSSOT J，BENEDIKTSSON J A，et al.Unsupervised methods for the classification of hyperspectral images with low spatial resolution[J].Pattern Recognition，2013，46(6)：1556-1568.

[10] YANG H，DU Q A，MA B.Decision fusion on supervised and unsupervised classifiers for hyperspectral imagery[J].IEEE Geosci.Remote Sens.Lett，2010，7(4)：875-879.

[11] DU Q，RAKSUNTORN N，YOUNAN N H，et al.End-member extraction for hyperspectral image analysis[J].Appl Opt，2008，47(28)：77-84.

[12] DU Q，YANG H.Similarity-based unsupervised band selection for hyperspectral image analysis[J].IEEE Geosci.Remote Sens.Lett，2008，5(4)：564-568.

[13] JIA X P，KUO B C，CRAWFORD M M.Feature mining for hyperspectral image classification[J].Proc.IEEE，2013，101(3)：676-697.

[14] DU B，ZHANG L P.Target detection based on a dynamic subspace[J].Pattern Recognition，2014，47(1)：344-358.

[15] MANOLAKIS D，SIRACUSA C，SHAW G.Hyper spectral subpixel target detection using the linear mixing model[J].IEEE Trans.Geosci.Remote Sens，2001，39(7)：1392-1409.

[16] BIOUCAS-DIAS J M，NASCIMENTO J M P.Hyperspectral subspace identification[J].IEEE Trans.Geosci.Remote Sens，2008，46(8)：2435-2445.

[17] CAMPS-VALLS G，GOMEZ-CHOVA L，MUNOZ-MARI J，et al.Kernel-based framework for multi temporal and multisource remote sensing data classification and change detection[J].IEEE Trans.Geosci.Remote Sens，2008，46(6)：1822-1835.

[18] HEIKKNEN V，TOKOLA T，PARKKINEN J，et al.Simulated multispectral imagery for tree species classification using support vector machines[J].IEEE Transactions on Geoscience and Remote Sensing，2010，48(3)：1355-1364.

[19] MELGANI F，BRUZZONE L.Classification of hyperspectral remote sensing images with support vector machines[J].IEEE Transactions Geoscience and Remote Sensing，2004，42(8)：1778-1790.

[20] LIU Y，ZHANG B，HUANG L H，et al.A novel optimization parameters of support vector machines model for the land use/cover classification[J].International Journal of Food，Agriculture & Environment，2012，10(2)：1098-1104.

[21] PEIJUN DU，KUN TAN，XIAOSHI XING.A novel binary tree support vector machine for hyperspectral remote sensing image classification[J].Optics Communications，2012，285：3054-3060.

[22] ROGERIO GALANTE NEGRI，LUCIANO VIEIRA DUTRA，SIDNEI JOAO SIQUEIRA SANT’ANNA.An innovative support vector machine based method for contextual image classification[J].ISPRS Journal of Photogrammetry and Remote Sensing，2014(87)：241-248.

[23] ANDRES SERNA，BEATRIZ MARCOTEGUI.Detection，segmentation and classification of 3D urban objects using mathematical morphology and supervised learning[J].ISPRS Journal of Photogrammetry and Remote Sensing，2014，93：243-225.

[24] TUIA D，PACIFICI F，KANEVSKI M，et al.Classification of very high spatial resolution imagery using mathematical morphology and support vector machines[J].IEEE Transactions on Geoscience and Remote Sensing，2009，47(11)：3866-3879.

[25] HUANG X，ZHANG L P.Road centre line extraction from high-resolution imagery based on multi scale structural features and support vector machines[J].International Journal of Remote Sensing，2009，30(8)：1977-1987.

[26] GUANG-BIN HUANG，QIN-YU ZHU，CHEE-KHEONG SIEW.Extreme Learning Machine：Theory and Applications[J].Neuro computing，2006，70：489-501.

[27] MIN HAN，BEN LIU.Ensemble of extreme learning machine for remote sensing image classification[J].Neuro computing，2015(149)：65-70.

[28] JORGE GARCIA-GUTIERREZ，DANIEL MATEOS-GARCIA，MARIANO GARCIA，et al.An evolutionary-weighted majority voting and support vector machines applied to contextual classification of LiDAR and imagery data fusion[J].Neuro computing，2015，63：17-24.

[29] HAN M，ZHU X，YAO W.Remote sensing image classification based on neural network ensemble algorithm[J].Neuro computing，2012，78：133-1338.

[30] HUANG G B，CHEN L.Enhanced random search based incremental extreme learning machine[J].Neuro computing，2008，71：3460-3468.

[31] VAPNIK V.Estimation of dependences based on empirical data[M].Moscow：Nauka，1979：5165-5184.

[32] CORTES C，VAPNIK V.Support vector networks[J].Machine Learning，1995，20(3)：273-297.

[33] BURGES C J C.A tutorial on support vector machines for pattern recognition[J].Data Mining and Knowledge Discovery，1998，2(2)：121-167.

(責任編輯：石紹慶)

An approach based on ELM-SVM for remote sensing image classification

Gulnaz Alimjan1，2，Hurxida Jumahun1，SUN Tie-li3，LIANG Yi1

(1.School of Electronics and Information Engineering，Yili Normal University，Yining 835000，China； 2.School of Geographical Science，Northeast Normal University，Changchun 130024，China； 3.School of Computer Science and Information Technology，Northeast Normal University，Changchun 130117，China)

Data classification is a key step of the remote sensing data into thematic map information.Find a good classification method and improve the accuracy of data processing are highly challenging problems.In this paper，we propose a fusion classification model based on extreme learning machine(ELM) and support vector machine(SVM) for remote sensing image classification.Choose ELM based classifier and correction to improve the classification efficiency by SVM.Simulation experiment results show that the algorithm not only has higher classification accuracy，and eliminate some of the training sample tag on the negative impact for classification.Combining ALOS/PALSAR，PSM images，comparative analysis with SVM and artificial neural network(ANN)，show the robustness of the method.

support vector machines；remote sensing data；extreme learning machine；classification accuracy

1000-1832(2017)01-0053-09

10.16163/j.cnki.22-1123/n.2017.01.011

2016-04-17

國家自然科學基金資助項目(61663045)；新疆高校科研計劃重點研究項目(XJEDU2014I043)；伊犁師范學院重點項目(2016YSZD04).

古麗娜孜·艾力木江(1972—)，女，副教授，主要從事模式識別與遙感圖像處理研究.

TP 391.1 [學科代碼] 520·30

A