一種基于融合核函數支持向量機的遙感圖像分類

古麗娜孜·艾力木江，孫鐵利，乎西旦

(1.伊犁師范學院電子與信息工程學院，新疆 伊寧 835000；2.東北師范大學地理科學學院，吉林 長春 130024；3.東北師范大學計算機科學與信息技術學院，吉林 長春 130117)

?

一種基于融合核函數支持向量機的遙感圖像分類

古麗娜孜·艾力木江1，2，孫鐵利3，乎西旦1

(1.伊犁師范學院電子與信息工程學院，新疆 伊寧 835000；2.東北師范大學地理科學學院，吉林 長春 130024；3.東北師范大學計算機科學與信息技術學院，吉林 長春 130117)

從核函數選取規則著手，結合遙感數據本身特征，將具有互補性的幾種核函數融合在一起，提出了一種復合核函數構造方法.通過實驗數據與傳統支持向量機方法比較，結果表明了復合核方法的有效性.

支持向量機；遙感數據；核函數；光譜

遙感圖像的分類是遙感數據研究領域的重要部分，如何解決并提高樣本間的分類精度是遙感數據應用的關鍵，具有較強的實際研究意義.

遙感數據技術通過獲取大尺度、動態、宏觀的各類專題圖，對土地覆蓋檢測提供有利的數據.與此同時，由于地理空間數據的不確定性和復雜性等特征，異物同譜現象和同物異譜現象，使得專題圖數據表達得有些模糊和不確定性，從而加大了信息提取工作的難度.[1-3]精確與時時地土地覆蓋分類遙感數據的提取不僅與數據質量和分辨率有關，同樣也與分類技術有關[4-5].因此，提高遙感數據分類精度已經引起了很多人對遙感研究領域的關注[6-7].基于統計模式的分類方法，Vapnik提出支持向量機(SVM)方法，以計算量較低而在非線性分類問題很受歡迎并成為熱點的研究算法，也是模式識別領域最為活躍的一個機器學習算法.[6-9]同樣在維數高、數據不確定性等遙感數據處理領域里也顯出了其優勢[10-12].目前，SVM不管是在圖像分類[13-14]，還是在土地覆蓋分類、森林類型檢測、農業作物監測、道路信息提取等領域都被廣泛使用[15-22].盡管如此， SVM分類方法仍有進一步優化改進并完善的研究空間，這跟SVM 本身設計原理息息相關.當要解決具體問題時，首先應考慮數據集的特征和分類問題的性質，如果核函數的選擇及其參數選定不當，則將直接影響分類結果，有的需靠經驗知識，有的只能自己手工調整.

不管是哪一類核函數，它的性能一般就在核函數的本身.因此，特定領域的分類問題靠核函數的選擇及其他的參數.若隨意地選了核函數，則該核函數模型的推廣性將會受影響，甚至影響到樣本的分類效率.[23-27]所以，針對特定的數據集和數據來源，根據先驗知識和經驗，選擇合適的核函數，分類精度必然會提高.

本文提出一種根據核函數本身的性質與構造原理來構建復合核函數.應用SVM在進行圖像分類時，基于線性核、多項式核、徑向基核、感知器核(S型核)的分類結果與本文提出的復合核函數下的分類結果進行了對比研究.

1　SVM學習方法

SVM是統計學習理論中最重要的學習方法，僅從分類的角度來分析的話，SVM是一種廣義的線性分類器，在該分類器的基礎上，經過引入結構風險最小化、最優化和核方法等原理與理論逐漸演化而成的.雖然該方法的設計完成經歷了從1992年到1995年的漫長的3年時間，但從實用角度來看，目前仍處于不斷完善、優化的階段.

圖1　二維情形中的最優分類面和間隔(Margin)

SVM的工作原理就是一個分類面(分類曲線或者是分類線).簡單線性可分的兩類問題上它就是一條分離線或者是分類曲線；多類復雜的，即為非線性可分情況下它就是一個分類面，當在這種復雜情況下，它先通過運用適當的內積函數也就是核函數，將輸入空間中的輸入點信息映射到其他某個高維的空間中，使得輸入樣本在這里能線性可分，從而求出可分所對應的最優線性分類面.所謂最優指的是不同樣本之間的分類間隔最大，使得不同樣本能正確分開(如圖1所示).

SVM的線性可分分類問題描述為

s·t·yi[wxi+b]-1≥0，i=1，2，…，l.

(1)

其訓練樣本集為

(2)

(3)

其中對應ai≠0的樣本就是支持向量.

解決非線性圖像分類問題時，利用一些非線性特征變換，將原始輸入空間中的輸入點信息轉變(映射)到其他的某個高維特征空間中去，然后到這新的空間中求出最優的分界面.根據映射(2)式可變為：

s·t·yi[wxi+b]-1+ξi≥0，i=1，2，…，l，ξi≥0，i=1，2，…，l.

(4)

其中φ( )為空間變化函數，C為懲罰系數，ξi為松弛項.

通過運用與構造不同形式的核函數，就可解決不同的分類問題，這樣最優分類面(3)式引入核函數后變為

(5)

2　核函數與選取方法

2.1核函數

核函數本身就是一個通過內積運算將各類線性算法非線性化的點積運算公式.核函數理論研究已有很長的歷史，但是，在Vapnik等人將核函數思想用到SVM方法之前，核函數的重要性其實沒有受到很大重視，運用較欠缺.

SVM被提出之后，很多人就意識到原來提高SVM分類精度的關鍵就是選擇和確定合適的核函數及其參數的選擇，繼而基于核函數的各類算法的設計以及相關領域里的應用應運而生.

根據核函數的定義和構造原理來分析的話，核函數的選擇問題并不困難，只要滿足Mercer定理的函數都可以當做核函數來使用.SVM中常用的核函數有以下幾種：

(1) 線性內核為K(x，xi)=x·xi；

除了這些簡單核函數以外，目前研究主要集中在根據具體數據集構造復雜的核函數，使得SVM能夠得到進一步的推廣.

2.2核函數的基本性質

2.2.1封閉性

若k1，k2，k3，…是核函數，則有：

(a)k1+k2是核函數；

(b)αk1，α≥0是核函數；

(c)k1°k2是核函數；

2.2.2組合性

設k：Χ×Χ→R是核函數，f：Χ→R是任意核函數，則有：

2.2.3正定性

k：Χ×Χ→R是核函數當且僅當它是正定的.

2.2.4無關性

2.2.4相似性

核函數本身就是一個測度函數，是根據輸入樣本之間的相似性而設置的特征映射，即距離公式.對于核函數k：Χ×Χ→R的特征映射φ，該距離公式為

這個距離公式就是計算χ與χ′等兩類樣本之間的相似性度量，這一點理解核函數和SVM是非常重要的.比如，在遙感數據的分類工作中，關注樣本之間的光譜相似性特征是極其重要的.

2.3核函數方法實現步驟

核函數方法是由核函數設計和算法設計等兩大模塊組成的一種模塊化的方法，其具體過程如圖2所示.

圖2　核函數方法實現步驟

核函數方法的實現步驟，可以概括為：

(1) 樣本采集并標準化；

(2) 選擇或構造恰當的核函數；

(3) 將輸入數據通過非線性變換函數映射到高維特征空間，即用核函數將輸入樣本變換成為核函數矩陣信息，這個步驟非常關鍵，注意矩陣是l×l的對稱矩陣，l為樣本數；

(4)最后在對稱矩陣上使用一些線性方法，可得原輸入空間中的所對應的非線性模型.

2.4目標核函數——復合核函數

依據：(1)SVM核函數中用的較多的是徑向基核，因與其他常用核相比，徑向基核的參數較少，比較容易掌握.只要保證σ→0，樣本基本都能區分，正確分類.(2)多項式核一來簡單，二來隨著階數d值的變小而增強，因此它的推廣能力較強.(3)只要保證展開項數不多的任何正弦、余弦等連續可微的周期函數都可以用多項式來逼近，而且選取傅里葉核可以使SVM達到較好的推廣性能，由此可以設想用這一類核函數去逼近其他類型的核函數.當然，這些核都有各自突出的優點和不足之處，一旦將它們組合起來應用就可以達到互補的效果.由此我們將它們自然地組合起來，構成一個復合核函數，應用到實際的遙感影像分類問題中.

為了引入重點的方便，不妨使用如下符號，令：

利用核函數的“封閉性”性質，構造出復合核函數為

(6)

其中ρi稱為權參數，代表著這三類核函數在復合核函數中占的比例，而d，σ和q均為核參數.從(6)式看出，當ρ1=1，ρ2=ρ3=0時，(6)式就轉變為常用的徑向基核，而當ρ2=1，ρ1=ρ3=0時，(6)式就是簡單的多項式核.這點有利于我們選取核參數d.

(6)式中的參數比較復雜，所以我們首先選取核參數最優值，然后再去選擇權參數最優值.

對于核參數最優值的選擇，目前有很多種方法，如交叉驗證、遺傳算法、網絡搜索法、平均約束規劃(MPEC)模型[28]等.我們采用傳統的遺傳算法獲取最優的核參數值.

3　實驗結果及分析

本文采用2009年12月18日制作的吉林長春伊通河ALOS數據，覆蓋范圍長達10.074 13m×10.115 708m地段，由7 100 行7 995列4個波段([BIP]式)組成，含227，123，619B像素.為了實驗的方便截取1 014像素×721像素×3像素規格的一部分數據當做本次實驗數據集.數據集大致分為由水體、建筑、草地與灌木、裸地、道路等5類，以下是實驗樣本集，感興趣區域樣本間分離度的數字化和可視化表示形式見圖3—5.

來自于2009-12制作的吉林長春伊通河遙感影像

圖4　ROI樣本分離性報告

圖5　ROI樣本分類型n-D可視化報告

實驗結果和分類效果見表1和圖6.更換了復合核以后，樣本間的分類精度從Kappa系數、總體分類精度、分類可視化效果等都有所提高.但這效果也是換取結構復雜、所需參數較多的核函數為代價，所以這樣復雜的結構勢必會增加算法的時間復雜度，這正是課題組下一步將要研究解決問題，將使算法達到結構上的魯棒性.

表1　實驗結果

圖6分類效果圖

文獻報道到遙感數據感興趣區域里每類樣本之間的區分度都在1.8以上，比較理想，而我們實驗數據僅達到1.554 6.但從整體來說，以核函數的角度來看，我們獲得實驗數據已達到構建核函數的目的，以后加以改進優化等工作作為下一步的研究任務.

4　結語

本文利用核函數的封閉性、組合性等固有性質和SVM 方法的常用核函數技巧構建了一種復合核函數，實驗數據表明，該方法具有一定的推廣性能.但仍有一些不足：(1)核函數的結構較為復雜；(2)沒能加上樣本的光譜特征，因我們的實驗數據源就是遙感數據，所以對遙感數據來講得兼顧樣本之間的光譜特征才行，也就是說普通距離運算和光譜運算結合起來當做樣本之間的距離運算，這樣樣本間的區分度會更好一些，這也是將來要研究完成的任務之一.

[1]SERGE A， LUDOVIC R，YANNICK C，et al. A fuzzy-possibilistic scheme of study for objects with indeterminate boundaries：application to French Polynesian reef scapes[J].IEEE Transaction on Geoscience and Remote Sensing，2000，38(1)：257-270.

[2]YANG C，BRUZZONE L，SUN F Y，et al.Fuzzy statistics based affinity propagation technique for clustering in multis images [J]. IEEE Transactions on Geoscience and Remote Sensing，2010，48(6)：2647-2659.

[3]駱繼成，郭華東，史文中，等. 遙感數據的不確定性問題[M]. 北京:科學出版社，2004：97-264.

[4]YOUSSEF A M. An enhanced remote sensing procedure for material mapping in the western desert of Egypt：a tool for managing urban development [J]. Natural Resources Research，2008，17(4)：215-226.

[5]PAN X，ZHANG S Q，ZHANG H Q.A variable precision rough set approach to the remote sensing land use/cover classification [J]. Computers & Geosciences，2010，36(14):66-1473.

[6]ROGéRIO GALANTE NEGRI，LUCIANO VIEIRA DUTRA，SIDNEI JOO SIQUEIRA SANT’ANNA. An innovative support vector machine based method for contextual image classification [J]. ISPRS Journal of Photogrammetry and Remote Sensing，2014(87)：241-248.

[7]VAPNIK V N.Statistical Learning Theory [M]. New York：Wiley，1998：132-302.

[8]JIA X P，KUO B C，CRAWFORD M M. Feature mining for hyperspectral image classification [J]. Proc IEEE，2013，101(3)：676-697.

[9]WANG L，JIA X. Integration of soft and hard classifications using extended support vector machines [J]. IEEE Geoscience and Remote Sensing Letters，2009，6(3)：543-547.

[10]DALPONTE M，BRUZZONE L，GIANELLE D. Fusion of hyperspectral and LIDAR remote sensing data for classification of complex forest areas[J]. IEEE Transactions on Geoscience and Remote Sensing，2008，46(5)：1416-1427.

[11]劉偉強，胡 靜，夏德深.基于核空間的多光譜遙感圖像分類方法[J]. 國土資源遙感，2002(3)：44-47.

[12]楊志民，劉廣利.不確定性支持向量機[M]. 北京：科學出版社，2007：57-63.

[13]羅小波，趙春暉，潘建平，等.遙感圖像智能分類及其應用[M].北京:電子工業出版社，2011：122-178.

[14]杜培軍，譚琨，夏俊士.高光譜遙感影像分類與支持向量機應用研究[M].北京:科學出版社，2012：89-115.

[15]LI J，BIOUCAS-DIAS J M，PLAZA A. Semi supervised hyper spectral image classification using soft sparse multinomial logistic regression [J]. IEEE Geosci. Remote Sens. Lett，2013，10(2):318-322.

[16]ANDRéS SERNA，BEATRIZ MARCOTEGUI. Detection，segmentation and classification of 3D urban objects using mathematical morphology and supervised learning [J]. ISPRS Journal of Photogrammetry and Remote Sensing，2014，93:243-225.

[17]PETROPOULOS G P，KALAITZIDIS C，VADREVU K P.Support vector machines and object-based classification for obtaining land-use/cover cartography from hyperion hyper spectral imagery [J].Computers & Geosciences，2012，41：99-107.

[18]LIU Y，ZHANG B，HUANG L H，et al. A novel optimization parameters of support vector machines model for the land use/cover classification [J]. International Journal of Food，Agriculture & Environment，2012，10(2)：1098-1104.

[20]HEIKKINEN V，TOKOLA T，PARKKINEN J，et al.Simulated multispectral imagery for tree species classification using support vector machines[J]. IEEE Transactions on Geoscience and Remote Sensing，2010，48(3)：1355-1364.

[21]LARDEUX C，FRISON P L，TISON C，et al.Support vector machine for multifrequency SAR polarimetric data classification [J]. IEEE Transactions on Geoscience and Remote Sensing，2009，47(12)：4143-4152.

[22]HUANG X，ZHANG L P. Road centre line extraction from high-resolution imagery based on multi scale structural features and support vector machines [J].International Journal of Remote Sensing，2009，30(8)：1977-1987.

[23]BURGES C.A tutorial on support vector machines for pattern recognition[J]. Data Mining and Knowledge Discovery，1998，2:121-167.

[26]CORTES C，VAPNIK V. Support vector networks[J]. Machine Learning.1995，20：273-297.

[24]CRISTIANINI N，KANDOLA J，ELISSEEFF A，et al. On kernel target alignment[C]//Dietterich T G，Becker S，Ghahramani Z，Advances in Neural Information Processing Systems 14. Cambridge：MIT Press，2002:367-374.

[25]SCHOLKOPF B A J，MULLER K R. The connection between regularization operators and support vectors kernels [J]. Neural Net Works，1998，11(3):637-649.

[26]EVGENIOU T，PONTIL M，POGGIO T.Regularization net works and support vector machines[J].Advance in Computational Mathematics，2000，13:1-50.

[27]吳濤，賀漢根，賀明科.基于插值的核函數構造[J].計算機學報，2003，26(8):990-996.

[28]DONG YU-LIN，XIA ZUN-QUAN，WANG MING-ZHENG.An MPEC model for selecting optimal parameter in support vector machines[C]//The First International Symposium on Optimization and Systems Biology. Beijing：The First International Symposium on Optimization and System Biology，2007:351-357.

(責任編輯：石紹慶)

The remote sensing image classification based on fusion kernel function of support vector machine

GULNAZ Alimjan1，2，SUN Tie-li3，Hurxida1

(1.Department of Electronics and Information Engineering，Yili Normal University，Yining 835000，China；2.School of Geographical Science，Northeast Normal University，Changchun 130024，China；3.School of Computer Science and Information Technology，Northeast Normal University，Changchun 1300117，China)

In the technology of remote sensing image classification，classification methods directly affect the classification accuracy between the samples. Current research of based on support vector machine(SVM) remote sensing image classification have achieved good results，but there is no further study on the selection of kernel function. From the selection of kernel function rules set out to research and combined with the feature of remote sensing data itself，fused several kinds of kernel function is complementary，put forward a method of composite kernel function，through compared with traditional SVM method，the experimental data show that the effectiveness of the composite kernel method.

support vector machine；remote sensing data；kernel function；spectrum

1000-1832(2016)03-0060-07

2015-09-18

國家自然科學基金資助項目(61363066)；新疆高?？蒲杏媱澲攸c研究項目(XJEDU2014I043)；吉林省科技發展計劃項目(20120302)；伊犁師范學院院級重點項目(2015YSZD04).

古麗娜孜·艾力木江(1972—)，女，博士研究生，副教授，主要從事模式識別與遙感數據分類研究.

TP 391.1[學科代碼]520·30

A

[DOI]10.16163/j.cnki.22-1123/n.2016.03.012