基于粗糙集支持向量機的遙感影像分類算法研究

劉 峰 ， 張立民 ， 張瑞峰

（1.海軍航空工程學院 電子信息工程系，山東 煙臺 264001；2.解放軍92785部隊 河北 秦皇島 066200）

遙感是接收地表物質(zhì)波譜反射信息的一種被動式遙感技術。隨著遙感技術朝著高空間分辨率、高光譜分辨率、高時相分辨率的迅猛發(fā)展，人們將獲取越來越龐大的遙感數(shù)據(jù)。作為遙感影像處理過程中的重要步驟，分類一直被從事遙感信息處理的廣大科技人員所重視。遙感影像分類方法包括統(tǒng)計模式識別、神經(jīng)網(wǎng)絡、遺傳算法、模擬退火算法等，上述方法大多要求已知先驗概率或基于漸近理論，在實際應用過程中，樣本的數(shù)目通常是有限的，上述方法都難以取得理想的效果。基于結構風險最小化原則（SRM）的支持向量機（SVM）模型可以有效地解決小樣本條件下的學習問題，而遙感影像具有較強的不確定性，主要表現(xiàn)在同物異譜、同譜異物、時相變化以及地物單元空間分布的相互交錯關系等方面，粗糙集理論是一種處理不精確、不完全和不確定信息的新型數(shù)據(jù)分析工具，1990年以后逐漸引起世界各國學者的廣泛關注，將粗糙集理論和支持向量機相結合已成為信息科學最活躍的研究領域之一，本文將基于粗糙集理論的支持向量機用于遙感影像的處理和分類，并進行了仿真實驗，實驗結果表明計算量大大減少，并且提高了分類精度。

1 基于粗糙集理論的支持向量機

粗糙集是一個強大的數(shù)據(jù)分析工具，屬性約簡是其理論的一個重要內(nèi)容，就是在保持分類能力小變的前提下，通過屬性約簡，導出概念的分類規(guī)則[1]。而粗糙集理論的容錯能力與泛化能力相對軟弱，且只能處理量化數(shù)據(jù)等問題，而這恰好是SVM算法的長處。SVM基于SRM原則，它最小化泛化誤差的上界，而不是最小化訓練誤差，保證了SVM具有更好的泛化性能[7]。由于RS理論與SVM算法在信息處理方面有很強的互補性，因此將RS的屬性約簡作為前置系統(tǒng)，再根據(jù)RS方法預處理后的信息結構，用SVM進行數(shù)據(jù)訓練與預測，實現(xiàn)粗糙集支持向量機（RS-SVM）。

1.1 粗糙集理論的屬性約簡

屬性約簡是粗糙集理論的核心內(nèi)容之一，人類在對一個事物做出判斷和決策時，并不是依據(jù)被判斷事物的全部特性，而是依據(jù)最主要的一個或幾個重要特點做出判斷。屬性約簡就是根據(jù)這一原理，剔除冗余屬性，簡化判斷規(guī)則[2]。

1.2 支持向量機

支持向量機是統(tǒng)計學習理論結構風險最小化SRM原則的實現(xiàn)方法[3]，它是從線性可分情況下的最優(yōu)分類面發(fā)展而來的，基本思想如圖1所示。

圖1 兩類線性分類的最優(yōu)分類面Fig.1 Optimal separating surface of two classes linear classificatio

圖1中，實心點和空心點代表兩類樣本，H為分類線，H1和H2分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離叫做分類間隔（margin）。所謂最優(yōu)分類線就是要求分類線不但能使兩類正確分開（訓練錯誤率為0，而且使分類間隔最大。對分類線方程（w·x）+b=0進行標準化處理，使得對線性可分的樣本集

滿足 yi（（w·x）+b）≥1，i=1，…，l，此時分類間隔等于 2/‖w‖，使間隔最大等價于使最小，訓練樣本正確可分，且使‖w‖/2最小的分類面就是最優(yōu)分類面，位于H1和H2的訓練樣本點稱作支持向量。

在線性可分條件下構建最優(yōu)分類面，就轉化為下面的二次規(guī)劃問題：

但是在實際應用時，大多數(shù)情況下并不能滿足線性可分性，即使問題是線性可分的，由于各種原因，訓練集中也可能會出現(xiàn)“野點子”，比如一個標錯的點，可能會對最終的分類超平面產(chǎn)生嚴重影響。事實上，對于線性不可分的情況，可以在條件中增加一個松弛項ξi≥0，將約束放寬為

此時目標函數(shù)變?yōu)?/p>

其中，C為可調(diào)參數(shù)，表示對錯誤的懲罰程度，C越大懲罰越重。上述模型稱為“軟間隔”線性支持向量機，這是一個二次規(guī)劃問題，其最優(yōu)解為下面Lagrange函數(shù)的鞍點

其中，z=yi（w·xi+b）+ξi-1，根據(jù) KKT 定理，構建最優(yōu)超平面的問題可轉化為下面的對偶二次規(guī)劃問題：

最終的分類函數(shù)為

對于非線性SVM問題，基本思想是通過非線性變換將輸入變量x轉化到某個高維空間中，然后在變換空間求最優(yōu)分類面。這種思想一般不易實現(xiàn)，但上面的對偶問題只涉及訓練樣本之間的內(nèi)積運算，即在高維空間只需要進行內(nèi)積運算，根據(jù)泛函的有關理論，只要一種核函數(shù) K（xi，xj），滿足 Mercer條件[4-5]，它就對應某一變換空間中的內(nèi)積。核函數(shù)的引入使SVM得以實用化，可以用K（xi，xj）間接地計算特征空間中輸入向量的像之間的內(nèi)積，從而避免維數(shù)災難。支持向量機中常用的核函數(shù)有線性核函數(shù)、多項式核函數(shù)、徑向基核函數(shù)等。

1.3 粗糙集支持向量機

基于RS預處理的SVM分類預測系統(tǒng)框圖如圖2所示。

圖2 基于RS預處理的SVM分類預測系統(tǒng)框圖Fig.2 SVM classification prediction system diagram based on RS preprocessing

首先對訓練樣本集的條件屬性值進行量化，量化后的多屬性決策表是一張二維表格，每一行描述一個對象，每一列描述對象的一種屬性，屬性約簡包括條件屬性簡化和決策規(guī)則簡化，逐一剔除冗余屬性和重復信息，直到?jīng)Q策表最簡為止，然后用約簡后的訓練樣本集對SVM進行學習和訓練，得到訓練模型，再對相應屬性測試樣本集進行測試，輸出分類結果[6-7]。此系統(tǒng)具有兩個優(yōu)點：1）首先運用RS方法對數(shù)據(jù)進行屬性約簡，消除冗余信息，使SVM輸入端的數(shù)據(jù)量大大減小，提高系統(tǒng)運行的速度。2）把SVM作為后置系統(tǒng)，有較好的抑制噪聲干擾的能力，且具有良好的泛化能力[8]。

2 基于RS-SVM的遙感影像分類的實驗仿真

遙感影像分類一直是遙感應用研究中的一個熱點問題，涉及遙感、人工智能和統(tǒng)計理論等學科，快速有效地對遙感影像進行分類具有重要的價值。眾所周知，遙感影像數(shù)據(jù)量非常大，對其進行處理和分類需要巨大的計算量，而且由于噪聲數(shù)據(jù)的存在，也使得分類準確率降低，RS-SVM不僅可以降低數(shù)據(jù)維數(shù)，降低計算量，而且具有良好的抗干擾能力，因此本文將其用于遙感影像的分類。為了驗證此方法的可行性和有效性，采用了UCI機器學習數(shù)據(jù)庫的遙感影像數(shù)據(jù)庫，共4個波段82×100個像素的遙感數(shù)據(jù)，每個數(shù)據(jù)由一個3×3區(qū)域的像素值組成，類別由中心像素確定，此數(shù)據(jù)庫有4 435個訓練集數(shù)據(jù)和2 000個測試集數(shù)據(jù)。

實驗采用由挪威科技大學計算機與信息科學系和波蘭華沙大學研究所合作開發(fā)的Rosetta軟件包進行對數(shù)據(jù)的約簡處理。支持向量機處理采用LIBSVM軟件包。根據(jù)RS-SVM分類預測系統(tǒng)框圖，首先對訓練集數(shù)據(jù)進行屬性約簡，36個屬性剔除了29個冗余屬性，剩下7個對分類起主要作用的核屬性，分別為第 1，2，10，12，25，27，35 個屬性，再加上樣本區(qū)域的中心屬性構成樣本屬性的一個約簡，然后按約簡后的屬性形成最小屬性訓練樣本集，應用SVM對最小屬性訓練樣本集進行訓練，最后對相應屬性測試樣本集進行分類，輸出分類結果。約簡前后分類預測的結果比較如表1所示，為達到比較的目的，均選用徑向基核函數(shù)，懲罰系數(shù)C=50。

表1 約簡前后分類結果比較Tab.1 Classification results before and after reduction

通過分類結果的比較，可以看出屬性約簡后，支持向量減少了大約10%，降低了計算量，同時分類正確率得到了一定的提高，由此可見，RS-SVM模型不僅減少了屬性的數(shù)量，提取了主要的特征屬性，而且降低了SVM的復雜性和訓練時間，提高了學習能力和分類能力，可以有效地對遙感影像進行預測和分類，與傳統(tǒng)方法相比具有更大的優(yōu)勢。

3 結 論

文中將粗糙集支持向量機應用于遙感影像分類，實驗結果表明這種模型是有效可行的，為遙感影像分類提供了一條新的途徑，但仍有很大的研究空間，在粗糙集約簡算法以及與模糊支持向量機結合等方面仍有較大的研究價值。

[1]王國胤.Rough集理論與知識獲取[M].西安：西安交通大學出版社，2001.

[2]Chan C C.A rough set approach to attribute generalization in data mining[J].Journal of Information Sciences，1998（107）：169-176.

[3]鄧乃揚，田英杰.數(shù)據(jù)挖掘中的新方法：支持向量機[M].北京：科學出版社，2004.

[4]Burges C J C.A tutorial on support vector machines for pattern recognition [C]//Data Mining and Dnowledge Discover，1998.

[5]HSU Chih-wei，CHANG Chih-chung，LIN Chih-jen.A practical guide to support vector classification[EB/OL].http：//home.eng.iastate.edu/～julied/classes/ee547/Handouts/SVMuseguide.pdf.

[6]LI Ye，CAI Yun-ze，LI Yuan-gui，et al.Rough set method for SVM data processing[C]//Proceeding of the IEEE Conference on Cybernetics and Intelligent System Siagap-ore，2004.

[7]Polkowski L，Tsumoto S，LinT Y.Rough set methods and applications[M].Physica-Verlag， Heidelberg，2000.

[8]ZHAO Jun，WANG Guo-yin.Research on system uncertainty measures based on rough set theory[C]//Proceedings of the RSKT2006，Chong-qing，2006：227-232.

[9]孫如英，韓榮蒼.基于FCM的模糊粗糙屬性約簡[J].現(xiàn)代電子技術，2009（17）：194-196.

SUN Ru-ying，HAN Rong-cang.Attribute reduction approach based on fuzzy rough set and FCM[J].Modern Electronics Technique，2009（17）：194-196.