基于代價敏感思想和自適應增強集成的SVM多分類算法

何旭, 席佩瑤, 辛云宏

(陜西師范大學物理學與信息技術學院,陜西,西安 710072)

0 引言

在科學研究和實際應用中,人工智能[1-2]越來越受到研究者的青睞,而數據挖掘是人工智能重要組成部分,數據分類作為數據挖掘的基本手段和重要方法,也被深入研究和優化。文獻[3]為提高下肢表面肌電信號步態識別的準確性,提出了一種基于粒子群(PSO)算法優化SVM的模式識別方法;文獻[4]將最小閉合球算法引入AdaBoost-SVM算法框架中構成CSVM算法;文獻[5]提出了基于貝葉斯分類器和Boosting算法的SVM組合模型,有效提高了軟測量模型的泛化能力;文獻[6]提出了自適應增強的SVM集成算法(SVME)在一定程度上提高了對風機故障類型診斷的識別正確率。本文通過采用SVM對數據樣本進行識別分類,提出一種基于代價敏感思想和自適應增強的SVM集成數據分類算法(CAB-SVM)。通過實驗結果表明,CAB-SVM集成算法與個體SVM和SVME集成算法相比正確識別率提高了。

1 CAB-SVM算法

CAB-SVM算法的基本框架如圖1所示,首先輸入樣本數據集,利用AdaBoost算法迭代訓練SVM弱分類器,同時計算弱分類器的分類誤差和在弱分類器中所占權重。在權重更新階段,要增加被分錯樣本權值,為了加快這部分樣本權值增加,引入代價敏感思想,即當被分錯的樣本權值快速增加,被正確分類的樣本權值加快減小。更新結束后得到新的樣本集的權重分布,再抽取樣本組成臨時訓練集訓練下一個新的SVM弱分類器。繼續進行迭代訓練,直至結束。最后將訓練出的所有SVM弱分類器根據權重線性相加,得到強分類器集成模型。

圖1 CAB-SVM算法體系結構

1.1 支持向量機

支持向量機是在結構風險最小化[7]原則的基礎上提出的一種機器學習方法,它是定義在特征空間上間隔最大的分類器。對于實現二分類問題,假設訓練集G中存在d維t個樣本,G=(xt,yt),其中xi∈Rd,yi∈{+1,1},i=1,…,t。超平面(wo·x)+b=0把這些樣本分類,設定決策函數為

f(x)=sign(wox+b)

(1)

接下來引入松弛變量δi和松弛因子c以構造約束最優化問題,構造Lagrange函數,再對β、b、δi求偏導,分別使其等于0,根據KKT條件,可得到ω和b的最優解ω*和b*:

(2)

(3)

再將最優解ω*和b*代入式(1),對于引入核函數K(xi,yj)的核支持向量機的情況,判別函數為

(4)

1.2 構建CAB-SVM模型算法

AdaBoost[8]算法在1995年由Freund等提出,是典型的Boosting算法,AdaBoost-SVM算法近年來被許多有關學者廣泛關注[9]。本文提出基于SVM分類器上引入自適應增強算法和代價敏感思想[10-11]的分類算法CAB-SVM,詳細流程圖見算法1。

算法1: CAB-SVM算法步驟輸入:訓練樣本集X=(xt,yt)輸出:H(x)1:式(5)計算初始化樣本權值分布D12:計算每類樣本的數目nk.3:式(9)計算樣本的錯分代價Ci4:for q=1,…,Q a.式(7)計算抽中概率 b.優化參數σ和c c.訓練弱分類器 d.式(8)計算分類誤差eq e.式(9)計算分類器所占權重αq f.式(10)(11)更新訓練集的權值分布endReturn 1,…,q,…,hQ5:式(11)輸出強分類器H(x)

首先進行樣本權重初始化,每個樣本賦予相同的權重,D1是表示初始樣本權重分布,wi表示訓練樣本權重,如式(5):

(5)

從樣本集t個樣本中抽取h個樣本作為臨時訓練樣本集,樣本抽中概率為

(6)

樣本集權值調整更新階段,將代價調整函數ζ引入公式中。ζ函數的公式如下:

ζ+,i=-0.7(yifq(xq))ci+0.7

ζ-,i=0.7(yifq(xq))ci+0.7

(7)

其中:

(8)

式(8)～式(9)中,t表示樣本集總數,nk表示第k類樣本共nk個樣本,ζ+表示模型預測正確時函數,ζ-表示為模型預測錯誤時的函數。

當hq(Xq(i))≠yi,下一輪權重分布如式(9):

(9)

當fq(Xq(i))=yi,下一輪權重分布如式(10):

(10)

最后將訓練出的SVM弱分類器據權重線性相加得到強分類器,如式(11):

(11)

綜上,CAB-SVM模型算法通過AdaBoost用于SVM弱學習器的訓練中,繼而引入代價調整函數,以至在下次迭代時弱分類器著重學上輪錯分樣本。

2 實驗及結果

2.1 實驗數據集

為了檢驗本文提出CAB-SVM算法的識別性能,實驗數據組data-20、data-21是信號檢測實驗室現場采集,另外使用UCI標準數據庫中的數據集,它們分別是vowel、ecoli、glass。實驗數據集信息如表1所示。

表1 實驗數據集信息表

2.2 實驗設計與結果分析

本文實驗將CAB-SVM算法與SVME集成算法、SVM算法結果進行比較,分析這3種算法的正確識別率。在分類實驗中,訓練樣本集數目和測試樣本集數目比值為4∶1,分類結果如表2所示。

表2 基于不同方法的SVM分類器分類效果比較

將每套數據分別代入3種算法中測試,每套數據在每個算法中分別進行10次實驗,最終取10次實驗結果的平均值為最終的實驗結果。由圖2可以看出,本文提出的CAB-SVM集成算法具有更高的正確識別率,是因為其區別于個體SVM的以下優勢:①迭代訓練個體SVM的樣本集不同;②迭代訓練個體SVM的RBF核函數的參數σ和懲罰因子c不同;③迭代訓練個體SVM中,樣本權重更新公式引入了代價敏感思想;④迭代訓練個體SVM的分類識別性能逐漸強大。

(a) data-21的實驗結果

圖2為利用CAB-SVM和SVME兩種集成方法對這10組數據集分別進行訓練的實驗結果。橫坐標表示用集成算法的分類器個數,縱坐標表示相應的集成方法的正確識別率。

由圖2可知,當集成算法的分類器個數較少時,分類器集成的正確識別率較低。實驗結果證明,CAB-SVM和SVME兩種集成算法在達到相同較高的正確識別率時,CAB-SVM所用的分類器集成個數總體上少于SVME所用的分類器集成個數。綜上所述,CAB-SVM算法相比SVME算法有效地減少了迭代次數,更適宜應用到有關數據識別分類的工作當中。

3 總結

本文在傳統SVM分類器研究基礎上,提出了一種自適應增強CAB-SVM算法即在集成算法的每次迭代學習中通過快速更新樣本的權重,個體分類器主要學習訓練易錯分的樣本,這樣使得分類器的識別性能和效率都得到了有效的提升。本文實驗中所提出的自適應增強CAB-SVM算法雖然提高了正確識別率,但是在運算過程中所需運行時間較長,對于這一點還需進一步研究和改進。