基于分段核函數的支持向量機及其應用

摘 要： 支持向量機兼顧訓練誤差和推廣性能，已受到機器學習領域的高度重視，而核函數的性能是支持向量機研究中的關鍵問題。研究了幾種常見核函數對支持向量機推廣性能的影響，并利用全局核函數和局部核函數的性質，提出了一種新的分段核函數的支持向量機。數據集上的仿真結果表明，該核函數對應的支持向量機泛化能力優于傳統核函數對應的支持向量機，具有較好的預測性能。

關鍵詞： 支持向量機； 分段核函數； 全局核； 局部核

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2013）16?0005?04

支持向量機（SVM）是一種以統計學習理論為基礎的優化算法，對于未知測試數據具有良好的推廣性能，它在文本分類、車牌識別、身份驗證、生物科學等領域已經有了較好的應用。V.N.Vapnik等人在20世紀60年代就開始研究小樣本情況下機器學習問題，并在1995年首先提出支持向量機。近年來，支持向量機理論逐漸成熟，主要有以下幾個特點：

（1）SVM解決的是小樣本條件下的最優解，不需要訓練過程中有充足的訓練樣本。

（2）SVM利用內積核函數實現從低維空間到高維空間的非線性映射，從而將非線性分類問題變為線性分類問題。SVM決策函數由支持向量確定，支持向量的數目決定計算的復雜度，與樣本空間維數無關，因而它克服了傳統模式識別中由于樣本空間的維數過高導致的 “維數災難”。

（3）SVM引入錯誤代價系數，可以在約束錯誤率的情況下找出最佳分類超平面，具有很好的推廣性能，避免了人工神經網絡方法中容易過度擬合訓練樣本的問題。然而，支持向量機在應用過程中也存在一些問題，分類過程中，不同核函數對應的分類結果、準確率都不同，如何根據不同的訓練樣本采用相應的核函數亟待解決。目前，國內外一些學者正在從事這方面的研究，并取得了一些進展。袁小艷等人提出了組合核函數支持向量機，充分利用了全局核函數和局部核函數的特性，提高了分類準確率[1]。丁子春在自適應算法的基礎上提出了自適應核函數，通過實驗證明此核函數有較好的學習能力和泛化能力[2]。OLIVIER CHAPELLE等人提出用梯度下降法選擇核函數參數進行訓練，得到了理想的結果[3]。因此，針對支持向量機現有的問題，本文將根據核函數類型以及核函數中的參數對數據集進行研究討論。

1 支持向量機簡介

支持向量機主要有線性可分、非線性可分以及帶有核函數映射三類分類問題。由于線性分類器分類性能較差，非線性分類器在保證推廣能力的前提下錯誤率較高，因此可以通過低維空間到高維空間的非線性映射，將問題轉換為在高維空間求得最佳線性分類超平面。

1.1 非線性映射

為了使樣本在特征空間可分，將[?]維空間中樣本映射到高維的空間中去，通過一個非線性映射[?]：[R?]→[RD]，訓練樣本集我們得到[D]維空間里的分割超平面。分類樣本通過映射[?]變換到[RD]中，直接在[RD]中進行分類，不用映射回原空間。

1.2 優化求解

非線性可分數據集{（[x1]，[y1]），（[x2]，[y2]），…，（[x?]，[y?]）}，經過非線性映射，數據集轉化為線性可分數據集{（[?（x1）]，[y1]）），（[?（x2）]，[y2]），…，（[?（x?）]，[y?]）}，它被超平面[w，x+b=0]分開，樣本點離此平面越遠，支持向量機推廣性能越好。同時考慮到樣本分類的正確率，得到如下優化問題：

[min 12w2+Ci=1?ξi]

[s.t. yi（w，?（xi）+b）≥1-ξi， ξi≥0， i=1，2，…，?]

式中樣本向量[xi∈R?]；[?]是訓練樣本數；[w]是權矢量；[b]是閾值；[yi]為樣本標記。

通過推導得到優化目標函數：

[L（a）=i=1lai-12i=1lj=1laiajyiyjκ（xi?xj）]

式中核函數[κ（xi，xj）=?（xi），?（xj）]，原問題轉化為如下最優化問題：在如下約束條件下，[i=1?aiyi=0，][0≤ai≤C，][i=1，2，…，?]。最大化目標函數[L（a）]。

因為有[w=][i?aiyi?（xi）]，故最終的決策函數為：

[h（x）=sgn（w，?（xi）+b）=sgni?aiyi?（xi），?（xj）+b]

由上式可知，最終的決策函數取決于核函數，核函數的性能決定最終的判別結果。

2 核函數研究

核函數是支持向量機的關鍵部分，核函數引入后，不用再進行龐大的內積運算，從而使高維空間的線性分類成為可能。

2.1 常見核函數

根據泛函理論，任何一種核函數只要滿足Mercer條件，他就可以等價為變換空間中的內積。常見的核函數有4種：

（1）線性核函數：

[κ（x，y）=x?y]

（2）多項式核函數：

[κ（x，y）=（x?y+1）d， d=1，2，…]

（3）徑向基核函數：

[κ（x，y）=exp（-rx-y2）]

（4）Sigmoid核函數：

[κ（x，y）=tanh（b（x?y）-c）]

式中：[b]，[c]都是實常數；[r=1p2]，[p2]為方差。在實際應用時，根據不同的樣本集以及具體情況選擇不同的核函數。

2.2 分段核函數

由于全局核函數推廣性能好，每個測試點對所有訓練樣本都有影響。而局部核函數學習能力強，測試點只對其附近的訓練樣本有較大影響。如圖1，圖2所示，測試點在0.5處，選用線性核函數作為全局核函數，rbf核函數作為局部核函數，測試點在0.5處。

圖1 線性核函數映射特性

圖2 RBF核函數映射特征

由圖1知，測試點對應整個訓練集都有較大的核函數值。由圖2知，測試點只對應其附近訓練集有較大的核函數值，隨著訓練集離測試點距離變遠，核函數值很快衰減。為了充分利用每一個訓練數據，本文選擇分段核函數，如圖3所示，任意選擇參數[p]=0.2對應的rbf核函數，在rbf核函數對稱軸左右一定距離閾值內使用此核函數，而在此距離閾值外使用線性核函數，這樣可以充分利用全局核函數以及局部核函數的性能。

圖3 分段核函數映射特性

分段核函數滿足：

[κ（x，y）=x?y， x-y>q-x?y， x-y<-qC?exp（-rx-y2）， x-y

式中：[x]是測試點；[y]是訓練點；[q]是閾值。

下面證明分段核函數滿足成為核函數的條件：

文獻[4]中已證明核函數有零置換的性質，即設[κ（x，y）]是[x][×][x]上的核函數，[s?x]，則：

[κ（x，y）'=κ（x，y）， x，y∈s0， otherwise]

[κ（xi，xj）']是[x][×][x]上的核函數，稱為[κ（x，y）]的零置換。

因此：

[κ（x，y）=x?y， x-y>q0， otherwise]

[κ（x，y）=-x?y， x-y

[κ（x，y）=exp（-rx-y2）， x-y

也是核函數。

又由核函數的封閉性：若[κ1]，[κ2]是核函數，則[κ1]+[κ2]也是核函數，[aκ1]也是核函數，[a][≥]0。

故有：

[κ（x，y）=x?y， x-y>q-x?y， x-y

滿足核函數條件，得證。

3 實驗結果與分析

為了驗證分段核函數有較好的分類能力，選取UCI數據集heart，訓練集數目為30，測試集數目為60，分段核函數中常數C取10，由于恰當的閾值對應高的分類正確率，故用文獻[1]中的交叉檢驗法選取閾值的大概范圍，本次實驗對應閾值選為3，其他參數為libsvm工具箱中默認參數，訓練集和測試集無相同數據。用組合核函數[1]對訓練集建模，用分段核函數預測，預測結果見表1。

表1到表4表明，測試數據集的增加不影響分段核函數的性能，分段核函數對應支持向量機預測正確率依然高于其他核函數對應正確率。

接下來在訓練集數目為30，測試集數目為240的條件下，改變閾值大小，測試分段核函數預測能力，預測結果如表5所示。

表5 閾值對準確率的影響 %

由以上實驗結果可以看出，本文使用的分段核函數對應支持向量機分類效果優于單一的核函數以及組合核函數對應的支持向量機，對于分段核函數，閾值大小的選擇直接影響分類結果。由分段核函數的構成知，只要距離閾值選擇恰當，它的分類準確率的下線為使用其他幾種核函數對應分類準確率的上限。分段核函數通過對距離閾值的調節可以適應不同的樣本數據集，但由于本文選取閾值利用交叉檢驗法，根據預測正確率選取閾值大小，采用的是窮舉思想，只能人為確定閾值的大概范圍，精確得到最優閾值需要編程對閾值所在區間逐一計算，因此，閾值精度要求越高，要的時間越長。但支持向量機更重視的是學習能力以及對未知數據的預測能力，如何根據已有樣本集選擇對應核函數才是關鍵問題。

4 結 語

本文通過研究分析全局核函數以及局部核函數的性能，在線性核函數和RBF核函數的基礎上提出了一種分段核函數，通過對UCI數據集heart的實驗并與傳統核函數分類正確率進行對比，驗證了這種分段核函數比較理想的學習能力和推廣能力，提升了支持向量機分類器的性能。但隨著對分段核函數性能要求的提高，需要提高閾值的精度，這將會以犧牲時間作為代價。下一步工作，將在閾值選取和新型核函數的選取上，有了合適的閾值，對性能更好的新型核函數的分段組合將使支持向量機有更好的性能和更大的應用空間。

參考文獻

[1] 袁小艷，劉愛倫.組合核函數支持向量機的研究與應用[M].上海：華東理工大學自動化研究所，2011.

[2] 丁子春.支持向量機中核函數研究[M].武漢：武漢理工大學，2008.

[3] CHAPELLE Olivier， VAPNIK Vladimir， BOUSQUET Olivier， et al. Choosing multiple parameters for support machine [J]. Machine Learing， 2002， 46（1/3）： 131?159.

[4]王國勝.核函數的性質及其構造方法[J].計算機科學，2006，33（6）：172?174.

[5] CHANG Chih?Chung， LIN Chih?Jen. LIBSVM： a library for support vector machines [EB/OL]. [2013?03?04]. http：//www.csie.ntu.edu.tw/～cjlin/libsvm.

[6] SMITS G F， JORDAAN E M. Improved SVM regression using mixtures of kernels [C]// Proceedings of the 2002 International Joint Conference on Neural Networks. Hawaii： IEEE， 2002： 2785?2790.

[7] 邊肇祺，張學工.模式識別[M].北京：清華大學出版社，1999.

[8] ZHANG Sheng，LIU Jian，TIAN Jin?wen. An SVM?based small target segmentationand clustering approach [C]// Proceedings of the Third International Conference on Machine Learning and Cybernetics. Shanghai： IEEE， 2004： 3318?3323.

[9] 黃嘯.支持向量機核函數的研究[D].蘇州：蘇州大學，2008.

[10] 陳林，潘豐.基于量子PSO的SVM參數選擇及其應用[J].自動化與儀表，2009（1）：5?6.