基于樣本空間分布距離的支持向量機

于波 李海峰 馬琳

（1 哈爾濱工業(yè)大學 計算機科學與技術學院， 哈爾濱 150080；2 哈爾濱理工大學 軟件學院，哈爾濱 150040）

摘要：由于支持向量機（Support Vector Machine，SVM）在處理樣本不平衡分布時會有偏向性，使少數類別的分類錯誤率的上界高于多數樣本類別。分析總結了針對該問題當前的研究方法，并指出存在問題。研究分析針對不平衡樣本SVM分類識別率的傾向性問題?？紤]全局樣本信息，提出了三種針對所有樣本空間分布距離信息的方法。在UCI數據集上進行實驗，結果證明MSEDR-SVM（Mean Sample Euclidean Distance Ratio-SVM）能夠有效增加少數樣本類別的F-值。從而改善標準的SVM只依靠支持向量樣本構建分類超平面的局限性。

關鍵詞：SVM； 不平衡樣本分布；MSEDR-SVM

中圖分類號：TP309 文獻標識碼：A

Support Vector Machine based on the sample spatial distance

YU Bo1，2 ， LI Haifeng1 ， MA Lin1

（1 School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150080， China；2 Software College， Harbin University of Science and Technology， Harbin 150040， China）

Abstract： As the support vector machine deals with imbalanced sample distribution， there is some tendency，

making the upper boundary of the misclassification rate of the minority above the majority. The research solutions to the problem are analyzed and summarized， and the problems existing in the current research are pointed out.

Accordingly， the paper analyzes the tendency problem of the imbalanced sample distribution on the Classification accuracy. Considering the whole sample information， the three methods based on sample spatial distribution distance information are proposed. The experiment on UCI data sets verifies that the new classier MSEDR-SVM （Mean Sample Euclidean Distance Ratio-SVM） can effectively increase the F-value of the minority.

The method improves the limitation of standard support vector machine only relying Support Vectors to construct classification hyperplane.

Key words： Support Vector Machine； imbalanced sample distribution； MSEDR-SVM

0 引言

1995年，Vpnik首次于研究中引入了支持向量機（Support Vector Machine，SVM）[1]。SVM是基于統計學習理論VC維度和結構風險最小化原則構建提出的，并具有良好的泛化性能，因而能夠解決小樣本、非線性和維數災難等問題。SVM有著廣泛的應用，如：語音識別[2]、腦電識別[3]、疾病檢測[4- 5]、故障檢測[6- 7]等。綜合如上應用領域，當各類樣本分布數量幾乎相等時，SVM通常表現出優(yōu)良的性能。但在實際進程中，樣本的分類信息多數情況下都是不對稱的，對于少數類別（如：疾病、故障等）的識別機會顯得尤為重要。可見例證就是：若將一個癌癥患者錯誤識別為健康患者的代價則將高過對于健康患者的誤診?；诖?，針對少數類別樣本識別準確率的應用，不平衡分布樣本的識別問題研究顯然具備了現實重要意義。但是，對于不平衡樣本分布，標準SVM的分類識別帶有偏向性，導致少數類別將出現更高的分類錯誤。相關研究已經提出SVM針對不平衡樣本分布的解決方法。具體分析論述如下：

第一類解決偏向性問題的方法是對于訓練樣本進行了重采樣。這種方法的主要思想就是使不平衡分布的樣本轉變?yōu)槠胶夥植嫉臉颖尽４藭r，有兩種策略可供選取，主要內容為：

1）增采樣（Over Sampling）：增加合成樣本到少數類別。Chawla等人提出SMOTE（Synthetic Minority Over-sampling Technique）方法[8]。該方法在少數類的每個樣本以及離其最近的樣本之間插入合成的樣本，從而增加少數類樣本的數量。Wu等人提出通過遺傳交叉運算生成新的樣本，彌補不平衡樣本引起的不利影響[9]。只是，利用增采樣添加的合成樣本卻難以保證和原有樣本保持一致的分布信息。因此，這些方法只是增加一些重復的樣本，可能會產生過擬合的情況。

2）降采樣（Under Sampling）：減少多數類樣本的數量。Kubat等人提出減少多數類的噪聲和冗余樣本的單邊選擇方法[10]，從而彌補2類樣本的差異。通過降采樣的方法失去了樣本隨機性和原來有價值的信息。由于沒有充分利用原有樣本信息，分類超平面的方向可能發(fā)生變化。

第二類解決偏向性問題的方法是修改標準的支持向量機。Veropoulos等人改進了標準的SVM，主要體現在給出了2類不同的懲罰因子[11]。針對標準SVM的樣本分布不平衡的問題，Chew等人提出兩類的懲罰因子反比于樣本的數量，從而減少樣本不平衡分布對于分類器的影響[12]。文獻[12]提出一種新方法，通過聯合加權平衡和采樣平衡來設置標準SVM的參數C[10]。在只有少數類的極端情況下，這個方法獲得了較好的性能。研究可知，前述這些改進方法主要是對分類參數施加影響，但是未能從根本上解決SVM的偏側性問題。Liu提出平均距離比的方法（MDR： Method of Average Distance Ratio）[13]。雖然MDR進一步完善了SVM，但是該方法的主要缺點局限卻是僅考慮了支持向量到超平面的空間距離，而未考慮內點（非支持向量）。

綜上分析可得，以上方法均未充分融合利用所有樣本的分布信息，僅是依據支持向量來構造分類超平面。對于不平衡樣本分布的問題，有必要改進SVM，從而亟需提出更有效的方法。針對這一問題，本文提出了基于樣本空間分布信息的支持向量機，在歐氏空間考慮所有樣本到超平面的分布距離信息。基于平均樣本歐式距離比（MSEDR：Mean Sample Euclidean Distance Ratio），給出新分類器MSEDR-SVM。最后，通過幾種分類器的實驗對比證明了MSEDR-SVM的客觀可行和現實有效性。

4 結束語

本文提出基于樣本空間分布信息的SVM分類識別方法。該方法主要是使少數類樣本點到超平面的距離大于多數類，降低少數類的錯分類的上界，充分利用樣本的空間分布距離信息，沒有增加或減少樣本點。實驗結果顯示了提出的3種方法中，MSEDR-SVM在處理不平衡樣本分布時，得到了最佳有效性。不平衡樣本分布的信息還包括，樣本分布的離散程度、分布趨勢等，下一步工作將針對這些情況展開后續(xù)研究。

參考文獻

[1] VAPNIK V N. The nature of statistical learning theory[M]. New York： Springer， 1995.

[2] GEORGOULAS G， GEORGOPOULOS V C ， STYLIOS C D. Speech sound classification and detection of articulation disorders with support vector machines and wavelets[C]//Conf Proc IEEE in Medicine and Biology Society. New York， USA：IEEE， 2006： 2199-2202.

[3] LI S， ZHOU W， YUAN Q， et al. Feature extraction and recognition of ictal EEG using EMD and SVM[J]. Computers in Biology and Medicine， 2013，43（7）： 807-816.

[4] LIU Y， ZHOU W， YUAN Q， et al. Automatic seizure detection using wavelet transform and SVM in long-term intracranial EEG[J].IEEE Trans Neural Syst Rehabil Eng， 2012， 20（6）：749-755.

[5] LI B， MENG M Q. Tumor recognition in wireless capsule endoscopy images using textural features and SVM-based feature selection[J].IEEE Trans Inf Technol Biomed，2012，16（3）：323-329.

[6] ZHANG Y X， CHENG Z F， XU Z P， et al. Application of optimized parameters SVM based on photoacoustic spectroscopy method in fault diagnosis of power transformer[J]. Spectroscopy & Spectral Analysis， 2015，35（1）：10-13.

[7] SANTOS， PRDRO， VILLA， et al. An SVM-based solution for fault detection in wind turbines Sensors[J].Sensors （Basel）， 2015，15（3）： 5627-5648.

[8] CHAWLA N V， BOWYER K W， HALL L O， et al.SMOTE： Synthetic minority over-sampling technique[J]. Journal of Articial Intelligence Research， 2002，16：321-357.

[9] WU H X， PENG Y， PENG X Y. A new support vector machine method for unbalanced data treatment[J].Chinese Journal of Electronics， 2006，34： 2395-2398.

[10] KUBAT M， MATWIN S. Addressing the course of imbalanced training sets： One-sided Selection[C]//Proc. 14th International Conference on Machine Learning. Nashville， TN， USA：ICML， 1997： 179-186.

[11] VEROPOULOS K ， CAMPBELL C， CRISTIANINI N. Controlling the Sensitivity of Support Vector Machine[C]//International Joint Conference on AI. Stockholm， Swede：IJCAI， 1999： 55-60.

[12] CHEW H G， CRISP D J， BOGNER R Er，et al. Target detection in radar imagery using Support Vector Machines with training size biasing[J].Southern Medical Journal， 2000， 90（10）：959–963.

[13] LIU W H. Study of Support Vector Machine algorithms on unbalanced dataset[D].Qingdao：Shandong University of Science and Technology， 2010.

[14] A Frank， A Asuncion. UCI Machine Learning Repository[EB/OL].[2010-06-13] .http：//archive.ics.uci.edu/ml.

[15] CHANG C C， LIN C J. LIBSVM： A library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology， 2011， 2（3）：389-396 .