支持向量機分類誤差不均衡內在原因分析

佛山市高明區廣播電視大學 謝長菊

支持向量機分類誤差不均衡內在原因分析

佛山市高明區廣播電視大學 謝長菊

對于標準支持向量機C2SVM,樣本數大小不同時,樣本數量多的類別,其訓練誤差、預測誤差小;而樣本數量少的類別,其訓練誤差、預測誤差反而大。這就導致分類類別誤差的不均衡。就這一問題,對C2SVM在理論上進行分析,找出它們出現這種情況的內在本質的原因,指出了出現這種分類類別誤差,是由C2SVM的本質、內在的特性決定的,并非由實驗環境或者是算法實現過程中的偶然因素所致。

模式識別統計學習理論支持向量機

一、引言

統計學習理論[2]和支持向量分類機(SVM)正在成為繼神經網絡研究之后新的研究熱點。SVM算法在模式識別、回歸估計、概率密度函數估計等方面都有應用。特別是在模式識別方面,對于文本的自動分類、手寫數字識別、語音識別、人臉圖像識別等問題,SVM算法在精度上已經超過傳統的學習算法。作為新生事物,SVM在實際應用中,不斷出現一些新問題,等待我們去解決。比如正、負兩類訓練樣本數目差別很大的時候,訓練誤差對于兩類來說差別很大。這需要我們進行深入的研究。

二、雷達監測與分類誤差率不均衡的問題

ChewHong2Gunn在文獻[1]中,對SVM應用于雷達圖像的目標自動監測進行了研究。對于低分辨率電子顯像雷達圖像的目標監測來說,大量的圖像是不包含有目標的,而含有目標的圖像所占比例非常小。如果以包含目標的樣本圖像作為正類,而不包含目標的圖像作為負類,那么按照隨機抽樣原則獲得的訓練樣本,正類樣本數目很少,而負類樣本占有絕對多數的比例。這就出現了不同類別之間,訓練樣本數目上不均衡的情況。作為訓練集來說,樣本數目在各個類別之間不均衡是很正常的。在實際應用中,我們也沒有理由要求所獲得的訓練樣本,在不同類別中的數目都相同。那么這種不均衡對SVM的訓練效果有沒有影響,有什么樣的影響,如何消除這種影響?對于這個問題,結合實驗,文獻[1]針對C2SVM在理論上作了如下粗略的分析。指出如果l-、l+分表示是正、負類訓練樣本數,那么分類錯誤率之比為:

如此說來,對于標準支持向量機C2SVM,樣本數大小不同時,樣本數量多的類別,其訓練誤差、預測誤差小,而樣本數量少的類別,其訓練誤差、預測誤差反而大。這就是類別誤差不均衡。這樣的類別誤差不均衡,在很多場合必須給予消除和調整。對于雷達目標監測問題來說,寧愿出現誤報警(不應該報警卻報警了),也不愿出現漏報警的情況(應該報警卻沒有報警)。類似情形出現在疾病診斷、故障分析中。

三、SVM分類誤差率不均衡內在原因分析

提高SVM分類能力,是SVM研究的根本目的。SVM出現類別分類誤差不均衡的問題,必須進行調整,即類別補償。但是在考慮如何進行類別補償之前,首先需要思考:出現這種分類類別誤差,是由SVM的本質、內在的特性決定的,還是由實驗環境或者是算法實現過程中的偶然因素所致,不均衡是否是SVM內在的規律?導致SVM訓練誤差和預測誤差不均衡的內在原因是什么?現在針對標準支持向量機C2SVM進行分析。首先來考慮C2SVM的原始問題:

對應的拉格朗日函數為:

若α為它的對偶問題的最優解,則其應該滿足如下的KKT條件:

所謂的邊界支持向量,就是ξi>0所對應的向量。此時,由KKT條件(4)知,α1=C。滿足這樣條件的向量記為BSV,它們是錯誤分類的樣本。用NBSV+、NBSV2分別為正、負類邊界支持向量的數目,則有:

這就是我們要找的結論:無論正類、負類樣本數差別多大,C2SVM給NBSV+和NBSV2所提供的上界都是相同的。如果考慮的不是分類錯誤的數目,而是分類錯誤的比率,當正類、負類樣本數相差很大時,就會必然導致分類誤差的不均衡。這就是SVM分類誤差率不均衡的內在原因。

四、小結

對于標準支持向量機C2SVM,樣本數大小不同時,樣本數量多的類別,其訓練誤差、預測誤差小;而樣本數量少的類別,其訓練誤差、預測誤差反而大。這就是分類類別誤差的不均衡。

通過理論分析發現,出現這種分類類別誤差,是由C2SVM的本質、內在的特性決定的,而非由實驗環境或者是算法實現過程中的偶然因素所致。

[1]Chew Hong2Gunn ,Crisp D.J .,Bogner R.E.et al.Target detection in radar imagery using support vector machines with training size biasing [ A ].In : Proceedings of the sixth international conference on control , Automation ,Robotics and Vision[C],Singapore ,2000

[2]Vapnik V., The nature of statistical learning theo2ry.Springer2Verlag , New York.NY, 1995 ,張學工譯,統計學習理論的本質,清華大學出版社,2000

[3]Vapnik V , Statistical learning theory [ M].NewYork.John Wiley >Sons , 1998

[4]Scholkopf B., Smola A., Williamson R.C.et al ,New support vector algorithms[J ].Neural Compu2 tation , 2000 , 12 (5) : 120721245

book=110,ebook=64