組合核支持向量機的模式分析新方法

徐立祥，李旭，呂皖麗，羅斌

1.安徽大學計算機科學與技術學院，計算智能與信號處理教育部重點實驗室，合肥 230039

2.安徽省工業(yè)圖像處理與分析重點實驗室，合肥 230601

3.合肥學院數(shù)學與物理系，合肥 230601

組合核支持向量機的模式分析新方法

徐立祥1，2，3，李旭3，呂皖麗1，2，羅斌1

1.安徽大學計算機科學與技術學院，計算智能與信號處理教育部重點實驗室，合肥 230039

2.安徽省工業(yè)圖像處理與分析重點實驗室，合肥 230601

3.合肥學院數(shù)學與物理系，合肥 230601

1 引言

由V.Vapnik等人提出的支持向量機（SVM）因具有良好的推廣性，已成功地得到了廣泛的應用。SVM是用于解決從樣本進行學習的一種基于核的新技術[1-3]，核函數(shù)的選擇以及核參數(shù)優(yōu)化決定了支持向量機的學習能力和推廣能力的好壞，所以很多研究者對常用核的性質(zhì)以及對各種參數(shù)求解方法作了大量研究[4-5]。單一的核函數(shù)性能可能會有一些不足，于是組合核函數(shù)成為眾多研究者的關注點[6-7]。支持向量機的性能主要體現(xiàn)在學習能力和推廣能力上，所以為了提高支持向量機的模式分析能力，需要在學習能力和推廣能力兩方面取得一個良好的折衷，盡量避免欠學習和過學習，同時也要獲得良好的推廣能力。組合核支持向量機可以結合各個核的優(yōu)點，通過選擇全局核和局部核的組合，組合成性能更好的核函數(shù)。文獻[8]中提到一些多項式組合核或其他組合核的應用；文獻[9]提出多核核成分的新組合核支持向量機；文獻[10]使用遺傳算法與支持向量機結合；文獻[11]提出一種特征提取多核支持向量機。不管如何組合新核，一般認為，組合核性能更優(yōu)于單核支持向量機[12-13]。組合核的優(yōu)勢主要在于彌補單核的缺陷。

2 Sobolev Hilbert空間上的再生核函數(shù)

一個函數(shù)只要滿足Mercer條件，這個函數(shù)就是一個可容許的支持向量機核函數(shù)。[14]

3 基于再生核的組合核函數(shù)

支持向量機使用的核函數(shù)類型有許多，然而歸納起來有兩種主要類型，即：全局性核函數(shù)（Global核函數(shù)）和局部性核函數(shù)（Local核函數(shù)），全局核函數(shù)具有全局特性，允許相距很遠的數(shù)據(jù)點都可以對核函數(shù)的值有影響，泛化性能強、學習能力較弱；而局部核函數(shù)具有局部性，只允許相距很近的數(shù)據(jù)點對核函數(shù)的值有影響，學習能力強、泛化性能較弱。本文中Sobolev Hilbert空間H1(R;a,b)上的再生核函數(shù)（G核函數(shù)）：

圖1 G核函數(shù)曲線

圖1顯示了當核參數(shù)分別取a·b=1，b=1.25，2，3，4時的G核函數(shù)曲線圖，取xi=0.2為測試輸入。從圖1可得，距離測試點xi越近的輸入數(shù)據(jù)，對核函數(shù)值產(chǎn)生的作用越大；距離測試點xi越遠的輸入數(shù)據(jù)，對核函數(shù)值產(chǎn)生的作用越小。

多項式核函數(shù)（Poly核函數(shù)）是典型的全局核函數(shù)，表達式為：Kpoly(x,x′)=(x·x′+1)d，圖2顯示了當核參數(shù)分別取d=1，2，3，4時的Poly核函數(shù)曲線圖，同樣，取xi=0.2為測試輸入，從圖2可以得出，距離測試點xi越遠的輸入數(shù)據(jù)，對核函數(shù)值產(chǎn)生的作用越大；距離測試點xi越近的輸入數(shù)據(jù)，對核函數(shù)值產(chǎn)生的作用越小。

圖2 多項式核函數(shù)曲線

由于局部核與全局核的內(nèi)推能力和外推能力的差異，因而在學習性能和泛化性能上也各具優(yōu)勢。基于以上分析，可以將兩種核函數(shù)組合構成新的核函數(shù)，這樣能夠揚長避短，兼顧其構成中的普通核函數(shù)的優(yōu)勢，從而得到性能更加優(yōu)越的SVM。

引理3.1設K1和K2是在X×X上的核函數(shù)，X∈Rn，常數(shù)a≥0。則下面的函數(shù)仍是核函數(shù)：

根據(jù)引理3.1，將全局核函數(shù)與局部核函數(shù)線性組合，構造如下形式的組合核函數(shù)：

式中，KGlobal為全局再生核函數(shù)，KLocal為局部線性核函數(shù)，權系數(shù)m(0≤m≤1)為調(diào)節(jié)兩種核函數(shù)作用大小的常數(shù)。分析此組合核函數(shù)，可以發(fā)現(xiàn)當m=0時，組合核函數(shù)即變?yōu)榫植亢撕瘮?shù)；m=1時，組合核函數(shù)即變?yōu)槿趾撕瘮?shù)。實際應用時，可根據(jù)采集樣本的數(shù)據(jù)分布以及已有的經(jīng)驗調(diào)節(jié)m，使得到的組合核函數(shù)成為更適合研究的對象。

圖3為m分別取0.6，0.7，0.8，0.9時的組合核函數(shù)曲線圖，其中測試點xi=0.2，a·b=1，b=2，d=2。可以看出：組合核函數(shù)同時具有局部Poly核函數(shù)和全局G核函數(shù)的特性，遠離以及靠近測試點xi數(shù)據(jù)都對核函數(shù)的值產(chǎn)生了很大的影響。

圖4給出了組合核函數(shù)SVM建模的流程。

圖3 組合核函數(shù)曲線

圖4 組合核函數(shù)SVM模式分析流程

4 仿真結果與分析

4.1 二元函數(shù)回歸實驗及結果分析

下面用本文中的組合核函數(shù)支持向量機回歸擬合二元函數(shù)：

仿真實驗結果如圖5和圖6所示。

圖5 原始曲線和基于組合核的逼近曲線（view（[－40 30]））

圖5和圖6是二元函數(shù)從不同的視角角度所得的圖像，在兩個圖像中，可以清楚看到原始曲面和逼近曲面的接近程度，通過參數(shù)選優(yōu)，可以使得組合核的逼近誤差小于單核Poly核和G核的逼近誤差。

4.2 酒品鑒別實驗及結果分析

圖6 原始曲線和基于組合核的逼近曲線（view（[55 10]））

葡萄酒作為一種越來越流行的健康飲品，其品質(zhì)好壞的鑒別分類日益受到關注，葡萄酒復雜的成分是劃分葡萄酒品質(zhì)的重要依據(jù)。本實驗對源自UCI數(shù)據(jù)庫的葡萄酒數(shù)據(jù)進行預處理，通過對178個葡萄酒樣品的化學分析數(shù)據(jù)進行分析，建立基于本文中的組合核支持向量機的葡萄酒品質(zhì)的評判模型，并利用LIBSVM對高維復雜的葡萄酒屬性數(shù)據(jù)進行分析、處理、優(yōu)化，并進行分類識別，準確率高達99%，因此，該模型對葡萄酒品質(zhì)快速有效的評判提供了新的理論依據(jù)。

在wine數(shù)據(jù)中，將第一類的1～40，第二類的60～105，第三類的131～163做為訓練集，將第一類的41～59，第二類的106～130，第三類的164～178做為測試集。基于再生核的組合核函數(shù)支持向量機分類識別實驗結果如圖7所示。

圖7 基于再生核的組合核函數(shù)支持向量機分類識別

5 結束語

本文基于再生核理論和支持向量機方法，提出了一種稱為基于再生核的組合核函數(shù)支持向量機的新的機器學習方法，利用Sobolev Hilbert空間H1(R;a,b)上的再生核給出了SVM的一個新的組合核函數(shù)，從而得到了一種新的組合核支持向量的模式分析模型。回歸分析和模式識別的實驗表明，基于再生核的組合核支持向量機具有其獨特的性能，在工程實踐和理論研究中，均具有良好的理論價值和應用價值。

[1]Vapnik V N.The nature of statistical learning theory[M].2nd ed.New York：Springer-Verlag，2000：156-287.

[2]Shahlaei M，F(xiàn)assihi A，Saghaiea L.Application of PC-ANN and PC-LS-SVM in QSAR of CCR1 antagonist compounds：a comparative study[J].European Journal of Medicinal Chemistry，2010，45（4）：1572-1582.

[3]Ying L，Bendu B，Yanning Z.Improved particle swarm optimization algorithm for fuzzy multi-class SVM[J].Journal of Systems Engineering and Electronics，2010，21（3）：509-513.

[4]Luss R，Aspremont A.Support vector machine classification with indefinite kernels[J].Mathematical Programming Computation，2009，1（2/3）：97-118.

[5]Dio?an L，Rogozan A，Pecuchet J.Improving classification performance of Support Vector Machine by genetically optimising kernel shape and hyper-parameters[J].Applied Intelligence，2012，36（2）：280-294.

[6]Ibrikci T，Ustun D，Kaya I E.Diagnosis of several diseases by using combined kernels with Support Vector Machine[J]. Journal of Medical Systems，2012，36（3）：1831-1840.

[7]Nguyen H N，Ohn S Y，Park J，et al.Combined kernel function approach in SVM for diagnosis of cancer[C]//Lecture Notes in Computer Science：Advances in Natural Computation，2005，36：1017-1026.

[8]Dioian L，Rogozan A，Pécuchet J P.Evolutionary optimisation of kernel and hyper-parameters for SVM[C]//Modelling，Computation and Optimization in Information System and Management Science，2008：107-116.

[9]Zhou Yonghua.Fuzzy indirect adaptive control using SVM-based multiple models for a class of nonlinear systems[J]. Neural Computing and Applications，2013，22（3/4）：825-833.

[10]Li Zhanchao，Zhou Xuan，Dai Zong，et al.Classification of G-protein coupled receptors based on support vector machine with maximum relevance minimum redundancy and genetic algorithm[J].BMC Bioinformatics，2010，11.

[11]Chen Zhen，Li Jianping，Wei Liwei.A multiple kernel support vector machine scheme for feature selection and rule extraction from gene expression data of cancer tissue[J].Artificial Intelligence in Medicine，2007，41（2）：161-175.

[12]Ohn S Y，Nguyen H N，Chi S D.Evolutionary parameter estimation algorithm for combined kernel function in support vector machine[C]//LNCS 3309：Content Computing，2004：481-486.

[13]Nguyen H N，Ohn S Y，Choi W J.Combined kernel function for support vector machine and learning method based on evolutionary algorithm[C]//LNCS 3316：Neural Information Processing，2004：1273-1278.

[14]Mercer J.Function of positive and negative type and their connection with the theory of integral equations[J].Philosophical Transactions of the Royal Society of London，1909，209：415-446.

[15]Smola A J，Scholkopf B，Muller K R.The connection between regularization operators and support vector kernels[J]. Neural Networks，1998，11（4）：637-649.

XU Lixiang1，2，3,LI Xu3,LV Wanli1，2,LUO Bin1

1.Key Lab of Intelligent Computing&Signal Processing of Ministry of Education,School of Computer Science and Technology, Anhui University,Hefei 230039,China
2.Anhui Province Key Lab of Industrial Image Processing and Analysis,Hefei 230601,China
3.Department of Mathematics&Physics,Hefei University,Hefei 230601,China

Based on the conditions of kernel function of Support Vector Machine（SVM）,the reproducing kernel function on the Sobolev Hilbert space and polynomial kernel function are combined efficiently.A new combined kernel function is given,and a model analysis method of combined kernel SVM based on reproducing kernel is proposed,which has the advantages of global kernel function and local kernel function,and the complexity of the algorithm is reduced.The simulation results show that the kernel function of SVM adopts combined kernel function which is based on the reproducing kernel is feasible.The kernel function not only has the nonlinear mapping characteristics,but also inherits good approximation of reproducing kernel function on the nonlinear characteristics step by step.The model analysis results are more delicate than individual kernels function.

Support Vector Machine（SVM）;reproducing kernel;combined kernel function;model analysis

基于支持向量機核函數(shù)的條件，將Sobolev Hilbert空間的再生核函數(shù)和多項式核函數(shù)進行有效的線性組合，給出一種新的支持向量機的組合核函數(shù)，提出一種基于再生核的組合核函數(shù)支持向量機的模式分析方法，該方法兼具了全局核函數(shù)與局部核函數(shù)的優(yōu)點，且算法的復雜度被降低。仿真實驗結果表明：支持向量機的核函數(shù)采用基于再生核的組合核函數(shù)是可行的，且此核函數(shù)不僅具有核函數(shù)的非線性映射特征，而且也繼承了核函數(shù)對非線性逐級精細逼近的特征，模式分析的效果比單核函數(shù)可以更加細膩。

支持向量機；再生核；組合核函數(shù)；模式分析

A

TP391.4

10.3778/j.issn.1002-8331.1302-0105

XU Lixiang,LI Xu,LV Wanli,et al.New model analysis method of combined kernel Support Vector Machine.Computer Engineering and Applications,2013,49（24）：112-115.

安徽高校省級自然科學研究重大項目（No.KJ2010ZD10）；安徽省高校優(yōu)秀青年人才基金項目（No.2012SQRL174）；合肥學院自然科學研究一般項目（No.13KY04ZR）。

徐立祥（1981—），男，在讀博士，講師，主要研究領域：圖像處理與模式識別；羅斌（1963—），男，博士，教授，博導，主要研究領域：圖像處理與模式識別。E-mail：xulixianghf@163.com

2013-02-20

2013-09-24

1002-8331（2013）24-0112-04