基于核的學(xué)習(xí)機(jī)研究綜述

摘 要:近年來核學(xué)習(xí)機(jī)已經(jīng)成為機(jī)器學(xué)習(xí)界的一個(gè)熱點(diǎn)問題，并在許多領(lǐng)域中得到了成功應(yīng)用;然而作為一種尚未成熟的新技術(shù)，核學(xué)習(xí)機(jī)仍然存在很多局限性。介紹了核方法的基本思想，從有監(jiān)督和無監(jiān)督學(xué)習(xí)算法兩方面對基于核的學(xué)習(xí)機(jī)進(jìn)行了梳理，著重指出了核學(xué)習(xí)機(jī)研究中存在的問題和值得關(guān)注的研究方向，以期對核方法研究領(lǐng)域有較全面的把握。

關(guān)鍵詞:核方法; 有監(jiān)督學(xué)習(xí)算法; 無監(jiān)督學(xué)習(xí)算法; 支持向量機(jī)

中圖分類號:TP18文獻(xiàn)標(biāo)志碼:A

文章編號:1001-3695(2010)06-2011-05

doi:10.3969/j.issn.1001-3695.2010.06.003

Kernel-basedlearning machines research overview

WANG Tao， LI Ai-hua， CAI Yan-ping， WANG Sheng-cai

(Dept. of Mechanical Electronic， The Second Artillery Engineering College， Xi’an 710025， China)

Abstract:It is believed that the study of kernel methods is becoming a new hot area in the field of machine learning recently. Kernel methods have been applied in many fields successfully. But as a new technique，there are still plenty of limitations in kernel-based learning machines. This paper firstly analyzed the basic ideas of kernel-based learning machines then provided an introduction to some kinds of kernel learning machines developed recently from supervised learning and unsupervised learning. Pointed out the key issues and the future research directions on kernel learning machines finally. It is expected to understand kernel methods comprehensively.

Key words:kernel methods; supervised learning algorithm; unsupervised learning algorithm; support vector machine

0 引言

統(tǒng)計(jì)學(xué)習(xí)理論(statistical learning theory，SLT)是一種專門的小樣本統(tǒng)計(jì)理論，是Vapnik[1]針對有限樣本下的機(jī)器學(xué)習(xí)問題的研究成果。1995年，Vapnik等人[2]在此基礎(chǔ)上又發(fā)展出了一種新的模式識別方法——支持向量機(jī)(support vector machine，SVM)，在解決小樣本、非線性以及高維模式識別問題中表現(xiàn)出許多優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。SVM最初是從線性可分情況下的最優(yōu)分類面提出的，針對線性不可分的情況，它通過引入核函數(shù)實(shí)現(xiàn)了線性到非線性之間的變換，同時(shí)回避了維數(shù)災(zāi)難，也沒有增加計(jì)算復(fù)雜度。借鑒這一思想，研究者們對一些只涉及樣本間內(nèi)積運(yùn)算的機(jī)器學(xué)習(xí)方法進(jìn)行了改造，用事先定義的核函數(shù)取代內(nèi)積，得到了與該學(xué)習(xí)方法對應(yīng)的核方法(kernel method，KM)。核方法或稱核學(xué)習(xí)機(jī)是基于核函數(shù)的機(jī)器學(xué)習(xí)方法的簡稱[3]。核方法作為一種由線性到非線性之間的橋梁，本身并不是一門新技術(shù)，而是起源于20世紀(jì)初葉Mercer[4]發(fā)表的經(jīng)典論文，其在模式識別中的應(yīng)用可追溯到1964年[5]。然而直到近年來，隨著統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)成為國際上機(jī)器學(xué)習(xí)領(lǐng)域中新的研究熱點(diǎn)，核方法才日益受到研究人員的重視[6~9]。

1 核方法的理論基礎(chǔ)

1.1 核方法的基本原理

核方法的基本原理[3]如圖1所示。

通過一個(gè)非線性映射函數(shù)φ(x)可將輸入空間R映射到高維特征空間F，從而使得輸入空間中的非線性或線性不可分問題在特征空間中能夠進(jìn)行線性分類。其中，映射函數(shù)φ(x)定義為

φ(x)∶R→F，x∈R(1)

但由于計(jì)算復(fù)雜度和存儲空間的限制，使得在特征空間F中直接尋找分類面的問題無法進(jìn)行。核方法利用核函數(shù)K(x，y)為解決該問題提供了一種可行的思路。核函數(shù)定義為

K(x，y)=〈φ(x)，φ(y)〉(2)

其中:φ(x)、φ(y)是輸入空間中的向量x、y在特征空間中的像。

由式(2)可見，輸入空間的核函數(shù)實(shí)際上是特征空間內(nèi)積的等價(jià)。核方法的優(yōu)勢在于并不要求知道φ(x)的具體映射形式，而只要求已知核函數(shù)的具體形式。

1.2 核方法的實(shí)施步驟

核方法的實(shí)施步驟(圖2)如下:

a)收集和整理輸入樣本數(shù)據(jù)并進(jìn)行標(biāo)準(zhǔn)化，即X*i=Xi-μXiσXi，i=1，2，…，n(n為樣本維數(shù));

b)選擇或構(gòu)造核函數(shù);

c)用核函數(shù)將輸入數(shù)據(jù)矩陣變換成核函數(shù)矩陣，這一步相當(dāng)于將數(shù)據(jù)通過非線性函數(shù)映射到高維特征空間，而核函數(shù)則隱式地確定了非線性變換函數(shù)，即算法在實(shí)施中無須構(gòu)造非線性映射函數(shù)和在特征空間中進(jìn)行計(jì)算;

d)在特征空間運(yùn)用線性算法進(jìn)行建模;

e)得到輸入空間中的非線性模型。

核方法具有相同的表達(dá)形式:

f(x)=∑li=1αiK(xi，x)+b(3)

其中:l為樣本數(shù)目。

從式(3)可以看出，核方法的計(jì)算復(fù)雜度與樣本維數(shù)無關(guān)，因此避免了傳統(tǒng)模式識別方法的維數(shù)災(zāi)難問題。

2 基于核的學(xué)習(xí)機(jī)

目前，核方法已成為機(jī)器學(xué)習(xí)領(lǐng)域中的研究熱點(diǎn)，并且已在許多實(shí)際的應(yīng)用領(lǐng)域中表現(xiàn)出令人振奮的技術(shù)性能。作為最重要的核方法，SVM 更是焦點(diǎn)中的焦點(diǎn)。在機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)的學(xué)術(shù)雜志，例如《Machine Learning》《Neural Computation》《Journal of Machine Learning Research》和《IEEE Trans on Neural Networks》等上有許多與核方法相關(guān)的文章，有的雜志還出版了專集。近年來與機(jī)器學(xué)習(xí)有關(guān)的著名國際會議，如ICML、NIPS、IJCNN等都將核方法作為一個(gè)重要的討論主題。很多研究機(jī)構(gòu)建立了核方法的學(xué)術(shù)網(wǎng)站[10，11]，不少論文更是以其為研究對象[12~14]。目前，國外已出版了一些關(guān)于核方法的專著[15~17]，有的也已經(jīng)被譯成中文版[1，3，18]。

常見的核學(xué)習(xí)機(jī)分為有監(jiān)督型和無監(jiān)督型兩類，前者所處理的樣本集的類別歸屬已事先標(biāo)定，而后者主要用來處理未被標(biāo)定的樣本集。下面對一些常見的核學(xué)習(xí)機(jī)進(jìn)行整理和歸并，重點(diǎn)放在方法間的比較上[19]。

2.1 有監(jiān)督型核學(xué)習(xí)機(jī)

SVM是有監(jiān)督型核學(xué)習(xí)機(jī)中最典型的例子，其詳細(xì)內(nèi)容見參考文獻(xiàn)[18]。作為最重要的核學(xué)習(xí)機(jī)，SVM的研究動機(jī)并不僅僅是為了解決非線性問題，而在于它撼動了傳統(tǒng)機(jī)器學(xué)習(xí)方法一直作為自己根本出發(fā)點(diǎn)的諸多假定，使得人們?nèi)リP(guān)注許多以往被視為理所當(dāng)然的做法，從本質(zhì)上推動了對學(xué)習(xí)過程的認(rèn)識。除此之外，還有一批基于核的判別方法，如核Bayes判別[20]、核Fisher 判別(kernel Fisher discriminant analysis，KFDA)[21]、核感知器(kernel perceptron，KP)[22]和核最小平方誤差(kernel minimum squares error，KMSE)判別[23]等。這些方法分別由經(jīng)典的線性判別方法如Bayes判別、Fisher判別、感知器和MSE判別核化而來，其最顯著的優(yōu)勢在于能進(jìn)行非線性判別。上述方法間的關(guān)系如圖3所示，圖中橫向雙箭頭代表有條件的等價(jià)關(guān)系，縱向單箭頭代表核化方向。

在已知樣本的類先驗(yàn)概率密度和類條件概率密度的前提下，Bayes判別根據(jù)樣本的后驗(yàn)概率大小決定其類別歸屬，它的判別結(jié)果從理論上來說是最優(yōu)的。但在許多實(shí)際問題中由于樣本類條件概率密度很難確定，往往從樣本集出發(fā)直接構(gòu)造判別函數(shù)而得到相應(yīng)的判別方法，如Fisher判別、感知器和MSE判別等。其中Fisher判別通過使廣義Rayleigh商JF極大化而求得判別函數(shù)的法向量w;Rosenblatt提出的感知器通過使感知準(zhǔn)則JP極小化而求得判別函數(shù)的法向量w;MSE判別通過使平方誤差準(zhǔn)則JS=‖XNw-tN‖22極小化而求得法向量w=S+XTNtN，其中S+是樣本自相關(guān)陣S的偽逆。上述判別方法間有緊密的聯(lián)系，并且在某些條件下是等價(jià)的。比如若兩類樣本均服從高斯分布且兩者的協(xié)方差矩陣相等時(shí)，Bayes判別等價(jià)于Fisher判別[24];當(dāng)JS中的向量tN=(N/N1，…，N/N1，N/N2，…，N/N2)T時(shí)，MSE判別等價(jià)于Fisher判別，N1和N2分別是兩類樣本的個(gè)數(shù);又比如當(dāng)樣本數(shù)N→∞時(shí)，若令tN=(1，1，…，1)T，則MSE判別以最小平方誤差逼近Bayes判別。

基于核的判別方法就是上述線性判別方法核化后的結(jié)果。如Gestel等人[20]提出了核Bayes判別方法，但該方法要求兩類樣本映射到特征空間F后仍然服從高斯分布且兩者的協(xié)方差矩陣相等，顯然該條件很難滿足。在核Fisher判別中，由于廣義Rayleigh商JF是φ的函數(shù)，必須將之變形為J(τ)且與φ無關(guān)，然后通過最大化J(τ)求出τ。盡管此時(shí)法向量w仍無法求出，但能求出F中的樣本φ(x)在w上的投影。另外Mika等人[25]將J(τ)極大化問題轉(zhuǎn)換成使兩類樣本的平均邊界(average margin)距離最大的優(yōu)化問題。Cooke[26]提出了Fisher判別的兩種改進(jìn)方法，并指出這兩種改進(jìn)方法都能被核化。感知器只能對線性可分的兩類樣本進(jìn)行判別，而許建華等人[22]提出的核感知器則可適用于非線性可分的情形。另外Keller等人[27]在感知器的基礎(chǔ)上提出了模糊感知器(fuzzy perceptron，F(xiàn)P)。Chen等人[28]將FP核化，構(gòu)建了相應(yīng)的模糊核感知器(fuzzy kernel perceptron，F(xiàn)KP)，實(shí)驗(yàn)表明FKP的性能可與SVM 相比。KMSE判別是MSE判別對應(yīng)的核方法，盡管在F中矩陣S因含有φ無法求出，但Ruiz等人[23]給出了計(jì)算S+的方法，因此MSE準(zhǔn)則在F空間中仍可實(shí)施，這意味著KMSE算法是可行的。值得指出的是，就像各種線性判別方法間存在緊密聯(lián)系一樣，上述由此導(dǎo)出的基于核的各種判別方法間也存在著緊密聯(lián)系，而且容易推知它們中的一些方法在一定條件下是等價(jià)的，對這種等價(jià)關(guān)系的深入探討是核方法值得研究的方向之一。

2.2 無監(jiān)督型核學(xué)習(xí)機(jī)

核主元分析(kernel principle component analysis)[29]是無監(jiān)督型核學(xué)習(xí)機(jī)中最典型的例子。另外還有一批該類方法，如核規(guī)范相關(guān)分析(kernel canonical correlation analysis，KCCA)[30]和核獨(dú)立分量分析(kernel independent component analysis，KICA)[31]等，它們是與信號處理領(lǐng)域中的盲源分離(blind source separation，BSS)問題緊密聯(lián)系在一起的，因此可以將之歸并為基于核的盲源分離方法。此外還有核聚類[32]、核投影尋蹤(kernel projection pursuit，KPP)[33]方法等。

PCA(principle component analysis)是一種重要的無監(jiān)督型學(xué)習(xí)方法，它可以在信息損失最小的前提下對樣本進(jìn)行降維處理，實(shí)現(xiàn)高維數(shù)據(jù)的可視化，從而提高分析者的洞察能力和分析效率。PCA通過協(xié)方差陣的特征值分解Σv=λv獲得樣本的第h個(gè)主成分yh及與之對應(yīng)的第h個(gè)主方向vh。但在特征空間F中由于Σ是φ函數(shù)，無法通過Σ的分解求得主方向vφh。KPCA 方法令vφh=∑Nj=1αhjφ(xj)，轉(zhuǎn)而通過核矩陣KN的特征值分解KNα=Nλα求取α。其中αij是α第i行第j列的元素。最終求出φ(x)在F中的第h個(gè)主成分yφh=φ(x)#8226;vφh=∑Nj=1αhj(KN)hj。其中(KN)hj=K(xh，xj)。值得注意的是，盡管F的維數(shù)很高，但在F中φ(x)最多只有N(樣本數(shù)目)個(gè)主成分。PCA 旨在尋找一個(gè)最佳的投影方向(第一主方向)，它通過使樣本投影的方差最大化來達(dá)到目的，最終轉(zhuǎn)換成求解矩陣的特征向量問題;而規(guī)范相關(guān)分析(canonical correlation analysis，CCA)同時(shí)尋找多個(gè)最佳的投影方向，它通過使各樣本投影間的相關(guān)性最大來達(dá)到目的，最終轉(zhuǎn)換成求解矩陣的廣義特征向量問題。CCA也有對應(yīng)的核方法KCCA[30]。此外，PCA只能保證抽取的各成分間互不相關(guān)，但它們不一定獨(dú)立，而Jutten等人[34]提出的獨(dú)立成分分析(independent component analysis，ICA)方法能保證抽取的成分間相互獨(dú)立。Bach等人[31]則構(gòu)建了與ICA對應(yīng)的核方法KICA。KICA方法有兩種實(shí)現(xiàn)方式，一種是KICA-KCCA，即用KCCA方法來計(jì)算KICA中的對照(contrast)函數(shù);另一種是KICA-KGV，即用核廣義方差(kernel generalized variance，KGV)方法計(jì)算對照函數(shù)。上述六種無監(jiān)督學(xué)習(xí)方法間的關(guān)系如圖4所示。其中計(jì)算復(fù)雜度最大的方法是KICA。

3 核學(xué)習(xí)機(jī)存在的問題

雖然核學(xué)習(xí)機(jī)在理論上具有其他統(tǒng)計(jì)學(xué)習(xí)方法難以比擬的優(yōu)勢，并在一些領(lǐng)域獲得了成功，但是作為一種尚未成熟的新技術(shù)，核學(xué)習(xí)機(jī)仍然存在很多局限性，主要表現(xiàn)在以下幾方面:

a)核函數(shù)及其參數(shù)的選擇缺乏理論指導(dǎo)。采用SVM求解模式識別問題需要選擇或構(gòu)造一個(gè)核函數(shù)。核函數(shù)構(gòu)造、核函數(shù)類別選擇、核函數(shù)參數(shù)選擇統(tǒng)稱為模型選擇。SVM中核函數(shù)的選擇影響著分類器的性能，但是如何針對特定問題選擇和構(gòu)造合適的核函數(shù)，如何根據(jù)實(shí)際樣本數(shù)據(jù)確定核函數(shù)的參數(shù)等問題，缺乏相應(yīng)的理論指導(dǎo)。雖然已有一些研究者對利用先驗(yàn)知識限制核的選擇進(jìn)行了一些研究，但如何針對特定問題選擇最佳核仍是一個(gè)難以解決的問題。

b)訓(xùn)練大規(guī)模數(shù)據(jù)集問題。受計(jì)算機(jī)內(nèi)存容量限制，訓(xùn)練集規(guī)模和訓(xùn)練速度是一對矛盾。目前常見的訓(xùn)練算法有分塊算法、分解算法、序貫最小優(yōu)化算法(sequential minimal optimization，SMO)，除此之外還有幾何方法、預(yù)處理方法等。但是當(dāng)訓(xùn)練集規(guī)模很大時(shí)，傳統(tǒng)的優(yōu)化方法由于難以滿足實(shí)時(shí)性要求，無法處理大數(shù)據(jù)量問題。如何訓(xùn)練和分類大數(shù)據(jù)集，解決訓(xùn)練樣本規(guī)模和訓(xùn)練速度間的矛盾，解決支持向量數(shù)目與分類速度間的矛盾，提高訓(xùn)練算法的效率和精度，仍是需進(jìn)一步研究解決的問題。關(guān)于這個(gè)問題，可從兩個(gè)方面去思考:(a)從訓(xùn)練算法角度入手，目前性能最好的是SMO算法;(b)從縮小訓(xùn)練集入手，由于支持向量僅僅是類與類邊緣的一小部分樣本，離支持向量較遠(yuǎn)的樣本對選擇支持向量的影響較小，于是可以用其他方法(如聚類、去噪等)來大大縮小訓(xùn)練樣本，從而提高SVM訓(xùn)練性能。

c)利用SVM解決多值分類問題。盡管訓(xùn)練多類SVM的算法已被提出，如一對多的方法(one-against-all)、一對一的方法(one-against-one)、SVM決策樹(decision tree method， DTM)等，但SVM用于多類分類問題時(shí)的有效算法、多類SVM的優(yōu)化設(shè)計(jì)仍是一個(gè)需進(jìn)一步研究的問題。

d)在線訓(xùn)練與實(shí)時(shí)性問題。對于在線訓(xùn)練和實(shí)時(shí)應(yīng)用問題，除了速度，是否具有增量學(xué)習(xí)能力是限制SVM應(yīng)用的一個(gè)重要因素。經(jīng)典的支持向量機(jī)訓(xùn)練算法均假設(shè)訓(xùn)練集大小固定，但這一要求在很多現(xiàn)實(shí)問題中是不能滿足的。通常，希望學(xué)習(xí)機(jī)的學(xué)習(xí)精度應(yīng)隨著應(yīng)用過程中樣本集的積累而逐步提高，即學(xué)習(xí)機(jī)應(yīng)具有增量學(xué)習(xí)能力。因此，除了研究快速有效的訓(xùn)練和測試算法，還需尋找有效的增量和減量算法，同時(shí)滿足在線學(xué)習(xí)和期望風(fēng)險(xiǎn)控制的要求。

4 核學(xué)習(xí)機(jī)的研究方向

針對核學(xué)習(xí)機(jī)目前的研究現(xiàn)狀和存在的問題，有必要認(rèn)識其值得關(guān)注的研究方向。

1)不斷完善支持向量機(jī)本身的理論體系 為解決目前存在的問題提供理論依據(jù)，如許多理論目前還只是理論上的意義，尚不能在實(shí)際算法中實(shí)現(xiàn);有關(guān)SVM算法的某些理論解釋也并非完美，Burges就曾提到結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理并不能嚴(yán)格證明SVM為什么有好的推廣能力;對于一個(gè)實(shí)際的學(xué)習(xí)機(jī)器的VC維的分析尚沒有通用的方法;SVM中如何針對具體問題選擇(或構(gòu)造)適當(dāng)?shù)暮撕瘮?shù)以及核函數(shù)參數(shù)的調(diào)整也沒有理論依據(jù);一般的SVM 理論沒有考慮兩類誤判在造成損失上的差異等問題。

2)利用核技巧發(fā)展新的學(xué)習(xí)方法 任何一種算法如果能夠以內(nèi)積形式表示，都可以通過核函數(shù)內(nèi)積思想得到其非線性推廣形式，即核的形式。因此，核技巧為發(fā)展新的學(xué)習(xí)方法提供了一個(gè)很好的契機(jī)。

3)SVM與其他方法的有機(jī)結(jié)合 比如將SVM與離散余弦變換結(jié)合起來用于圖像壓縮[35];將SVM和隱馬爾可夫模型(HMM)進(jìn)行融合[36];構(gòu)造具有容噪能力的SVM分類器[37];將支持向量機(jī)與最近鄰分類相結(jié)合構(gòu)造新的分類器[38];將支持向量機(jī)與小波包分解、主元分析、獨(dú)立分量分析、聚類、粗糙集理論、經(jīng)驗(yàn)?zāi)B(tài)分解等方法結(jié)合[39]，實(shí)現(xiàn)分類、識別等。

4)標(biāo)準(zhǔn)SVM的變形及改進(jìn)算法 a)SVM算法的改進(jìn)。自SVM 提出后，出于降低訓(xùn)練時(shí)間和減少計(jì)算復(fù)雜性的目的提出了大量改進(jìn)算法，大致可以歸并為三類:(a)引入新參量或者新約束條件，如模糊支持向量機(jī)[40];(b)精簡訓(xùn)練樣本集，然后用精簡后的樣本集訓(xùn)練學(xué)習(xí)機(jī)[41];(c)與現(xiàn)有的機(jī)器學(xué)習(xí)方法相結(jié)合，如將SVM與主動學(xué)習(xí)方法結(jié)合，構(gòu)造交互式SVM 算法[42]。根據(jù)上述三種思路，完全可以提出自己的改進(jìn)算法。b)尋找已有核方法的快速算法。目前SVM 快速算法可分為兩類:(a)基于分解迭代的思想，即將原始的二次規(guī)劃問題分解成若干規(guī)模較小的子問題求解，如序貫最小優(yōu)化算法;(b)基于轉(zhuǎn)換的思想，將SVM 轉(zhuǎn)換成另一類容易求解的問題，如最近點(diǎn)迭代算法(nearest point algorithm，NPA)等。兩類算法離對樣本進(jìn)行實(shí)時(shí)處理均還有差距，因此尋找更優(yōu)的快速算法對SVM 而言有決定性意義。其次，對于其他核方法尋求快速算法也是用于實(shí)時(shí)處理的關(guān)鍵，如Smola等人提出一種被稱為稀疏核主成分分析(sparse kernel principle component analysis，SKPCA)的快速算法，提高了KPCA的計(jì)算速度。c)多值分類SVM算法。經(jīng)典的SVM 方法只能用于兩類樣本的分類，而多值分類SVM (multi-class SVM，MSVM)具有對多類別樣本分類的能力。目前MSVM算法大致可分為組合型和整體型兩類。若綜合考慮分類準(zhǔn)確率、算法復(fù)雜度等指標(biāo)，沒有一類方法占有絕對優(yōu)勢;而且當(dāng)樣本類別數(shù)很大時(shí)，兩類算法的計(jì)算量都很龐大，因此有必要對MSVM算法作進(jìn)一步深入研究。

5)拓展核方法的應(yīng)用領(lǐng)域 核學(xué)習(xí)機(jī)本質(zhì)上是一種非線性數(shù)據(jù)處理工具，目前已經(jīng)在數(shù)據(jù)分類、回歸估計(jì)、函數(shù)逼近等領(lǐng)域得到了成功應(yīng)用，尤其以SVM的應(yīng)用最為廣泛。SVM已成功地用于包括孤立手寫字符識別、計(jì)算機(jī)視覺、網(wǎng)頁或文本自動分類、說話人識別、人臉檢測、人臉識別、頭部姿態(tài)識別、性別分類、基因分類、目標(biāo)識別、遙感圖像分析等問題[43～46];而且，在文本過濾、數(shù)據(jù)挖掘、股市預(yù)測、計(jì)算機(jī)入侵檢測等應(yīng)用問題[47-49]中，SVM也顯示出了良好的性能。此外，研究如何處理樣本集合中的一些特殊點(diǎn)或遠(yuǎn)點(diǎn)，尤其是樣本集中的一些離散點(diǎn)(野點(diǎn))[50]，可進(jìn)一步提高SVM分類器的泛化能力。因此，應(yīng)進(jìn)一步加大核學(xué)習(xí)機(jī)應(yīng)用研究的深度和廣度。

需要指出的是，SVM是統(tǒng)計(jì)學(xué)習(xí)理論中具有突破性的、最重要的、應(yīng)用最廣泛的核學(xué)習(xí)機(jī)，它在實(shí)際應(yīng)用中表現(xiàn)出的性能取決于數(shù)據(jù)預(yù)處理質(zhì)量和SVM兩方面，這是后續(xù)研究的重點(diǎn)和方向。

參考文獻(xiàn):

[1]VAPNIK V. 統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)[M].張學(xué)工，譯. 北京:清華大學(xué)出版社，2000.

[2]CORTES C， VAPNIK V. Support vector networks[J]. Machine Learning，1995，20(3):273-297.

[3]SHAWE-TAYLOR J， CRISTIANINI N. 模式分析的核方法[M].趙玲玲，翁蘇明，曾華軍，等譯. 北京:機(jī)械工業(yè)出版社，2006.

[4]MERCER J. Functions of positive and negative type and their correction with the theory of integral equations[J].Philosophical Trans on Royal Society of London，1909，209A:415-446.

[5]CHERKASSKY V， MLLER F. Learning from data: concepts， theory and methods[M]. New York:Wiley，1997.

[6]GUNN S. Support vector machines for classification and regression[R].Southampton:Image Speech Intelligent Systems Group， University of Southampton，1998.

[7]VAPNIK V. An overview of statistical learning theory[J]. IEEE Trans on Neural Networks，1999，10(5):988-999.

[8]張學(xué)工. 關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J]. 自動化學(xué)報(bào)，2000，26(1):32-42.

[9]SEWELL M. Kernel methods[R].London:Department of Computer Science，University of London，2007.

[10]SCHLKOPF B， CRISTIANINI N， SHAWE-TAYLOR J， et al.[EB/OL].(2007-02-01).http://www.kernel-machines.org.

[11]SHAWE-TAYLOR J， CRISTIANINI N. Support vector machines Support vector machines[EB/OL].(2007).http://www.support-vector.net.

[12]SHAO Xu-hui. Model selection using statistical learning theory[D]. Minnesota:University of Minnesota， l999.

[13]KASZYCHI J C. An adaptive non-parametric kernel methods for classification[D]. Raleigh:North Carolina State University，2000.

[14]MARTIN F C. Machine learning and data mining via mathematical programming-based support vector machines[D].Madison: University of Wisconsin-Madison，2003.

[15]SCHLKOPF B， SMOLA A. Learning with Kernels[M]. Cambridge: MIT Press，2002.

[16]HERBRICH R. Learning kernels classifiers[M]. Cambridge: MIT Press，2002. [17]TAYLOR J S， CRISTIANININ. Kernel methods for pattern analysis[M]. Cambridge， UK: Cambridge University Press， 2004.

[18]CRISTLANINI N， TAYLOR J S.支持向量機(jī)導(dǎo)論[M].李國政，王猛，曾華軍，等譯.北京:電子工業(yè)出版社，2004.

[19]周亞同，張?zhí)劊瑒⒑T. 基于核的機(jī)器學(xué)習(xí)方法及其在多用戶檢測中的應(yīng)用[J]. 通信學(xué)報(bào)，2005，26(7): 100-101.

[20]GESTEL T V. Least squares support vector machine regression for discriminant analysis[C]//Proc of International Joint Conference on Neural Networks.2001:2445-2449.

[21]MIKA S， RITSCH G， WESTON J. Fisher discriminant analysis with kernels[C]//Proc of IEEE Workshop on Neural Networks for Signal Processing.1999:41-48.

[22]許建華，張學(xué)工，李衍達(dá). 一種基于核函數(shù)的非線性感知器算法[J]. 計(jì)算機(jī)學(xué)報(bào)，2002，25(7):689-695.

[23]RUIZ A， TERUELPE. Nonlinear kernel-based statistical pattern analysis[J]. IEEE Trans on Neural Networks，2001，12(1):16-32.

[24]邊肇祺，張學(xué)工. 模式識別[M].2版.北京:清華大學(xué)出版社，2000.

[25]MIKA S， RITSCH G， WESTONJ， et al. Invariant feature extraction and classification in kernel spaces[C]//Proc of Advances in Neural Information Processing Systems 12 (NIPS 12). Cambridge:MIT Press，2000:526-532.

[26]COOKE T. Two variations on Fisher’s linear discriminant for pattern recognition[J]. IEEE Trans on Pattern Analysis and Machine Intelligence，2002，24(2):268-273.

[27]KELLER J M， HUNT D J. Incorporating fuzzy membership functions into the perceptron algorithm[J]. IEEE Trans on Pattern Analysis and Machine Intelligence，1985，7(6):693-699.

[28]CHEN J H， CHEN Chu-song. Fuzzy kernel perceptron[J]. IEEE Trans on Neural Networks，2002，13(6):1364-1373.

[29]SCHLKOPF B， SMOLA A， MLLER K R. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation，1998，10(5):1299-1319.

[30]Van GESTEL T， SUYKENS J A K， De BRABANTER J， et al. Kernel canonical correlation analysis and least squares support vector machines[C]//Proc of International Conference on Artificial Neural Networks.2001:384-389.

[31]BACH F R. Kernel independent component analysis，UCB/CSD-0l-l166[R].Berkeley:Computer Science Division， University of California Berkeley，2001.

[32]GIROLAMI M. Mercer kernel based clustering in feature space[J]. IEEE Trans on Neural Networks，2002，13(3):780-794.

[33]MACDONALD D， FYFE C， CHARLES D. Kernel exploratory projection pursuit[C]//Proc of the 4th International Conference on Knowledge-based Intelligent Engineering Systems and Allied Techno-logies.2000:l93-196.

[34]JUTTEN C， HERAULT J. Independent component analysis versus PCA[C]//Proc of European Signal Processing Conference.1988:287-291.

[35]ROBINSON J， KECMAN V. Combining support vector machine learning with the discrete cosine transform in image compression[J]. IEEE Trans on Neural Networks，2003，14(7):950-958.

[36]FU Li-qin， MAO Xia， CHEN Li-jiang. Speaker independent emotion recognition based on SVM/HMMS fusion system[C]//Proc of International Conference on Audio， Language and Image Processing.2008:61-65.

[37]蕭嶸，孫晨. 一種具有容噪性能的SVM多值分類器[J]. 計(jì)算機(jī)研究與發(fā)展， 2000，37(9):1071-1075.

[38]HMEIDIA I， HAWASHINA B， EL-QAWASMEH E. Performance of KNN and SVM classifiers on full word Arabic articles[J]. Advanced Engineering Informatics，2008，22(1):106-111.

[39]WIDODOA A， YANG B S. Support vector machine in machine condition monitoring and fault diagnosis[J]. Mechanical Systems and Signal Processing，2007，21(6):2560-2574.

[40]LIN Chun-fu， WANG Sheng-de. Fuzzy support vector machines[J]. IEEE Trans on neural networks，2002，13(5):464-471.

[41]LIN Kuan-ming， LIN C J. A study on reduced support vector machines[J]. IEEE Trans on Neural Networks，2003，14(11):1449-1459.

[42]盧增祥，李衍達(dá). 交互支持向量機(jī)學(xué)習(xí)算法及其應(yīng)用[J]. 清華大學(xué)學(xué)報(bào):自然科學(xué)版，1999，39(7):93-97.

[43]DAN Zhi-ping， ZHENG Sheng， SUN Shui-fa， et al. Speaker recognition based on LS-SVM[C]//Proc of the 3rd International Conference on Innovative Computing Information and Control.Washington DC:IEEE Computer Society，2008:525-528.

[44]PARKA C， KOOB J Y， KIMC S， et al.Classification of gene functions using support vector machine for time-course gene expression data[J]. Computational Statistics Data Analysis，2008，52(1):2578-2587.

[45]HAMDI R，BOUCHAREB F，BEDDA M.Handwritten Arabic character recognition based on SVM classifier[C]//Proc of the 3rd International Conference on Information and Communication Technologies: From Theory to Applications.2008:1-4.

[46]ZHENG Sheng， SHI Wen-zhong， LIU Jian， et al.Remote sensing image fusion using multiscale mapped LS-SVM[J]. IEEE Trans on Geoscience and Remote Sensing，2008，46(5):1313-1322.

[47] LO Shu-chuan. Web service quality control based on text mining using support vector machine[J]. Expert Systems with Applications，2008，34(1):603-610.

[48]ZHOU Jian-guo， BAI Tao， ZHANG Ai-guang， et al.The integrated methodology of wavelet transform and GA based-SVM for forecasting share price[C]//Proc of International Conference on Information and Automation.2008:729-733.

[49]LI Yuan-cheng， WANG Zhong-qiang， MA Ying-long. An intrusion detection method based on KICA and SVM[C]//Proc of the 7th World Congress on Intelligent Control and Automation.2008:2141-2144.

[50]GUO S M， CHEN L C， TSAI J S H. A boundary method for outlier detection based on support vector domain description[J]. Pattern Recognition，2009，42(1):77-83.