相關(guān)向量機(jī)分類方法的研究進(jìn)展與分析

趙春暉，張燚

(哈爾濱工程大學(xué)信息與通信工程學(xué)院，黑龍江哈爾濱150001)

機(jī)器學(xué)習(xí)在人工智能的研究中具有十分重要的地位.其應(yīng)用已遍及人工智能的各個(gè)分支，如專家系統(tǒng)、自動(dòng)推理、自然語言理解、模式識(shí)別、計(jì)算機(jī)視覺、智能機(jī)器人等領(lǐng)域.其中尤為典型的是專家系統(tǒng)中的知識(shí)獲取瓶頸問題，人們一直試圖采用機(jī)器學(xué)習(xí)的方法加以解決.

支持向量機(jī)(support vector machine，SVM)［1］是由Vappnik于1995年提出的，建立在統(tǒng)計(jì)學(xué)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理的基礎(chǔ)上，在模型復(fù)雜性與學(xué)習(xí)能力之間尋求最佳折衷，是監(jiān)督分類的典型代表，已經(jīng)成為模式識(shí)別以及機(jī)器學(xué)習(xí)研究領(lǐng)域比較領(lǐng)先的方法之一.但SVM仍存在著一定的局限性:1)支持向量的數(shù)量會(huì)隨著訓(xùn)練樣本數(shù)量的增加而線性增加，這樣會(huì)導(dǎo)致分類效率降低，訓(xùn)練時(shí)間過長;2)預(yù)測結(jié)果沒有后驗(yàn)概率，無法通過結(jié)果觀測到分類的準(zhǔn)確度;3)對(duì)于給定的誤差參數(shù)，主觀性過強(qiáng)，容易造成主觀誤差;4)核函數(shù)必須滿足Mercer條件［2-3］.

相關(guān)向量機(jī)(relevance vectormachine，RVM)［1，4］是 Tipping 于 2001 年提出的一種與 SVM類似的稀疏概率模型.它可以在保證分類精度與SVM相同的情況下，提供一個(gè)后驗(yàn)概率分布.與SVM相比，相關(guān)向量的個(gè)數(shù)遠(yuǎn)遠(yuǎn)小于支持向量的個(gè)數(shù)，并且其核函數(shù)也不需要滿足Mercer條件.但是RVM在解決以上SVM問題的同時(shí)也引入了新的問題.當(dāng)RVM應(yīng)用于高光譜圖像分類時(shí)，由于高光譜圖像數(shù)據(jù)樣本大、維數(shù)高［5］，會(huì)使分類過程中的訓(xùn)練時(shí)間隨著樣本復(fù)雜度的增加而直線上升，嚴(yán)重影響了分類的效率.因此Bishop等提出一種改進(jìn)型相關(guān)向量機(jī)方法［6］，該方法主要是通過引入一個(gè)新的概率分布，降低訓(xùn)練過程中的運(yùn)算復(fù)雜度，提高分類效率，在小樣本情況下有較好的分類精度.

1 相關(guān)向量機(jī)理論

1.1 相關(guān)向量機(jī)模型

如果輸入數(shù)據(jù)組為{xn，tn}Nn=1，并且考慮到目標(biāo)函數(shù)只是一個(gè)標(biāo)量，根據(jù)標(biāo)準(zhǔn)概率方程式，假設(shè)目標(biāo)函數(shù)是模型的樣本并且附加著噪聲:

式中:εn是零均值的高斯噪聲，并且相互獨(dú)立，其方差為 σ2.因此表達(dá)式 p(tn|x)=N(tn|y(xn)，σ2)是服從高斯分布的表達(dá)式，其分布由tn和y(xn)的值以及方差σ2決定.而其中y(x)是一個(gè)由核函數(shù)決定的值，并且核函數(shù)由訓(xùn)練樣本φi(x)≡K(x，xi)決定.假設(shè)tn是相互獨(dú)立的，則樣本數(shù)據(jù)的完整概率表達(dá)式可以寫為

式中:t=［t1t2… tN］T，w=［w0w1… wN］T和 Φ 都是預(yù)先設(shè)計(jì)好的大小為N×(N+1)的矩陣，并且Φ=［φ(x1)φ(x2)… φ(xN)］T的值為 φ(xn)=［1 K(xn，x1)K(xn，x2)… K(xn，xN)］T.為了使表達(dá)式更加簡單化，在式(2)中忽略一些隱含的輸入數(shù)據(jù){xn}.

隨著訓(xùn)練樣本中參數(shù)被大量地使用，在進(jìn)行w和σ2的最大似然估計(jì)時(shí)會(huì)產(chǎn)生過適應(yīng)現(xiàn)象.為了避免這種現(xiàn)象的發(fā)生，可以對(duì)一些參數(shù)加入一定附加強(qiáng)制條件.這種作法已經(jīng)在SVM中大量使用，并且非常有效.

在RVM中采用貝葉斯透視方法作為強(qiáng)制條件.定義一個(gè)w的比較簡單的函數(shù)，這個(gè)函數(shù)是一個(gè)應(yīng)用廣泛的零均值的高斯概率分布:

對(duì)于每一個(gè)權(quán)重來說，式(3)中都存在獨(dú)立分布的參數(shù)，可以極大地緩解之前分布的復(fù)雜度［6］.

定義一個(gè)超參數(shù)α，同樣地為了匹配最后的函數(shù)，也需要加入噪聲函數(shù)σ2.這個(gè)函數(shù)屬于一種刻度函數(shù)，其分布滿足伽瑪分布:

式中:β =σ2，并且

1.2 相關(guān)向量機(jī)回歸方法

在超參數(shù)估計(jì)的收斂過程中，預(yù)測部分是基于后驗(yàn)概率模型的加權(quán)，并且找到最大化的αMP與.然后根據(jù)

計(jì)算分布的預(yù)測.對(duì)于一個(gè)新的參數(shù)xi，利用

可以得到

可簡化為

所以預(yù)測的含義就是直觀地得到y(tǒng)(xi;μ)，或者通過后驗(yàn)權(quán)均值預(yù)測基礎(chǔ)函數(shù)的權(quán)值，其中很多基礎(chǔ)函數(shù)的權(quán)值都是0.數(shù)據(jù)中的噪聲估計(jì)決定了預(yù)測權(quán)值的不確定性［7］.

1.3 相關(guān)向量機(jī)分類方法

相關(guān)向量機(jī)分類方法就是一種拉普拉斯逼近的回歸算法［8］.

若需要預(yù)測輸入x的部分后驗(yàn)概率，可根據(jù)統(tǒng)計(jì)學(xué)原理，利用函數(shù)σ(y)=1/(1+e-y)對(duì)線性模型y(x)進(jìn)行歸一化，其中p(t|x)是一個(gè)貝努利分布，其分布表達(dá)式為

式中:根據(jù)概率定義，目標(biāo)函數(shù)tn∈{0，1}，需要注意式(4)中并沒有附加的噪聲函數(shù).

分類過程中，不能利用卷積方式計(jì)算權(quán)重，所以并不能給出 p(w|t，α)或邊緣分布 p(t|α)的解析解.因此，需要利用拉普拉斯逼近的近似解求得，具體過程如下:

1)首先固定α的值，給出模型的后驗(yàn)概率分布位置，得到權(quán)重wMP的最可能值.因?yàn)?p(w|t，α)∝p(t|w)p(w|α)，所以這一過程等價(jià)于找到式(5)的最小值

式中:yn=σ{y(xn;w)}.應(yīng)用最小平方反復(fù)迭代方法得到wMP的值.

2)拉普拉斯方法是利用一個(gè)簡單的二次方程逼近Log分布的方法.其值是通過二次變形給出:

式中:B=diag(β1，β2，…，βN)是一個(gè)對(duì)角線矩陣，其中 βn=σ(y(xn))［1-σ(y(xn))］.對(duì)于高斯逼近來說權(quán)重主要集中在wMP，并且通過式(6)可以得到協(xié)方差矩陣Σ.

在模型 p(w|t，α)中，利用式(6)以及▽W(xué)lg p(w|t，α)|wMP=0，可以得到

式(7)和(8)可用于解決最小二乘問題.可以看出拉普拉斯逼近方法能夠有效地將分類問題映射為回歸問題.

2 相關(guān)向量機(jī)的應(yīng)用

因?yàn)橄嚓P(guān)向量機(jī)可用于回歸以及分類問題，所以其應(yīng)用非常廣泛.目前國內(nèi)外主要應(yīng)用領(lǐng)域有以下幾方面.

2.1 醫(yī)學(xué)影像處理

相關(guān)向量機(jī)在醫(yī)學(xué)領(lǐng)域中的主要應(yīng)用是對(duì)數(shù)字醫(yī)學(xué)圖片的分析.首先Lukic等在2007年將RVM應(yīng)用在分析神經(jīng)成像之中，所采用的RVM方法與處理一般圖像的現(xiàn)有方法有著相近的效果，然而RVM的復(fù)雜度比其他方法要低很多，并且可以準(zhǔn)確地找到感興趣的目標(biāo)［7］.

之后Gholami等于2010年將RVM應(yīng)用在新生兒痛苦評(píng)價(jià)上，成功地對(duì)新生兒痛苦表情進(jìn)行分類，正確區(qū)分了痛苦與非痛苦的嬰兒，并且對(duì)痛苦程度進(jìn)行區(qū)分［8］.需要注意的是，該方法也是基于新生兒表情的數(shù)字圖像處理，大多歸結(jié)為回歸或者分類的問題，因此相關(guān)向量機(jī)在該領(lǐng)域的應(yīng)用是很有前景的.

2.2 數(shù)字圖像處理

對(duì)于一般數(shù)字圖像處理，相關(guān)向量機(jī)的應(yīng)用也主要分為處理回歸和處理分類問題兩大方面.

在處理回歸問題中，Agarwal等［9］在2006年、Guo等［10］在 2007 年、Sedai 等［11］在 2009 年、Guo 等［12］在2009年，將RVM應(yīng)用于人類3-D圖像從單眼圖像恢復(fù)過程中，該算法主要應(yīng)用了RVM的回歸理論，通過真實(shí)數(shù)據(jù)的訓(xùn)練，RVM回歸機(jī)可以正確捕捉人體行動(dòng)，算法可以將正確率提高到90%左右.Ouyang等在2009年，將RVM應(yīng)用于網(wǎng)絡(luò)視頻監(jiān)控技術(shù)，結(jié)果表明，采用了RVM回歸算法的網(wǎng)絡(luò)視頻監(jiān)視系統(tǒng)可以較快速地找到人體框架，并且RVM的尋找速度要比其他方法更快，尤其在測試進(jìn)行一段時(shí)間之后，其分辨的正確率也很高，可達(dá)到80%以上［13］.Oliveri等在2011年將RVM應(yīng)用于圖像恢復(fù)中.研究表明，將快速RVM算法與其他算法相結(jié)合，其圖像恢復(fù)效果更好，運(yùn)算速度也較快［14］.

在分類處理方法中 X.Li等［15］和 X.Wang等［16］在2009年將RVM應(yīng)用于圖像分類比較中，實(shí)驗(yàn)結(jié)果表明RVM分類方法對(duì)于線性數(shù)據(jù)以及非線性的高維數(shù)據(jù)都具有較好的分類效果.

2.3 高光譜圖像分類

由于高光譜圖像樣本數(shù)量大、維數(shù)較高等特點(diǎn)，相關(guān)向量機(jī)分類方法非常適合應(yīng)用于高光譜圖像分類.Demir等于2007年在高光譜圖像分類中應(yīng)用了RVM方法，詳細(xì)闡述了RVM方法與SVM方法的不同，并且比較了分類結(jié)果，利用分類精度、相關(guān)向量和支持向量的個(gè)數(shù)等標(biāo)準(zhǔn)，評(píng)價(jià)了各自優(yōu)缺點(diǎn)［17］.隨后Mianji等在2011年又進(jìn)一步比較了RVM方法與SVM方法在高光譜圖像分類中的性能，比較的標(biāo)準(zhǔn)增加了訓(xùn)練時(shí)間以及測試時(shí)間［18］.通過實(shí)驗(yàn)發(fā)現(xiàn)RVM方法與SVM方法在訓(xùn)練樣本相同時(shí)，其分類精度基本一致，但相關(guān)向量的數(shù)量明顯少于支持向量的數(shù)量.在測試時(shí)間方面，RVM的測試時(shí)間非常短，幾乎可以做到實(shí)時(shí)測試，而SVM的測試時(shí)間相對(duì)較長.然而RVM的缺點(diǎn)在于隨著訓(xùn)練樣本的增加，其訓(xùn)練時(shí)間也會(huì)直線上升.分析比較結(jié)果如表1、2.

表1 分類精度比較Table 1 The accuracy of classification

表2 分類時(shí)間Table 2 The time of classification s

為了克服RVM在高光譜圖像分類中存在的缺點(diǎn)，根據(jù)RVM自身特點(diǎn)，下面給出了多種改進(jìn)方案.

3 相關(guān)向量機(jī)分類方法的改進(jìn)

3.1 改進(jìn)型相關(guān)向量機(jī)

3.1 .1 改進(jìn)型相關(guān)向量機(jī)模型

傳統(tǒng)的概率模型可以將隨機(jī)變量分為觀測數(shù)據(jù)D和非觀測變量θ［6，19］.觀測數(shù)據(jù)D的邊緣概率密度為

對(duì)于式(9)的積分計(jì)算，通常來說較為復(fù)雜.因此改進(jìn)思想是通過引入近似的分布Q(θ)，其中對(duì)于任意選擇的非觀測變量θ，可以將邊緣概率密度的積分形式分解為2個(gè)對(duì)數(shù)之和，即將式(9)近似分解為

引入的分布 Q(θ)是 P(D，θ)和后驗(yàn)分布KL(Q|P)之間的Kullback-Leibler距離差，表達(dá)式如式(12)

式中:KL(Q|P)≥0.式(10)的右半部分是Q的獨(dú)立分布，因此最大化L(Q)等同于最小化KL(Q|P).綜合式(11)和式(12)，則 Q(θ)就是P(θ|D)的近似邊緣概率分布.通過該近似的方法，只要選擇一個(gè)合適的分布Q，L(Q)的值即便在傳統(tǒng)證據(jù)模型函數(shù)未知的情況下也可以通過簡單的計(jì)算得到.因此改進(jìn)型RVM的方法就是選擇一個(gè)形式較為簡單的Q(θ)，使得L(Q)的計(jì)算較為簡單，并且同時(shí)保證L(Q)的形式足夠靈活.

根據(jù)式(9)且考慮到參數(shù)θ的變形形式{θi}，則Q(θ)可以定義為

式中:〈·〉k≠i定義為對(duì)于 Qk(θk)分布(其中 k≠i)的期望.可以證明，如果概率模型中的每個(gè)因素Qi(θi)可以用一種帶有節(jié)點(diǎn)的有向循環(huán)圖來表示，那么Qi(θi)的解就僅僅取決于 Q分布的變量形

式［20］.

式(13)的右半部分取決于Qk≠i的任意時(shí)刻，所以式(13)是Qi(θi)的一種特殊的求解表達(dá)式.又因?yàn)镼i(θi)是共軛的條件分布，因此可以通過計(jì)算得到在所需時(shí)刻的標(biāo)準(zhǔn)條件分布.然后通過初始化，循環(huán)使用式(13)，迭代更新變量，最終得到Q的所有分布.

3.1 .2 改進(jìn)型相關(guān)向量機(jī)分類算法

輸入數(shù)據(jù)邊緣概率的對(duì)數(shù)形式為

利用之前處理結(jié)論和近似的分解變量形式Qw(w)Qα(α)，并結(jié)合式(11)，將上式近似為

式(14)的積分計(jì)算會(huì)增加運(yùn)算的復(fù)雜度，因此根據(jù)Jaakkola 等［21］的分析方法，引入

式中:z=(2t-1)y，λ(ξ)=(1/4ξ)tanh(ξ/2).ξ是一個(gè)可變的參數(shù)，當(dāng)?shù)忍?hào)成立時(shí)，可以得到ξ=z.將式(15)代入相關(guān)向量機(jī)模型中，可以得到

式中:zn=(2tn-1)Tφn，且 P(T|X，w)/F(T，X，w，ξ)≥1 等同于 lnP(T|X，w)/F(T，X，w，ξ)≥0.將式(16)代入式(14)中，可得

優(yōu)化式(17)右邊的函數(shù)Qw(w)和Qα(α)以及參數(shù)ξ=ξn.優(yōu)化的結(jié)果為Qw(w)產(chǎn)生了一個(gè)一般的正態(tài)分布形式:

式中:A=diag(am).相對(duì)而言，優(yōu)化的結(jié)果使得Qα(α)是服從伽瑪分布的.

同樣，通過式(17)的右半部分，對(duì)L的值可以通過下式計(jì)算而得

對(duì)于新的輸入的預(yù)測，可以通過現(xiàn)有的訓(xùn)練好的權(quán)重模型計(jì)算求得P(t|x，〈w〉)，即可進(jìn)行分類.

3.1 .3 實(shí)驗(yàn)數(shù)據(jù)

這是一種對(duì)于RVM算法本身的改進(jìn)，將改進(jìn)RVM算法應(yīng)用于高光譜圖像分類中，當(dāng)訓(xùn)練樣本較小時(shí)，其分類精度可以高于RVM以及SVM分類.當(dāng)訓(xùn)練樣本較大時(shí)，其訓(xùn)練時(shí)間以及測試時(shí)間會(huì)有所減低，結(jié)果如表3、4.

表3 各類別分類精度Table 3 The accuracy of classification %

表4 分類效率Table 4 The efficiency of classification s

從表3、4中可以看出對(duì)于5種地物的分類精度和總體分類精度，VRVM最高，RVM次之，而SVM相對(duì)較低;VRVM和RVM的測試時(shí)間短，訓(xùn)練時(shí)間較長，而SVM測試時(shí)間長，訓(xùn)練時(shí)間相對(duì)較短.

3.2 相關(guān)向量機(jī)的多類分類技術(shù)

類似于SVM，RVM最初的設(shè)計(jì)也是針對(duì)1-a-1分類問題，然而高光譜圖像地物類別較多，品種復(fù)雜，因此需要發(fā)展多類分類技術(shù).Wu等在2009年提出的RVM多類分類技術(shù)，有效地改善了RVM在多類分類中的效果［22］.算法流程如圖1所示.

圖1 算法流程Fig.1 The algorithm flow chart

該算法主要是利用逐層分級(jí)的思想進(jìn)行，首先判斷所有的數(shù)據(jù)是否屬于第1類，其次判斷是否屬于第2類，以此類推，最后得出結(jié)果.利用高光譜數(shù)據(jù)進(jìn)行多類地物分類，分析比較下列分類方法:Oneagainst-rest(OAR)、One-against-one(OAO)、directed acyclic graph method(DAG)、binary tree based on class distance(CDBT)、binary tree based on class distance and class distribution(CDDBT)等在分類精度和計(jì)算效率方面的性能［23-24］，實(shí)驗(yàn)結(jié)果如表5和表6所示.

表5 多類分類效果Table 5 The effect of multi-classification

表6 分類效果比較Table 6 The comparison of effect of multi-classification

從表5中可以看出，隨著地物訓(xùn)練樣本的增加，RVM的分類精度會(huì)有所提高，但相關(guān)向量個(gè)數(shù)明顯增多，訓(xùn)練時(shí)間也變長.表6說明采用5種方法對(duì)3類地物進(jìn)行分類，CDDBT方法在訓(xùn)練時(shí)間和測試時(shí)間相當(dāng)情況下，分類精度最高.

3.3 應(yīng)用改進(jìn)型核函數(shù)

RVM也是一種基于核方法的機(jī)器學(xué)習(xí)理論，因此核函數(shù)的效果好壞也在一定程度上影響了RVM分類效果，尤其對(duì)于數(shù)據(jù)混疊較為嚴(yán)重的高光譜數(shù)據(jù)，如果核函數(shù)能將混疊數(shù)據(jù)較為合理地投影出來，那么對(duì)于分類精度以及分類效率都有著至關(guān)重要的作用，因此應(yīng)用改進(jìn)型核函數(shù)也是提高RVM分類效果的一種途徑.

Camps等在2007年提出了利用 Mahalanobis核函數(shù)代替RBF核函數(shù)，應(yīng)用于高光譜圖像分類［25］.Mahalanobis核函數(shù)表達(dá)式如下:

Mahalanobis核函數(shù)的優(yōu)點(diǎn)在于對(duì)于輸入空間的每一個(gè)軸空間都有其獨(dú)特的特征參數(shù)，這樣在分類時(shí)，其邊界更加合理.在高光譜圖像分類中，圖像數(shù)據(jù)為DAIS7915 PAVIA IMAGE，RBF-RVM分類精度為80.33%，而MK-RVM的分類精度為81.67%.可以看出Mahalanobis核函數(shù)的分類精度更高，是一種較為理想的改進(jìn)方案.

詹環(huán)等在2008年提出利用一種小波核函數(shù)的相關(guān)向量機(jī)分類方法［26］.該方法選取墨西哥草帽小波函數(shù)來構(gòu)造平移不變小波核函數(shù)，即

并且滿足平移不變核函數(shù)的墨西哥草帽小波核函數(shù)為

將小波核函數(shù)應(yīng)用于SINC(X)函數(shù)回歸問題中，實(shí)驗(yàn)結(jié)果表明，其準(zhǔn)確率高于RBF-RVM回歸方法，訓(xùn)練時(shí)間也相對(duì)較短.

本文作者于2011年將小波核函數(shù)相關(guān)向量機(jī)應(yīng)用于高光譜圖像分類［27］，該方法應(yīng)用的小波核函數(shù)與文獻(xiàn)［26］中的略有不同，其表達(dá)式如下:

實(shí)驗(yàn)結(jié)果表明其分類精度比RVM高2.73%，獲得了較好的效果.

4 結(jié)論

本文對(duì)國內(nèi)外相關(guān)向量機(jī)研究現(xiàn)狀進(jìn)行了全面的綜述.通過研究相關(guān)向量機(jī)的模型、回歸算法以及分類算法，有效地將相關(guān)向量機(jī)應(yīng)用到多個(gè)領(lǐng)域當(dāng)中.尤其著重介紹了相關(guān)向量機(jī)分類方法在高光譜圖像分類中的應(yīng)用.

高光譜數(shù)據(jù)的特點(diǎn)決定了相關(guān)向量機(jī)非常適合其應(yīng)用，無論是檢測還是分類問題，相關(guān)向量機(jī)都有著較好的表現(xiàn).高光譜圖像分類的評(píng)價(jià)標(biāo)準(zhǔn)有許多種，但是最主要的還是分類精度和分類效率.分類精度主要是體現(xiàn)了該方法對(duì)高光譜數(shù)據(jù)的分類準(zhǔn)確度，在這方面，相關(guān)向量機(jī)可以達(dá)到較高的分類精度，滿足分類的要求;分類效率主要是體現(xiàn)該方法在分類過程中的空間復(fù)雜度以及時(shí)間復(fù)雜度，相關(guān)向量機(jī)的空間復(fù)雜度非常低，是支持向量機(jī)的15%左右，但其時(shí)間復(fù)雜度卻比較高，尤其體現(xiàn)在大訓(xùn)練樣本的訓(xùn)練時(shí)間上.因此對(duì)于如何減少訓(xùn)練時(shí)間，提高訓(xùn)練效率也是今后進(jìn)一步研究相關(guān)向量機(jī)的重點(diǎn)方向之一.

在現(xiàn)有的改進(jìn)方法中，主要分為兩大類，一是對(duì)算法本身的改進(jìn)，也叫改進(jìn)型相關(guān)向量機(jī);另外一類是對(duì)算法中應(yīng)用到的核函數(shù)進(jìn)行改進(jìn).2種改進(jìn)方法都可以提高相關(guān)向量機(jī)分類的效率，并且保證了較高的分類精度.對(duì)于整個(gè)高光譜圖像分類研究領(lǐng)域，如何進(jìn)一步挖掘各種方法間的優(yōu)點(diǎn)，拓展其應(yīng)用范圍是該領(lǐng)域未來發(fā)展的重點(diǎn).

目前相關(guān)向量機(jī)的研究已經(jīng)取得了一定進(jìn)展，但其方法還是存在著一些不足，如何改進(jìn)這些算法，突破制約技術(shù)發(fā)展瓶頸，是未來其理論研究的目標(biāo).本文僅對(duì)其進(jìn)行綜合分析與論述，以達(dá)到拋磚引玉之功效.

［1］TIPPING M.Sparse Bayesian learning and the relevance vector machine［J］.Machine Learning Research，2001，6(1):211-244.

［2］DUAN Qing，ZHAO Jianguo，MA Yan.RVM and SVM for classification in transient stability assessment［C］//2010 A-sia-Pacific Power and Energy Engineering Conference(APPEEC).Chengdu，China，2010:1-4.

［3］BILGIN G，ERTURK S，YILDIRIM T.Segmentation of hyperspectral images via subtractive clustering and cluster validation using one-class support vector machines［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49(8):2936-2944.

［4］CAMPS V G，MARTINEZ R M.Nonlinear system identification with composite relevance vector machines［J］.IEEE Signal Processing Letters，2007，14(4):279-282.

［5］DEMIR B，ERTURK S.Hyperspectral data classification using RVM with pre-segmentation and RANSAC［C］//2007 IEEE International Geoscience and Remote Sensing Symposium(IGARSS).Barcelona，Spain，2007:1763-1766.

［6］BISHOP C M，TIPPING M E.Variational relevance vector machines［C］//Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence.Catalina Island，USA，2010:46-53.

［7］LUKIC A S，WERNICK M N，TZIKAS D G，et al.Bayesian kernel methods for analysis of functional neuroimages［J］.Medical Imaging，2007，26(12):1613-1624.

［8］GHOLAMI B，HADDAD W M，TANNENBAUM A R.Relevance vector machine learning for neonate pain intensity assessment using digital imaging［J］.Biomedical Engineering，2010，57(6):1457-1466.

［9］AGARWAL A，TRIGGS B.Recovering 3D human pose from monocular images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(1):44-58.

［10］GUO Feng，QIAN Gang.3D human motion tracking using manifold learning［C］//2007 IEEE International Conference on Image Processing.San Antonio，USA，2007:357-360.

［11］SEDAI S，BENNAMOUN M，HUYNH D.Context-based appearance descriptor for 3D human pose estimation from monocular images［C］//Proceedings of the 2009 Digital Image Computing:Techniques and Applications.Melbourne，Australia，2009:484-491.

［12］GUO Weiwei，PATRAS I.Discriminative 3D human pose estimation from monocular images via topological preserving hierarchical affinity clustering［C］//2009 IEEE 12th International Conference on Computer Vision Workshops(ICCV Workshops).Kyoto，Japan，2009:9-15.

［13］OUYANG Yi，ZHANG Sanyuan.RVM-based classification of the network video surveillance system［C］//WASE International Conference on Information Engineering.Taiyuan，China，2009:144-148.

［14］OLIVERI G，ROCCA P，MASSA A.A Bayesian compressive sampling based inversion for imaging sparse scatters［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49(10):3993-4006.

［15］LI Xiangru，LI Xiaoming，CHENG Xuezhen.Rejecting mismatches between fish-eye camera images by RVM［C］//5th International Conference on Natural Computation.Tianjin，China，2009:293-295.

［16］WANG Xiaofei，ZHANG Junping，ZHANG Ye.Registration of remote sensing images based on the relevance vector machine［C］//5th International Conference on Natural Computation.Tianjin，China，2009:547-551.

［17］DEMIR B，ERTURK S.Hyperspectral image classification using relevance vector machines［J］.IEEE Geoscience and Remote Sensing Letters，2007，4(4):586-590.

［18］MIANJI F A，ZHANG Y.Robust hyperspectral classification using relevance vector machine［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49(6):2100-2112.

［19］CHYKEYUK K，CLIFTON D A，NOBLE J A.Feature extraction and wall motion classification of 2D stress echocardiography with relevance vector machines［C］//2011 IEEE International Symposium on Biomedical Imaging.Chicago，USA，2011:677-680.

［20］RAM R，CHETTY M.A Markov-blanket-based model for gene regulatory network inference［J］.IEEE Transactions on Computational Biology and Bioinformatics，2011，8(2):353-367.

［21］JAAKKOLA T S，JORDAN M I.Bayesian parameter estimation through variational methods［J］.Statistics and Computing，2000，10(1):25-37.

［22］WU Huilan，LIU Guodong，PU Zhaobang.Multi-class image recognition based on relevance vector machine［C］//2009 International Workshop on Intelligent Systems and Applications.Wuhan，China，2009:1-4.

［23］陳世哲.微電子產(chǎn)品視覺檢測中關(guān)鍵技術(shù)研究［D］.哈爾濱:哈爾濱工業(yè)大學(xué)，2006:5-24.

CHENG Shizhe.Research on the key techniques of microelectronic products vision inspection［D］.Harbin:Harbin Institute of Technology，2006:5-24.

［24］唐發(fā)明.基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)算法研究［D］.武漢:華中科技大學(xué)，2005:67-81.

TANG Faming.Study of support vector machines algorithm based on statistical learning theory［D］.Wuhuan:Huazhong University of Science and Technology，2005:67-81.

［25］CAMPS V G，RODRIGOG A，MUOZ M J.Hyperspectral image classification with Mahalanobis relevance vector machines［C］//2007 IEEE Geoscience and Remote Sensing Symposium.Barcelona，Spain，2007:3802-3805.

［26］詹環(huán)，王雪亭.小波相關(guān)向量機(jī)［J］.五邑大學(xué)學(xué)報(bào):自然科學(xué)版，2008，22(1):58-62.

ZHAN Huan，WANG Xueting.The wavelet relevance vector machine［J］.Journal of Wuyi University:Natural Science Edition，2008，22(1):58-62.

［27］ZHAO Chunhui，ZHANG Yi，WANG Ying.RVM classification of hyperspectral image based on wavelet kernel function［C］//2011 International Conference on Multimedia Technology.Hangzhou，China，2011:3647-3650.