相關(guān)向量機(jī)基函數(shù)和超參的協(xié)同優(yōu)化

張名芳　付　銳,2　郭應(yīng)時(shí)　程文冬

1(長(zhǎng)安大學(xué)汽車學(xué)院　陜西 西安 710064)2(長(zhǎng)安大學(xué)汽車運(yùn)輸安全保障技術(shù)交通行業(yè)重點(diǎn)實(shí)驗(yàn)室　陜西 西安 710064)

?

相關(guān)向量機(jī)基函數(shù)和超參的協(xié)同優(yōu)化

張名芳1付銳1,2郭應(yīng)時(shí)1程文冬1

1(長(zhǎng)安大學(xué)汽車學(xué)院陜西 西安 710064)2(長(zhǎng)安大學(xué)汽車運(yùn)輸安全保障技術(shù)交通行業(yè)重點(diǎn)實(shí)驗(yàn)室陜西 西安 710064)

摘要針對(duì)傳統(tǒng)相關(guān)向量機(jī)在訓(xùn)練誤差、權(quán)值矩陣的稀疏性以及對(duì)數(shù)邊緣似然函數(shù)零逼近之間存在沖突，提出利用受試者工作特征曲線對(duì)相關(guān)向量機(jī)參數(shù)和核函數(shù)進(jìn)行協(xié)同優(yōu)化。依據(jù)模型分類準(zhǔn)確率確定合適的核函數(shù)；引入模型在5%誤判率下的分類準(zhǔn)確率，對(duì)超參邊際似然函數(shù)進(jìn)行改進(jìn)；為保證權(quán)值矩陣稀疏最大化，通過(guò)邊際似然函數(shù)閾值選取最佳相關(guān)向量組合，運(yùn)用交叉驗(yàn)證算法以及各交叉模型的ROC曲線，對(duì)相關(guān)向量機(jī)超參進(jìn)行最優(yōu)估計(jì)。此外，利用車輛橫擺角速度對(duì)優(yōu)化模型進(jìn)行測(cè)試，結(jié)果表明：所提算法訓(xùn)練耗時(shí)略長(zhǎng)，但測(cè)試時(shí)間明顯短于傳統(tǒng)估計(jì)算法，且模型的分類能力得到大幅提升。

關(guān)鍵詞相關(guān)向量機(jī)基函數(shù)超參協(xié)同優(yōu)化ROC曲線

0引言

相關(guān)向量機(jī)(RVM)在支持向量機(jī)的基礎(chǔ)上引入貝葉斯概率理論，不僅能夠獲得二值輸出，且能夠得到相應(yīng)的概率值。相關(guān)向量機(jī)通過(guò)基函數(shù)確定輸入輸出之間的關(guān)系，而權(quán)值分布和超參決定模型泛化能力。由于相關(guān)向量機(jī)的訓(xùn)練測(cè)試時(shí)間會(huì)隨著樣本數(shù)目增多而增加，且樣本數(shù)目增加后，模型的基函數(shù)和超參數(shù)目也相應(yīng)的增加，致使模型的復(fù)雜度增加。為降低模型的復(fù)雜度和縮減訓(xùn)練耗時(shí)，詹環(huán)等[1]提出小波相關(guān)向量機(jī)，將具有良好局部特性和多尺度特性的小波作為相關(guān)向量機(jī)的基函數(shù)，小波函數(shù)的近似正交特性使模型能夠快速收斂，且模型比經(jīng)典的相關(guān)向量機(jī)具有更好的魯棒性。丁二銳等[2]提出一種回歸型約簡(jiǎn)多分辨率相關(guān)向量機(jī)，為提高模型的測(cè)試精度，在傳統(tǒng)稀疏貝葉斯回歸算法基礎(chǔ)上，引入小波核和尺度核構(gòu)造完備基，并對(duì)大規(guī)模的數(shù)據(jù)集進(jìn)行主成分分析，約簡(jiǎn)輸入集，縮短模型的訓(xùn)練測(cè)試耗時(shí)，并對(duì)訓(xùn)練集進(jìn)行分層采樣。文獻(xiàn)[3]提出利用粒子群優(yōu)化算法對(duì)相關(guān)向量機(jī)參數(shù)進(jìn)行優(yōu)化。Tipping針對(duì)相關(guān)向量機(jī)處理大樣本數(shù)據(jù)集計(jì)算量多大問題，提出一種快速邊緣似然估計(jì)算法。Zhong等[4]考慮到RVM處理大樣本問題時(shí)需要很大開銷，提出解決相關(guān)向量機(jī)處理大樣本數(shù)據(jù)速度過(guò)緩的快速算法。楊樹仁等分別對(duì)相關(guān)向量機(jī)的算法原理研究現(xiàn)狀進(jìn)行論述，從中提煉出相關(guān)向量機(jī)亟需解決的關(guān)鍵技術(shù)[5]。上述算法對(duì)于特定樣本表現(xiàn)出一定的優(yōu)越性，對(duì)于規(guī)律性不強(qiáng)且數(shù)據(jù)復(fù)雜度較高的問題，僅僅依賴于核函數(shù)參數(shù)的優(yōu)化以及縮減模型訓(xùn)練集是很難達(dá)到預(yù)期識(shí)別精度的。為此，本文提出利用受試者工作特征曲線(ROC曲線)對(duì)相關(guān)向量機(jī)的基函數(shù)和超參進(jìn)行協(xié)同優(yōu)化。依據(jù)模型的分類準(zhǔn)確率確定合適的基函數(shù)，并采用ROC曲線對(duì)所選基函數(shù)的帶寬和模型的超參進(jìn)行優(yōu)化，使模型的測(cè)試能力大幅提升。

1RVM的輸出方程和概率方程

tn=y(xn;w)+ξn

(1)

其中，w為權(quán)重，y(x;w)為RVM模型的輸出：

y(xn;w)ΣNi=wik(xn,xi)+w0

(2)

其中，k(x,xi)為核函數(shù)，ξn為滿足高斯分布的隨機(jī)噪聲：

ξn～N(0,σ2)

(3)

其數(shù)學(xué)期望為0，方差為σ2，是未知量，通過(guò)對(duì)模型的訓(xùn)練來(lái)確定σ2。根據(jù)式(1)和式(3)即可得到：

P(tn|w,σ2)=N(y(xi,wi),σ2)

(4)

在確定w和σ2時(shí)，若直接使用最大似然法，結(jié)果是w中大部分元素不為零，其稀疏特性較差，從而導(dǎo)致過(guò)學(xué)習(xí)。為避免此種情況，對(duì)w加上先決條件，w是隨機(jī)分布在0附近的正態(tài)分布，即：

(5)

其中，αi為假定超參，于是通過(guò)式(5)可以將對(duì)w的求解轉(zhuǎn)化為對(duì)α的求解，當(dāng)α趨近與無(wú)窮大時(shí)，w趨于零。RVM的求解步驟分以下四步進(jìn)行：

① 選擇核函數(shù)；

② 初始化α和α2；

③ 迭代求解最優(yōu)權(quán)重分布；

④ 預(yù)測(cè)新數(shù)據(jù)。

(6)

其中，目標(biāo)集t=(t1,t2,…,tN)，權(quán)重w=(w0,w1,…,wN)，基函數(shù)矩陣為：

φ=(φ(x1),…,φ(xN))T

φ(xi)=[1,k(xi,x1),…,k(xi,xN)]

假定權(quán)重的先驗(yàn)概率滿足高斯分布，式(5)為權(quán)重的先驗(yàn)分布。依據(jù)貝葉斯概率公式即可得到目標(biāo)集的邊緣分布：

p(t/α,σ2)=∫p(t/w,σ2)p(w/α)dw

(7)

其中p(t/α,σ2)=N(0,C)，高斯分布的協(xié)方差為：

C=σ2I+φA-1φTA=diag(α0,…,αN)

(8)

權(quán)重w的后驗(yàn)概率分布為：

(9)

則權(quán)重與超參的混合表達(dá)式為：

(10)

其中，Σ=(φTBφ+A)-1，u=ΣφTBt，B=σ-2I，I為單位矩陣，相關(guān)向量機(jī)超參的邊緣似然可表示為：

(11)

利用EM算法可以對(duì)隱含變量權(quán)重和核函數(shù)帶寬進(jìn)行迭代更新，迭代公式如下：

(12)

(13)

對(duì)于αi趨近于無(wú)窮大的相關(guān)核函數(shù)可以剔除掉，進(jìn)而獲得稀疏化權(quán)重矩陣。

2ROC曲線

相關(guān)向量機(jī)作為學(xué)習(xí)機(jī)器，其回歸估計(jì)和分類能力直接決定了模型的適用范圍，單純依賴于基函數(shù)和超參單一優(yōu)化，無(wú)法獲得最佳分類器。為此，本文選用ROC曲線對(duì)相關(guān)向量機(jī)的核函數(shù)和超參進(jìn)行協(xié)同優(yōu)化。ROC曲線(receiver operator characteristic curve)[9,10]，可以很直觀地表示出分類器的性能。ROC曲線也叫受試者工作特征曲線，ROC曲線是根據(jù)一系列不同的二分類分界值或決定閾(分界值或決定域指的是值域范圍內(nèi)任一元素值)，以真陽(yáng)性率(靈敏度)為縱坐標(biāo)，假陽(yáng)性率(特異度)為橫坐標(biāo)繪制的曲線。ROC曲線評(píng)價(jià)方法適用的范圍更廣，該方法簡(jiǎn)單、直觀，通過(guò)圖示可觀察分析分類器的準(zhǔn)確性，并可用肉眼作出判斷。研究人員依據(jù)相關(guān)專業(yè)知識(shí)，權(quán)衡漏判與誤判的影響，選擇一更佳截?cái)帱c(diǎn)作為判斷的參考值，ROC曲線能提供不同試驗(yàn)之間在共同標(biāo)尺下的直觀比較。曲線越接近左上角表明其診斷價(jià)值越大，利于不同指標(biāo)間的比較。一般地，用ROC曲線下方的面積AUC的大小作為衡量分類器性能好壞的標(biāo)志，AUC值一般介于0.5～1.0之間。AUC值越大，表明該分類器的性能越優(yōu)良，反之，則性能較差。

3RVM的核函數(shù)和超參的協(xié)同優(yōu)化

常見的核函數(shù)主要包括：線性核函數(shù)k(xi,xj)=(xi·xj)；多項(xiàng)式k(xi,xj)=(s(xi·xj)+c)d，線性核函數(shù)可以看作多項(xiàng)式核函數(shù)的一種特殊情況；徑向基函數(shù)k(xi,xj)=exp(-‖xi-xj‖2/2σ2)；Sigmoid函數(shù)k(xi,xj)=tanh(s(xi,xj)+c)，其中s，c為參數(shù)。此處通過(guò)分析不同核函數(shù)下模型回歸估計(jì)準(zhǔn)確率來(lái)確定最佳的核函數(shù)。由于核函數(shù)的類型決定核參數(shù)個(gè)數(shù)，且參數(shù)越多計(jì)算量越大。表1給出了不同核函數(shù)對(duì)車輛橫擺角速度的估計(jì)準(zhǔn)確率。

表1　不同核函數(shù)對(duì)應(yīng)的模型準(zhǔn)確率

從表1中可以看出，核函數(shù)對(duì)模型的分類準(zhǔn)確率影響不大，而核參數(shù)對(duì)模型性能有重要影響。而取高斯核函數(shù)的模型其性能優(yōu)于其他核函數(shù)，為此，選取高斯核函數(shù)作為模型的核函數(shù)。此處的高斯核函數(shù)與期望輸出中高斯噪聲所表達(dá)的意義不同。傳統(tǒng)的相關(guān)向量機(jī)在處理數(shù)據(jù)時(shí)，核函數(shù)的參數(shù)取的是定值，而對(duì)于高斯核函數(shù)而言，函數(shù)的帶寬對(duì)模型的性能影響較大。為此，選用遺傳算法對(duì)核函數(shù)的參數(shù)進(jìn)行優(yōu)化，最終確定的帶寬為0.5648。

相關(guān)向量機(jī)超參估計(jì)是通過(guò)式(12)和式(13)實(shí)現(xiàn)的。設(shè)模型在5%誤判率下模型的命中概率p5%，對(duì)邊緣似然函數(shù)進(jìn)行改進(jìn)，為保證模型快速收斂，引入常數(shù)ε，構(gòu)造的邊緣似然函數(shù)如下：

(14)

對(duì)于非相關(guān)向量所對(duì)應(yīng)的超參αi不僅要使邊緣似然函數(shù)趨近于0，且也要保證模型在5%誤判率的情況下具有較高的命中概率。這樣處理后，一定程度提高了模型的泛化能力，而使相關(guān)向量的個(gè)數(shù)有所增加，權(quán)值矩陣的稀疏特性受到影響。實(shí)際上，在所增加的相關(guān)向量中，大部分相關(guān)向量所對(duì)應(yīng)的邊緣似然函數(shù)和命中概率較為接近，在權(quán)衡權(quán)值矩陣的稀疏性和模型的命中概率基礎(chǔ)上，通過(guò)設(shè)定邊緣似然函數(shù)閾值，剔除部分相關(guān)向量使權(quán)重矩陣稀疏最大化。將試驗(yàn)過(guò)程中采集的車輛橫擺角速度作為測(cè)試樣本，對(duì)模型的性能進(jìn)行測(cè)試，圖1給出了模型超參優(yōu)化前后對(duì)橫擺角速度的估計(jì)結(jié)果。

圖1　橫擺角速度估計(jì)

從圖1中可以看出，優(yōu)化后模型對(duì)波動(dòng)性較大的橫擺角速度逼近效果更佳。 表2給出了優(yōu)化前后模型訓(xùn)練測(cè)試的迭代次數(shù)，耗時(shí)和相關(guān)向量個(gè)數(shù)對(duì)比。為消除模型對(duì)測(cè)試樣本的先驗(yàn)知識(shí)，在訓(xùn)練過(guò)程中，采用交叉驗(yàn)證算法優(yōu)化估計(jì)模型參數(shù)，確定相應(yīng)參數(shù)后，在利用測(cè)試樣本對(duì)模型進(jìn)行測(cè)試。

表2　優(yōu)化前后模型對(duì)比

從表2的數(shù)據(jù)可以看出優(yōu)化后模型的訓(xùn)練耗時(shí)、迭代次數(shù)以及相關(guān)向量個(gè)數(shù)略高于優(yōu)化前模型。而在測(cè)試過(guò)程中優(yōu)化后模型有更優(yōu)異的表現(xiàn)，且無(wú)論在訓(xùn)練還是測(cè)試時(shí)，優(yōu)化后模型的命中概率都高于優(yōu)化前模型，且優(yōu)化后模型的逼近效果更佳。圖2為優(yōu)化前后模型的ROC曲線比較。

圖2　ROC曲線比較

從圖2可以看出，優(yōu)化后模型在任何誤判率的情況下都比優(yōu)化前模型的命中概率高。這也表明，優(yōu)化后模型的分類能力優(yōu)于優(yōu)化前模型。

4結(jié)語(yǔ)

相關(guān)向量機(jī)核類型和核參數(shù)對(duì)模型性能產(chǎn)生一定影響。為獲取泛化能力更強(qiáng)的相關(guān)向量機(jī)模型，本文利用ROC曲線對(duì)核函數(shù)以及超參進(jìn)行協(xié)同優(yōu)化。依據(jù)不同核函數(shù)下模型的分類準(zhǔn)確率確定合適的核函數(shù)，并利用遺傳算法對(duì)核參數(shù)進(jìn)行優(yōu)化。此外，在對(duì)傳統(tǒng)相關(guān)向量機(jī)模型分析的基礎(chǔ)上，對(duì)超參的邊際似然函數(shù)進(jìn)行改進(jìn)。將5%誤判率下模型的命中概率作為權(quán)值矩陣稀疏化的必要條件，權(quán)衡相關(guān)向量個(gè)數(shù)和命中概率，確定相應(yīng)的邊際似然函數(shù)閾值。通過(guò)閾值對(duì)部分相關(guān)向量進(jìn)行取舍，進(jìn)而保證權(quán)值矩陣稀疏最大化。最后，利用波動(dòng)性較大的車輛橫擺角速度對(duì)模型的性能進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明：優(yōu)化后模型的訓(xùn)練耗時(shí)、迭代次數(shù)以及相關(guān)向量個(gè)數(shù)略高于優(yōu)化前模型。而在測(cè)試過(guò)程中，優(yōu)化后模型的表現(xiàn)優(yōu)于優(yōu)化前模型，且在整個(gè)誤判率階段，優(yōu)化后模型始終具有更高的命中概率。

參考文獻(xiàn)

[1] 詹環(huán),王雪亭.小波相關(guān)向量機(jī)[J].五邑大學(xué)學(xué)報(bào):自然科學(xué)版,2008,22(1):58-62.

[2] 丁二銳,曾平,丁陽(yáng),等.一種新的回歸型約簡(jiǎn)多分辨率相關(guān)向量機(jī)[J].控制與決策,2008,23(1):65-70.

[3] 吳良海.基于粒子群優(yōu)化相關(guān)向量機(jī)的無(wú)線傳感器故障檢測(cè)[J].制造業(yè)自動(dòng)化,2010,32(11):31-35.

[4] Zhong M.A variational method for learning sparse Bayesian regression[J].Neurcomputing,2006,69(S16-18):2351-2355.

[5] 楊樹仁,沈洪遠(yuǎn).基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法研究與應(yīng)用[J].計(jì)算技術(shù)與自動(dòng)化,2010,29(1):43-47.

[6] Tzikas D,Likas A,Galatsano N.Large scale multi-kernel RVM for object detection[M].Advances in Artifical Intelligence,Springer Berlin Heidelberg,2006.

[7] Camps G,Martnez M,ojo L,et al.Nonlinear system identification with composite relevance vector machines[J].IEEE Signal Processing Letters,2007(14):279-298.

[8] 李娜.貝葉斯分類器的應(yīng)用[J].北京工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報(bào),2008,7(2):7-10.

[9] Morris B,Trivedi A.Lane change intent prediction for driver assistance:on-road design and evaluation[C]//IEEE Intelligent Vehicles Symposium (IV) Baden-Baden,Germany,June 5-9,2011:895-901.

[10] Rafael T,Miguel A,Izquierdo Z.IMM-Based lane-change prediction in highways with low-cost GPS/INS[C]//Multisenor Fusion and Integration for Intelligent System,2006 IEEE International Conference on,2006:433-438.

COLLABORATIVE OPTIMISATION OF BASE FUNCTION OF RELEVANCE VECTOR MACHINE AND SUPER PARAMETERS

Zhang Mingfang1Fu Rui1,2Guo Yingshi1Chen Wendong1

1(SchoolofAutomobile,Chang’anUniversity,Xi’an710064,Shaanxi,China)2(KeyLaboratoryofAutomotiveTransportationSafetyTechnology,MinistryofTransport,Chang’anUniversity,Xi’an710064,Shaanxi,China)

AbstractTraditional relevance vector machine has the conflict among training error, sparseness of weight matrix and zero-approaching of log marginal likelihood function. To solve this problem, in this paper we present to utilise receiver operation curve to carry out collaborative optimisation on parameters of relevance vector machine and kernel function. According to the accuracy rate of model classification we determine proper kernel function. By introducing the classification accuracy rate of model at 5 percent false positive rate we improve the marginal likelihood function of super parameters. In order to ensure the maximisation of weight matrix sparseness, we choose the optimal relevance vectors combination through the threshold of marginal likelihood function. The cross-validation algorithm and the receiver operation curves of all cross models are used to estimate the optimal super parameters of relevance vector machine. Moreover, we use vehicle yaw angular velocity to test the optimised model, results show that the training time of the proposed algorithm is a little bit longer, but the test time is obviously shorter than traditional estimation algorithm, and the classification performance of the optimised model is improved dramatically.

KeywordsRelevance vector machineKernel functionSuper parametersCollaborative optimisationReceiver operation curve

收稿日期：2014-10-16。國(guó)家自然科學(xué)基金項(xiàng)目(61374196，5117 8053)；教育部長(zhǎng)江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃項(xiàng)目(IRT1286)。張名芳，博士生，主研領(lǐng)域：車輛主動(dòng)安全技術(shù)。付銳，教授。郭應(yīng)時(shí)，教授。程文冬，博士生。

中圖分類號(hào)TP3

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.05.060