相關向量機基函數和超參的協同優化

張名芳　付　銳,2　郭應時　程文冬

1(長安大學汽車學院　陜西 西安 710064)2(長安大學汽車運輸安全保障技術交通行業重點實驗室　陜西 西安 710064)

?

相關向量機基函數和超參的協同優化

張名芳1付銳1,2郭應時1程文冬1

1(長安大學汽車學院陜西 西安 710064)2(長安大學汽車運輸安全保障技術交通行業重點實驗室陜西 西安 710064)

摘要針對傳統相關向量機在訓練誤差、權值矩陣的稀疏性以及對數邊緣似然函數零逼近之間存在沖突，提出利用受試者工作特征曲線對相關向量機參數和核函數進行協同優化。依據模型分類準確率確定合適的核函數；引入模型在5%誤判率下的分類準確率，對超參邊際似然函數進行改進；為保證權值矩陣稀疏最大化，通過邊際似然函數閾值選取最佳相關向量組合，運用交叉驗證算法以及各交叉模型的ROC曲線，對相關向量機超參進行最優估計。此外，利用車輛橫擺角速度對優化模型進行測試，結果表明：所提算法訓練耗時略長，但測試時間明顯短于傳統估計算法，且模型的分類能力得到大幅提升。

關鍵詞相關向量機基函數超參協同優化ROC曲線

0引言

相關向量機(RVM)在支持向量機的基礎上引入貝葉斯概率理論，不僅能夠獲得二值輸出，且能夠得到相應的概率值。相關向量機通過基函數確定輸入輸出之間的關系，而權值分布和超參決定模型泛化能力。由于相關向量機的訓練測試時間會隨著樣本數目增多而增加，且樣本數目增加后，模型的基函數和超參數目也相應的增加，致使模型的復雜度增加。為降低模型的復雜度和縮減訓練耗時，詹環等[1]提出小波相關向量機，將具有良好局部特性和多尺度特性的小波作為相關向量機的基函數，小波函數的近似正交特性使模型能夠快速收斂，且模型比經典的相關向量機具有更好的魯棒性。丁二銳等[2]提出一種回歸型約簡多分辨率相關向量機，為提高模型的測試精度，在傳統稀疏貝葉斯回歸算法基礎上，引入小波核和尺度核構造完備基，并對大規模的數據集進行主成分分析，約簡輸入集，縮短模型的訓練測試耗時，并對訓練集進行分層采樣。文獻[3]提出利用粒子群優化算法對相關向量機參數進行優化。Tipping針對相關向量機處理大樣本數據集計算量多大問題，提出一種快速邊緣似然估計算法。Zhong等[4]考慮到RVM處理大樣本問題時需要很大開銷，提出解決相關向量機處理大樣本數據速度過緩的快速算法。楊樹仁等分別對相關向量機的算法原理研究現狀進行論述，從中提煉出相關向量機亟需解決的關鍵技術[5]。上述算法對于特定樣本表現出一定的優越性，對于規律性不強且數據復雜度較高的問題，僅僅依賴于核函數參數的優化以及縮減模型訓練集是很難達到預期識別精度的。為此，本文提出利用受試者工作特征曲線(ROC曲線)對相關向量機的基函數和超參進行協同優化。依據模型的分類準確率確定合適的基函數，并采用ROC曲線對所選基函數的帶寬和模型的超參進行優化，使模型的測試能力大幅提升。

1RVM的輸出方程和概率方程

tn=y(xn;w)+ξn

(1)

其中，w為權重，y(x;w)為RVM模型的輸出：

y(xn;w)ΣNi=wik(xn,xi)+w0

(2)

其中，k(x,xi)為核函數，ξn為滿足高斯分布的隨機噪聲：

ξn～N(0,σ2)

(3)

其數學期望為0，方差為σ2，是未知量，通過對模型的訓練來確定σ2。根據式(1)和式(3)即可得到：

P(tn|w,σ2)=N(y(xi,wi),σ2)

(4)

在確定w和σ2時，若直接使用最大似然法，結果是w中大部分元素不為零，其稀疏特性較差，從而導致過學習。為避免此種情況，對w加上先決條件，w是隨機分布在0附近的正態分布，即：

(5)

其中，αi為假定超參，于是通過式(5)可以將對w的求解轉化為對α的求解，當α趨近與無窮大時，w趨于零。RVM的求解步驟分以下四步進行：

① 選擇核函數；

② 初始化α和α2；

③ 迭代求解最優權重分布；

④ 預測新數據。

(6)

其中，目標集t=(t1,t2,…,tN)，權重w=(w0,w1,…,wN)，基函數矩陣為：

φ=(φ(x1),…,φ(xN))T

φ(xi)=[1,k(xi,x1),…,k(xi,xN)]

假定權重的先驗概率滿足高斯分布，式(5)為權重的先驗分布。依據貝葉斯概率公式即可得到目標集的邊緣分布：

p(t/α,σ2)=∫p(t/w,σ2)p(w/α)dw

(7)

其中p(t/α,σ2)=N(0,C)，高斯分布的協方差為：

C=σ2I+φA-1φTA=diag(α0,…,αN)

(8)

權重w的后驗概率分布為：

(9)

則權重與超參的混合表達式為：

(10)

其中，Σ=(φTBφ+A)-1，u=ΣφTBt，B=σ-2I，I為單位矩陣，相關向量機超參的邊緣似然可表示為：

(11)

利用EM算法可以對隱含變量權重和核函數帶寬進行迭代更新，迭代公式如下：

(12)

(13)

對于αi趨近于無窮大的相關核函數可以剔除掉，進而獲得稀疏化權重矩陣。

2ROC曲線

相關向量機作為學習機器，其回歸估計和分類能力直接決定了模型的適用范圍，單純依賴于基函數和超參單一優化，無法獲得最佳分類器。為此，本文選用ROC曲線對相關向量機的核函數和超參進行協同優化。ROC曲線(receiver operator characteristic curve)[9,10]，可以很直觀地表示出分類器的性能。ROC曲線也叫受試者工作特征曲線，ROC曲線是根據一系列不同的二分類分界值或決定閾(分界值或決定域指的是值域范圍內任一元素值)，以真陽性率(靈敏度)為縱坐標，假陽性率(特異度)為橫坐標繪制的曲線。ROC曲線評價方法適用的范圍更廣，該方法簡單、直觀，通過圖示可觀察分析分類器的準確性，并可用肉眼作出判斷。研究人員依據相關專業知識，權衡漏判與誤判的影響，選擇一更佳截斷點作為判斷的參考值，ROC曲線能提供不同試驗之間在共同標尺下的直觀比較。曲線越接近左上角表明其診斷價值越大，利于不同指標間的比較。一般地，用ROC曲線下方的面積AUC的大小作為衡量分類器性能好壞的標志，AUC值一般介于0.5～1.0之間。AUC值越大，表明該分類器的性能越優良，反之，則性能較差。

3RVM的核函數和超參的協同優化

常見的核函數主要包括：線性核函數k(xi,xj)=(xi·xj)；多項式k(xi,xj)=(s(xi·xj)+c)d，線性核函數可以看作多項式核函數的一種特殊情況；徑向基函數k(xi,xj)=exp(-‖xi-xj‖2/2σ2)；Sigmoid函數k(xi,xj)=tanh(s(xi,xj)+c)，其中s，c為參數。此處通過分析不同核函數下模型回歸估計準確率來確定最佳的核函數。由于核函數的類型決定核參數個數，且參數越多計算量越大。表1給出了不同核函數對車輛橫擺角速度的估計準確率。

表1　不同核函數對應的模型準確率

從表1中可以看出，核函數對模型的分類準確率影響不大，而核參數對模型性能有重要影響。而取高斯核函數的模型其性能優于其他核函數，為此，選取高斯核函數作為模型的核函數。此處的高斯核函數與期望輸出中高斯噪聲所表達的意義不同。傳統的相關向量機在處理數據時，核函數的參數取的是定值，而對于高斯核函數而言，函數的帶寬對模型的性能影響較大。為此，選用遺傳算法對核函數的參數進行優化，最終確定的帶寬為0.5648。

相關向量機超參估計是通過式(12)和式(13)實現的。設模型在5%誤判率下模型的命中概率p5%，對邊緣似然函數進行改進，為保證模型快速收斂，引入常數ε，構造的邊緣似然函數如下：

(14)

對于非相關向量所對應的超參αi不僅要使邊緣似然函數趨近于0，且也要保證模型在5%誤判率的情況下具有較高的命中概率。這樣處理后，一定程度提高了模型的泛化能力，而使相關向量的個數有所增加，權值矩陣的稀疏特性受到影響。實際上，在所增加的相關向量中，大部分相關向量所對應的邊緣似然函數和命中概率較為接近，在權衡權值矩陣的稀疏性和模型的命中概率基礎上，通過設定邊緣似然函數閾值，剔除部分相關向量使權重矩陣稀疏最大化。將試驗過程中采集的車輛橫擺角速度作為測試樣本，對模型的性能進行測試，圖1給出了模型超參優化前后對橫擺角速度的估計結果。

圖1　橫擺角速度估計

從圖1中可以看出，優化后模型對波動性較大的橫擺角速度逼近效果更佳。 表2給出了優化前后模型訓練測試的迭代次數，耗時和相關向量個數對比。為消除模型對測試樣本的先驗知識，在訓練過程中，采用交叉驗證算法優化估計模型參數，確定相應參數后，在利用測試樣本對模型進行測試。

表2　優化前后模型對比

從表2的數據可以看出優化后模型的訓練耗時、迭代次數以及相關向量個數略高于優化前模型。而在測試過程中優化后模型有更優異的表現，且無論在訓練還是測試時，優化后模型的命中概率都高于優化前模型，且優化后模型的逼近效果更佳。圖2為優化前后模型的ROC曲線比較。

圖2　ROC曲線比較

從圖2可以看出，優化后模型在任何誤判率的情況下都比優化前模型的命中概率高。這也表明，優化后模型的分類能力優于優化前模型。

4結語

相關向量機核類型和核參數對模型性能產生一定影響。為獲取泛化能力更強的相關向量機模型，本文利用ROC曲線對核函數以及超參進行協同優化。依據不同核函數下模型的分類準確率確定合適的核函數，并利用遺傳算法對核參數進行優化。此外，在對傳統相關向量機模型分析的基礎上，對超參的邊際似然函數進行改進。將5%誤判率下模型的命中概率作為權值矩陣稀疏化的必要條件，權衡相關向量個數和命中概率，確定相應的邊際似然函數閾值。通過閾值對部分相關向量進行取舍，進而保證權值矩陣稀疏最大化。最后，利用波動性較大的車輛橫擺角速度對模型的性能進行測試。實驗結果表明：優化后模型的訓練耗時、迭代次數以及相關向量個數略高于優化前模型。而在測試過程中，優化后模型的表現優于優化前模型，且在整個誤判率階段，優化后模型始終具有更高的命中概率。

參考文獻

[1] 詹環,王雪亭.小波相關向量機[J].五邑大學學報:自然科學版,2008,22(1):58-62.

[2] 丁二銳,曾平,丁陽,等.一種新的回歸型約簡多分辨率相關向量機[J].控制與決策,2008,23(1):65-70.

[3] 吳良海.基于粒子群優化相關向量機的無線傳感器故障檢測[J].制造業自動化,2010,32(11):31-35.

[4] Zhong M.A variational method for learning sparse Bayesian regression[J].Neurcomputing,2006,69(S16-18):2351-2355.

[5] 楊樹仁,沈洪遠.基于相關向量機的機器學習算法研究與應用[J].計算技術與自動化,2010,29(1):43-47.

[6] Tzikas D,Likas A,Galatsano N.Large scale multi-kernel RVM for object detection[M].Advances in Artifical Intelligence,Springer Berlin Heidelberg,2006.

[7] Camps G,Martnez M,ojo L,et al.Nonlinear system identification with composite relevance vector machines[J].IEEE Signal Processing Letters,2007(14):279-298.

[8] 李娜.貝葉斯分類器的應用[J].北京工業職業技術學院學報,2008,7(2):7-10.

[9] Morris B,Trivedi A.Lane change intent prediction for driver assistance:on-road design and evaluation[C]//IEEE Intelligent Vehicles Symposium (IV) Baden-Baden,Germany,June 5-9,2011:895-901.

[10] Rafael T,Miguel A,Izquierdo Z.IMM-Based lane-change prediction in highways with low-cost GPS/INS[C]//Multisenor Fusion and Integration for Intelligent System,2006 IEEE International Conference on,2006:433-438.

COLLABORATIVE OPTIMISATION OF BASE FUNCTION OF RELEVANCE VECTOR MACHINE AND SUPER PARAMETERS

Zhang Mingfang1Fu Rui1,2Guo Yingshi1Chen Wendong1

1(SchoolofAutomobile,Chang’anUniversity,Xi’an710064,Shaanxi,China)2(KeyLaboratoryofAutomotiveTransportationSafetyTechnology,MinistryofTransport,Chang’anUniversity,Xi’an710064,Shaanxi,China)

AbstractTraditional relevance vector machine has the conflict among training error, sparseness of weight matrix and zero-approaching of log marginal likelihood function. To solve this problem, in this paper we present to utilise receiver operation curve to carry out collaborative optimisation on parameters of relevance vector machine and kernel function. According to the accuracy rate of model classification we determine proper kernel function. By introducing the classification accuracy rate of model at 5 percent false positive rate we improve the marginal likelihood function of super parameters. In order to ensure the maximisation of weight matrix sparseness, we choose the optimal relevance vectors combination through the threshold of marginal likelihood function. The cross-validation algorithm and the receiver operation curves of all cross models are used to estimate the optimal super parameters of relevance vector machine. Moreover, we use vehicle yaw angular velocity to test the optimised model, results show that the training time of the proposed algorithm is a little bit longer, but the test time is obviously shorter than traditional estimation algorithm, and the classification performance of the optimised model is improved dramatically.

KeywordsRelevance vector machineKernel functionSuper parametersCollaborative optimisationReceiver operation curve

收稿日期：2014-10-16。國家自然科學基金項目(61374196，5117 8053)；教育部長江學者和創新團隊發展計劃項目(IRT1286)。張名芳，博士生，主研領域：車輛主動安全技術。付銳，教授。郭應時，教授。程文冬，博士生。

中圖分類號TP3

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.060