基于AIC的RVM核參數選擇方法及其應用

陳小明

摘 要：在采用高斯徑向基函數的相關向量機（RVM）回歸模型中，核參數與模型性能之間關系復雜，針對如何確定RVM核參數的問題，提出一種基于AIC準則選擇RVM的核參數的方法。首先基于Akaike Information Criterion （AIC）思想，得出一種新的統計量Q，同時將Q作為適應度函數；然后利用微分進化算法（Differential Evolution Algorithm，DE）對核參數進行尋優，以此選擇確定核參數；最后利用該算法建立RVM回歸模型對黃金價格進行短期預測。實驗結果表明，該模型較傳統方法建立的預測模型具有更高的擬合精度和更好的泛化能力，進一步證明基于AIC準則選擇RVM的核參數的方法的可行性和有效性。

關鍵詞：徑向基函數；核參數；相關向量機；微分進化算法；AIC準則；黃金價格

中圖分類號：TP181 文獻標識碼：A

1 引 言

Tipping于2000年提出相關向量機（Relevance Vector Machine， RVM） [1]，它是一種基于總體貝葉斯框架下的稀疏概率模型。由于其具有模型結構稀疏、核函數不需滿足Mercer 條件及計算的復雜度相對較低等優勢，RVM 方法已經應用于一些分類和預測任務，如：電能質量擾動分類[2]，老年癡呆癥臨床變量預測[3]，用于中長期徑流預報[4]等。但在采用高斯徑向基核函數的RVM回歸模型中，一方面由于其核參數與 RVM 回歸模型性能（擬合精度、泛化能力、相關向量個數）存在復雜的關系，很難用解析關系進行分析，另一方面由于樣本數據不可避免地帶有噪聲，如統計誤差等，所以到目前為止，還沒有很好的方法來確定核參數，如文獻[5]也只是討論了核參數的比較適當的取值范圍。

基于此，本文基于Akaike Information Criterion （AIC）思想，首先推導出了一種新的統計量Q，然后提出了以Q為適應度函數，利用微分進化算法（DE）對核參數進行尋優的方法確定核參數的算法，最后利用該算法建立起黃金價格的AIC-RVM回歸模型，并與以平均絕對百分誤差作適應度函數的MAPERVM回歸模型以及基于微分進化算法的支持向量機模型、多維灰色模型、小波神經網絡模型等模型進行了比較，結果表明，AICRVM回歸模型具有較高的擬合精度和更好的泛化能力，說明了該確定RVM的核參數的方法是有效的。

2 相關向量機回歸預測模型[3]

3 基于AIC的RVM核參數選擇算法

微分進化算法（DE）是一種通過種群內個體間的合作與競爭來實現對優化問題的求解的群體進化的算法，其本質是一種基于實數編碼的具有保優思想的貪婪遺傳算法，它的基本操作包括變異、交叉和選擇三種操作。由于微分進化算法具有很強的全局尋優功能、較快的收斂速度及較好的穩定性。本文引入微分進化算法對 RVM 的核參數c在參數空間中自動尋優。其中，在尋優過程中，適應度函數的選取是關鍵。

3.1 適應度函數

相關向量機的訓練是基于自動相關決策理論（Automatic Relevance Determination，ARD ）來移除不相關的點，從而獲得稀疏化的模型。令M為經訓練得到的相關向量的個數（即ω中不為零的分量ωi的個數），則所獲得稀疏化的RVM模型為

3.2 基于AIC的RVM核參數尋優算法

Step1：輸入樣本數據。設置DE的最大迭代循環次數D、種群規模Np、放縮因子F及交叉常數CR等參數并設置參數組c的搜索范圍。令迭代數j=0。

Step2：在所設置的參數c的范圍內隨機生成初始種群α0s，（s=1，2，…，Np）。利用RVM對ti進行預測得其預測值i，（i=1，2，…，l）。取適應度函數為Q=2L-R2-12R4。計算每個個體的適應度值。記錄各個體極值、全局極值和全局極值點。

Step3：利用變異、交叉和選擇這三種操作對種群進行更新，計算新種群各個體的適應度值，并更新各個體極值、全局極值和全局極值點。

Step4：若j

Step5：利用參數c*建立RVM模型。

在該算法中絕大部分處理都集中在適應度的計算上，而RVM訓練的時間復雜度為O（N3），從而該算法的時間復雜度為O（NPN3D）。

4 世界黃金價格短期預測

4.1 實驗數據和環境

已有的研究表明，引起世界黃金短期價格T（美元/金衡盎司）波動的主要因素有：美元指數x1、道瓊斯指數x2、原油價格x3（美元/桶）、美國三十年期債券x4、歐元對美元匯率（一歐元折合美元）x5等[6-8]。本文采用2013年4月1日至2013 年11月10日的188期的世界黃金價格及主要短期影響因素的每日數據（休息日除外）作為188個樣本對世界黃金短期價格波動進行實證分析。所使用的世界黃金最新價格以及宏觀經濟數據來自財經網站cn.investing.com。

為方便起見，下面將2013年4月1日至2013 年11月4日的第1-183個樣本作為訓練集S，將2013年11月5日至2013 年11月10日的第184-188個樣本作為測試集T。

利用訓練集S以及2.2中的核參數尋優算法建立基于AIC的RVM預測模型（AICRVM），對測試集T進行預測。設置DE的放縮因子為0.5，交叉因子為0.4，最大迭代循環次數為200，種群規模為30，參數組c的搜索范圍為[0.01，10]。在Matlab環境下，利用Matlab及SB2_Release_200軟件包中的函數可方便地實現上述算法。通過計算機仿真實驗， 可以得到第1-183期黃金價格擬合結果（圖2）及第184-188期黃金價格預測結果（圖3）。

圖2 基于AICRVM的第1-183期

黃金價格預測結果對比

黃金價格預測結果對比其精度分別見表1，表2 可見，該預測模型有較高的預測精度，泛化能力好。

圖3 基于AICRVM的第184-188期

4.2 不同適應度函數的預測結果分析

目前文獻中常用平均絕對百分誤差（mean absolute percentage error，MAPE）作適應度函數對RVM的核參數進行尋優[9，10]。

其計算式為：MAPE=1n∑ni=1ti-iti，其中，ti為第i個樣本中的黃金價格的實際值，i為第i個樣本中的黃金價格的預測值。利用4.1中的訓練集S以及上述MAPE作適應度函數所建立的RVM回歸模型（MAPERVM），對4.1中的測試集T進行預測。

圖4，圖5分別為由所建立的MAPERVM模型得到的第1-183期黃金價格擬合結果及第184-188期黃金價格預測結果：

圖4 基于MAPERVM的第1-183期

黃金價格預測結果對比

由圖4知該模型對訓練集性能較好，但由圖5知對測試集性能較差，導致對第184-188期黃金價格進行預測時出現了較大的誤差，其預測精度分別見表1和表2。不僅如此，若另從第1-188個樣本中隨機選5個作測試集，剩下的樣本作訓練集，建立起來的MAPERVM模型也會出現類似的情況，如選第27、29、133、154、167個樣本作測試集，剩下的樣本作訓練集建立起來的MAPERVM模型對訓練集的預測結果為：均方誤差是1.4637e-006，平均絕對誤差是4.5137e-004，平均相對誤差（%）是3.3899e-005；對測試集的預測結果為：均方誤差是9.3404e+003，平均絕對誤差是86.1200，平均相對誤差（%）是6.09。可見以MAPE為適應度函數建立起的MAPERVM模型對第1-188個樣本作成的樣本空間都有此性能，說明該模型出現了過擬合，泛化能力差。

圖5 基于MAPE-RVM的第184-188期

黃金價格的預測結果對比

4.3 同類模型的對比分析

與基于微分進化算法的支持向量機模型（DE-SVR）、多維灰色模型（GM（1，6））的預測效果與精度進行對比可知，AICRVM所得預測結果精度優于上述模型。具體結果分別見表1、表2。與小波神經網絡模型的預測效果與精度進行對比發現，小波神經網絡在預測黃金價格時出現了過擬合，泛化能力差。具體結果分別見表1和表2。綜合上述比較可知，基于AIC的RVM 核參數尋優算法建立起來的回歸模型（AIC-RVM）具有擬合結果的精度較高，泛化能力好的特點。其整體性能優于一些傳統預測模型。

5 結 論

當樣本數據的噪聲方差較小時，通過選用Q=2L-R2-12R4作為適應度函數，利用微分進化算法對RVM的核參數進行尋優，以達到提高RVM的擬合精度與提高RVM的稀疏性、降低計算的復雜度之間的平衡，減少了擬合過程中的人為干涉因素以及過擬合的情形發生的目的，從而提高模型的泛化能力。通過使用由該方法建立起來的RVM回歸模型對世界黃金價格進行預測的仿真實驗表明，一方面該回歸模型比選用常用的平均絕對百分誤差作為適應度函數的RVM模型的泛化能力強，另一方面該回歸模型的預測精度優于基于微分進化算法的支持向量機模型、多維灰色模型等傳統預測模型。這說明了使用AIC的思想確定核參數方法的合理性，是一有效的方法。

參考文獻

[1] BAI Y，WANG P，LI C，et al. A multiscale relevance vector regression approach for daily urban water demand forecasting[J]. Journal of Hydrology，2014，517（2）：236-245.

[2] BLEKAS K，LIKAS A. Sparse regression mixture modeling with the multikernel relevance vector machine[J]. Knowledge & Information Systems， 2014， 39（2）：241-264.

[3] 程波，張道強.基于多模態相關向量回歸機的老年癡呆癥臨床變量預測[J].南京大學學報：自然科學，2012，48（2）：140-146.

[4] 仕玉治，彭勇，周惠成.基于相關向量機的中長期徑流預報模型研究[J].大連理工大學學報，2012，52（1）：9-84.

[5] Shivam Tripathi，Rao S. Govindaraju On selection of kernel parametes in relevance vector machines for hydrologic applications[J].Stoch Environ Res Risk Assess，2007，（21）：747-764.

[6] SMITH G W， MEIDAN R. Everchanging cell interactions during the life span of the corpus luteum： relevance to luteal regression.[J]. Reproductive Biology，2014，14（2）：75-82.

[7] HAIYING L I， LIU Z，SONG J. Realtime Static Security Situational Awareness of Power Systems Based on Relevance Vector Machine[J].Proceedings of the Csee，2015， 35（2）：294-301.

[8] 田國華 國際黃金價格影響因素分析及趨勢預測[J].山西大同大學學報：社會科學版，2012，26（5）：104-106.

[9] 孫志剛，翟瑋星，李偉倫，等 基于 EMD和相關向量機的短期負荷預測[J].電力系統及 其自動化學報，2011，23（1）：92-97

[10]OUYED O， ALLILI M S. Feature Relevance for Kernel Logistic Regression and Application to Action Classification[C]//Pattern Recognition （ICPR），2014 22nd International Conference onIEEE， 2014：1325-1329.