在線預測的灰色支持向量回歸方法

蔣 輝

（1.中國人民大學 統(tǒng)計學院，北京 100872；2.惠州學院數(shù)學系，廣東惠州 516007）

0 引言

在對系統(tǒng)數(shù)據進行預測時，批量學習（Batch Learning）要求訓練數(shù)據模式（樣本點）在學習之前一次性得到（滿足批量性），新的數(shù)據模式的到達對依托原有樣本集的預測結果不產生影響。然而，現(xiàn)實系統(tǒng)的復雜性和未來的發(fā)展趨勢往往通過數(shù)據新的變化表現(xiàn)出來，這要求在預測過程中不斷更新已有的樣本集，將新的數(shù)據信息納入到樣本集中，同時剔除最原始的信息，打破批量學習模式下樣本集固定的局限。因此，在系統(tǒng)的預測過程中，每收集到一個新的數(shù)據模式就必須立刻對其進行學習,學習的效果體現(xiàn)在后續(xù)預測中，這種學習即為在線學習[5,9,10]。從實際情況看，這是一種更為自然的學習方式，許多實際問題都符合此種模式。例如，股指的動態(tài)預測，由于社會經濟變化的不確定因素繁多，必須對所獲得的新數(shù)據及時更新預測，使新數(shù)據對后續(xù)預測產生影響；像目標定位或追蹤，周圍環(huán)境或追蹤目標隨時都在變化，這就要求隨時調整設備的運行方式。現(xiàn)實生活中這類現(xiàn)象比較常見，因此，在線預測的研究具有廣闊的應用前景。

灰色系統(tǒng)理論中，灰色預測控制的原理具有極強的在線性。它采樣瞬態(tài)建模，即每采集一個新數(shù)據同時舍棄一個最舊的數(shù)據，建立一個新模型，更新一組模型參數(shù)，所以控制的過程就是不斷采集和舍棄數(shù)據、不斷建模、不斷更新參數(shù)、不斷預測、不斷提高新模型下預測值的過程，實際上也就是用模型參數(shù)的不斷更新來適應系統(tǒng)行為的不斷變化和外界環(huán)境的不斷干擾，增強模型對環(huán)境的適應性。然而，灰色預測模型的精度一直是人們關心的重要問題。為了提高其預測精度，專家學者們進行了大量的研究，并取得了一些比較理想的成果[7,12,13]。

對于在線預測，國內外從在線核學習機的角度進行研究的專家學者不少，他們不僅研究了如何提高在線預測的精度，同時也考慮了如何降低計算代價，開發(fā)了許多在線學習的優(yōu)良算法，并在理論與實踐上獲得了成功[2,4,11]。但是，目前尚未見到將灰色在線預測和支持向量機結合起來進行研究的文獻。本文擬根據當前統(tǒng)計學習理論的研究成果，將在線自適應灰色預測與支持向量回歸有機結合起來，對經濟時間序列的在線預測精度和計算代價進行探討。

1 在線自適應灰色預測模型

發(fā)展系數(shù)α1和灰作用量μ1的最小二乘估計由（4）決定

當新數(shù)據模式不斷到達，采取以上方法不斷構建模型，可得到模型序列：

式（5）稱為在線自適應灰色預測模型，用OL-GM（Online-GM(1,1)）來表示。

2 在線自適應灰色支持向量回歸預測模型

灰色預測的精度一直是人們關心的問題。為提高在線自適應灰色預測模型的精度，可在每一模型的殘差序列上運用支持向量回歸機來修正殘差以達到提高整個預測效果的目的。

2.1 支持向量回歸(SVR)

支持向量機（Support Vector Regression,SVR）于20世紀90年代初提出，是建立在統(tǒng)計學理論最新進展基礎上的新一代學習系統(tǒng)[3]。隨著社會經濟的迅猛發(fā)展，這種技術得到了深入研究和廣泛應用。至今在許多應用領域中，支持向量機足以提供最佳的學習性能，而且在機器學習與數(shù)據挖掘中已被確立為一種標準工具。它利用核函數(shù)，將輸入向量按預定的某一非線性變換映射到高維特征空間并構造線性函數(shù)的假設空間，然后在構造的假設空間中尋找最優(yōu)假設。選擇何種變換進而確定特征空間是支持向量機的關鍵，直接決定需要學習的目標函數(shù)的復雜程度，從而決定學習任務的難度以及學習機的泛化能力。支持向量機最初用于解決分類問題[1]，后來成功應用于回歸問題，特別在大樣本經濟數(shù)據的預測中應用廣泛[6,8,14]。

對拉格朗日函數(shù)求偏導易知最優(yōu)假設可以如下表示：

2.2 殘差修正的支持向量回歸方法

對于灰色預測模型，可在模型的殘差序列上運用支持向量回歸機來提高各模型的精度。根據模型（1）的擬合值和原始序列數(shù)據，可獲得該模型的殘差序列e0=(e0(1),e0(2),...,e0(n))。以模型值、原始值和數(shù)據所在時刻為三維輸入樣本，以殘差值為輸出樣本構造支持向量回歸機對灰色預測模型進行殘差修正得到下列復合預測模型：是復合模型的最終預測值是由支持向量回歸得到的殘差修正項。是三維輸入向量。

是新數(shù)據序列構建的復合模型的最終預測值；f1(ψ1(t))是由支持向量回歸得到的殘差修正項。是三維輸入向量。

根據二次規(guī)劃的KKT條件，只有部分ai或a*i取非零值，與之對應的輸入向量稱為支持向量。偏置項b可由下式計算：

當新數(shù)據繼續(xù)到達，采取以上方法繼續(xù)構建復合模型，可得到模型序列：

式（12）稱為在線自適應灰色支持向量回歸預測模型，用OL-GM-SVR（Online-GM(1,1)Support Vector Regression）來表示。

3 實證分析

為了檢驗OL-GM-SVR模型的精度并與OL-GM模型進行比較，本節(jié)將在兩個數(shù)據集上進行試驗。第一個數(shù)據集是某市1985～1994年各月工業(yè)生產總值(Monthly Gross Output Value of Industry,MGOVI)，數(shù)據來源于文獻[15]（圖1左），它包含120個數(shù)據點，本文中將其稱為小樣本數(shù)據集；第二個數(shù)據集是來自上海證券交易所的一支股票收盤價格的歷史數(shù)據（SHDSP）（圖1右），它包含1047個數(shù)據點，本文中屬中大規(guī)模數(shù)據集。支持向量回歸機均采用高斯徑向基核（13）：

圖1 試驗原始數(shù)據（左：MGOVI；右：SHDSP）

為使結果可比，有必要設定測試集。對MGOVI，用后30個數(shù)據模式進行測試；對SHDSP，用后300個數(shù)據模式進行測試。對預測精度的度量，兩個數(shù)據集均采用NMSE和MREB，計算方法如下：

為比較試驗集中預測精度與穩(wěn)定性，統(tǒng)一設定主要超參數(shù)。對MGOVI，取σ=50 ；對SHDSP，取σ=30.其他參數(shù)，根據試驗情況進行調整以獲得最佳性能。

試驗主要考察OL-GM、OL-GM-SVR在數(shù)據集MGOVI和SHDSP上的預測精度與學習時間。在灰色建模時，由于選擇不同的數(shù)據長度對模型的預測效果不同，同時考慮到過少的數(shù)據在進行誤差支持向量回歸中會導致過學習，因此，將數(shù)據長度范圍設定為10≤n≤30，并選擇n=10,15,20,25,30等5種情況的試驗結果列于表1，同時，為了能直觀地反映數(shù)據長度對預測效果的影響，在圖2中作出了OL-GMSVR與OL-GM的預測效果（MREB）比較曲線。

圖2 模型OL-GM-SVR與OL-GM預測效果比較

兩數(shù)據測試集上試驗結果表明：無論灰色建模數(shù)據長度n的值怎樣選擇，模型OL-GM-SVR的預測精度比OL-GM均有明顯的提高，相應地，由于計算量的增大，模型OL-GM-SVR的計算時間也明顯地增加。另外，對于模型OL-GM，選擇灰色建模數(shù)據長度對預測精度影響比較明顯。就n選擇的范圍而言，對于小規(guī)模數(shù)據集MGOVI，n的大小與精度的優(yōu)劣沒有明顯的依從關系（圖2左），且學習時間較少；從中大規(guī)模的數(shù)據集（SHDSP）來看，n越大，OL-GM的精度越低（圖2右）。最后，OL-GM-SVR精度與灰色建模數(shù)據的長度選擇關系不大，各數(shù)據集上精度比較平穩(wěn)；但是，所耗費的學習時間隨著n的增大而明顯增多（支持向量回歸中數(shù)據規(guī)模的增大從而導致計算量迅速增長）。

表1 OL-GM-SVR與OL-GM在測試集上的預測精度與學習時間

4 結論

現(xiàn)實系統(tǒng)的復雜性和可變性使在線自適應預測成為當今研究的一個熱點。實際上，在線自適應預測更符合預測問題的本質，一邊獲取信息，同時運用以前的預測結果一邊進行預測，這樣才能適應新的變化和環(huán)境的不斷干擾，增強預測技術對環(huán)境的適應性。

本文主要從預測精度和計算代價兩方面討論了經濟時間序列數(shù)據的在線預測模式，提出了灰色在線自適應預測模型（OL-GM）和灰色在線自適應支持向量回歸預測模型（OL-GM-SVR）。通過對兩個真實經濟時間序列數(shù)據進行試驗，結果表明：模型OL-GM能以較快的速度對經濟時間序列進行動態(tài)預測，灰色建模數(shù)據長度的選擇對模型的預測精度有較大的影響；而模型OL-GM-SVR以較多的學習時間能獲得預測精度的明顯提高，在選取合適灰色建模數(shù)據長度情況下，學習時間能迅速減少，其預測精度比較平穩(wěn)，受建模數(shù)據長度的影響較小。本研究為經濟時間序列的在線預測問題提供了一種新的思路，所作研究不僅適應于經濟預測領域，也可為其他相關預測提供參考。

[1]Burges C J C.A Tutorial on Support Vector Machines for Pattern Recognition[J].Data Mining and Knowledge Discovery,1998,（2）.

[2]Cheng Li,Vishwanathan S V N,Schuurmans Dale,et al.Implicit Online Learning With Kernels[J].Advances in Neural Information Processing Systems,2006,(19).

[3]鄧乃揚,田英杰.數(shù)據挖掘的新方法—支持向量機[M].北京:科學出版社,2004.

[4]He W.Limited Stochastic Meta-Descent for Kernel-Based Online Learning[J].Neural Computation,2009,21(9).

[5]He W,Jiang H.Implicit Update vs Explicit Update[C].In:Proceedings of the 2008 IEEE WorldCongress on Computational Intelligence，Hong Kong:IEEE,2008.

[6]Huang Z,Chen H,Hsu C,Chen W,Wu S.Credit Rating Analysis with Support Vector Machines and Neural Networks:A Market Comparative Study[J].Decision Support Systems,2004,（37）.

[7]Jiang H,Wang Z.GMRVVm-SVR Model for Financial Time Series Forecasting[J].Expert Systems with Applications,2010，(37).

[8]蔣輝,王志忠.灰色局部支持向量回歸機及應用[J].控制與決策,2010,25(3).

[9]蔣輝.王志忠.基于灰色系統(tǒng)的支持向量回歸預測方法[J].經濟數(shù)學，2009，26(2).

[10]Kim K.Financial Time Series Forecasting Using Support Vector Machines[J].Neurocomputing,2003,（55）.

[11]Kivinen J,Warmuth M K.Exponentiated Gradient Versus Gradient Descent for Linear Predictors[J].Information and Computation,1997,132(1).

[12]Kivinen J,Smola A J,Williamson R C.Online Learning with Kernels[A].In T.G.Dietterich,S.Becker,and Z[J].Ghahramani,Editors[M].Advances in Neural Information Processing Systems,2002.

[13]Kivinen J,Smola A J,Williamson R C.Online Learning with Kernels[J].IEEE Transactions on Signal Processing,2010,100(10).

[14]梁慶衛(wèi),宋保維,吳朝暉.魚雷使用維護費用灰色模型[J].系統(tǒng)與仿真學報,2006，（1）.

[15]Sun J Z.The Grey Composite Prediction Based on Support Vector Regression[A]In:Proceedings of 2007 IEEE International Conference onGreySystems and Intelligent Services[M].Nanjing,China,2007.

[16]Tay F E H,Cao L J.Modified Support Vector Machines in Financial Time Series Forecasting[J].Neurocomputing,2002,（8）.

[17]王振龍,顧嵐.時間序列分析[M].北京:中國統(tǒng)計出版社,2002.

[18]熊和金,徐華中.灰色控制[M].北京:國防工業(yè)出版社,2005.