混沌時間序列的支持向量機預測

向昌盛，周子英

（湖南農(nóng)業(yè)大學a.東方科技學院；b.資源環(huán)境學院，長沙 410128）

0 引言

混沌時間序列預測是建立在Takens[1]提出的嵌入定理和相空間重構理論基礎上的，其目的是試圖在高維相空間中恢復混沌吸引子。傳統(tǒng)的時間序列預測方法，比如自回歸、移動平均以及自回歸移動平均的方法都屬于線性的方法。而基于Takens的理論，人們已提出了許多預測混沌時間序列的非線性預測方法[2]。基于神經(jīng)網(wǎng)絡的預測方法是其中重要的一種[3]，并取得了較好的結果。但由于神經(jīng)網(wǎng)絡的結構過于復雜且難以選擇，需要估計的參數(shù)相對于較少的數(shù)據(jù)樣本顯得太多，導致所得到的神經(jīng)網(wǎng)絡模型相對于數(shù)據(jù)容易產(chǎn)生過擬合，即泛化能力不夠，從而使預測精度不高，在實際應用中受到了限制[4]。

支持向量機（SVM）[5～8]是一種上世紀90年代中期發(fā)展起來的基于統(tǒng)計學習理論的機器學習方法，是繼神經(jīng)網(wǎng)絡研究之后機器學習領域新的研究熱點，它具有嚴格的數(shù)學基礎，通過尋求結構風險最小化原理來提高泛化能力，較好地解決了小樣本、非線性、高維數(shù)和局部極小點等實際問題；與傳統(tǒng)的神經(jīng)網(wǎng)絡相比，解決了在神經(jīng)網(wǎng)絡中無法避免的局部極小值問題，避免了傳統(tǒng)神經(jīng)網(wǎng)絡拓撲結構需要經(jīng)驗試湊的方法。

本文擬根據(jù)某市場需求的歷史數(shù)據(jù)，先估計最優(yōu)嵌入維數(shù)m和時延參數(shù)τ,重構混沌時間序列的相空間來近似原系統(tǒng)狀態(tài)空間；然后利用支持向量機方法擬合系統(tǒng)演化的軌道,建立混沌時間序列的預測模型；同時與傳統(tǒng)的時間序列測試方法進行比較。

1 混沌時間序列相空間重構

混沌預測的基礎是狀態(tài)空間的重構理論，假設觀測到的混沌時間序列為{x(t)}，t=1，2，…，N；嵌入維數(shù)為 m；時間延遲為τ，則重構相空間為：

根據(jù) Takens定理，對合適的嵌入維數(shù) m及時間延遲τ，重構相空間在嵌入空間中的“軌線”，在微分同胚意義下與原系統(tǒng)是動力學等價的，這樣進行相空間重構時，需要選擇兩個重要參數(shù)—延遲時間τ和嵌入維數(shù)m。對于無限長、無噪聲數(shù)據(jù)序列，延遲時間τ的選取理論上沒有限制，而嵌入維數(shù)m可以選擇充分的大。實際中，由于數(shù)據(jù)長度有限并可能帶噪，τ和m的選擇對相空間的重構質量就尤其重要。

目前對于τ的估值，有自相關法 、互信息量法，對m的估值有假近鄰法等，這些方法基于τ與m互不相關的觀點，對 τ或m單獨進行估值，文獻[9]利用關系式wτ=（m-1）τ將 τ和m與延遲時間窗wτ聯(lián)系起來，并給出了估計延遲時間窗wτ的方法。文獻[10]的C-C方法利用關聯(lián)積分同時優(yōu)化出延遲時間τ和延遲時間窗wτ，該方法易操作、計算量小，從而在估計延遲時間τ和延遲時間窗wτ方面具有獨特優(yōu)點。本文采用C-C法選擇τ，嵌入維數(shù)m的選取采用關聯(lián)指數(shù)飽和法中常用的G-P算法[11]。

2 支持向量機的回歸預測模型

回歸預測又稱函數(shù)估計，要解決的問題是：xi為預報因子值，yi為預報對象值，根據(jù)給定的樣本數(shù)據(jù)集{(xi,yi)，i=1,2,…，k}，尋求一個反映樣本數(shù)據(jù)的最優(yōu)函數(shù)關系y=f(x)，如果所得函數(shù)關系是線性的，則稱線性回歸；否則為非線性回歸。

2.1 支持向量機原理[7,12]

給定訓練數(shù)據(jù) X={(x1,y1),(x2,y2),…，（xl,yl）}?Rn×R，其中 xi為輸入向量,yi是xi對應的輸值,l為樣本個數(shù),支持向量回歸的基本思想就是通過一個非線性映射Φ將數(shù)據(jù)xi映射到高維特征空間F,并在這個空間進行線性回歸,即

式中ω為超平面的權值向量,b為偏置項。支持向量回歸實際上就是在下述約束條件:

式中 ξi、為松弛變量，分別表示在誤差 ε約束下（|yiωTΦ(xi)+b|）的訓練誤差的上限和下限；ε為Vapnik-ε不敏感代價函數(shù)所定義的誤差。常數(shù)C＞0,它控制對超出誤差ε的樣本的懲罰程度。ε不敏感損失函數(shù)為：

為了解這樣一個優(yōu)化問題,引入拉格朗日函數(shù):

則,非線性的回歸問題可以通過解式(3)的對偶問題來求解,即

式中核函數(shù)K(xi,xj)=Φ(xi)TΦ(xj)描述了高維特征空間的內積,可以在滿足Mercer條件的情況下選取。求解后得到αi和,代入式(7),并由式(2)得到回歸函數(shù):

從約束條件式(3)可以看出,希望將所有的數(shù)據(jù)xi都放入|yi-[ωTΦ(xi)+b]|＜ε 中,如果 xi不在其中,則存在誤差，可以通過最小化目標函數(shù)來完成。支持向量機回歸通過優(yōu)化式(8)避免了數(shù)據(jù)的欠擬合和過擬合,因此支持向量機是一個更為通用和靈活的解決回歸問題的工具。

2.2 核函數(shù)的選取

對于具體的問題，如何選擇最合適的核，一直是困擾研究者的一個難點。針對此問題本文依次采用5種常用核函數(shù)對訓練集以10點叉預測并計算MSE值，取MSE最小者為最優(yōu)核函數(shù)，最常用的核函數(shù)有：

線性核函數(shù)： k(xi，xj)=xixj

多項式核函數(shù)：k(xi,xj)=(xixj+1)d

徑向基核函數(shù)：k(xi,xj)=exp(-γ||xi-xj||2)sigmoid核函數(shù)：k(xi,xj)=tanh[b(xixj)+c]

2.3 參數(shù)的識別

對于具體的問題，如何對參數(shù)C、g和核函數(shù)參數(shù)σ的辨識的辨識是支持向量機應用研究的熱點，也是一個難點。本文采用LIBSVM2.8程序，原始變量svmscale規(guī)格化后以留一法gridregression.py尋優(yōu)，自動搜索最優(yōu)核函數(shù)參數(shù)C、p和g，以5個常用核函數(shù)中MSE最小者為最優(yōu)核函數(shù)建模預測。

2.4 支持向量機軟件LIBSVM介紹及算法實現(xiàn)

本文選擇由臺灣大學林智仁(LinChih-Jen)教授等開發(fā)設計的一個簡單、易于使用和快速有效的軟件包—LIBSVM，它可以解決分類問題(包括 C-SVC、nu-SVC)、回歸問題(包括epsilon-SVR、nu-SVR)以及分布估計(one-class-SVM)等問題，提供了線性、多項式、徑向基和sigmoid等四種常用的核函數(shù)供選擇，可以有效地解決多類問題、交叉驗證選擇參數(shù)、對不平衡樣本加權、多類問題的概率估計等。該軟件包可免費通過 作 者 的 主 頁 獲 得 ：http://www.csie.ntu.edu.tw/～cjlin/libsvm/index.html[13]。本文在WINDOWS平臺下自編C++程序調用Python2.5版本及支持Python接口的LIBSVM2.83程序包。

3 支持向量機模型在市場需求中的應用

3.1 數(shù)據(jù)

某公司經(jīng)銷某種產(chǎn)品，為了作好下一年的銷售工作，該公司統(tǒng)計1991.7～2006.6每個月的實際銷售量(單位:千件)[14]，見表1。

3.2 相空間重構

3.2.1 延遲時間確定

采用C-C法計算延遲時間τ，首次通過零點時的τ為延遲時間。從圖1中可以看出，ΔS(m，t)，ΔS(t)的第一個近似極小值是4，S(t)的第一個近似零點也是4，既可以確定延遲時τ=4 作為時間序列{x1，x2，…，x180}的延遲時間[14]。

表1 月銷售量表

圖1 時間序列{x1,x2,…,x18}的延遲時間

圖2 時間序列的嵌入維數(shù)

3.2.2 確定嵌入維數(shù)

嵌入維數(shù)的選取采用關聯(lián)指數(shù)飽和法中常用的G-P算法，利用C-C法選取得到的延遲時間4。取嵌入為數(shù)m=2，3，…，對于每一個m，按照G-P算法，經(jīng)計算取得一系列關于log(r)與logC(r)的值，并作出關系圖2。從圖2中可以看出，隨著相空間嵌入維數(shù)的增加，當m=10時，吸引子的關聯(lián)維數(shù)不再隨著 m的增加而增加，關聯(lián)維數(shù)D(m)=2.7632達到飽和，說明該銷售量時間序列具有混沌性質，則選擇此時對應的維數(shù)m=10為最佳相空間嵌入維數(shù)[14]。

3.2.3 時間序列系統(tǒng)混沌特性識別

混沌識別的方法分為定性的相圖法、功率譜法和定量的飽和關聯(lián)維數(shù)法、Lyapunov指數(shù)法等。根據(jù)前面的飽和關聯(lián)維數(shù)法計算得到飽和關聯(lián)維數(shù)D(m)=2.7632，說明該銷售量時間序列具有混沌特性。

混沌系統(tǒng)運動的基本特點是對初值條件極為敏感，初始狀態(tài)的微小不確定性將會迅速地按指數(shù)速度擴大，這種軌跡收斂或發(fā)散的速度，稱為Lyapunov指數(shù)K。對一維系統(tǒng)來說，當K＜0時，系統(tǒng)具有穩(wěn)定的不動點;當K=0時，系統(tǒng)出現(xiàn)周期現(xiàn)象;當K＞0時，系統(tǒng)出現(xiàn)混沌性質。確定Lyapunov指數(shù)的方法較多，主要有Wolf方法、Jacobian法、p-范數(shù)法和小數(shù)據(jù)量法等。本文運用改進小數(shù)據(jù)量法[15]計算得到銷售量時間序列的最大Lyapunov指數(shù)為0.0021956，指數(shù)大于零，進一步說明，該序列具有混沌性質，因此上述的混沌時間序列的支持向量機預測模型可以對銷售量時間序列進行預測。

3.3 混沌時間序列的預測

3.3.1 模型的建立與評價

根據(jù)τ=4，m=10重構相空間后的銷售量時間序列為144個，由重構相空間嵌入相點構成訓練樣本集，得到用于向量學習的樣本為：

前140個數(shù)據(jù)作為訓練數(shù)據(jù),后4個數(shù)據(jù)作為檢驗數(shù)據(jù),由重構相空間嵌入相點構成訓練樣本集,根據(jù)這 144個點在相空間的軌跡，用支持向量機進行尋優(yōu)，構造出一個最優(yōu)模型，并根據(jù)此模型對銷售量的走向進行預測。模型采用交叉驗證法試檢驗本文方法的預測性能，以MSE作為預測性能優(yōu)劣評價指標:

式中，yi為真值為預測值。

3.3.2 參比模型

參比模型包括加權零階局域法、加權一階局域法、指數(shù)平滑法（α=0.5）、指數(shù)平滑法（α=0.9）、神經(jīng)網(wǎng)絡，數(shù)據(jù)集的延遲時間和嵌入維都都相同的，在預測第i樣本時，取前i-1個樣本值合建模，以擬合MSE最小亞模型預測值作為該樣本時間序列趨勢分析最終預測結果（見表3）。

3.3.3 結果與分析

表3 混沌時間序列法的預測結果

由表4可以看出，支持向量機明顯要小于其它傳統(tǒng)方法的誤差；表3表明，支持向量機的計算精度也優(yōu)于傳統(tǒng)方法。因此運用混沌時間序列方法對經(jīng)濟預測不僅是可行的,而且結果較好。

表4 各種預測方法的誤差比較

4 結論

本文將基于統(tǒng)計學習理論的支持向量機和相空間重構應用到市場銷售量研究中，在計算機上程序化實現(xiàn)。基于相空間重構的支持向量機融合了時間序列分析和回歸分析，具有基于結構風險最小，非線性，避免過擬合、維數(shù)災和局極小，泛化推廣能力優(yōu)異，基于MSE最小自動選擇核函數(shù)、基于gridregression.py自動搜索確定最優(yōu)核函數(shù)參數(shù)，操作較ANN相對簡便等許多優(yōu)點。實例驗證表明本文的方法預測精度高，在經(jīng)濟學等領域有廣泛應用前景。

[1]Taken S.F.Detecting Strange Attractors in Turbulence[J].Lecture Notes in Mathematics,1981,898.

[2]ZHANG Jias Hu,LI Heng Chao,Xiao Xian Ci.ADCT Domain Quadratic Predictor for Real-time Prediction of Continuous Chaotic Signal[J].Acta Physical Sinica,2004,53(3).

[3]Maguire L.P.,Roche B.,Mcginnity T.M.Predicting a Chaotic Time Series Using a Fuzzy Neural Network[J].Information Sciences,1998,112.

[4]Smola A J,Schoelkopf B.A Tutorial on Support Vector Regression[J].Statistics and Computing,2004,14.

[5]Vapnik V.The Nature of StatisticalLearning Theory[M].New York:Springer,1995.

[6]Burges C.A Tutorial on Support Vector Machines for Pattern Recognition[J].Data Mining and Knowledge Discovery,1998,2(2).

[7]Francis E.H.Tay,Lijuan Cao.Application of Support Vector Machines in Financial Time Series Forecasting[J].The International Journal of Management Science,2001,29.

[8]Dug Hun Hong,Chang Hai Wang.Support Vector Fuzzy Regression Machines[J].Fuzzy Sets and Systems,2003,138.

[9]H.S.Kim,R.Eykholt,J.D.Salas.Nonlinear Dynamics,Delay Timesand Embedding Windows[J].Physica D,1999,127.

[10]Kim H S,Eykholt R.,Salas J D.Nonlinear Dynamics,Delay Times,and Embedding Windows[J].Physica D,1999，127.

[11]Gra Ssb Er Ger P.Procaccia I Measuring the Strangeness of Strange Attractors[J].Physica D,1983,(9).

[12]Hsu C W,Chang C C,Lin C J.A Practical Guide to Support Vector Classification[R].Technical Report,Department of Computer Science and Information Engineering,National Taiwan University,2003.

[13]Chih-Chung Chang,Chih-Jen Lin.LIBSVM:A Library for Support Vector Machines[EB/OL].Software available at http://www.csie.ntu.edu.tw/～cjlin/libsvm，2001.

[14]Zhaoyanyan.Study on Method of Chaotic Time Series Forecast and Its Application in Market Requirement[D].Liaoning Technical University,2006.

[15]LU Yu,CHEN Yu-Hong,HE Guo-Guang.The Computing of Maximum Lyapunov Exponent in Traffic Flow Applying the Improved Small-data Method[J].Systems Engineering-Theory&Practice,2007,(1).