支持向量回歸機(jī)在鐵路客運(yùn)量時(shí)間序列預(yù)測(cè)中的應(yīng)用

摘 要：針對(duì)目前鐵路客運(yùn)量預(yù)測(cè)方法的不足，采用ε支持向量回歸機(jī)(εSVR)對(duì)鐵路客運(yùn)量時(shí)間序列進(jìn)行預(yù)測(cè)。分析εSVR原理， 對(duì)1980—1998年的鐵路客運(yùn)量進(jìn)行歸一化處理，建立鐵路客運(yùn)量時(shí)間序列SVR預(yù)測(cè)模型， 并進(jìn)行仿真試驗(yàn)。對(duì)比分析εSVR與標(biāo)準(zhǔn)的BP人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果， 證明εSVR預(yù)測(cè)結(jié)果更準(zhǔn)確、 精度更高。

關(guān)鍵詞：鐵路客運(yùn)量；ε支持向量回歸機(jī)；人工神經(jīng)網(wǎng)絡(luò)；時(shí)間序列預(yù)測(cè)

中圖法分類號(hào)：U293．13; TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1001-3695(2006)10-0180-03

Application of Support Vector Regression in Prediction of

Railway Passenger Volume Time Serial

XIA Guoen1，ZENG Shaohua2，JIN Weidong3

(1.College of Economics Management， Southwest Jiaotong University， Chengdu Sichuan 610031， China;2.College of Automation， Chongqing University， Chongqing400030， China;3.College of Electrical Engineering， Southwest Jiaotong University， Chengdu Sichuan 610031， China)

Abstract:Aimed at the shortcomings of the prediction methods for the passenger traffic volume of railways，εsupport vector regression is adopted to predict the time serial of the railway passenger traffic volume. εSVR theory is analyzed. The railway passenger traffic volume from 1980 to 1998 is normalized. The time serial ε SVR prediction model of railway passenger traffic volume is set up and simulation experiment is carried out. The prediction results of the εSVR are proved to be more accurate compared with normal BP artificial neural network.

Key words:Railway Passenger Traffic Volume;ε Support Vector Regression(εSVR);Artificial Neural Network(ANN);Time Serial Prediction

鐵路客運(yùn)量預(yù)測(cè)是指對(duì)客運(yùn)量的發(fā)展進(jìn)行動(dòng)態(tài)分析，并在定性基礎(chǔ)上進(jìn)行定量計(jì)算。正確預(yù)測(cè)鐵路客運(yùn)量，對(duì)國(guó)家的經(jīng)濟(jì)發(fā)展格局和資源配置，以及對(duì)鐵路企業(yè)內(nèi)部的投資結(jié)構(gòu)、經(jīng)營(yíng)管理等都有著重要作用。鐵路客運(yùn)量是一組按時(shí)間順序排列的數(shù)據(jù)序列， 即時(shí)間序列，其變化受多個(gè)因素的影響， 且各因素的作用機(jī)制無法用精確的數(shù)學(xué)語言來描述，因此鐵路客運(yùn)量預(yù)測(cè)屬于復(fù)雜的非線性系統(tǒng)問題。傳統(tǒng)的預(yù)測(cè)方法有專家經(jīng)驗(yàn)預(yù)測(cè)法、算術(shù)平均法、線性回歸法、指數(shù)平滑法［1］等。應(yīng)用傳統(tǒng)的預(yù)測(cè)方法可以預(yù)測(cè)一段時(shí)間內(nèi)客運(yùn)量變化的大致趨勢(shì)， 但需要事先知道各種參數(shù)， 以及參數(shù)在什么情況下應(yīng)作怎樣的修正。近年來，為了克服鐵路客運(yùn)量預(yù)測(cè)中存在的指標(biāo)確定主觀隨意性較大、準(zhǔn)確度較低且無法進(jìn)行大規(guī)?；貧w預(yù)測(cè)等缺點(diǎn)，人們提出了基于人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network， ANN)的預(yù)測(cè)方法［2］。然而，人工神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練速度慢，學(xué)習(xí)過程誤差極易收斂于局部極小點(diǎn)，很難保證學(xué)習(xí)精度。另外，這種方法只能保證在有限樣本的情況下，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小，無法實(shí)現(xiàn)期望風(fēng)險(xiǎn)最小，網(wǎng)絡(luò)的泛化能力差，不能保證訓(xùn)練后的網(wǎng)絡(luò)對(duì)訓(xùn)練集外的樣本有好的應(yīng)用效果。因此，探索新的方法來準(zhǔn)確預(yù)測(cè)鐵路客運(yùn)量是有必要的。

本文針對(duì)人工神經(jīng)網(wǎng)絡(luò)在鐵路客運(yùn)量中面臨的困難，利用 ε 支持向量回歸機(jī)(ε Support Vector Regression， εSVR)原理，通過在回歸機(jī)中定義損失函數(shù)，建立了用于鐵路客運(yùn)量時(shí)間序列預(yù)測(cè)模型。仿真結(jié)果表明， 與標(biāo)準(zhǔn)BPANN方法相比，該模型預(yù)測(cè)精度較高、收斂速度快、方法簡(jiǎn)單易行。

1ε 支持向量回歸機(jī)

1995年，Vapnik V 等人［3，4］提出了以有限樣本統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)的支持向量機(jī)(Support Vector Machine， SVM)。由于它具有堅(jiān)實(shí)的理論基礎(chǔ)和良好的泛化性能，并且有效地解決了非線性和維數(shù)災(zāi)難等一系列問題，使得它一出現(xiàn)就受到廣泛的關(guān)注，在有些領(lǐng)域(如圖像識(shí)別、基因序列分析、孤立點(diǎn)檢測(cè))中得到很好的應(yīng)用［5，6］。后來， Vapnik V在定義了ε不敏感損失函數(shù)的基礎(chǔ)上提出了ε支持向量回歸機(jī)（εSVR)［3］。

給定l個(gè)獨(dú)立同分布的數(shù)據(jù)樣本(x1，y1)，…，(xi，yi)，…，(xl，yl)，xi∈Rn(i=1，…，l)。εSVR算法在定義了ε不敏感損失函數(shù)的基礎(chǔ)上，尋找一個(gè)最優(yōu)的函數(shù)f(x)=(w×x)+b，其中w，x∈Rn，b∈R，使得預(yù)測(cè)的期望風(fēng)險(xiǎn)R[f]最?。?］：

R[f]=12‖w‖2+C×Rεemp[f] (1)

其中‖w‖2稱為結(jié)構(gòu)風(fēng)險(xiǎn)，代表模型的復(fù)雜度;Rεemp[f]:=12li=1｜yi-f(xi)｜ε稱為經(jīng)驗(yàn)風(fēng)險(xiǎn)，代表回歸模型的誤差；C為松弛懲罰因子，用于在結(jié)構(gòu)風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn)之間進(jìn)行平衡。最小化式(1)等價(jià)于下面的二次規(guī)劃問題：

minw，ξ，ξ*Φ=12‖w‖2+C1lli=1(ξi+ξ*i)

s.t.yi-((w×xi)+b)≤ε+ξi

(w×xi)+b-yi≤ε+ξ*i

ξi，ξ*i≥0，i=1，…，l(2)

其中ξi，ξ*i為松弛變量，yi-((w×xi)+b)=ε和yi-((w×xi)+b)=-ε之間的區(qū)域稱為回歸間隔［7］。

引入Lagrange系數(shù)ai，a*i，最后將二次規(guī)劃問題轉(zhuǎn)換為如下的對(duì)偶問題：

maxW=li=1(ai-a*i)yi-εli=1(ai+a*i)-12li， j=1(ai-a*i)(aj-a*j)×(xi×xj)(3)

求解上面的二次規(guī)劃，得到最優(yōu)的Lagrange系數(shù)ai，a*i以及閾值b，ai，a*i＞0所對(duì)應(yīng)的樣本稱為支持向量(Support Vector，SV)。

在非線性的情況下，引入變換Φ:Rn→H，將樣本從輸入空間Rn映射到一個(gè)高維特征空間H，然后在H中求取最優(yōu)的函數(shù)使得定義的風(fēng)險(xiǎn)函數(shù)最小，根據(jù)Mercer條件［7］存在映射Φ和核函數(shù)K(·，·)，使得K(xi，xj)=Φ(xi)×Φ(xj)，引入核函數(shù)后回歸決策函數(shù)為

f(x)=li=1(ai-a*i)K(xi，x)+b(4)

常用的核函數(shù)有線性核K(xi，xj)=xi×xj、多項(xiàng)式核K(xi，xj)=((xi×xj)+1)d、高斯徑向基核K(xi，xj)=e-‖xi-xj‖2σ2等。

2 鐵路客運(yùn)量時(shí)間序列預(yù)測(cè)建模

2．1 數(shù)據(jù)處理

1980—1998年的鐵路客運(yùn)量［9］如表1所示。為了準(zhǔn)確地選擇εSVR中各參數(shù)和減少計(jì)算復(fù)雜度，將收集到的鐵路客運(yùn)量數(shù)據(jù)進(jìn)行歸一化處理。

采用x′=xixmax對(duì)收集到的數(shù)據(jù)進(jìn)行歸一化處理。其中x′i為第i個(gè)數(shù)據(jù)歸一化后的數(shù)值； xi為第i個(gè)數(shù)據(jù)的實(shí)際值；xmax= 1 216 000為所有數(shù)據(jù)中的最大值。對(duì)于最大值的歸一化結(jié)果，考慮到εSVR能夠獲得較好的收斂性， 其取值為0.9999。歸一化后的結(jié)果如表1所示。

2.2 基于εSVR建模

針對(duì)時(shí)間序列的構(gòu)造方法［10］，采用的時(shí)間延遲和嵌入維數(shù)分別為1和3。在模型中采用遞歸預(yù)測(cè)方法，訓(xùn)練中， 利用截止1993年以前的歷史行情數(shù)據(jù)構(gòu)造輸入矢量xi，以及與之對(duì)應(yīng)的延時(shí)后的輸出yi，(xi，yi)組成一個(gè)訓(xùn)練對(duì)。訓(xùn)練結(jié)束后，將一步預(yù)測(cè)的結(jié)果作為輸入矢量的分量，預(yù)測(cè)下一步數(shù)值而無須重新訓(xùn)練， 如此循環(huán)得到多步預(yù)測(cè)。訓(xùn)練區(qū)間：1980—1993年，預(yù)測(cè)區(qū)間：1994—1998年。其訓(xùn)練集如表2所示。

表2 訓(xùn)練樣本與測(cè)試樣本表

車站每年都可得到新的客運(yùn)量數(shù)據(jù)，越接近現(xiàn)在的數(shù)據(jù)，對(duì)未來影響越大。為使模型能多次重復(fù)使用，并充分利用已有信息，我們將新數(shù)據(jù)不斷加入到模型中，去掉一些最老的數(shù)據(jù)，則可獲得既能體現(xiàn)未來發(fā)展趨勢(shì)的數(shù)據(jù)，又能維持模型計(jì)算量不變。以連續(xù)三年數(shù)據(jù)來預(yù)測(cè)第四年的數(shù)據(jù)，如對(duì)1994年的客流量進(jìn)行預(yù)測(cè)，使用的是1991—1993年的客流數(shù)據(jù)；當(dāng)對(duì)1998年的客流量進(jìn)行預(yù)測(cè)時(shí)，利用模型所預(yù)測(cè)的1995—1997年數(shù)據(jù)?；讦弄睸VR的回歸預(yù)測(cè)實(shí)際上是一個(gè)數(shù)據(jù)泛化擬合問題， 即先根據(jù)輸入/輸出樣本進(jìn)行訓(xùn)練， 然后對(duì)不在訓(xùn)練樣本集中的輸入數(shù)據(jù)計(jì)算出相應(yīng)的輸出值。由于εSVR回歸函數(shù)類似于一個(gè)神經(jīng)網(wǎng)絡(luò)，其輸出是若干中間節(jié)點(diǎn)的線性組合， 每個(gè)中間節(jié)點(diǎn)對(duì)應(yīng)于輸入樣本與一個(gè)支持向量的內(nèi)積，因此可以得到如圖1所示的鐵路客運(yùn)量時(shí)間序列εSVR的網(wǎng)絡(luò)預(yù)測(cè)模型。

3 仿真結(jié)果及分析

針對(duì)上述的鐵路客運(yùn)量時(shí)間序列εSVR預(yù)測(cè)模型， 在MATLAB 6.5環(huán)境下進(jìn)行訓(xùn)練與測(cè)試的仿真實(shí)驗(yàn)。利用εSVR進(jìn)行鐵路客流量時(shí)間序列的預(yù)測(cè)， 并與標(biāo)準(zhǔn)的BPANN進(jìn)行比較分析。其中εSVR的核函數(shù)和參數(shù)采用交叉確認(rèn)的方法［11］進(jìn)行優(yōu)化選擇，為：K(xi，xj)=((xi×xj)+1)4，ε=0.01，C=50；對(duì)于標(biāo)準(zhǔn)BPANN，采用三層網(wǎng)絡(luò)結(jié)構(gòu)，用快速BP算法訓(xùn)練前向網(wǎng)絡(luò)，輸入層神經(jīng)元為20個(gè)，隱含層神經(jīng)元為七個(gè)，輸出層神經(jīng)元為一個(gè)，最大訓(xùn)練次數(shù)600，期望誤差為0.001，初始學(xué)習(xí)率為0.01。仿真結(jié)果如表3所示。

表3 標(biāo)準(zhǔn)BP人工神經(jīng)網(wǎng)絡(luò)與SVR預(yù)測(cè)結(jié)果對(duì)比表

從表3可以看出，在上述兩種方法對(duì)鐵路客運(yùn)量進(jìn)行的預(yù)測(cè)中，兩種方法所獲得的預(yù)測(cè)相對(duì)誤差在一定程度上都能反映鐵路客運(yùn)量時(shí)間序列趨勢(shì)，但在訓(xùn)練誤差方面和測(cè)試誤差方面，基于εSVR的方法明顯小于BPANN，這主要反映了對(duì)于訓(xùn)練樣本以外的檢驗(yàn)樣本，基于εSVR方法有更強(qiáng)的泛化預(yù)測(cè)能力。

4 結(jié)論

采用εSVR對(duì)鐵路客運(yùn)量時(shí)間序列進(jìn)行預(yù)測(cè)研究。通過與標(biāo)準(zhǔn)的BPANN對(duì)比表明，εSVR對(duì)鐵路客流數(shù)據(jù)有更好的預(yù)測(cè)效果，有很強(qiáng)的自學(xué)習(xí)性、自適應(yīng)性，且收斂快、準(zhǔn)確性高，說明該預(yù)測(cè)模型是可信的。本預(yù)測(cè)方案是完全數(shù)據(jù)驅(qū)動(dòng)的，是定量的，具有一定局限性。因此在該方法的基礎(chǔ)上附加一定的定性分析，以彌補(bǔ)完全數(shù)據(jù)驅(qū)動(dòng)的不足。另外，到目前為止，成熟的鐵路客流量預(yù)測(cè)方法仍然停留在對(duì)運(yùn)輸總量的預(yù)測(cè)上，但是總運(yùn)量預(yù)測(cè)只是運(yùn)量預(yù)測(cè)一個(gè)方面的內(nèi)容，還必須考慮客流在具體發(fā)到地點(diǎn)和具體線路上的分布問題。對(duì)具體運(yùn)輸產(chǎn)品的運(yùn)量在空間位置分布上的研究和預(yù)測(cè)，對(duì)路網(wǎng)建設(shè)、投資決策和經(jīng)營(yíng)管理有更實(shí)際的參考價(jià)值。

參考文獻(xiàn)：

［1］楊浩.鐵路運(yùn)輸組織學(xué)［M］.北京:中國(guó)鐵道出版社，2001.21-24.

［2］侯福均，吳祈宗.BP神經(jīng)網(wǎng)絡(luò)在鐵路客運(yùn)市場(chǎng)時(shí)間序列預(yù)測(cè)中的應(yīng)用［J］.運(yùn)籌與管理，2003，12(4):73-75.

［3］Vapnik V.An Overview of Statistical Learning Theory［J］.IEEE Trans. on NN.，1999，10(3):988-999.

［4］ Cortes C， Vapnik V. Support Vector Networks［J］. Machine Learning， 1995， 20 (4):273-297.

［5］Osuna E， Freund R， Girosi F. Training Support Vector Machines: An Application to Face Detection ［C］. Proceedings of 1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，LosAlamitos，CA，USA:IEEE Computer Society，1997.130-136.

［6］Guyon I， Weston J， Barnhill S，et al.Gene Selection for Cancer Classification Using Support Vector Machines ［J］. Machine Learning， 2002， 46 (6):389-422.

［7］鄧乃揚(yáng)，田英杰.數(shù)據(jù)挖掘中的新方法——支持向量機(jī)［M］.北京:科學(xué)出版社，2004.96-166.

［8］張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)［J］.自動(dòng)化學(xué)報(bào)，2000，26(1):32-42.

［9］The World Bank Transportation.Water and Urban Development Department［EB/OL］.http://www.rail.info.com/gb/db/wbtjsj/default1asp，2000-01.

［10］岳毅宏，韓文秀，程國(guó)平.多變量時(shí)間序列相空間重構(gòu)中參數(shù)的確定［J］.控制與決策，2005，20(3):290-293.

［11］Ito K， Nakano R.Optimizing Support Vector Regression Hyperparameters Based on Crossvalidation［J］.Neural Networks，2003，(3):2077-2082.

作者簡(jiǎn)介：

夏國(guó)恩(1977-)，男，四川內(nèi)江人，博士研究生，主要研究方向?yàn)楣芾硇畔⑾到y(tǒng)、決策支持系統(tǒng)、商務(wù)智能系統(tǒng);曾紹華(1969-)，男，重慶壁山人，講師，博士研究生，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)挖掘;金煒東(1959-)，男，安徽淮南人，教授，博導(dǎo)，博士，主要研究方向?yàn)閮?yōu)化理論與優(yōu)化控制、智能信息處理、系統(tǒng)仿真等。

注:本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文