基于奇異值分解的極限學(xué)習(xí)機(jī)多變量時(shí)間序列預(yù)測(cè)模型

梁小春, 陳曉云

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院, 福建 福州 350116)

基于奇異值分解的極限學(xué)習(xí)機(jī)多變量時(shí)間序列預(yù)測(cè)模型

梁小春, 陳曉云

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院, 福建 福州 350116)

在極限學(xué)習(xí)機(jī)預(yù)測(cè)多變量時(shí)間序列研究中，針對(duì)以往將矩陣轉(zhuǎn)換成向量作為模型輸入，從而影響預(yù)測(cè)精度的問(wèn)題，結(jié)合奇異值分解思想，提出一種直接以矩陣作為輸入的多變量時(shí)間序列極限學(xué)習(xí)機(jī)預(yù)測(cè)型SVDELM. 由Rossler、Chen’s、Lorentz和股票多變量時(shí)間序列的實(shí)驗(yàn)結(jié)果表明，SVDELM是一種有效的多變量時(shí)間序列預(yù)測(cè)模型.

多變量時(shí)間序列； 預(yù)測(cè)模型； 極限學(xué)習(xí)機(jī)； 奇異值分解

0 引言

多變量時(shí)間序列預(yù)測(cè)是科學(xué)研究領(lǐng)域的熱點(diǎn). 盡管多變量時(shí)間序列數(shù)據(jù)具有多噪聲、多尺度、變量相關(guān)性等棘手問(wèn)題，但國(guó)內(nèi)外學(xué)者仍致力于多變量時(shí)間序列預(yù)測(cè)的研究，提出諸如自回歸模型[1]、神經(jīng)網(wǎng)絡(luò)[2-4]、支持機(jī)[5-6]、極限學(xué)習(xí)機(jī)(ELM)[7-10]等具體可行的預(yù)測(cè)模型. 極限學(xué)習(xí)機(jī)是專門針對(duì)基于梯度算法的單隱層前饋神經(jīng)網(wǎng)絡(luò)提出的. 其基本原理： 通過(guò)隨機(jī)生成輸入節(jié)點(diǎn)和隱層節(jié)點(diǎn)的連接矩陣和偏置，將輸入數(shù)據(jù)映射到特征空間，再優(yōu)化隱層節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間的權(quán)重. 與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，ELM不僅能大大降低時(shí)間復(fù)雜度，還能找到全局最優(yōu)解. 與支持向量機(jī)相比，ELM具有更好的泛化性能[11-13].

文獻(xiàn)[14]將ELM與奇異值分解相結(jié)合提出投影向量機(jī)(PVM)，該模型用樣本的右奇異矩陣代替連接矩陣，實(shí)現(xiàn)降維和訓(xùn)練一體化. 加權(quán)極限學(xué)習(xí)機(jī)(WELM)[15]在ELM的基礎(chǔ)上，給離預(yù)測(cè)時(shí)間較近的樣本賦予較大的權(quán)重，較遠(yuǎn)的樣本賦予較小的權(quán)重. 但無(wú)論是PVM、WELM，還是ELM[13]均要求輸入為向量. 然而多變量時(shí)間序列的自然結(jié)構(gòu)是矩陣，為此需將矩陣轉(zhuǎn)化成向量，這將破壞多變量時(shí)間序列樣本的內(nèi)部結(jié)構(gòu)，特別是變量之間的聯(lián)系.

為解決上述問(wèn)題，本文將三層結(jié)構(gòu)ELM預(yù)測(cè)模型拓展成四層，提出基于奇異值分解的極限學(xué)習(xí)機(jī)預(yù)測(cè)模型(SVDELM). 其第一層(輸入層)和隱藏層之間，通過(guò)將N個(gè)多變量時(shí)間序列樣本逐個(gè)投影到ELM模型特征空間得到N個(gè)特征矩陣樣本，即N個(gè)隱藏層輸出； 在隱藏層和輸出層之間增加奇異值分解降維層，用每個(gè)特征矩陣樣本的第一左奇異向量的轉(zhuǎn)置左乘特征矩陣樣本； 最后將降維層輸出所得到的N個(gè)特征向量樣本作為輸出層的輸入，優(yōu)化其輸出權(quán)重. 事實(shí)上，SVDELM對(duì)特征空間降維比ELM對(duì)樣本空間降維能夠保留更多信息，從而可以有效地提高多變量時(shí)間序列預(yù)測(cè)精度.

1 極限學(xué)習(xí)機(jī)預(yù)測(cè)模型

設(shè)有N個(gè)輸入X=[x1, x2, …, xN]T∈N×d，其對(duì)應(yīng)輸出為Y=[y1, y2, …, yN]T∈N×m. 并設(shè)極限學(xué)習(xí)機(jī)的輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)的連接權(quán)重為W=[w1, w2, …, wL]∈d×L，隱層節(jié)點(diǎn)的偏置為b=[b1, b2, …, bL]T∈L，隱層節(jié)點(diǎn)的激勵(lì)函數(shù)為g，隱層節(jié)點(diǎn)個(gè)數(shù)為L(zhǎng)，隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的輸出權(quán)重為β=[β1, β2, …, βL]T∈L×m，ELM預(yù)測(cè)模型[13]如下：

根據(jù)拉格朗日乘子法和KKT最優(yōu)條件，得輸出權(quán)重為：

2 基于奇異值分解的極限學(xué)習(xí)機(jī)預(yù)測(cè)模型

對(duì)于輸入是矩陣形式的多變量時(shí)間序列樣本，由于ELM的輸入是向量，需將其轉(zhuǎn)換成向量后才能作為ELM模型的輸入. 為克服這一不足，結(jié)合奇異值分解思想，提出基于奇異值分解的極限學(xué)習(xí)機(jī)預(yù)測(cè)模型(SVDELM).

2.1 模型的建立

其中：

2.2 模型的求解

為求解SVDELM模型，需對(duì)模型(4)進(jìn)行化簡(jiǎn). 首先對(duì)H(Xi)進(jìn)行奇異值分解

將式(8)代入式(4)得

上述N個(gè)約束條件可以寫(xiě)成如下形式

則式(10)可以寫(xiě)成

將式(10)～(12)代入式(9)得

s.t .

對(duì)模型(13)進(jìn)行求解，將約束條件代入目標(biāo)函數(shù)得到等價(jià)的非約束優(yōu)化問(wèn)題，有

對(duì)式(14)關(guān)于β求導(dǎo)

2.3 SVDELM算法

SVDELM算法輸入樣本,滑動(dòng)窗口大小n,懲罰系數(shù)C,隱層節(jié)點(diǎn)個(gè)數(shù)L,激勵(lì)函數(shù)g,實(shí)驗(yàn)次數(shù)T.1.利用滑動(dòng)窗口法產(chǎn)生訓(xùn)練集{Xtr,Ytr}和測(cè)試集{Xts,Yts}.2.根據(jù)式(5)計(jì)算每個(gè)訓(xùn)練樣本的特征樣本Htr(Xi),對(duì)其進(jìn)行奇異值分解,取其最大特征值λi1(tr)和對(duì)應(yīng)的第一右奇異向量vi1(tr).3.同2計(jì)算每個(gè)測(cè)試樣本的特征樣本的最大特征值λi1(ts)和對(duì)應(yīng)的第一右奇異向量vi1(ts).4.根據(jù)式(11)計(jì)算Htr和Hts、根據(jù)式(16)計(jì)算β.5.計(jì)算Y^=Htsβ,輸出預(yù)測(cè)結(jié)果Y^.

事實(shí)上，如何給定隱層節(jié)點(diǎn)個(gè)數(shù)L是極限學(xué)習(xí)機(jī)的一個(gè)關(guān)鍵問(wèn)題. 實(shí)驗(yàn)部分將給出一種既能滿足精度要求又能盡可能使結(jié)構(gòu)緊湊的選取隱層節(jié)點(diǎn)個(gè)數(shù)L的方法.

2.4 SVDELM算法與極限學(xué)習(xí)機(jī)ELM

為了更加清楚地了解SVDELM在多變量時(shí)間序列預(yù)測(cè)上的應(yīng)用原理，分別給出SVDELM與傳統(tǒng)極限學(xué)習(xí)機(jī)(ELM)的多變量時(shí)間序列預(yù)測(cè)模型結(jié)構(gòu)圖見(jiàn)圖1、圖2.

ELM在預(yù)測(cè)多變量時(shí)間序列時(shí)將存在如下兩個(gè)弊端： 1)ELM將矩陣樣本按行拉成向量，破壞了原始樣本的自然結(jié)構(gòu)； 2)ELM通過(guò)隨機(jī)權(quán)重和偏置，同時(shí)對(duì)樣本的時(shí)間維度和特征維度進(jìn)行隨機(jī)降維，這再次破壞變量間和變量?jī)?nèi)的聯(lián)系. 與ELM不同，SVDELM模型將多變量時(shí)間序列樣本的自然結(jié)構(gòu)作為輸入，這樣可以保留樣本內(nèi)部結(jié)構(gòu)所包含的信息. 不僅如此，SVDELM用g(XiW+B)的第一右奇異向量左乘矩陣本身，目的是用類似于主成分分析的方法對(duì)多變量時(shí)間序列時(shí)間維度進(jìn)行降維，這樣既能保留原始數(shù)據(jù)時(shí)間維度的絕大多數(shù)信息，還能保持變量間的聯(lián)系. 綜上所述，與ELM相比，SVDELM模型能夠更好地保留原始數(shù)據(jù)的有效信息.

圖1 基于ELM多變量時(shí)間序列預(yù)測(cè)結(jié)構(gòu)Fig.1 Multivariate time series prediction structure based on ELM

圖2 基于SVDELM多變量時(shí)間序列預(yù)測(cè)結(jié)構(gòu)Fig.2 Multivariate time series prediction structure based on SVDELM

從兩種方法的結(jié)構(gòu)模型中易知SVDELM的算法復(fù)雜性將高于ELM. 但由式(7)～(13)可知，SVDELM利用向量正交性避免了隱藏層到SVD降維層之間向量與矩陣相乘的計(jì)算量. 事實(shí)上，SVDELM比ELM增加了求N個(gè)ni×L維矩陣的最大特征值和其對(duì)應(yīng)第一右奇異向量的計(jì)算量.

當(dāng)SVDELM的激勵(lì)函數(shù)如下時(shí)，SVDELM的隱藏層和SVD降維層可看成統(tǒng)一的整體.

定理1[16]給定在任意區(qū)間無(wú)限可微的任意激勵(lì)函數(shù)g，任意N個(gè)樣本(Xi, yi)∈ni×d×d，對(duì)任意隨機(jī)產(chǎn)生的服從任意連續(xù)概率密度分布的連接矩陣和偏置，均滿足

定理2[16]給定任意ε>0，在任意區(qū)間無(wú)限可微的激勵(lì)函數(shù)g，任意N個(gè)樣本(Xi, yi)∈ni×d×d，必存在L≤N使得對(duì)任意隨機(jī)產(chǎn)生的服從任意概率密度分布的連接矩陣和偏置，以概率1滿足ε.

定理1說(shuō)明當(dāng)隱層節(jié)點(diǎn)個(gè)數(shù)L等于訓(xùn)練樣本個(gè)數(shù)N時(shí)SVDELM具有零誤差逼近能力，定理2說(shuō)明必存在L≤N使SVDELM以任意小誤差逼近真值.

3 實(shí)驗(yàn)

為驗(yàn)證SVDELM預(yù)測(cè)模型的有效性，將其與其他預(yù)測(cè)方法比較，以下是本文實(shí)驗(yàn)部分的6種實(shí)驗(yàn)方法，其中前5種是對(duì)比方法，第6種是本文所提出的方法.

ELM[13]： 這是文獻(xiàn)[13]給出的方法. 該方法將多變量時(shí)間序列按行拉成向量作為極限學(xué)習(xí)機(jī)的輸入進(jìn)行預(yù)測(cè).

PVM[14]： 投影向量機(jī)預(yù)測(cè)方法. 該方法用樣本的右奇異矩陣代替ELM輸入層和隱藏層的連接權(quán)重進(jìn)行預(yù)測(cè).

WELM[15]： 加權(quán)極限學(xué)習(xí)機(jī)預(yù)測(cè)方法. 該方法先給多變量時(shí)間序列的樣本點(diǎn)根據(jù)與預(yù)測(cè)樣本的遠(yuǎn)近賦予權(quán)重，再根據(jù)ELM的方法進(jìn)行預(yù)測(cè).

ELM1： 這是本文給出的對(duì)比方法. 將多變量時(shí)間序列的第一右奇異向量作為ELM的輸入，奇異值分解用法與文獻(xiàn)[17]相同.

SVDHELM： 這是本文給出的對(duì)比方法. 將N個(gè)多變量時(shí)間序列分別作為ELM的輸入，逐個(gè)投影到ELM模型特征空間得到N個(gè)特征矩陣樣本，用N個(gè)特征矩陣樣本的第一右奇異向量作為輸出層的輸入，然后調(diào)整輸出權(quán)重.

SVDELM： 這是本文提出的新方法. 將N個(gè)多變量時(shí)間序列樣本分別作為ELM輸入，逐個(gè)投影到ELM模型特征空間得到N個(gè)特征矩陣樣本，然后用每個(gè)特征矩陣樣本的第一左奇異向量的轉(zhuǎn)置左乘特征矩陣樣本，并將所得到的N個(gè)特征向量樣本作為輸出層的輸出.

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集包括兩類： 混沌時(shí)間序列和股票時(shí)間序列. 其中混沌時(shí)間序列包括Rossler、Chen’s、Lorentz，股票時(shí)間序列包括國(guó)農(nóng)科技、浦發(fā)銀行、中國(guó)石油. 混沌時(shí)間序列產(chǎn)生模型如表1.

表1 混沌時(shí)間序列生成模型

其中r,s,b是模型的參數(shù)，實(shí)驗(yàn)時(shí)分別產(chǎn)生1 000條上述3種時(shí)間序列，為模型產(chǎn)生混沌現(xiàn)象，實(shí)驗(yàn)參數(shù)設(shè)置如表2所示.

表2 混沌時(shí)間序列參數(shù)

實(shí)驗(yàn)股票數(shù)據(jù)來(lái)源于銳思金融數(shù)據(jù)庫(kù)(http://www1.resset.cn:8080/product/common/main.jsp.). 具體包括國(guó)農(nóng)科技 (股票代碼： 000004)、浦發(fā)銀行(股票代碼： 601788)、中國(guó)石油(股票代碼： 601857)從2011年1月4日至2014年9月30日的日綜合數(shù)據(jù)： 開(kāi)盤(pán)價(jià)、最高價(jià)、最低價(jià)和收盤(pán)價(jià). 表3概括了實(shí)驗(yàn)所用的6組數(shù)據(jù)的變量個(gè)數(shù)及變量長(zhǎng)度.

表3 實(shí)驗(yàn)數(shù)據(jù)集描述

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

為比較ELM、WELM、PVM、ELM1、SVDHELM、SVDELM這6種預(yù)測(cè)方法的優(yōu)劣，采用均方根誤差作為預(yù)測(cè)性能的評(píng)價(jià)指標(biāo)，簡(jiǎn)記為“RMSE”.

3.3 實(shí)驗(yàn)結(jié)果及分析

本文的實(shí)驗(yàn)環(huán)境為Win7系統(tǒng)，內(nèi)存2 GB，所有方法都用Matlab2010b編程實(shí)現(xiàn). 實(shí)驗(yàn)時(shí)，先將股票數(shù)據(jù)集空行去掉，然后用大小n=10的滑動(dòng)窗口[18]分別對(duì)數(shù)據(jù)集的前2/3和后1/3生成ELM1、SVDHELM和SVDELM這3種方法的訓(xùn)練集和測(cè)試集，其他3種方法的訓(xùn)練集和測(cè)試集還需將滑動(dòng)窗口生成的矩陣樣本按行拉成向量. 為了更好比較實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)對(duì)6種方法進(jìn)行統(tǒng)一參數(shù)設(shè)置： 懲罰系數(shù)C=1，激勵(lì)函數(shù)g=‘sigmoid’. 除此之外，ELM、WELM、ELM1、SVDHELM和SVDELM的參數(shù)L也需要人為給定.

表4 不同預(yù)測(cè)方法在不同混沌時(shí)間序列的預(yù)測(cè)結(jié)果

從表4可以看出，本文所提出的SVDELM其均方誤差只在Lorentz混沌時(shí)間序列的變量y、z上略高于ELM，其余均比次優(yōu)的ELM降低了一半以上，這說(shuō)明將多變量時(shí)間序列的自然結(jié)構(gòu)作為模型的輸入，并在隱藏層添加SVD降維層能夠大大提高模型的預(yù)測(cè)精度.

表5 不同預(yù)測(cè)方法在不同股票數(shù)據(jù)集的預(yù)測(cè)結(jié)果

從表5可看出，本文所提的SVDELM在實(shí)驗(yàn)所用到的股票時(shí)間序列上均能達(dá)到最好的預(yù)測(cè)結(jié)果，這說(shuō)明SVDELM是一種有效的股票時(shí)間序列預(yù)測(cè)模型. 綜合表4和表5可發(fā)現(xiàn)，SVDELM在Rossler和Chen’s混沌時(shí)間序列上的均方誤差比次優(yōu)ELM算法低得多，特別是在Chen’s混沌時(shí)間序列上，其均方誤差只是ELM算法的1/4，這說(shuō)明SVDELM對(duì)含Rossler和Chen’s混沌現(xiàn)象的時(shí)間序列預(yù)測(cè)效果較好，特別是含Chen’s混沌現(xiàn)象的時(shí)間序列.

4 結(jié)語(yǔ)

本文在極限學(xué)習(xí)機(jī)的基礎(chǔ)上結(jié)合奇異值分解將三層結(jié)構(gòu)極限學(xué)習(xí)機(jī)預(yù)測(cè)模型拓展成四層結(jié)構(gòu)，提出一種適合矩陣形式輸入的多變量時(shí)間序列預(yù)測(cè)模型(SVDELM). 與傳統(tǒng)的極限學(xué)習(xí)機(jī)預(yù)測(cè)模型相比，該方法不僅能滿足L=N時(shí)的零誤差逼近能力和存在L≤N使模型以任意小誤差逼近真值的能力，還能保留更多的結(jié)構(gòu)信息. 在Rossler、Chen’s、Lorentz多變量混沌時(shí)間序列和3支股票時(shí)間序列的預(yù)測(cè)上的實(shí)驗(yàn)結(jié)果, 表明SVDELM是一種有效的多變量時(shí)間序列預(yù)測(cè)模型.

[1] ROJAS I, VALENZUELA O, ROJAS F,etal. Soft-computing techniques and ARMA model for time series prediction[J]. Neurocomputing, 2008, 71(4): 519-537.

[2] CHERIF A, CARDOT H, BONé R. SOM time series clustering and prediction with recurrent neural networks[J]. Neurocomputing, 2011, 74(11): 1 936-1 944.

[3] CHAOVALIT P, GANGOPADHYAY A, KARABATIS G,etal. Discrete wavelet transform-based time series analysis and mining[C]//ACM Computing Surveys (CSUR). New York: ACM, 2011. DOI：10.1145/1883612.1883613.

[4] YU T H K, HUARNG K H. A neural network-based fuzzy time series model to improve forecasting[J]. Expert Systems with Applications, 2010, 37(4): 3 366-3 372.

[5] SAPANKEVYCH N I, SANKAR R. Time series prediction using support vector machines: a survey[J]. IEEE Computational Intelligence Magazine, 2009, 4(2): 24-38.

[6] CAI Y N, WANG H Q, YE X M,etal. Multivariate time series prediction based on multi-output support vector regression[C]// Advances in Intelligent Systems and Computing, 2013: 385-395. DOI: 10.1007/978-3-642-37832-4_35

[7] 王新迎, 韓敏. 基于極端學(xué)習(xí)機(jī)的多變量混沌世界序列預(yù)測(cè)[J]. 物理學(xué)報(bào), 2012, 61(8): 97-105.

[8] 張弦, 王宏力. 基Cholesk分解的增量式RELM及其在時(shí)間序列預(yù)測(cè)中的應(yīng)用[J]. 物理學(xué)報(bào), 2011, 60(11): 1-6.

[9] 張弦, 王宏力. 具有選擇與遺忘機(jī)制的極端學(xué)習(xí)機(jī)在時(shí)間序列預(yù)測(cè)中的應(yīng)用[J]. 物理學(xué)報(bào), 2011, 60(8): 74-80.

[10] BUTCHER J B, VERSTRAETEN D, SCHRAUWEN B,etal. Reservoir computing and extreme learning machines for non-linear time-series data analysis[J]. Neural Networks, 2013, 38: 76-89.

[12] HUANG G, SONG S J, WU C. Orthogonal least squares algorithm for training cascade neural networks[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2012, 59(11): 2 629-2 637.

[13] HUANG G B, ZHOU H M, DING X J,etal. Extreme learning machine for regression and multiclass classification[J]. IEEE Trans Syst Man Cybern B Cybern, 2012, 42(2): 513-529.

[14] DENG W Y, ZHENG Q H, LIAN S G,etal. Projection vector machine: one-stage learning algorithm from high-dimension small-sample data [C]//The 2010 International Joint Conference on Neural Networks (IJCNN). Barcelona： IEEE, 2010: 1-8. DOI: 10.1109/IJCNN.2010.5596571.

[15] ZONG W W, HUANG G B, CHEN Y Q. Weighted extreme learning machine for imbalance learning[J]. Neurocomputing, 2013, 101: 229-242.

[16] HUANGG B, ZHU Q Y, SIEW C K. Extreme learning machine:theory and applications[J]. Neurocomputing, 2006, 70: 489-501.

[17] 董紅玉, 陳曉云. 基于奇異值分解和判別局部保持投影的多變量時(shí)間序列分類[J]. 計(jì)算機(jī)應(yīng)用, 2014, 34(1): 239-243.

[18] GUO Z Q, WANG H Q, LIU Q. Financial time series forecasting using LPP and SVM optimized by PSO[J]. Soft Computing, 2013, 17(5): 805-818.

(責(zé)任編輯： 蔣培玉)

Multivariate time series prediction based on extreme learning machine with singular value decomposition

LIANG Xiaochun, CHEN Xiaoyun

(College of Mathematics and Computer Science, Fuzhou University, Fuzhou, Fujian 350116，China)

In multivariate time series prediction based on extreme learning machine (ELM), the prediction precision will be reduced due to convert matrix to vector. In this paper, based on singular value decomposition and extreme learning machine, a multivariate time series prediction model(SVDELM) is proposed to suit for the matrix input. Simulation results on Rossler, Chen’s, Lorentz and stock multivariate time series show that the SVDELM is an effective prediction model for multivariate time series.

multivariate time series; prediction model; extreme learning machine; singular value decomposition

10.7631/issn.1000-2243.2017.01.0037

1000-2243(2017)01-0037-07

2015-03-10

陳曉云(1970-)，教授，主要從事數(shù)據(jù)挖掘、模式識(shí)別等研究，c_xiaoyun@21cn.com.

國(guó)家自然科學(xué)基金資助項(xiàng)目(71273053)； 福建省自然科學(xué)基金資助項(xiàng)目(2014J01009)

TP311； TP391

A