基于改進差分進化和回聲狀態(tài)網(wǎng)絡(luò)的時間序列預(yù)測研究

許美玲 王依雯

時間序列廣泛存在于人類社會生活的方方面面,比如經(jīng)濟領(lǐng)域的生產(chǎn)總值、商品的銷售量、股票的增長幅度等[1];天氣領(lǐng)域中城市的降雨量、平均氣溫等[2?3];社會領(lǐng)域中城市交通流量、外來人口遷徙量及汽車能量消耗值等[4];工業(yè)領(lǐng)域中高爐煉鐵的中心溫度[5]、鋼鐵企業(yè)能源預(yù)測[6]和原油物性預(yù)測[7]等.

隨著人工智能研究的不斷發(fā)展,人工神經(jīng)網(wǎng)絡(luò)、支持向量機[8]等機器學習方法逐漸成為非線性時間序列建模和預(yù)測的主要工具.但是傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)如BP(Back propagation)神經(jīng)網(wǎng)絡(luò)[9]存在訓練算法復(fù)雜、網(wǎng)絡(luò)結(jié)構(gòu)難以確定、易陷入局部最優(yōu)和收斂速度慢等問題.支持向量機模型若訓練樣本過大,存在訓練時間過長且效果不佳的問題.極限學習機(Extreme learning machine,ELM)[10]是針對單層前饋神經(jīng)網(wǎng)絡(luò)設(shè)計的新型學習算法,學習速度快,泛化性能好,但其靜態(tài)前饋結(jié)構(gòu)不適用于動態(tài)時間序列的建模.隨著學者們的不斷研究,發(fā)現(xiàn)回聲狀態(tài)網(wǎng)絡(luò)(Echo state network,ESN)[11]在時間序列預(yù)測方面存在一定的優(yōu)勢,其訓練算法簡單,計算快速,且能保證解的全局最優(yōu)性.雖然回聲狀態(tài)網(wǎng)絡(luò)具有以上優(yōu)點,但是也存在一些問題,例如儲備池的適應(yīng)性問題、穩(wěn)定性問題及病態(tài)解的出現(xiàn)會影響網(wǎng)絡(luò)的泛化能力,容易產(chǎn)生過擬合等.

近年來,眾多學者們針對回聲狀態(tài)網(wǎng)絡(luò)存在的問題進行一些改進.文獻[12]提出一種基于L1 范數(shù)正則化的改進回聲狀態(tài)網(wǎng)絡(luò),將L1 范數(shù)作為懲罰項,防止模型出現(xiàn)過擬合現(xiàn)象,提高模型的穩(wěn)定性.文獻[13]利用改進的小世界網(wǎng)絡(luò)優(yōu)化泄露積分型回聲狀態(tài)網(wǎng)絡(luò),有效地改進了儲備池神經(jīng)元的連接方式,減少了稀疏連接的隨機性,提高了儲備池的適應(yīng)性.文獻[14]提出拉普拉斯回聲狀態(tài)網(wǎng)絡(luò)解決了由于實際訓練樣本的數(shù)量小于隱藏層節(jié)點數(shù)存在的不適定問題并獲得低維的輸出權(quán)重.文獻[15]提出一種魯棒回聲狀態(tài)網(wǎng)絡(luò)預(yù)測模型,采用更具魯棒性的拉普拉斯分布代替高斯分布對數(shù)據(jù)的噪聲進行描述,消除了異常點對模型泛化能力的影響.文獻[16] 結(jié)合回聲狀態(tài)網(wǎng)絡(luò)和Kalman 濾波,利用Kalman 濾波直接對網(wǎng)絡(luò)的輸出權(quán)值進行在線更新,擴展了算法的適用范圍,提高預(yù)測精度.文獻[17]利用遺傳算法直接優(yōu)化ESN,實現(xiàn)自適應(yīng)非線性動力系統(tǒng)的控制.文獻[18]采用人工魚群算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò),滿足了聚氯乙烯聚合過程的實時控制要求.文獻[19]利用粒子群優(yōu)化算法對ESN 中未經(jīng)訓練的權(quán)重進行優(yōu)化,提高網(wǎng)絡(luò)的預(yù)測性能.

雖然已有學者采用智能優(yōu)化方法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)參數(shù),但由于回聲狀態(tài)網(wǎng)絡(luò)的儲備池包含節(jié)點較多、搜索空間較大,優(yōu)化效果還有待改善.遺傳算法(Genetic algorithm,GA)[17,20]通過模擬自然進化過程搜索最優(yōu)解,但容易過早收斂,存在早熟現(xiàn)象.粒子群算法(Particle swarm optimization,PSO)[21]的魯棒性較差而且容易陷入局部最優(yōu)解,參數(shù)的初始化對粒子群算法的性能影響較大.蟻群算法(Ant colony optimization)[22]盡管具有較強的魯棒性,但是有明顯的經(jīng)驗性,收斂慢,對實際問題適用性不強.人工魚群算法(Artificial fish,AF)[23]雖然不易陷入局部最優(yōu),但不適合同時優(yōu)化不同范圍或者范圍相差較大的參數(shù),而且人工魚群算法本身較為復(fù)雜,效率低.研究中發(fā)現(xiàn)差分進化算法[24]簡單,具有較強的全局搜索能力,尋優(yōu)速度快,且能平衡局部及全局的信息來進行搜索,更具實用性,魯棒性.教與學優(yōu)化算法(Teaching-learning-based optimization,TLBO)[25]原理簡單、易實現(xiàn),需要調(diào)優(yōu)的參數(shù)極少,且計算效率比傳統(tǒng)的方法計算效率高.該算法自提出以來,已被廣泛用于函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)優(yōu)化、工程優(yōu)化等領(lǐng)域.然而,每種算法都不是萬能的,教與學優(yōu)化算法也存在早熟收斂現(xiàn)象.綜上,本文選用全局性較強的差分進化算法.

為使差分算法可以更加準確地找到最優(yōu)解及適用性更強.本文提出一種改進的差分算法,一方面對縮放因子(Scale factor,F)和交叉概率(Cross rate,CR)采用自適應(yīng),另一方面對變異策略采用自適應(yīng).綜上所述,本文利用改進的差分進化算法來優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)中儲備池的4 個重要參數(shù),對每個個體都分配一個適合的F、CR和變異策略,使個體變異更加趨向于適應(yīng)度好的個體,從而加快該算法的收斂速度,更準確地找到最優(yōu)解,提高預(yù)測精度.

1 回聲狀態(tài)網(wǎng)絡(luò)

Jaeger 等[11,26]提出的回聲狀態(tài)網(wǎng)絡(luò)(Echo state network,ESN)是一種簡化的遞歸神經(jīng)網(wǎng)絡(luò),用稀疏連接的儲備池代替全連接的隱含層,增強了對動態(tài)系統(tǒng)的建模能力,避免一般神經(jīng)網(wǎng)絡(luò)基于梯度下降原理的收斂速度慢、易陷入局部最優(yōu)的問題.

1.1 ESN 基本原理

如圖1 所示,回聲狀態(tài)網(wǎng)絡(luò)是一種三層遞歸神經(jīng)網(wǎng)絡(luò),由輸入層、隱含層和輸出層三部分組成,隱含層又稱儲備池,含有成百上千個稀疏遞歸連接的神經(jīng)元,神經(jīng)元之間的連接權(quán)值隨機生成且固定不變.

圖1 ESN 結(jié)構(gòu)示意圖Fig.1 Structure of ESN

ESN 的狀態(tài)方程和輸出方程如下:

式中,u(t)∈RM×1是M元輸入向量,y(t)∈RM×1是M元輸出向量,bx ∈RN×1為輸入偏置,b ∈RM×1為輸出偏置.由當前時刻t的輸入u(t) 和前一時刻t?1 的儲備池內(nèi)部狀態(tài)x(t ?1) 通過激活函數(shù)的映射得到當前時刻的狀態(tài)x(t)∈RN×1.φ(·)為神經(jīng)元的激活函數(shù),可以選取Sigmod 函數(shù)或者tanh 函數(shù).輸入連接矩陣Win ∈RN×M的元素在區(qū)間[?1,1]取值.Wx ∈RN×N為儲備池內(nèi)部連接矩陣,稀疏連接.通過偽逆求得輸出連接矩陣w ∈RN×M.輸入連接矩陣Win和內(nèi)部的連接矩陣W x隨機生成,且在回聲狀態(tài)網(wǎng)絡(luò)的訓練階段始終保持不變.網(wǎng)絡(luò)只需求輸出連接矩陣w,因此降低了計算復(fù)雜度.

1.2 網(wǎng)絡(luò)關(guān)鍵參數(shù)

回聲狀態(tài)網(wǎng)絡(luò)的核心是儲備池,儲備池性能的好壞取決于4 個重要的參數(shù):儲備池規(guī)模N、儲備池的譜半徑R、稀疏度D以及輸入變換因子S,如何選取這4 個參數(shù)至關(guān)重要.下面介紹儲備池的參數(shù)選擇對模型性能的影響.

1)儲備池規(guī)模

儲備池的規(guī)模N即為儲備池中神經(jīng)元數(shù)目,是影響ESN 預(yù)測性能最重要的參數(shù).N的值過大,造成過擬合;N的值過小,造成欠擬合.

2)儲備池的譜半徑

譜半徑R為內(nèi)部連接矩陣Wx的最大特征值的絕對值.R的取值范圍一般為[0,1]之間,但對于不同的時間序列其取值將視情況而定.

3)稀疏度

儲備池內(nèi)部神經(jīng)元連接的稀疏程度稱為稀疏度D.儲備池的神經(jīng)元之間不是全連接,而是少部分連接.具體實現(xiàn)方法是使儲備池的連接權(quán)值W x中的大多數(shù)元素等于零.Jaeger 等認為稀疏度D ∈[0,0.1]即可保證儲備池具有足夠的動力特性.

4)輸入變換因子

輸入變換因子S是指在信號輸入儲備池前縮放的比例因子,表征輸入連接權(quán)值的取值范圍.根據(jù)式(1)可知,其大小決定激活函數(shù)的工作區(qū)間,也決定了輸入對儲備池的狀態(tài)變量作用的強度.其取值范圍通常在[0,1]之間.

回聲狀態(tài)網(wǎng)絡(luò)參數(shù)的選擇往往會針對數(shù)據(jù)的不同特性而變化,因此如何選擇適合不同數(shù)據(jù)的儲備池參數(shù)是本文研究的重點.本文采用差分進化算法來自動選擇適合當前數(shù)據(jù)的儲備池的參數(shù),提高網(wǎng)絡(luò)的預(yù)測性能.

2 改進差分進化算法

差分進化算法(Differential evolution,DE)是基于群體智能的優(yōu)化算法[24].由于算法簡單易于實現(xiàn)、魯棒性好、搜索能力強等優(yōu)點被廣泛應(yīng)用于電力、煉油、工業(yè)及科學研究等領(lǐng)域[27?28].

2.1 差分進化算法

一般來說,常常選用差分進化算法解決模型參數(shù)優(yōu)化問題.標準的差分進化算法包括4 個操作:初始化、變異、交叉和選擇.下面介紹這4 個操作的具體實現(xiàn).

1)隨機初始化個體數(shù)量為NP,迭代次數(shù)為G的一個種群,記X(X1,G,X2,G,···,X i,G,···,X NP,G),其中Q為待優(yōu)化問題的維數(shù),初始化公式:

Xmax和Xmin分別為種群個體范圍的上限和下限,rand(?)函數(shù)表示生成范圍在(0,1)之間的隨機數(shù).

2)變異操作則是利用變異策略來產(chǎn)生新的個體,有利于后代進行搜索以便找到最好的解.變異策略有:

得到變異種群V G(V1,G,V2,G,···,V i,G,···,V NP,G),其中V i,G代表變異的新個體,i1,2,···,NP,j1,2,···,Q.r1,r2,r3,r4,r5為隨機生成的數(shù),代表不同于i 的個體,Xbest,G代表當前種群適應(yīng)度最好的個體,F為縮放因子.變異策略“DE/current-to-pbest/1”由Zhang 等提出[29],如式(9),將當前種群按適應(yīng)度排序,選擇出適應(yīng)度較好的前p%個個體,Xpbest,G從中隨機選擇.該變異策略帶有小范圍的外部存檔arch 來存儲迭代時競爭失敗的父代個體,大小為NP.若外部存檔arch 的個體數(shù)大于NP,則隨機刪除多余的個體.從當前種群和外部arch 中隨機選擇,提高種群多樣性.F為縮放因子,其決定著每個個體變異的尺度來得到新的個體,因此它對差分算法的性能有著決定性影響.

3)交叉操作的交叉公式為:

其中,i1,2,···,NP,j1,2,···,Q,生成的試驗向量為U G(U1,G,U2,G,···,U i,G,···,U NP,G),每個試驗個體為CR為交叉概率因子.

4)選擇操作就是對新舊個體進行淘汰制操作,規(guī)則就是比較新舊個體的適應(yīng)度,適應(yīng)度好的個體順利進入下一代,適應(yīng)度差的就被淘汰,以此來獲得適應(yīng)度較好的種群.選擇公式:

式中,Xi,G為第G代的第i個個體,如果目標矢量X i,G的適應(yīng)度比試驗矢量Ui,G適應(yīng)度好,則X i,G進入下一代成為Xi,G+1;反之,Ui,G進入下一代成為X i,G+1.

2.2 參數(shù)的自適應(yīng)

在標準的差分進化算法中,縮放因子F和交叉概率CR是一個確定值,意味著種群中的每個個體都是用同樣的F和CR來進行后面的變異和交叉操作,但是合適的參數(shù)選擇通常與個體成員相關(guān),不同的個體對應(yīng)著不同的控制參數(shù).為了使參數(shù)F和CR的選擇適合每一個個體,本文采用自適應(yīng)方法,控制參數(shù)在進化的過程中根據(jù)個體適應(yīng)度之間的關(guān)系自適應(yīng)變化.

1)縮放因子F的自適應(yīng)

從變異策略方程式可知,差分矢量實際上是對基向量各維的擾動,F則控制擾動量的大小.如果生成差分矢量的兩個個體Xp,G和Xq,G在搜索空間中離得很遠,則生成的差分矢量比較大,此時F應(yīng)減小,否則對基向量Xb,G的各維的擾動量太大,將會使變異個體超出整個搜索空間,不利于局部搜索.如果Xp,G和Xq,G在搜索空間中的位置相近,則生成的差分矢量的值 (X p,G ?X q,G) 就會很小,此時F應(yīng)增大,否則基向量Xb,G的各維的擾動量太小,就起不到變異的作用,不利于在進化初期的全局搜索.因此,本文采用自適應(yīng)策略為每個個體選擇合適的縮放因子F i,在全局搜索和局部搜索之間取得平衡.

式中,fb,f p,f q分別為個體Xb,G,X p,G,X q,G的適應(yīng)度,F l和F u分別為F i給定的最小值和最大值.上式表明如果Xp,G和Xq,G的適應(yīng)度相差很小,說明這兩個個體在搜索空間里離得很近,則F i取值大,以防止對基向量的各維擾動過小;如果Xp,G和X q,G的適應(yīng)度相差很大,說明這兩個個體在搜索空間里位置離得很遠,則F i取值小,以限制擾動量過大.

2)交叉概率CR的自適應(yīng)

從交叉策略方程式可知,CR是來控制變異矢量Vi,G對試驗矢量Ui,G的貢獻的.如果CR過大,則控制變異矢量Vi,G對試驗矢量Ui,G的貢獻越多,對目標矢量的破壞也就越大,從而使原本適應(yīng)度很好的個體結(jié)構(gòu)遭到破壞,不利于種群的進化.如果CR過小,則不易產(chǎn)生新的個體,會使整個搜索過程緩慢甚至停止,不利于種群后代的搜索.因此,CR的取值應(yīng)該根據(jù)個體的適應(yīng)度的變化而變化,對適應(yīng)度很好的個體,此時CR應(yīng)減小,避免對該個體造成破壞,使其進入下一代的機會更大;對適應(yīng)度差的個體,此時CR應(yīng)增大,有利于改變該個體的結(jié)構(gòu)則使產(chǎn)生適應(yīng)度好的個體的可能更大.每個個體的交叉概率CR i計算如下:

式中,CR u,CR l是CR i給定的最大值和最小值,fmin和fmax分別代表第i個個體的適應(yīng)度、種群適應(yīng)度的平均值、最優(yōu)個體的適應(yīng)度和最差個體的適應(yīng)度.上式表明如果當前第i個個體的適應(yīng)度大于當前種群適應(yīng)度的平均值,說明該個體不好,此時CR應(yīng)增大;如果該個體的適應(yīng)度小于當前種群適應(yīng)度的平均值,說明該個體性能好,此時CR應(yīng)減小,使該個體更可能進入下一代.

2.3 變異策略的自適應(yīng)

在標準的差分進化算法中,變異策略只使用一種,意味著種群中的每個個體都使用同樣的變異策略進行變異,但是合適的變異策略選擇通常與問題和初始的種群息息相關(guān),不同的優(yōu)化問題對應(yīng)著不同的變異策略,且初始化具有隨機性.為了使變異策略的選擇獨立于優(yōu)化問題和初始化,根據(jù)文獻[30],本文采用自適應(yīng)方法,使變異策略在進化的過程中,在指定的策略池中內(nèi)自適應(yīng)地選擇,策略池包括的策略:“DE/rand/1”、“DE/rand/2”、“DE/targetto-best/1”和“DE/current-to-pbest/1”[29],如式(4)、(5)、(8)、(9).

首先在LP代及LP代之前,策略池中的每個策略被選擇的概率是一樣的,假設(shè)策略池有M個策略,那么初始時每個變異策略被選擇的概率是 1/M.每次迭代時,將通過第m個策略生成進入下一代個體的數(shù)量記作,將通過第m個策略生成的個體沒有成功進入下一代的個體數(shù)量記作.從LP+1 代開始,根據(jù)之前和的記憶,來更新策略池中每個策略被選擇的概率.例如,在G代時,第m個策略被選擇的概率為:

式中,m1,2,···,M,G>LP,表征當前G代中第m個策略生成的試驗矢量成功進入下一代的可能性大小.為了使每個策略被選擇的概率和為1,則將除以各個策略的成功率的和.為避免變異策略生成進入下一代個體的成功率為0,本文中ε的值設(shè)為0.01.

3 改進的差分進化算法優(yōu)化儲備池參數(shù)

ESN 優(yōu)點在于網(wǎng)絡(luò)學習過程中僅需調(diào)節(jié)儲備池到輸出層之間的輸出連接權(quán)值,而其他連接權(quán)值一般都隨機賦值后保持不變.儲備池參數(shù)設(shè)置直接影響ESN 的預(yù)測性能,人工調(diào)節(jié)參數(shù)既費時又不能選擇出最適合的參數(shù)值,所以本文提出基于改進的差分進化算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)(Improved differential evolution-echo state network,IDE-ESN)的參數(shù).本文將實驗數(shù)據(jù)分為訓練集、測試集兩部分,目標函數(shù)為訓練集誤差最小.具體闡述如算法1 所示,流程圖如圖2 所示.

圖2 IDE-ESN 算法流程圖Fig.2 Flow chart for IDE-ESN

4 仿真實驗

為驗證本文所提模型的有效性,本文選擇Lorenz 時間序列、大連月平均氣溫?降雨量數(shù)據(jù)集進行仿真實驗.同時,在相同的數(shù)據(jù)集上,與人工魚群[18]優(yōu)化ESN(AF-ESN)、粒子群[19]優(yōu)化ESN(PSOESN)、教與學優(yōu)化算法[25]優(yōu)化ESN(TLBO-ESN)和極限學習機預(yù)測模型(ELM)[10]的仿真結(jié)果進行比較.模型預(yù)測性能好壞的評價指標為均方根誤差(Root mean square error,RMSE)、平均對稱絕對誤差(Symmetric mean absolute percentage error,SMAPE)和標準化均方根誤差(Normalized root mean squared error NRMSE).RMSE、SMAPE 和NRMSE 的計算公式定義如下:

式中,y(t) 為測試數(shù)據(jù)的真實值,y′(t) 為網(wǎng)絡(luò)預(yù)測值,為真實值的平均值,n為測試集的大小.

4.1 Lorenz 時間序列

Lorenz 系統(tǒng)方程描述如下:

當a=10、b=28 和c=8/3 時,系統(tǒng)是具有混沌特性.采用龍格庫塔方法產(chǎn)生2 500 組離散時間序列.

算法 1.改進差分進化回聲狀態(tài)網(wǎng)絡(luò)

步驟 1.隨機初始化種群X(X1,G,X2,G,···,X i,G,···,X NP,G),NP為種群個體數(shù),G=0 為初始代數(shù).種群個體的每一維代表儲備池的一個參數(shù),每一個參數(shù)都有選擇范圍,因此對個體的每一維進行約束.

步驟 2.將個體的每一維分別賦值給儲備池對應(yīng)的參數(shù):儲備池規(guī)模N,稀疏度D,譜半徑R和輸入變換因子S,進行適應(yīng)度評價,選出最優(yōu)個體.適應(yīng)度評價為計算ESN 模型在訓練集上的均方根誤差.

步驟 3.根據(jù)式(12)來選擇每個個體對應(yīng)的縮放因子F i.

步驟 4.當?shù)螖?shù)G ≤LP時,在變異策略池中隨機選擇變異策略,生成變異個體Vi,G.當?shù)螖?shù)G>LP時,根據(jù)前G ?LP代得出的和依式(14)和(15)計算每個變異策略被選擇的概率,并選擇概率最大的變異策略來產(chǎn)生變異個體Vi,G.

步驟 5.用式(13)為每個目標個體選擇CR i,通過交叉策略,即式(10)來生成試驗個體Ui,G.

步驟 6.通過對原個體與試驗個體進行適應(yīng)度評價比較,選出適應(yīng)度好的個體來進行種群更新.即若f(X i,G)>f(U i,G),則若f(X i,G)≤f(U i,G),則X i,G+1X i,G,+1.并更新最優(yōu)個體.

步驟 7.在迭代的過程中,種群中的個體慢慢趨于相同,為了增加種群的多樣性,避免陷入局部最優(yōu),在迭代次數(shù)大于5 時,隨機選取NP/5 個體,根據(jù)Logistic 混沌映射產(chǎn)生與原個體差異較大的新的個體.若迭代次數(shù)G大于最大迭代次數(shù)Max iteration,執(zhí)行步驟8;反之執(zhí)行步驟3.

步驟 8.輸出最優(yōu)個體,在測試集數(shù)據(jù)上進行驗證.

改進的差分進化算法優(yōu)化ESN 模型參數(shù)的范圍設(shè)定:儲備池規(guī)模N范圍設(shè)為[20,100]、稀疏度D范圍設(shè)為[0.01,0.5]、譜半徑ρ范圍設(shè)為[0.1,1]及輸入變換因子S范圍設(shè)為[0.0001,0.1];種群大小NP 設(shè)為25,最大迭代次數(shù)設(shè)為30.縮放因子F的范圍設(shè)為[0.1,0.9],交叉概率CR的范圍設(shè)為[0.1,0.9].前 70%數(shù)據(jù)用于訓練,30% 數(shù)據(jù)用于測試,其中訓練樣本中舍棄前50 個樣本產(chǎn)生的狀態(tài)以消除初始暫態(tài)的影響.人工魚群優(yōu)化ESN 模型及粒子群優(yōu)化ESN 模型的參數(shù)設(shè)置同改進差分優(yōu)化ESN 模型.表1 給出了對于Lorenz 序列IDEESN 選出的最好的參數(shù)值.

表1 Lorenz-x(t)序列:IDE-ESN 模型參數(shù)Table 1 Lorenz-x(t)series:parameters in IDE-ESN

表2 給出了不同模型對Lorenz-x(t)的單步預(yù)測結(jié)果,可以看出本文所提模型在RMSE、SMAPE及NRMSE 方面均好于其他對比模型,更具優(yōu)勢.其中,人工魚群優(yōu)化ESN 模型的預(yù)測精度不及粒子群優(yōu)化ESN 模型,可以看出同時優(yōu)化多個范圍不同的參數(shù)時,人工魚群優(yōu)化ESN 模型存在局限性.圖3 給出了IDE-ESN 對Lorenz-x(t)測試數(shù)據(jù)的預(yù)測曲線和誤差曲線.從圖中可以看出,預(yù)測誤差很小,IDE-ESN 能夠很好地擬合Lorenz-x(t)序列.得到各個算法誤差指標如表2 所示.

圖3 Lorenz-x(t)序列:IDE-ESN 的預(yù)測曲線及誤差曲線Fig.3 Lorenz-x(t)series:prediction and error curves obtained by IDE-ESN

表2 Lorenz-x(t)序列:測試集仿真結(jié)果Table 2 Lorenz-x(t)time series:prediction results on the test dataset

表3 給出對于Lorenz 序列不同模型在30 次迭代次數(shù)下運行時間,可以看出AF-ESN 模型運行時間最長,該模型的時間復(fù)雜度最大.PSO-ESN 的時間復(fù)雜度最小,本文所提模型IDE-ESN 運行時間雖然比PSO-ESN 長,但是預(yù)測精度高,綜合來看,IDE-ESN 模型更具優(yōu)勢.圖4 給出對于Lorenz 時間序列,本文所提出的改進的差分進化算法優(yōu)化ESN(IDE-ESN)、粒子群優(yōu)化ESN(PSO-ESN)、人工魚群優(yōu)化ESN(AF-ESN)及教與學優(yōu)化算法優(yōu)化ESN(TLBO-ESN)在迭代過程中的適應(yīng)度值(Fitness)的變化曲線圖.為更能清楚地顯示各個模型適應(yīng)度曲線的差別,對適應(yīng)度的值取以30 為底的對數(shù).從圖中可以看出IDE-ESN 算法在迭代的過程中,誤差越來越小,收斂速度較快并最終穩(wěn)定于較小的適應(yīng)度值.

圖4 Lorenz-x(t)序列:不同模型的適應(yīng)度曲線Fig.4 Lorenz-x(t)series:the curves of fitness for different models

表3 Lorenz-x(t)序列:不同模型的運行時間Table 3 Lorenz-x(t)series:run time of different models

4.2 大連月平均氣溫 ? 降雨量序列

大連市月平均氣溫和月降雨量數(shù)據(jù)集包括從1951 年1 月到2001 年12 月的數(shù)據(jù)記錄值,采樣間隔為月.大連月降雨量序列作為實驗數(shù)據(jù)的第二維,來輔助大連月平均氣溫的預(yù)測.70% 的數(shù)據(jù)用于訓練,30% 數(shù)據(jù)用于測試,其中訓練樣本中舍棄前50個樣本產(chǎn)生的狀態(tài)以消除初始暫態(tài)的影響.儲備池規(guī)模N范圍設(shè)為[20,100]、稀疏度D范圍設(shè)為[0.01,0.5]、譜半徑R范圍設(shè)為[0.1,1]及輸入變換因子S范圍設(shè)為[0.0001,0.1];種群大小NP設(shè)為25,最大迭代次數(shù)設(shè)為30.縮放因子F的范圍設(shè)為[0.1,0.9],交叉概率CR的范圍設(shè)為[0.1,0.9].為證明本文所提模型有效性,對于PSO-ESN、AF-ESN模型,設(shè)置同樣的儲備池參數(shù)范圍、種群大小及迭代次數(shù).表4 給出本文所提出的模型選出的最適合大連月平均氣溫?降雨量序列的儲備池參數(shù).

表4 大連月平均氣溫:IDE-ESN 模型參數(shù)Table 4 Dalian monthly average temperature-rainfall series:parameters in IDE-ESN

圖5 給出了IDE-ESN 模型對大連月平均氣溫?降雨量序列測試數(shù)據(jù)的預(yù)測曲線和誤差曲線.從圖中可以看出,本文模型能夠很好地擬合大連月平均氣溫?降雨量序列曲線,絕對誤差較小.表5給出了不同模型對大連月平均氣溫?降雨量序列的單步預(yù)測結(jié)果,可以看出本文所提模型在RMSE、NRMSE 方面均好于其他對比模型.從表5 可以看出雖然PSO-ESN 模型的RMSE 小于AF-ESN,但是SMAPE 卻很大,說明PSO-ESN 模型不能很好地預(yù)測出大連月平均氣溫的序列趨勢.而AF-ESN雖然能夠較好地擬合出序列的變化趨勢,但是在RMSE 和NRMSE 方面誤差較大,說明在某些點上的預(yù)測上存在較大偏差.本文所提IDE-ESN 模型無論在RMSE 方面還是NRMSE 方面都小于其他對比模型,具有明顯優(yōu)勢.

圖5 大連月平均氣溫:IDE-ESN 的預(yù)測曲線及誤差曲線Fig.5 Dalian monthly average temperature series:prediction and error curves obtained by IDE-ESN

表5 大連月平均氣溫:測試集仿真結(jié)果Table 5 Dalian monthly average temperature series:prediction results for the test dataset

圖6 給出對于大連月平均氣溫數(shù)據(jù)集,IDEESN、PSO-ESN、AF-ESN 及TLBO-ESN 在迭代過程中的適應(yīng)度值的變化曲線圖,從圖中可以看出IDE-ESN 算法較快收斂,且誤差較小.表6 給出對于大連月平均氣溫數(shù)據(jù)集不同模型在30 次迭代次數(shù)下的運行時間,可以看出AF-ESN 模型運行時間最長,該模型的時間復(fù)雜度最大.IDE-ESN 模型運行時間略大于PSO-ESN 模型,TLBO-ESN 模型運行時間是本文提出模型運行時間的兩倍.PSOESN 模型雖然運行時間最短,但預(yù)測精度較差.

表6 大連月平均氣溫:不同模型的運行時間Table 6 Dalian monthly average temperature series:run time of different models

圖6 大連月平均氣溫:不同模型的適應(yīng)度曲線Fig.6 Dalian monthly average temperature series:the curves of Fitness for differential models

5 結(jié)論

本文針對不同的時間序列,利用改進的差分進化算法來動態(tài)選擇回聲狀態(tài)網(wǎng)絡(luò)的參數(shù),以適應(yīng)于不同時間序列的動力學特性,從而提高預(yù)測精度和泛化性能.對于標準的差分進化主要有兩方面的改進:1)對于算法的控制參數(shù)的自適應(yīng)選擇,主要包括縮放因子F和交叉概率CR;2)變異策略的自適應(yīng)選擇.對兩組時間序列進行預(yù)測,仿真實驗結(jié)果表明,本文所提出的模型較其他預(yù)測模型有了很大的改善,既具有較高的預(yù)測精度,又具有較快的收斂速度和運行速度,在時間序列預(yù)測分析中具有實用性和有效性、普遍性.