基于彈性小世界回聲狀態網絡的非線性時間序列預測

任條娟 鐘陳健 劉半藤,2 鄭啟航

1(常州大學信息科學與工程學院 江蘇 常州 213164)2(浙江樹人大學信息科技學院 浙江 杭州 310015)

0 引 言

目前，時間序列預測在醫學[1]、工業[2]、金融[3]等領域有著廣泛需求，而大量的時間序列呈現不穩定非線性特征，對非線性時間序列的預測長期都是時間序列分析領域的難題之一[4]。非線性時間序列預測方法主要分為兩類：一類通過回歸分析[5-6]，構建回歸模型，該方法適合持續時間較長、變化較為緩慢的序列的預測；另一類是通過機器學習方法[7-9]。文獻[7-8]分別用深度神經網絡和RBF神經網絡對非線性時間序列進行預測能夠取得較好的預測效果，但是它們在訓練過程中，需要的樣本過多，網絡結構復雜龐大，導致計算復雜性過大。回聲狀態網絡預測方法(ESN)作為一種基于儲備池計算的神經網路，結構簡單，只需采用一個隨機大規模的稀疏連接的儲備池即可保證模型對非線性數據的處理能力，通過樣本輸出進行反饋學習，實時修正預測模型，被廣泛用于非線性時間序列的應用中[10-12]，而ESN儲備池網絡的隨機性使得模型訓練無目的性、收斂速度慢，無法滿足非線性時間序列準確有效的預測需求[13-14]。因此本文用小世界網絡替代隨機網絡作為儲備池來構建非線性時間序列預測模型，小世界網絡同時具備隨機網絡和規則性，提高了模型適應性和收斂速度。

以小世界網絡作為儲備池的ESN模型，在計算輸出權值時，易受儲備池規模的影響。當儲備池規模過大時存在共線性問題，且容易引入噪聲，影響模型的泛化性；當儲備池規模過小時存在欠擬合現象，無法體現其強大的非線性處理能力。為了解決該問題，文獻[15]引入一種信息論結合ESN的方法，通過信息論計算剪枝概率，實現輸出的選擇與壓縮，剔除噪聲干擾，從而提高泛化性。另外，Ridge回歸法[16-17]和Lasso回歸法[18-19]等正則化方法，通過在計算輸出權值時添加懲罰項，分別解決了共線性問題和噪聲干擾問題。

因此，為提高非線性時間序列的預測精度，本文提出了一種基于彈性小世界回聲狀態網絡的非線性時間序列預測模型(ESWESN)，用小世界網絡替代隨機網絡作為儲備池來構建非線性時間序列預測模型，提高模型的適應性和非線性映射能力；并且在計算輸出權值時，提出一種基于彈性懲罰的權值計算模型，綜合Ridge回歸和Lasso回歸兩者的優點，解決共線性問題并合理縮減儲備池規模，提高模型求解穩定性和預測精度。

1 模型設計

1.1 小世界回聲狀態網絡

回聲狀態網絡由輸入層、儲備池和輸出層構成，其中儲備池是一種網絡結構，實現輸入輸出的非線性映射，傳統ESN采用隨機網絡作為儲備池，產生網絡節點連接不確定問題，導致模型訓練存在盲目性，影響模型的非線性預測能力，增大系統開銷。因此，本文采用小世界網絡代替隨機網絡作為儲備池。

小世界網絡是能夠反映真實世界的網絡結構，介于隨機網絡和規則網絡之間，同時具備兩者的優點，既有較短特征路徑長度又有較高聚合系數。這種特殊的網絡結構使得信息在網絡中傳遞速度極快，并具有較大的靈活性，改變幾個連接就可以劇烈地改變整個網絡的性能[20-21]。目前，小世界網絡結構常用模型包括WS模型和NW模型，由于WS模型構造算法中的隨機化過程有可能破壞網絡的連通性，造成信息在網絡中的傳遞中斷，而NW模型能夠有效地避免網絡中孤立節點的產生，更適合作為回聲狀態網絡的儲備池以保證模型的非線性映射能力，降低計算復雜度[22]。其拓撲結構如圖1所示。

圖1 小世界回聲狀態網絡結構

小世界回聲狀態網絡的狀態方程為：

x(t)=f(Winu(t)+Wxx(t-1))

(1)

輸出方程為：

y(t)=xT(t)Wout

(2)

式中：u(t)∈RL、x(t)∈RM和y(t)∈R分別表示儲備池t時刻的輸入變量、狀態變量和輸出變量；激活函數f通常取雙曲正切tanh函數；Win∈RM×L、Wx∈RM×M和Wout∈RM分別為輸入權值矩陣、儲備池內部權值矩陣和輸出權值矩陣。其中Win和Wx在網絡訓練前隨機產生，在訓練過程中不再改變，輸出權值Wout可通過線性回歸計算得到，常用的方法有偽逆法、Ridge回歸法和Lasso回歸法[23-25]等。通常情況下，由訓練時收集狀態變量x(t)產生的小世界網絡內部狀態矩陣X是高維帶噪聲的，偽逆法求解高維線性回歸時易出現共線性問題；Ridge回歸法通過添加l2范數解決共線性問題，但無法縮減模型，泛化性能差；Lasso回歸為了剔除噪聲干擾，通過添加l1范數過度壓縮模型規模，預測精度降低。

1.2 基于彈性懲罰的輸出權值計算模型

針對上述問題，本文提出了一種基于彈性懲罰的輸出權值計算模型，綜合了Lasso和Ridge回歸方法形成凸組合函數，其目標函數為：

(3)

令α=λ1/(λ1+λ2)，λ=λ1+λ2，得到目標函數如下：

(4)

上述模型的求解方法可轉化為Lasso回歸方法求解，對于給定的樣本數據(X,Y)和(λ1,λ2)，定義一個增廣數據集(X*,Y*)，其中:

(5)

(6)

可得：

(7)

(8)

(9)

因此，本文算法的訓練和計算過程如下：

步驟一初始化模型參數，設置儲備池規模為250，譜半徑為0.9，小世界加邊概率為0.05。

步驟二按上述參數設置構建NW小世界網絡模型，將其作為儲備池，得到小世界回聲狀態網絡預測模型。

步驟三利用訓練數據集計算并收集狀態變量x(t)，獲得儲備池內部狀態矩陣X和輸出變量Y。

2 仿真實驗

為了驗證本方法的有效性，用Narma、MackeyGlass和Lorenz混沌時間序列進行測試。

1) Narma系統，其混沌動力學公式為:

y(t+1)=0.7u(t-τ)+0.1+(1-y(t))y(t)

(10)

式中：u(t-τ)為隨機序列，取τ=2，y(0)=0，迭代依次求出1 500個時刻進行仿真測試。通過歸一化、相空間重構處理后進行仿真測試。實驗取時間序列的前1 300個時刻訓練模型，后200個時刻用于預測。

2) MackeyGlass系統，其混沌動力學公式為:

(11)

取a=0.2，b=0.1，c=10，τ=17，x(0)=1.2，t(0)=0，系統呈現出混沌特性。利用四階龍格庫塔算法對MackeyGlass系統求得1 500個時刻進行仿真測試。通過歸一化、相空間重構處理后進行仿真測試。實驗取時間序列的前1 300個時刻訓練模型，后200個時刻用于預測。

3) Lorenz系統，其混沌動力學公式為:

(12)

取a=10，b=28，c=8/3，x(0)=12，y(0)=2，z(0)=9，系統呈現出混沌特性。利用四階龍格庫塔算法對Lorenz系統求得1 500個時刻，通過歸一化、相空間重構處理后進行仿真測試，取x軸時間序列的前1 300個時刻訓練模型，后200個時刻用于預測。

用ESWESN模型分別對上述三種混沌時間序列進行預測，預測效果分別如圖2-圖4所示。

圖2 Narma預測曲線和目標曲線

圖3 MackeyGlass預測曲線和目標曲線

圖4 Lorenz的預測曲線和目標曲線

進一步分析ESWESN模型在不同儲備池維度下時間序列預測能力，通過重復實驗(20次)，計算與目標序列的均方根誤差(RMSE)和對稱平均絕對百分率誤差(SMAPE)。

均方根誤差用來衡量觀測值同真值之間的偏差，其計算公式定義為：

(13)

對稱平均絕對百分率誤差用來衡量時間序列擬合的準確度，其計算公式定義為：

(14)

設置不同儲備池規模大小，將計算結果與ESN模型、SWESN模型、基于Ridge回歸的SWESN模型(RSWESN)、基于Lasso回歸的SWESN模型(LSWESN)進行比較，結果如表1-表3和圖5-圖10所示。

表1 Narma時間序列預測結果比較

表2 MackeyGlass時間序列預測結果比較

續表2

表3 Lorenz時間序列預測結果比較

圖5 Narma時間序列RMSE比較

圖6 Narma時間序列SMAPE比較

圖7 MackeyGlass時間序列RMSE比較

圖8 MackeyGlass時間序列SMAPE比較

圖9 Lorenz時間序列RMSE比較

圖10 Lorenz時間序列SMAPE比較

可以看出，ESWESN模型預測精度均高于ESN模型及其改進模型。本文方法克服了ESN模型和SWESN模型的過擬合問題，自適應地壓縮輸出權值規模，去除冗余特征，提高模型預測精度。由圖5可見，對Narma時間序列預測中，當儲備池維度超過250時，ESN模型和SWESN模型出現過擬合，誤差開始增大；由圖7和圖9可見，對MackeyGlass和Lorenz時間序列進行預測，當儲備池維度超過350時，ESN模型和SWESN模型出現過擬合，誤差開始增大。本文方法克服了RSWESN模型不壓縮權值規模和LSWESN模型過度壓縮權值規模分別導致當儲備池輸維度較大和較小時預測模型適應度差的問題。由圖5可見，當儲備池維度超過200時，RSWESN模型的預測精度相對較低，當儲備池維度在100和150時，LSWESN模型的預測精度相對較低。綜上所述，本文方法的ESWESN模型自適應壓縮輸出權值規模，選擇出對預測效果影響最大的輸出權值規模子集，優化儲備池網絡，剔除噪聲干擾，提高了模型對時間序列預測的準確性、穩定性和可靠性。

3 結 語

本文提出一種彈性小世界回聲狀態網絡預測模型。用小世界網絡替代隨機網絡作為儲備池來構建非線性時間序列預測模型，提高模型的適應性和非線性映射能力，降低了模型開銷；在計算模型的輸出權值時，提出一種基于彈性懲罰的權值計算模型，提高了求解的數值穩定性和準確性。將ESWESN模型分別對三組不同類型的混沌時間序列進行仿真實驗，將預測結果與其他四種模型進行對比，結果表明本文方法具有良好的穩定性，取得了更好的預測效果。