結合高斯噪聲的回聲狀態網絡模型及其時間序列預測性能

摘要： 為了模擬回聲狀態網絡模型在時間序列預測實例中的影響因素，在回聲狀態網絡模型的儲備池層引入高斯噪聲，構建結合高斯噪聲的回聲狀態網絡模型；利用公式推導分析所提模型的非線性性質； 采用股票序列數據與Logistic混沌序列數據進行實驗驗證和對比分析。結果表明，本文所提模型的預測效果優于回聲狀態網絡模型、 壓縮感知回聲狀態網絡模型和反向傳播神經網絡模型，股票收盤價預測、Logistic混沌序列預測的平均絕對誤差均最小，分別為1.33×10^-3、 5.21×10^-4。

關鍵詞： 時間序列預測； 回聲狀態網絡模型； 高斯噪聲； 儲備池層

中圖分類號： TP183

文獻標志碼： A

開放科學識別碼（OSID碼）：

Echo State Network Model Combined with

Gaussian Noise and Its Time Series Prediction Performance

WANG Zijian ZHAO Hui ZHENG Mingwen3， LI Xin2

（1. School of Information Science and Engineering， University of Jinan， Jinan 250022， Shandong， China;

2. Key Laboratory of Computing Power Network and Information Security， Ministry of Education，

Qilu University of Technology， Jinan 250353， Shandong， China;

3. School of Mathematics and Statistics， Shandong University of Technology， Zibo 255000， Shandong， China）

Abstract： To simulate the influencing factors of echo state network model in time series prediction， Gaussian noise was introduced into the reservoir layer of echo state network model， and the echo state network model combined with Gaussian noisewasconstructed.Thenonlinearrelationshipoftheproposedmodelwas derived by using the equation. The stock series data and Logistic chaotic series data were used for experimental verification and comparative analysis. The experimental results show that the prediction effect of the proposed model is better than the basic echo state network models and back propagationneuralnetworkmodel，andthemeanabsolute errors of stock closing price prediction and Logistic chaotic sequence prediction are the smallest， which are 1.33×10^-3 and 5.21×10^-4， respectively.

Keywords： time series prediction; echo state network; Gaussian noise; reservoir layer

回聲狀態網絡（echo state network， ESN）模型是一種特殊的遞歸神經網絡模型，由Jaeger等^［1］提出。ESN模型使用儲備池層代替傳統深度學習模型中計算復雜的隱藏層，避免了慢收斂和遞歸神經學習算法不穩定等問題。同時，與傳統的基于反向傳播算法的模型相比，ESN模型的關鍵參數的求解方法為最小二乘法，如偽逆法、 嶺回歸等，該類方法減少了模型的計算量，并有效避免了過擬合帶來的問題，為預測任務提供了更加靈活的解決方案。

ESN模型在時間序列預測^［2］中有很廣泛的應用，例如：在能源預測領域，與深度學習結合的改進ESN模型對能源消耗與風力發電實現了可靠預測^［3］；在混沌序列領域，一種結合了選擇性對抗灰狼優化器（selective opposition grey wolf optimizer， SOGWO）的ESN模型實現了對混沌序列的精準預測^［4］； 在股票預測領域，深度ESN模型在股票預測上也取得了較好的效果^［5］。2022年，Sun等^［6］總結了ESN模型在時間序列預測中的發展歷程，并指出未來該模型可優化的方向，為后續的研究提供了理論支撐。Wang等^［7］提出了快速回聲狀態網絡（fast echo state network， FastESN）模型，該模型大大簡化了ESN模型的結構，同時還能保證預測的準確性。在先前的工作中，也有學者使用基于壓縮感知的回聲狀態網絡（compressed sensing echo state network， CSESN）模型進行了股票預測和一系列時間序列預測^［8］。壓縮感知技術能夠解決ESN模型中節點冗余、 計算效率低的問題，從而提高了網絡的運行效率，并且取得了較好的預測結果。此外，在前人研究基礎上，Wang等^［9］在池化激活算法以及壓縮感知算法的基礎上提出池化壓縮感知回聲狀態網絡（pooling compressed sensing echo state network， PCSESN）模型， 該模型解決了儲備池的節點冗余與信息冗余問題。為了減少深度ESN模型的計算量，Liu等^［10］提出了最小復雜度交互回聲狀態網絡（minimum complexity interaction echo state network， MCI-ESN）模型，該模型在混沌序列預測上取得了很好的效果。

近年來的研究^［11-13］證明，高斯噪聲可以提高算法的數值穩定性，還可以避免模型陷入對預測極其不利的局部極小值^［14］，有助于改善結構復雜的網絡的預測效果。高斯噪聲是指滿足高斯分布（也稱正態分布）的隨機噪聲，在機器學習領域，高斯噪聲常常用于正則化等技術中，通過高斯噪聲與模型的權重參數相結合，可以動態調整參數狀態和提升模型魯棒性^［15］。高斯噪聲與深度模型相結合的研究在不同任務中都有體現，如高斯噪聲融入數據樣本，增加數據的復雜性，可訓練深度模型對異常值的敏感性^［16］； 也有學者將非線性電子元件與ESN模型相結合，將高斯噪聲與輸入數據相結合，測試ESN模型對帶有噪聲的數據的敏感性，該模型在分類任務中也取得了較好的結果^［17］。盡管如此，已有研究中并未將高斯噪聲用于模擬實際影響因素對實際預測任務的影響，大多數情況是將高斯噪聲作為一種模型學習的阻力或負面因素存在，少部分魯棒性偏弱的模型在高斯噪聲的復雜非線性影響下，預測精度可能會顯著降低。如果高斯噪聲能夠正向的、輔助性地與模型相結合，幫助模型訓練，那么模型的預測精度就能夠進一步提升。

從混沌序列預測的角度來看，ESN模型能夠很好地學習混沌系統并發掘其中存在的非線性關系^［18］。在混沌學領域中，已有的研究中也提到高斯噪聲可以用于幫助模型實現更準確的預測效果^［19］，但應該注意的是，只有仔細選擇和調整滿足高斯分布的噪聲值，才能適應不同的預測任務。

針對以往ESN模型均面向儲備池結構的優化，很少將預測任務中某些重要的影響因素引入模型架構的問題，本文中以時間序列為具體實例，模擬其中重要的影響因素，以參數或者變量的形式引入ESN模型結構中，輔助ESN模型訓練，進一步提升模型的預測精度，實現更精確的時序預測。在實際的股票預測中，至關重要的影響因素為政策干預，考慮到ESN模型內儲備池的非線性特性，因此在模型中嘗試引入具有非線性性質的因素，以提升模型預測精度。本文中提出了一種結合高斯噪聲的ESN模型，解決ESN模型框架中時序預測任務欠缺合理的影響因素模擬的問題，通過公式推導證明高斯噪聲與ESN模型結合的合理性。結合實際應用，在ESN模型框架下使用高斯噪聲模擬股市中的政策干預因素，高斯噪聲值代表政策對股市的影響，通過實驗驗證所提模型的合理性。

1 ESN模型

ESN模型的基本結構由3個部分組成，分別為輸入層、 儲備池層、 輸出層。與其他神經網絡相比，經典ESN模型的大多數參數是在訓練階段隨機初始化的，且該類參數在隨機初始化后的取值不再變化，關鍵參數的確定方式則采用最小二乘法求解。ESN模型的結構如圖1所示。由圖可知，輸入層連接權重矩陣Win建立輸入層與儲備池層之間的連接，將輸入數據分批傳遞到儲備池層，用于后續的訓練過程； 儲備池層連接權重矩陣W在儲備池層內多個節點之間建立連接，而且W的初始值也有特殊要求，即必須是稀疏矩陣以保證具有回聲狀態特性的ESN模型。該類參數在未經過訓練的情況下在一定值區間內隨機初始化。一旦初始過程完成，參數Win和W就被固定，唯一要依據數據特性進行訓

練的參數為輸出層連接權重矩陣Wout。該參數以最小二乘解的形式進行訓練，同時訓練階段結束后最終取值保持不變。

由于ESN模型的預測過程涉及到不同時間的數據的維度變化和狀態變化，因此保證該過程的關鍵是儲備池層和輸出層功能的同時活躍。儲備池層的計算公式為

x（n）=f［Winu（n）+Wx（n-1）］ ，（1）

輸出層的計算公式為

y（n）=fout［Woutx（n）］ ，（2）

式中： u（n）、 x（n）和y（n）分別是第n個時刻的輸入數據、 儲備池層的節點狀態以及預測值； f（·）、 fout（·）代表激活函數， 常用的激活函數有tanh、 sigmoid等。

ESN模型在訓練階段還須要計算關鍵參數Wout，常見的計算方法為偽逆法，計算公式為

Wout=Y·XT（XXT）^-1 ，（3）

式中： X=（x（1）， x（2）， …， x（n））為儲備池層節點所有歷史狀態構成的矩陣， x（·）為某時刻的儲備池層節點狀態； Y·=（y·（1）， y·（2）， …， y·（n））為所有歷史標簽構成的矩陣， y·（·）為某時刻的標簽值。

在此基礎上，也有研究者向其中添加正則項系數來避免可能存在的過擬合問題，提升模型的穩定性，計算公式^［20］為

Wout=Y·XT（XXT+λE）^-1 ，（4）

式中λE是正則項， λ為正則系數， E是單位矩陣。

2 結合高斯噪聲的ESN模型

股票價格的變化趨勢一直備受投資者的關注。為了使股票投資收益最大化，投資者須要考慮國家政策、國際經濟形勢和政府調控政策等多種因素。其中，政策調控對國內股票收盤價的影響最為直接和顯著，因此本文中在ESN模型框架下，將高斯噪聲用于模擬政策干預對股票價格的影響。政策干預通常是在一定的時間段內施加的，因此這個時間段可以看作是一個隨機變量，其分布可以采用高斯分布進行模擬。政策干預可能會對股票市場產生各種影響，例如改變市場的供需關系、 提高或降低股票市場的流動性等。通過將高斯噪聲添加到股票價格中，可以模擬這些影響，從而更準確地預測股票價格的走勢。

在此理論基礎與假設上，結合高斯噪聲的ESN模型的儲備池層計算公式為

x（n）=f［Winu（n）+Wx（n-1）+（n）］ ，（5）

式中（n）表示第n時刻的高斯噪聲項。

本文中將高斯噪聲與ESN結合以后的模型稱為結合高斯噪聲的回聲狀態網絡（ESN-N）模型，其結構圖如圖2所示。由圖可知，高斯噪聲是添加在儲備池層內，在此基礎上，如果加入高斯噪聲后的模型因達到了某些條件而具備了更好的預測精度，那么就說明加入噪聲后的ESN-N模型取得了更好的效果。具體的公式推導如下：

假設第n個時刻的儲備池層狀態為x（n），輸入為u（n），儲備池層的更新公式為

x（n）=f［Winu（n）+Wx（n-1）+（n）］ ，（6）

式中（n）是均值為0、 方差為σ2的高斯噪聲。 （n）可以表示為σv（n），v（n）是均值為0、 方差為1的標準正態分布序列，則公式可以寫為

x（n）=f［Winu（n）+Wx（n-1）+σv（n）］。（7）

在此基礎上，使用泰勒級數展開f（·）函數，將其近似為

f（x）≈∑Kk=0f^（k）（0）k！xk ，（8）

K趨于無窮大，將式（8）代入更新公式中，得到

x（n）=∑Kk=0f^（k）（0）k！{［Winu（n）+Wx（n-1）+σv（n）］}k 。（9）

使用二項式展開右側的多項式，得到

x（n）=∑Kk=0f^（k）（0）k∑ki=0k

i［

Winu（n）

+

Wx（n-1）

］i·

［σv（n）］^k-i 。（10）

將噪聲項的冪同樣按照泰勒公式展開， 可以得到

［σv（n）］^k-i=σ^k-iv^k-i（n）=

σ^k-i∑Kj=0v^（j）（n0）j！（n-n0）^k-i ，（11）

化簡可以得到

［σv（n）］^k-i=σ^k-iv^k-i（n）=

σ^k-i∑Kj=0v^（j）（n-1）j！k-i ，（12）

進而得到新的展開式

x（n）=∑Kk=0f^（k）（0）k！∑ki=0k

i［Winu（n）

+

Wx（n-1）］i·

σ^k-i∑Kj=0v^（j）（n-1）j！k-i 。（13）

式（13）進一步整理得到

x（n）=∑Kk=0F1［Winu（n）+Wx（n-1）］k F2［σv（n）］k 。（14）

在式（14）中， ESN模型可看作是2個濾波器的級聯組合， F1（·）k對應一個非線性濾波器， 其輸入為Winu（n）+Wx（n-1）， 輸出為非線性函數f（·）的泰勒級數展開式的前K項的加權和。 F2（·）k對應一個高斯噪聲的濾波器， 其輸入為隨機變量v（n）， 輸出為以σ為標準差的高斯分布的加權和， 通過添加高斯噪聲， ESN模型被引入更多的隨機性和非線性關系， 使得模型能夠更好地捕捉數據中的細微變化和不規則性。

3 實驗仿真

本文中實驗使用了2種數據集，分別為30支股票過去10 a的歷史收盤價與Logistic混沌序列，評價指標使用絕對誤差和（AES）、 平均絕對誤差（MAE）與均方誤差（MSE）， 三者的計算公式為

PAES=∑Ni=1yi-y·i ，（15）

PMAE=1N∑Ni=1yi-y·i ，（16）

PMSE=1N∑Ni=1yi-y·i2 ，（17）

式中： PAES、 PMAE與PMSE分別為AES、 MAE與MSE的統計結果； y·i為真實值； yi為預測值。

為了使數據更加順滑與平穩，輔助模型學習，本文中對輸入數據進行樣本分組與歸一化處理。實驗中選擇50個輸入節點、 1個輸出節點和1 024個儲備池節點。儲備池節點的激活函數采用tanh函數，學習率為0.85。實驗的目的是比較ESN、 ESN-N模型在股票數據與混沌序列的預測效果，驗證理論推導的合理性。同時，本文中還比較了CSESN模型引入噪聲前、 后的預測性能，進一步驗證高斯噪聲引入ESN模型中可以增強模型的非線性預測能力，稱引入高斯噪聲的CSESN模型為結合高斯噪聲的壓縮感知回聲狀態網絡（CSESN-N）模型。股票數據覆蓋多個不同領域，數據點總個數為103 615。實驗內容是預測股票數據的收盤價，圖3所示為一支股票數據某時刻的收盤價格。

表1所示為不同模型對股票收盤價的預測結果。由表可知，當代表政策干預的高斯噪聲引入到ESN模型中后，ESN-N模型的預測效果明顯改善，MAE、 MSE減小到了1.60×10^-3、 1.29×10^-5，與ESN模型相比減少了0.13×10^-3、 0.13×10^-5，AES也達到了更小的3.26，與ESN模型相比減少了0.26， 驗證了高斯噪聲能賦予ESN模型更強大的非線性預測能力。同樣地，引入高斯噪聲后的CSESN-N模型也展現出很好的預測效果， 與CSESN模型相比，各個指標數值均不同程度減小， 說明模型應對非線性變換的預測能力也有所提升。 本文中還將經典的反向傳播神經網絡^［21］（back propagation neural network， BPNN）模型用于股票價格預測， 并與相關模型進行對比。結果表明， 引入高斯噪聲后的ESN-N模型的MAE、 MSE以及AES與BPNN模型相比分別下降了1.84×10^-2、 6.26×10^-4以及38.28。

以引入高斯噪聲后的CSESN-N模型為例，圖4所示為該模型在預測階段對未來12 d的股票收盤價預測結果。由圖可見，CSESN-N模型很好地擬合了股票收盤價數據，實現了股票價格的精準預測，表明高斯噪聲的引入對ESN模型在混沌序列的預測同樣起到了積極的作用。

混沌序列具有初值敏感性、 隨機性、 非線性，對于該序列的準確預測須要具有良好的泛化能力，因此通過使用混沌序列進行測試，可以評估模型的非線性預測能力。本文中采用Logistic混沌序列^［22］驗證引入高斯噪聲后的ESN模型的非線性預測能力。Logistic混沌序列的數據點個數為100 000。Logistic混沌序列生成公式為

X（n+1）=uX（n）［1-X（n）］ ，（18）

式中： u為繁殖率，決定混沌序列節點的分布形式，取值為［0， 4］； X（n）為第n時刻的混沌序列的節點狀態，取值為［0， 1］。Logistic混沌序列部分節點分布如圖5所示。

不同模型在Logistic混沌序列的預測效果如表2所示。實驗選取的高斯噪聲均值與方差均與前文保持一致，ESN-N模型引入的隨機生成的高斯噪聲的均值為5×10^-3，方差為2.5×10^-5； CSESN-N模型加入的高斯噪聲的均值為10^-3，方差為10^-5。由表中結果可以看出： 引入高斯噪聲能夠提升ESN模型的非線性預測能力。 與ESN模型相比，CSESN模型表現出更強的非線性預測能力，而且高斯噪聲的引入進一步提升了CSESN模型的預測精度，與CSESN模型相比，CSESB-N模型的MAE、 MSE以及AES分別下降了5.29×10^-4、 1.374×10^-6以及1.03。圖6所示為CSESN-N模型的在預測階段對未來12個時間步的Logistic混沌序列預測結果。由圖可以看出，CSESN-N模型在混沌序列的預測值與真實值幾乎一致，具有優秀的非線性預測性能。

4 結論

本文中將高斯噪聲與ESN模型結合，增強了ESN模型的非線性預測能力，提高了模型在股票預測以及混沌序列預測中的準確性。結合股票預測與混沌序列預測實驗，證明代表政策干預的噪聲值引入到ESN模型后，ESN模型具有更好的非線性預測性能。相關結論總結如下：

1）當滿足高斯分布的噪聲值被引入到ESN模型中時， 噪聲值的非線性特點使得ESN獲得更強的非線性預測能力， 有助于模型獲得更準確的預測結果。

2）在ESN模型中使用高斯噪聲模擬股市中的政策干預因素，能夠反映政策干預對股市的影響，采用本文中提出的結合高斯噪聲的回聲狀態網絡模型能夠更準確地預測股票收盤價的波動，取得更精確的預測結果。

參考文獻：

［1］ JAEGERH，HAASH.Harnessingnonlinearity：predictionofchaotictimeserieswithneural networks［J］. Science， 2004， 304（5667）： 78.

［2］ 甄遠婷， 冶繼民， 李國榮. 基于中心Copula函數相似性度量的時間序列聚類方法［J］. 陜西師范大學學報（自然科學版）， 202 49（1）： 29.

［3］ HU H L， LIN W， LYU S X. Forecasting energy consumption and windpowergenerationusingdeepechostatenetwork［J］.Renewable Energy， 2020， 154： 598.

［4］ CHEN H C， WEI D Q. Chaotic time series prediction using echo state network based on selective opposition grey wolf optimizer［J］. Nonlinear Dynamics， 202 104（4）： 3925.

［5］ RIBEIROGT，SANTOSAAP，MARIANI V C， et al. Novel hybrid model based on echo state neural network applied to the prediction of stock price return volatility［J］. Expert Systems with Applications， 202 184： 115490.

［6］ SUN C X， SONG M X， CAI D R， et al. A systematic review of echo state networks from design to application［J］. IEEE Transactions on Artificial Intelligence， 2022， 5（1）： 23.

［7］ WANG H， LONG X Y， LIU X X. FastESN： fast echo state network［J］. IEEE Transactions on Neural Networks and Learning Systems， 2023， 34（12）： 10487.

［8］ ZHANG H， ZHENG M W， ZHANG Y P， et al. Application of ESN prediction model based on compressed sensing in stock market［J］. Communications in Nonlinear Science and Numerical Simulation， 202 101： 105857.

［9］ WANG Z J， ZHAO H， ZHENG M W， et al. A novel time series prediction method based on pooling compressed sensing echo state network and its application in stock market［J］. Neural Networks， 2023， 164： 216.

［10］ LIU J M， XU X， LI E. A minimum complexity interaction echo state network［J］. Neural Computing and Applications， 2024， 36： 4013.

［11］ 高健， 顏子翔， 肖井華. 儲備池算法與動力系統分析研究進展［J］. 北京師范大學學報（自然科學版）， 2023， 59（6）： 860.

［12］ 秦鳳鳴， 徐宗玲， 王有貴. 政府政策對股價波動的影響：基于中國市場的證據［J］. 數量金融學， 2018， 18（9）： 1479.

［13］ YUN S S， KANG J M， KIM I M， et al. Deep artificial noise： deep learning-based precoding optimization for artificial noise scheme［J］. IEEE Transactions on Vehicular Technology， 2020， 69（3）： 3465.

［14］ CARTIS C， ROBERTS L， SHERIDAN M O. Escaping local minima with local derivative-free methods： a numerical investigation［J］. Optimization， 2022， 71（8）： 2343.

［15］ KHAN S H， HAYAT M， PORIKLI F. Regularization of deep neural networks with spectral dropout［J］. Neural Networks， 2019， 110： 82.

［16］ LI D C， HAN M， WANG J. Chaotic time series prediction based on a novel robust echo state network［J］. IEEE Transactions on Neural Networks and Learning Systems， 2012， 23（5）： 787.

［17］ SORIANO M C， ORTIN S， KEUNINCKX L， et al. Delay-based reservoircomputing：noiseeffectsinacombined analog and digital implementation［J］. IEEE Transactions on Neural Networks and Learning Systems， 2014， 26（2）： 388.

［18］ PATHAK J， HUNT B， GIRVAN M， et al. Model-free prediction of large spatiotemporally chaotic systems from data： a reservoir computingapproach［J］.PhysicalReviewLetters，2018，120（2）：024102.

［19］ 李立祥，李鵬，張鑫.基于高斯噪聲擾動和多群體粒子群優化的混沌時間序列預測［J］.非線性動力學學報，2021，101（2）：1149.

［20］ WANG C， PENG G H， LIN W. Robust local metric learning via least square regression regularization for scene recognition［J］. Neurocomputing， 202 423： 179.

［21］ WYTHOFF B J. Backpropagation neural networks： a tutorial［J］. Chemometrics and Intelligent Laboratory Systems， 1993， 18（2）： 115.

［22］ 徐震，沈云柱.概周期驅動的二維分段線性范式系統的奇異非混沌吸引子［J］.濟南大學學報（自然科學版），2022，36（2）：231.

（責任編輯：劉建亭）