基于混合神經網絡和注意力機制的混沌時間序列預測*

黃偉建 李永濤 黃遠

(河北工程大學信息與電氣工程學院,邯鄲 056038)

為提高混沌時間序列的預測精度,提出一種基于混合神經網絡和注意力機制的預測模型(Att-CNNLSTM),首先對混沌時間序列進行相空間重構和數據歸一化,然后利用卷積神經網絡(CNN)對時間序列的重構相空間進行空間特征提取,再將CNN提取的特征和原時間序列組合,用長短期記憶網絡(LSTM)根據空間特征提取時間特征,最后通過注意力機制捕獲時間序列的關鍵時空特征,給出最終預測結果.將該模型對Logistic,Lorenz和太陽黑子混沌時間序列進行預測實驗,并與未引入注意力機制的CNN-LSTM模型、單一的CNN和LSTM網絡模型、以及傳統的機器學習算法最小二乘支持向量機(LSSVM)的預測性能進行比較.實驗結果顯示本文提出的預測模型預測誤差低于其他模型,預測精度更高.

1 引 言

非線性科學的研究涉及到社會科學和自然科學的各個領域,如金融、電力、水文和天氣等.這些呈現出混沌現象的動力學系統中,任一變量隨時間演化而產生的混沌時間序列,都蘊含著系統豐富的動力學信息,而這些信息往往包含著具有重要價值的內容.對混沌時間序列的研究,就是要將其豐富的動力學信息提取出來,并應用到實際中去.在實際運用中,對混沌時間序列進行預測一直以來都是研究的熱點.文獻[1]提出一種分數階最大相關熵的自適應濾波算法,在混沌時間序列的預測中可以減少噪聲影響,預測結果準確率有所提升.文獻[2]提出了一種較為新穎的混沌時間序列預測方法,使用自適應遺傳算法優化大腦情感學習,該方法能夠有效地反映混沌時間序列的發展趨勢,預測結果也優于傳統神經網絡.文獻[3]提出一種貝葉斯框架下的魯棒極端學習機,利用高斯混合分布和變分法使預測模型可以對異常點有較好的魯棒性.文獻[4]將改進的內核遞推最小二乘算法運用于多元混沌時間序列的預測,并證明了該預測方法的有效性.文獻[5]提出使用向量投影來改進傳統的灰色關聯分析模型,能夠在多元混沌時間序列預測中減少輸入維度,并提高預測精度.為了降低混沌時間序列的非平穩性和非線性帶來的預測誤差,文獻[6]提出使用集合經驗模態分解和奇異譜分析對混沌時間序列進行分解,該方法在風能預測中取得了較好的表現.

近年來,隨著深度學習技術和硬件技術法發展,已有研究人員將深度學習算法運用到混沌時間序列的預測中,文獻[7]用長短期記憶網絡(longshort-term memory,LSTM)搭配合適的組合策略,驗證了在低維情況下LSTM在混沌時間序列預測上能夠取得較好的效果； 文獻[8]則進一步驗證了使用LSTM預測混沌時間序列不僅能夠取得較好的預測效果,且預測模型具有較好的魯棒性.結合混沌理論和經驗模態分解,文獻[9]使用LSTM搭建預測模型,取得了可靠性高的預測結果,且預測模型具有一定的泛化能力.文獻[10]利用卷積神經網絡 (convolutional neural networks,CNN)訓練連續和離散的低維混沌時間序列生成一個分類器,使其能夠識別并分類高維狀態下的混沌時間序列.

相比最小支持向量機(LSSVM)[11,12]、極端學習機[3,13]等傳統機器學習算法,LSTM和CNN等深度學習算法具有更強大的學習能力,在處理回歸問題上,對非線性數據具有很好的逼近能力.因此,為了進一步提高混沌時間序列的預測精度,本文結合混沌系統的相空間重構理論,提出一種基于深度學習算法的混沌時間序列混合預測模型(Att-CNN-LSTM).首先,將獲取的時間序列進行數據預處理,即重構相空間和數據歸一化.然后提出利用注意力機制捕獲CNN的相空間特征和LSTM的時間特征,并對輸出結果進行權衡,給出預測結果.最后將提出的預測模型分別應用于Logistic、Lorenz和太陽黑子混沌時間序列,仿真實驗結果表明本文提出的預測模型可以有效地對混沌時間序列進行預測,且與其他預測方法相比,Att-CNNLSTM模型具有更高的預測精度.

2 數據預處理

在時間序列的分析中,影響序列的因素很多,而且在動力系統中,這些影響因素的動力學方程往往都是非線性的,更有可能是混沌的[14].對于表現出混沌特性的時間序列,對序列進行重構相空間是研究序列所在動力系統狀態的重要方法.因此,在搭建和訓練預測模型之前要對混沌時間序列進行相空間重構,此外,為消除量綱,提升模型的收斂速度和預測精度,再對原序列和重構的相空間數據進行歸一化處理.

2.1 重構相空間

重構相空間理論的出現為混沌時間序列的預測提供了理論基礎,在重構相空間的基本思想中,系統中任一變量的變化是由相互作用著的其他變量所決定的,因此任一變量的發展變化都蘊含著其他變量發展變化的信息[14].根據Packard等[15]提出的理論,使用動力系統中某一變量的延遲坐標即可重構相空間,Takens[16]則證明了在合適的嵌入維下,即可恢復原動力系統的維數.為實現相空間的重構,使用互信息法 (mutual information)[17]確定延遲時間τ,Cao 法[18]確定嵌入維數m.

設有時間序列{x1,x2,x3,···,xN-1,xN},其長度為N,計算時間延遲τ和嵌入維數m,則相空間域 數 據 集={X(t),Y(t)},t=1,2,···,M,其 中M=N-(m-1)τ,X(t)=[Xt,Xt+τ,···,Xt+(m-1)τ],Y(t)=[Xt+1],矩陣表示如下：

2.2 數據歸一化

在深度學習中,對數據集尤其是對非線性的回歸數據集進行歸一化操作是非常有必要的預處理步驟,因為歸一化操作不僅可以消除量綱,將數據統一到相同的尺度上,還可以提升模型的收斂速度和預測精度.本文利用歸一化將相空間域數據集和原始混沌時間序列數據集都統一到(0,1)范圍之間,歸一化函數可表示為

相空間域數據集Dˉ 和混沌時間序列經過數據預處理后的數據集可表示為重構相空間域D和混沌時間序列T.數據預處理的過程表示如圖1所示.

圖1 數據預處理過程Fig.1.The process of data preprocessing.

3 算法模型

在混沌時間序列的預測中,不同類型的神經網絡具有的作用也不同.序列的重構相空間表示了原動力系統空間特征,而序列中也蘊含著豐富的時間特征.因此,本文提出Att-CNN-LSTM模型,利用CNN模型獲取序列重構相空間的空間特征,通過LSTM得到空間特征下的時空特征,并采用注意力機制捕獲混合神經網絡提取到的關鍵時空特征.

本節主要介紹Att-CNN-LSTM模型的框架結構,如圖2所示,主要包括如下細節：

(1)數據預處理： 先對序列進行重構相空間,然后進行歸一化處理；

(2)卷積神經網絡層： 處理網絡輸入的重構相空間域D,進行卷積操作,獲取空間特征并輸入到Concatenate層；

(3)長短期記憶網絡層： 將Concatenate層融合得到的張量輸入到LSTM中,網絡根據CNN提取的空間特征獲取時空特征；

(4)注意力層： 計算CNN和LSTM獲取的時空特征的權重,獲得序列的完整特征表示,根據特征計算預測數值.

圖2 Att-CNN-LSTM 模型Fig.2.Att-CNN-LSTM model.

3.1 卷積神經網絡CNN

卷積網絡[19],又稱卷積神經網絡,是一種特殊的深度學習神經網絡,常用于處理具有已知網格狀拓撲的數據[20],在時間序列分析、計算機視覺和自然語言處理等領域有著廣泛的運用.根據處理數據流的不同,CNN可以分為一維卷積、二維卷積和三維卷積,其中一維卷積在時間序列分析和自然語言處理領域運用較多,本文采取的CNN結構就屬于一維卷積神經網絡[21],如圖3所示.不管是何種CNN,其組成主要包括基本的輸入層和輸出層,核心操作部分為卷積層、池化層(亦稱采樣層)和全連接層.在一維卷積中,卷積的作用可以理解為提取數據在某一方向的平移特征,在時間序列的分析中則表現為提取序列的特征,在這里卷積操作的本質是循環乘積與加和,其數學表達如下：

式中y,h,u均為序列,k表示卷積次數,N為u的長度.

圖3 一維卷積網絡Fig.3.One dimensional convolutional network.

3.2 長短期記憶網絡

循 環 神 經 網 絡 (recurrent neural network,RNN)是常規前饋神經網絡的擴展,能夠處理可變長度序列輸入.RNN通過循環隱藏狀態單元來處理可變長度序列,但是RNN在訓練時會出現梯度消失和梯度爆炸,因此RNN很難捕獲數據的長期依賴[22].為解決RNN梯度消失的難題Hochreiter和 Schmidhuber[23]提出了長短期記憶網絡,LSTM是一種門控循環神經網絡,是RNN的一種特殊表現形式,能夠很好地捕獲數據之間的長期依賴[24].

圖4 LSTM 結構Fig.4.The structure of LSTM.

在LSTM單元結構中共有三個“門”： 遺忘門、輸入門和輸出門,其結構如圖4所示.在LSTM中,通過輸入門 i 、遺忘門 f 、輸出門 o 以及一個記憶單元 s 來實現長期記憶或遺忘信息,設當前時刻為t,則s〈t-1〉為前一時刻的記憶單元狀態,s?〈t〉為當前輸入 狀 態 信 息,h〈t〉和s〈t〉為 當 前LSTM的 輸 出 值.LSTM單元的計算公式如(3)式—(8)式所示.

式中W為各個門的權重向量,b為偏置向量,σ為sigmoid函數,ta nh 為非線性激活函數.

3.3 注意力機制

人類大腦在觀察某一事物時,往往會將注意力集中到事物的某些部分,這些注意力集中的部分往往也是從事物上獲取信息的關鍵,這些信息對于認知同類事物有著很強的指引作用,而注意力機制(attention mechanism)[25]就是一種模仿這一認知過程的特殊機制.注意力機制在計算機視覺和自然語言處理領域的運用已經取得了較好的結果[26,27],本文將注意力機制運用到時間序列的分析中.

在混沌時間序列的分析中,先用CNN提取序列的空間特征,在用LSTM根據空間特征提取時空特征后,過多或非關鍵的特征會影響最后的預測結果.因此,利用注意機制來提取序列的關鍵特征.注意力機制可以簡單地理解為一個加權求和器,也可以理解為一個關鍵特征提取器,它主要進行的是加權求和操作.本文提出的注意力模型如圖5所示,向量c即為提取的關鍵特征,其計算公式如下：

式中m為輸入LSTM網絡的時間步總和；v為LSTM網絡輸出的特征向量,β為向量v的權值.

圖5 注意力模型Fig.5.Attention model.

為了獲得權值β,在注意力模型中加入了一個小型的神經網絡a,其輸出層激活函數為softmax,計算公式表示如下：

其中,ei可由ei=a(vi)=σ(Wvi+b)算得,且σ為sigmoid函數,W是圖5中輸入層至隱藏層的權重矩陣,b為偏置值矩陣.

3.4 其 他

如圖2所示,Att-CNN-LSTM模型中添加了Concatenate層和 Dropout層,其中 Concatenate層是為了將卷積神經網絡的輸出,即序列的空間特征與原序列T進行特征融合.在深度學習模型中加入Dropout層很常見,其作用主要是為了防止模型訓練時出現過擬合,進而提升模型的魯棒性和泛化能力.

4 實驗分析與討論

本文所有實驗均在阿里云服務器ECS上進行 ,CPU 類 型 為 Intel Skylake Xeon Platinum 8163 2.5 GHz,內存 8 GB,所有程序代碼均用 Python(3.7.7版本)語言編寫,使用的編輯器為Jupyter notebook.

為驗證Att-CNN-LSTM模型的預測能力,利用Logistic、Lorenz和太陽黑子混沌時間序列進行實驗,并與未加入注意力機制的CNN-LSTM模型、單一的LSTM和CNN模型,以及LSSVM模型進行誤差對比.為了評價預測誤差,除了采用常用的均方根誤差(RMSE)、平均絕對誤差(MAE)和平均絕對百分比誤差(MAPE)外,再引入一個在評價時間序列預測性能中常用的均方根百分比誤差(RMSPE),即：

式中I為預測樣本數；yi和分別為預測值和真實值.

4.1 Logistic時間序列預測

Logistic混沌映射方程為

當 3 ≤μ≤4 時Logistic映射的動力系統由周期轉向混沌,本文選取方程的初始值為x0=0.32 ,參數μ=3.8.為保證混沌性,舍棄前 10000 個數據,選取后3000個數據作為模型數據樣本.利用互信息法和Cao法分別求得樣本的延遲時間為9,嵌入維度為15,而后對樣本進行相空間重構,共得到2873個有效相點,按照8∶2劃分訓練集和測試集,即前80%作為訓練集后20%作為測試集.數據預處理后,用Att-CNN-LSTM模型進行訓練預測,預測結果和預測相對誤差如圖6和圖7所示,表1列出了Att-CNN-LSTM模型和其他模型的預測結果對比.

圖6 Logistic 序列預測Fig.6.Logistic series prediction.

圖7 Logistic 序列預測相對誤差Fig.7.Logistic series prediction relative error.

表1 模型誤差對比Table 1.Model error comparison.

從圖6和圖7中可以看出,Att-CNN-LSTM對Logistic時間序列的預測取得了較好的結果,不僅能夠預測序列變化的趨勢,且真實值和預測值之間的誤差較小,說明本文提出的模型取得了較高的預測精度.如表1 所列,與 CNN-LSTM,LSTM,CNN 和LSSVM等模型的預測誤差對比,Att-CNN-LSTM的各項預測誤差均為最小,說明本文提出的模型預測精度高,預測性能較好.與未引入注意力機制的CNN-LSTM預測模型相比,Att-CNN-LSTM對預測精度的提升較為明顯,說明注意力機制在模型中提取到了序列的關鍵時空特征,使得預測結果更加準確.值得注意的是,單一的CNN和LSTM模型的預測結果優于CNN-LSTM混合模型,說明混合模型下的非關鍵特征在一定程度上降低了預測精度,這也說明了注意力模型在CNN-LSTM混合模型中具有重要的作用.此外單一的CNN預測模型在Logistic數據集上的預測表現優于單一的LSTM模型,說明CNN在Logistic序列高緯度相空間下提取的空間特征好于LSTM提取的時間特征,從Att-CNN-LSTM模型與這兩個單一模型的對比中,可以發現僅依賴單一的時間或空間特征,難以獲得精度較高的預測結果,而注意力模型提取關鍵時空特征能夠提升預測精度,是一個較為理想的預測方法.

為了更全面地對比本文提出的Att-CNNLSTM模型的預測性能,表2中列出了各個模型的訓練和預測時間.不難看出,在模型的訓練階段,單一的CNN,LSTM和LSSVM預測模型所用的時間較小,分別為 59.5,48.8 和 215.4 s.相比之下,混合模型因為模型較為復雜,所需進行的運算更多,所以訓練時間用時較多,其中Att-CNN-LSTM用時 312.7 s,CNN-LSTM 用時 302 s.但是在測試階段,各個模型所用時間相差不大,雖然單一模型的預測用時仍比混合模型短,但是都控制在0.6 s以內.綜合各個模型的預測誤差表現,本文提出的預測模型具有較高的性價比,且預測優勢明顯.

表2 模型運行時間對比Table 2.Model running time comparison.

4.2 Lorenz時間序列預測

Lorenz混沌映射方程為

選 取 方 程 的 初 始 值 為x=y=z=1 ,參 數a=10,c=28 ,b=8/3.為保證混沌性,舍棄前10000個數據,選取后3000個數據作為模型數據樣本.本文選取Lorenz系統的x分量進行預測分析,先利用互信息法和Cao法分別求得樣本的延遲時間為17,嵌入維度為7,而后對樣本進行相空間重構,共得2898個樣本,取前80%作為訓練集,后20%作為測試集.同樣在經過數據預處理后,用Att-CNN-LSTM模型進行訓練預測,預測結果和預測相對誤差如圖8和圖9所示,表3列出了Att-CNN-LSTM模型和其他模型的預測誤差對比,表4則列出了各個模型的運行時間.

圖8和圖9所展示的Lorenz(x)序列預測結果很好地表現了Att-CNN-LSTM的預測性能,在預測集上,模型的預測結果誤差較小,精度較高,非常接近真實值.從表2中也能看出,在Lorenz樣本集上本文提出的Att-CNN-LSTM模型表現依然出色,且Att-CNN-LSTM的預測性能明顯優于CNN-LSTM,LSTM,CNN 和 LSSVM 等模型,RMSE,MAE,MAPE 和 RMSPE 四項預測指標分別降低至 0.00679,0.0521,1.2182 和 2.1102,相比其他模型精度提升較為明顯.不同于在Logistic樣本集上的表現,CNN-LSTM在Lorenz樣本集上的表現雖然不如Att-CNN-LSTM模型,但是卻優于單一的CNN和LSTM模型,各項預測指標也下降較多.在單一模型中,在RMSE指標下LSTM的預測性能略好于CNN,但在其他指標下其預測性能略低于CNN,此外,LSSVM的綜合表現優于CNN和LSTM.在運行時間方面,單一的預測模型在訓練和測試階段所用時間依然低于混合模型,但時間差距有所縮小.此外,在 Lorenz 樣本集上,Att-CNN-LSTM模型的運行時間低于CNN-LSTM模型,綜合考慮下,本文提出的模型依然具有較高的預測性能.

圖8 Lorenz(x)序列預測Fig.8.Lorenz(x) series prediction.

圖9 Lorenz(x)序列預測相對誤差Fig.9.Lorenz(x) series prediction relative error.

表3 模型誤差對比Table 3.Model error comparison.

表4 模型運行時間對比Table 4.Model running time comparison.

4.3 太陽黑子時間序列預測

在Logistic和Lorenz這兩個理論混沌系統中,Att-CNN-LSTM表現出了較好的預測性能,為驗證其在真實動力系統的表現,采用太陽黑子時間序列檢驗其預測性能.本文采集了1749-2019年的太陽黑子數據,共有3252條數據,經過相空間重構后,產生3094組樣本數據,訓練集和測試集仍以8：2比例劃分,即前80%作為訓練集后20%作為測試集.預測結果和誤差如圖10和圖11所示,表5和表6則列出了Att-CNN-LSTM模型和其他模型的預測結果對比.

從圖10和圖11中可以看出,Att-CNN-LSTM模型在太陽黑子時間序列的預測上仍然具有較好的表現,能夠很好地預測序列的變化趨勢,盡管有部分時間點的預測誤差達到了4.7%,但是總體誤差依然保持在較低的水平.如表3所列,雖然Att-CNN-LSTM模型在真實數據集上的預測提升不如對Logistic和Lorenz等理論數據集,但是其預測誤差仍低于其他模型.相比其他預測模型,Att-CNN-LSTM至少降低了19%的RMSE值,6%的MAE值,23%的MAPE值和4%的 RMSPE值,預測精度提升依然較為明顯.此外,CNN,LSTM和LSSVM的綜合預測性能相差不多,但是都優于CNN-LSTM模型.在運行時間方面,雖然Att-CNN-LSTM模型的訓練時間多于其他模型,但是其預測時間為已低至0.39 s.綜合各模型的預測誤差和運行時間分析,本文提出的模型依然具有較好的預測性能.

圖10 太陽黑子序列預測Fig.10.Sunspot series prediction.

圖11 太陽黑子序列預測相對誤差Fig.11.Sunspot series prediction relative error.

表5 模型誤差對比Table 5.Model error comparison.

表6 模型運行時間對比Table 6.Model running time comparison.

4.4 討 論

由4.1—4.3節的實驗和分析可知,本文提出的 Att-CNN-LSTM模型在 Logistic,Lorenz和太陽黑子三個混沌時間序列上取得了優于其他模型的預測性能.在Att-CNN-LSTM模型中,CNN模型可以提取混沌時間序列重構相空間下的空間特征,LSTM則根據CNN提取的空間特征提取原時間序列的時空特征,而注意力模型對CNN-LSTM提取的時空特征進行篩選,對重要的特征賦予高權重,并弱化非關鍵特征,這對預測精度的提升起到了重要作用.在混沌時間序列的高維重構相空間內,混沌系統的內在信息被挖掘出來,但是并非所有信息都有利于預測,過多的非關鍵的信息會影響到預測精度.原始的混沌時間序列雖然蘊含著混沌系統的時序特征,但在復雜的混沌系統中,僅僅依靠時序特征很難獲取精度較高的預測結果.此外,若同時考慮混沌系統的空間和時間特征,所涉及的信息和特征會很多,那些不重要的信息和特征會對預測造成負面影響,不利于預測精度的提升.

實驗中發現,Logistic和太陽黑子混沌時間序列擁有較高的相空間展開維度,其所在的混沌系統較為復雜,而Lorenz的展開維度相對較低,其動力系統相對簡單.混合模型CNN-LSTM在高維相空間下的預測精度明顯不如單一的CNN和LSTM模型,但是在低維情況下,CNN-LSTM的預測精度又明顯優于單一預測模型,這說明在復雜的混沌系統下,過多的信息和非關鍵特征影響了預測精度,而注意力模型能夠通過提取關鍵特征解決這些問題,使得預測精度有所提升,三個預測實例也很好地證明了本文提出的注意力模型能夠提升混合模型CNN-LSTM預測性能.

5 結 論

本文利用注意力機制捕獲混合神經網絡CNNLSTM的時空特征,提出了一種用于混沌時間序列預測的Att-CNN-LSTM模型.結合相空間重構理論,用CNN提取動力系統重構相空間下的空間特征,讓LSTM根據空間特征提取序列的時間特征.作為模型的關鍵部分,注意力模型的設計關系到序列的特征獲取,進而影響到預測精度.因此,為更好地獲取時間序列的特征,可以通過添加非線性激活函數來獲取加權參數.仿真實驗結果表明,本文提出的模型在幾個混沌時間序列的預測上都取得了較好的結果,且預測精度高,預測性能較好.