偏置剪枝疊式自編碼回聲狀態網絡的時序預測

劉麗麗，劉玉璽，王河山+

(1.陜西師范大學 物理學與信息技術學院，陜西 西安 710062；2.鄭州大學 電氣工程學院，河南 鄭州 450001)

0 引 言

多變量時間序列[1-5]一般都有著較高的維度特征，其中各個特征不僅受過去值的影響，同時各個變量也有著較強的時間依賴性，因此多變量時間序列預測難度較高[6]。

回聲狀態網絡(ESN)[7，8]作為一種優化的RNN網絡，能夠避免RNN中反向傳播和梯度下降出現的計算復雜度、收斂緩慢和陷入局部最優等問題[9]。

經典的ESN模型結構簡單，僅采用一個隨機稀疏連接的儲備池，因此被廣泛用于時間序列相關的應用中[10-12]。ESN網絡僅采用了單個儲存池，對于較為龐大的數據與變量波動較大的數據來說，其動態豐富度不足以滿足預測需求。Gallicchio等[13]提出了基于ESN的深度學習框架，利用多個儲備池來豐富網絡內部的動力學特性。Wuzhou等[14]利用一種新型的鏈式ESN結構來學習輸入的局部特征，也取得了較好的效果。深度ESN也能夠進一步增加網絡的短期記憶容量與動態特性[15]。多層網絡效果明顯優于單層網絡[16]。但是，現有的深度ESN網絡采用多個儲存池堆疊或并行的方式以增加其特征映射和提取能力。這種方式卻忽略了面向實際對象時的魯棒性，也沒有解決隨機的輸入權重和冗余的特征。

本文在提出的疊式深度ESN框架基礎上利用生成式AE算法獲得穩定的輸入權值，并通過BD算法進行權值篩選，從而獲得有效特征以提高預測精度。

1 回聲狀態網絡(ESN)

ESN通過初始化初始參數和網絡動態構造出一個高維非線性空間，可以通過非線性空間組合得出期望的輸出。ESN的快速性和高準確性使得其在多個領域得到了廣泛的應用，尤其是其短期記憶能力使得ESN網絡在時序任務上有著較為突出的表現。

對于給定的輸入 {U，Y}， ESN由3個部分組成：①輸入部分U是由K×I維的矩陣構成，其中I是輸入個數；②儲存池狀態矩陣R是由N×I維的矩陣構成，其中N是儲備池單元數量；③輸出部分，包括L×I維的輸出O。 而每一層之間都有連接矩陣，從輸入層到儲備池之間的連接矩陣稱之為輸入權重矩陣Win∈RN×K， 儲備池內部的稀疏連接矩陣W∈RN×N， 和一個輸出層到儲備池的反饋矩陣Wback∈RN×L， 這3個矩陣都是在網絡訓練前初始化生成的，整個網絡需要訓練的是儲備池到輸出層的權重矩陣Wout。 ESN有著結構簡單，訓練快速等優點。

基本的回聲狀態網絡模型的結構如圖1所示，其中虛線箭頭代表了需要被訓練的權值。儲備池狀態和輸出的更新方程在時間步t∈{1，2，…，I} 時為

圖1 基本回聲狀態網絡結構

R(t)=f(Win·U(t)+W·R(t-1)+Wback·O(t-1))

(1)

O(t)=fout(Wout·R(t))

(2)

其中，f為儲備池狀態的激活函數，一般取值為tanh，fout為輸出層的激活函數，一般取為linear或者tanh，本文取linear。最終，輸出權重矩陣通過廣義逆算法計算，如式(3)所示

(3)

當ESN網絡中儲備池內部的稀疏連接矩陣的譜半徑小于1時，ESN將具有“回聲”即短時記憶性的效應。

2 BD-AE-SGESN模型構建

2.1 生成式ESN-AE算法

ESN-AE(Auto-encoder)模型是利用ESN作為中間網絡構成的自編碼回歸器，其特點是利用輸入等于輸出，以更好獲得輸入數據特征，其特征映射矩陣可以通過式(3)獲得。ESN-AE一般作為兩層結構，第一層通過將輸入數據映射到N維特征空間，第二層則利用得到的映射矩陣作為輸入權重矩陣，以提取輸入樣本特征。ESN-AE有著較好的特征提取能力。受到流形學習在半監督問題的邊緣概率分布影響，提出了生成式AE(AE-GESN)算法。在生成式AE中引入流形正則化，能夠保證相鄰的原始數據在輸出空間中更加接近，能夠獲得比普通ESN-AE更好的效果。

(4)

(5)

(6)

一般情況，計算式(6)關于輸出權重Wout的梯度為

(7)

其中，C為N×N的對角矩陣且其中對角元素為κ， 通過設置梯度為0，可以得到生成式ESN-AE的解分為兩個。第一個是當訓練樣本輸入大于儲備池大小時，則有

(8)

而當輸入樣本個數小于儲備池大小時，則R中列多于行，則生成式ESN-AE的解為

(9)

通常，參數κ設置為1，參數λ設置為0.9。因此，獲得了之后的新的輸入權重則為每一層中經過生成式ESN-AE算法的計算，BD-AE-SGESN算法中每一層的輸入權重

(10)

2.2 Biased Drop-weight偏置剪枝算法

Dropout作為一種有效的正則化方法常用于深度神經網絡中。由于在訓練較大的網絡結構時很難找到每一層的最優參數，Dropout提供了一種通過固定丟棄概率的方法，以隨機丟棄隱層輸出和連接矩陣來組合多層網絡。其中每一層單元有著同樣概率，然后這些單元被丟棄，然而固定的丟棄概率不能夠有效考慮到特征層中特征的重要性。當在每個隱層中引入相同比例的噪聲后，沒有充分考慮到每一層中的特征對網絡的貢獻度的差別，使得Dropout本身的有效性降低[18]。與Dropout不同的是，Biased Dro-pout[18]根據隱層對網絡的貢獻度將其分成兩部分，并分別設置不同的丟棄概率，以對輸入權重剪枝的同時保留更多有用的特征。同時，另有研究[19]將其應用于連接矩陣以對不同層之間的特征進行特征選擇，從而減少網絡中的過擬合現象。

受到此類思想的啟發，本文提出了Biased Drop-weight偏置剪枝算法(BD)，根據輸入層對應的輸出設置不同的丟棄概率，以對輸入特征進行選擇。通過設置閾值將輸入層的輸出分為高激活組和低激活組，并設置不同的丟棄概率，來選擇有效的輸入特征。

將輸入層視作相互獨立的輸入單元，其對整體網絡結構的輸出有著不同的貢獻度，BD算法將輸入層的輸出根據值的大小分成兩組，分別是gh和gl。gh組對應的是對網絡有著較高貢獻度的，對應的丟棄率ph應較低；gl組對應的是對網絡有著較低貢獻度的，對應的丟棄率較高。在實驗中，采用輸入層的輸出的中位數作為閾值來分組。在訓練階段，通過丟棄概率將兩組中對應的不同的輸出設置為0，保留的輸出值將會保持不變。

mαj～Bernoulli(1-ph)

(11)

對應gl組中的索引值βi∈β

mβi～Bernoulli(1-pl)

(12)

即最終得到的m向量為單位向量或者為0。將M同輸入層進行點積運算，來對輸入特征進行選擇。式(1)更新為

(13)

其中，⊙表示矩陣的元素積，即相同大小的矩陣相同位置元素相乘。

2.3 BD-AE-SGESN模型構建

深度ESN框架的目標主要是為了解決ESN短時記憶能力的局限性，為了增加訓練集中輸出的特征與模型的魯棒性，提出了結合BD和AE-GESN算法的深度ESN框架。

BD-AE-SGESN是由多層ESN模型堆疊構成的，每一層ESN的輸入權重首先由AE-GESN算法獲得，這樣能有效保留輸入特征的輸入權值，之后通過BD算法進行剪枝以進一步保留有效特征，整體結果如圖2所示。通過BD算

圖2 BD-AE-SGESN模型網絡結構(3層為例)

法對每一層ESN的輸入進篩選后，每一層就可以學到不同的輸入的動態特征。同時，每一層的輸入都包含了之前一層的輸出作為新的輸入。通過多層深度的學習，BD-AE-SGESN最終能夠有效映射所有有效輸入的動態特征，以獲得最終預測結果。為了能夠使得網絡保持穩定，所有模型的儲備池大小，反饋矩陣Wback和儲備池稀疏連接矩陣W是初始化生成后共享的。

R(n)(t)=f(M⊙(Win·I(n)(t))+W·R(n)(t-1)+
Wback·O(n)(t-1))

(14)

(15)

其中，I(n)(t) 為第n層的輸入，除了第一層是由BD算法得到的輸入外，其余層將由之前一層的輸入一同生成，如式(16)所示

(16)

BD算法對每一層的有效特征進行選擇，使得每一層的網絡能夠充分映射動態特征。第n層得到的輸出權值矩陣的計算公式為

(17)

(18)

通過堆疊式獲得的模型在多變量時間序列預測上有著更強的魯棒性，同時也能夠更靈活調整層數以應對不用的對象類型。當一層中的輸入有著較多干擾或者相關度較低變量時，BD-AE-SGESN中其它層將會通過選擇有效的特征將提供較為穩定的輸出。

3 實驗分析

此仿真實驗是在Intel Core i5-10400F CPU，主頻1.90 GHz，16 GB內存，MATLAB R2020a的編程環境下完成的。

3.1 實驗所用數據集及處理

在此章節，為了驗證提出模型的有效性，3個多變量時間序列數據集作為實驗所用的基準數據集，分別是經典的NARMA多變量混沌系統[20]，北京西城區官園PM2.5濃度[21]和基本負荷運行的聯合循環電廠的電力輸出[22](CPP)。其中，NARMA系統由式(19)生成

(19)

PM2.5濃度和CPP數據對于衡量空氣質量和工業指標有著極為重要的作用，由于多變量的因素使得目標值的預測較為困難。所采用數據集的基本屬性信息見表1。

表1 實驗基準數據集

為了消除數據中出現的量綱差異，按照式(20)對數據進行歸一化處理

(20)

3.2 實驗設置

歸一化均方根誤差(NMSE)和相對于ESN的提升百分比(IM)作為評價指標來評估目標模型BDSEN在時間序列預測應用的性能，其計算公式分別為

(21)

(22)

其中，o(t) 代表網絡的輸出，而y(t) 為測試集的實際輸出，σ2表示了o(t) 的方差，No代表輸出的總數即樣本數量。除了原始ESN之外，選擇3個較為主流的時間序列預測算法同所提出的BD-AE-SGESN模型完成對比實驗，以橫向對比本文算法。分別為SVM[23]、LSTM[24]和Deep-ESN[25]。為了控制變量使得結果更加科學，其中，ESN、Deep-ESN和本文所提出的算法采用相同尺度的儲備池，采用相同深度。同時，為了使得實驗結果更加準確并進行縱向對比，引入了SESN(僅采用疊式ESN的結構的模型)作為消融模型。BD-AE-SGESN模型的參數設置見表2。

表2 BDSEN參數設置

其中參數設置均是根據驗證集的最終結果進行調試，深度的設置為當驗證集結果開始下降時立刻停止，并選擇最后一次設定的深度值作為最終結果。

3.3 預測實驗結果

為了直觀比較不同數據集與不同模型之間的預測性能，通過可視化目標模型與基礎模型的預測曲線與誤差曲線來直觀分析穩定性差異情況。3.3.1小節～3.3.3小節展示了不同模型的預測結果并在最后展示了不同模型在3個數據集上的10次實驗結果的表現，3.3.4小節對BD算法中的參數進行了分析。

3.3.1 NARMA

選擇NARMA數據中的第8170～8300時間步作為可視化數據，圖3(a)展示了ESN和BD-AE-SGESN在選定時間步上與原始數據的擬合程度；圖3(b)展示了對應時間步上兩個模型與原始數據的誤差大小。

BD-AE-SGESN和其它的對比用模型的最終實驗結果呈現在表3中。

表3 NARMA數據集預測結果

3.3.2 PM2.5

選擇PM2.5數據中的第26012～26162時間步作為可視化數據，圖4(a)展示了ESN和BD-AE-SGESN在選定時間步上與原始數據的跟蹤曲線；圖4(b)展示了對應時間步上兩個模型與原始數據的誤差。最終結果將值恢復為原始值域，可以看出，在拐點處，BD-AE-SGESN的跟蹤效果要好于ESN。BD-AE-SGESN和其它算法的對比結果見表4。

表4 PM2.5數據集預測結果

圖4 PM2.5數據集結果對比

3.3.3 CPP

對于CPP則選擇數據中的第7825～8025時間步進行可視化，圖5(a)展示了ESN和BD-AE-SGESN在選定時間步上與原始數據的擬合程度；圖5(b)展示了對應時間步上兩個模型與原始數據的誤差。表5展示的是BD-AE-SGESN同其它算法的對比結果。

表5 CPP數據集預測結果

圖5 CPP數據集結果對比

圖6為時間序列預測結果圖。通過10次實驗得到平均預測誤差，可以看出所提出的BD-AE-SGESN結果較好。

圖6 平均預測誤差

3.3.4 BD算法參數影響

BD算法中的Pl和Ph對每一層中的特征個數有著較為明顯的影響，有效的特征可以提升模型的預測精度。針對不同的任務類型，丟棄率需要根據實際進行調整，其對結果的影響如圖7所示。

圖7 BD算法中參數對結果的影響

3.3.5 算法時間復雜度分析

BD-AE-SGESN模型的時間復雜度主要由3個過程來決定：儲備池狀態的更新、GESN-AE算法和BD算法迭代與最終的模型訓練。其中，對模型時間復雜度影響較深的參數主要為深度n，儲備池大小N，輸入序列維度Ntrain和輸入序列的長度I。則BD-AE-SGESN算法復雜度為O(2·NtrainNnI)， 盡管在時間復雜度上較原始ESN的要高，但根據參數設置與實驗結果的對比可以看出，其訓練時間在可接受范圍。同Deep-ESN相比，有著較為相似的時間復雜度。通過分析，提出的模型的復雜度主要受層數與AE-GESN算法的影響，而通過實驗分析得知，較小的層數便能到較為理想的結果。

3.4 實驗結果分析

從圖3～圖6可以看出，預測曲線均圍繞實際值上下浮動，其中BD-AE-SGESN模型更貼近于實際曲線。表3～表5的誤差統計和提升百分比可以看出目標模型BD-AE-SGESN的預測精度要高于其它幾個模型。尤其是對于NARMA和PM2.5對象，其提升效果較為明顯。相對于Deep-ESN深度模型，BD-AE-SGESN也有著較好的性能。但是在PM2.5的數據上，所有的模型的預測精度都并不高，這是因為在多變量預測中，其它變量的干擾會影響前后時間的相關性。通過對比實驗可以發現，所提出的模型在時間序列預測上有著較好的跟蹤性能，且在拐點處相較于ESN能夠有更好的穩定性。

通過消融模型SESN的對比可以發現，BD算法和GESNAE算法能夠十分有效的在多層ESN中學習到有效的特征，并對輸入權重進行剪枝以篩選輸入特征，從而提高最后模型的預測性能。由此可以看出，無論是單層ESN、Deep-ESN和LSTM，BD-AE-SGESN在時間序列預測的應用上具有優越性。盡管所提出的模型由于深度增加的原因，算法復雜度和ESN比較較為費時，但是最終預測結果有著較好的提升。

由圖7得到BD-AE-SGESN的效果受到BD算法中的參數影響較大，是因為參數決定了每層所選擇的特征數量，通過多層的疊加，會對最終模型的性能有所影響，經過簡單的調整，確定合適的參數可以使得BDSEN有著更優的性能。

綜合來看，BD-AE-SGESN在非線性多變量時間序列預測應用上，有著較為穩定且較高的性能，所提出的時間序列預測模型在時間序列預測的實用性也可以被驗證。

4 結束語

本文提出了一種基于Biased Drop-weight疊式自編碼回聲狀態網絡的多變量時間序列預測模型，利用生成式ESN-AE來在每層中生成輸入權重，之后通過采用多層有效特征的ESN網絡進行堆疊來提升ESN網絡的預測精度。其中GESN-AE和BD算法生成能夠有效保留輸入特征的輸入權重，并進行剪枝以進行特征選擇。大量的實驗分析表明，所提出的模型比其它5種模型有著更好的預測精度。同時，參數的討論也驗證通過簡單調整參數后，目標模型變化可達到較優的表現。

所提出的深度學習框架也可以為ESN向深度學習的擴展提供思路。