一種深度回聲狀態網絡的輸入尺度自適應算法

劉 鵬，葉 潤，閆 斌，謝 茜，劉 睿

（1.電子科技大學 自動化工程學院，成都 611731；2.國網四川省電力公司電力科學研究院，成都 610041）

0 概述

深度神經網絡在圖像處理［1］、語音識別［2-3］、數據建模［4］等領域得到廣泛應用并取得重要研究成果，顯示出層級神經網絡結構在特征學習與遷移中的性能優勢。在自然語言處理（Natural Language Processing，NLP）、基于視覺的同時定位與地圖構建（Vision-based Simultaneous Localization And Mapping，VSLAM）［5］等實際工程應用中，研究的系統一般為與時間相關的動態系統。對于動態系統，典型特征是系統的狀態隨時間動態變化，輸入與輸出之間是一個暫態過程。遞歸神經網絡（Recurrent Neural Networks，RNN）［6］由于神經元在時域上遞歸連接，使其具有豐富的時域行為，因此在動態系統理論研究和實際應用中受到廣泛關注。深度卷積神經網絡（Deep Convolutional Neural Networks，DCNN）［7］的網絡層從低層到高層，所提取的特征由簡單到復雜，正是因為這種層級結構，使得網絡更容易訓練，學習到的特征更容易泛化與遷移。DCNN 主要使用前向連接，如果將其運用到動態系統學習中，可以使用一個滑動窗口輸入一個時間段內的信息。一般需要學習的動態系統延時特性是未知的［4］，也就難以確定最優滑動窗口的長度，而且不同動態系統的延時特性不同，可能會使神經網絡產生振蕩、性能下降，甚至失去穩定性［8］。

研究人員通常利用RNN 提高動態系統的學習精度，其中長短期記憶（Long Short Term Memory，LSTM）網 絡［9］是應用最 為廣泛的RNN之一，由HOCHREITER 等在1997 年提出，目前已經集成在TensorFlow 等AI 開發平臺中。LSTM 通常采用梯度下降方法進行學習［10］，在一次權值調整過程中需要使用過去時刻的部分或全部數據，學習難度相對于前向網絡成倍增加。JAEGER［11］在2005 年提出一種新型RNN，因輸入信號在神經元之間來回衰減振蕩類似于回聲而被稱為回聲狀態網絡（Echo State Networks，ESN）。ESN 只需訓練輸出矩陣，訓練過程等價于線性規劃問題，相對于LSTM 而言訓練難度顯著降低，因訓練簡單，已在時間序列預測［12］、混沌系統學習［13-14］等任務中取得成功應用。SCHRAUWEN 等［15］利用ESN 的內部可塑性（Intrinsic Plasticity，IP）使得在特定輸入下每一個神經元的輸出都服從指數分布。IP 方法能在很大程度上提升ESN 的表達能力，但要對每一個神經元的輸入進行調整，大幅增加了學習過程的計算代價。ESN 應用過程中需要選擇內部狀態矩陣的譜半徑、輸入尺度縮放系數等參數。為了最大限度發揮ESN的學習能 力，BIANCHI 等［16］提出均值 遞歸分析 方法，使用圖形定性分析和定量分析判據，將ESN 推向臨界穩定狀態。

GALLICCHIO 等［17-18］提出一種基于ESN 的深度回聲狀態網絡（Deep ESN，DESN）。文獻［17］通過嚴格的實驗分析多種輸入方式對DESN 不同層之間的延時特性的影響。實驗結果表明，堆棧形式的DESN 表現出更好的多尺度時域特性，而且合理選用不同譜半徑的內部狀態矩陣和弱積分參數能增強這種特性。文獻［18］對如何選用DESN 層數進行了深入研究，提出一種基于頻譜分析的層數選用方法。雖然文獻［19-20］已將DESN 應用到一些實際工程中，但目前關于DESN 網絡結構特性的研究尚少。文獻［17-18］因為側重點是在分析時域特性而不是預測精度，所以并未與傳統ESN 進行預測精度對比，而在實際工程應用中，所需學習模型的時域特性本身是未知的，不能有效表明DESN 對不同延時系統預測精度的影響。為更好地利用DESN 的多尺度時域特性，本文將DESN 內部狀態和輸出矩陣進行可視化分析提出一種輸入尺度自適應算法，通過學習兩種數學模型完全已知的動態系統，分析改進后DESN 的性能優勢，并與ESN 進行預測精度對比。

1 DESN 結構與訓練算法

DESN 的基本單元是淺層ESN。本節首先介紹淺層ESN 結構和數學形式，然后介紹DESN 結構和基于廣義逆的訓練算法。

1.1 淺層回聲狀態網絡

淺層ESN 的基本結構如圖1 所示，其中，u表示輸入向量，Wi表示輸入權重，W表示內部狀態矩陣，Wo1表示內部狀態到輸出的權重，Wo2表示輸入直連到輸出的權重，Wb表示輸出反饋矩陣。ESN 對參數選擇的唯一限制就是需要滿足回聲狀態特性［11］，等價于狀態遺忘或輸入遺忘特性，也就是說內部狀態的初值以及某個時刻的輸入在經歷足夠長的時間后，對系統輸出產生的影響可以忽略不計。

圖1 淺層ESN 基本結構Fig.1 Basic structure of shallow ESN

輸出反饋的引入能加快ESN 初始化過程，使內部狀態初值的影響快速消失，但由于輸出反饋會使回聲狀態特性受輸出矩陣的影響，ESN 的魯棒性會降低。一般在進行理論分析時，不考慮輸出反饋的引入，而在實際工程應用中則可以通過引入輸出反饋優化學習精度。

ESN 的數學表達形式可以分為內部狀態x和輸出向量y兩部分，如式（1）所示：

其中：弱積分參數α表示當前狀態與上一時刻狀態的關聯程度，滿足0≤α<1，通常而言參數α取決于所需學習的動態系統和采樣時間間隔；激活函數f選取tanh 雙曲正切函數，單個神經元的輸出范圍為-1～1。設ρ和σ分別表示W的譜半徑和奇異值。若σ<1，則回波狀態特性一定能得到保證，若ρ<1，則回波狀態特性在大多數情況下能得到保證。

1.2 深度回聲狀態網絡

如圖2 所示，DESN 結構是一種堆棧形式，外部輸入只作用于第一層神經元，其他每一層都以前一層輸出為輸入。如果將外部輸入引入到每一層，則DESN 的多尺度時域特性會被削弱。

圖2 DESN 結構Fig.2 Structure of DESN

每一層的狀態如式（2）所示，形式上與式（1）保持一致。在DSEN 中，不同層之間可以選擇不同的弱積分參數和不同的譜半徑。

其中：k=1，2，…，N；u1表示外部輸入，u2～uN表示前一層的輸出。

DESN 和ESN 只需訓練輸出矩陣Wo。輸入矩陣Wi選為元素值在-1～1 的隨機矩陣，W的選取需保證滿足回聲狀態特性，參數α可以在不同層之間選擇不同的值。

算法1基于廣義逆算法的輸出矩陣訓練

步驟1初始化各層輸入矩陣Wik為-1～1 的隨機矩陣，隨機生成各層狀態矩陣Wk，計算Wk的奇異值σk，將Wk除以奇異值σk。

步驟2選取訓練集（u（t），Yd（t）），其中0

步驟3使用廣義逆算法計算輸出矩陣，如式（5）所示：

2 DESN 可視化分析

為研究DESN 多尺度時域特性，選用具有不同延時特性的動態系統作為被學習對象。通過對比DESN 與普通ESN 的預測均方根誤差（Root Mean Square Error，RMSE），分析DESN 多尺度時域特性在預測精度上的優勢和限制因素。

2.1 數值計算模型設定

參考滑動平均模型NARX［21］，并添加延時項使動態系統有更加豐富的時域特性，如式（6）所示：

其中：d表示延時，d=0，1，…，19；輸入u為0～1 的均勻分布。

ESN 選取弱積分參數為0.7、神經元個數為500，DESN 選取弱積 分參數為0.0，0.1，…，0.9，共 有10 層，每層的神經元個數為50。ESN 和DESN 的激活函數均為tanh，訓練算法使用廣義逆算法。訓練樣本和測試樣本均取自式（6）所示的動態系統，第1 次實驗延時設置為0，第2 次實驗延時設置為1，依此類推直至延時為19。在每次數值分析過程中，訓練集和測試集都采樣1 000 組數據。同時，為了避免初始狀態設置對動態系統的影響，前50 步迭代的數據被丟棄。

2.2 可視化分析

圖3 給出了DESN 與ESN 的預測RMSE 隨延遲時間的變化曲線，大致可分為三階段：第一階段，延時弱影響階段，DESN 和ESN 預測RMSE 相近；第二階段，延時較影響階段，DESN 預測RMSE 明顯小于ESN；第三階段，延時強影響階段，DESN 預測RMSE大于ESN 預測RMSE。在第一階段中，由于延時特性不明顯，因此DESN 和ESN 預測性能相近，此時DESN 多尺度時域特性的優勢并未顯現。在第二階段 中，當d=5 時，DESN 相對于ESN預測RMSE降低超過50%。由于DESN 更高層的網絡記憶輸入的時間更長［17-18］，如果在第二階段中連接高層網絡的輸出矩陣絕對值相對增大，那么就證明DESN 多尺度時域特性提升了其預測能力。在第三階段中，DESN預測性能劣于ESN，只有進一步分析，才能解釋該階段的反常現象。

圖3 DESN與ESN學習不同延時NARX模型的預測RMSE對比Fig.3 Comparison of forecast RMSE between DESN and ESN when learn NARX model with different delays

圖4 給出了DESN 的d取0、5、15 時的輸出矩陣Wo在各層中的分布情況。從圖4（a）可以看出，輸出矩陣絕對值大的元素全都分布在第1 層和輸入直連輸出中。圖4（b）為圖4（a）的局部放大圖，從圖4（b）中并未發現輸出矩陣值會隨著學習系統的延時增加而發生明顯移動，由此得出圖3 中第二階段DESN 預測能力的提升不能歸結為多尺度時域特性的影響。

圖4 不同延時的DESN 輸出矩陣對比Fig.4 Comparison of DESN output matrixes with different delays

圖5 給出了d=15 時DESN 第1、5、10 層部分神經元的內部狀態，其中橫坐標titeration表示迭代時間。在第5 和10 層中可以看出，超過一半神經元處于飽和工作狀態，即絕對值在大部分時間都維持在一個較高水平。這類神經元不僅自身動態性能差，而且會使得其他具有豐富動態的神經元、輸出權值極小。實際上，從第3 層開始，在后續層中大量神經元處于這種飽和工作狀態。從內部狀態可視化分析可知，在DESN 高層網絡中容易出現處于飽和工作狀態的神經元，如果能夠抑制這種飽和狀態，則有可能更好地發揮DESN 多尺度時域特性的優勢。

圖5 DESN 內部狀態Fig.5 Internal state of DESN

3 DESN 輸入尺度自適應算法

由于DESN 每一層的網絡都滿足回聲狀態特性，也就是說只要時間足夠長，輸入信號會被逐漸遺忘。然而，當輸入信號足夠強時，遺忘的速度小于輸入的速度，使得部分神經元處于飽和工作狀態。為了保持DESN 多尺度時域特性，需要避免神經元處于飽和工作狀態。

判斷神經元是否處于飽和工作狀態主要包括狀態保持恒定及維持較高值兩個條件。狀態保持恒定意味著方差小。在方差小的情況下維持高值意味著絕對均值相對較大。通過設定合適的方差與均值的閾值，綜合判斷神經元是否處于飽和狀態。如果處于飽和狀態，則意味著輸入速度要大于遺忘速度，需減弱輸入。同一層的神經元通過內部狀態矩陣W彼此互聯，對一個神經元的輸入會立即影響其他神經元。因此，對于具有飽和工作狀態的神經元的層，應該整體減小輸入才能有效抑制飽和工作狀態。另外，每一層處于飽和工作狀態的神經元個數不同，處于飽和狀態的神經元越多，輸入的衰減程度就越大。

算法2飽和狀態抑制

步驟1對于內部狀態序列x（t），0

步驟2判斷當前時刻是否需要進行一次權值調整，判斷依據是與上一次權值調整的時間間隔是否達到閾值ΔT。若需要調整，則進入步驟3，否則返回步驟1 繼續遞推估計均值和方差。

步驟3逐層分析各個神經元的均值和方差，若|m|>mmin且D

步驟4分層統計處于飽和狀態的神經元個數n，第k層輸入權重按式（9）動態調整：

在算法2 中，衰減系數η是關鍵參數，若值過大會使內部狀態工作在零值附近，若值太小會達不到調整輸入權重的效果。使用算法2 改進的DESN 稱為輸入尺度自適應深度回聲狀態網絡（Adaptive DESN，ADESN）。

算法3ADESN 訓練

步驟1選定一個衰減系數η，在訓練集上執行算法2，調整輸入矩陣Wik，k=1，2，…，N。

步驟2在訓練集上訓練執行算法1，得到輸出矩陣。

步驟3在驗證集上測試DESN 預測性能，計算預測RMSE。

步驟4重復進行步驟1～步驟3，選取驗證集上預測RMSE 最小的衰減系數η作為最終參數。

4 數值計算結果與分析

通過學習NARX 模型和單輸入單輸出系統來驗證ADESN 的預測精度提升情況，并使用一個多輸入多輸出（Multiple Input Multiple Output，MIMO）系統［21］測試ADESN 的適用性。

數據集共分為訓練集、驗證集和測試集，每一個樣本采樣數量為1 000。DESN 和ESN 參數設置參考2.1 節。ADESN 衰減參數η、方差閾值Dmax和均值閾值mmin需設定，將在4.1 節中進行討論。

4.1 ADESN 參數選擇

Dmax和mmin的選擇會對神經元是否處于飽和狀態的判斷產生影響。如果Dmax值選擇過大，條件D

為了避免參數之間的耦合，設定Dmax=1×10-4、mmin=0.1，分析關鍵參數η對ADESN 的影響。選取ADESN 衰減系數η區間為0.001～0.01，衰減系數η對不同延時的NARX 模型預測RMSE 的影響如圖6所示。從圖6 可以看出：當延時d=0 時，RMSE 隨η的變化略有波動；當延時d=5 時，RMSE 隨η的增大先減小后增大；當延時d=15 時，RMSE 隨η的增大逐漸減小并趨于穩定。由此可見，η對系統的影響與系統的時延特性有關，系統時延越大調整η產生的影響越大。因此，參數η需按算法3 中描述針對不同時延的動態系統進行優化處理。

圖6 不同延時測試集上衰減系數η 對預測RMSE 的影響Fig.6 Effect of attenuation coefficient η to forecast RMSE on test set with different delays

4.2 NARX 模型預測

ESN、DESN 和ADESN 在不同延時的NARX 模型上的預測RMSE對比如圖7所示，具體數據如表1所示。由圖7 和表1 可以看出：ADESN 在全過程中都具有最佳預測精度，當d超過5時預測RMSE約為ESN的30%，極大地提升了高延時系統的預測精度。ADESN和ESN具有的神經元數目相同，但ADESN 對于高延時系統能顯著提升預測精度，其原因為充分發揮了多層結構的多尺度時域特性的優勢。

圖7 不同延時的ESN、DESN、ADESN 預測RMSE 對比曲線Fig.7 Comparison curves of forecast RMSE among ESN，DESN and ADESN under different delays

表1 不同延時的ESN、DESN、ADESN預測RMSE對比數據Table 1 Comparison data of forecast RMSE among ESN，DESN and ADESN under different delays

從圖8 可以看出，隨著延時的增加，權值逐步向高層網絡移動。高層網絡記憶輸入的時間更長，如果高層網絡對應的權值更大，則意味著系統的延時特性更強。這種隨著網絡層次增加對輸入的記憶時間增強的特性就是多層結構的多尺度時域特性。

圖8 不同延時下ADESN 輸出矩陣在各層神經元之間的分布Fig.8 Distribution of ADESN output matrixes among neurons in each layer under different delays

圖9 給出了d=15 時ADESN 第1、5、10 層部分神經元的內部狀態。相對于圖5中DESN內部狀態，ADESN在各層網絡中不再有處于飽和工作狀態的神經元，各層飽和狀態神經元的消除一方面使得網絡動態性更強，另一方面也使本來處于正常狀態的神經元獲得較大的輸出權值。綜上所述，ADESN 能夠消除處于飽和狀態的神經元，充分發揮多尺度時域特性的優勢。

圖9 ADESN 內部狀態Fig.9 Internal state of ADESN

4.3 多輸入多輸出系統預測

應用多輸入多輸出系統（如式（10）、式（11）所示）進一步測試ADESN 多尺度時域特性優勢。

其中：u1和u2表示值 在0～1的均勻分布；v1和v2表示均值為0、方差為0.00～0.02 的高斯噪聲。由于方差不同，因此以0.001 為間隔共測試20 種不同工況。

圖10 給出了ESN、DESN 和ADESN 在不同噪聲條件下對多輸入多輸出系統的預測RMSE，具體數據如表2 所示。由圖10 和表2 可以看出，ADESN 依然具有最佳的預測能力，但是隨著噪聲的增加，3 種網絡都嚴重劣化，在后期研究工作中需考慮提升網絡對噪聲的魯棒性。

圖10 不同噪聲方差的ESN、DESN、ADESN 預測RMSE對比曲線Fig.10 Comparison curves of forecast RMSE among ESN，DESN and ADESN under different noise variances

表2 不同噪聲方差的ESN、DESN、ADESN 預測RMSE對比數據Table 2 Comparison data of forecast RMSE among ESN，DESN and ADESN under different noise variances

5 結束語

針對傳統DESN 內部狀態容易陷入飽和工作狀態，不能重復利用多尺度時域特性的問題，本文通過自適應地調整輸入矩陣構建一種深度回聲狀態網絡ADESN，使用網絡內部狀態的均值和方差判斷神經元是否處于飽和狀態，加強網絡動態預測能力。對兩個不同動態系統的學習結果表明，ADESN 相對DESN 和ESN 預測精度成倍提升。在后續研究中將改進ADESN 的抗噪能力，進一步提升其在實際噪聲環境中的預測精度。