基于改進回聲狀態網絡的數據預測算法研究

朱毅 楊慧穎 賈善杰 李勇 郭光

摘要：回聲狀態網絡（ESN）由于自身的回聲記憶能力以及高效的神經元連接模式，在數據非線性預測問題上獲得了良好的實驗效果。為了進一步推廣ESN算法的應用范圍，將其應用在電力網絡流量數據預測方面，并根據電網對數據分析結果的精益要求，在ESN網絡的輸入、存儲池和輸出模塊中利用去噪、平穩計算等方法，增強了算法的魯棒性，并通過實驗平臺驗證了算法的有效性及可靠性，將指導電網數據預測軟件的設計與開發。

關鍵詞：回聲狀態；數據預測；流量預測模型

中圖分類號：TP183文獻標志碼：A文章編號：1008-1739（2018）17-66-4

Research on Data Prediction Algorithm Based on Improved Echo State Network

ZHU Yi1， YANG Huiying2， JIA Shanjie1， LI Yong2， GUO Guang3（1. Economic and Technological Research Institute， State Grid Shandong Electric Power Company， Ji爺nan Shandong 250022， China； 2. State Grid Shandong Electric Power Company， Jinan Shandong 250022， China； 3. Beijing Zhongke Chuangyi Technology Co.， Ltd， Beijing 100198， China）

0引言

隨著通信網絡的環境越來越復雜，網絡變化方式也由單一的線性向非線性變化，傳統的網絡預測手段已經無法準確獲知網絡變化的軌跡，需通過智能型且復雜度較高的網絡自學方法來輔助分析網絡性能。

目前，較成熟的網絡學習方法有貝葉斯、小波分析、支持向量機機器學習及神經網絡等方式，但經過不斷實驗及應用驗證發現，大部分算法還存在預測精準度不夠的問題，甚至有的算法因應用范圍限制，僅限于一個固定的應用場景，在其他領域則無法訓練學習。針對預測精度的問題，德國Jaeger教授于2001年提出回聲狀態網絡，預測精度比傳統網絡提高了2 400倍，因此本文將從傳統的ESN算法入手，從輸入、網絡訓練池和輸出3個部分綜合優化算法性能，提出了改進的ESN算法，提升網絡的噪聲干擾性及平穩性等，使算法在網絡流量數據預測應用方面有更好的應用。

1回聲狀態網絡結構

ESN是一種新型的遞歸神經網絡，網絡結構有輸入、隱含和輸出3層，其優越性主要表現在隱含層處，隱含層中存儲的是數量及訓練權值可變化的稀疏神經元，并且輸出反饋權值會進一步優化隱含層網元訓練的程度。網絡具體結構如圖1所示。

ESN網絡中的輸入值、訓練權值和輸出值都在一個維度的緊湊數集，相互間具有強關聯性。圖1中的是存儲了大量隨機產生的神經元的集合，定義為存儲池，神經元之間的連接關系在某一時刻是不變的。當換到下一個時刻會自適應變化，因此ESN存儲池內的權值是變化的，相對于傳統神經網絡固定的權值而言，更不容易出現長時間訓練局部收斂或不收斂問題，ESN會根據輸出值反饋連接back值作用于存儲池內，隨時調整網絡連接方向，使遞歸網絡逼近復雜映射的能力，這就屬于網絡回聲狀態屬性。

從公式上就能看出，ESN的構造方法簡單且靈活，網絡可經驗性選擇初始值，并自適應調整存儲池連接權值，使得整個訓練過程能快速完成。網絡中幾個關鍵參數會影響網絡訓練性能，例如輸入連接的權值大小以及內部連接矩陣的譜半徑等直接影響網絡記憶能力。通過Jaeger教授的試驗結果可知，

in越小，譜半徑越接近1，網絡短期記憶性能越好，但是，記憶能力提升的同時也會造成訓練收斂性能下降，因此對存儲池神經元個數及連接矩陣的初始化值選擇上需要精心部署。

2回聲狀態網絡算法的改進分析

電網對于網絡運行安全性的要求是精益求精的，分點預測誤差很可能造成電網癱瘓，損失是無法預估的，ESN網絡性能的優化是改善預測結果的唯一方法，針對傳統ESN網絡發展缺陷進行歸納統計，提出建設性改進意見。

（1）輸入和輸出網絡的優化

輸入和輸出作為網絡的起末端，屬于網絡邊緣，很容易造成噪聲的干擾。輸入端的數據一般由電網網管數據讀出，其中會存在其他系統數據的干擾或設備間的雜散噪聲；而輸出端數據由于經過存儲池內部不斷的計算訓練，偶爾會有增益神經元加入，會增加輸出矩陣的維度，因此輸入和輸出端數據都會存在很多冗余，需要采用降噪和平穩的算法對數據進行預處理。使用PVC算法，相對于其濾波、傅里葉變換等算法方面有很強的特征提取能力，保障數據的純凈度，便于快速計算。

（2）存儲網絡的優化

在ESN的3部分中，存儲池是其核心部分，也是最復雜的部分，越復雜的地方就會引出越復雜的問題。存儲池構建的3個關鍵部分就是神經元個數、初始連接權值矩陣和訓練算法的選取。

①神經元的個數一般是根據輸入矩陣的維度適當選擇，一般會大于等于輸入矩陣維度，神經元個數如果選擇過大會造成后期重復冗余計算弊端，應盡量選擇恰當的數值減少網絡規模來節省后期的計算資源。

②儲備池連接權值矩陣是隨機產生的，容易造成一些重要的、不可人為控制的參數。儲備池的控制程度與儲備池產生的方式密切相關。存儲池內部鏈接權值的選擇是一個難度很高的過程，由于ESN內部節點數量一般比較龐大，存儲池控制性能是否良好關鍵在于初始值的選擇。為了確保算法整體的收斂性，連接權值譜半徑的經驗值小于1，并且ESN的神經元為稀疏連接，初始值必須滿足這2個先驗條件。

從初始值特點可以看出，存儲池的稀疏性會影響訓練的收斂性，由于訓練的數量龐大，缺乏聚集性就導致收斂耗時過長，根據輸入端數據的特征進行功能性分類，把對應的存儲池連接矩陣子模塊劃分，多個存儲子圈同步訓練，減少了數據的維度，優化了收斂性能。

③矩陣訓練是一個動態的過程，在訓練的次數中會產生不同的訓練誤差，預測誤差是伴隨著儲備池連接權值矩陣譜半徑的變化而變化的，譜半徑超出一定范圍，則無法收斂，因此要選擇合適的訓練算法來根據訓練過程中產生的誤差，依次調整存儲池譜半徑和稀疏程度，從而達到相對最優的儲備池參數，避免陷入局部最優的困境。

3改進回聲狀態網絡的流量數據預測模型構建

由于神經元訓練屬于動態過程，在矩陣變換的過程中，會出現數據的冗余，因此最后再輸出測同樣利用PVC算法進行去噪去冗余，推導出（ +1）=（ +1）。

4仿真驗證及分析

利用Matlab7.0仿真工具對以上算法進行系統驗證。從電力通信網管系統TMS上采集一段0～100 s的數據，采樣頻率為0.1，采集1 000個數據，在Matlab中編譯加載算法代碼，選擇訓練不同的訓練次數，最終獲得最佳的算法收斂效果，仿真圖形如圖3所示。

圖中黑色實線為實際值，綠色虛線為傳統ESN算法預測曲線，紅色虛線為改進ESN算法預測曲線，從圖上可以直觀地看出改進的預測曲線更加貼近實際預測值，選取誤差最小閾值為e-0.0003，傳統的ESN訓練了524次才收斂，改進的ESN訓練了465次就收斂了，證明改進的算法不僅在收斂次數有所減少且預測精度更加準確，驗證了設計算法的有效性及可靠性。

5結束語

ESN作為新生代遞歸神經網絡的研究代表，因其結構的靈活性及穩定性而越來越受到研究學者的青睞。目前ESN算法處于研究應用的起步階段，本文針對ESN的存儲池性能、權值設置等方面做了相關的研究和實驗驗證，后期還需要進一步工程性驗證，并且目前ESN算法的研究領域較狹窄，應深入拓寬研究思路，提升算法的預測精度及適應范圍，使其能夠解決更多實際的應用問題。

參考文獻

[1]韓敏.源濁時間序列預測理論與方法[M].北京：中國水利水電出版社，2007，155-185.

[2]范劍青，埼姚偉.非線性時間序列建模、預報及應用[M].北京：高等教育出版社，2005.

[3]張軍峰，胡壽松.基于一種新型聚類算法的RBF神經網絡源濁時間序列預測電子學報，2007，56（2）：713-719.

[4]張平，潘學萍，薛文超.基于小波分解模糊灰色聚類和BP神經網絡的短期負荷預測[J].電力自動化設備，2012，32（11）： 121-125，141.

[5]韓敏，許美玲，王新迎.多元時間序列的子空間回聲狀態網絡預測模型[J].計算機學報，2014，37（11）：2268-2275

[6]韓敏，史志偉，郭偉.儲備池狀態空間重構與混沌時間序列預測[J].物理學報，2007，56（1）：43-50.

[7]嵇靈，牛東曉，吳煥苗.基于貝葉斯框架和回聲狀態網絡的日最大負荷預測研究[J].電網技術，2012，36（11）：82-86.

[8]何洋，鄒波，李文啟，等.基于混沌理論的電力系統短期負荷預測的局域模型[J].華北電力大學學報：自然科學版，2013.40（4）：43-50.

[9]宋青松，馮祖仁，李人厚.回響狀態網絡輸出連接權重的一個穩定訓練方法[J].控制與決策，2011，26（1）：22-26.

[10]喬俊飛，薄迎春，韓廣.基于ESN的多指標DHP控制策略在污水處理過程中的應用[J].自動化學報，2013，39（7）： 1146-1151.