基于在線回聲狀態網絡的變形數據預測分析

單　毅　楊建偉　王新志

1　南京信息工程大學數學與統計學院，南京市寧六路219號，210044 2　南京信息工程大學遙感學院，南京市寧六路219號，210044

基于在線回聲狀態網絡的變形數據預測分析

單毅1楊建偉1王新志2

1南京信息工程大學數學與統計學院，南京市寧六路219號，210044 2南京信息工程大學遙感學院，南京市寧六路219號，210044

摘要：結合Kalman濾波與回聲狀態網絡，將在線回聲狀態網絡算法應用于變形數據預測。回聲狀態網絡的輸出權值通過Kalman濾波訓練，直接對網絡的輸出權值進行在線更新，克服了傳統遞歸網絡需要收集大量樣本后才能進行擬合預測的缺陷，同時也保證了預測精度。實例計算驗證了該方法的有效性。

關鍵詞：在線學習；變形觀測數據；回聲狀態網絡；Kalman濾波

神經網絡以其強大的自適應性和聯想記憶能力，廣泛應用于變形數據的建模預測[1-4]。回聲狀態網絡(ESN)是近年來興起的一種非線性映射能力很強的神經網絡，其采用求偽逆的訓練方法，可避免基于梯度下降算法的一些缺陷[5-6]。目前包括ESN在內的傳統神經網絡大多采用離線學習方式，在大量樣本提交后才會調整網絡參數。然而變形數據在某些情況下不容易觀測得到，導致沒有足夠的觀測值供離線學習[1]，且離線學習需要占用大量的計算資源，不能實時調節相關參數[7]。此時，需要一種在線預測方法，在相對節省存儲空間的前提下，對快時變的變形數據作出準確預報。Kalman濾波是一種在線預測算法，但其限制條件苛刻，要求系統模型精確且系統誤差模型和觀測誤差模型已知[8]， 這在實際應用中很難滿足。基于此，韓敏等[7]提出一種在線ESN。本文將這種在線ESN應用于變形數據的預測，采用Kalman濾波實時更新ESN的輸出權值。相比基于求逆或者梯度下降的離線訓練方式，該算法訓練效率高，能動態調整網絡權值，從而提高網絡在線預測性能。對淮南市潘一東礦的地表沉降數據進行測試，實驗結果證明了該算法的有效性。

1在線回聲狀態網絡預測算法

1.1回聲狀態網絡

ESN是一種新型遞歸網絡[5-6]，包含輸入層、輸出層和儲備池3個部分，各部分通過連接權值連接，其結構如圖1所示。在n時刻向網絡輸入樣本u(n)后，形成如下動態遞歸系統：

(1)

式中，Win是輸入層與儲備池的連接權值矩陣，W是儲備池內部神經元之間的連接權值矩陣，Win和W都在訓練前隨機產生于(-1，1)之間并且之后不再變動。在離線學習的情況下，儲備池與輸出層之間的連接權值Wout需要根據求偽逆的方法得出[6]，這可能占用大量的存儲空間和計算資源。本文使用在線ESN進行變形數據的實時預測。

圖1　回聲狀態網絡基本結構圖Fig.1　The structure of ESN

1.2基于Kalman濾波法的ESN輸出權值訓練

韓敏等[7]提出用Kalman濾波訓練ESN的在線ESN算法，將ESN的狀態空間轉化為Kalman濾波的形式，即把輸出權值Wout視為Kalman濾波狀態值，根據ESN輸出權值的變化特性，將狀態轉移矩陣設置為單位矩陣，則狀態轉移方程為：

(2)

(3)

(4)

(5)

式中，R(k)、Q(k)分別為測量噪聲和過程噪聲的協方差矩陣，K(k)為Kalman濾波增益，A(k)是對增益矩陣的調整：

(6)

(7)

(8)

綜上,可利用式(2)～(8)在線更新ESN的輸出權值，并計算網絡輸出。

2工程實例分析

2.1工程概況與精度檢驗指標

潘一東礦位于淮南市北部，為掌握采礦期間地表沉降狀況，對采礦區域地表布設CORS自動化監測系統。系統由1個基準站和6個監測站組成，采樣間隔為30s，利用3G和無線網橋將數據實時傳回數據中心。以6號監測站1個月數據為例進行分析，采用均方誤差(MSE)評判預測模型的精度：

(9)

2.2實驗驗證及分析

在線ESN算法流程見圖2。

圖2　預測模型流程Fig.2　The flow chart of model predicting

創建網絡后，設置輸入層和輸出層神經元個數為1，儲備池神經元個數為600，W(儲備池內部連接權值矩陣)譜半徑小于1。

收集變形監測點1個月的原始監測數據，測量單位為m。在監測過程中發現，數據的整數部分沒有變化，而小數部分變化劇烈，并呈現很強的非線性特征。從預測精度出發，將小數部分的變化作為重點研究對象。監測數據有x、y(水平)、z(高)3個維度方向，本文僅選z方向數據為例。由于該沉降數據變化范圍在cm級且非線性特征較強，現有的算法模型很難將全部變形情況精確地預測出來[9-10]。根據該組數據的特點，設定其噪聲誤差服從均值為0、方差為0.001 m的高斯分布[11]，初始誤差方差設定為0.001，狀態轉移矩陣和觀測矩陣都設定為單位陣。

針對同一天的變形數據，分別使用在線ESN(圖3)和Kalman濾波預測(圖4)。從圖3可以看出，由于在線ESN可以依據數據的實時變化作出預測，預測結果不易被異常點(圖中第303個數據)干擾，較適合于短期預測。在線ESN的預測基本上遵循數據的變化情況，雖然在細節上不完全符合真實的振幅，但變化的方向基本吻合。圖4中，Kalman濾波雖然也預測出了大致的變化趨勢，但是沒有描繪出變化細節。選用離線BP網絡作為比較對象，使用同一天前600個觀測數據作為訓練集，預測后200個數據的變化情況，結果見圖5。可以看出，BP網絡雖然有時預測效果不錯，但存在預測不穩定的情形，有時預測曲線的變化甚至與真實數據變化情況相反。

圖3　在線ESN預測數據與實際數據對比Fig.3　Comparison between the predicted data by online-ESN and the actual data

圖4　Kalman濾波預測數據與實際數據對比Fig.4　Comparison between the predicted data by Kalman fliter and the actual data

圖5　BP網絡預測數據與實際數據對比Fig.5　Comparison between the predicted data by BP and the actual data

計算3種算法對20 d數據的預測均方誤差，結果見表1。從表1看出, 由于對數據作了預處理，使得該類型數據具有一定的平穩性，所以3種算法在預測此類型變形數據時效果都較好。然而，BP網絡需要在預測前收集大量數據，在靈活性方面較差。在線ESN的預測精度幾乎比Kalman濾波高一倍，且無需事先知道模型的狀態轉移矩陣和觀測矩陣。

表1　3種算法20 d預測精度比較

3結語

本文將在線ESN用于沉降變形數據的預測，并以淮南市潘一東煤礦某月的數據進行實驗。結果表明，采用在線ESN更加適合于不確定性很強并且變化范圍有限的變形系統，其不需要記憶很多的訓練樣本，更具靈活性和便易性，預測精度與離線學習的BP網絡相當。

參考文獻

[1]盛守照，王道波，黃向華.限定記憶的前向神經網絡在線學習算法研究[J]. 控制與決策，2005, 20(3)：304-307(Sheng Shouzhao，Wang Daobo，Huang Xianghua. Online Learning Algorithm for Feed Forward Neural Networks with Moving Range[J].Control and Decision,2005, 20(3)：304-307)

[2]朱玉，趙卿，梅艷.混沌免疫優化RBF網絡在動態變形預測中的應用[J].大地測量與地球動力學,2012，32(5)：53-57(Zhu Yu，Zhao Qing，Mei Yan. Prediction of Dynamic Deformation Based on Chaotic Immune Optimization Algorithm RBF Nueral Network[J]. Journal of Geodesy and Geodynamics,2012，32(5)：53-57)

[3]潘國榮，谷川.GMDH神經網絡算法在變形預測中的應用[J].大地測量與地球動力學，2008，28(3)：55-58(Pan Guorong,Gu Chuan. GMDH NN Algorithm and Its Application in Deformation Forecasting[J].Journal of Geodesy and Geodynamics,2008，28(3):55-58)

[4]彭祥國, 王堅, 孫麗紅. BP網絡最佳維數建模法在變形時序預測中的應用[J]. 大地測量與地球動力學, 2009, 29(6):113-117(Peng Xiangguo，Wang Jian,Sun Lihong. Application of Optimal Dimension Modeling for BP Network in Pridiction of Time Series of Derormation[J].Journal of Geodesy and Geodynamics， 2009， 29(6)：113-117)

[5]Jaeger H. The Echo State Approach to Analysing and Training Recurrent Neural Network[R].Fraunhofer，2001

[6]Jaeger H. Short Term Memory in Echo State Network[R]. Fraunhofer，2002

[7]韓敏，王亞楠. 基于Kalman 濾波的儲備池多元時間序列在線預報器[J].自動化學報,2010, 36(1)：169-173(Han Min，Wang Ya’nan. Multivariate Time Series Online Predictor with Kalman Filter Trained Reservoir[J].Acta Automatica Sinica,2010, 36(1)：169-173)

[8]符拯，王書滿，劉丙杰.自適應卡爾曼濾波的最新進展[J].戰術導彈技術,2009(6)：62-66(Fu Zheng，Wang Shuman，Liu Bingjie. An Overview of the Development of Adaptive Kalman Filtering[J]. Tactical Missile Technology，2009(6)：62-66)

[9]涂克楠，高飛，黃芳偉.時間序列預測法在大壩變形監測數據處理中的應用[J].水科學與工程技術,2008(3)：65-67(Tu Ke’nan, Gao Fei, Huang Fangwei. The Application Time Series Forecasting Method in Data Processing of Dam Deformation Monitoring[J].Water sciences and Engineering Technology,2008(3)：65-67)

[10]張勇，田林亞，馬丙浩，等.卡爾曼濾波在GPS 精密單點定位中的應用研究[J].測繪通報,2013(7)：8-11(Zhang Yong,Tian Linya,Ma Binghao,et al.Research on the Application of Kalman Filtering in GPS Precise Point Positioning[J].Bulletin of Surveying and Mapping,2013(7)：8-11)

[11]王新志，陳偉，祝明坤. 樣本數據歸一化方式對基于神經網絡的GPS高程轉換的影響[J].測繪科學,2013, 38(6):162-165(Wang Xinzhi,Chen Wei,Zhu Mingkun. Influence of Sample Data Normalization Ways on GPS Elevation Transforming Based on Neural Network[J]. Geomatics Science, 2013，38(6)：162-165)

Foundation support:National Natural Science Foundation of China, No.61572015.

About the first author:SHAN Yi, postgraduate, majors in pattern recognition and neural network, E-mail：15556530753@163.com.

Analysis and Prediction of Deformation Data Based on Online Echo State Network

SHANYi1YANGJianwei1WANGXinzhi2

1School of Mathematics and Statistics，Nanjing University of Information Science and Technology，219 Ningliu Road, Nanjing 210044, China 2School of Remote Sensing， Nanjing University of Information Science and Technology，219 Ningliu Road, Nanjing 210044, China

Abstract:A new kind of on-line predictor is constructed by combining Kalman filtering with the echo state network. The method of Kalman filtering is applied to the echo state network output weights training, directly on-line updating the network output weights, overcoming the defects in traditional recurrent neural network(RNN) which is needed to collect a large number of samples.The examples demonstrate the effectiveness of the proposed method.

Key words:on-line learning; observation of deformation data; echo state network; Kalman filtering

收稿日期：2015-06-25

第一作者簡介：單毅，碩士生，主要研究方向為模式識別與神經網絡，E-mail：15556530753@163.com。

DOI：10.14075/j.jgg.2016.07.013

文章編號：1671-5942(2016)07-0617-03

中圖分類號：P258

文獻標識碼：A

項目來源：國家自然科學基金(61572015)。