顧及相鄰點變形關聯性的GWO-LSTM變形預測模型

李浩標 索廣建 鄭旭東 陳建營 張獻州

(1.西南交通大學地球科學與環境工程學院，成都 611756； 2.中國鐵路上海局集團有限公司工電檢測所，上海 200071)

1 概述

運營期高速鐵路重點地段往往形變較大，科學分析和預測高速鐵路重點地段的變形狀況，能為高速鐵路線路的高平順性、高安全性提供重要保障[1]。在外界自然條件、時空效應等非線性因素的綜合作用下，運營高速鐵路重點地段變形監測數據通常為復雜的非平穩、非線性時間序列，利用歷史變形監測數據準確預測未來一段時間的變形仍具有挑戰性。

常用的高速鐵路變形預測方法有回歸分析、灰色理論、時間序列分析和人工神經網絡等，厲東偉將BP神經網絡應用于高速鐵路沉降預測中，并達到所需預測效果[2]；劉龍等將遺傳算法優化BP神經網絡模型用于高鐵沉降評估，認為其預測效果優于標準BP神經網絡[3]；容靜提出一種基于ARIMA與IGWO-SVM的沉降預測模型，發現模型優化后的預測性能大為提升[4]。然而，組合預測模型構建過程復雜，不利于實際推廣使用。隨著人工智能技術的迅速發展，長短期記憶(long short-term memory，LSTM)模型作為一種深度學習模型，具有十分強大的非線性擬合能力，可以挖掘出長短時間跨度下數據之間的關聯性。王書芹基于LSTM模型利用歷史數據預測未來瓦斯濃度[5]；宋怡臻提出LSTM模型預測未來經濟變化趨勢[6]；吉長東等利用LSTM模型實現未來GNSS衛星軌道預報[7]。雖然LSTM模型受到了廣泛關注，但在運營高速鐵路變形預測領域研究較少，具有一定研究價值。

LSTM模型網絡超參數的選擇直接決定其網絡拓撲結構和網絡預測性能，但需要進行多次實驗，耗費時間精力較多。因此，決定采用具有全局收斂性的灰狼優化(Grey Wolf optimizer，GWO)算法進行超參數組合尋優。另外，傳統變形預測模型中，沒有考慮到監測點變形的關聯性，應將監測點間的互擾性作為預測建模的影響因素。以某運營高速鐵路重點地段沉降監測數據及仿真數據為例，構建顧及相鄰點變形關聯性的GWO-LSTM模型，并與BP模型進行對比，檢驗其適用性與精度。

2 LSTM模型與相鄰監測點變形關聯性分析

2.1 LSTM模型

循環神經網絡(RNN)是一類以序列數據為輸入，在序列的演進方向進行遞歸且按鏈式連接所有節點的遞歸神經網絡，其優勢在于考慮了序列數據的時序特征，即上一時刻的網絡狀態會對下一時刻網絡狀態產生的影響[8]。但是隨著時序長度的增長，RNN在訓練時容易出現梯度爆炸或梯度消失，影響網絡輸出的精度。因此，Hochreiter等對傳統RNN遞歸神經網絡進行改進，形成LSTM深度神經網絡[9]。LSTM內部結構如圖1所示，包含輸入門、遺忘門、輸出門和記憶單元等結構。3種門結構負責在神經網絡的其他部分與記憶單元連接的邊緣處設定權值，選擇性記憶并反饋誤差函數隨梯度下降的修正參數[10]。記憶單元可以幫助LSTM減緩時序信息的損失速率，彌補RNN短期記憶、梯度爆炸等缺陷。

圖1 LSTM內部結構

LSTM內部結構具體工作原理如下。

遺忘門是歷史信息保留和遺忘的控制者，其計算見式(1)。它對前一時刻隱藏單元的輸出ht-1與當前時刻的輸入xt進行線性組合，并利用sigmoid激活函數，將其輸出值變換到[0，1]之內，其中，1表示全部保留，0表示全部舍棄。

ft=σ(wfxxt+wfhht-1+bf)

(1)

式中，wfx、wfh分別為遺忘門接收信息的權重矩陣；bf為遺忘門的偏置項；σ一般為sigmoid激活函數。

輸入門負責處理當前時刻信息的輸入，控制輸入數量，其具體計算過程為

It=σ(wixxt+wihht-1+bi)

(2)

式中，wix、wih分別為輸入門接收信息的權重矩陣；bi為輸入門的偏置項。

記憶單元負責綜合當前時刻信息與過去記憶信息，當前單元狀態會受到上一時刻單元狀態的影響，其更新過程為

(3)

式中，wsx、wsh分別為記憶單元接收信息的權重矩陣；bs為記憶單元的偏置項。

輸出門負責控制信息的輸出，采用sigmoid函數對輸出結果分類并用tanh函數進行記憶狀態的變換，得到隱藏層傳遞給下一層的狀態值ht，經過sigmoid計算得到當前時刻的輸出值y，其計算見式(4)、式(5)。

(4)

y=σ(wyhht)

(5)

式中，wox、woh分別為輸出門接收信息的權重矩陣；bo為輸出門的偏置項；wyh當前時刻隱藏層到最上層輸出層的權重矩陣。

2.2 相鄰監測點變形關聯性

運營高速鐵路重點地段變形監測網由多個變形監測點組成，每一個監測點的變化并不獨立存在，既受其他監測點的影響，也會對其他監測點的變形產生影響。現有的變形預測模型多為單點預測模型，往往未考慮相鄰點之間的變形影響，從而忽略了相鄰點變形規律的整體關聯性[11]。因此，除了考慮時間因素外，還考慮相鄰點的變形關聯性對變形的影響程度。可以利用Pearson相關系數衡量影響因素與監測點變形之間的相關程度，計算過程為

(6)

3 顧及相鄰點變形關聯性的GWO-LSTM模型

3.1 模型預測流程

建立顧及相鄰點變形關聯性的GWO-LSTM模型，其變形預測整體框架包括數據預處理、基于GWO的超參數優化、網絡訓練與網絡預測，如圖2所示。通過GWO算法對LSTM模型中的初始學習率、隱藏層單元數目兩個網絡參數在搜索空間優化，確定最佳參數組合。將某時刻監測點的變形值與影響特征作為輸入數據，將下一時刻監測點變形預測值作為輸出數據，通過LSTM迭代自適應調整權重擬合形成GWO-LSTM模型。最后，把測試數據輸入訓練網絡進行預測，將預測結果與真實值進行誤差對比并輸出。

圖2 GWO-LSTM模型變形預測整體框架

3.2 數據預處理

運營高速鐵路重點地段變形監測為周期性監測，其周期根據變形速率和評判標準動態調整[12]。受天窗時間、天氣狀況等條件限制，實際監測無法按照等間隔周期進行。根據時間序列預測對監測數據的要求，選用3次樣條插值函數將非等間隔監測數據轉化為等間隔監測[13]，其函數原理如下。

設區間[a，b]上有n+1個樣本點(xi，yi)(i=0，1，…，n)，函數S(x)在整個區間[a，b]為二次連續可微函數，在每個子區間[xk-1，xk](k=1，2，…，n)是一個不超過三次的多項式，在每一個結點上滿足S(xi)=yi(i=0，1，…，n)，則稱S(x)為三次樣條插值函數。

將變形監測數據輸入于預測模型前，需要將其劃分為訓練集ttr=[x1，x2，…，xm]和測試集tte=[xm+1，xm+2，…，xn]，其中限制條件為m

(7)

式中，x是變形監測數據；y是歸一化后的結果；xmin和xmax分別是變形監測數據中的最小值和最大值。

3.3 基于GWO的超參數優化

LSTM模型預測性能取決于網絡超參數的選擇，主要的網絡超參數有初始學習率、隱藏層單元數目等，但目前沒有通用方法，多采用經驗法確定[14]。已有許多學者開展相關研究，許寧提出采用多層網格搜索法，以一種網格遍歷的方式依次嘗試每種超參數組合[15]。多層網格搜索法雖然有不錯的尋優能力，但存在容易陷入局部最優、匹配完所有組合才能結束搜尋導致的效率低下等諸多缺陷，故在實際應用中，一旦超參數個數增多，遍歷所有的參數組合將耗費大量時間，故該方法還不是一種非常智能的方法。針對以LSTM為基礎建立的運營高速鐵路變形預測模型，所涉超參數較多且搜索空間范圍較大，為提高超參數尋優的精度和效率，決定引入GWO算法進行超參數組合優化。

GWO算法源于生物界，是一類對灰狼的狩獵行為與社會等級層次進行模仿的新型群體智能優化算法，其優勢為全局收斂性好、參數少、易實現等[16]。在灰狼種群中，灰狼按等級劃分為α、β、δ及ω。每一個灰狼對應著一組超參數，即α、β、δ及ω分別為最優解、次優解、第三優解與候選解[17]。使用GWO算法對LSTM模型最優參數組合搜尋，其主要步驟如下。

(1)確定超參數取值范圍，初始化灰狼種群，確認灰狼個體的位置向量。

(2)將預測結果的均方根誤差RMSE作為適應度函數，學習訓練樣本計算出灰狼的適應度值并進行灰狼種群等級劃分。

(3)根據式(8)～式(13)，對灰狼個體信息進行位置更新，將位置更新后的適應度函數值與上一代的進行比較，保留最優適應度函數值和最優參數，直至迭代次數滿足，搜索到全局最優參數組合，否則返回第(2)步繼續迭代。

(8)

Bk=2r1，k=1，2，3

(9)

(10)

(11)

Ak=2ar2-a，k=1，2，3

(12)

a=2-t/tmax

(13)

3.4 網絡訓練

LSTM模型與傳統神經網絡模型相同，可以有多個隱藏層，單隱含層可以通過調節隱藏層單元數目來實現和多隱藏層幾乎一樣的效果[18]，故采用單隱藏層LSTM模型。LSTM模型訓練時，采用GWO算法選定的最優參數組合，將訓練集ttr中影響特征與監測點變形值輸入于網絡輸入層，經前向傳播由全連接層回歸分析得出訓練集ttr中下一時刻變形值，通過損失函數計算偏差，其損失函數采用均方誤差MSE。若超過預期值，需要通過BPTT算法反向傳播修正連接權重并采用自適應Adam優化算法調節網絡梯度[19]，進而得出LSTM訓練的全局最優解。

3.5 網絡預測

運營高速鐵路變形預測中，可采用單步預測與多步預測，預測方式又可分為直接多步預測、基于多輸入多輸出策略(MIMO)的多步預測、遞歸多步預測和隨時間推進的單步預測等[20]。對于直接多步預測和基于多輸入多輸出策略的多步預測，兩種方法雖然都建立每個時間步與當前狀態的聯系，但具有模型構造復雜與訓練困難等缺陷。遞歸多步預測與隨時間推進的單步預測都直接利用訓練好的單步預測模型，不需要額外訓練，其區別在于預測階段時間有沒有推進[21]。進行遞歸多步預測時，停留于時刻i，將預測值當作真實值加入歷史序列不斷遞歸預測下一時間步序列值，但這樣會產生誤差累積效應。隨時間推進的單步預測是指隨時間推進將真實值加入歷史序列不斷往前擴展遞歸預測，即在時刻i預測時刻i+1，等到了i+1，知道真實值再預測時刻i+2，以此類推。其模型容易實現，預測精度取決于訓練好的網絡。綜合實際應用考慮，選用隨時間推進的單步預測進行研究。

預測時，首先將測試集tte中影響特征與監測點變形值輸入訓練好的網絡中，即可得到對應的預測值，然后需要進行反歸一化處理，其函數關系見式(14)，并與真實值進行對比，求出預測模型精度。

x=y·(xmax-xmin)+xmin

(14)

式中，x是反歸一化后結果；y是預測值；xmin和xmax分別是變形監測數據中的最小值和最大值。

3.6 預測性能指標

運營高速鐵路變形預測模型性能指標較多，采用RMSE、MAE和確定系數(R2)作為模型的評估指標，如式(15)～式(17)所示。預測模型RMSE和MAE越小，則預測精度越高；R2越大，則預測值與真實值相關程度越高。

(15)

(16)

(17)

4 實例應用

4.1 工程概況

某運營高速鐵路位于華東平原地區，與多條重要高鐵相接，作為我國“八縱八橫”高鐵客運網主要通道之一。其中，K0245+002～K0246+044為無砟軌道路橋過渡段，受溫度等外界條件與時空效應因素影響發生變形，故將其列為重點沉降監測地段。從2017年5月25日到2018年11月16日，在該地段共完成37期監測，監測頻率原則上規定為1次/15 d，但受天窗期與天氣的影響無法嚴格執行。其沉降監測縱斷面分為上下行路肩斷面、上下行底座板外側斷面、上下行軌道板斷面，橫斷面每50～70 m布設1個，路肩CPⅢ點位布設如圖3所示。

圖3 CPⅢ點位布設

4.2 數據預處理

以變形較為嚴重的CPⅢ點245321與245322為例，分別對該點與其相鄰的CPⅢ點進行三次樣條插值處理，插值后累計沉降變化如圖4所示。通過Pearson相關系數法確定兩點的影響特征，如表1與表2所示。結果表明其相關系數均大于0.6，下一時刻的變形與上一時刻各點的變形存在強相關性。因此，分別選用245319、245321與245323的上一期沉降量作為245321下一期沉降量的影響特征，選用245320、245322與245324的上一期沉降量作為245322的影響特征，將構建輸入向量維度為3，輸出向量維度為1的GWO-LSTM模型進行預測，可獲得36組樣本數據，將前29組數據作為訓練集，后7組作為測試集，即預測期次為31～37期。

圖4 三次樣條插值后監測點累計沉降變化

表1 245321相關性分析

表2 245322相關性分析

4.3 GWO訓練尋優

采用GWO算法對LSTM模型中初始學習率與隱藏層單元數兩個參數進行優化。設置灰狼個體數為30，迭代次數為60，初始學習率與隱藏層單元數的搜索空間分別為0.001～0.9和1～30，LSTM模型中訓練輪數為100，梯度閾值為1，學習率下降因子為0.2。經過優化，隨著迭代次數的遞增，GWO-LSTM模型可以在搜索空間中快速找到近似最優解，245321與245322的適應度函數值曲線如圖5所示，所搜尋到的最優超參數如表3所示，并將其代入模型中進行網絡訓練預測。

圖5 適應度函數曲線

表3 最優超參數

4.4 預測結果分析

為分析GWO-LSTM模型的擬合預測性能，建立BP模型與之進行比較，兩種方法對245321與245322的預測結果如圖6與圖7所示，預測精度見表4。可以看出，不論對于245321還是245322，兩個模型都能對其變化趨勢進行一定程度的擬合預測，該地段除了受時空效應影響，還受溫度、風速、荷載等環境因素影響，故所建立的模型不可避免地與實測值有一定程度的偏離。其中BP模型預測趨勢偏離實測值較大，而GWO-LSTM模型預測趨勢更接近實測值，表現出優于BP模型的預測精度。

圖6 245321預測結果對比

圖7 245322預測結果對比

表4 模型精度評定對比

5 仿真實驗

5.1 仿真實驗驗證

為進一步驗證GWO-LSTM模型的擬合預測性能，通過3次樣條插值函數，將監測頻次為1次/15d的37期監測數據轉換為監測頻次為1次/5d的109期監測數據，模擬其變形趨勢如圖8所示。與之前同樣的預測方式，可獲得108組數據，前89組數據作為訓練集，后19組作為測試集，分別對245321與245322的91～109期進行仿真實驗預測。

圖8 109期監測點累計沉降變化

在其余參數不變的條件下，隨著迭代次數的遞增，245321與245322的適應度函數值最終趨于收斂，曲線如圖9所示。所搜索到的最優超參數如表5所示，并將其代入模型中進行網絡訓練預測。

圖9 適應度函數曲線

表5 最優超參數

5.2 仿真實驗結果分析

對于三次樣條函數模擬出的245321與245322，GWO-LSTM模型與BP模型的預測結果如圖10、圖11所示，預測精度見表6。分析可知，GWO-LSTM模型的擬合預測曲線較BP模型更貼近真實曲線，進一步證明了GWO-LSTM模型對非線性數據的擬合預測能力強于BP模型。此外，結果也說明了建模時除了考慮影響特征因素外，還可以提高監測頻次來減少預測數據的離散性，進而獲取更好的預測效果，這為未來運營高速鐵路自動化變形監測大數據預測分析打下了基礎。

圖10 245321預測結果對比

表6 模型精度評定對比

6 結論

以某運營高速鐵路重點地段沉降監測數據及仿真數據為例，建立顧及相鄰點變形關聯性的GWO-LSTM模型進行處理分析，得出以下結論。

(1)運營高速鐵路沉降變形是綜合影響因素作用下的結果，其預測建模不僅需要考慮外界環境的影響，還需要從時空角度上考慮相鄰監測點變形的空間關聯性。

(2)相較于以往的經驗試湊法，GWO算法可以快速實現LSTM模型的超參數尋優，提高變形識別與預測效率。

(3)相較于BP模型，GWO-LSTM模型更適合應用于運營高速鐵路沉降變形分析預測。

(4)雖然可以用GWO-LSTM模型實現單一監測點未來短期分析預測，但只針對于單一監測方式的數據，全線多源數據同步分析預測是以后研究的方向。