基于長短期記憶神經網絡的高鐵接觸網缺陷趨勢預測

薛逸凡，高仕斌

0 引言

接觸網是鐵路牽引供電系統的重要組成部分，因其設置于戶外露天環境，工作環境較為惡劣，容易受外界影響，且結構復雜，為高速鐵路牽引供電系統中故障率較高的子系統。接觸網的露天設置、無備用性使得對其缺陷趨勢的預測非常重要[1]。

對于接觸網故障、缺陷的預測，現有文獻主要基于時間序列回歸預測，如文獻[2]采用HoltWinters預測模型和GM（1,1）灰色預測模型構建組合時間序列預測方法對故障強度發展趨勢進行預測，文獻[3]基于協整理論的多元時間序列回歸模型（ARIMAX模型）對接觸網的故障數據進行預測分析。這些研究雖然能夠大致擬合短期內缺陷趨勢，但在實際中，接觸網缺陷數據的采集受檢測周期影響，接觸網檢修前后，缺陷數據會呈現周期性變化，導致現有模型穩定性和準確性有待提高。

隨著6C系統得以廣泛應用，在日常運行、檢測、維修等業務過程中產生并積累了豐富的數據， 具備了利用循環神經網絡進行缺陷趨勢預測的條件。循環神經網絡預測方法具備自學習能力，在對時序序列的非線性特征進行學習時具有一定優勢。目前在國內，循環神經網絡方法在經濟預測、語音識別、圖像字幕等領域有著較為廣泛的應用，但用于對接觸網進行缺陷趨勢預測的研究較少。

本文提出一種基于長短期記憶神經網絡（LSTM）的高速鐵路接觸網缺陷趨勢預測模型，利用現場獲取的接觸網吊弦缺陷、外部缺陷、定位裝置缺陷等數據進行數據補全等預處理，并結合接觸網實際情況確定LSTM模型參數，實現可靠預測并進行校驗，為實現接觸網計劃性維修和預防性檢修提供參考。

1 循環神經網絡預測方法

1.1 標準RNN方法

標準循環神經網絡（RNN）是一類以時間序列數據為輸入，在序列的演進方向進行遞歸且所有節點（循環單元）按鏈式連接的遞歸神經網絡[4]，廣泛應用于自然語言處理、電力負荷預測等領域。

與前饋神經網絡相比，RNN隱藏層中的每個神經元可以通過自鏈接循環使用，給定原始時間序列x= (x1,x2,…,xn)，通過迭代式（1）和式（2）計算出一個隱藏層序列h= (h1,h2,…,hn)和一個輸出序列y= (y1,y2,…,yn)。

式中：W為權重系數矩陣（如Wxh表示輸入層到隱藏層的權重系數矩陣，Whh表示隱藏層間的權重系數矩陣，Why表示隱藏層到輸出層的權重系數矩陣）；b為偏置向量（如bh表示隱藏層的偏置向量，by表示輸出層的偏置向量，）；fa為激活函數（如tanh函數）；下標t表示時刻。

圖1 RNN模型隱藏層細胞結構

RNN采用ht-1記憶t時刻之前的所有輸入信息，t時刻輸出的yt不僅受該時刻輸入xt的影響，還受ht-1的影響。RNN采用時間反向傳播（BPTT）算法進行訓練，訓練過程中存在梯度消失問題，導致RNN不能學習時間序列的長距離時序依賴關系。同時，標準RNN模型需要預先確定延遲窗口長度，在實際應用中很難獲得該參數的最優值。將長短期記憶神經網絡（LSTM）應用于缺陷數據時間序列預測，通過一定數量的先驗、歷史知識引導網絡學習數據間的聯系與趨勢，在神經元中加入記憶單元和門控單元完成預測。較標準RNN而言，LSTM可解決“長期依賴”（long- term dependency）問題，即有用信息和預測點相隔較遠的情況下依然有較好的預測效果。

1.2 LSTM預測方法

LSTM以細胞狀態向量的形式來存儲神經元對過往序列的宏觀理解和記憶，然后將上一個時間的細胞狀態、當前時間的輸入、上一時步的隱藏狀態綜合起來，構造出神經元的歷史長期記憶。LSTM模型將隱藏層的RNN細胞替換為LSTM細胞，使其具有長期記憶能力[5]。LSTM模型細胞結構如圖2所示。

圖2 LSTM模型細胞結構

該模型前向計算方法可表示為

式中：i、f、c、o分別為輸入門、遺忘門、細胞狀態、輸出門；W和b分別為對應的權重系數矩陣和偏置項；σ和tanh分別為sigmoid和雙曲正切激活函數。

相比于RNN，LSTM增加隱藏狀態c，該隱藏狀態被稱為細胞狀態（圖3），使缺陷發生的內在規律信息在結構塊中傳播。

圖3 LSTM結構塊中的細胞狀態

遺忘門以一定概率保留上一層的隱藏細胞狀態，決定從細胞狀態中留下哪些信息。當遺忘門輸出為0時，完全舍棄上一層細胞狀態；輸出為1時，完全保留上一層的隱含細胞狀態。遺忘門能夠去除接觸網缺陷統計序列中影響較小的部分。

輸入門的作用是向細胞狀態中添加新的信息，主要分為2個步驟：

Step1：通過一個tanh層和sigmoid層共同作用決定向細胞狀態中添加的信息內容。

Step2：結合遺忘門更新細胞狀態。

輸入門從前序缺陷統計量中進一步篩選對預測有作用的信息，并添加到當前細胞狀態中，提高模型對接觸網缺陷內在規律的學習程度。

輸出門為LSTM計算的最后一步，決定當前時刻的最終輸出。輸出門由更新后的細胞狀態、上一時刻輸出與當前時刻輸入共同決定。

2 基于LSTM的缺陷預測模型

2.1 模型框架

接觸網缺陷數據具有周期性和趨勢性，同時又受季節天氣變化、集中修等因素的影響，具有較大的不確定性。利用LSTM能學習長距離時序依賴的優點，在考慮預測月當月相關因素對缺陷趨勢影響的基礎上，從橫向識別預測月當月缺陷變化的規律，從縱向識別其他年份該月份缺陷的變化規律。

考慮單變量的缺陷數量時間序列有限樣本點的數據特征，構建基于LSTM的缺陷數量預測模型的整體框架，如圖4所示。該模型架構包括輸入層、隱藏層、輸出層、網絡訓練以及網絡預測5個功能模塊：輸入層負責對原始故障時間序列進行初步處理以滿足網絡輸入要求；隱藏層采用圖4所示的LSTM細胞搭建單層循環神經網絡；輸出層提供預測結果；網絡訓練采用Adam優化算法；網絡預測采用迭代的方法逐點預測。

圖4 基于LSTM的故障時間序列預測模型框架

2.2 數據預處理

由于缺陷發生次數具有一定隨機性，且有缺失數據，本文進行數據預處理得到以月為采樣周期的接觸網單項缺陷時間序列，以便進行建模和預測。

2.2.1 數據上卷

由于接觸網單項缺陷數據均來源于運營的鐵路線路現場，所以存在一定的誤差，且各單項缺陷數據的檢測周期不同，統計收集的數據不符合時間序列的要求。在模型搭建初始，需要對各指標數據進行匯總，并以月份作為時序上卷周期，以月份為采樣周期對各單項缺陷數據進行數據上卷，使其成為時間序列。

2.2.2 數據補全

缺陷數據采樣存在一定的誤差和遺漏，LSTM需要輸入在時序維度上保持連續的數據[6]，對以月份為采樣周期的時間序列進行缺失值檢測，對前后時間間隔不大的缺失數據采用均值補全的方法進行處理，如式（4）所示。

式中：xb為b月份的時序缺失值；xb+i、xb-i分別為b+i、b-i月份的有效數據。

2.2.3 數據標準化

神經網絡采用基于梯度下降的反向傳播算法進行訓練，數據太大或太小均可能造成無法找到最優解。為此，本文采用最小-最大歸一化方法將數據歸一化到區間[0,1][7]，如式（5）所示。

式中：Xmax、Xmin分別為時間序列的最大值、最小值；X為原始值；Xnorm為標準化后的值。

2.3 模型訓練

本文采用Adam優化方法對用于缺陷趨勢預測的LSTM網絡進行訓練，訓練的目的是調整網絡參數，使輸出值盡可能接近真實值[8]。模型訓練流程如圖5所示。

圖5中，②和③為前向推理過程，④為反向傳播過程，⑤和⑥為對網絡參數進行調整。損失函數包括均方根誤差（RMSE）損失、均方誤差（MES）損失、平均絕對誤差（MAE）損失、絕對百分比誤差（APE）損失。本文采用單項缺陷數據所有樣本APE的平均值（MAPE）作為損失函數衡量預測模型的整體性能[9]，表示為

圖5 模型訓練流程

式中：N為訓練樣本總數；為預測所得缺陷數據；Mi為實際缺陷數據。

3 實例分析

基于高速鐵路牽引供電安全檢測監測（6C）系統所獲取的數據作為研究對象，選取京廣高鐵韶關高鐵接觸網工區、廣州北高鐵接觸網工區、廣州南接觸網工區缺陷數據中接觸網零部件（吊弦）缺陷和接觸網外部環境缺陷兩類缺陷數據進行接觸網缺陷趨勢預測。

3.1 吊弦缺陷預測

吊弦是鏈形懸掛中的重要組成部件之一[10]。對京廣高鐵相關工區2017年1月—2020年3月吊弦缺陷源數據進行月份序列編碼和缺失值補充，如圖6所示。

圖6 數據補全前后吊弦缺陷數據

圖6 中時序序列橫坐標1—39分別對應2017年1月—2020年3月。基于上述數據對LSTM模型進行訓練和參數調整，逐月預測2020年4—10月共計7個月的吊弦缺陷數量，并以源數據中的對應記錄作為標準值與模型值預測結果進行對比校驗，結果如圖7所示，圖中時序橫坐標1—7分別對應2020年4—10月。

圖7 2020年4—10月吊弦缺陷預測結果

由預測結果可知，采用本文所述LSTM模型預測的吊弦缺陷趨勢與實際趨勢基本一致，平均誤差次數為3.14，最大誤差為9次（2020年7月），且2020年4月預測結果與實際結果一致，表明LSTM模型可以學習吊弦缺陷發生的內在規律，對缺陷發展趨勢的短期預測具有較好的效果。

3.2 外部環境缺陷預測

外部環境缺陷主要統計樹木侵限、異物、設備安裝工藝缺陷、設備侵蝕等[10]。對京廣高鐵相關工區2016年1月—2019年12月外部環境缺陷源數據進行月份序列編碼，如圖8所示。

圖8 中時序序列橫坐標1—48分別對應2016年1月—2019年12月。基于上述數據訓練LSTM模型進行參數調整，逐月預測2020年1—10月共計10個月的外部環境缺陷數量，并用源數據中的對應記錄作為標準值與模型值預測結果進行對比校驗，預測結果對比如圖9所示。

圖9 2020年1—10月外部環境缺陷預測結果

由預測結果對比可知，采用本文所述LSTM模型預測的外部缺陷趨勢與實際趨勢基本一致，最大誤差為40次（2020年9月），2020年1月、3—7月6個月的誤差均在4次以內，表明LSTM模型可以學習外部環境缺陷發生的內在規律，對缺陷發展趨勢的短期預測具有較好的效果。

4 結語

接觸網系統是一個較為特殊的系統，其功能復雜，既是電力機車的輸電線路，又是受電弓滑板的滑道，同時其工作條件惡劣，為高速鐵路牽引供電系統中的薄弱環節。根據本文所提出的方法，能夠較為準確地對接觸網系統前期缺陷統計量反映出來的發展過程和變化規律進行分析，預測下一時間段接觸網系統缺陷可能達到的水平，為科學制定接觸網維修計劃、預防性檢修提供了依據。