改進(jìn)LSTM 的脫軌系數(shù)預(yù)測(cè)方法

張 卜，劉怡伶，張文靜，劉學(xué)文

（上海工程技術(shù)大學(xué)機(jī)械與汽車工程學(xué)院，上海 201620）

0 引言

隨著社會(huì)經(jīng)濟(jì)的不斷發(fā)展和鐵路技術(shù)的不斷提升，輪軌列車的運(yùn)行速度至今已達(dá)到每小時(shí)500 多公里，運(yùn)載重量也在逐漸增加，但隨之而來(lái)的列車運(yùn)行安全成為最棘手的問(wèn)題之一，其中最為危險(xiǎn)的工況就是脫軌。

在軌道交通建設(shè)領(lǐng)域，輪軌之間的作用研究自始至終是車輛—基礎(chǔ)耦合動(dòng)力學(xué)的核心所在。理清輪軌在不同工況、不同運(yùn)行狀態(tài)等條件下的接觸狀態(tài)，是研究輪軌作用的焦點(diǎn)問(wèn)題。隨著深度學(xué)習(xí)理論的迅速發(fā)展，除直接以理論方法研究脫軌機(jī)理外，也可以通過(guò)深度學(xué)習(xí)方法挖掘大數(shù)據(jù)中的潛在規(guī)律，Sitton 等建立多個(gè)BP 網(wǎng)絡(luò)分別加以訓(xùn)練，網(wǎng)絡(luò)收斂后將預(yù)測(cè)結(jié)果與驗(yàn)證集進(jìn)行比較，根據(jù)網(wǎng)絡(luò)性能表現(xiàn)對(duì)它們賦予權(quán)重，將多個(gè)帶權(quán)重的BP 網(wǎng)絡(luò)組成投票系統(tǒng)以預(yù)測(cè)貨沖擊對(duì)軌、橋帶來(lái)的破壞；Samira 等和Serdar 等在神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，建立一種新的預(yù)測(cè)模型，用于列車脫軌事故風(fēng)險(xiǎn)評(píng)估；Dindar 等設(shè)計(jì)一種由貝葉斯分類器（NB）組成的網(wǎng)絡(luò)，該網(wǎng)絡(luò)上層NB 的分類結(jié)果會(huì)成為下一層NB 的輸入，可對(duì)因極端天氣造成的脫軌事故進(jìn)行準(zhǔn)確分類；Zhang 等利用深層信念網(wǎng)絡(luò)（Deep Belief Network，DBN）對(duì)列車運(yùn)行安全性進(jìn)行預(yù)測(cè)，并且考慮乘客舒適性；張俊甲等利用附加權(quán)重法對(duì)BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，克服了傳統(tǒng)BP 網(wǎng)絡(luò)學(xué)習(xí)率調(diào)節(jié)困難的缺點(diǎn)，得到一種能夠有效預(yù)測(cè)脫軌系數(shù)的網(wǎng)絡(luò)模型；陳皓等建立基于BR網(wǎng)絡(luò)的NARX 網(wǎng)絡(luò)預(yù)測(cè)模型以預(yù)測(cè)列車脫軌系數(shù)，解決了傳統(tǒng)BP 網(wǎng)絡(luò)預(yù)測(cè)脫軌系數(shù)成本高、精度低的問(wèn)題；楊桐等采用T-snake 模型分析輪軌接觸圖像，推算出輪軌相對(duì)橫向位移量，結(jié)合遺傳算法優(yōu)化小波神經(jīng)網(wǎng)絡(luò)，對(duì)相對(duì)位移、速度、加速度以及輪重減載率和脫軌系數(shù)間的映射進(jìn)行建模。

列車運(yùn)行時(shí)所產(chǎn)生的各項(xiàng)數(shù)據(jù)按照被采樣的先后順序記錄下來(lái)，是典型的時(shí)間序列。時(shí)間序列的特殊性在于其中的各樣例不是孤立的，之前的樣例會(huì)影響后面樣例的狀態(tài)，長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）所具有的循環(huán)結(jié)構(gòu)使它能夠掌握樣例間的關(guān)聯(lián)性。陳渝等采用LSTM 對(duì)醫(yī)院門診量數(shù)據(jù)進(jìn)行建模，取得了較好的預(yù)測(cè)精度；李彬等借助隨機(jī)梯度下降法對(duì)LSTM 進(jìn)行優(yōu)化，對(duì)風(fēng)力發(fā)電功率概率進(jìn)行預(yù)測(cè)，得出一種能夠預(yù)測(cè)未來(lái)200h 風(fēng)電功率概率函數(shù)的神經(jīng)網(wǎng)絡(luò)；Ugurlu 等以均值絕對(duì)誤差（MAE）和均方根誤差（RMSE）作為性能度量，使用LSTM 精確預(yù)測(cè)了電價(jià)的價(jià)格滯后現(xiàn)象。

要想保證深度學(xué)習(xí)效果，需要準(zhǔn)備大量的訓(xùn)練數(shù)據(jù)，然而列車實(shí)車試驗(yàn)成本高昂，鐵路日常運(yùn)營(yíng)中收集到的數(shù)據(jù)，一般研究機(jī)構(gòu)也難以獲得，通過(guò)仿真方法獲取數(shù)據(jù)集是解決該難題的方法之一。近年來(lái)，仿真軟件的性能逐步提升，其中SIMPACK 在多體動(dòng)力學(xué)，尤其是輪軌接觸方面的仿真效果非常好。陳楊在多體系統(tǒng)動(dòng)力學(xué)軟件SIMPACK 中建立了整車動(dòng)力學(xué)仿真模型，并對(duì)輪軌接觸面和懸掛系統(tǒng)做了處理，加入了軌道不平順激勵(lì)模型，得到了較為真實(shí)的仿真場(chǎng)景，利用仿真研究了各向不平順對(duì)蛇形失穩(wěn)臨界速度的影響；王海濤在SIMPACK 中建立了車—線—隧剛?cè)狁詈蟿?dòng)力學(xué)模型，利用仿真與實(shí)測(cè)數(shù)據(jù)研究了車輪抬升力，車輪踏面磨耗數(shù)與隧道壁振幅等參數(shù)對(duì)列車運(yùn)行的影響；何銀川在SIMPACK 中建立了馱背運(yùn)輸車輛系統(tǒng)振動(dòng)模型，根據(jù)仿真分析了臨界速度、曲線通過(guò)能力和懸架對(duì)垂向穩(wěn)定性的影響，并且做了實(shí)際試驗(yàn)，與仿真結(jié)果是相吻合的；姚常偉通過(guò)FLUENT、ANSYS 和SIMPACK 等仿真軟件對(duì)受側(cè)風(fēng)影響的列車模型進(jìn)行了仿真，仿真結(jié)果與通過(guò)理論計(jì)算得到的風(fēng)載荷對(duì)車輛的影響是等效的。

上述科研成果都能證明SIMPACK 多體動(dòng)力學(xué)仿真軟件在研究輪軌接觸方面的可靠性，因此借助仿真工具得到數(shù)據(jù)集，再利用深度學(xué)習(xí)方法分析數(shù)據(jù)，從而得到關(guān)鍵參數(shù)與列車輪軌狀態(tài)之間的關(guān)系是可行的。

本研究采用SIMPACK 仿真軟件收集列車通過(guò)彎道時(shí)的各項(xiàng)參數(shù)，包括最大脫軌系數(shù)、最大橫向振動(dòng)加速度、橫向重心偏移量、車速、彎道半徑和軌道超高，組成訓(xùn)練數(shù)據(jù)集。

循環(huán)神經(jīng)網(wǎng)絡(luò)，特別是其中的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)已被諸多研究證實(shí)適用于處理時(shí)間序列數(shù)據(jù)，因此本研究也將以長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)模型。但是一方面，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)訓(xùn)練過(guò)程對(duì)學(xué)習(xí)率非常敏感，學(xué)習(xí)率的調(diào)整往往要根據(jù)學(xué)者的經(jīng)驗(yàn)或反復(fù)嘗試才得以確定，這樣調(diào)參不僅要耗費(fèi)大量時(shí)間，也未必能達(dá)到最優(yōu)效果；另一方面，得益于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，網(wǎng)絡(luò)可以高效地從訓(xùn)練集中找到屬性與標(biāo)記之間的映射，但是訓(xùn)練后的網(wǎng)絡(luò)在測(cè)試集上的表現(xiàn)往往不如訓(xùn)練集，也即發(fā)生了過(guò)擬合現(xiàn)象。針對(duì)這兩種情況，本研究提出使用簡(jiǎn)便、有效的動(dòng)態(tài)學(xué)習(xí)率和Dropout 方法針對(duì)學(xué)習(xí)率和網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，將經(jīng)過(guò)改進(jìn)的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)用于列車通過(guò)彎道時(shí)的脫軌系數(shù)預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)能夠較好地預(yù)測(cè)脫軌系數(shù)隨工況變化趨勢(shì)，為進(jìn)一步的脫軌系數(shù)預(yù)測(cè)研究提供了支持。

1 長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）

1.1 LSTM 神經(jīng)網(wǎng)絡(luò)

LSTM 神經(jīng)網(wǎng)絡(luò)改良于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），除了與RNN 相同的外部循環(huán)外，還有本身節(jié)點(diǎn)間的自循環(huán)。自循環(huán)由遺忘門、輸入門和輸出門控制，這三者可根據(jù)當(dāng)前時(shí)刻的輸入從隱層中刪除、添加、提取信息，改善了RNN 長(zhǎng)期依賴導(dǎo)致梯度消失和梯度爆炸的問(wèn)題，圖1 展示了LSTM 的單元結(jié)構(gòu)。

Fig.1 Unit structure of LSTM圖1 LSTM 的單元結(jié)構(gòu)

輸入門根據(jù)

x

、輸入門的輸入偏置

b

和

h

決定計(jì)算當(dāng)前時(shí)刻輸出的狀態(tài)

c

(，可用式（2）計(jì)算。其中，

U

為單元體輸入門的輸入權(quán)重，

W

為單元體輸入門的循環(huán)權(quán)重，Sigmoid 為激活函數(shù)，則：

1.2 動(dòng)態(tài)學(xué)習(xí)率方法

神經(jīng)網(wǎng)絡(luò)的權(quán)重更新離不開(kāi)梯度下降法，傳統(tǒng)的梯度下降方法如式（5）所示。其中，

W

為第

i

次更新時(shí)的權(quán)重，

η

為學(xué)習(xí)率，

L

為損失函數(shù)的值。

學(xué)習(xí)率

η

的取值對(duì)網(wǎng)絡(luò)訓(xùn)練效果影響很大，取值過(guò)大會(huì)導(dǎo)致更新跳過(guò)最優(yōu)權(quán)重，或是損失函數(shù)震蕩，網(wǎng)絡(luò)難以收斂，取值過(guò)小會(huì)導(dǎo)致網(wǎng)絡(luò)收斂慢、訓(xùn)練效率差。為解決該問(wèn)題可以引入動(dòng)態(tài)學(xué)習(xí)率方法，每輪訓(xùn)練都根據(jù)當(dāng)前損失函數(shù)的梯度Δ

L

重新分配下一輪訓(xùn)練的學(xué)習(xí)率，其計(jì)算方法如式（6）所示。

動(dòng)態(tài)學(xué)習(xí)率可按式（7）推導(dǎo)，可以看出，隨著訓(xùn)練輪數(shù)的增加，動(dòng)態(tài)學(xué)習(xí)率會(huì)越來(lái)越小，防止越過(guò)最優(yōu)解，但當(dāng)Δ

L

≤0 時(shí)，即網(wǎng)絡(luò)尚未出現(xiàn)收斂趨勢(shì)時(shí)，動(dòng)態(tài)學(xué)習(xí)率的降低速度會(huì)變慢，以保證網(wǎng)絡(luò)訓(xùn)練效率。若學(xué)習(xí)率過(guò)低，會(huì)引發(fā)梯度消失問(wèn)題，因此

η

不會(huì)小于0.01 。

1.3 Dropout 方法

Fig.2 Principle of dropout圖2 Dropout 原理

2 數(shù)據(jù)集準(zhǔn)備

2.1 SIMPACK 仿真場(chǎng)景

該仿真場(chǎng)景中包含模型與線路兩個(gè)部分，其中模型中有17個(gè)剛體、1個(gè)車身、2個(gè)構(gòu)架、4 組輪對(duì)、8個(gè)軸箱和2個(gè)搖枕。其中，車身、構(gòu)架和輪對(duì)考慮到了前后伸縮、左右晃動(dòng)、上下浮動(dòng)以及點(diǎn)頭、搖頭和翻滾6個(gè)自由度，軸箱考慮點(diǎn)頭，只有1個(gè)自由度，搖枕與車身剛性連接，不考慮其自由度，故該模型共有50個(gè)自由度。該模型包含54個(gè)力元，因只考慮單節(jié)車輛，故沒(méi)有車鉤力，其中軸套與構(gòu)架間使用43 號(hào)力元，一系懸掛中的彈簧使用85 號(hào)力元，一二系懸掛中的阻尼以及蛇形減振器選用6 號(hào)力元，二系懸掛的兩個(gè)剪切彈簧使用79 號(hào)力元，車架與搖枕之間用13 號(hào)力元作為緩沖器以防止二者碰撞，輪軌接觸力元采用78 號(hào)力元并考慮到了它的非線性特性，該模型如圖1 所示。

Fig.3 SIMPACK simulation model圖3 SIMPACK 仿真模型

車輛行駛線路包括：直線—過(guò)渡曲線—彎道—過(guò)渡曲線—直線，列車在直線的行駛狀態(tài)不是研究重點(diǎn)，故設(shè)置為10m，過(guò)渡曲線用線性過(guò)渡，長(zhǎng)度為10m，彎道的長(zhǎng)度為500m，半徑可調(diào)。引入的軌道水平不平順激勵(lì)參考美國(guó)6 級(jí)譜，式（8）是其譜密度分析式，各參數(shù)如表1 所示。

Table 1 Parameter values of the six-order spectrum of the US orbit表1 美國(guó)軌道六級(jí)譜的參數(shù)值

2.2 數(shù)據(jù)集及其預(yù)處理

列車在彎道上的脫軌系數(shù)，會(huì)受到線路、車速等眾多因素的影響，本文將重點(diǎn)放在車速、重心橫向偏移量、半徑和超高上，研究這三者對(duì)脫軌系數(shù)的影響。通過(guò)不同條件下的仿真實(shí)驗(yàn)，提取車速、半徑、超高、重心橫向偏移量作為屬性，對(duì)應(yīng)的脫軌系數(shù)作為標(biāo)記，共得到如表2 所示的1 269 條樣例。其中，超高按照式（9）計(jì)算，一般應(yīng)該按5mm的整倍數(shù)設(shè)置，且按照國(guó)家標(biāo)準(zhǔn)一般不能超過(guò)120～150mm，但為了在仿真中能得到盡可能大的脫軌系數(shù)，暫不考慮這些限制。

Table 2 Derailment coefficient data set表2 脫軌系數(shù)數(shù)據(jù)集

3 脫軌系數(shù)預(yù)測(cè)

3.1 評(píng)價(jià)標(biāo)準(zhǔn)

為了評(píng)估模型最終在測(cè)試集上的表現(xiàn)，采用均方根誤差（RMSE）作為評(píng)價(jià)標(biāo)準(zhǔn)，如式（10）所示，其為各條樣例預(yù)測(cè)值和真實(shí)值偏差的平方之和的平方根，反映了預(yù)測(cè)值偏離真實(shí)值的程度，當(dāng)預(yù)測(cè)值出現(xiàn)較大誤差時(shí)，會(huì)導(dǎo)致RMSE 激增，故RMSE 能夠較為全面地反映預(yù)測(cè)的精確程度。

3.2 實(shí)驗(yàn)結(jié)果與分析

將數(shù)據(jù)集的前890條作為訓(xùn)練集，其余作為測(cè)試集。初始學(xué)習(xí)率為0.01，循環(huán)次數(shù)500次，batch_size 為20，keep_prob 參數(shù)決定了dropout 層保留輸出權(quán)重的概率，設(shè)置為0.9、0.8、0.7，即單元有10%、20%、30%的概率失活，分別進(jìn)行訓(xùn)練，選取測(cè)試結(jié)果較好的一種作為最終參數(shù)。3 種使用不同keep_prob 參數(shù)的LSTM 在訓(xùn)練集上都有不錯(cuò)的表現(xiàn)，圖4 展示了500 輪訓(xùn)練中，損失函數(shù)值變化曲線。

Fig.4 Loss function in training圖4 訓(xùn)練中的損失函數(shù)

幾種不同Keep_Prob 參數(shù)下的LSTM 在測(cè)試集上的RMSE 如表3 所示。傳統(tǒng)的LSTM 雖然在訓(xùn)練集上表現(xiàn)優(yōu)異，但在測(cè)試集上的誤差反而較大，出現(xiàn)了過(guò)擬合現(xiàn)象。引入Dropout 方法，設(shè)置keep_prob 為0.9 和0.8 時(shí)，過(guò)擬合現(xiàn)象有所改善，但進(jìn)一步減少保留輸出權(quán)重的概率時(shí)，測(cè)試集上的誤差再次增加，出現(xiàn)了欠擬合趨勢(shì)。因此，最后選取Keep_Prob 參數(shù)為0.8。

Table 3 Prediction errors of different keep_prob parameter networks表3 不同keep_prob 參數(shù)網(wǎng)絡(luò)的預(yù)測(cè)誤差

最終測(cè)試結(jié)果如圖5 所示，模型經(jīng)過(guò)優(yōu)化后有著較好的擬合精度，預(yù)測(cè)曲線雖然未和真實(shí)值完全重合，但是模型準(zhǔn)確預(yù)測(cè)出了脫軌系數(shù)隨工況的變化趨勢(shì)。其中，在113 號(hào)樣例附近，模型準(zhǔn)確地預(yù)測(cè)出了因?yàn)檐囁偻蝗幌陆刀鴮?dǎo)致的脫軌系數(shù)斷崖式下跌，在其他位置模型也把握住了車速越高、彎道半徑越小，則脫軌系數(shù)越大的特點(diǎn)，這一特點(diǎn)在測(cè)試集和訓(xùn)練集上都相同，說(shuō)明模型具有了較好的泛化性能。總體而言，雖然預(yù)測(cè)值和真實(shí)值之間有一定誤差，但均方根誤差控制在了0.01 以內(nèi)，與未經(jīng)優(yōu)化的LSTM預(yù)測(cè)結(jié)果相比，改善較大，RMSE 減小近24%，對(duì)于預(yù)測(cè)脫軌系數(shù)的變化趨勢(shì)有一定參考價(jià)值。

Fig.5 Prediction results of 2 kinds of LSTM圖5 兩種LSTM 預(yù)測(cè)結(jié)果

4 結(jié)語(yǔ)

列車脫軌系數(shù)是評(píng)價(jià)列車運(yùn)行安全的重要參考，影響著軌道運(yùn)輸?shù)脑O(shè)計(jì)、實(shí)驗(yàn)、運(yùn)維等方方面面。本研究針對(duì)在彎道上受重心偏移量影響的列車脫軌系數(shù)，使用深度學(xué)習(xí)方法，建立長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行脫軌系數(shù)預(yù)測(cè)。為了解決模型學(xué)習(xí)率調(diào)整困難的問(wèn)題，引入了動(dòng)態(tài)學(xué)習(xí)率方法，為了解決過(guò)擬合問(wèn)題，使用了Dropout 方法。驗(yàn)證集表明，雖然在預(yù)測(cè)精度上仍有可以改善的地方，但通過(guò)優(yōu)化，模型在驗(yàn)證集上的RMSE 減小了23.9%，不僅較好地預(yù)測(cè)出脫軌系數(shù)變化趨勢(shì)，也把握住了脫軌系數(shù)驟然變化情況。總體而言，這種優(yōu)化的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)方法能應(yīng)用在脫軌系數(shù)預(yù)測(cè)上，能夠?yàn)殍F路安全運(yùn)營(yíng)提供數(shù)據(jù)支持。下一步研究將考慮更多因素對(duì)脫軌系數(shù)的影響，比如車輪抬升量、車鉤力及橫風(fēng)等，并嘗試采用其他優(yōu)化方法以建立更加準(zhǔn)確的預(yù)測(cè)方法，進(jìn)一步挖掘列車運(yùn)行數(shù)據(jù)的實(shí)用價(jià)值。