基于極端學(xué)習(xí)機(jī)的輪軌力預(yù)測(cè)研究

郭劍峰，王衛(wèi)東，劉金朝，靖穩(wěn)峰

(1.中國(guó)鐵道科學(xué)研究院 基礎(chǔ)設(shè)施檢測(cè)研究所，北京 100081;2.西安交通大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，陜西西安 710049)

輪軌間的相互作用力可以揭示車(chē)輛的運(yùn)行安全性，通過(guò)測(cè)量輪軌之間相互作用的垂向力和橫向力進(jìn)而可以計(jì)算出脫軌系數(shù)、輪重減載率、輪軸橫向力等指標(biāo)。這些指標(biāo)對(duì)評(píng)價(jià)車(chē)輛運(yùn)行安全與否，研究脫軌機(jī)理等起著非常重要的作用［1-2］。國(guó)內(nèi)外已經(jīng)研究了輪軌力的直接測(cè)量方法并成功應(yīng)用在綜合檢測(cè)中［3-4］。但對(duì)于輪軌力的預(yù)測(cè)技術(shù)，目前國(guó)內(nèi)外的研究者僅使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行預(yù)測(cè)［5］，存在著訓(xùn)練速度慢、參數(shù)調(diào)整復(fù)雜、容易搜索到局部極小解等問(wèn)題。近年來(lái)，一種新的極端學(xué)習(xí)算法解決了上述問(wèn)題［6］，可將其用于輪軌力預(yù)測(cè)技術(shù)中。

1 極端學(xué)習(xí)機(jī)的基本理論

單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feedforward Neural Network，SLFN)以其具有非常好的學(xué)習(xí)能力而在很多領(lǐng)域中得到了廣泛應(yīng)用。但傳統(tǒng)的基于梯度下降和誤差反向傳播的學(xué)習(xí)算法，如BP，RBF等存在如下缺點(diǎn):

1)網(wǎng)絡(luò)訓(xùn)練速度慢，需要通過(guò)多次迭代修正權(quán)值和閾值，訓(xùn)練時(shí)間很長(zhǎng)。

2)可能會(huì)陷入局部極小點(diǎn)，很容易產(chǎn)生局部最優(yōu)解，無(wú)法搜索找到全局最優(yōu)解。

3)需要人為設(shè)置大量的網(wǎng)絡(luò)訓(xùn)練參數(shù)，例如學(xué)習(xí)速率等參數(shù)。若學(xué)習(xí)速率較小，則算法收斂速度慢，訓(xùn)練時(shí)間長(zhǎng);若學(xué)習(xí)速率較大，則可能破壞訓(xùn)練算法的收斂性。

針對(duì)SLFN傳統(tǒng)學(xué)習(xí)算法的上述問(wèn)題，需要一種訓(xùn)練速度快，能獲得全局最優(yōu)解的算法，才能使SLFN在工程上獲得應(yīng)用。

2004年，新加坡南洋理工大學(xué)的黃廣斌教授提出了極端學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)學(xué)習(xí)算法，這種算法是一種簡(jiǎn)單易用、有效的SLFN學(xué)習(xí)算法，只需要設(shè)置神經(jīng)網(wǎng)絡(luò)中隱含層節(jié)點(diǎn)的個(gè)數(shù)，并且在算法的執(zhí)行過(guò)程中不需要調(diào)整網(wǎng)絡(luò)的輸入權(quán)值以及隱含層的輸出閾值，只要隨機(jī)產(chǎn)生一次，就能得到唯一最優(yōu)解，因此具有學(xué)習(xí)速度快、能獲得全局最優(yōu)解、泛化性能好的優(yōu)點(diǎn)。

1.1 SLFN模型

對(duì)于任意一個(gè)SLFN，其輸入層、隱含層、輸出層神經(jīng)元節(jié)點(diǎn)間完全連接。設(shè)網(wǎng)絡(luò)的輸入層有m個(gè)神經(jīng)元，輸出層有n個(gè)神經(jīng)元，隱含層有k個(gè)神經(jīng)元，其神經(jīng)網(wǎng)絡(luò)模型如圖1所示。

圖1 SLFN模型

輸入層與隱含層間的連接權(quán)值矩陣w為

式中，wij表示輸入層第i個(gè)神經(jīng)元與隱含層第j個(gè)神經(jīng)元的連接權(quán)值。

隱含層與輸出層間的連接權(quán)值矩陣β為

式中，βij表示隱含層第i個(gè)神經(jīng)元與輸出層第j個(gè)神經(jīng)元的連接權(quán)值。

隱含層的閾值矩陣b為

輸入矩陣X和輸出矩陣Y具有l(wèi)個(gè)樣本

1.2 ELM學(xué)習(xí)算法

確定了SLFN的數(shù)學(xué)模型后，設(shè)隱含層神經(jīng)元的激活函數(shù)為g(x)，神經(jīng)網(wǎng)絡(luò)輸出T為

式中

式(7)可以表示為如下形式

式中，H為隱含層輸出矩陣，表達(dá)式為

ELM學(xué)習(xí)算法基于如下兩個(gè)性質(zhì)［7］:

性質(zhì)1:對(duì)實(shí)數(shù)域上任意l個(gè)不同樣本(xi，yi)和在任意區(qū)間上無(wú)限可微的激活函數(shù)g(x)，則對(duì)有l(wèi)個(gè)隱含層神經(jīng)元的SLFN，對(duì)任意的輸入權(quán)系數(shù)矩陣w和閾值矩陣 b，其隱含層輸出矩陣 H可逆并且‖Hβ－TT‖ =0。

性質(zhì)2:對(duì)實(shí)數(shù)域上任意l個(gè)不同樣本(xi，yi)和在任意區(qū)間上無(wú)限可微的激活函數(shù)g(x)，若給定一個(gè)任意小的誤差ε(ε＞0)，總存在一個(gè)含有Q(Q≤l)個(gè)隱含層神經(jīng)元的SLFN，對(duì)任意的輸入層和隱含層連接權(quán)系數(shù)矩陣w和隱含層閾值矩陣b，有:‖Hβ－TT‖＜ε。

由上述兩個(gè)性質(zhì)可知，ELM學(xué)習(xí)算法中隱含層神經(jīng)元的個(gè)數(shù)決定著SLFN是否能以零誤差逼近訓(xùn)練樣本，并且ELM學(xué)習(xí)算法可以不調(diào)整SLFN的全部參數(shù)，輸入權(quán)值矩陣w和隱含層閾值矩陣b可以隨機(jī)給出，并且訓(xùn)練過(guò)程中始終保持不變，只需調(diào)整隱含層與輸出層的連接權(quán)值矩陣β即可完成訓(xùn)練。即求解如下問(wèn)題［8］

2 基于ELM的輪軌力預(yù)測(cè)

對(duì)于SLFN模型，由于ELM學(xué)習(xí)算法具有學(xué)習(xí)速度快、能獲得全局最優(yōu)解、泛化性能好的優(yōu)點(diǎn)，因此將該算法應(yīng)用于輪軌力預(yù)測(cè)問(wèn)題中。

2.1 預(yù)測(cè)步驟

使用SLFN和ELM學(xué)習(xí)算法對(duì)輪軌力預(yù)測(cè)時(shí)，SLFN模型的輸入?yún)?shù)為4項(xiàng)軌道不平順和8項(xiàng)車(chē)輛的動(dòng)態(tài)加速度響應(yīng)數(shù)據(jù)，輸出分別為輪軌垂向和橫向作用力。4項(xiàng)軌道不平順?lè)謩e為:左高低、右高低、左軌向、右軌向;8項(xiàng)車(chē)輛動(dòng)態(tài)加速度響應(yīng)數(shù)據(jù)分別為:左、右軸箱垂向和橫向加速度，構(gòu)架、車(chē)體的垂向和橫向加速度。取訓(xùn)練組樣本數(shù)為1 000個(gè)，測(cè)試組樣本數(shù)也為1 000個(gè)進(jìn)行訓(xùn)練和預(yù)測(cè)，預(yù)測(cè)步驟如下:

1)首先，對(duì)訓(xùn)練組和測(cè)試組輸入和輸出數(shù)據(jù)進(jìn)行歸一化，因?yàn)榧せ詈瘮?shù)對(duì)［－1，1］之間的數(shù)據(jù)比較敏感。

2)確定隱含層神經(jīng)元節(jié)點(diǎn)的個(gè)數(shù)，按照性質(zhì)1和性質(zhì)2，一般取隱含層節(jié)點(diǎn)個(gè)數(shù)與樣本數(shù)相同時(shí)預(yù)測(cè)的效果更好。但隨著隱含層節(jié)點(diǎn)數(shù)的增多，同時(shí)也增加了計(jì)算量，因此根據(jù)性質(zhì)2，可以選擇一個(gè)較小的值，滿足誤差要求即可。

3)隨機(jī)給出輸入層與隱含層之間的輸入權(quán)系數(shù)矩陣w和隱含層神經(jīng)元閾值矩陣b。

4)設(shè)置隱含層神經(jīng)元激活函數(shù)，一般選sigmoid函數(shù)等實(shí)數(shù)域無(wú)限可微函數(shù)即可。

5)計(jì)算隱含層輸出矩陣H并求其逆矩陣。

6)求解式(12)中的最優(yōu)化問(wèn)題，計(jì)算隱含層與輸出層之間的連接權(quán)值矩陣β的解β～=H－TT。

2.2 試驗(yàn)結(jié)果

按上述步驟，預(yù)測(cè)輪軌力的結(jié)果如下:

1)隱含層節(jié)點(diǎn)數(shù)為50時(shí)，訓(xùn)練組預(yù)測(cè)的輪軌垂向力與實(shí)測(cè)值之間的相關(guān)系數(shù)約為0.898 6，結(jié)果如圖2所示。

圖2 隱含層50個(gè)節(jié)點(diǎn)時(shí)訓(xùn)練組預(yù)測(cè)輪軌垂向力與實(shí)測(cè)值對(duì)比

2)隱含層節(jié)點(diǎn)數(shù)為1 000時(shí)，訓(xùn)練組預(yù)測(cè)輪軌垂向力與實(shí)測(cè)值之間的相關(guān)系數(shù)為1，因?yàn)榇藭r(shí)隱含層節(jié)點(diǎn)數(shù)等于樣本數(shù)，該結(jié)論與性質(zhì)1相符合。但由于隱含層的節(jié)點(diǎn)數(shù)較多，所以需要的訓(xùn)練時(shí)間很長(zhǎng)，結(jié)果如圖3所示。

圖3 隱含層1 000個(gè)節(jié)點(diǎn)時(shí)訓(xùn)練組預(yù)測(cè)輪軌垂向力與實(shí)測(cè)值對(duì)比

3)隱含層節(jié)點(diǎn)數(shù)為50時(shí)，測(cè)試組預(yù)測(cè)的輪軌垂向力與實(shí)測(cè)值之間的相關(guān)系數(shù)約為0.891 0，結(jié)果如圖4所示。

圖4 隱含層50個(gè)節(jié)點(diǎn)時(shí)測(cè)試組預(yù)測(cè)輪軌垂向力與實(shí)測(cè)值對(duì)比

4)隱含層節(jié)點(diǎn)數(shù)為50時(shí)，訓(xùn)練組預(yù)測(cè)的輪軌橫向力與實(shí)測(cè)值之間的相關(guān)系數(shù)約為0.838 6，結(jié)果如圖5所示。

5)隱含層節(jié)點(diǎn)數(shù)為50時(shí)，測(cè)試組預(yù)測(cè)的輪軌橫向力與實(shí)測(cè)值之間的相關(guān)系數(shù)約為0.812 6，接近訓(xùn)練組預(yù)測(cè)結(jié)果，如圖6所示。可見(jiàn)ELM算法使SLFN有很好的泛化性能。

圖5 隱含層50個(gè)節(jié)點(diǎn)時(shí)訓(xùn)練組預(yù)測(cè)輪軌橫向力與實(shí)測(cè)值對(duì)比

圖6 隱含層50個(gè)節(jié)點(diǎn)時(shí)測(cè)試組預(yù)測(cè)輪軌橫向力與實(shí)測(cè)值對(duì)比

3 結(jié)論

1)ELM學(xué)習(xí)算法是一種快速的學(xué)習(xí)算法，與傳統(tǒng)基于梯度下降的誤差反向傳播算法不同，無(wú)需反復(fù)調(diào)整網(wǎng)絡(luò)的參數(shù)，對(duì)上述1 000個(gè)輪軌力樣本僅需1 s即可完成訓(xùn)練和測(cè)試。

2)試驗(yàn)結(jié)果表明，當(dāng)隱含層節(jié)點(diǎn)數(shù)等于樣本數(shù)時(shí)，對(duì)訓(xùn)練組數(shù)據(jù)有最好的預(yù)測(cè)效果，該結(jié)論從工程應(yīng)用上驗(yàn)證了性質(zhì)1。但當(dāng)樣本量較大時(shí)，根據(jù)性質(zhì)2，選取較小的隱含層節(jié)點(diǎn)數(shù)亦可達(dá)到全局最優(yōu)的效果。

3)利用軌道不平順和車(chē)輛加速度預(yù)測(cè)得到輪軌的垂向力和橫向力與解析解的相關(guān)系數(shù)在0.8以上，能滿足工程應(yīng)用的要求。相對(duì)而言，輪軌垂向力比橫向力的預(yù)測(cè)精度更高，能達(dá)到0.85以上甚至0.9的精度。

［1］祖宏林，張志超，汪偉.輪軌力測(cè)量在高速鐵路軌道檢測(cè)中的應(yīng)用研究［J］.鐵道機(jī)車(chē)車(chē)輛，2012，32(4):19-24.

［2］田德柱，馮毅杰.重載鐵路輪軌力測(cè)試及傳輸系統(tǒng)研究［J］.鐵道建筑，2011(12):109-102.

［3］楊榮峰，王林棟，章亮.鐵路線路動(dòng)車(chē)組動(dòng)力學(xué)響應(yīng)檢測(cè)應(yīng)用研究［J］.鐵道機(jī)車(chē)車(chē)輛，2010，30(1):20-21，47.

［4］許貴陽(yáng).客運(yùn)專(zhuān)線綜合檢測(cè)列車(chē)技術(shù)方案的研究和應(yīng)用［J］.鐵道建筑，2008(2):95-98.

［5］LI D，MEDDAH A，HASS K，et al.Relating track geometry to vehicle performance using neural network approach［J］.Rail and Rapid Transit，2006，220(6):273-281.

［6］HUANG G B，ZHU Q Y，SIEW C K.Extreme learning machine:theory and applications［J］.Neuro-computing，2006，70(1):489-501.

［7］HUANG G B，LEI C，SIEW C K.Universal approximation using incremental constructive feed forward networks with random hidden nodes［J］.IEEE Transactions on Neural Networks，2006，17(4):879-892.

［8］GUO R F，HUANG G B，LIN Q P.Error minimized extreme learning machine with growth of hidden nodes and incremental learning［J］.IEEE Transactions on Neural Networks，2009，20(8):1352-1357.