基于稀疏注意力機制的城軌車輛軸溫預測模型＊

張恒志，蔣雨良

（1.中車青島四方機車車輛股份有限公司，山東 青島266109；2.西南交通大學機械工程學院，四川 成都610031）

1 引言

時間序列是各領域內都十分常見的數據形式，考慮到趨勢、狀態預測的重要意義，針對時間序列的預測、異常檢測已有不同程度的發展[1]。軸承是軌道車輛重要的旋轉部件，隨著列車在交路中運行，安裝在車輛走行部上的各個軸承的溫度傳感器所采集溫度呈現因各項激勵而產生的不同變化[2]。異常的軸承溫升表征軸承運行狀態異常，監測分析軸承溫度及相關數據能有效檢測軸承異常，幫助找出溫升相關因素，診斷軸承異常。基于軸承溫度的時間序列變化趨勢進行建模，盡可能地提前對軸承進行預警，提前診斷軸承是否故障，預防重大安全事故對列車運行安全具有重要意義[3]。

傳統機器學習方法，如逐步線性回歸[4]、支持向量機[5]等方法在列車履歷數據上的應用具有良好的預測結果。深度學習由于其優秀的特征學習能力，在軸溫預測領域引起了越來越多的關注。針對時間序列的預測模型也在逐步發展，從初始的循環神經網絡[6-7]（Recurrent Neural Networks，RNN）到使用雙向、深度[8-9]的概念進一步增加網絡的性能再到已在文本識別、時間序列預測方面普遍使用的長短時記憶[10]（Long Short-Term Memory networks，LSTM）、門控循環單元[11]（Gated Recurrent Unit networks，GRU）的提出，此類網絡的實質上均是一個基于馬爾科夫決策過程的遞推框架。深度學習作為前沿的機器學習技術，如運用LSTM 建立短時機車軸溫預測模型[12]，能達到比傳統機器學習方法更優的效果。

Google 所提出的Transformer 深度學習模型[13]，拋棄了逐步遞推的方式，使用注意力機制作為基礎，在機器翻譯領域能夠達到更優效果。但單純的注意力機制計算復雜程度很高，這使得長序列模型中的顯存占用量和計算時間居高不下。

有鑒于此，本文提出基于稀疏注意力機制的城軌車輛軸溫預測模型。運用稀疏的特性改進注意力機制，降低計算復雜度和顯存占用量，將診斷流程分為線下訓練、在線預測和故障診斷三個步驟。首先訓練一個軸承的模型，將該軸承的模型遷移到其他軸承上，再將改進后的注意力網絡模型運用在城軌車輛上對軸承溫度進行預測，該模型能夠在長時間序列輸入上達到更優的精度，并能夠預測軸承的溫度變化。

2 模型和流程介紹

2.1 稀疏注意力機制

稀疏是結合了空洞（Atrous）和局部（Local）的概念。空洞源于空洞卷積（Atrous Convolution），對數據的相關性進行了約束，要求在自注意力的相關性計算過程中，每個輸入元素只能和它的相對距離為d（設定值）倍數的元素關聯；局部則是放棄了全局的關聯，只和輸入元素前后距離為d的元素關聯。稀疏結合了兩者的概念，針對距離小于等于d的元素采用了局部注意力的方式，針對相對距離為不為1d，2d，…的元素，則將注意力置為0，因此，稀疏注意力能夠結合空洞和局部兩者的優勢，既考慮了局部關聯，又對全局關聯做出了改進，三種方式注意力對比如圖1 所示。

注意力的一般公式為：

圖1 各類注意力對比

在軸溫預測模型中，輸入為時間序列，為了對未來時間進行遮擋，不讓網絡使用未來的信息作為輸入預知未來，對注意力矩陣進行處理，公式為：

在式（2）中，M表示對矩陣進行Mask 掩碼編譯，將整個上三角陣元素置為-∞，軸溫預測模型中稀疏注意力的矩陣形式如圖2 所示，涂黑的方塊表示未來的信息，對角一列表示輸入數據，白色的方塊表示注意力置為0。

圖2 稀疏注意力矩陣

2.2 模型微調

遷移學習是把已經訓練好的模型的參數遷移到新的數據來幫助新模型訓練的學習方式。考慮到大部分的數據或任務是存在相關性的，所以通過遷移學習可以將已經學習到的模型參數分享給新的模型，從而加快優化模型的學習效率而不用從零開始。

fine-tune 是進行遷移學習的一種手段。由于訓練多個模型所消耗的時間太長、計算資源不足時，無法重頭開始訓練一個效果良好的模型。于是通過遷移學習，將一個網絡的前幾層參數保持不變，因為前幾層為主要提取特征。

因此，我們也可以把這幾層當作特征提取器，保持原有的權重不變，提取現有的特征。考慮到軸承均處于車輛的走行部，包括齒輪箱、軸箱、電機等多個測點，承受相似的工況與激勵，將模型進行遷移，可大程度縮短訓練所需時間，因此建立完第一個模型后，固定前幾層權重，調小學習率和迭代次數，只訓練最后一層，逐個訓練模型，完成對城軌車輛的軸溫預測。

2.3 軸溫預測流程構建

預測流程的構建包括線下訓練、在線預測和故障診斷三個部分，基于稀疏注意力機制的軸溫預測模型能夠保持對長時間序列的注意力，因此本文所構建的模型輸入為一個多維時間序列，輸出為未來一段時間內的軸承溫度值，整個網絡結構如圖3 所示。

輸入數據先經過隱層進行編碼，再輸入稀疏注意力進行注意力分配，最后結合注意力輸出，再次編碼得到結果。網絡為回歸任務，使用MAPE作為網絡的損失函數，其公式為：

式（3）中：MAPE的取值為[0，+∞]，如果值為0 表示模型為完美模型，值越大則表示精度越低；n為樣本數量；為預測值；yi為實際值。

圖4 為整個診斷流程，線下訓練時，我們使用線下的數據，先對數據進行預處理，包括對缺失值進行中位數填充、對跳變值進行平滑處理以及將整個輸入進行歸一化到[0，1]進行無量綱處理三個部分。處理好的數據劃分成訓練集和驗證集，按照網絡結構要求輸入網絡進行模型訓練，完成對首個軸承的網絡訓練后，降低學習率和迭代次數，逐個遷移到其他軸承上，完成對城軌車輛所有軸承溫度測點的建模，并完成線下訓練過程。

線下將網絡全部訓練完成后，在線預測時會逐個使用網絡，在線數據經車載系統傳回后，對數據同樣進行預處理，并運用網絡進行預測，所預測的未來溫度結果會保存下來，并在未來的實際溫度值傳回后進行對比。對于正常結果，會再次等待車載系統傳回數據進行下一次對比；而異常結果會先定位到故障位置，要求車輛停車檢查，直至找到故障原因，排除故障才能繼續運行。

圖4 診斷流程

3 實例驗證

3.1 數據及超參數說明

采用某型城軌車輛的運行數據作為數據集。為了模擬實際運行環境以及線上線下交互的運用模式，先將數據進行拆分，大部分數據作為線下訓練的本地數據，進行訓練和驗證完成對網絡的構建，一小部分數據模擬在線預測的情況，以測試網絡模型的精度。車軸不同位置的溫度取決于許多因素，例如城軌車輛的物理狀態（包括行駛速度和牽引力水平）、路徑特性（包括高度和坡度）、環境溫度和其他環境參數以及來自各種來源的干擾。選擇其中的一些主要參數，并從部署在機車不同位置的數據傳感器收集時間序列數據。

本文所選擇的數據特征包括城軌車輛的運行速度、環境溫度、各個軸上軸承測點溫度。如圖5 所示為各個數據特征的走勢。

圖5 城軌車輛數據集

本文設置學習率為0.001，遷移學習率為0.000 1，使用Adam 優化器進行優化，迭代次數為1 000 次，遷移迭代次數為500 次，batch-size 為64，設置輸入長度為300，輸出長度為30，稀疏注意力設定值d為5，所有實驗配置環境為Tensorflow 1.10.0、Keras 2.2.0 以及Python 3.6.2 進行實驗，使用操作系統Windows10、CPU Intel 7-8550U@1.80GHz、GPU NVIDIA GeForce GTX 1050、內存16G DDR4 的計算平臺進行建模。

3.2 驗證結果

為了驗證稀疏注意力模型能夠處理更長的時間序列，設置3 組對比組，分別輸入輸出長度為100、200、300，并將RNN、LSTM 與稀疏注意力一同進行對比，對比結果如圖6所示。

圖6 序列長度影響精度結果

對結果進行分析：RNN 作為最初始的循環神經網絡，隨著序列長度逐漸增加，MAPE也逐漸增加，精度降低，說明隨著序列長度增加循環神經網絡的記憶能力逐漸降低；LSTM 在RNN 網絡的基礎上引入了門機制，隨著序列長度的增加，LSTM 的記憶能力仍然會降低，但整體精度會高于RNN；稀疏注意力機制隨著序列長度的增加，能夠運用稀疏的特性記憶更長的序列，驗證結果表明，整個模型的精度在序列長度增加后得到進一步提升。

按照3.1 所設定的超參數，先對第一個軸承進行建模后遷移到其他軸承上，以軸箱軸承作為初始建模對象，逐個遷移到齒輪箱、電機的軸承。

遷移的效果如表1 所示。

表1 遷移前后精度

將軸箱軸承作為首先選用的軸承進行訓練，訓練后的模型先在未遷移的情況下對其他軸承進行了測試，通過MAPE的評價指標可以看到，每個軸承需對應不同的模型，單個軸承的模型應用到其他類型的軸承會使得精度降低。將模型按照設定的迭代次數和精度進行了遷移，遷移后各個軸承均有各自的模型，因此模型數量增加，同時精度均得到了提升。圖7 展示的是稀疏注意力模型所預測的結果，本文所構建的稀疏注意力機制模型能夠預測未來30 min 的溫度變化情況，具有能夠捕捉溫度變化的能力。

圖7 預測結果

4 結論

溫度預測可用于預測城軌車輛的軸承溫度，本文基于稀疏注意力機制模型，開發了城軌車輛的軸承溫度預測框架，預測結果表明該模型基于輸入的多維時間序列能夠捕獲車軸溫度，預測模型的有效性在城軌車輛的實際運行數據上得到驗證。在RNN、LSTM 上進行序列長度的對比，驗證了稀疏注意力機制能夠運用稀疏的特性在長序列上捕捉到更多的信息并且不會出現記憶能力的降低。