基于MsTCN-Transformer模型的軸承剩余使用壽命預測研究

鄧飛躍, 陳 哲, 郝如江, 楊紹普

(1. 石家莊鐵道大學 機械工程學院,石家莊 050043;2. 石家莊鐵道大學 省部共建交通工程結構力學行為與系統安全國家重點實驗室,石家莊 050043)

隨著機械設備趨于大型化、復雜化和智能化,其關鍵部件服役過程日趨呈現出多元化的特點。在變負載、強激勵和大擾動等惡劣工況影響下,關鍵部件的服役性能不斷惡化。如果能提前預知其使用壽命,便能夠及時維護或者更換,有效避免事故發生和經濟損失。因此,開展機械設備剩余使用壽命(remaining useful life, RUL)預測研究對于制定維修決策、確保機械系統健康運行具有重要意義[1]。

目前,RUL預測研究主要有基于失效機理模型與數據驅動兩種方法[2]。鑒于機械系統復雜的結構、惡劣的工況,建立準確的失效機理模型難度很大,而數據驅動方法可以通過機器學習方法,研究數據特征與剩余壽命之間的映射規律,具有普適性好、經濟性高等優點,因此成為當前RUL預測的熱點[3]。基于淺層機器學習的數據驅動方法,如支持向量機(support vector machine,SVM)[4]、人工神經網絡(artificial neural network,ANN)[5]、k-最近鄰(k-nearest neighbor,KNN)[6]、馬爾科夫模型[7]等,需要事先借助復雜的信號處理技術提取特征后才能獲取故障演化與健康狀態間的映射關系,在分析海量且復雜數據時力有未逮。而基于深度學習的深度神經網絡模型,無需復雜的信號預處理技術便能深入挖掘海量數據中蘊含的特征信息。

當前,以卷積神經網絡模型(convolution neural network,CNN)、長短時記憶網絡(long short-term memory, LSTM)為代表的深度神經網絡在設備RUL中應用最為廣泛。Ren等[8]采用3個卷積層、3個池化層、1個全連接層構建了CNN用于軸承RUL預測。Wang等[9]結合深度可分離卷積與注意力機制建立的RUL預測模型,其運行效率更高、退化特征選取更準確。Zhu等[10]基于不同的卷積核尺寸構建了多尺度CNN進行設備壽命預測,相比采用單一尺度的CNN,它能夠同時挖掘全局和局部特征信息,特征提取更為準確。蔣全勝等[11]構建了一種基于動態加權卷積LSTM網絡模型用于軸承RUL預測,通過引入小波包系數矩陣動態加權算法,篩選出了更為敏感的軸承故障退化特征。Ma等[12]提出一種基于空間卷積LSTM的RUL預測方法,通過提取原始信號的時頻特征來更好地分析滾動軸承全壽命數據的時空特性。Luo等[13]提出了一種CNN與Bi-LSTM聯合的壽命預測方法,先通過CNN獲取特征信息,后利用Bi-LSTM進行軸承RUL預測,通過聯合網絡模型將特征提取與RUL預測結合在一起。上述方法考慮的均是相同工況下的軸承RUL預測。然而,在實際工程中,一方面難以在同一工況下采集大量的樣本數據,另一方面不同工況下設備故障退化過程各異,樣本數據存在明顯的差異性。因此,在變工況下進行設備RUL預測更為困難,針對該方面的研究仍鮮有報道。

Transformer是最新提出一種基于自注意力機制的sequence-to-sequence網絡模型,它采用了平行計算方式,能夠獲取長時間序列中任意向量之間的依賴信息,在時間序列分析方面已經超越了CNN,LSTM[14-15]。然而,Transformer仍存在一些不足限制了其在機械設備RUL預測領域內的廣泛應用:①Transformer的注意力機制結構,使其丟失了時間序列的位置信息,因此要通過位置編碼添加位置信息,如果序列特征維度過大,將導致輸入模型的參數量巨大,網絡訓練會十分困難,且容易出現過擬合等問題;②相比于傳統的CNN,Transformer受限于自注意力機制結構,模型細節特征捕捉能力較弱,一定程度上影響了數據特征信息的準確提取。

為了解決上述問題,本文提出了一種基于多尺度時間卷積網絡(multi-scale temporal convolutional network, MsTCN)和Transformer(MsTCN-Transformer)的融合網絡模型用于變工況條件下滾動軸承RUL預測,該方法基于“時序特征挖掘+預測”的思想,主要創新點如下:

(1)本文通過融合不同尺度的膨脹因果卷積(dilated causal convolution, DCC),提出了一種新的多尺度膨脹因果卷積單元(multi-scale dilated causal convolution unit, MsDCCU)設計方法,能夠準確挖掘不同工況下設備退化信號中的全局與局部特征。

(2)以MsDCCU為基本模塊構建了MsTCN網絡模型,可以自適應地提取變工況條件下軸承故障退化過程中的時序特征信息,有效消除了不同工況下數據分布差異的影響,并且對長序列信號進行了降維處理。

(3)構建Transformer模型對已提取的時序特征進行預測回歸分析,通過深入挖掘時序特征與軸承RUL之間的映射規律,有效解決了長序列信號下軸承RUL預測不穩定的問題。

1 多尺度時間卷積網絡(MsTCN)

1.1 膨脹卷積

CNN通常由卷積層、池化層、全連接層等構成,其中卷積層通過對上一層特征圖進行局部卷積運算,將復雜的非線性特征提取到下一層,是CNN的核心操作。卷積操作中感受野范圍定義為輸出特征圖上一點對應輸入特征圖上映射區域的大小,是影響卷積結果的重要指標。標準卷積操作中,膨脹因子不變(d=1),進行卷積操作的特征圖中各元素之間沒有間隔,感受野的范圍與卷積核大小相同。膨脹卷積中膨脹因子可以設置調整,因此感受野范圍也會隨d值增大而增大。圖1(a)普通卷積中,d=1,卷積核大小為3×3,感受野范圍也是3×3;圖1(b)膨脹卷積中,d=2,感受野的范圍增大為5×5。特別指出的是,膨脹卷積雖然增大了感受野的范圍,但參與卷積運算的特征圖中元素數量不變,因此不會帶來額外的計算量和參數量。

圖1 不同膨脹因子的卷積操作

1.2 時間卷積網絡

時間卷積網絡(temporal convolutional network, TCN)的卷積運算具備時域因果關系,可用于時間序列預測任務,其膨脹因果卷積(dilated causal convolution, DCC)結構如圖2所示。設定輸入的時間序列為X={x1,x2,…,xT},對應輸出的預測序列為Y={y1,y2,…,yT},其中某一時間節點對應的yt值僅與當前時間節點與之前時間節點的輸入數據有關,即

圖2 膨脹因果卷積結構

yt=f(x1,x1,…,xt)

(1)

上述操作杜絕了卷積操作對未來信息的泄露,嚴格執行數據序列在時間方向上的約束。圖2中堆疊的3個DCC的膨脹因子分別為d=1, 2, 4,隨著d值的增大,通過較少的網絡層數便可獲取較大的感受野范圍,使得輸出序列的Y值盡可能多的與輸入X值關聯,從而能夠較為準確地抓取了時間序列中長時間依賴關系。此外,為了消除深度神經網絡的梯度消失和爆炸問題,TCN還采取了殘差連接方式,設定x為殘差塊輸入,o為殘差塊輸出,TCN中殘差函數表達為

o=Activate(x+Γ(x))

(2)

1.3 多尺度時間卷積網絡模型

機械故障信號是典型的非線性、非平穩信號,組成成分非常復雜,特征信息分布在不同的頻段范圍內,因此提取多尺度特征信息可以更好地研究其服役性能退化規律[16]。Jia等[17]研究證實,CNN中卷積層相當于帶通濾波器,通過卷積運算可以提取不同頻段內信息。卷積操作中感受野范圍不同,提取的特征信息尺度也會不同,較大感受野可以獲取全局性的特征信息,而較小感受野則反映了局部的細節特征信息。因此,Li等[18-19]通過構建多尺度CNN模型來增強網絡的特征信息學習能力。然而,傳統的多尺度網絡模型均是由多個不同尺寸的卷積核構成,隨著卷積核尺寸不斷地增大,模型參數數量及卷積運算量會急劇增加,嚴重限制了其在實際工程中的應用。

從圖2 DCC結構可知,雖然堆疊的卷積層感受野范圍逐漸增大,但在每一個層DCC中膨脹因子并不變,感受野范圍固定,每層DCC只能提取特定尺度的特征信息。此外,TCN基于前饋網絡框架,雖然頂層卷積可以在較大的感受野范圍內捕捉時序特征信息,但是隨著逐層DCC中膨脹因子不斷增大,前向傳遞過程中特征層越來越多的元素不再參與卷積運算,特征信息不可避免的被遺棄,這無疑丟失了諸多的數據特征信息。因此,如果能在每層DCC中同時挖掘不同尺度的全局與局部特征信息,會更為準確地表征設備服役性能退化狀態。

為解決上述問題,本文提出了MsDCCU構建方法,其結構如圖3所示。MsDCCU以傳統DCC結構為基礎,采用殘差塊連接。主連接中,輸入數據首先經過ReLU激活層及BN批量歸一化層處理,之后分別經過3個不同膨脹因子d=1, 2, 3的DCC層,分別提取不同尺度的時序特征信息,通過Concatenate操作融合成一個新的特征層,然后再次重復上述操作。最后,為了降低模型計算量,使用尺度為1×2,Step=2的最大池化(max polling)層來減小特征圖維度。為了能與主連接中輸出張量維度匹配,殘差連接中加入了一個尺度為1×1,Step=2的普通卷積。本文以MsDCCU為主要組成部分,構建了MsTCN用于提取設備退化序列時序特征,結構如圖4所示。輸入樣本數據首先經過時間步嵌入處理,通過參考文獻[9],這里取時間步長等于5,之后是一個參數為64@1×49的普通卷積層和1×3的最大池化層;然后依次連接3個MsDCCU,其中MsDCCU1與MsDCCU2中每個DCC參數為16@1×3,MsDCCU3中每個DCC參數為32@1×3;接著通過Flatten層將所有特征圖折疊成一維數組,利用全連接層輸出樣本維度為8的時序特征;最后使用全連接層求解模型輸出與真實輸出的誤差得到損失函數,利用反向傳播與隨機梯度下降方法得到最終的MsTCN模型。

圖3 多尺度膨脹因果卷積單元結構

圖4 多尺度時間卷積網絡結構

2 Transformer網絡預測模型

以LSTM為代表的循環神經網絡模型存在串行運算、捕捉長期依賴關系不佳等問題,制約了其運行效率與預測精度的進一步提升。而Transformer模型基于并行運算方式,符合當前計算機圖形處理器(graphic processing unit, GPU)環境,GPU以核為單位進行并行運算,可支持上百個線程并行操作。多頭注意力機制可以有效獲取長序列間依賴關系,有效克服了預測序列的記憶力退化問題,因此在預測任務中展現出了巨大潛力。Transformer模型主要由編碼器與解碼器兩大部分構成,編碼器模型結構如圖5所示。已提取的樣本時序特征首先要經過位置編碼處理,標識出每一個特征向量的位置信息,具體表示為

圖5 編碼器模型結構

(3)

式中:pos為序列中某個特征向量的位置;dx為添加的特征向量維度,一般取dx=512。位置信息是由不同頻率的正、余弦函數交叉組成,通過特征向量與相應位置信息疊加,得到了位置編碼后的特征向量序列。需要特別指出的是,輸入序列的維度經過位置編碼后會急劇增大,例如:初始維度為M×N×1,M為序列中樣本數,N為樣本中點數,位置編碼后序列維度增加為:M×N×dx,假定M=5、N=4,位置編碼后維度增加過程如圖6所示。設備退化序列通常為長時間樣本數據,M和N值往往較大,經過位置編碼后輸入Transformer模型的數據量迅速增大,模型參數量也相應激增,網絡訓練會十分困難。為此,本文提出采用MsTCN提取設備長時間退化序列中時序特征向量,有效降低輸入Transformer網絡的數據維度。

圖6 維度增加

編碼器第一層為多頭注意力機制,利用縮放點積注意力來實現查詢矩陣Q到鍵矩陣K和值矩陣V的映射,從而得到特征矩陣Xf的注意力值

(4)

(5)

式中,WQ、WK、WV、d分別為Q、K、V對應的權重矩陣及維度。首先Q與K點積,再使用Softmax歸一化計算權重系數,最后權重系數與V進行點乘得到最終值。多頭注意力機制通過拼接多個單一注意力機制,分別學習不同子空間內注意力值,最終經過并行運算得到所有子空間中注意力信息并輸入至第二層前饋神經網絡。

解碼器模型結構如圖7所示,首先將設備的剩余使用壽命與全壽命的比值作為樣本的標簽數據,經過位置編碼后輸入至遮擋多頭注意力機制,通過在多頭注意力機制中增加遮擋操作,屏蔽當前時刻以后的未來標簽數據信息。之后,通過相加與層歸一化處理后作為查詢矩陣Q,前面編碼器的輸出作為鍵矩陣K和值矩陣V共同輸入多頭注意力機制,最后經過前饋神經網絡處理后輸出。此外,編碼器和解碼器各個子層均采用了殘差連接方式,并且疊加多次使用。在Transformer網絡輸出端,添加一個線性全連接層,通過Softmax函數輸出一維序列的預測結果。整個網絡訓練過程相當于一個有監督的多分類問題,選擇均方誤差(mean squared error, MSE)作為損失函數,采用Adam優化算法進行模型訓練與優化。

圖7 解碼器模型結構

3 試驗分析與討論

3.1 軸承全壽命數據集

為了驗證本文所提方法的有效性,試驗針對IEEE PHM2012軸承全壽命公共數據集進行分析。該數據取自PRONOSTIA試驗臺,如圖8所示。試驗中,采樣頻率為25.6 kHz,采樣時間是0.1 s,每間隔10 s采樣一次,測試過程包括了3種不同工況,共進行了17組全壽命周期試驗,具體試驗工況見表1。

表1 PHM2012軸承數據集

圖8 PHM2012軸承試驗臺

3.2 壽命預測結果

本文首先進行全一法下軸承RUL預測,考慮3種不同的工況,將其全部綜合在一起,選取其中16個軸承全壽命數據作為訓練集,剩余一個作為測試集。本次試驗分別在每一種工況中選取測試集,依次為軸承1_3、軸承1_7、軸承2_3、軸承2_7、軸承3_3。以軸承1_3為例,一次樣本記錄時間為0.1 s,數據點為2 560個,全壽命周期內共采集了2 375個樣本,設置時間步為5后,共計2 371個樣本,據此判斷軸承壽命為23 750 s。其余軸承均按照此方式進行數據樣本整理及壽命預測。

利用本文構建的MsTCN網絡,提取時序特征輸入至Transformer網絡,經過模型訓練后,對測試軸承進行RUL預測,結果如圖9所示。圖9中實線表示RUL預測結果,虛線表示真實RUL結果。從圖9中可以清楚地觀察到,這5個軸承的RUL預測曲線與真實RUL結果相近,變化趨勢相同,這證實了本文所提方法能夠較為有效地預測軸承RUL。

圖9 全部工況測試下軸承RUL預測結果

滾動軸承運行工況復雜且多變,往往難以獲取特定工況下的樣本數據,因此基于不同工況下的樣本數據對特定工況下軸承的RUL進行預測,更符合實際工程需求。基于此,本文進行變工況下的軸承RUL預測,選取一種工況下的軸承全壽命數據作為測試集,將另外兩種工況下軸承全壽命數據作為訓練集,變工況試驗中,PHM2012軸承全壽命數據的訓練集及測試集情況見表2。利用本文所提方法,針對變工況下的軸承RUL進行預測,預測結果如圖10所示。從圖10中可知,在變工況條件下,所提方法依然達到了較好RUL預測結果,對比圖9全一法下RUL預測的結果,兩者的差別非常微小。

表2 變工況下滾動軸承訓練集與測試集分布

圖10 變工況測試下軸承RUL預測結果

為了能夠更加詳細地比較所提方法在全一法和變工況下軸承RUL預測結果的準確性,本文選取均方根誤差(root mean square error, RMSE)與得分值(scoring function, SF)兩個指標來定量分析RUL預測結果,RMSE與SF數值越小,表示RUL預測結果準確性越好,誤差率越低。為了保障RUL預測結果指標評價的可靠性,每次測試分別進行5次,結果取均值。本文所提方法在全一法和變工況條件下RUL預測結果的RMSE及SF指標結果見表3。從表3中可知,在全一法和變工況兩種測試條件下本文所提方法的RUL預測結果指標相差非常小,這說明所提方法能夠有效提取表征軸承故障退化的時序特征信息,消除了變工況下軸承不同退化過程造成的數據分布差異性的影響。

表3 不同測試條件下RUL預測結果比較

3.3 時序特征的可視化分析

為了驗證MsTCN模型在變工況條件下提取軸承不同故障退化過程時序特征的泛化性能,本文利用可視化t-SNE(t-distributed stochastic neighbor embedding)算法對MsTCN模型不同階段所提取的特征信息進行降維可視化分析。在變工況條件下,分別選取軸承1_3和軸承2_7為測試對象。兩軸承全壽命波形如圖11所示,從圖11中可知,兩軸承全壽命時間相差較大,相比軸承1_3有著較為緩和且明顯的故障失效過程,軸承2_7故障失效過程迅速而短暫,兩軸承故障退化過程中所采集數據的差異性明顯。

圖11 軸承全壽命數據波形

原始信號數據經過時間步處理后,軸承1_3和軸承2_7分別包含2 371組、226組樣本,按照故障失效的時間順序將所有樣本分為5組,然后分別對MsTCN輸入層、首層卷積輸出、MsDCCU1輸出、MsDCCU3輸出、提取時序特征輸出共5個階段的模型輸出特征進行t-SNE可視化分析,結果分別如圖12、13所示。圖中不同顏色不同形狀的點表示按照軸承故障失效時間順序的樣本數據分組。從圖12和圖13中可知,在網絡模型輸入(原始信號)時,軸承全壽命過程所采集的信號樣本完全聚集并混淆在一起,樣本信號數據和軸承服役時間并無對應關系,隨著模型層數的增加,不同時間階段的數據特征開始逐漸按照軸承服役時間進行排序。從模型最后提取時序特征輸出可以清楚地看到,雖然軸承 1_3和軸承2_7輸出后的可視化形狀不同,但是數據特征都已經實現了較為清晰的分類聚集,并且按照各自軸承故障失效時間順序彼此首尾相接。這說明本文所提出MsTCN模型在變工況條件下,能夠有效克服軸承故障退化數據差異性的影響,所提取出的特征信息按照軸承故障失效時間順序進行了排列,這證實了時序特征的有效性。因此,本文所提MsTCM在同載荷、不同轉速下軸承全壽命數據中提取的時序特征具有較好的泛化性。需要指出的是,所提取的信號固有時序特征與軸承實際的故障退化特征并不相同,網絡模型訓練時由于時間標簽的影響,學習得到的特征信息主要反映的是數據特征隨時間的變化規律。軸承全壽命前期的正常狀態數據變化雖然相近,但通過網絡模型學習得到的時序特征仍然能夠表征數據樣本對應的時間順序。

圖12 軸承1_3時序特征可視化結果

圖13 軸承2_7時序特征可視化結果

3.4 對比分析

為了更好地驗證本文所提方法在滾動軸承變工況條件下的RUL預測效果,下面選取當前文獻中常用多個的RUL預測方法:DSCN、MsDCNN、CLSTM以及DCNN[20]共4個網絡模型與所提方法進行分析。在變工況條件下,選取上述方法分別對軸承1_3、軸承2_7進行RUL預測,并通過計算預測結果的SF與RMSE指標與本文所提方法進行對比,計算結果分別如圖14、15所示。從圖中可以清楚地觀察到,在變工況測試條件下,與上述4種對比方法的結果相比,本文所提方法軸承RUL預測結果的SF與RMSE數值均最小。通過計算對比可知,本文方法RUL預測結果的SF值僅為上述4種對比方法SF值的13.5%、7.8%、10.15%、9.9%,RMSE值是15.05%、8.15%、11.85%、8.9%,本文方法的結果要遠遠小于上述4種對比方法。這充分說明本文所提出方法在變工況條件下的軸承RUL預測中具有更高的準確性,預測結果要遠優于上述對比方法。

圖14 軸承1_3 RUL預測結果對比

圖15 軸承2_7 RUL預測結果對比

4 結 論

(1)本文提出一種新的MsTCN-Transformer網絡模型用于變工況下滾動軸承RUL預測。該方法通過融合不同尺度的膨脹因果卷積,提出了一種新的MsTCN模型,能夠自適應地提取變工況條件下信號中固有的時序特征信息,并基于自注意力機制構建了Transformer網絡,準確識別了時序特征與軸承RUL之間的映射關系。

(2)在變工況條件下,所提網絡模型能夠較為準確地實現軸承RUL預測,通過有效提取全壽命信號中固有時序特征,克服了軸承故障退化過程中數據差異性的影響。通過與當前多種模型進行對比,所提模型RUL預測準確性更為優越。