基于改進ECANet-TCN和遷移學習的軸承剩余壽命預測

王 焱,丁 華,孫曉春,李 莉,劉澤平,楚寒馳

(1.太原理工大學 機械與運載工程學院,太原 030024;2.煤礦綜采裝備山西省重點實驗室,太原 030024;3.太重煤機有限公司,太原 030024)

隨著科技的發展,機械設備運行的工作環境越來越復雜,機械設備中的軸承長期處在復雜工況的條件下,軸承容易發生故障。軸承的剩余使用壽命(remaining useful life,RUL)預測對于工程制造極為重要[1]。對軸承準確的RUL預測可以在提高生產效率和設備的可維護性、保障性的同時,提高生產的安全性,避免機械設備損壞造成的人員傷亡和財產損失。

剩余使用壽命預測方法大致可以分為兩類：基于 模型和數據驅動的方法[2]。近年來隨著人工智能和深度學習的快速發展,基于數據驅動的軸承壽命預測方法逐漸成為主流[3]。張繼冬等[4]進行軸承的壽命預測時將傳統卷積神經網絡中的全連接層全部更換為卷積層與池化層,以減少神經網絡需訓練的參數。劉文廣等[5]使用長短時記憶模型對實際工程環境下的搖臂齒輪箱壽命進行了預測;Ding等[6]基于在線監測數據,構建自動編碼器結合深度雙向門控遞歸單元預測模型,對采煤機RUL進行預測;吳仁彪等[7]融合DenseNet(densely connected convolutional networks)和SENet(squeeze-and-excitation network)提出SE-DenseNet模型,對數據特征進行重標定。曾大懿等[8]通過并行多通道卷積長短時記憶網絡進行RUL預測。陳佳鮮等[9]利用時間卷積網絡(temporal convolutional network,TCN)挖掘退化趨勢的內在時序特征,實現RUL預測。李亞平等[10]采用TCN對滾動軸承振動趨勢進行預測,并且加入了注意力機制進行了滾動軸承RUL預測研究。上述方法和模型中對原始特征提取未能充分利用數據多維度上的特性,忽略了數據的時序特性,且模型只能對單一目標和單一工況進行預測。實際工程中一個機械設備就包含了多個不同種類的軸承、不同的工作狀態,且獲取的數據大都無法加入標簽,這對實際工程中準確的對軸承進行剩余使用壽命預測帶來了極大挑戰。

為解決上述問題滿足實際工程的需求,遷移學習方法得到了廣泛的關注。相較于傳統機器學習要求訓練數據與測試數據作同分布假設,該方法可避免傳統機器學習中對獲得的數據重新標定標簽所帶來的人力、物力的耗費[11]。隨著對遷移學習算法的不斷研究,目前遷移學習領域已經獲得了一些成果。趙婧等[12]利用殘差注意力遷移學習方法,提高了滾動軸承的故障精準度。康守強等[13]利用半監督遷移成分分析方法,在滾動軸承變工況多狀態下獲得更高準確率。楊勝康等[14]通過多源深度遷移學習,提高了故障診斷的精度和泛化性。王新剛等[15]提出了一種基于遷移學習的壽命預測方法,以卷積神經網絡和長短時記憶網絡作為特征提取器,提高了不同工況下軸承RUL預測精度。劉飛等[16]將遷移學習和殘差網絡結合,用于對實際工程中的快速故障診斷。

本文提出了一種基于ECANet-TCN和遷移學習的軸承剩余壽命預測模型,通過有效通道注意力網絡(efficient channel attention network,ECANet)和TCN相結合,更好的提取數據時序特征,提高基礎模型的預測精度;利用預訓練遷移學習的方法,找到數據直接的相似特征信息完成遷移學習,實現對不同設備,不同工況軸承準確RUL預測。在IEEE PHM Challenge 2012軸承全壽命數據集和XJTU-SY 滾動軸承加速壽命數據集上開展對比試驗,驗證了所提方法的有效性和普適性。

1 理論基礎

1.1 ECANet網絡

注意力機制在提取數據特征方面有著巨大的潛力。現有提取特征大都使用SENet,而SENet的降維會給通道注意力機制帶來副作用,并且捕獲通道之間的依存關系效率不高。ECANet是對SENet的改進,文獻[17]對比了不同的注意力機制方法,ECANet以更低的模型復雜度獲得了更好的性能。通過不降維的局部跨信道交互策略(ECA模塊)和自適應選擇一維卷積核大小的方法,實現對特征提取明顯的性能增益。

圖1 ECANet結構

ECANet首先使用全局平均池化來聚合輸入特征U∈RW×H×C的各個通道空間信息。平均池化操作表達式為

(1)

然后利用卷積核大小為K的一維卷積對PGA(U)進行卷積計算,快速提取局部K個信息的特征關系。使用Sigmoid函數計算一維卷積輸出的激活值,得到表示特征通道的局部關系和重要性的權重值ω∈R1×1×C。Sigmoid和ω的表達式為

(2)

ω=Sigmoid{C1Dk[PGA(U)]}

(3)

1.2 TCN網絡

TCN[18]由Bai年在2018年提出,在最近幾年被證明在序列數據上比長短期記憶網絡和卷積神經網絡等規范循環網絡更精確、更簡單、更清晰。TCN利用膨脹卷積來應對時序模型中常見的長距離依賴問題。

膨脹卷積相比傳統卷積具有更大的感受野。膨脹卷積計算F的表達式為

(4)

式中：F(xs)為膨脹卷積計算過程中s時刻輸入xs對的網絡輸出;k為卷積核大小;d為膨脹系數;s-di為與卷積核中元素對應的序列,i∈(0,1,…,k-1)。

以擴張系數d=1,2,4和卷積核大小k=3的膨脹因果卷積為例,TCN結構如圖2所示。在卷積操作時,對輸入數據采樣按照一定間隔,并且采樣率由d控制,d=1表示每點都采集,d=2表示在輸入過程中對每2個點采樣取第一個作為輸入,層級越高,d的數值就越大。

圖2 TCN結構圖

1.3 遷移學習

遷移學習是采用已有知識對不同相關領域問題求解的機器學習方法[19]。通常將被遷移的領域定義為源域DS={Xs,P(Xs)};把待學習的領域定義為目標域DT={Xt,Q(Xt)}。源域DS和目標域DT組成了遷移學習中兩個重要的域。源域任務Ts={Ys,f(·)},目標域任務TT={Yt,f(·)},遷移學習的目的是獲取DS和TS中的信息來幫助DT中的預測函數f(·)的學習。

源域和目標域的相似程度是遷移學習成功的關鍵,不同工況不同設備的軸承振動信號雖然不同,但有著很高的相似度。遷移學習的基本過程中,源域數據通常是實驗室獲得的帶標簽全壽命軸承數據,目標域通常都是不帶標簽的軸承數據,其目的是為了更好的模擬實際工程獲取的數據大都無法加入標簽情況,目前遷移學習主要是針對同一試驗臺不同工況或不同試驗臺不同工況之間的遷移。

2 遷移學習預測模型

ECANet在挖掘數據深層次特征和重構數據特征方面表現出了強大的能力,且TCN網絡可以更好的挖掘退化趨勢內在的時序特征,訓練特征與全壽命的對應關系,保證預測的準確性。兩者結合成ECANet-TCN模型,可以更有效的提高數據特征分析和壽命預測的能力。

整體而言,本文所提的遷移學習軸承壽命預測模型是在ECANet-TCN模型基礎上進行遷移學習。通過大量源域數據集對ECANet-TCN模型進行預訓練,保證模型盡可能多的學習不同工況數據特征。利用遷移學習提取不同工況不同設備下振動信號的相似特征,減少源域和目標域之間的差異。在ECANet-TCN基礎上結合遷移學習到的相似特征重新訓練出遷移模型,用于目標域中的剩余壽命預測。具體內容如圖3所示。

圖3 基于ECANet-TCN的遷移學習預測方法示意圖

2.1 TCN殘差結構優化

TCN中殘差連接是為了解決網絡深度增加過程中可能引起的梯度消失和梯度爆炸問題。文獻[20]比較了殘差網絡的5種結構,試驗表明完全預激活后的結構在提高網絡的泛化能力和防止過擬合方面優于其他方法。因此將因果卷積放在了批量標準化和激活函數之后,考慮了殘差連接的完全預激活。

殘差連接將模型的輸入x加權融合到模型的輸出F(x)中,得到最終的TCN輸出o,其計算如式(4)所示,即

o=Activation[x+F(x)]

(5)

式中,Activation為激活函數。改進TCN選用Leaky ReLU為激活函數,給所有負值賦予一個非零斜率,以數學方式可以表示為

(6)

式中,ai為(1,+∞)區間內的固定參數。LeakyRelu在負區域具有小的正斜率,因此即使對于負輸入值,它也可以進行反向傳播,同時它還具備RuLe激活函數的優點。

2.2 TCN融合注意力機制

為了使TCN更好的利用過去信息,在TCN中融合了注意力機制,其計算公式如式(6)～式(8)所示

(7)

(8)

yr=softmax(w[yt;ct])

(9)

式中：w為可訓練參數;softmax(·),LeakyRelu(·)均為激活函數;T為轉置。

在對軸承進行壽命預測時,當前t時刻輸出向量為yt,t時刻之前的t-1個TCN的輸出向量為M=[y0,y1,…yt-2,yt-1],通過yt和M之間的關系得到注意力分數向量at,根據at得到向量ct,將ct和yt結合用于軸承的RUL預測。

2.3 超參數設定優化

由于ECANet和TCN需要對超參數進行設定,超參數的設定會影響預測結果的準確性,粒子群優化算法(particle swarm optimization,PSO)解決了超參數選擇問題,這是一種類比生物有機體的集體運動的概率方法,POS通過優化適應度函數,得到最佳解并且簡單容易實現沒有許多參數的調節。ECANet-TCN中重要的超參數有ECANet卷積核長度、TCN過濾器數量、TCN卷積核長度和學習率,根據超參數的變化范圍設置粒子群算法搜索空間上下界為[10,10,128,0.01],[1,1,2,0.000 1],種群數量為20,自動選擇最優。由于Adam作為自適應優化算法能夠動態地更新學習率,因此本文選擇Adam優化器進行梯度優化。

2.4 基于ECANet-TCN的遷移學習剩余壽命預測流程

本文所提出的基于ECANet-TCN的遷移學習軸承剩余壽命預測流程圖如圖4所示。

圖4 基于ECANet-TCN的遷移學習預測流程圖

(1) 劃分數據：獲取某一機械設備不同工況下監測數據構建源域DS,劃分訓練集和驗證集;相同機械設備或不同機械設備的不同工況下監測數據構建目標域DT,劃分訓練集和驗證集。其中源域數據訓練集是帶RUL標簽的,測試集是不帶RUL標簽的,目標域數據訓練集和測試集都是不帶RUL標簽的。

(2) 批量標準化：對輸入數據進行標準化處理,把數據映射到0～1內,保證數據的穩定性。

(3) 源域任務TS：使用ECANet-TCN對標準化的數據挖掘深層次特征,同時增強有用特征抑制無用特征;然后利用多層TCN和注意力機制融合挖掘數據深層時序特征,輸出全連接層,將深層時序特征與RUL標簽比較分析;最后使用大量源域有標簽數據重復學習不同工況的數據特征,校準特征與RUL對應值,構建特征與RUL的映射關系,訓練出ECANet-TCN預測模型,在源域測試集檢驗。

(4) 目標域任務TT：利用源域ECANet-TCN模型和目標域無標簽數據集,分析源域數據和目標域數據的參數及特征、學習相似特征、最小化目標域和源域之間的分布差異;然后基于ECANet-TCN模型進行遷移訓練,更新模型的參數,訓練出遷移模型,在目標域測試集檢驗。

2.5 模型評價指標

為驗證模型的有效性,采用平均絕對誤差(mean absolute error,MAE)、均方根誤差(root mean square error,RMSE )兩個指標對預測效果進行評價,其公式如下

(10)

(11)

3 試驗驗證

為了驗證所提方法的有效性,采用IEEE PHM 2012 Data Challenge軸承數據集[21]和XJTU-SY軸承數據集[22]對提出的基于ECANet-TCN的遷移學習軸承壽命預測進行試驗驗證。算法運行環境是Python3.7和keras2.3.1,試驗所用配置為AMD 4800H處理器,NVIDIA 2060顯卡,16 G內存。

3.1 數據來源

數據集A：IEEE PHM 2012數據集來源于PRONOSTIA試驗臺,該采集數據集的試驗臺如圖5(a)所示。通過滾動軸承加速壽命退化試驗,采集不同操作條件下滾動軸承從正常到故障的整個生命周期的振動加速度數據,當振動信號的振幅超過 20g的時候試驗停止。圖6顯示了軸承內圈磨損、保持架斷裂、外圈磨損及外圈裂損實物圖。這些軸承失效模式在不同的運行條件下會導致不同的退化趨勢。采集的振動信號分為水平和垂直兩個方向,數據的采樣頻率為25.6 kHz,每10 s記錄一次數據,采集的時長為0.1 s,每次采集的振動數據有2 560個。

(a) 數據集A試驗臺

(a) 內圈磨損

IEEE PHM 2012試驗包含了3個不同工況,如表1所示。第一種工況,電機轉速為1 800 r/min,負載為4 000 N;第二種工況,電機轉速為1 650 r/min,負載為4 200 N;第三種工況,電機轉速為1 500 r/min,負載為5 000 N;其中工況1、工況2包含7個不同軸承,工況3包含3個不同軸承。

表1 PHM2012數據描述

數據集B：XJTU-SY滾動軸承加速壽命試驗數據集。該采集數據集的試驗臺如圖5(b)所示,該平臺通過對軸承進行加速退化試驗,由液壓加載系統產生徑向力,交流電機的轉速控制器來調節轉速。采集的振動信號分為水平和垂直兩個方向,試驗中設置采樣頻率為25.6 kHz,采樣間隔為1 min,每次采樣時長為1.28 s。

XJTU-SY試驗選用了2個不同工況,如表2所示。第一種工況,電機轉速為2 100 r/min,負載為12 kN;第二種工況,電機轉速為2 250 r/min,負載為11 kN;兩個工況都各包含了5個不同軸承。

表2 XJTU-SY數據描述

3.2 ECANet-TCN模型驗證

3.2.1 試驗數據劃分

試驗中使用交叉驗證法,數據劃分為：①采用數據集A1下,軸承1～7輪流作為測試數據,其余6個軸承作為訓練數據;②采用數據集A2下,軸承1～7輪流作為測試數據,其余6個軸承作為訓練數據。以軸承A1_1為測試數據為例,A1_2～A1_7為訓練數據。

本試驗將水平和垂直信號疊加到輸入模型進行訓練,圖7為工況A1下7個軸承水平和垂直全壽命振動信號。

3.2.2 實施細節

將訓練集的振動信號及RUL標簽輸入模型進行訓練,訓練出最優ECANet-TCN模型,然后將測試集的振動信號輸入訓練好的ECANet-TCN模型即可得到當前RUL預測值。圖8所示為軸承A1_3、軸承A1_4、軸承A1_7、軸承A2_4、軸承A2_6、軸承A2_7使用ECANet-TCN模型RUL預測圖。圖8中橫坐標為時間(min),縱坐標為當前時間對應的剩余壽命占總壽命的比例(全壽命值為100,壽命結束為0)。

(a) A1_3

3.2.3 相關模型比較

為了說明所提出方法的有效性和優越性,對SENet和TCN結合模型SENet-TCN、TCN、改進TCN、以及所提方法進行對比試驗,所有網絡的超參數以及學習率均使用PSO尋找最優值,并且采用MAE和RMSE兩個指標進行比較。圖9所示為不同模型對軸承A1_1的RUL預測對比試驗。表3為評價指標對比結果。

(a) SENet-TCN

所提評價指標誤差對比其他3種模型降低41.0%～77.8%。基于不同對比目的對比結果如下：

將所提方法與SENet-TCN進行比較。以說明ECANet提取特征的有效性。對比預測圖以及性能指標可以看出使用SENet-TCN預測結果測RUL曲線與真實RUL曲線擬合不好且各誤差指標都很高,但ECANet-TCN模型在相同數據條件下,測RUL曲線與真實RUL曲線擬合效果好,各誤差指標都比較低。可見SENet對軸承振動信號特征不敏感,降低了TCN的預測精度,相反ECANet可以更好的構建特征指標,提高RUL準確率。

將所提方法改進的TCN與未改進TCN進行對比,可以看出所提方法改進的TCN預測曲線與真實RUL曲線擬合效果更好且誤差更低。證明改進TCN可以比TCN更好的利用過去信息,以提高其對時間序列的預測性能。

所提方法與改進TCN進行對比,是為了驗證本文所提ECANet-TCN與TCN結合可以在改進TCN的基礎上更好的提高RUL預測準確率,結果證明所提方法精度更高。

3.2.4 與相關作品的結果比較

在試驗中,將軸承RUL預測結果與相同數據集試驗的相關作品[23-24]進行比較,以進一步驗證所提出方法的性能。評價指標對比結果如表3所示。

從表3可以看出,本文提出的方法相比作品提出的先進模型具有更低的百分比誤差和絕對百分比誤差。該結果證明了所提出的RUL預測方法的可用性和先進性。

3.3 同設備不同工況遷移模型驗證

3.3.1 同設備不同工況遷移任務劃分

驗證同設備不同工況遷移模型試驗時,為了模擬真實工程中機器運行工況不同,實際信號采集不全,且采集的信號無標簽等問題,選用數據集A做試驗數據集,設置兩種遷移任務A1→A2和A1→A3,遷移任務設置如表4所示,以A1→A2為例,以A1表示源域數據集,A2表示目標域數據集。

表4 同設備不同工況遷移任務

3.3.2 相關遷移模型比較

為了說明所提遷移方法的有效性和優越性,采用所提遷移模型與TCN遷移模型進行不同工況對比試驗。表5為各模型評價指標對比結果。圖10為軸承A3_2使用ECANet-TCN遷移模型對軸承A3_2預測結果圖。

表5 同設備不同工況遷移任務

對比表5可以看出單使用TCN遷移模型誤差指標比較高,尤其是工況3條件下軸承的RUL結果不理想。相反從圖10和表5可以看出使用ECANet-TCN遷移模型通過ECANet對數據進行特征重新標定,在無標簽數據通條件下RUL預測生成的預測RUL曲線與真實RUL曲線擬合依然較好,評價指標誤差結果表現優秀。

3.3.3 與有RUL標簽模型比較

在試驗中,為進一步驗證所提遷移模型的可行性,將ECANet-TCN遷移模型RUL預測結果與ECANet-TCN、同數據集文獻[24]進行比較,其中文獻[24]訓練數據有RUL標簽,ECANet-TCN使用目標域有RUL標簽訓練。

通過ECANet-TCN遷移模型對比使用目標域有RUL標簽條件下的ECANet-TCN模型RUL預測結果可以發現,使用目標域有RUL標簽條件下的ECANet-TCN模型除軸承A2_1預測結果優于ECANet-TCN遷移模型外,其他預測結果誤差大于ECANet-TCN遷移模型。這是因為單使用目標域數據訓練模型樣本數量不足導致模型訓練不理想,而使用ECANet-TCN遷移模型預測誤差指標較小,證明了在同設備不同工況下ECANet-TCN遷移模型可以有效提高軸承剩余壽命預測的準確性。

通過所提ECANet-TCN遷移模型對比有RUL標簽同數據集文獻[24]預測結果,除軸承2_1預測誤差偏高于文獻[24]預測結果外,其余軸承預測結果較好。文獻[24]在對工況3條件下的預測性能指標誤差較大,所提ECANet-TCN遷移模型對目標域工況2和工況3條件下的預測性能指標誤差較小,可以滿足實際需求。證明了所提ECANet-TCN遷移模型通過工況1為源數據對工況2和工況3同設備不同工況目標域任務依然可以取得優秀的預測結果。

因此,所提基于ECANet-TCN的遷移學習軸承剩余壽命預測方法在同設備不同工況目標域數據無RUL標簽條件下軸承RUL預測結果展現出了強大的預測能力。

3.4 不同設備不同工況遷移模型驗證

3.4.1 不同設備不同工況遷移任務劃分

驗證不同設備不同工況遷移模型試驗時,選用數據集A做源域和轉速更高負載更大的數據集B做目標域來進行試驗模擬不同設備。設置單源域遷移任務和多源域遷移任務。單源域遷移任務為A1→B1和A1→B2,遷移任務設置如表6所示。多源域遷移任務為A1-A2-A3→B1和A1-A2-A3→B2,遷移任務設置如表7所示,A1-A2-A3→B1表示以A1,A2,A3為源域數據集,B1為目標域數據集。

表7 不同設備不同工況多源域遷移任務

3.4.2 相關遷移模型比較

為了驗證所提遷移模型在不同設備不同工況情況下剩余壽命預測的有效性和優越性,采用所提遷移模型與TCN遷移模型進行單源域遷移、多源域遷移對比試驗,同時加入了使用目標域有RUL標簽訓練的ECANet-TCN模型進行對比。表8為評價指標對比結果。圖11所示為多源域遷移任務ECANet-TCN遷移模型對軸承B1_1、軸承B1_2、軸承B1_4、軸承B2_1、軸承B2_2、軸承B2_5的RUL預測圖。

表8 不同設備不同工況遷移任務

(a) B1_1

基于不同對比目的對比結果如下：

ECANet-TCN遷移對比TCN遷移無論是單源域遷移任務還是多源域遷移任務預測結果性能指標誤差都較小,可見ECANet-TCN遷移模型在不同設備不同工況情況下遷移性能優于TCN遷移模型。

多源域遷移任務中ECANet-TCN遷移和目標域有標簽訓練的ECANet-TCN對比可以發現多源域遷移任務中ECANet-TCN遷移模型的預測優勢較為明顯,而且預測曲線與真實RUL曲線擬合效果也比較相似。說明僅使用少量有標簽數據訓練出的預測模型,無法滿足實際要求。在實際工程中如果設備獲取的數據較少且無法加入標簽,通過相似設備的數據進行多源域ECANet-TCN遷移可以達到很好的預測效果。

單源域遷移任務中的ECANet-TCN遷移結果和多源域遷移任務中的ECANet-TCN遷移結果對比中發現,單源域遷移各性能指標誤差都大于多源域遷移,而且多源域遷移預測曲線與真實RUL曲線擬合效果較好。這樣的結果符合實際情況,因為從各任務源域樣本數量對比中,單源域遷移任務中源域的樣本數低于多源域的樣本數,且單源域只有一個工況樣本。由此可見在不同設備和不同工況的遷移中需要源域數據有大量且不同工況的樣本來訓練模型才能達到準確的預測結果。

在面對不同設備不同工況,且目標域轉速更大,負載更大的復雜情況下,ECANet-TCN遷移模型通過多源域遷移任務表現出了優秀的預測性能。因此,可認為本遷移模型適用于大多數不同類型的軸承剩余壽命預測。

4 結 論

針對軸承運行工況不同、有效數據少、數據無標簽、預測準確度低等問題,提出了一種基于ECANet-TCN的遷移學習軸承剩余壽命預測方法。通過ECANet-TCN模型RUL預測試驗和多種遷移任務RUL預測試驗,得出了以下結論：

(1) 改進ECANet-TCN預測模型能夠有效提高剩余使用壽命預測的準確性,且同數據條件下對比其他現有流行模型RUL預測誤差最高降低77.8%。

(2) 在多種遷移任務試驗中,面對復雜的試驗環境ECANet-TCN遷移模型均表現出了強大的預測性能。通過ECANet-TCN遷移模型僅需部分有標簽數據即可實現不同設備不同工況軸承的準確剩余壽命預測,相比傳統方法大大的降低了數據重新標定標簽所帶來的人力、物力的耗費,具有較強的工程應用價值。