融合TA-TCN和遷移學習的滾動軸承壽命預測*

車魯陽,冷子文,付惠琛,張佳佳,高軍偉

(1.青島大學a.自動化學院;b.山東省工業控制技術重點實驗室,青島 266071;2.山東省特種設備檢驗科學研究院,日照 276826)

0 引言

滾動軸承是旋轉機械中最重要的零部件之一,同時也是最容易發生故障的零件之一[1]。由于其復雜多變的工作環境,很容易導致其退化、失效[2]。準確的剩余壽命預測可以及時在發生故障前進行預警,避免造成人身傷害,從而減少提前維護帶來的運維成本高的問題。

當前滾動軸承壽命預測方法基本分為兩種:①基于物理模型的預測方法,該方法雖然較為精確,但是建模要求極高且模型的泛化能力差,難以在實際生產當中應用;②基于數據驅動的預測方法,由于計算機硬件的發展和深度學習理論的研究,使得其具有計算快、成本低、泛化性強等特點,在這些年被廣泛研究[3]。

卷積神經網絡(convolutional neural networks,CNN)[4]和循環神經網絡(recurrent neural networks,RNN)[5]等代表性深度學習算法,被廣泛地應用在軸承的剩余壽命預測當中。但是,在實際生產中,由于容易忽略一些因素,導致其預測精度和泛化性能并不高,主要表現為:

(1)忽略了對于振動信號的降噪處理和特征挖掘。從生產中采集的振動信號包含環境噪聲,呈現高度非線性,導致模型難以捕捉信號與退化的關系;

(2)忽略了一些傳統算法無法找到特征與退化周期之間的時序性關聯。軸承退化具有一種周期性長、數據量大的特點,傳統神經網絡難以獲得足夠的感受野,不能將前后退化特征聯系起來,導致精度提升困難;

(3)忽略了實際生產中數據量小、工況復雜的情況。很多模型要求大量的數據進行訓練,而在現實應用中,難以滿足足夠的數據量,導致模型泛化性能差,難以投入到實際項目中。

針對以上問題,提出了一種融合互補集合經驗模態分解(complementary ensemble empirical mode decomposition,CEEMD)、時序注意力優化的時間卷積網絡(time convolutional networks,TCN)和遷移學習相結合的組合模型。其基本思想是:用CEEMD代替集合經驗模態分解(ensemble empirical mode decomposition,EEMD),用正負白噪聲對抵消原本算法中為解決模態混淆問題引入的白噪聲本身帶來的干擾。用作為CNN的一種變體TCN,利用擴展因果卷積和殘差模塊擴大感受野,能夠處理更長的時間序列,加入了時序注意力機制(temporal attention,TA),加強了對于時序關聯性的捕捉。引入遷移學習,制定遷移策略,使得模型能夠適應不同工況帶來的數據特征難以獨立同分布問題。在后續的消融、對比、遷移實驗中,驗證了所提方法的有效性和泛化性。

1 數據預處理

提取滾動軸承完整生命周期振動信號如圖1所示,可以看出數據量龐大,直接用來分析會造成計算效率低的問題,且其中蘊含的退化信息并不明顯,尤其是在正常運行階段。當滾動軸承發生故障時,其時域信號和頻域信號都可能會發生變化[11]。不同的時域特征和頻域特征反映了諸如振幅、能量、收斂性、主頻位置變化等特性。為了得到滾動軸承退化特性的完整描述,采用時域、頻域方法提取了多個特征。其中包括均方根值、絕對平均值、平方根振幅、方差、峰峰值、偏度、峭度、峰值因子、波形因子和脈沖指數10個時域特征以及頻域均值、頻域方差、頻域均方根和歪度4個頻域特征。

圖1 軸承振動信號

2 模型搭建

2.1 互補集合經驗模態分解

CEEMD法在振動信號中添加獨立同分布的正負白噪聲對,以達到抑制模態混疊效應的目的。同時,減少了EEMD單純添加白噪聲帶來的污染,很大地提高了計算效率。其主要計算過程包括3方面:

(1)在原始振動序列C上添加a組互為相反數的正負噪聲對,得到新的序列I1、I2。

(1)

式中:I1、I2分別為加入白噪聲對后的正負噪聲序列,C為原始振動序列,N為添加的白噪聲。

(2)通過I1、I2分解得到b個IMF分量,并將得到第i個序列第j個IMF分量記為Ci,j,其中i=1,…,a;j=1,…,b。

(3)對所有IMF分量進行平均得到最后分解結果:

(2)

式中:IMFj表示得到的第j組IMF分量。

運用CEEMD方法對篩選后時頻域特征進行分解,得到7個子序列,分解后的子序列如圖2所示。相比于原振動信號較大的波動范圍,分解后的子信號波動較小,且隨著分解程度加深,波動范圍越平緩。6個IMF信號代表影響序列非線性和非平穩性的高頻分量,殘差信號代表信號的總體趨勢。

圖2 CEEMD分解

2.2 時間卷積網絡

時間卷積網絡(TCN)是卷積神經網絡(CNN)的一種變體,由膨脹因果卷積和殘差模塊組成。

如圖3所示,以3層膨脹因果卷積結構為例,其單向結構從時間維度上對卷積運算進行約束,時間t的輸出只能由t之前的輸入得到,不存在從未來到過去的信息泄露問題。在解決時序問題上,需要追溯歷史信息,歷史信息越久遠,隱藏層越多,計算量越大。為了既能夠增大感受野又不使得隱藏層過多,膨脹因果卷積引入了一個新的超參數-擴張率d。在不損失信息的情況下,允許模型間隔采樣,最下面一層d=1,表示輸入時每個點都采樣,中間層d=2,表示輸入時每兩個采樣點作為一個輸入,通常層級越高所采用的擴張率越大。設一維序列的輸入是l={s1,s2,…,sn-1}∈Rn與卷積核f:{0,…,n-1}→R,其序列元素s的卷積運算F的表達式為:

(3)

圖3 膨脹卷積模塊

TCN中殘差模塊的結構如圖4所示,用殘差鏈接使信息能夠跨越層數傳遞,從而避免層數過多而造成信息損失。引入批標準化,將每一層網絡輸入歸一化。標準化層后添加激活函數來保證模型擬合非線性數據并用正則化降低模型過擬合的風險。為保持輸入和輸出一致性,使用1×1卷積置于卷積層后。

圖4 殘差模塊

2.3 融合時序注意力機制的TCN模型

傳統注意力機制在基于特征數據預測的過程中,存在的問題在于:對多個時間步長的信息進行平均,無法檢測出對預測有用的時間模式;弱化了部分輸入數據,使得神經網絡只專注于分析部分數據。

軸承剩余壽命預測作為對歷史數據的一種推演,具有嚴格的時序性,引入時序注意力機制處理提取的多種數據能夠考慮不同變量的時序特征,并選擇相關變量加權,增加對于時序數據的波動性及趨勢分析,提高預測的精度。

融合時序注意力的時間卷積模型主體包含3個部分:膨脹卷積和殘差模塊、時序注意力機制、激活函數及輸出層。具體結構如圖5所示,原始的振動信號經過特征提取、特征分解,處理成t維特征向量,將每一維特征單獨輸入時間卷積模塊中,通過膨脹卷積和殘差模塊獲得更大的感受野和更穩定的梯度下降,將輸出的中間量作為時序注意力層的輸入,進行注意力權重計算,聚焦與壽命退化強相關的重點變量信息,最后以剩余壽命作為目標值進行輸出。

圖5 TA-TCN結構

2.4 遷移學習

遷移學習是指一種學習對另一種學習的影響,或習得經驗對其他活動的影響。使用領域、任務和邊際概率來描述遷移學習,定義為:領域D包含兩部分,特征空間X和邊緣概率分布P(x),即:

D={x,P(x)}

(4)

另一方面,任務T也包含兩部分,特征空間γ和目標函數f(·),即:

T={γ,f(·)}

(5)

式中:f(·)為通過訓練樣本{xi,yi}學習得到的,從概率角度講f(·)=P(γ|X)。

遷移學習的目標就是從源域Ds和源任務Ts中獲取的相關知識提高目標域任務TT和目標域DT上的預測準確率,其中Ds≠DT,Ts≠TT。

本文采用的是基于參數的遷移學習,具體實現過程是:首先,在源域數據上進行預訓練,獲得初始參數;然后,將預訓練模型網絡結構參數共享給目標域;再使用目標域少量軸承數據進行訓練,對網絡參數進行微調;最后,隨機初始化全連接層參數,對目標任務進行預測。

2.5 預測流程

為了解決滾動軸承在實際生產中信號噪聲大、特征與壽命退化關聯性差以及面對不同工況、數據量少的情況下出現的預測效果不佳的問題,提出了一種融合時序注意力機制優化的時間卷積神經網絡與遷移學習相結合的組合模型,預測流程如圖6所示,具體描述如下:

圖6 CEEMD-TA-TCN預測流程圖

(1)從公開軸承數據集對原始振動信號進行時、頻域分解;

(2)針對軸承退化特征的非線性非平穩性,采用CEEMD方法將信號分解成多個IMF分量以及殘差分量并進行歸一化處理;

(3)利用TCN模型感受野大、計算速度快的優點,深度挖掘特征向量,并添加TA機制,增加關聯性大的特征向量權重關注度;

(4)將源域訓練好的模型,進行模型保存、參數凍結;

(5)使用遷移學習通過少量目標域軸承數據將訓練好的離線模型參數進行微調,實現軸承的跨工況剩余壽命預測;

(6)利用評價指標對所提模型進行評估比較。

3 實例分析

為驗證CEEMD-TA-TCN模型在軸承剩余壽命預測的有效性,基于python3.8和Tensorflow2.0框架進行實驗驗證。

3.1 實驗平臺

本實驗采用PHM2012數據挑戰發布的軸承完整壽命周期數據集[13]。如圖7所示,在PRONOSTIA實驗平臺上通過水平和垂直位置的加速度傳感器來收集兩個方向的振動信號。設定設備的采樣頻率為25.6 kHz,每間隔10 s記錄一次數據,每次采集數據時長為0.1 s。從實驗安全的角度考慮,當振動數據的振幅超過20 g(1 g=9.8 m/s2)時,停止實驗。

圖7 實驗平臺

如表1所示,數據集共采集3種工況條件下的17組數據。

表1 軸承工作條件

訓練集和測試集包含每個軸承的全壽命歷史振動數據,每個采樣周期包含2560個振動數據。本次實驗對于同一工況的軸承,采用“留一法”,將目標軸承數據作為測試集,將其它軸承數據設為訓練集。將整個軸承的生命周期定義為從1～0的均勻下降直線并以此作為軸承訓練的訓練標簽。

模型的超參數設置會直接影響學習性能,經過多次調整對比,模型達到最優效果,最終主要參數設置如下:優化器選擇Adam算法優化,batch_size為32,將dropout設為0.25,學習率Ir設定為0.001,迭代周期為100,膨脹卷積層數設定為3,濾鏡尺寸為3,擴張率d分別為(1,2,4)。

3.2 評價指標

為了評價比較模型精度,引用了其它相關研究文章常用的平均絕對誤差(mean absolute error,MAE)[12]、均方根誤差(root mean square error,RMSE)[13]、和改進的PHM競賽中的評分函數(score function,Score)三個性能指標。其中MAE和RMSE由式(6)和式(7)定義。

(6)

(7)

式中:ert=RULact-RULpred,為實際RUL與預測RUL之間的誤差;n是樣本數。

在實際工業生產中,對于剩余壽命低估和高估對機器操作的影響不同。低估會導致多余的停機時間,造成資源的浪費;而高估則可能會導致人員傷亡等安全事故。因此高估應該受到比低估更嚴重的懲罰。因此為了客觀和全面地評估預測模型設計了一個評分函數,來考慮低估和高估對軸承整個生命周期的影響。評價函數定義如下:

(8)

3.3 消融實驗

觀察振動信號可知,軸承在壽命末期振動幅度波動劇烈,也是壽命預測最困難的地方,因此截取預測末端壽命預測進行對比。以軸承1-2、1-3為例,將提出的CEEMD-TA-TCN模型,與普通注意力TCN、TA-TCN和EMD-TA-TCN進行對比實驗,結果如圖8和圖9所示。

圖8 軸承1-2

實驗一:普通注意力TCN模型和添加時序注意力的TCN模型對比?？梢钥吹狡胀ㄗ⒁饬CN模型雖然可以大致預測軸承的剩余壽命,但是預測過程波動大,在面對突變的振動情況,無法很好地追蹤退化的趨勢,添加時序注意力機制后,可以明顯看出比原始模型更加接近預先設定的退化曲線,但仍存在局部預測偏移大的問題。

實驗二:EMD和CEEMD兩種信號處理方式的對比。對原始振動信號使用EMD分解,利用其能夠很好的反應信號的局部特征和變化趨勢,發現模型在預測軸承剩余壽命末期的表現有很大提升,但是由于其本身對于信號極值和噪聲的敏感性,預測結果仍未達到理想精度。在EMD基礎上進行改進,使用CEEMD對信號進行分解,利用白噪聲對抵消噪聲帶來的干擾,通過觀察曲線,預測精度明顯高于前面3種模型。

為了更加具體地說明所提模型的有效性,引入評價指標,對上述的4種模型進行量化評估。評價結果如表2所示,可以看出所提模型在3種評價指標上,均優于其它3種模型。以軸承1-2為例,相比于其它3個模型的MAE、RMSE分別降低了38.3%和28.8%、36.6%和24.6%、22.8%和14.5%,Score分別提高了40%、23%、11%。

表2 消融實驗結果對比

結合實際預測效果圖和評價指標,能夠看出所提模型的優越性。為了進一步說明模型提升效果、泛化性以及在實際生產中的意義,又進行了對比試驗和遷移實驗。

3.4 對比實驗

為了進一步說明所提模型預測剩余壽命的有效性,與其他文獻的方法CNN、GRU、CNN-LSTM進行比較。以軸承1-2為例進行測試,不同方法預測的性能指標如表3所示?？梢钥闯?CEEMD-TA-TCN相對于其它3個模型的MAE和RMSE分別降低了52.4%和46%、31.3%和27.6%、22.1%和17.4%。Score值分別提高了53%、37%和13%,對于剩余壽命的預測更加準確。

表3 與其它文獻方法對比

3.5 遷移實驗

為了驗證所提模型在小樣本、變工況下的泛化性,引入第2.4節所提遷移學習策略。將4 kN徑向力、1800 rpm轉速的工況一軸承數據集作為源域,4.2 kN徑向力、1650 rpm轉速的工況二軸承數據集作為目標域,比較帶遷移學習和不帶遷移學習兩種預測策略的準確性等指標。不帶遷移學習為正常進行“留一法”訓練學習,帶遷移學習以本實驗為例,則是只用軸承2-1進行參數微調訓練,為了避免實驗結果的偶然性,本實驗取10次預測的平均值,預測結果如圖10和表4所示。從圖10可以看出,在預測初期由于信息較少,兩種模型的剩余壽命預測中,帶遷移學習能夠更好地追蹤退化曲線且預測精度高。

表4 遷移學習評價指標對比

圖10 軸承2-6遷移實驗

分析表4能夠看出,帶遷移訓練的各項評價指標明顯優于不帶遷移學習。從訓練時長來看,帶遷移學習分為預學習和遷移學習兩部分,在遷移學習階段訓練時長僅為45 s遠低于不帶遷移學習的266 s,這說明在實際生產中,在預訓練的基礎上,使用遷移學習可以更快地使模型適應不同工況下的剩余壽命預測。充分證明了所提模型在小樣本、變工況下的優越性和泛化性。

4 結論

針對軸承數據樣本不足和訓練、測試數據難以獨立同分布的問題,本文提出了一種基于時序注意力優化的時間卷積網絡模型和遷移學習相結合的剩余壽命預測方法,并通過實驗對比證明:

(1)在消融實驗中,用CEEMD代替EMD進行信號處理、用時序注意力機制代替普通注意力機制均獲得了預測精度的提升。

(2)在對比實驗中,由于所提模型在噪聲消除、特征挖掘、增強時序關聯性、擴大感受野等方面皆做了處理,相比于其它文獻常用的CNN、GRU、CNN-LSTM模型預測精度更高。

(3)在遷移實驗中,引入遷移學習的概念,不僅在評價指標上有著更優異的表現,在訓練時長上也大幅度縮減。驗證了模型泛化性,對于在實際生產中多變的軸承工況下的剩余壽命預測有著一定的參考意義。

本文尚未就不同數據集、不同軸承進行驗證,這也是我們下一步研究工作的重點。