基于TCN和殘差自注意力的變工況下滾動軸承剩余壽命遷移預(yù)測

潘雪嬌, 董紹江, 朱 朋, 周存芳, 宋 鍇

(1. 重慶交通大學(xué) 交通運(yùn)輸學(xué)院, 重慶 400074; 2. 重慶交通大學(xué) 機(jī)電與車輛工程學(xué)院, 重慶 400074;3. 重慶大學(xué) 機(jī)械與運(yùn)載工程學(xué)院, 重慶 400044; 4. 重慶長安汽車股份有限公司, 重慶 401120)

滾動軸承作為大型旋轉(zhuǎn)機(jī)械設(shè)備關(guān)鍵零部件,長期運(yùn)行在惡劣的工況下,會導(dǎo)致軸承的性能下降、可靠性降低,對其服役階段開展健康狀態(tài)監(jiān)測及剩余壽命(remaining useful life,RUL)預(yù)測,制定相應(yīng)維修策略,有助于提高機(jī)械設(shè)備的可靠性與安全性,具有重要的意義[1-2]。

目前,RUL預(yù)測方法主要分為基于物理模型的方法和基于數(shù)據(jù)驅(qū)動的方法[3]。采用物理模型的方法主要是基于對機(jī)械設(shè)備關(guān)鍵部件退化機(jī)理及結(jié)構(gòu)特點(diǎn)的研究,建立對應(yīng)的退化模型,但該方法建模難度大,專家知識要求高,實(shí)際工業(yè)環(huán)境中實(shí)施難度較大[4]。近年來,隨著人工智能技術(shù)的快速發(fā)展,基于數(shù)據(jù)驅(qū)動的方法得到廣泛的關(guān)注,較多學(xué)者將深度學(xué)習(xí)方法應(yīng)用于滾動軸承的剩余壽命預(yù)測。王玉靜等[5]利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)來提取滾動軸承的頻域深層特征,然后將深層特征輸入到長短時記憶(long and short term memory,LSTM)神經(jīng)網(wǎng)絡(luò)中構(gòu)建健康指標(biāo),有效地實(shí)現(xiàn)了RUL預(yù)測。陳保家等[6]將滾動軸承原始振動頻域信號輸入到堆棧降噪自動編碼器中提取深度特征,然后輸入到多頭注意力的時間卷積網(wǎng)絡(luò)(temporal convolutional neural network,TCN)中提取軸承退化特征,進(jìn)行RUL預(yù)測。Wang等[7]針對采集到的振動信號含不同水平的噪聲問題,提出了改進(jìn)軟閾值的注意力時間卷積網(wǎng)絡(luò),有效地實(shí)現(xiàn)了滾動軸承的RUL預(yù)測。但是,以上方法進(jìn)行滾動軸承RUL預(yù)測的前提是假設(shè)在同種工況下含有大量的標(biāo)簽數(shù)據(jù)來用于網(wǎng)絡(luò)預(yù)測模型的訓(xùn)練,然而,在實(shí)際工業(yè)環(huán)境中,機(jī)械設(shè)備常常工作于變工況的環(huán)境中,導(dǎo)致訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)特征分布存在差異[8],以上方法不能有效進(jìn)行RUL預(yù)測。

遷移學(xué)習(xí)方法在解決因數(shù)據(jù)特征分布差異而導(dǎo)致網(wǎng)絡(luò)模型泛化能力差的問題上顯示出了優(yōu)越性能[9]。遷移學(xué)習(xí)在故障診斷領(lǐng)域研究成果較多,但在RUL預(yù)測領(lǐng)域研究起步相對較晚,成果相對較少。王新剛等[10]采用CNN和LSTM作為特征提取器,并通過對抗的思想進(jìn)行多種工況下的遷移剩余壽命預(yù)測。Zeng等[11]針對變工況下剩余壽命預(yù)測難題提出了一種在線遷移的新方法,模型的特征提取層采用CNN模型,領(lǐng)域特征分布差異度量同樣也采用了對抗學(xué)習(xí)的策略。以上方法采用遷移學(xué)習(xí)技術(shù)實(shí)現(xiàn)了變工況下滾動軸承RUL預(yù)測,但CNN模型或LSTM模型在處理長時間序列的數(shù)據(jù)容易出現(xiàn)梯度爆炸或消失[12],影響遷移壽命退化特征的提取。此外,僅采用對抗訓(xùn)練的方式進(jìn)行不同領(lǐng)域的差異度量,模型領(lǐng)域?qū)R能力有限。這些問題將會影響智能預(yù)測模型的遷移性能,進(jìn)而影響RUL預(yù)測精度的提高。

針對以上問題,本文融合TCN網(wǎng)絡(luò)優(yōu)異的時間序列特征提能力及殘差自注意力機(jī)制的局部相關(guān)特征聚焦特點(diǎn),提出了基于聯(lián)合最大均值差異(maximum mean discrepancy,MMD)及對抗學(xué)習(xí)的端到端的滾動軸承RUL遷移預(yù)測方法。試驗(yàn)結(jié)果證明了所提方法的有效性與優(yōu)越性。

1 所提方法理論基礎(chǔ)

1.1 遷移學(xué)習(xí)問題定義

1.2 最大均值差異(MMD)

作為遷移學(xué)習(xí)中重要組成方法之一,領(lǐng)域自適應(yīng)起到了縮小不同領(lǐng)域之間數(shù)據(jù)特征分布差異的度量作用,以達(dá)到特征提取器學(xué)習(xí)領(lǐng)域間不變特征。領(lǐng)域自適應(yīng)中較常用的度量準(zhǔn)則為MMD,其平方定義如下

(1)

式中：H為再生核希爾伯特空間(reproducing kernel hilbert space,RKHS);φ：Xs,Xt→H及K(·,·)為高斯核函數(shù)。

(2)

式中,σ為核寬度。

1.3 領(lǐng)域?qū)箤W(xué)習(xí)

在遷移學(xué)習(xí)中,領(lǐng)域?qū)箤W(xué)習(xí)[14]作為另一種重要的領(lǐng)域自適應(yīng)方法,主要受領(lǐng)域?qū)咕W(wǎng)絡(luò)(domain adversarial network,DAN)的啟發(fā)。DAN主要通過提取源域與目標(biāo)域的不變特征,達(dá)到遷移學(xué)習(xí)的目的,網(wǎng)絡(luò)結(jié)構(gòu)由三部分組成：特征提取器、分類器、域判別器。對抗學(xué)習(xí)利用域判別器和特征提取器對抗的方式實(shí)現(xiàn)領(lǐng)域?qū)R,使用高層特征訓(xùn)練域判別器以區(qū)分特定樣本是來自源域還是目標(biāo)域,而特征提取器旨在生成難以區(qū)分的域不變特征,分類器在源監(jiān)督下基于高層特征進(jìn)行訓(xùn)練以進(jìn)行RUL預(yù)測。

2 基于TCN和殘差自注意力的滾動軸承RUL遷移預(yù)測方法

2.1 時間卷積網(wǎng)絡(luò)

受卷積網(wǎng)絡(luò)結(jié)構(gòu)能有效處理時序數(shù)據(jù)的啟發(fā),Bai等[15]提出了時間卷積網(wǎng)絡(luò)(TCN)。空洞因果卷積被引入到TCN中來抑制時間序列信息從未來到過去的泄漏,其結(jié)構(gòu)示意圖如圖1所示。此外,TCN網(wǎng)絡(luò)和其他循環(huán)神經(jīng)網(wǎng)絡(luò)一樣,網(wǎng)絡(luò)輸出長度與輸入保持一致。對于一維序列輸入x∈n和卷積核f：{0,…,k-1}→,序列元素s的空洞卷積運(yùn)算F定義為如式(3)所示

(3)

式中：d為膨脹系數(shù);k為卷積核尺寸;s-d·i為過去的方向。因此,膨脹相當(dāng)于在每兩個相鄰的卷積核抽頭之間引入一個固定步。由圖1可知,當(dāng)d=1時,空洞卷積層相當(dāng)于普通卷積層;通常,在空洞因果卷積塊中,不同層數(shù)的膨脹系數(shù)以d=2l的方式增加。

圖1 空洞因果卷積結(jié)構(gòu)示意圖

TCN殘差塊是將空洞因果卷積及殘差跨層連接方式相結(jié)合,如圖2所示。這使得TCN可以在較少網(wǎng)絡(luò)層數(shù)量的情況下獲得較大的感受野,更利于處理具有長期歷史依賴的時序數(shù)據(jù)。同時,跨層連接的方式可以抑制網(wǎng)絡(luò)模型在加深的過程中出現(xiàn)梯度消失或爆炸問題的出現(xiàn),能更好的學(xué)習(xí)滾動軸承壽命退化特征。

2.2 殘差自注意力機(jī)制

自注意力機(jī)制可以在網(wǎng)絡(luò)訓(xùn)練的過程中自動學(xué)習(xí)滾動軸承不同退化特征對RUL預(yù)測的貢獻(xiàn)度,使網(wǎng)絡(luò)模型更加關(guān)注對輸出有很大貢獻(xiàn)的特征。為了使模型更好地學(xué)習(xí)退化特征和RUL標(biāo)簽之間的映射,并在長時序列中捕獲更重要的信息,殘差自注意力機(jī)制(residual self-attention mechanism,RSA)被引入到本文搭建的網(wǎng)絡(luò)結(jié)構(gòu)中。如圖3所示,該模塊可以計(jì)算時序數(shù)據(jù)中每個元素之間的不同權(quán)重,并賦予貢獻(xiàn)大的元素較大的權(quán)重。

圖2 TCN殘差塊

圖3 殘差自注意力機(jī)制

自注意力機(jī)制的輸入由三部分組成：查詢矩陣Q,關(guān)鍵字矩陣K和數(shù)值矩陣V,輸出是基于Q和K的相似性加權(quán)和。殘差自注意力機(jī)制的定義為

RSAi=SAi+X

(4)

(5)

式中：Q,K和V分別為線性映射,定義為Q=WqX,K=WkX和V=WvX;X為輸入向量;dk為投影尺寸。

2.3 所提出的滾動軸承RUL遷移預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的變工況下端到端的滾動軸承RUL遷移預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。主要包含遷移故障特征提取器、域自適應(yīng)層、RUL預(yù)測器和域判別器四部分,其中域自適應(yīng)層及RUL預(yù)測器共享相同網(wǎng)絡(luò)結(jié)構(gòu)。遷移故障特征提取器主要包含一維寬卷積層、TCN殘差塊、殘差自注意力塊、批歸一化層及池化層;RUL預(yù)測器主要由全連接層組成,并采用MK-MMD度量不同領(lǐng)域在高層特征的數(shù)據(jù)分布差異;域判別器由全連接層組成,用于分類數(shù)據(jù)的領(lǐng)域,起到對抗學(xué)習(xí)的目的。

網(wǎng)絡(luò)模型的預(yù)測流程為：首先,為抑制噪聲干擾的影響,將不同工況下采集到滾動軸承壽命狀態(tài)數(shù)據(jù)采用短時傅里葉變換轉(zhuǎn)換成頻域數(shù)據(jù);其次,采用本文提出的遷移特征提取器對來自源域與目標(biāo)域的壽命退化遷移特征進(jìn)行提取,為起到加快網(wǎng)絡(luò)訓(xùn)練收斂速度及特征降維的作用,在TCN殘差塊及殘差自注意力塊后均進(jìn)行批歸一化(batch normalization,BN)及池化操作;再次,領(lǐng)域自適應(yīng)度量采用本文提出的聯(lián)合MK-MMD及對抗學(xué)習(xí)的策略,匹配源域與目標(biāo)域的分布差異;最后,進(jìn)行變工況下滾動軸承的遷移RUL預(yù)測,并分析模型的性能。

圖4 所提RUL預(yù)測方法網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4 優(yōu)化目標(biāo)函數(shù)

本文所提模型的優(yōu)化目標(biāo)函數(shù)包含RUL預(yù)測誤差、源域和目標(biāo)域數(shù)據(jù)集之間全連接層的MMD距離和領(lǐng)域分類誤差三類。

第一個優(yōu)化的目標(biāo)函數(shù)是最小化源域數(shù)據(jù)集上的RUL預(yù)測誤差,均方誤差(mean square error, MSE)定義為RUL預(yù)測的損失函數(shù)

(6)

優(yōu)化目標(biāo)函數(shù)二為最小化MK-MMD損失項(xiàng)LMMD,采用式(1)對分類層前的兩個全連接層的特征差異進(jìn)行測量,詳細(xì)理論計(jì)算見式(1)。

第三個優(yōu)化目標(biāo)函數(shù)為最大化源域與目標(biāo)域的領(lǐng)域分類誤差,以達(dá)到提取領(lǐng)域不變特征的效果,進(jìn)一步對齊源域與目標(biāo)域的分布差異。

(7)

式中：li為領(lǐng)域真實(shí)的標(biāo)簽,源域?yàn)?,目標(biāo)域?yàn)?;e(xi)為網(wǎng)絡(luò)預(yù)測的領(lǐng)域標(biāo)簽。

因此,總的優(yōu)化目標(biāo)函數(shù)為

Ltotal=Lrul+λLMMD-μLd

(8)

式中,λ和μ分別為非負(fù)超參數(shù)。

定義遷移特征提取層、RUL預(yù)測層和域判別器的參數(shù)分別為θf,θr和θd,總的優(yōu)化目標(biāo)函數(shù)可進(jìn)一步表示為

Ltotal(θf,θr,θd)=Lrul(θf,θr)+λLMMD(θf)-
μLd(θf,θd)

(9)

參數(shù)θf,θr和θd優(yōu)化如下

(10)

(11)

(12)

(13)

(14)

式中,δ為學(xué)習(xí)率。

3 試驗(yàn)驗(yàn)證

3.1 試驗(yàn)數(shù)據(jù)描述

為驗(yàn)證所提方法的有效性與優(yōu)越性,采用IEEE PHM2012 Data Challenge加速壽命試驗(yàn)獲得的變工況下滾動軸承全壽命數(shù)據(jù)集[16]進(jìn)行試驗(yàn)分析,試驗(yàn)平臺為PRONOSTIA。PRONOSTIA由三個主要部分組成：旋轉(zhuǎn)部分、退化產(chǎn)生部分(在被測軸承上施加徑向力)和信號采集部分。滾動軸承徑向力由一個氣動千斤頂組成的力執(zhí)行器產(chǎn)生,調(diào)節(jié)不同的轉(zhuǎn)速和施加不同的徑向載荷進(jìn)行試驗(yàn)可獲得變工況試驗(yàn)數(shù)據(jù),試驗(yàn)工況信息如表1所示,具體細(xì)節(jié)部分詳見參考文獻(xiàn)[16]。信號采集裝置中加速度傳感器采集振動信號的頻率為25.6 kHz,采用間隔10 s,每個樣本采樣時間為0.1 s,即2 560個樣本點(diǎn),采樣通道有水平和垂直兩個通道。

所提遷移RUL預(yù)測方法為變工況下無監(jiān)督遷移學(xué)習(xí)方法,結(jié)合PRONOSTIA不同工況下試驗(yàn)軸承信息,本文設(shè)置了4種跨工況剩余RUL遷移預(yù)測任務(wù),如表2所示。

表1 試驗(yàn)工況參數(shù)表

表2 遷移預(yù)測任務(wù)

3.2 試驗(yàn)數(shù)據(jù)預(yù)處理

將不同時刻采集到的水平方向時域振動信號采用短時傅里葉變換生成頻域信號,同時,為加快網(wǎng)絡(luò)模型的訓(xùn)練收斂速度和減少不同特征之間的大小差異,將頻域信號歸一化到[0,1]的范圍。RUL預(yù)測是一個回歸問題,因此,可將軸承運(yùn)行時間轉(zhuǎn)換為模型的輸入標(biāo)簽,利用剩余壽命百分比作為軸承的RUL標(biāo)簽,如式(15)所示

(15)

式中：xi為軸承當(dāng)前運(yùn)行時間;xmax和xmin分別為軸承最大運(yùn)行時間和初始運(yùn)行時間。yi值的大小表示軸承壽命狀態(tài)退化的嚴(yán)重程度,當(dāng)yi為0時,表示軸承退化到失效閾值處,故障嚴(yán)重程度到達(dá)極限,剩余壽命為0,完全失效。

3.3 性能評價指標(biāo)

采用平均絕對誤差(mean absolute error,MAE)、均方根誤差[17](root mean squared error,RMSE)及評分函數(shù)(Score)對測試軸承的RUL預(yù)測進(jìn)行定量的分析。公式如下

(16)

(17)

(18)

其中：

(19)

(20)

3.4 參數(shù)設(shè)置及對比試驗(yàn)說明

本文所提方法網(wǎng)絡(luò)結(jié)構(gòu)主要參數(shù)如表3所示。其中,在模型遷移特征提取器中不同層的后面均進(jìn)行池化操作,以降低數(shù)據(jù)的維度,在TCN殘差塊5后進(jìn)行尺寸為4的平均池化操作,其余均進(jìn)行尺寸為2的最大池化操作,由于篇幅限制,在表中進(jìn)行了省略。此外,為防止網(wǎng)絡(luò)過擬合,表中Dropout均設(shè)置為0.1。

表3 所提方法的網(wǎng)絡(luò)結(jié)構(gòu)主要參數(shù)表

對比模型1為傳統(tǒng)的CNN模型,模型搭建參照本文所提方法,將本文的遷移特征提取器中的不同層替換為卷積層,卷積核尺寸及其它設(shè)置均與本文保持一致;對比模型2為本文所提方法的網(wǎng)絡(luò)結(jié)構(gòu)SATCN,但是未進(jìn)行遷移學(xué)習(xí);對比模型3為采用CORAL度量[18]的遷移學(xué)習(xí)方法,網(wǎng)絡(luò)主干結(jié)構(gòu)與本文一致;對比模型4為僅采用單層MMD度量方法;對比模型5為MK-MMD度量方法,為本文所提方法的基礎(chǔ);對比模型6為僅采用對抗學(xué)習(xí)的遷移學(xué)習(xí)方法ADV,為本文所提方法的一部分。

3.5 不同RUL預(yù)測方法結(jié)果及分析

不同RUL預(yù)測方法在4種變工況任務(wù)上獲得的預(yù)測結(jié)果如表4所示,其中“AVE”表示4種遷移任務(wù)下同一指標(biāo)的平均預(yù)測精度結(jié)果。由表4可知,本文所提的殘差自注意力TCN特征提取器提取軸承退化特征的能力優(yōu)于傳統(tǒng)CNN模型,故SATCN模型在4個變工況RUL預(yù)測任務(wù)上的得分Score、預(yù)測誤差MAE和RMSE平均值均優(yōu)于CNN模型,主要由于SATCN網(wǎng)絡(luò)結(jié)合了TCN處理時間序列數(shù)據(jù)和殘差自注意力聚焦貢獻(xiàn)度大的退化特征的優(yōu)點(diǎn),退化特征提取能力更強(qiáng),說明了本文所提遷移特征提取器的有效性;由于模型CNN及SATCN未進(jìn)行遷移學(xué)習(xí)訓(xùn)練,在所有對比模型中,RUL預(yù)測結(jié)果的MAE和RMSE平均誤差較大,性能較差,主要是變工況下壽命狀態(tài)數(shù)據(jù)存在特征分布差異,僅采用一種工況訓(xùn)練獲得的模型泛化能力較差,表明了變工況下遷移RUL預(yù)測的必要性;在所有遷移學(xué)習(xí)對比模型中,采用對抗學(xué)習(xí)進(jìn)行域自適應(yīng)度量的ADV模型獲得相對較好的RUL預(yù)測精度,平均得分Score為0.315,MAE為0.133,RMSE為0.167,表明采用對抗學(xué)習(xí)的域自適應(yīng)方法在處理滾動軸承RUL預(yù)測問題上,相對于MMD、MK-MMD及CORAL度量方法具有較好的性能;本文所提方法在遷移任務(wù)T1、T2及T4上均獲得較小的MAE及RMSE值,預(yù)測精度最高,預(yù)測性能較好,同時,在4個遷移任務(wù)上,本文所提方法的指標(biāo)均值最優(yōu),得分Score平均值為0.318、誤差MAE為0.120及RMSE為0.150,主要由于本文結(jié)合MK-MMD及對抗學(xué)習(xí)提出的領(lǐng)域自適應(yīng)方法能更為有效地對齊變工況下軸承壽命狀態(tài)數(shù)據(jù)特征分布差異,進(jìn)行遷移RUL預(yù)測。以上分析結(jié)果表明了本文所提方法在處理變工況下滾動軸承RUL預(yù)測問題的有效性與優(yōu)越性。

表4 不同方法的RUL預(yù)測結(jié)果

為進(jìn)一步分析本文所提方法的優(yōu)越性,隨機(jī)選擇遷移任務(wù)T1進(jìn)行RUL預(yù)測結(jié)果的可視化分析。圖5為本文所提方法與SATCN方法的RUL預(yù)測結(jié)果圖,圖6為本文所提方法、遷移學(xué)習(xí)方法MK-MMD及ADV的RUL預(yù)測結(jié)果圖。同時,為抑制圖6中不同遷移學(xué)習(xí)方法預(yù)測結(jié)果的局部振蕩現(xiàn)象,采用Savitzky-golay平滑濾波方法進(jìn)行平滑處理,結(jié)果如圖7所示。由圖5可知,采用遷移學(xué)習(xí)方法后的RUL預(yù)測結(jié)果更靠近RUL真實(shí)值,預(yù)測結(jié)果精度及性能整體優(yōu)于未進(jìn)行遷移學(xué)習(xí)的模型,受變工況影響較少。由圖6、圖7可知,本文所提的遷移學(xué)習(xí)RUL預(yù)測方法獲得的RUL預(yù)測結(jié)果相比于MK-MMD及ADV遷移學(xué)習(xí)方法更靠近RUL真實(shí)值,波動性相對較少。盡管本文所提方法在某些時刻下,預(yù)測曲線與真實(shí)RUL線段吻合度不是很高,存在一定的波動,出現(xiàn)該現(xiàn)象的原因可能是變工況下不同滾動軸承失效形式差別較大,導(dǎo)致關(guān)鍵階段的數(shù)據(jù)缺乏,深度學(xué)習(xí)模型難以準(zhǔn)確地學(xué)習(xí)表征。但預(yù)測曲線少量異常波動并不會影響整體預(yù)測的下降趨勢。特別是在軸承剩余壽命即將為0,軸承接近完全失效時,預(yù)測曲線與真實(shí)RUL,吻合度較高。以上分析結(jié)果進(jìn)一步說明了所提方法的有效性與優(yōu)越性。

圖5 T1遷移任務(wù)RUL預(yù)測結(jié)果(SATCN, Proposed)

圖6 不同遷移方法RUL預(yù)測結(jié)果(T1)

圖7 不同遷移方法RUL預(yù)測結(jié)果平滑處理(T1)

4 結(jié) 論

針對變工況環(huán)境下滾動軸承RUL預(yù)測難題,本文提出了一種基于時間卷積網(wǎng)絡(luò)和殘差自注意力機(jī)制的端到端的RUL遷移預(yù)測新方法,通過試驗(yàn)及分析,獲得以下結(jié)論：

(1) 結(jié)合殘差自注意力及時間卷積網(wǎng)絡(luò)的特點(diǎn)提出的遷移特征提取器相對于傳統(tǒng)CNN模型,遷移特征提取能力更強(qiáng)。

(2) 融合最大均值差異度量準(zhǔn)則及對抗學(xué)習(xí)策略的新領(lǐng)域自適應(yīng)方法能更好匹配變工況下滾動軸承壽命狀態(tài)數(shù)據(jù)特征分布差異。

(3) 通過試驗(yàn)及其他RUL預(yù)測方法對比分析表明,所提方法RUL預(yù)測結(jié)果更接近真實(shí)RUL值,得分更高、預(yù)測誤差更小,對于變工況下開展?jié)L動軸承健康狀態(tài)評估及RUL預(yù)測具有重要的參考價值。