基于深度子域自適應回歸網絡的變工況軸承剩余使用壽命預測

呂明珠

(1.遼寧裝備制造職業技術學院 自動控制學院,沈陽 110161; 2.遼寧開放大學,沈陽 110034)

預測和健康管理(Prognostics and Health Management,PHM)是實現機械設備智能運維的重要環節,剩余使用壽命(Remaining Useful Life, RUL)定義為相關設備在出現故障之前剩余的壽命長度[1]。滾動軸承作為各種旋轉機械的關鍵部件和易損件,若能準確估計其剩余使用壽命,不僅能保證設備安全可靠的運行,還能大大降低維護成本。

現有的剩余使用壽命預測方法主要包括基于模型和數據驅動2種類型[2]:基于模型的方法主要借助退化的物理機制預測關鍵部件的剩余使用壽命,需要一定的先驗知識,很難準確地建立復雜工況下的退化模型[3];數據驅動方法將傳感器提供的數據轉換為參數或非參數相關模型,無需了解退化機理,但需獲得足夠的歷史數據[4],深度學習的發展使從大量數據中獲得退化特征成為可能,從而避免人工構造特征的繁瑣。

實際應用中,軸承往往在變工況下工作,工況條件一旦變化就需要重新訓練模型,更新模型參數。為提高故障診斷模型的泛化能力,遷移學習算法近年來得到了越來越廣泛的關注[5]。由于變工況會導致特征分布發生變化,領域自適應(Domain Adaptation,DA)成為影響遷移效果的關鍵因素。DA只需要利用新工況中少量的未標記樣本即可提取域不變特征,同時在原工況中對標記數據進行有效的監督,從而避免了在新工況下對標記數據的需要[6]。

然而,目前的DA研究方法存在如下問題:1)幾乎所有的遷移回歸模型都采用了一個無監督的全局DA解決方案,只是全局對齊域而忽略了數據中的細粒度信息,容易出現遷移結果變差的問題;2)大多數最初被提出的DA模型只用于故障分類,可能并不適用于剩余使用壽命預測;3)已有的DA解決方案常使用對抗性模型,存在結構復雜和收斂困難的問題。

針對上述問題,本文提出一種深度子域自適應回歸網絡的變工況軸承剩余使用壽命預測,基本思想是利用傳統的深度學習網絡建立一個特征提取器,加入輔助類別標簽和子域分類器捕捉子域類別信息,通過局部最大均值偏差估計不同工況之間的特征分布差異,最后建立一個域不變回歸,完成剩余使用壽命預測。

1 理論基礎

1.1 全局領域自適應

令Ds和Dt分別代表源域和目標域,定義樣本空間Xs∈Ds,Xt∈Dt,則從源域和目標域中提取的數據樣本分別為xs∈Xs,xt∈Xt。在實際應用中,源域和目標域的振動數據通常來自于不同工況的軸承,存在嚴重的分布差異。假設來自源域和目標域的數據樣本服從各自的邊緣概率分布P(Xs),P(Xt)以及條件概率分布Q(Ys|Xs),Q(Yt|Xt),且P(Xs)≠P(Xt),Q(Ys|Xs)≠Q(Yt|Xt)。

所謂領域自適應,就是解決源域與目標域之間的特征空間和學習任務相同,但邊緣概率分布和條件概率分布不同的問題[7]。領域自適應遷移學習的目標是學習一個特征變換,同時最小化邊緣分布和條件分布差異,即

minD(Ps(φ(Xs)),Pt(φ(Xt)),

(1)

minD(Qs(Ys|φ(Xs)),Qt(Yt|φ(Xt))),

(2)

式中:D為評估領域差異的函數;φ為映射函數。

EXt～q[φ(Xt)]},

(3)

式中:D為用于評估領域偏差的距離;H為再生核希爾伯特空間;sup為輸入聚合的上確界;φ為X→H的非線性映射函數;E為嵌入樣本的平均值。

在統計學中,這種表示被稱為整體概率度量。為計算這個差異,可以用最大均值差異的有偏估計替代,可表示為

(4)

2個分布差異的經驗估計可認為是在再生核希爾伯特空間中的2個數據平均值的距離。當最大均值差異接近于0時,表示2個分布是對齊的。

1.2 子域領域自適應

大量的深度自適應方法試圖通過學習全局域移位來提取域不變表示。這只是對齊源域和目標域的全局分布,而沒有考慮子域之間的關系(在分類任務中,相同的樣本通常被歸類為子域)。這種全局對齊會破壞域內的分布結構,導致結果較差,如圖1所示。

圖1 全局與子域領域自適應遷移學習結果對比

子域自適應側重于將源域和目標域中相同類型的子域對齊[9],但大多是基于對抗性的方法,意味著復雜的網絡結構,包含多個損失項的目標函數,困難的超參數選擇和收斂過程等, 而且將子域自適應理論應用于剩余使用壽命預測的相關文獻也很少。

1.3 局部最大均值偏差

為對齊相關的子域,本文引入局部最大均值偏差(Local MMD,LMMD),其在考慮不同樣本權重的情況下,測量源域和目標域中相關子域經驗分布的核平均嵌入之間的Hilbert-Schmidt范數[10],其定義為

DH(xs,xt)?

(5)

LMMD可以測量局部分布差異的期望。假設每個樣本以權重ωc屬于每個類別,則存在的無偏估計為

(6)

對于任意一個樣本,其權重計算公式為

(7)

式中:zic為zi的第c個元素。

2 深度子域自適應回歸網絡

2.1 網絡結構

為適應滾動軸承剩余使用壽命預測的需要,本文利用子域間的細粒度監督信息設計了一種新型遷移學習框架,稱為深度子域自適應回歸網絡(Deep Subdomain Adaptive Regression Network, DSARN),其結構如圖2所示。

圖2 深度子域自適應回歸網絡結構圖

與大多數端到端的剩余使用壽命預測結構類似,DSARN中嵌入了一個特征提取器和一個回歸器。特征提取器將原始輸入信號xi通過隱藏層獲得高維特征hi,再通過回歸器得到高維特征hi與回歸預測yi之間的映射,這個映射的學習過程需要不斷最小化回歸誤差,并在網絡中嵌入子域自適應解決最小化問題,即

(8)

λ=2μ/(1+e-10τ/τm)-1,

式中:J為目標輸出與預測輸出的損失函數;dc為用來度量源域和目標域之間所有對應的子域差異;λ為時變權衡系數;τ為當前迭代次數;τm為最大迭代次數;μ為預先設定的遷移系數。

為在回歸模型中進行子域劃分和子域自適應,本文在網絡結構中加入輔助類別標簽和子域分類器捕捉子域類別信息,再通過LMMD估計源域與目標域之間的加權分布差,最后建立一個域不變回歸,形成DSARN學習算法。

2.2 基于DSARN的剩余使用壽命預測方法

為提高剩余使用壽命預測的跨域泛化性能,全面利用細粒度的子域信息,本文在DSARN算法基礎上提出了一種基于DSARN的多工況軸承剩余使用壽命預測方法,其框架如圖3所示,具體步驟為:

圖3 基于DSARN的剩余使用壽命預測方法流程圖

1)收集多種工況下滾動軸承的故障振動信號。

2)利用二階同步壓縮變換將源域已標記的樣本和目標域原始振動信號轉換為時頻表示。

3)建立并初始化DSARN模型。

4)將來自源域的標記樣本和來自目標域的未標記樣本用于DSARN訓練,通過最小化相對子域之間的差異減小每個退化階段中源域與目標域樣本之間的差異。

5)使用訓練后的DSARN進行測試樣本的預測。

6)輸出剩余使用壽命預測結果并評價該方法的性能。

3 試驗分析

為驗證DSARN在剩余使用壽命預測上的實用性,采用在多種工況下采樣軸承振動信號的IEEE2012PHM軸承數據集[11]進行分析,使用評分函數、均方根誤差(Root Mean Squared Error, RMSE)和平均絕對誤差(Mean Absolute Error, MAE)進行性能評價。

評分函數的定義為

(9)

3.1 數據描述

IEEE2012PHM軸承數據集來自PRONOSTIA試驗臺,其通過加速退化試驗收集滾動軸承的全周期退化振動數據。試驗軸承為6804型深溝球軸承(內徑20 mm,外徑32 mm,寬度7 mm),軸承外圈上安裝了2個加速度傳感器,采樣頻率為25.6 kHz。每次采樣持續0.1 s,每10 s采樣一次,當軸承振動幅值超過20g時試驗終止[12]。該數據集在3種不同工況下測試了17套軸承(表1),本節的案例研究包含了6個遷移場景,具體的訓練和測試數據見表2。

表1 IEEE2012PHM軸承數據集描述

表2 遷移預測的6種情況

3.2 數據預處理

深度網絡具有較強的特征提取能力,甚至可以直接從軸承振動信號中提取特征;然而,考慮到振動信號的非平穩性,通過頻譜分析預處理的數據更有利于特征提取,使網絡獲得更快的收斂。因此,本文選用比傳統的傅里葉方法更利于處理波動頻繁的軸承振動數據的二階同步壓縮變換方法進行時頻處理,以軸承1_1某一樣本為例,其預處理結果如圖4所示。

(a) 原始振動信號

由于軸承在不同工況下的全壽命周期差異很大,使用絕對剩余使用壽命值難以獲得良好的跨域預測。為便于對比分析,本文對預測結果進行規范化處理,即

(10)

式中:LRUL為軸承剩余使用壽命預測值;Ltotal為軸承全周期壽命。L越接近1表明軸承越健康,越接近0則表明軸承退化越嚴重。

3.3 模型訓練

ResNet是卷積神經網絡的一種變體[12],通過在網絡中添加殘余模塊解決梯度消失的問題,比傳統的卷積神經網絡具有更好的學習能力和泛化性能。本文使用沒有頂層分類器和預訓練參數的ResNet50作為軸承信號的特征提取器。DSARN的網絡結構見表3。通過網格搜索確定的DSARN超參數設置為:最大迭代次數200,批處理大小16,學習率0.000 05,遷移系數0.005,子域類別10。

表3 DSARN的網絡結構

DSARN模型在訓練過程中的誤差減少情況如圖5所示:回歸誤差(目標輸出與預測輸出之間的均方根誤差)在早期對目標函數的貢獻較大,因此,在早期訓練過程應注重提高回歸精度;經過迭代后,回歸誤差的下降明顯減慢,LMMD的貢獻增加,此時應注重提取域不變特征以減小子域差異;再經過一段時間迭代后,總誤差趨于穩定,表明網絡變得收斂。LMMD明顯下降,說明子域差異在不斷減小。

圖5 DSARN的訓練損失

3.4 剩余使用壽命預測結果

除DSARN外,本文引入了2個對比模型:模型1是沒有進行領域自適應的ResNet,從DSARN中刪除輔助類別標簽和子域自適應,只使用源域訓練;模型2是使用傳統全局領域自適應的ResNet(簡稱DAN),源域和目標域在全域對齊而不考慮子域劃分,并使用MMD作為距離度量。利用上述方法對表2中的6種遷移場景進行訓練和測試,剩余使用壽命預測結果如圖6所示:非領域自適應ResNet的預測在大部分時間下表現不佳,幾乎沒有單調的趨勢,使用較少的源域樣本預測較大樣本量目標域時的性能特別糟糕(圖6f);DAN的性能往往不如DSARN好,有時甚至比ResNet更差(圖6d,圖6e),這是由于DAN只會全局縮小源域和目標域,導致內部細粒度結構信息被破壞,可能導致負遷移[15];除了圖6e的結果外,使用DSARN得到的結果有明顯的單調趨勢,DSARN將相應的子域對齊,可以得到每個退化階段更好的子域不變特征,DSARN在6種遷移場景中均取得了比DAN和ResNet更好的剩余使用壽命預測結果。

圖6 不同模型在6種遷移場景下的預測結果

3種性能指標的計算結果見表4:與非領域自適應ResNet相比,DAN提高了預測效果但有時會發生負遷移,DSARN方法則取得了最高的平均分數以及最小的平均RMSE和MAE。結果表明子域自適應能夠使網絡進行跨條件的剩余使用壽命預測且不容易發生負遷移,DSARN通過子域自適應保留和使用數據中的細粒度結構信息,顯著提高了跨域泛化性能。

表4 遷移結果的性能指標

為探究LMMD對隱藏特征提取的影響,進行了源域樣本和目標域樣本中提取特征的對比分析。以工況1→2為例,使用t-分布的隨機鄰域嵌入可視化隱藏表示的分布,結果如圖7所示:ResNet提取的隱藏特征顯示出較大的特征分布上的差異,準確度也較差;DAN提取的特征服從MMD項的分布相對相似,但仍存在明顯的差異,而且樣本集太多時將難以區分特征;DSARN利用LMMD的子域自適應函數很好地對齊源域和目標域的特征,得到了最小的子域差異,從而更好地提取域不變特征并建立從特征到標簽的有效映射。

圖7 不同模型從源域到目標域的特征分布

4 結束語

本文提出了一種基于子域自適應的DSARN模型,用于多工況下滾動軸承的剩余使用壽命預測。利用二階同步壓縮變換對軸承振動信號進行預處理,將非平穩的原始振動信號轉換為更容易捕捉特征的頻譜信號并得到多通道信號作為輸入,與基于人工設計特征或統計特征的方法相比,可以保留更多的特征信息。使用ResNet50作為基礎網絡框架進行特征提取并加入回歸器和子域分類器實現回歸模型上的子域自適應,采用一個新的包含LMMD項和時變權衡項的目標函數來訓練網絡并提取子域不變特征。在IEEE 2012 PHM軸承數據集上進行6種場景的遷移預測,DSARN模型在變工況軸承剩余使用壽命預測中可獲得更高的準確性和更好的遷移性能,在工程實踐中有一定的推廣價值。

DSARN模型的局限性在于參數較多,收斂時間及復雜度較高,而且未從多維度綜合考慮時間退化信息,在今后的研究工作中將進一步改進模型參數,提高收斂性能,加快收斂速度,合理利用時間相關信息,以期提供更穩定的預測效果。