基于卷積注意力特征遷移學習的滾動軸承故障診斷

鄒 建

(成都天奧測控技術有限公司，成都 611731)

0 引言

滾動軸承作為機械裝備中被廣泛使用的零部件之一，對其進行故障診斷可以大幅度提高機械裝備的工作穩定性[1]。滾動軸承通常在變工況條件(如轉速不同、受力大小以及受力方式不同等)下工作，復雜的變工況條件不僅會造成軸承各類故障(例如：軸承內圈故障，軸承外圈故障，滾動體故障)，同時由于軸承當前工況的類標簽很難獲取甚至無法獲取，造成滾動軸承故障診斷當前工況(即源域)可用樣本少。此外，不同的工況也會導致歷史工況(即目標域)樣本與當前工況樣本之間的概率分布存在差異，包括邊緣概率分布和條件概率分布。因此，利用歷史工況下的有標簽樣本對當前工況的滾動軸承樣本進行故障診斷具有重要意義，但也面臨著挑戰。

目前滾動軸承故障診斷方法主要分為信號處理法、解析模型法和數據驅動法三類[3]。3種方法的共同點在于都需要提取特征值作為故障識別的基礎，而且都依賴于閾值判斷；不同之處在于辨識模型的差異：信號處理法能夠快速實現在線診斷而且利用小波分析可以最大程度的保證故障診斷準確性，但是需要對研究對象熟悉度高，并且選取故障特征值較困難而且通用性差。解析模型不需要先驗知識而且有較快的診斷速度，但是對模型的準確性要求較高，容易因參數偏差、采樣誤差等外界因素帶來模型估計誤差，從而影響診斷結果的準確性。數據驅動法結合人工智能算法實現故障特征的自動分類與識別，不需要了解系統模型與工作機理，抗擾性強，對于復雜系統的故障診斷具有明顯優勢，但是該類方法相對復雜、依賴大量歷史數據并且其診斷速度依賴于算法自身的計算復雜度以及計算機的硬件性能。

由于計算機性能的提升使得診斷速度慢的問題可以得到有效解決，因此選擇利用歷史工況數據驅動法來解決變工況條件下的滾動軸承故障診斷問題已成為研究熱點和技術趨勢。文獻[4]將通道注意力機制引入多尺度非對稱卷積模塊用于提取滾動軸承故障特征，然后將多尺度非對稱卷積模塊中的全連接層改進為膠囊全連接層用于對滾動軸承進行故障分類。文獻[5]引入均勻化分布Chebyshev混沌映射和自適應慣性權重到麻雀算法中，提高麻雀算法(SSA，sparrow search algorithm)的全局和局部搜索能力，并將該改進的麻雀算法用于支持向量機(SVM，support vector machine)的參數優化，優化后的支持向量機再用于對滾動軸承的故障信號進行分類診斷。文獻[6]將全局可微的稀疏模型引入深度神經網絡來學習具有數據協同鏈接性能的深度網絡稀疏去噪(DNSD，deep network-based sparse denoising)網絡的超參數，并利用優化后的該網絡對模擬滾動軸承故障信號數據集進行故障診斷。文獻[7]利用卷積神經網絡(CNN，convolutional neural network，)從時頻圖像中提取滾動軸承固有故障的特征。最后，將提取的特征輸入到gcForest分類器中，以實現對滾動軸承故障的準確診斷。文獻[8]利用變分頻域特征提取器提取特征，然后局部異常因子對離群點進行剔除，最后將特征輸入分類器對滾動軸承進行故障診斷。

然而，以上基于傳統機器學習的數據驅動方法都是基于概率分布一致的假設，并且在提取特征時缺乏對樣本特征本身的深度提取和信息融合，因此在變工況條件下的域泛化能力[9]以及診斷精度并不高。遷移學習[10](Transfer Learning)具有良好的域泛化性能，能適應變工況條件下樣本概率分布不一致的問題；而多頭自注意力機制[11](Multi-Head Self-Attention Mechanism)能有效考慮到樣本特征提取時的信息融合問題，即它能將深層分類信息融合進卷積特征提取網絡[12]中，使所提取的特征有更好的分類性[13-14]。因此，本文結合遷移學習、多頭自注意力機制和卷積神經網絡的各自優勢，提出了一種具有更好的域泛化性能和分類性能的新型遷移學習方法——卷積注意力特征遷移學習(CAFTL，convolutional attention-based feature transfer learning)用于滾動軸承故障診斷，該方法可提高變工況條件下的滾動軸承故障診斷準確性。

1 CAFTL理論模型

CAFTL主要由卷積多頭自注意力特征提取網絡和域自適應遷移學習網絡構成。首先，對空間滾動軸承原始振動加速度信號樣本做適應多頭自注意力輸入形式的編碼預處理，得到對應的注意力分數之后，將注意力分數與源域以及目標域樣本相加，再經過歸一化層，歸一化層輸出的結果再輸入到卷積神經網絡中得到對應的源域和目標域特征；然后通過域自適應遷移學習網絡將兩域特征投影到同一個公共特征空間內，接著利用由源域有標簽樣本構建的分類器進行分類。最后，利用隨機梯度下降法對整個CAFTL進行訓練和更新，得到CAFTL對目標診斷任務的最優參數，再利用訓練好的CAFTL對待測樣本進行故障診斷。

1.1 卷積多頭自注意力特征提取網絡

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

然后，利用縮放點積方式計算源域和目標域樣本多頭自注意力：

(9)

(10)

圖1 多頭注意力計算示意圖

(11)

(12)

(13)

(14)

1.2 域自適應遷移學習網絡

提取到高維特征后，通過分布差異度量函數φ(·)來構造如下高維特征遷移損失函數l(θ)：

(15)

于是可以通過優化該特征遷移損失函數來學習域自適應遷移學習網絡的參數集θ，以實現源域樣本高維特征向目標域樣本高維特征的遷移，使得它們之間的概率分布差異最小化。

接下來，利用由源域有標簽的樣本構建的分類器對同分布的目標域待測樣本進行分類。首先計算目標域待測樣本的高維特征與源域帶類別標簽樣本特征的相似度，相似度度量函數為ζ(·，·)，并選擇相似度最大的源域高維特征所對應的類標簽作為滾動軸承目標域待測樣本的預測偽類標簽kl(kl代表目標域第l個樣本對應的偽類標簽)，該過程表達如下：

(16)

隨后，計算該目標域待測樣本屬于偽類標簽kl的概率如下：

(17)

接下來，將所有目標域待測樣本屬于其對應的偽類標簽概率的負對數之和作為分類損失函數Φ(θ)，該分類損失函數推導如下：

(18)

然后，結合域自適應遷移學習網絡的特征遷移損失函數l(θ)以及分類損失函數Φ(θ)作為CAHTL的聯合損失函數數Γ(θ)，該聯合損失函數表達如下：

Γ(θ)=ρl(θ)+Φ(θ)=

(19)

式(19)中，ρ為聯合損失函數的平衡約束參數，分別用于約束域自適應遷移學習網絡的局部尋優行為。

使用隨機梯度下降法(SGD)將CAFTL的聯合損失函數訓練至收斂。假設第λ次訓練CAFTL學習網絡的參數初始值集合為θλ，則參數更新過程表達如下：

θλ+1=θλ-α▽θΓ(θλ)=θλ-α▽θ[ρl(θ)+Φ(θ)]=

(20)

待CAFTL訓練完成后，就完成對CFHTL網絡的參數微調，此時得到CAFTL對該任務的最優參數θ*，也即完成對CAFTL的訓練。

(21)

2 基于CAFTL的滾動軸承故障診斷方法

基于CAFTL的滾動軸承故障診斷方法的實現過程如圖2所示，具體說明如下：

圖2 基于CAFTL的滾動軸承故障診斷方法實現過程

1)將滾動軸承源域(即歷史工況)帶標簽樣本和目標域(即當前工況)待測樣本進行域切分并矩陣變換后，計算各自的多頭自注意力分數，然后將多頭自注意力分數與源域、目標域樣本相加，再經過層歸一化處理，層歸一化處理后得到的計算結果輸入到卷積神經網絡中得到對應的源域和目標域樣本的高維特征。

2)將源域樣本的高維特征和目標域樣本的高維特征通過域自適應遷移學習網絡遷移到同一公共特征空間內，并且構造域自適應遷移學習網絡的特征遷移損失函數。通過優化該特征遷移損失函數以達到將不同分布的樣本在公共特征空間內最大化同分布的目的。

3)利用由源域有標簽的樣本構建的分類器對同分布的目標域待測樣本進行分類，并且構造分類損失函數。

4)結合特征遷移損失函數和分類損失函數來構造CAFTL的聯合損失函數，采用隨機梯度下降法將聯合損失函數訓練至收斂，完成對CAFTL參數的微調，即得到CAHFL的最優參數集。

5)將訓練好的CAFTL用于對目標域待測樣本的分類，完成滾動軸承的故障診斷全過程。

3 實驗分析

3.1 實驗裝置

本文使用的實驗數據來自凱斯西儲大學電氣工程實驗室滾動軸承數據中心。實驗使用了驅動端滾動軸承(型號為SKF6205—2RS)的振動加速度數據作為實驗數據源(實驗平臺如圖3所示)。為了模擬故障情況，實驗室通過采用電火花加工的方式，在軸承的內圈、外圈和滾動體上各加工了一個小槽，槽的直徑為0.335 6 mm，深度為0.279 mm。信號采集儀以12 kHz的采樣頻率采集了C1、C2和C3三種工況下的滾動軸承振動加速度信號。每個樣本由連續的1 024個振動加速度數據點組成。在每種工況下，分別獲得了約220個內圈點蝕故障、外圈點蝕故障、滾動體點蝕故障和正常狀態的樣本，總共有220×4個樣本。

圖3 凱斯西儲大學滾動軸承故障模擬實驗平臺

表1中被標記為工況C4的實驗數據是來自Cincinnati大學的常規滾動軸承加速壽命試驗數據。如圖4所示，將4個型號為ZA-2115雙列滾子軸承安裝在軸承試驗臺的旋轉軸上，使用轉速為2 000 r/min的電機通過皮帶驅動轉軸，并通過彈簧機構在轉軸和軸承上施加6 000 lbs的徑向載荷，采樣頻率為20 kHz，每10 min采集一次軸承的振動加速度數據。對每次采集的加速度數據截取前1 024個連續點作為一個樣本，共獲得1號雙列滾子軸承全壽命期的984個樣本。

表1 實驗工況表

圖4 Cincinnati大學滾動軸承加速壽命退化實驗臺

為了更真實地模擬工業現場環境，對表1中所有工況下的全部故障的振動加速度數據加入高斯白噪聲，使這些數據的信噪比為-2 dB。

3.2 基于CAFTL的故障診斷方法的參數設置

CAFTL參數設置如下：特征提取網絡中小區域樣本切分個數H=32，小區域長度d=32；多頭自注意力頭數為4頭(g=4)，每個頭的輸入向量維度為8維；特征映射函數F(·)都采用五層的卷積神經網絡，該網絡的具體配置如表2所示；域自適應遷移學習網絡中的分布差異度量函數φ(·)選擇最大均值差異(MMD，Max Mean Discrepancy)[15]，即：

表2 五層卷積神經網絡結構表

(22)

(23)

式中，a、b分別表示向量；故障類別數K=4；平衡約束參數ρ=0.7；CAFTL網絡參數學習率α=2e-4。基于CAFTL的故障診斷方法的參數設置好后在以下的所有實驗中就一直保持不變。

3.3 對比實驗一

在本實驗中，將工況C1下的滾動軸承內圈故障、外圈故障、滾動體故障以及正常狀態樣本作為源域(有標簽樣本)，工況C3下樣本作為目標域(無標簽樣本)用于滾動軸承故障診斷實驗(即：C1→C3)。實驗開始之前，在源域中按照1∶3∶4∶1的比例選取內圈故障樣本數為40，外圈故障樣本數為120，滾動體故障樣本數為160和正常狀態樣本數為40用作源域有類標簽訓練樣本；在目標域按照2∶1∶3∶3的比例選取內圈故障樣本數為60，外圈故障樣本數為30，滾動體故障樣本數為90和正常狀態樣本數為90用作目標域待測樣本。按照第2節所述的基于CAFTL的故障診斷方法的實現流程，將源域和目標域樣本輸入到設置好參數的CAFTL來對工況C3下的滾動軸承進行故障診斷。實驗結束后，將本文所提出的CAFTL獲得的各故障診斷準確率和平均診斷準確率與其他4種典型遷移學習方法，即：中心力矩匹配[17](CMD，central moment matching)、域遷移多核學習[18](DTMKL，domain transfer multiple kernel learning)、遷移聯合匹配[19](TJM，transfer joint matching)和分發匹配嵌入(DME，distribution matching embedding)做了比較。其中，使用了k折交叉驗證方法來優化CMD、DTMKL和TJM的參數以確保它們能夠獲得最高的滾動軸承故障診斷精度。優化后的參數如下：對于CMD，其學習速率為η=e-2，其平衡約束參數為λ=0.30；對于DTMKL，其正則化參數為λ=0.30，其子空間維數為D=3；對于TJM，其正則化參數為λ=0.25，其子空間維數為D=4；對于DME，其懲罰因子為λ=0.25。為了降低隨機性帶來的誤差，每種方法取了前20次實驗結果的平均值作為最后的實驗結果，實驗對比結果如表3所示。同時為了直觀地驗證CAFTL遷移和分類的有效性，利用t-分布隨機鄰域嵌入 (t-SNE，t-distributed stochastic neighbor embedding)算法[20]將CAFTL以及其它4種被對比方法提取到的高維特征降維到二維平面，并以散點圖的形式呈現在圖5～9中。

表3 C1→C3時4種遷移學習方法的故障診斷準確率

圖5 CAFTL輸出的高維特征經t-SNE降維后的散點圖

圖6 CMD輸出的高維特征經t-SNE降維后的散點圖

圖7 DTMKL輸出的高維特征經t-SNE降維后的散點圖

圖8 TJM輸出的高維特征經t-SNE降維后的散點圖

圖9 DME輸出的高維特征經t-SNE降維后的散點圖

由表3可知，基于CAFTTL的方法在源域和目標域樣本所處的工況條件不同并且對兩域樣本都增加了高斯白噪聲的情況下，依舊保持著良好的分類性能，并且分類精度始終優于基于CMD的故障診斷方法、基于DTMKL的故障診斷方法、基于TJM的故障診斷方法以及、基于DME的故障診斷方法。由圖5～9的對比結果亦可知，所提出的CAFTL相比CMD、DTMKL、TJM和DME這4種遷移學習方法能使得源域和目標域中相同類別的樣本更好地聚合在一起，且能使兩域中不同類別的樣本之間也相對更為分散，因此相比后4種遷移學習方法，CAFTL的遷移和分類性能更好，從而基于CAFTL的滾動軸承故障診斷方法的診斷精度也就更高。

3.4 對比實驗二

在本實驗中，將工況C1下的滾動軸承內圈故障、外圈故障、滾動體故障以及正常狀態樣本作為源域(有標簽樣本)，工況C3下樣本作為目標域(無標簽樣本)用于滾動軸承故障診斷實驗(即：C1→C4)。實驗開始之前，在源域中按照4∶1∶2∶3的比例選取內圈故障樣本數為160，外圈故障樣本數為40，滾動體故障樣本數為80和正常狀態樣本數為120用作源域有類標簽訓練樣本；在目標域按照2∶1∶4∶3的比例選取內圈故障樣本數為80，外圈故障樣本數為40，滾動體故障樣本數為160和正常狀態樣本數為120用作目標域待測樣本。按照第2節所述的基于CAFTL的故障診斷方法的實現流程，將源域和目標域樣本輸入到設置好參數的CAFTL來對工況C4下的滾動軸承進行故障診斷。為了降低隨機性帶來的誤差，每種方法取了前20次實驗結果的平均值作為最后的實驗結果，實驗對比結果如表4所示。

表4 C1→C4時4種遷移學習方法的故障診斷準確率

由表4可知，在源域和目標域樣本概率分布不一致的前提下，基于CAFTL的方法在源域和目標域樣本所處的工況條件不同并且對兩域樣本都增加了高斯白噪聲的情況下，依舊保持著良好的分類性能，并且分類精度始終優于基于CMD的故障診斷方法、基于DTMKL的故障診斷方法、基于TJM的故障診斷方法以及、基于DME的故障診斷方法。

3.5 消融實驗

實驗開始之前，在源域中按照4∶1∶2∶3的比例選取內圈故障樣本數為160，外圈故障樣本數為40，滾動體故障樣本數為80和正常狀態樣本數為120用作源域有類標簽訓練樣本；在目標域按照2∶1∶4∶3的比例選取內圈故障樣本數為80，外圈故障樣本數為40，滾動體故障樣本數為160和正常狀態樣本數為120用作目標域待測樣本。在 C1→C3，C1→C4，C2→C3，C2→C4，4種情況下對多頭自注意力機制經行消融實驗，并且取前30次實驗結果的平均值作為消融實驗結果，結果如表5所示。并且，將算法實時性結果記錄在表6中。

表5 消融實驗平均識別準確率對比

表6 算法實時性

由表6結果可知，多頭注意力機制會增加算法的計算復雜度，從而導致算法的實時性降低。通過表5的消融實驗結果可以看出注意力機制對于模型的識別精度有一定的提升，這也進一步證明了本文所提方法的有效性。

4 結束語

本文所提出的CAFTL通過優化域自適應遷移學習網絡中的特征遷移損失函數使得源域和目標域樣本分布差異最小化，因此它具有較好的域泛化性能，可以適應更多的變工況環境。其次，CAFTL融合了多頭自注意力機制，而多頭自注意力機制中不同的頭可以提取到不同的故障信息，提取到的故障信息越多，就使CAFTL后續提取到的高維特征具有更好的分類性。因CAFTL在域泛化性能和分類性能這兩方面的優勢，使其在滾動軸承源域和目標域樣本概率分布不一致的情況下，依舊能夠保持對目標域待測樣本較高的故障診斷精度，且其對待測樣本的故障診斷精度總是高于典型遷移學習方法所能得到的滾動軸承故障診斷精度。