不同轉速下基于深度注意力遷移學習的滾動軸承故障診斷方法

陳仁祥， 唐林林， 胡小林， 楊黎霞， 趙 玲

(1. 重慶交通大學 交通工程應用機器人重慶市工程實驗室，重慶 400074；2. 重慶工業大數據創新中心有限公司，重慶 400056； 3. 重慶科技學院 工商管理學院，重慶 401331)

滾動軸承是旋轉機械中廣泛應用的關鍵機械零部件，其運行狀態直接影響機械設備的整體性能。實際工作中軸承運行工況復雜多變，測試得到的信號易被調制呈現出明顯的非線性與非平穩性，難以提取故障特征，同時軸承往往在不同轉速工況下運行，所帶來的數據分布差異使得軸承故障診斷變得愈加困難[1]。

近年來，深度神經網絡能進行特征自提取的優勢在故障診斷領域得到了成功應用。如棧式自編碼(stacked auto encoder，SAE)[2]、深度置信網絡(deep belief network，DBN)[3]、卷積神經網絡(convolutional neural network，CNN)[4]等被國內外不少學者應用于機械故障診斷領域。但SAE和DBN對數據的局部特征和移變特征處理不足，無法捕捉數據的局部特征和移變性，而CNN作為當前深度學習的代表，具有參數共享性和平移不變性的特點，能夠提取更為魯棒的特征[5]。王震等[6]利用卷積神經網絡構建自適應特征提取器,提取軸承的深層特征，實現故障類型的分類。荊云建等[7]將卷積神經網絡與支持向量機結合，實現特征提取與故障識別。盡管CNN 取得了很好的效果，但CNN在軸承故障診斷領域面臨如下兩個問題：①CNN所使用的最大池化或者平均池化直接將信息合并會導致關鍵信息無法被識別出來；②必須滿足訓練集和測試集具有相同的概率分布，但實際工程中工況復雜多變，這一假設很難滿足，當面對轉速差異較大的工況時，CNN模型的識別效果顯著下降[8]。

針對問題①，可引入空間域注意力機制[9]來解決，它將通道的空間域信息進行對應的空間變換，能提取出通道的關鍵特征，但它將每個通道中的特征同等處理會忽略通道域中的信息。同時通道域注意力機制[10]對一個通道內的信息直接全局平均池化，而忽略每一個通道內的局部信息。即將空間域與通道域注意力機制結合就能有效提取關鍵信息。針對問題②，可引入遷移學習(transfer learning，TL)思想，TL可以解決跨域分布差異的問題而被廣泛應用于故障診斷領域[11]。康守強等[12]將SSTCA(semisupervised transfer component analysis)應用于交變工況下滾動軸承的故障診斷，通過適配兩域邊緣概率分布來減小數據分布差異，然而該方法需人工提取特征，缺乏自適應性。

基于此，提出一種不同轉速下基于深度注意力遷移學習(deep attention transfer learning，DATL)的滾動軸承故障診斷方法。首先，利用小波變換實現振動信號的時頻表達；其次，結合空間域和通道域注意力的各自優點，搭建融合空間和通道的注意力卷積神經網絡(attention convolutional neural network，ACNN)，將每個通道的空間域信息作對應的空間變換，從而提取出每個通道的關鍵特征信息，以避免關鍵特征的丟失；然后，通過領域適配方法對源域和目標域數據的特征知識進行近似度量和適配，將一種轉速的滾動軸承特征知識遷移至另一種轉速，從而實現不同轉速下的滾動軸承故障診斷。

1 深度注意力遷移學習模型

該模型通過源域帶標簽數據和目標域無標簽數據對DATL進行訓練，從而實現目標域無標簽數據的智能故障診斷，主要包括兩個模塊：特征提取模塊和領域適配模塊。其結構如圖1所示。

圖1 DATL結構Fig.1 The structure of DATL

1.1 特征提取模塊

特征提取模塊主要由深度注意力卷積神經網絡構成，其中，第一個卷積層有16個卷積核，第二個卷積層有32個卷積核，卷積核的大小均為5×5，兩個池化層，池化區域均為2×2，且均采用最大值池化方式，一個通道注意力層，一個空間注意力層，卷積核的大小為7×7，一個全連接層。

(1) 卷積層

在卷積層，前一層的特征圖與卷積核進行卷積運算，然后經過激活函數得到本層的特征圖，每一個卷積核對應一個特征圖。使用的激活函數為ReLU函數，其函數表達式為

(1)

(2) 池化層

池化層是對上一個卷積層得到的特征進行縮放映射，以降低維度，在一定程度上保證了特征尺度的不變性。經過池化區域大小為n×n的池化運算后，輸出的特征圖邊長變為原來的1/n，特征圖的個數不變。

(3) 通道注意力層

當X經過兩層卷積池化之后得到B，首先通過注意力模塊學習出每個通道的權重得到權重矩陣?，然后將?與B進行相乘從而產生通道域的注意力，得到新的特征U，其中通道注意力機制包括式(2)擠壓函數(全局平均池化)、式(3)激勵函數和式(4)尺度函數3個模塊。

(2)

式中，u為新產生的特征信號，有c個通道。

s=Fex(Z,W)=σ[g(Z,W)]=σ[W2δ(W1Z)]

(3)

式中：δ為ReLU； 而σ是一個sigmoid激活函數；W1，W2為權重參數，通過訓練學習這兩個權重，得到一個1維的激勵權重來激活每一層通道。

(4)

(4) 空間注意力層

將上一層的輸出U作為輸入，通過定位網絡學習到一組參數θ，然后利用網格生成器生成采樣信號Y，再與U相乘，得到變換矩陣V。空間注意力通過Transformer找出圖片信息中需要被關注的區域，同時又具有旋轉、縮放變換的功能，所以圖片局部的重要信息能夠通過變換而被提取出來。結構如圖2所示。

圖2 空間注意力機制Fig.2 The spatial attention mechanism

(5) 全連接層

將前一層所得到的所有特征圖的每個像素依次展開，排成一列，構成特征向量。特征向量與輸出層全連接，構成全連接層。

1.2 領域適配模塊

最大均值差異(maximum mean discrepancy，MMD)是衡量兩個數據集分布差異的非參數距離指標，用于判斷兩個分布是否相同，源域數據與目標域數據通過ACNN特征提取后，兩域的分布差異滯留在全連接層。假設源域和目標域的特征集合分別為As和At，則存在再生核希爾伯特空間[13](reproducing kernel Hilbert space, RKHS)H，有映射函數?(·)∈H將ACNN所提取特征由原特征空間投影至再生核希爾伯特空間。因此，源域與目標域之間的MMD可定義為

(5)

將數據映射到再生核希爾伯特空間進行MMD度量，其度量方式為

(6)

式中： ‖·‖H為再生核希爾伯特空間；S和T分別為源域數據和目標域數據；n和m分別為S和T中的數據個數。

1.3 深度注意力遷移模型的訓練

所提模型DATL訓練過程中，需要滿足兩個優化目標：①最小化特征提取模塊在源域數據上的分類損失；②最小化源域數據與目標域數據深層次特征知識的概率分布差異。因此，優化目標函數可以表達為

(7)

式中：Lc(θf,θc)為特征提取模塊在源域數據上的識別誤差；D(θf)為源域數據與目標域數據深度特征知識的概率分布差值；μ為懲罰項系數且μ>0。

2 不同轉速下基于深度注意力遷移學習的滾動軸承故障診斷流程

所提出的不同轉速下基于深度注意力遷移學習的滾動軸承故障診斷方法流程圖如圖3所示，具體步驟如下：

步驟1采集數據樣本，利用小波變換計算時頻圖，一種工況作為訓練樣本(源域)，其余工況作為測試樣本(目標域)，構建不同轉速下的數據集。

步驟2初始化深度注意力遷移學習網絡參數，以批量的方式將源域數據和目標數據輸入到DATL中。

步驟3利用融合空間域與通道域的注意力卷積神經網絡提取出源域和目標域的關鍵特征。

步驟4在注意力卷積神經網絡中添加的適配層對所提取的源域和目標域特征進行領域適配，以減小不同轉速所帶來的域分布差異。

步驟5得到訓練好的遷移診斷模型，輸入測試集，利用Softmax分類層輸出診斷結果，完成不同轉速下滾動軸承的故障診斷。

圖3 方法流程圖Fig.3 The flow chart of method

3 試驗與分析

3.1 試驗數據

試驗數據來自機械故障綜合模擬試驗臺，試驗臺主要由電機、聯軸器、滾動軸承、加速度傳感器等組成，如圖4所示。

將加速度傳感器置于軸承座上，并采用磁座將其固定。試驗軸承為er-16k型深溝球軸承，節徑38.5 mm，包含9個滾動體，接觸角9.08°，使用電火花加工技術在軸承的內圈、外圈、滾動體上布置單點故障，并模擬兩種不同故障程度。故障直徑約為0.2 mm和0.4 mm，深度均約為0.2 mm，其中直徑0.2 mm故障標記為早期故障，直徑0.4 mm故障標記為中期故障，共模擬6種故障狀態，如表1所示。

圖4 試驗臺Fig.4 The test station

表1 故障類型Tab.1 The fault types

采集時運行轉速分別為工況A：800 r/min，工況B：1 000 r/min，工況C：1 500 r/min，加載負荷均為5 kg。采樣頻率均為25.6 kHz，采樣時間為10 s，每種故障信號采樣4次，以減小數據采集系統中的隨機誤差。

3.2 建立數據集

從采集到的振動數據中以1 024個點截取樣本，每類故障共1 000個樣本，對每個樣本進行小波變換獲得時頻圖樣本，因Morlet小波波形與軸承故障產生的沖擊特征相似，且cmor小波是Morlet小波的復數形式，自適應性能更好，故選用cmor小波變換，再從每類時頻圖樣本中隨機選取200個樣本，7類故障共1 400個樣本作為訓練集。隨機選取200個樣本，7類故障共1 400個樣本作為測試集。

限于篇幅，僅展示如圖5所示幾種工況的原始信號圖，從圖5可知，僅依靠原始信號波形很難判斷出不同轉速下軸承的損傷程度和故障類型。圖6為圖5所對應的小波變換時頻圖，不難看出，當故障程度越嚴重，其時頻圖中的振動能量越大，隨著轉速的增高，振動能量也隨之增大，時頻圖中具有明顯的變化趨勢，所展現的信息大于原始信號波形圖，表明相較于時域波形，小波變換時頻圖從時域和頻譜兩個方向更能全面的展現軸承故障特征。

圖5 原始信號Fig.5 Original signal

圖6 時頻圖Fig.6 The time-frequency diagram

3.3 試驗結果分析

本節試驗旨在展現所提方法對不同轉速下滾動軸承故障診斷的能力，并探索學習率、批量以及懲罰項系數對DATL遷移故障診斷結果的影響。以工況B→A的遷移故障診斷試驗為例，設置學習率為[0.01，0.05，0.001，0.000 1]，重復10次試驗，試驗結果如圖7所示。

由圖7可知，學習率對模型診斷結果影響較大，當學習率為0.001的時候，取得了較好的遷移故障診斷結果。設置批量大小為[40，60，80，100]，重復10次試驗，結果如圖8所示，不同批量情況下，對診斷結果影響較小，當批量為80時，取得了最好的診斷結果。設置懲罰項系數為[0，0.01，0.5，1，10]和變化懲罰項系數2/[1+exp(-10×k)]-1，其中k為當前訓練的次數與總訓練次數的比值，每種系數重復10次試驗，試驗結果如圖9所示，在所有的懲罰項系數中，變化懲罰項系數取得了最好的遷移診斷結果。因此，本文方法的故障診斷模型參數設置為學習率0.001，批量80，懲罰項系數采用變化懲罰項系數。

圖7 不同學習率的遷移故障診斷精度Fig.7 Transfer fault diagnosis accuracies with different learning rates

圖8 不同批量的遷移故障診斷精度Fig.8 Transfer fault diagnosis accuracies with different batch size

圖9 不同懲罰項系數的遷移故障診斷精度Fig.9 Transfer fault d1iagnosis accuracies with different penalty coefficient

為驗證所提方法的有效性，將所提方法與CNN、ACNN、CNNM(CNN+領域適配)、深度遷移學習方法DAN[14]、原始時域信號+DATL(SY+DATL)和人工提取特征(包括時域特征16個、頻域特征12個共28維特征)+TCA(transfer component analysis)進行對比，為保證算法的公平性，CNN和ACNN的網絡超參數與DATL保持同步，且對每種工況重復10次試驗取平均值，對比結果如表2所示。

表2 不同方法準確率Tab.2 The accuracy of different methods %

由表2可以看出，DATL在7種遷移故障診斷工況下平均診斷精度到達了95.2%，且相較于其他方法，DATL在每種工況試驗下都取得了最高的診斷精度。其中轉速差異較小的工況A和工況B之間的遷移效果較好，到達了96%以上，而對于轉速差異較大的工況C與工況A和B進行遷移診斷時，識別精度略微下降，但都到達了92%以上。結果表明：DATL能在一定程度上完成對不同轉速下不同故障程度的軸承故障特征知識的學習與遷移適配任務。為進一步說明所提方法的優勢，對比分析了如下6種方法。

(1) CNN，該方法為普通的5層卷積神經網絡，陳仁祥等提出的滾動軸承智能故障診斷模型，以時頻圖作為輸入，利用CNN實現對低層信號特征抽象表達成深層特征，從而實現滾動軸承故障診斷。對于工況A→A，該方法到達95.6%的診斷精度，標準差為1.95%，診斷效果良好，但面對不同轉速之間的遷移診斷任務時CNN識別效果顯著下降，不同轉速遷移診斷幾乎都低于80%。結果表明：基于普通CNN的智能診斷模型在同種轉速下取得了比較不錯的診斷效果，但對不同轉速下滾動軸承故障狀態識別精度不佳。

(2) ACNN，該方法與所提方法具有相同的網絡結構，但缺乏故障特征的分布適配過程。平均診斷精度為79.5%，整體高于CNN，對于工況A→A，該方法到達98.2%的診斷精度，但面對不同轉速之間的遷移診斷任務時該方法診斷精度急劇下降。結果表明：基于ACNN的智能故障診斷模型診斷效果優于普通的CNN，注意力機制有助于提高模型對滾動軸承故障特征的表征能力，但不同轉速下診斷效果依然不佳，其原因在于不同轉速下軸承的數據集之間存在顯著的分布差異。

(3) CNNM，該方法是在CNN的全連接層中添加領域適配模塊，但缺乏注意力機制。平均診斷精度為91.8%，整體高于CNN和ACNN。結果表明：CNNM的診斷效果優于未進行領域適配的CNN和ACNN，表明領域適配方法可以縮小軸承在不同轉速工況下的特征分布差異，從而提高不同轉速軸承故障診斷的識別率，但由于缺乏注意力機制，使得CNNM在特征提取模塊中丟失了特征信息導致識別精度低于所提方法。

(4) DAN，該方法為經典的深度遷移學習方法，其平均診斷精度為85.8%，低于CNNM，究其原因是該方法沒有注意力機制提取關鍵特征，導致網絡在特征提取過程中特征丟失，從而影響故障診斷結果。

(5) SY+DATL，該方法以原始時域信號為輸入，輸入到DATL中，平均診斷精度僅為56.8%。結果表明：從時域信號中學習到的特征并不能有效表征不同故障程度軸承的故障。

(6) TCA，該方法以人工提取時域和頻域共28維特征作為輸入，將一種轉速與另一種轉速的數據特征降維投影到同一特征空間，并最小化不同轉速數據特征之間的概率分布距離。該方法平均診斷精度僅為28.1%。結果表明：TCA診斷精度最低，究其原因是TCA缺乏深層特征提取能力，人工特征不能表征不同轉速下不同故障程度軸承的故障。

綜上所述，本文所提方法具有更高的特征表征能力且具有一定的遷移診斷精度。一方面，針對采集到的軸承振動信號呈非平穩信號，利用小波變換得到軸承信號的時頻表達，從時域和頻域兩個方面全面刻畫軸承信號的時頻特征，并通過深度注意力卷積神經網絡從時頻圖中提取出更穩健的故障特征；另一方面，所提方法利用領域適配學習可以縮小不同轉速數據域之間的分布差異。

3.4 遷移結果可視化

為直觀分析本文所提DATL方法對于滾動軸承智能故障診斷的有效性，可視化不同轉速數據的特征知識，以遷移故障診斷試驗工況B→C為例，利用 t-分布鄰域嵌入(t-distribution stochastic neighbor embedding, t-SNE)[15]算法將提取的故障特征降維至2維平面，并以散點圖的方式呈現出不同轉速下不同故障程度數據的特征知識，如圖10所示。

圖10 特征可視化Fig.10 The feature visualization

由圖10可知，人工提取特征效果最差，不能有效表征滾動軸承的不同故障狀態。觀察圖10和圖11，CNN和ACNN雖展現出一定的特征表征能力，但訓練集和測試集所處的空間位置距離較遠，且訓練集和測試集的概率密度分布差異較大。DAN方法其訓練集與測試集基本重疊，表明遷移學習方法可以有效拉進不同轉速之間的特征差異，但類與類之間的特征并不能有效區分，究其原因是DAN的特征提取模塊網絡層數太深，在特征提取過程中造成了特征損失，不能有效提取不同故障程度的軸承故障特征。從圖10(d)和圖11(d)可以看出，DATL所提特征的訓練集和測試集在7種故障狀態下的特征分布更加容易區分，且訓練集和測試集在不同故障狀態數據的特征分布處于幾乎相似的空間位置，這種數據分布促進了對不同轉速下滾動軸承的遷移故障診斷識別效率。由此可以看出，所提方法在有效保證數據類別間可分性的同時匹配了不同域數據間的分布差異，從而可以提高遷移故障診斷的識別率。

圖11 概率密度Fig.11 Probability density

3.5 噪聲試驗

考慮到實際工程中，軸承的運行環境十分惡劣，不可避免會受到噪聲的影響，因此本節試驗用于驗證所提方法在環境噪聲下的魯棒性和適應性。在試驗數據中添加模擬環境噪聲的高斯噪聲，得到10 dB和20 dB的不同信噪比[16](signal-to-noise ratio, SNR)，從而提高軸承遷移故障診斷難度。以A→B和C→B工況為例，對比CNNM和DAN方法，采用3.3節試驗所用參數，每組工況試驗重復8次取平均值，遷移故障診斷結果如圖12所示。可以看出，所提方法在信噪比為10 dB時依舊有很高的診斷精度，A→B和C→B平均診斷精度分別為95%和90.7%，CNNM方法受噪聲影響較大，在信噪比為10 dB時A→B和C→B平均診斷精度分別為91.1%和83.9%，DAN方法受噪聲干擾最為嚴重，在信噪比為10 dB時A→B和C→B平均診斷精度分別為71.3%和68.4%。結果表明：所提方法在噪聲環境下具有較強的抗噪聲能力，即使是在強噪聲環境下，所提方法依然能表征不同轉速下滾動軸承的深層故障特征，并完成特征知識的遷移適配。

圖12 噪聲環境下分類結果Fig.12 Classification results in noise environment

4 結 論

提出了不同轉速下基于深度注意力遷移學習的滾動軸承故障診斷方法，將時頻圖作為輸入，利用空間域注意力和通道域注意力的各自優點，將二者結合在一起融入到卷積神經網絡中，構建注意力卷積神經網絡作為特征提取器，提取出軸承的關鍵特征，然后在網絡的全連接層添加領域適配層，減少不同轉速下數據的分布差異給故障診斷帶來的影響，并在數據集上進行了對比驗證，通過試驗對比證明：①深度注意力卷積神經網絡所學習的深層隱含特征相較于普通卷積神經網絡所提特征和人工提取特征具有更好的軸承故障表征能力，能有效提升不同轉速下滾動軸承的遷移故障診斷準確率；②領域適配學習可縮小不同轉速數據域之間特征知識空間內的分布差異，可有效提高遷移故障診斷精度；③在噪聲環境下所提方法能有效的提取出軸承的關鍵特征，具有較強的抗噪能力，更有利于適應實際工程中軸承智能故障診斷的應用。