一種殘差注意力遷移學習方法及其在滾動軸承故障診斷中的應用

趙 靖 楊紹普 李 強 劉永強,3

1.北京交通大學機械與電子控制工程學院，北京，100044 2.石家莊鐵道大學省部共建交通工程結構力學行為與系統(tǒng)安全國家重點實驗室，石家莊，050043 3.石家莊鐵道大學機械工程學院，石家莊，050043

0 引言

隨著互聯(lián)網(wǎng)的發(fā)展，機械故障診斷領域進入了“大數(shù)據(jù)”時代[1]。近年來，數(shù)據(jù)驅動算法得到了快速發(fā)展，智能故障診斷方法吸引了越來越多學者的關注[2]。智能故障診斷算法通過分析被測信號，自動學習故障特征，進而對機器的運行狀態(tài)進行判別，旨在建立端到端的診斷模型。智能故障診斷算法的發(fā)展大致分為以下3個階段：傳統(tǒng)的機器學習方法、深度學習方法和遷移學習方法[3]。傳統(tǒng)的機器學習方法主要有人工神經(jīng)網(wǎng)絡 (artificial neural network, ANN)、支持向量機[4](support vector machine, SVM)以及k最近鄰分類算法[5](k nearest neighbor, kNN)。傳統(tǒng)的機器學習方法雖然可以對機械系統(tǒng)的狀態(tài)進行識別，但是其網(wǎng)絡結構往往比較淺，泛化性能比較差，不適用于處理大批量的數(shù)據(jù)。深度學習算法的發(fā)展彌補了傳統(tǒng)機器學習算法的不足。CHEN等[6]利用卷積神經(jīng)網(wǎng)絡(convolutional neural networks, CNN)和極限學習機解決了齒輪和軸承的故障分類問題。ZHAO等[7]建立了卷積神經(jīng)網(wǎng)絡模型，將不同的二維灰度圖作為模型的輸入完成了不同工況下軸承的故障分類，并對模型的訓練過程與結果進行了可視化分析。XIE等[8]利用自適應深度置信網(wǎng)絡(deep belief networks, DBN)診斷模型完成軸承故障分類任務。趙志宏等[9]提出一種非對稱自編碼器方法，完成了旋轉機械關鍵部件的頻域特征提取與智能診斷。深度學習方法在提取特征方面展示了獨特的優(yōu)勢，尤其是卷積神經(jīng)網(wǎng)絡，因其可以從復雜的二維圖中提取特征而受到眾多學者的關注。由于機械設備大多在正常狀態(tài)下工作，故采集到的信號往往都是正常的，并且獲得機器不同運行狀態(tài)的振動數(shù)據(jù)往往需要耗費大量人力物力[3]。深度學習方法雖然能從信號中提取特征，但是訓練好模型往往需要大量不同健康狀態(tài)的帶標簽數(shù)據(jù)，這在工程實際中不太現(xiàn)實。

隨著智能診斷算法的發(fā)展，為了滿足工程實際的需求，遷移學習方法吸引了一些學者的研究。遷移學習方法是將一個或多個任務中學習到的知識應用到與之相關但不同的新任務中[10]的方法。LONG等[11]提出了一種深度域適應網(wǎng)絡架構，采用最優(yōu)多核選擇方法進行均值嵌入匹配，進一步減小了域差異。SUN等[12]提出一種無監(jiān)督域自適應方法，采用非線性變換將源域與目標域分布的二階統(tǒng)計量對齊。LONG等[13]提出聯(lián)合自適應網(wǎng)絡，通過減小激活層輸入特征和輸出標簽聯(lián)合分布的差異來縮小源域與目標域的差異。GANIN等[14]將域對抗引入遷移學習中，完成了源域向目標域的遷移學習。除此之外，CHEN等[15]采取一種微調(diào)的遷移學習策略完成了不同試驗臺的遷移任務。LI等[16]提出一種最優(yōu)集成深度遷移網(wǎng)絡并應用于軸承的故障診斷。揭震國等[17]提出一種子域適配的深度遷移方法，通過自適應匹配不同域之間的特征解決了機械設備在變工況故障診斷時的域偏移問題。HAN等[18]將對抗學習作為一種正則化方法引入卷積神經(jīng)網(wǎng)絡中，提出了一種新的深度對抗卷積神經(jīng)網(wǎng)絡。上面介紹的遷移學習方法可以分為以下三類：①基于域自適應的遷移學習方法。通過減小源域與目標域的差異完成不同工況的遷移，這類方法統(tǒng)稱為域自適應方法，文獻[11-13，17]可歸為此類。②基于對抗的遷移學習方法。部分學者致力于研究對抗學習的遷移策略，文獻[14，18]屬于這一類。③基于預訓練的遷移學習方法。即從源域與目標域中找到共享的參數(shù)信息來完成遷移學習，文獻[15-16]屬于預訓練遷移學習[19]。

隨著遷移學習診斷精度的提高，模型的結構變得越來越復雜，模型的訓練時間變得也越來越長。但是，工程中往往更需要高精度高效率的模型，為了滿足工程應用，亟需一種準確率高且計算時間短的遷移學習模型。特征提取在模型學習過程中發(fā)揮著不可或缺的作用，有效的特征提取能達到事半功倍的效果。本文提出一種基于殘差注意力卷積神經(jīng)網(wǎng)絡的遷移學習故障診斷算法。為了捕捉不同健康狀態(tài)的特征，在卷積神經(jīng)網(wǎng)絡模型的最后加入殘差注意力。為了測評本文方法的性能，將基于殘差注意力卷積神經(jīng)網(wǎng)絡與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡的在不同遷移學習策略下的結果進行對比。為了進一步探究不同故障特征在模型訓練過程中的變化情況，在對不同域的分類結果做了進一步的可視化分析的同時，進一步分析了某一具體樣本在模型訓練過程中的特征分布情況。

1 遷移學習問題描述

遷移學習中，被遷移的領域稱為源域(source domain)，待學習的領域稱為目標域(target domain)。源域Ds和目標域Dt組成了遷移學習中兩個重要的域。

遷移學習的工作過程描述如下：利用實驗室中機械設備故障模擬實驗獲得的數(shù)據(jù)訓練一個可靠的遷移學習模型，再用訓練好的模型去判斷工程實際中機械設備的工作狀態(tài)。遷移學習在具體的應用中，源域的數(shù)據(jù)通常都是在實驗室獲得的帶標簽的機械設備故障數(shù)據(jù)，而目標域通常都是不帶標簽的數(shù)據(jù)，因為工程實際中機械設備的工作狀態(tài)具有很大的不確定性，所以目前遷移學習研究主要針對不同實驗臺或同一實驗臺不同工況之間的遷移。

結合遷移學習相關概念及相關術語，遷移學習的目標有以下3種情景[19]：①特征空間不同，即Xs≠Xt；②類別空間不同，即ys≠yt；③特征空間和類別空間均相同、概率分布不同，即Ps(x,y)≠Pt(x,y)，本文研究內(nèi)容主要針對情景③。源域與目標域的特征空間相同，類別空間相同，概率分布不同，源域中是帶標簽的樣本，目標域中是不帶標簽的樣本。

2 遷移學習診斷模型

2.1 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡一般由卷積層、池化層及全連接層組成[20]。卷積神經(jīng)網(wǎng)絡具有局部連接和權重共享特性，是一種深層前饋神經(jīng)網(wǎng)絡[21]。卷積層是卷積神經(jīng)網(wǎng)絡的重要組成部分，由一系列卷積核組成，卷積運算是在輸入信號與卷積核之間進行的。對于每一個輸入xi和卷積核wj，卷積運算之后輸出特征如下：

(1)

其中，yi,j是卷積之后輸出的特征；bj是偏置；wj是卷積核；*表示卷積操作；σ(·)是激活函數(shù)，常用的激活函數(shù)有Sigmoid( )函數(shù)、Softmax( )函數(shù)、Tanh( )函數(shù)和ReLu( )(rectified linear unit)函數(shù)等。ReLu( )函數(shù)具有以下優(yōu)點：①采用ReLu的神經(jīng)元只需要進行加、乘和比較操作，計算上更加高效。②在優(yōu)化方面，在一定程度上緩解了神經(jīng)網(wǎng)絡的梯度消失問題，加速梯度下降的收斂速度，且ReLu( )函數(shù)具有很好的稀疏性。Softmax( )函數(shù)常用于分類問題的輸出層。因此，本文選取ReLu( )函數(shù)作為隱藏層激活函數(shù)，Softmax( )函數(shù)作為輸出層的激活函數(shù)。

卷積運算之后是池化運算，池化運算降低了特征維數(shù)，減少了計算時間。常用的池化運算有最大池化和平均池化運算。

最大池化運算，選取特征區(qū)域的最大值：

(2)

式中，R為池化區(qū)域；yij為卷積層輸出的激活值；Y為最大池化結果。

平均池化運算，計算特征區(qū)域所有值的平均值:

(3)

卷積神經(jīng)網(wǎng)絡最后是全連接層，在全連接層中，需要將經(jīng)過卷積層運算與池化運算之后的特征進行展平。模型在經(jīng)全連接層之后，經(jīng)過Softmax( )激活函數(shù)之后即可得到模型學習結果。模型在訓練過程中會產(chǎn)生較多的參數(shù)，為了防止過擬合，在搭建卷積神經(jīng)網(wǎng)絡的過程中，常常還會加入Dropout(·)運算和批量歸一化(batch normalization, BN)。

2.2 殘差注意力

ZHU等[22]提出了殘差注意力(class-specific residual attention，CSRA)并將其應用于多標簽識別中。受其啟發(fā)，本文將CSRA應用于軸承的故障特征識別中，輸入特征xi的注意力分數(shù)為

(4)

注意力分數(shù)確定之后，xi的特征為

(5)

輸出特征為

f(i)=g+λa(i)

(6)

式中，g為輸入特征的均值；F(i)為殘差注意力網(wǎng)絡的輸出結果。

特征殘差注意力既考慮了整體，又考慮了局部，可以充分利用模型訓練過程中不同特征的分布。

為了提取故障特征，本文將殘差注意力網(wǎng)絡與卷積神經(jīng)網(wǎng)絡結合起來，將殘差注意力網(wǎng)絡應用于卷積神經(jīng)網(wǎng)絡最后，基于殘差注意力的卷積神經(jīng)網(wǎng)絡結構見表1。

表1 基于殘差注意力的卷積神經(jīng)網(wǎng)絡結構

2.3 基于殘差注意力的卷積神經(jīng)網(wǎng)絡模型測評

為了測評所建模型的特征提取能力，本文將其與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡模型進行對比，進一步測評本文模型在故障特征提取方面的優(yōu)越性。需要說明的是，為了公平起見，本文所用的傳統(tǒng)卷積神經(jīng)網(wǎng)絡模型與本文方法的part Ⅰ～part Ⅳ相同，最后一層是全連接層，而本文方法的最后一層是殘差注意力網(wǎng)絡。

本文采用4種常用的遷移學習方法測評不同模型的遷移策略：DAN (deep adaptation networks)[11]、CORAL(correlation alignment)[12]、JAN (joint adaptation networks)[13]和DA (domain-adversarial)[14]。將本文方法與傳統(tǒng)卷積神經(jīng)網(wǎng)絡分別在這4種不同的遷移模型上進行測試，對比不同模型診斷結果。本文方法主要由3部分組成：數(shù)據(jù)處理、特征提取與遷移結果可視化，具體內(nèi)容如圖1所示。

圖1 基于CSRA-CNN的故障診斷方法示意圖

2.4 遷移學習模型診斷流程

本文方法的流程圖見圖2，具體步驟如下：

圖2 本文方法流程圖

(1)獲取機械設備不同工況下的監(jiān)測數(shù)據(jù)，構建源域與目標域，其中源域數(shù)據(jù)是帶標簽的，目標域數(shù)據(jù)是不帶標簽的。

(2)劃分訓練數(shù)據(jù)和測試數(shù)據(jù)，構建以殘差注意力卷積神經(jīng)網(wǎng)絡為基礎的遷移學習模型。

(3)用訓練集數(shù)據(jù)訓練所建模型，通過文獻[11-14]方法對模型參數(shù)及特征進行訓練與提取，優(yōu)化特征以達到較好的遷移效果。將本文方法與傳統(tǒng)卷積神經(jīng)網(wǎng)絡分別在這四種不同的遷移模型上進行測試，對比不同模型診斷結果。

(4)重復步驟(3)，直到給定的迭代次數(shù)，得到訓練好的模型。

(5)用目標域數(shù)據(jù)測試訓練好的模型，得到診斷結果，并對模型的訓練過程及結果進行可視化分析。

3 實驗驗證

3.1 實驗一：動力傳動故障診斷綜合實驗

3.1.1數(shù)據(jù)介紹

為評估本文方法的性能，采用動力傳動故障診斷綜合實驗臺對本文方法進行驗證。實驗臺的結構如圖3所示，主要由電機、齒輪箱、測試軸承以及電磁制動器等組成。本實驗測試軸承共設置四種不同狀態(tài)：正常軸承、外圈故障軸承、內(nèi)圈故障軸承與滾子故障軸承。采樣頻率為51.2 kHz，采樣時長為60 s。為了更貼近工程實際，本實驗轉速設置為變轉速，共設置三種不同的轉速：0-1200-0 r/min、0-2400-0 r/min和0-3600-0 r/min，將這三種不同轉速下測得的振動數(shù)據(jù)分別記為數(shù)據(jù)集A、B和C。以轉速0-1200-0 r/min為例，它表示轉速由0升到1200 r/min，再由1200 r/min降到0，該工況下的轉速是先升再降的一個過程，轉速0-2400-0 r/min和0-3600-0 r/min同理。每種健康狀態(tài)隨機采用400個樣本，所以每種工況有1600個樣本。在這些樣本中，80%的樣本用于訓練所建模型，剩下的樣本用于測試模型，具體細節(jié)見表2。

圖3 動力傳動故障診斷綜合實驗臺

表2 測試軸承工況

3.1.2遷移任務設置

本實驗所用數(shù)據(jù)通過下式進行標準化預處理：

(7)

因卷積神經(jīng)網(wǎng)絡在圖像識別、語音識別、目標跟蹤等方面得到了廣泛的應用[21]，受文獻[7]啟發(fā)，本文將一維振動轉化成二維灰度圖作為模型的輸入。將每個樣本的一維長度選為1024，轉化為32×32的二維灰度圖。本實驗共有3種數(shù)據(jù)集A、B和C，以此為基礎，設置以下6種遷移任務：A-B、A-C、B-A、B-C、C-A和C-B，遷移任務設置見表3。以A-B為例，A表示源域數(shù)據(jù)集，B表示目標域數(shù)據(jù)集。隨機選取80%的數(shù)據(jù)用于模型訓練，剩下的數(shù)據(jù)用于測試模型。將本文方法與傳統(tǒng)卷積神經(jīng)網(wǎng)絡分別在這4種不同的遷移模型上進行測試，對比不同模型診斷結果。

表3 遷移任務

3.1.3遷移診斷結果分析

以遷移任務A-C為例，源域A和目標域C中不同健康狀態(tài)的時域圖和灰度圖見圖4。可以看出，源域A中不同健康狀態(tài)時域圖的波形不一樣，這種不同的波形在灰度圖中也展現(xiàn)出了不同的特征，二維灰度圖可用于描述軸承的不同健康狀態(tài)，目標域C中存在相同的現(xiàn)象。然后，將源域與目標域的二維灰度圖輸入本文模型與對比模型中，不同方法下的遷移結果見表4。其中，CSRA-CNN表示本文模型，CNN表示傳統(tǒng)的卷積神經(jīng)網(wǎng)絡模型。可以看出，本文方法的遷移結果均優(yōu)于傳統(tǒng)CNN，為了更加清楚地展現(xiàn)表4的遷移結果，圖5給出了表4的柱狀圖。可以看出，相比傳統(tǒng)的CNN模型，本文模型在不同方法與不同遷移任務上均能達到較高的遷移準確率，進一步說明本文模型在特征提取階段捕捉到了更有用的特征。

(a)源域 (b)目標域

表4 遷移結果

圖5 遷移結果柱狀圖

為了進一步論證本文所建模型的特征提取能力，同樣以遷移任務A-B為例，給出了本文模型與傳統(tǒng)CNN模型在訓練過程中源域與目標域的特征分布圖(圖6)。

圖6a～圖6d為本文模型中Part Ⅰ-Part Ⅳ激活層中源域與目標域的特征分布圖，圖6e～圖6h為傳統(tǒng)CNN模型中Part Ⅰ-Part Ⅳ激活層中源域與目標域的特征分布圖。由圖6可得到以下結論：

(1)在模型訓練初期，源域與目標域的故障特征混淆在一起，沒有進行有效分離，這種現(xiàn)象在本文模型與傳統(tǒng)CNN模型中表現(xiàn)一致，可以由圖6a 、圖6b與圖6e、圖6f看出。隨著模型結構的加深，本文模型特征聚類效果明顯。同一域下不同故障類型的特征聚集在一起的同時，不同域中同一故障類型的特征也聚集在一起，這可以由圖6c、圖6d看出。但是，傳統(tǒng)CNN模型特征未能有效聚類。圖6g、圖6h中不同故障類型的特征雖然相比圖6e、圖6f有所聚集，但是所有特征聚集在一起，難以區(qū)分。

(2)除此之外，本文模型中，在Part Ⅰ、Part Ⅱ和Part Ⅲ中始終存在一簇離群樣本，這從圖6a～圖6c中可以看出，在Part Ⅳ中沒有再出現(xiàn)該簇離群樣本。但是在傳統(tǒng)CNN模型的Part Ⅰ、Part Ⅱ和Part Ⅲ中同樣存在一簇離群樣本，在Part Ⅳ中該簇離群樣本不但沒有消失，反而又多了一簇，這從圖6e、圖6h中可以看出。

(a)Part Ⅰ-CSRA (b)Part Ⅱ-CSRA

(3)綜上，本文模型在故障特征提取方面優(yōu)于傳統(tǒng)CNN模型，能較出色地完成軸承在不同變轉速工況下的遷移學習任務。

選取目標域B中某一正常健康狀態(tài)樣本，分析該樣本在模型訓練過程中的特征分布情況，其原始信號的一維時域圖與二維灰度圖及該樣本在模型訓練過程中的特征分布grad-cam圖[23]見圖7。

由圖7a、圖7b可以看出，一維時域圖中有一部分幅值相對較高，這種特征在二維灰度圖中也可看出。其中，圖7c、圖7f是本文方法Part Ⅰ-Part Ⅳ中激活層的特征圖，圖7g、圖7j是傳統(tǒng)卷積神經(jīng)網(wǎng)絡Part Ⅰ-Part Ⅳ中激活層的特征圖。對比圖7c～圖7f與圖7g～圖7j可以發(fā)現(xiàn)：與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡相比，基于殘差注意力的卷積神經(jīng)網(wǎng)絡可以捕捉到有效的特征并將灰度圖中幅值相對較高的特征提取出來，而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡在特征提取方面效果不佳，由此可知，本文模型可以更好地提取故障特征。

(a)一維振動信號 (b) 二維灰度圖

3.2 實驗二：高速列車綜合實驗

3.2.1數(shù)據(jù)介紹

為評估本文模型的性能，除了采用動力傳動故障診斷綜合實驗臺對其驗證之外，本文還采用高速列車綜合實驗臺對本文方法進行驗證。實驗臺結構如圖8所示，該實驗臺主要由測試軸承、支撐軸承和驅動電機等構成。該實驗臺可以通過施加徑向和軸向的靜載荷或動載荷，模擬軸承的運行工況，完成不同速度等級和負載工況下的實驗。

圖8 高速列車綜合實驗臺

本實驗測試軸承共設置3種健康狀態(tài)：外圈故障軸承、內(nèi)圈故障軸承和正常狀態(tài)軸承。實驗的采樣頻率為51.2 kHz，采樣時長為60 s。該實驗在變轉速下設置了三種不同的載荷，速度設置為0-2100-0 r/min，載荷分別設置如下：不加載、靜載 (徑向8.5 t,軸向5 t)和動載 (徑向8 t，軸向4 t，0.2-20 Hz)，0.2-20 Hz是指載荷的變化方式。與實驗一相同，0-2100-0 r/min表示轉速由0升到2100 r/min，再由2100 r/min降到0，該工況下的轉速同樣是先升再降的一個過程。將這3種不同載荷下測得的振動數(shù)據(jù)分別記為數(shù)據(jù)集D、E和F。與實驗一相同，從每種健康狀態(tài)下隨機選取400個樣本，每種工況有1200個樣本。在這些樣本中，80%的樣本用于訓練所建模型，剩下的樣本用于測試模型，具體細節(jié)見表5。

表5 測試軸承工況

3.2.2遷移任務設置

該實驗所用數(shù)據(jù)同樣通過式(7)進行標準化預處理。與實驗一相同，每個樣本的一維長度選為1024，轉化為32×32的二維灰度圖。本實驗同樣有三種不同的數(shù)據(jù)集D、E和F，以這3種不同的數(shù)據(jù)集為基礎，設置以下6種遷移任務：D-E、D-F、E-D、E-F、F-D和F-E，遷移任務設置見表6。以D-E為例，隨機選取80%的數(shù)據(jù)用于模型訓練，剩下的數(shù)據(jù)用于模型測試。將本文方法與傳統(tǒng)卷積神經(jīng)網(wǎng)絡分別在這4種不同的遷移模型上進行測試，對比不同模型診斷結果。

表6 遷移任務

3.2.3遷移診斷結果分析

同樣以遷移任務D-E為例，源域D和目標域E中不同健康狀態(tài)的時域圖和灰度圖見圖9。可以看出，源域D中不同健康狀態(tài)時域圖的波形不同，這種不同的波形在灰度圖中也展現(xiàn)出了不同的特征，二維灰度圖可以用于描述不同健康狀態(tài)的軸承，目標域E中存在相同的現(xiàn)象。同理，再將源域與目標域的二維灰度圖輸入本文模型與對比模型中，不同方法下的遷移結果見表7。其中，CSRA-CNN表示本文所提的基于殘差注意力的卷積神經(jīng)網(wǎng)絡模型，CNN表示傳統(tǒng)的卷積神經(jīng)網(wǎng)絡模型。由表7可以得出如下結論：

表7 遷移結果

(1)與實驗一中表4的遷移結果相比，實驗二中的遷移結果效果略差，出現(xiàn)這種現(xiàn)象的原因是實驗二中的實驗工況更加復雜。實驗一中考慮的是變轉速工況之間的遷移，只有轉速在變。而在實驗二中，轉速在變化的同時，載荷也在變，工況更加復雜，因此遷移效果略差，這與實際情況也是相符的。

(2)與實驗一相同，本文方法的遷移結果均優(yōu)于傳統(tǒng)的CNN。同樣，為了更加清楚地展現(xiàn)表7的遷移結果，圖10給出了表7的柱狀圖。

圖10 遷移結果柱狀圖

由圖10可以看出，相比傳統(tǒng)的CNN模型，本文模型的遷移準確率在變轉速變載荷的工況下均占優(yōu)勢，進一步證明本文模型在特征提取階段捕捉到了更有用的特征。同理，為了進一步論證本文模型的特征提取能力，同樣以遷移任務D-E為例，給出了本文模型與傳統(tǒng)CNN模型在訓練過程中源域與目標域的特征分布圖(圖11)。

與實驗一相同，圖11a～圖11d分別為本文模型中Part Ⅰ-Part Ⅳ激活層中源域與目標域的特征分布圖，圖11e～圖11h分別為傳統(tǒng)CNN模型中PartⅠ-Part Ⅳ激活層中源域與目標域的特征分布圖。由圖11可以得到以下結論：

(1)從圖11a～圖11d中可以看出，在PartⅠ、PartⅡ和PartⅢ中，源域和目標域的故障特征混淆在一起，沒有進行有效分離；在Part Ⅳ中，同一域下不同故障類型的特征聚集在一起的同時，不同域中同一故障類型的特征也聚集在一起，這與實驗二表7中遷移結果分析相吻合。傳統(tǒng)CNN模型更沒有達到特征有效聚類的效果，這可以由圖11e～圖11h看出，在圖11h的Part Ⅳ中，不同故障類型的特征雖然相比前三部分有所聚集，但是效果并不好。

(a)Part Ⅰ-CSRA (b)Part Ⅱ-CSRA

(2)實驗二分析結果證明本文模型在故障特征提取方面優(yōu)于傳統(tǒng)CNN模型，能較出色地完成軸承在變轉速變載荷工況下的遷移學習任務。

(3)實驗二中的特征聚類比實驗一結果略差，出現(xiàn)這種現(xiàn)象的原因是實驗二中遷移任務的工況更加復雜，轉速在變化的同時載荷也在變化，這可以說明遷移結果因更加復雜的工況而變差。

選取目標域E中某一內(nèi)圈故障樣本，分析該樣本在模型訓練過程中的特征分布情況，其原始信號的一維時域圖與二維灰度圖與該樣本在模型訓練過程中的特征分布grad-cam圖見圖12。由圖12a、圖12b可以看出，一維時域圖中有一簇幅值相對較高，這種特征在二維灰度圖中也可看出。與圖7相同，圖12c～圖12f是本文方法Part Ⅰ-Part Ⅳ中激活層的特征圖，圖12g～圖12j是傳統(tǒng)卷積神經(jīng)網(wǎng)絡PartⅠ-Part Ⅳ中激活層的特征圖。對比圖12c～圖12與圖12g～圖12j可以發(fā)現(xiàn)：基于殘差注意力的卷積神經(jīng)網(wǎng)絡和傳統(tǒng)的卷積神經(jīng)網(wǎng)絡均可捕捉到這一簇幅值相對較高的信號，但是與圖12b中的二維灰度圖相比，本文方法可以提取到信號中更為細致的信息，這一點從圖12c～圖12f可以看出。

(a)一維振動信號 (b) 二維灰度圖

4 結論

(1)將本文方法與傳統(tǒng)卷積神經(jīng)網(wǎng)絡分別在四種不同的遷移模型上對兩個不同實驗臺上的數(shù)據(jù)進行測試，在實驗一中完成了變轉速下軸承不同健康狀態(tài)的遷移學習，在實驗二中完成了變轉速變載荷下軸承不同健康狀態(tài)的遷移學習。結果顯示本文所提的CSRA-CNN遷移效果優(yōu)于傳統(tǒng)的CNN，進一步證明本文方法可以提取到更多有效特征。

(2)對目標域的分類結果做了可視化分析的同時，分析了樣本在模型訓練過程中的特征學習，并進一步分析了有無殘差注意力時模型的遷移學習能力。結果表明，殘差注意力在遷移學習過程的特征提取中發(fā)揮著重要的作用。

(3)實驗二中的特征聚類比實驗一結果略差，出現(xiàn)這種現(xiàn)象的原因是實驗二中遷移任務的工況更加復雜，轉速在變化的同時載荷也在變化，可以說明遷移結果因更加復雜的工況而變差，這對遷移學習的工程應用具有一定的參考價值。