注意力深度遷移聯合適配的不同工況下旋轉機械故障診斷方法＊

熊雋陳林

（瀘州職業技術學院智能制造與汽車工程學院，四川瀘州 646000）

隨著旋轉機械愈加大型化、復雜化和精密化，故障發生概率也隨之提高。如不及時發現并排除故障，不僅企業要因為停機、停產承擔經濟損失，嚴重時還會釀成重大安全事故。因此，對旋轉機械的故障診斷具有重要意義。

旋轉機械設備組在運轉過程中，受外在摩擦力、溫度、不同激勵源、工作環境和工況參數等因素影響，不可能保持在同一工況下運行。不同工況下，可獲得的訓練樣本數目有限，且訓練數據與測試數據不滿足獨立同分布條件，降低了傳統機器學習故障診斷模型（如BP、SVM和KNN等[1]）的泛化能力，甚至使得模型不適用。另大型機械裝備機組規模擴大，設備關鍵部件安裝測點增多，數據采樣頻率變高、設備從運轉之初到發生故障數據體量增長，海量數據及數據間錯綜復雜的聯系使得深度學習、遷移學習算法嶄露頭角。結合深度學習與遷移學習的機械設備故障診斷方法層出不窮，也成為了數據時代眾多學者研究的熱點。

孔子遷等[2]針對行星齒輪箱振動信號頻率成分復雜和時變性強的問題,提出了基于時頻融合和注意力機制的深度學習行星齒輪箱故障診斷方法，采用卷積神經網絡融合小波包提取的振動數據各頻帶特征，實現了齒輪箱端對端的故障診斷；其中，注意力機制與深度神經網絡結合在同工況診斷中效果顯著，但文章中受限于神經網絡兩個假設未能對異分布數據進行診斷。蘇靖涵等[3]選取更有利于跨域的時頻特征，訓練得到初始模型參數，再利用目標域待識別樣本對深度遷移自編碼器模型進行微調，最終實現變工況下滾動軸承故障診斷；雖解決了異分布數據的分類問題，但采用遷移學習Fine-turn思想微調網絡權重的做法，前提是數據量足以訓練初始網絡，同時這個過程是從泛化特征到特化特征的跨越，模型的好壞直接由微調所使用的數據決定。李鋒等[4]利用深度卷積殘差特征提取器進行高層特征提取，通過獲得的高層特征和標簽信息的克羅內克積獲得特征聯合分布表示并嵌入域分類器中，并進行域對抗訓練改進其遷移性能，實現了不同工況下旋轉機械故障診斷；采用深度遷移網絡適配特征可有效提升識別精度，但利用張量積進行特征學習的方式會造成運算量大大增加。實際工作中旋轉機械運行工況復雜多變，難以獲得有效樣本，或者測得信號因為調制解調的原因呈現嚴重的非平穩性、非線性，難以提取故障特征[5-6]，同時軸承往往在不同轉速、負載工況改變會引起振動信號的非線性變化，使得故障發生位置、嚴重程度不同的振動信號互相疊加和混合，數據分布因此變得更具差異性直接影響甚至增加軸承故障診斷的困難。

所以對于當下旋轉機械故障診斷主要面臨如下挑戰：（1）海量數據之間存在錯綜復雜的聯系，造成故障特征精確表征困難。（2）復雜工況等因素造成數據分布差異較大，訓練樣本與測試樣本不滿足獨立同分布，無法實現跨域診斷。（3）對非平穩信號局部特征和移變特征處理不足，無法捕捉數據局部特征并關注其移變性。

針對上述原因，本文提出了注意力深度遷移聯合適配的不同工況下旋轉機械故障診斷方法。首先，利用傅里葉變換的可逆性，對一維原始振動數據進行傅里葉變換得到訓練樣本與測試樣本的頻譜，最大程度保留信號原始特征。然后，同時將兩樣本集進行快速傅里葉變換，并將結果輸入CNN中進行故障特征提取，獲得兩域樣本的分布式特征表達，并將兩域分布式特征表達輸入通道注意力機制（squeeze-and-excitation networks，SE）[7-8]對 特 征進行逐通道調整，這樣網絡就可以通過兩域的內在聯系，利用全局特征通道響應值加權選擇有用信號的特征，同時抑制無用特征。最后，采用遷移學習最大均值差異(maximum mean discrepancy，MMD[9])距離作為度量，最小化兩域樣本的空間分布距離，實現兩域特征適配，從而最終實現不同工況下旋轉機械故障診斷。

本文的主要貢獻在于有效結合了卷積神經網絡特征自提取能力、遷移學習跨域特征學習思想與通道注意力機制的優勢，方法中在源域樣本與目標域樣本經深度卷積神經網絡獲取分布式特征通道后，利用通道注意力機制進行兩域特征通道間響應值的權重自適應調節，而不僅以訓練樣本單域間通道特征為基準，可有效獲取源域和目標域的深度內在聯系，圍繞特征通道自適應響應值賦予關鍵特征較高的權重，篩選出關鍵故障特征后進行遷移適配。

1 深度注意力聯合適配模型

該模型通過源域帶標簽數據和目標域無標簽數據對模型進行訓練，從而實現目標域無標簽數據的智能故障診斷，主要包括3個重要環節：（1）深度特征自提取。（2）通道注意力機制關鍵特征獲取。（3）遷移學習領域適配。其結構如圖1所示。

圖1 網絡結構圖

1.1 深度特征自提取

特征提取模塊主要由深度卷積神經網絡構成，其基本結構主要包括4部分，如表1所示。

表1 網絡超參數

（1）卷積層

以卷積核為單位對應一個矩陣，以激活函數作為選擇器整合前一層特征與卷積核進行卷積操作得到公式（1），令CNN網絡第l層作為卷積層。

（2）池化層

為保證特征尺度不變，需要池化層對式（1）中得到的結果進行降維映射。該過程中以n×n矩陣為例，在經過池化下采樣后其輸出矩陣變成變為原來的1/n，但其輸出特征矩陣數量不變。這一過程中避免重復采樣導致過擬合。當池化層l確定后，l-1為卷積層，可得到下式。

式中：d(*)為下采樣函數；中上標代表層數，下標代表對應的特征矩陣，整體代表在此層第j個矩陣對應的偏置。

（3）全連接層

全連接層的作用就是整合多次卷積采樣以后的結果，其表達數學模型為

式中：Y(i)表示類別的概率(i表示第i個標簽類別)；P表示以其概率對該層神經元的保留；H代表輸入矩陣經過多次降維后的新映射。

（4）Dropout層

如果訓練樣本較少是為了避免模型過擬合，則需要考慮隱藏一些神經節點，注意隱藏只是在某一次操作中不經過該節點不更新參數，但是在下一次可以繼續工作。這就是Dropout層的作用。

式中：X代表輸入樣本；W為最終網絡參數，p表示以其概率對該層神經元的保留。

1.2 通道注意力機制和遷移適配方式

最大均值差異(maximum mean discrepancy，MMD)是衡量兩個數據集分布差異的非參數距離指標，用于判斷兩個分布是否相同，源域數據與目標域數據通過CNN特征提取后，兩域的分布差異以提取到特征的形式被保留在全連接層。當X經過兩層卷積池化之后得到B，首先通過注意力模塊學習出每個通道的權重得到權重矩陣?，然后將?與B進行相乘從而產生通道域的注意力，得到新的特征U，其中通道注意力機制包括式（6）擠壓函數（全局平均池化）、式（7）激勵函數和式（8）尺度函數3個模塊。

其中：u表示新產生的特征信號，有c個通道。

式中：δ代表ReLU；σ代表sigmoid；W1、 W2為權重偏置矩陣，通過訓練學習這兩個權重以一維的形式激活該層通道。

假設源域和目標域的特征集合分別為As和 At，則存在再生核希爾伯特空間(reproducing kernel hilbert space,RKHS)，有映射函數?(·)∈H將CNN所提取特征由原特征空間投影至再生核希爾伯特空間。因此，源域與目標域之間的MMD可定義為

將數據映射到再生核希爾伯特空間進行MMD距離作為空間最近度量表示為

其中：‖·‖H是再生核希爾伯特空間，S和T分別為源域數據和目標域數據，n和m分 別為S和T中的數據個數。

1.3 注意力深度遷移聯合適配網絡的訓練

所提模型訓練過程中，需要滿足兩個優化目標：（1）最小化特征提取模塊在源域數據上的分類損失。（2）最小化源域數據與目標域數據深層次特征知識的概率分布差異。因此，優化目標函數可以表達為

其中：Lc(θf,θc)是特征提取模塊在源域數據上的識別誤差；D(θf)是源域數據與目標域數據深度特征知識的概率分布差值，μ是懲罰項系數且μ＞0。

2 所提方法診斷流程

所提方法流程圖如圖2所示，具體步驟如下：

圖2 方法流程圖

（1）采集數據樣本，利用快速傅里葉變換計算原始數據頻譜，一種工況作為訓練樣本（源域），其余工況作為測試樣本（目標域），構建不同工況下的數據集。

（2）初始化注意力深度遷移聯合適配網絡參數，以批量的方式將源域數據和目標數據輸入到模型中。

（3）利用深度卷積神經網絡獲取源域和目標域的分布式特征表達，并通過Dropout層調節防止過擬合發生。

（4）通過通道注意力機制進行兩域特征通道交互與關注，聚焦兩域故障關鍵特征，并以最大均值差異距離作為度量進行源域和目標域分布領域適配最小化兩域特征分布差異，以減小不同工況所帶來的域分布差異，獲得更具針對性的通道關注特征。

（5）得到訓練好的遷移診斷模型，輸入測試集，利用softmax分類層輸出診斷結果，完成不同工況下旋轉機械的故障診斷。

3 實驗分析

3.1 軸承數據及簡介

實驗平臺如圖3所示，其中ER-12k型深溝球軸承節徑28.905 2 mm，8個滾動體，接觸角9.08o，軸直徑為19.05 mm。在不同工況下對滾動軸承故障振動信號進行采集，采集時運行轉速分別為：（1）工況1：1 800 r/min。（2）工況2：2 000 r/min。（3）工況3：2 400 r/min。加載負荷均為5 kg。采樣頻率均為25 600 Hz，對同一類型樣本進行4次采樣，采樣間隔設定10 s，最終數據以1 024為分析點數依次截取數據樣本。本文中訓練樣本、測試樣本數量均為1 000。他們是由4種包含250樣本的故障數據（內圈、外圈和滾動體故障加正常樣本）混合而成。

圖3 試驗平臺

3.2 數據分析

為討論網絡輸入的優勢，本節試驗對比了原始時域信號和頻譜的特征差異。由于傅里葉變換的可逆性，頻譜可充分保留原始信號中的信息，并相較于時域信號，可更為清晰地展現各故障狀態，同時，以單邊譜形式，可使輸入點數相較于時域信號縮小一半，有效減小網絡計算復雜度。

限于篇幅，僅展示如圖4所示工況和故障。對比4b、f、g和h這4種同工況狀態頻譜，頻譜可以清晰區分各故障狀態。然而，圖4d、f不同工況下同種故障特征頻譜特征存在明顯差異，不僅幅值差異明顯，還在第120個采樣點之前存在顯著不同。這表明頻譜可以很好地反映復合故障差異，同時由于傅里葉變換的可逆性，頻譜可以充分保留原始數據中的信息[10]。

3.3 實驗結果分析

本節實驗著重討論了不同工況下各主流診斷方法與所提方法對比結果，實驗結果如表2所示。表中對比了傳統深度學習、遷移學習方法以及此類深度遷移文獻常用的遷移方式。如：CNN、ACNN、SE-CNN（通道注意力+卷積神經網絡）、CNNMMD（卷積神經網絡+領域適配）、SY-所提算法（原始時域信號+所提方法）、DAN[9]（deep adaptation network,DAN）、DAN-SE（深度領域適配+通道注意力機制）、Fine-turn[10]和SY-TCA(原始時域信號+傳統遷移學習領域適配)。上述方法中均采用相同的卷積神經網絡結構。單獨添加SE模塊時，SE模塊均放在卷積池化后，且全連接層之前。領域適配距離均以最大均值差異作為度量。通過表2可見添加了MMD適配層的算法CNN-MMD、所提方法、SY+所提方法均好于未加適配層的方法，這說明對于不同工況下的異分布數據，兩域分布差異會影響識別精度。使用SE模塊的SE-CNN、所提方法和SY+所提方法，均高于CNN，這是因為CNN雖也具備特征自提取能力，但難以應對不同工況下的診斷需求，其特征分布仍然均在較大差異。將所提方法與當下主流的深度遷移學習適配算法進行對比，加入注意力機制后均有所提升。但是，所提方法將注意力機制加在全連接層后，領域適配層之前的方式，利用通道注意力機制進行兩域特征通道間響應值的權重自適應調節，而不僅以訓練樣本單域間通道特征為基準，可有效獲取源域和目標域的深度內在聯系，圍繞特征通道自適應響應值賦予關鍵特征較高的權重，篩選出關鍵故障特征后進行遷移適配，優于傳統方法僅使用最大池化或者平均池化結合全連接層將信息合并的方式，這會導致關鍵信息無法被識別，這點將在下一節被證明。值得注意的是，采用時域信號作為網絡輸入，雖也取得不錯的效果，但由圖4可知，時域信號中特征受干擾更大，且以時域信號為輸入，網絡輸入尺寸更大，使得網絡訓練計算量更大，耗時更長(CPU:Intel i5 7 300HQ 2.5 GHz 四核，內存8 G，硬盤128 G SSD + 1 TB，耗時15 min，使用頻譜作為輸入僅需要3 min)。

圖4 原始數據及其頻譜

表2 不同工況下滾動軸承數據對比結果

3.4 特征熱力圖可視化

為分析網絡特征提取層內部特征提取效果，將原始輸入、網絡訓練完成后所提取的通道注意力機制前后特征進行熱力圖可視化對比分析。實驗使用3.1節展示的3種不同轉速下的滾動軸承數據進行試驗，詳細展示了特征提取過程中主要特征的捕獲過程實驗中因為網絡設計（參照表1輸出通道值），原始數據具有512個采樣點，每個采樣點作為一個通道值進行輸入，故原始數據具有512個通道值。網絡結構中注意力機制前后所提特征均為100個通道值。以1 800 r/min滾動體故障特征為例，圖中橫坐標為各通道，縱坐標為標示值。由圖5中可知，原始數據包含512個通道值，并且能量主要集中在25～40，140～150通道附近，經卷積、池化（通道注意力機制前）所提特征如圖6a所示，雖然在第4～5通道值和20～30通道處保持較高能量與原始數據呼應，但在70～80，90～100通道處仍具有幅值明顯高于前者的能量，形成干擾特征；進行通道注意力機制聚焦通道信息后，特征明顯簡化且清晰，關鍵通道值得以保留，并且無關通道值能量全部減小，這說明利用通道注意力機制進行兩域特征通道間的交互與關注，可以更有效地捕獲本征特征，根據各通道響應值可以自適應調節，這也是優勢的體現。

圖5 原始數據特征熱力圖

圖6 適配前的特征熱力圖

3.5 遷移結果可視化

為直觀分析本文所提方法對于滾動軸承智能故障診斷的有效性，可視化不同轉速數據的特征知識，以遷移故障診斷實驗工況1→2為例，利用t-分布鄰域嵌入(t-distribution stochastic neighbor embedding,t-SNE)[9]算法將提取的故障特征降維至三維空間，并以散點圖的方式呈現出不同轉速下不同故障程度數據的特征知識，如圖7所示。

從圖7b中可以看出，未使用MMD進行適配的方法，其特征分布呈現無序狀態，訓練樣本與測試樣本不重合，這是因為不同工況下數據分布差異導致特征無法被精確表征，無標簽的測試數據無法被準確地分類。另外，進行深度領域適配后的方法7a、c基本實現了故障分類，但是仍然具有部分特征耦合情況的出現，且7a、c之間的細微差異是由于細粒度特征無法被有效區分造成了關鍵特征無法被識別。這也說明了加入通道注意力機制起到了關鍵作用。

圖7 各對比算法特征圖

反觀7e增加適配模塊后其結果呈有序狀態，與7b中未適配的情況差別明顯，這說明了遷移適配層確實可以解決不同工況下兩域分布差異。且由于所提方法考慮了兩域各自差異，從兩域樣本中提取分布式特征表達，所以其空間區分度明顯由于7c。而7d中Fine-turn的方式其訓練樣本完全被區分，但是測試樣本部分無法與訓練樣本重合，這說明僅靠微調可以優化網絡，但是其本征特征并未被獲取，其網絡性能由加入的微調樣本決定。

為驗證適配后兩域分布差異確實被減小，將適配前和適配后數據進行概率密度圖比較，其結果如圖8所示。

圖8 各對比算法概率密度分布圖

從圖中可以看出，原始數據訓練樣本與測試樣本分布差異較大，這是導致不同工況下滾動軸承故障分類精度較差的根本原因。為了減小分布差異，嘗試加入MMD最大均值差異適配層進行兩域數據適配，過程中可以發現MMD可以有效地拉近兩域分布，且其適配效果由關鍵特征和特征分布共同決定。另一方面，對比7c、e發現加入SE后，概率分布曲線圍繞原點類似脈沖的曲線在“變窄”，這說明特征圍繞某固定值在細化，導致特征分布概率集中于某一區間，即通道注意力機制在此時起到了對關鍵特征的提取作用。在加入MMD以后對比7f，不僅在“變窄”而且其幅值也在圍繞中心聚集最終兩條不同分布的概率密度曲線幾乎重合，完美地完成了異分布數據適配任務。

綜上所述，通道注意力機制在全連接層后的設置，不單單是對于訓練樣本的單一適配，只關注訓練樣本通道進行特征學習，而是建立了兩域特征分布式表達后，在全連接層整合后加入注意力機制而后適配，這樣做的效果是明顯的，它既保證了訓練樣本和測試樣本同時參與特征提取，通道注意力機制可以關注全域樣本的特征學習。另外，MMD距離與通道注意力機制結合，使得特征學習過程中伴隨著兩域特征分布適配過程，這標志著只有分布距離較小的特征獲得的通道注意力權重就高，最終細化了有效特征的表征。

4 不同負載齒輪箱驗證實驗

為驗證所提方法的泛化性能，采用ERPHM實驗室齒輪箱不同負載下故障數據。其中行星齒輪箱運行時的采樣頻率為30 720 Hz，采樣時間為2.13 s，采樣點數為65 536。該數據在勻速狀態下采集負載電流為0.67 A、0.95 A和1.30 A時的轉速脈沖信號和振動信號。啟動和停止狀態下設置驅動電機最高轉頻為50 Hz，電機為勻加速和勻減速過程，整個加速和減速過程都用時20 s。其中A工況：負載電流1.30 A；B工況：負載電流0.67 A；C工況：負載電流0.95 A，采集不同負載下啟動和停止過程行星齒輪箱的轉速脈沖信號和振動信號。實驗選擇正常、太陽輪缺齒、太陽輪齒面磨損、太陽輪斷齒和行星輪齒根缺陷等5類故障，各類180個樣本，故得到訓練樣本集數據大小900，測試樣本900。同樣進行如軸承的實驗驗證。其結果如表3所示。

表3 不同負載齒輪箱對比實驗結果

實驗結果表明，相對于軸承故障診斷結果，各方法診斷準確率均存在不同程度的下降，其原因是齒輪箱受多激勵源影響，行星輪與太陽輪多點接觸，導致對信號特征干擾較大，無法剝離典型故障特征其主要困難在于多特征耦合這是數據特征處理時需要注意的問題（例如文獻[2]采用小波包分解專門解耦的方式），本文僅輸入頻譜作為特征已經得到較好的結果。所提方法保持90%以上的診斷準確率，對實際工程中仍具備重要的參考價值。該方法依舊可以有效診斷齒輪箱故障，所提方法精度遠高于對比算法。平均精度可以達到90.41%，標準差在1.25%。進一步證明了所提方法的有效性。

綜上所述，注意力深度遷移聯合適配的不同工況下旋轉機械故障診斷模型，具有較好的診斷精度與魯棒性。

5 結語

提出了注意力深度遷移適配的不同工況下旋轉機械故障診斷方法，將原始數據進行快速傅里葉變換以頻譜形式作為輸入，構建深度卷積神經網絡進行特征自提取，提取出不同工況的旋轉機械關鍵故障特征，通過通道注意力機制自適應調節各通道特征權重在已得到的兩域特征分布式表達的基礎上有效獲取關鍵特征，再利用領域適配層，度量兩域特征空間分布距離，以減少不同工況下數據的分布差異給故障診斷帶來的影響，并在不同數據集上進行了對比驗證，通過實驗對比證明：（1）憑借深度卷積神經網絡特征自提取優勢，獲得訓練樣本與測試樣本分布式特征表達，結合注意力領域適配學習可縮小不同工況數據域之間特征知識空間內的分布差異，可有效提高遷移故障診斷精度。（2）所提方法是在獲得訓練樣本與測試樣本分布式特征表達后。再進行兩域適配任務，這項工作中訓練樣本與測試樣本均參與其中，使得兩域特征通道間的聯系加以關注，大大提升了適配效果，能夠面對不同工況分布差異劇烈的情況，更適應實際工程中旋轉機械智能故障診斷的應用。