殘差卷積自編碼網絡無監督遷移軸承故障診斷

溫江濤 張鵬程 孫潔娣 雷 鳴

1.燕山大學電氣工程學院,秦皇島,0660042.燕山大學信息科學與工程學院,秦皇島,0660043.燕山大學河北省信息傳輸與信號處理重點實驗室,秦皇島,066004

0 引言

軸承振動信號采集相對容易且包含大量有用狀態信息，因此基于振動信號分析的數據驅動類智能故障診斷方法已成為軸承故障診斷領域的研究熱點[1]。與此同時，深度學習理論已在各個領域展現出顯著的應用優勢，其強大的神經網絡結構可用于自動提取原始振動數據的分層表示特征，有效解決傳統機器學習診斷模型存在的一些不足[2-4]。因此，近年來基于深度學習理論的智能機械故障診斷研究受到廣泛關注，學者們將深度自編碼網絡及其變體、深度卷積網絡等引入旋轉機械故障診斷中。SHAO等[5]提出基于深度自編碼網絡的故障檢測與識別方法。JIA等[6]提出歸一化稀疏自編碼的典型旋轉機械的故障診斷方法。SUN等[7]提出堆疊稀疏自編碼網絡，實現了對軸承故障的較好識別。JIANG等[8-9]研究了風電機組齒輪箱故障診斷，提出了基于堆疊去噪自編碼網絡以及多尺度卷積神經網絡的深度學習模型。周奇才等[10]、曲建嶺等[11]針對不同類型的旋轉機械信號，提出基于一維深度卷積神經網絡的原始數據學習及故障分類方法。WEN等[12]、WANG等[13]利用不同方法將一維振動信號轉換為二維形式，進一步利用LeNet-5或Alexnet網絡實現故障自動特征提取及類型識別。雷亞國團隊一直致力于機械裝備故障診斷相關的研究工作，提出了多種有特色的故障診斷方法[6,14]。

多數基于深度學習的故障診斷方法通常采用實驗室數據或運行的歷史數據訓練模型，然后直接用于測試數據，此類方法在訓練集數據與測試集數據具有相同數據分布時效果較好，一旦分布不同則診斷性能下降明顯；此外，深度神經網絡模型通常需要足夠多的有標簽數據才可以訓練出性能良好的分類模型。工業應用場景下，機械設備通常運行在復雜多變的環境下，即使同一設備的訓練數據和測試數據也難以滿足相同分布要求，且真實的故障樣本極為稀少甚至缺失，有監督學習模式難以適用。為此，本文引入遷移學習方法，并通過無監督學習方式來解決上述問題。遷移學習能夠將從某個領域或任務中學習到的知識或模式應用到不同但相關的領域或問題中[15]。特征遷移學習通過特征變換與處理實現源域和目標域的分布差異最小化，從而完成分類模型的有效訓練，在故障診斷領域已有一些研究成果[3，16-17]。現有研究成果表明遷移學習方法能夠在一定程度上解決數據分布差異以及數據不平衡等問題。

深度神經網絡類識別方法會隨著網絡的加深，參數量急劇增長，導致訓練困難、網絡收斂越來越慢、參數調節難度也隨之增大。為解決以上問題，本文提出一種端到端的基于無監督殘差卷積網絡遷移學習的智能診斷方法，該方法主要由一維殘差卷積自編碼(one dimensional residual convolutional auto-encoder, 1D-RCAE)特征提取方法及遷移學習域自適應分類方法構成。1D-RCAE自適應學習不同工況下軸承運行信號的特征，在獲得良好特征提取效果的同時，能夠縮小網絡訓練參數量，縮短訓練時間；遷移學習域自適應分類方法通過域間差異最小化方法學習源域與目標域數據之間的域不變特征。實驗表明，本文所提出方法具有較高的識別準確率，同時有效縮小了模型的訓練參數量，加快了網絡的訓練速度，為實現軸承智能故障診斷方法在實際中的應用提供了新的思路。

1 理論研究

現有的軸承遷移學習方法研究中多數采用有監督學習方式，并假定有少量帶標簽的目標域訓練樣本可用，但在實際工業環境下，帶有標簽的目標域樣本數據獲取代價巨大或者無法獲得。因此，本文研究無監督域自適應遷移的故障診斷方法，避免網絡訓練過程中對標簽數據的依賴。軸承振動信號為一維復雜非平穩信號，本文以一維卷積自編碼作為深度網絡基礎來構建診斷網絡模型。

1.1 一維卷積自編碼

傳統自編碼器屬于無監督式學習，而一維卷積自編碼器結合了卷積神經網絡的一維卷積層和池化層，可完全替代傳統自編碼器的全連接層，有效降低了網絡模型中的參數數量，并增強了對高維復雜數據深層特征的提取能力。一維卷積自編碼網絡結構如圖1所示。

圖1 卷積自編碼網絡結構

卷積自編碼Encoder部分由輸入層和多個一維卷積層與最大池化層組成，Decoder部分則由輸出層和多個一維反卷積層與上采樣層組成。通過多卷積層堆疊可以實現較好的特征提取效果。

深度卷積神經網絡因優越的特征提取性能，在故障診斷領域獲得了廣泛應用，但隨著網絡層數逐漸增多，參數量不斷增加，訓練難度逐漸增大。而殘差學習[18]通過引入更易優化的殘差函數，可以在網絡層數增加時有效緩解深度網絡退化以及梯度消失與梯度爆炸問題。同時，在深度殘差網絡中使用卷積核為1×1的卷積層，可以在不改變網絡深度的情況下，大幅減少網絡參數量。

1.2 一維殘差卷積自編碼

本文以一維卷積自編碼網絡為基礎，將殘差學習引入堆疊的一維卷積自編碼網絡中，構建1D-RCAE網絡。1D-RCAE可以通過無標簽訓練數據對特征提取器進行優化訓練，再利用少量標簽數據微調訓練分類器，可以實現較好的域不變特征提取及遷移識別。1D-RCAE網絡結構如圖2所示。

圖2 1D-RCAE網絡結構

1D-RCAE在傳統卷積自編碼中引入殘差學習塊與瓶頸層，實現網絡深度增加的同時減少網絡優化參數量，也改善了梯度消失與網絡退化等問題，增強了網絡對深層特征的提取能力。

(1)1D-RCAE網絡的編碼器部分由輸入層、一維卷積層、最大池化層和瓶頸層構成。為實現對輸入數據的有效降維，減少網絡的學習參數，一維卷積層卷積核大小為1×3，步幅為2。瓶頸層卷積核大小為1×1，步幅為1，可以靈活改變輸入特征的維度，減少分類器中全連接層的神經元個數。

(2)1D-RCAE網絡的解碼器部分由輸出層、一維反卷積層、上采樣層和反卷積瓶頸層構成。解碼器的目的是通過與編碼器相逆的過程對編碼器輸出特征進行還原，使得解碼器輸出與編碼器輸入無限逼近。如圖2所示，1D-RCAE有兩個殘差塊結構。①殘差塊1。編碼器中最大池化層1的輸出通過跳躍連接與解碼器反卷積層3的輸出進行加和后生成的新特征作為解碼器上采樣層1的輸入，即上采樣層1的輸入

xu1=P1(C1(xin))+D3(yD2)

(1)

式中，P1為最大池化層1；C1為卷積層1；D3為反卷積層3；xin為原始輸入數據；yD2為反卷積層2的輸出。

②殘差塊2。編碼器卷積層3的輸出通過跳躍連接與解碼器反卷積層1的輸出進行加和后生成的新特征作為解碼器反卷積層2的輸入，即反卷積層2輸入xD2為

xD2=C3(yC2)+D1(yB2)

(2)

式中，C3為卷積層3；D1為反卷積層1；yC2為卷積層2的輸出；yB2為瓶頸層2的輸出。

1.3 遷移學習診斷模型

以1D-RCAE網絡為基礎，搭建無監督域自適應遷移學習網絡模型，學習從源域空間和目標域空間到公共映射潛在空間的轉換。公共映射特征空間包含源域與目標域數據的特征表示，可以將源域知識遷移到目標域。本文的遷移學習診斷模型如圖3所示，將1D-RCAE編碼器部分的輸出作為由兩個全連接層和一個Softmax層構成的域自適應分類器的輸入。

圖3 無監督預訓練遷移學習診斷模型

基于單一核函數的最大均值差異(maximum mean discrepancy, MMD)適配方法目前被廣泛采用，但核函數的差異會造成計算源域與目標域之間的最大分布差異時得到不同的估值，為此本文采用多層多核最大均值差異(multi kernel maximum mean discrepancy, MK-MMD)方法[19-20]，用多核核函數替代單一核函數，降低單一核函數對遷移學習領域適配結果的影響，并將傳統的核參數選擇的問題轉化為多核核函數的優化問題。通常認為深層特征的分布差異保留在域自適應分類器的全連接層中，但是在特征提取器訓練過程中，學習的特征分布也會隨網絡參數的更新而變化，為此需要調整特征提取器學習的遷移特征分布。定義遷移學習模型代價函數

(3)

卷積神經網絡中，歸一化操作可以緩解網絡內部協變量偏移現象。考慮到實際應用中，計算機的內存消耗限制只能使用較小的批處理量(batch size)，這樣會導致批歸一化BN(batch normalization)的誤差迅速增大，為減小batch size對BN的影響，本文采用組歸一化GN(group normalization)進行歸一化處理[21]，GN歸一化處理將通道進行分組，在每組內計算歸一化的均值和方差，其計算與batch size無關。

1.4 處理過程

本文方法的處理過程如圖4所示，包含數據采集與整理、RCAE無監督預訓練和域自適應遷移學習模型訓練與測試三個階段，可歸納為如下步驟：

圖4 本文方法處理過程

(3)遷移網絡模型初始化。將1D-RCAE編碼器部分作為遷移學習模型特征提取器，兩層全連接層和一層softmax層作為域適應分類器。將1D-RCAE預訓練結束后得到的網絡參數值作為遷移學習模型特征提取器的參數初始值，完成特征提取器初始化。域適應分類器部分則對參數進行隨機初始化。

(5)反向傳播與優化。①通過ADAM優化器對遷移學習網絡進行逐層反向訓練以更新網絡權值；②返回步驟(4)繼續執行。

2 實驗結果與分析

實驗均在如下配置的PC端進行：Intel Core i9 CPU，32G運行內存，NVIDIA RTX2080Ti GPU。

為驗證本文方法的有效性，實驗部分選用凱斯西儲大學(Case Western Reserve University, CWRU)軸承數據集[22]，文獻[23]使用各種熵和分類方法對CWRU數據進行全面的基準分析，對本研究如何選擇CWRU數據提供了可參考的建議。本文實驗驗證部分所使用的十類故障振動加速度數據同文獻[24]。

2.1 數據預處理

本文對CWRU軸承數據集采用重疊采樣法來增加有效樣本量，設置重疊采樣的單個數據樣本長度為4096，每種健康狀況包含400個數據樣本。實驗過程中從每一類健康狀況數據中隨機取80%樣本數據作為訓練數據，剩余20%樣本數據作為測試數據。CWRU軸承數據集數據標簽處理結果如表1所示。

表1 CWRU數據狀態分類標簽

2.2 域自適應遷移診斷結果

基于圖3所示網絡結構搭建1D-RCAE域自適應遷移學習故障診斷模型，具體參數設置如表2所示。

表2 本文網絡參數表

基于此模型，以本文構造的實驗數據集，按照跨域遷移任務分別進行10次重復實驗，統計得到實驗平均識別準確率與平均訓練時間如表3所示。

表3 本文方法的診斷結果

由統計結果可以看出，本文方法在多數跨域遷移診斷任務中可保持99.4%以上的故障診斷準確率，且標準偏差較低。實驗結果也證明了本文方法在處理CWRU軸承數據集的不同負載遷移的診斷問題時具有較好的結果。

圖5所示為2hp→0hp跨域遷移診斷任務中某次實驗遷移診斷模型訓練損失與目標域測試數據識別準確率隨訓練次數的變化曲線。其中藍色曲線表示遷移診斷模型訓練損失隨訓練次數的變化，紅色曲線表示對應跨域遷移診斷任務中目標域測試數據的故障識別準確率隨訓練次數的變化。

圖5 CWRU數據集識別準確率曲線及損失曲線圖

可以看出本文方法在訓練過程中遷移診斷模型能夠快速收斂，且目標域識別準確率穩步提高，當達到最高識別準確率后也可以穩定保持。

為了更直觀地分析無監督遷移學習模型的域自適應與特征分類能力，圖6給出了2hp→0hp跨域故障診斷的某次實驗在遷移學習診斷模型訓練過程中領域適配器輸出的源域數據特征與目標域數據特征的T-SNE圖[25]，其中，有背景色的圖例表示源域數據特征，無背景色的圖例表示目標域數據特征。

(a)k=0

在無監督遷移診斷模型訓練初始，特征提取器所提取的目標域數據特征和源域數據特征雜亂無章，無法很好地進行聚類，但隨著無監督遷移診斷模型迭代訓練的不斷進行，相同健康狀況數據的特征逐漸被聚集在一起，不同健康狀況數據的特征得到分離。此外，T-SNE圖還展示出領域適配模塊的設計可以使特征提取器較好地彌合源域數據特征與目標域數據特征之間的分布距離。

2.3 主要參數值及影響

2.3.1診斷模型深度的確定及影響

理論上，網絡結構越深誤差越小，準確率越高，但與此同時網絡復雜度也會隨之增加，訓練更困難。本文設計的1D-RCAE結構中含有一定量的卷積、池化等層，能夠通過級聯多個基礎模塊提高診斷性能。筆者綜合目前軸承診斷研究成果中通常采用的網絡層數，并且考慮計算復雜度及故障檢測響應時間的要求，分別設計并對比了三種具有不同網絡深度的一維殘差自編碼網絡模型，分別記為Net1、Net2、Net3，網絡結構如表4所示。

表4 不同深度網絡結構表

為了減小隨機因素的影響，本次實驗以2hp→0hp跨域遷移診斷任務為例，分別對上述三個網絡進行10次重復實驗。圖7展示了上述三種不同深度網絡10次重復實驗的識別準確率結果。

圖7 不同網絡深度識別準確率對比

由統計結果可以發現，隨著網絡深度的增加，識別準確率也在提高，但當網絡深度增加到一定程度后，識別準確率難以繼續提高，說明網絡性能已經達到了飽和。識別準確率、標準差、網絡訓練時間統計結果如表5所示。

表5 不同網絡層數的診斷結果

觀察統計結果可知，采用Net2網絡結構時識別準確率最高，由網絡平均訓練時間統計結果可以看出，隨著網絡的不斷加深，網絡性能達到飽和，并且訓練參數的激增導致訓練時間也不斷增加。綜合以上分析，本文選用有兩個殘差塊的Net2實現滾動軸承故障診斷，在保證故障識別準確度的同時還可以有效縮短網絡訓練時間。

2.3.2卷積核寬度的影響

在卷積神經網絡中，卷積核寬度是一個重要的超參數，表示卷積層輸出特征通道數。對于一個模型而言，相較于深層網絡所提取的特征，淺層的特征非常重要，因此網絡淺層的卷積核寬度是一個較為敏感的系數。

為了分析卷積核寬度大小對本文模型性能的影響，以CWRU數據集2hp→0hp遷移任務為基礎，設計了以卷積核寬度為變量的對比實驗：分別設置卷積核寬度為4、16、32、64，每組進行10次實驗。某單次實驗中訓練損失及目標域測試數據識別準確率隨訓練次數變化曲線如圖8所示。

圖8 不同卷積核寬度的訓練損失及識別準確率變化

由訓練損失變化曲線可以看出，卷積核寬度為16時模型收斂最快；寬度為32時模型收斂最慢。由目標域測試數據識別準確率變化曲線可以看出，卷積核寬度為16時最終識別準確率最高。

表6列出了不同卷積核寬度條件下，10次實驗的平均識別準確率、標準差和平均訓練時間。

表6 不同卷積核寬度的診斷結果

由統計結果可知隨著卷積核寬度的增大，網絡訓練時間也相應變長，卷積核寬度為16時平均識別準確率最高。綜合考慮故障識別準確率與訓練時間消耗等因素，本文設置網絡模型的卷積核寬度為16。

3 對比實驗分析

3.1 距離度量函數

基于特征映射的遷移學習方法中，需要盡量最小化源域和目標域之間的概率分布差異，因此分布差異性度量方法成為影響模型診斷效果的重要因素。以CWRU數據集2hp→0hp遷移任務為例，在相同網絡結構的基礎上，對網絡提取的特征使用不同距離度量方法來計算特征分布差異，主要對比以下方法：MMD[26]、多核MMD[19](MK-MMD)、雙層MK-MMD(MC-MMD1)、三層MK-MMD(MC-MMD2)[27]。單層指計算不同域數據FC2輸出特征距離分布差異，雙層指計算不同域數據FC1和FC2輸出特征距離分布差異，三層指計算不同域數據特征提取器、FC1和FC2輸出特征距離分布差異。統計各網絡10次實驗結果的識別準確率，結果如圖9所示。

圖9 不同距離適配方案識別準確率

由統計結果可以看出MK-MMD性能要優于MMD，且不同層數的MK-MMD對診斷結果也有較大的影響。其中MC-MMD1平均識別準確率(99.70%)最高，MC-MMD2平均識別準確率(99.59%)稍低于MC-MMD1。因此，本文選擇雙層MK-MMD作為最終的距離度量函數。

3.2 歸一化函數

以CWRU數據集2hp→0hp遷移任務為例，分別以BN 和GN作為歸一化函數，在batch size為8、16、32、64和128的條件下進行10次實驗，目標域測試數據平均識別準確率及訓練時間結果如表7所示。

由表7可知，在BN歸一化函數下，本文模型診斷準確率隨著樣本批量大小的增大而提高，當樣本批量大小為128時平均識別準確率最高(99.438%)，訓練時間最短(582 s)。在GN歸一化函數條件下，識別準確率受樣本批量大小影響較小，在樣本批量大小為32時平均識別準確率最高(99.638%)。由網絡訓練時間統計結果可知，在相同參數條件下，分別應用BN和GN作為歸一化函數，模型訓練時間近乎相同，且網絡訓練時間消耗會隨著樣本批量的增大而快速降低。實驗統計結果表明，利用GN歸一化處理可有效緩解樣本批量大小對跨域遷移診斷結果的影響，因此綜合考慮網絡模型的識別準確率、訓練時間及計算機內存消耗等因素，本文采用GN作為歸一化函數，樣本批量大小設置為32。

表7 不同歸一化函數的診斷結果

3.3 診斷結果比較

本文診斷模型采用了一維殘差卷積自編碼網絡，并融合多層多核概率分布適配來約束網絡學習域不變特征，提高了變工況下的軸承故障識別準確率。為了考察方法的診斷性能，此處給出與其他經典方法識別相同故障類型的對比結果，對比方法包括：基于SAE、CAE、CNN的遷移診斷方法、無域自適應的1-DRCAE方法，主要的模型結構如表8所示。

表8 5種對比方法的模型結構

應用上述方法對所有跨域遷移故障診斷任務進行10次重復實驗，平均識別準確率與訓練時間的統計結果分別如圖10、圖11所示。

圖10 不同方法識別準確率統計圖

圖11 不同方法訓練時間統計結果

由圖10、圖11可知，本文方法的識別準確率明顯高于對比方法，訓練時間比采用1D-RCAE及SAE方法的長，但短于其余兩種方法的訓練時間。究其原因，首先本文方法引入了遷移學習，對不同工況故障的差異進行了域適應處理，改善了診斷效果，由統計結果可以看出，即使都采用1-DRCAE網絡結構，本文采用了遷移處理方法的診斷結果明顯好于未采用遷移處理的效果。與采用其他網絡的方法對比，本文方法采用了深層結構，相比淺層SAE遷移方法示本文方法在各個跨域診斷任務中具有明顯優勢；相比具有相同網絡深度的CAE和CNN遷移方法，引入殘差塊結構的1-DRCAE網絡不但提高了網絡模型的跨域遷移故障診斷性能、增強了網絡模型的魯棒性，還可以有效縮減模型訓練時間。由以上分析可以看出，本文所提出的無監督遷移學習故障診斷方案能夠將網絡從源域所學習到的特征知識有效遷移到目標域中，有效提高了網絡模型的跨域故障診斷性能。

4 結論

實際故障診斷應用中，旋轉機械復雜的運行環境會導致傳感器采集的振動信號與實驗室獲取的典型故障信號存在較大差異，影響基于機器學習算法的故障識別類方法的準確率。為此，本文提出了基于無監督特征知識遷移學習的智能故障診斷方法，通過引入一維卷積與殘差學習構建深度一維殘差卷積自編碼網絡，采用無監督域自適應方法實現不同負載條件下軸承故障的識別。實驗結果表明，本文方法在實現較高準確率故障識別的同時，相比傳統深度學習方法，減少了模型訓練參數數量，加快了網絡的訓練速度,而且對不同應用環境的遷移識別任務魯棒性較好。