面向旋轉機械故障診斷的深度流形遷移學習

邱穎豫，張 柯，楊欣毅

許昌學院 信息工程學院，河南 許昌 461000

航空發動機、汽輪發電機組、離心式壓縮機等旋轉機械設備是交通、電力和機械制造等重要行業的關鍵設備。開展旋轉機械狀態監測和故障診斷不但有利于降低維修成本，保障設備安全可靠工作，更能有效預防重大事故。因此，旋轉機械故障診斷技術研究具有重要的實際意義和研究價值。

近年來，基于人工智能的方法逐漸成為旋轉機械故障診斷領域的重要研究方向[1]。其中深度學習方法取得了比反向傳播神經網絡（back propagation neural network，BPNN）、支持向量機（support vector machine，SVM）和極限學習機（extreme learning machine，ELM）等淺層模型更好的結果[2]。多種深層網絡模型，如深度置信網絡（deep belief network，DBN）[3-4]，堆疊自編碼器（stacked auto encoders，SAE）[5-8]，深度卷積網絡（deep convolutional neural network，DCNN）[9]被廣泛應用于故障診斷。

然而這些方法的訓練和測試數據均在相同工況下采樣，服從相同分布。而實際旋轉機械的工況，尤其是轉速和負載變化將導致數據概率分布的變化[10]，此時，統計機器學習的獨立同分布假設被破壞。若將在源域訓練好的分類器直接應用于目標域，將導致診斷精度嚴重下降。例如在文獻[7]中，當測試數據對應的負載與訓練數據差別較大時，滾動軸承的診斷精度從99.57%下降到88.27%。

遷移學習為解決診斷模型缺乏領域適應能力的問題提供新的途徑。遷移學習[11]的目標是將某個領域學習到的知識或模式應用到相關但不同的領域[12]。一些研究將遷移學習和淺層模型相結合，如文獻[13]利用TrAdaBoost算法，提高了變轉速、負載條件下電機故障診斷精度；文獻[14]提出一種基于輔助數據遷移學習的增強型最小二乘支持向量機，提高了變工況軸承故障診斷精度；文獻[15]提出一種領域適應的極限學習機來解決傳感器漂移引起的診斷性能下降。然而這些研究均采用淺層模型，表征能力有限；并需要一定數量的目標域帶標簽樣本來輔助診斷知識遷移。但對于實際的旋轉機械故障，故障模式是未知、無法提供目標域標簽信息。

為解決目標域無標簽情況下領域間概率分布失配問題，文獻[16]引入最大均值差異（maximum mean discrepancy，MMD）來度量不同領域數據的分布差異，并將其加入淺層神經網絡的優化目標函數，提出領域適應神經網絡（domain adaptive neural network，DANN）。由于計算MMD無需目標域標簽，該方法具有更好的適用性，在多個跨領域圖像分類任務中取得最高精度。文獻[17]則提出利用多核最大均值差異（multi-kernel MMD，MK-MMD）來度量概率分布差異，并將MK-MMD和深度學習相結合，在分類器預訓練和微調階段的優化目標均加入MK-MMD作為正則項，在多個遷移分類任務中取得最好的結果。文獻[18]針對滾動軸承故障診斷，提出一種深度適配模型：以一維卷積網絡為框架，采用MMD和度量學習來消減領域間特征分布分布差異。文獻[19]則以深度稀疏降噪自編碼器為模型框架，提出一種MMD正則的精調的優化目標，并設計相應的優化算法。該方法在旋轉機械故障診斷應用中取得最高精度。

然而，基于MMD的領域適配的本質是對齊不同領域均值的中心，上述方法均未考慮到特征分布的流形結構，面對不同工況下復雜的機械故障信號，其適配性能不足。以圖1所示情況為例，如僅適配領域的均值中心，則源域的分類界無法準確的對目標域數據進行分類。而如果同時適配均值中心和流形結構，則可利用源域分類界面準確的對目標域數據進行分類。

圖1 流形遷移示意圖Fig.1 Structure of AE

基于上述思想，為解決現有遷移學習方法的不足，本文提出一種同時適配領域間數據概率分布及流形結構的新方法—深度流形遷移學習（deep transfer learning，DMT），基于SAE結構，首先在無監督預訓練階段同時挖掘源域和目標域樣本的數據特征；在微調階段，則通過新的目標函數，同時適配領域間分布差異和特征分布的流形結構。對軸承及齒輪故障數據的診斷結果表明：新方法對工況變化具有良好的泛化性能，其性能優于現有的遷移學習方法，能顯著提高變工況下的故障診斷精度。此外新方法訓練過程無需目標域數據標簽及工況信息，具有良好的適用性。

1 深度流形遷移學習模型

本文以堆疊自編碼器為基本框架，提出一種新的深度流形遷移學習診斷模型。以下分別對堆疊自編碼器和深度遷移學習模型進行說明。

1.1 堆疊自編碼器

自編碼器（auto encoder，AE）[20]可視為三層無監督學習神經網絡，由輸入層、隱含層和輸出層組成，如圖2所示。AE通過在輸出層重構輸入來學習數據的本質特征，可用于數據降維。AE分為編碼和解碼兩個部分，編碼是從輸入x∈Rm到隱含層h(x)∈Rn的映射：

圖2 自編碼器結構Fig.2 Structure of autoencoder

其中，θ={W,b,W＇,b＇}為自編碼器的參數。

將多個AE疊加在一起便可構造SAE。其中每個AE經過編碼后的隱層輸出作為下一個AE的輸入，即構造過程只用到編碼部分。最頂層的隱含層輸出則作為深度特征輸入分類器。SAE的訓練包括兩個階段：第一階段是對每個AE的無監督預訓練；第二階段是對SAE整體的有監督微調，通常采用小批隨機梯度下降（minibatched stochastic gradient descent）等基于梯度的訓練算法。

1.2 深度流形遷移學習模型

1.2.1 模型構建

現有的深度適配模型大都基于自編碼器或者卷積神經網絡等深度模型框架，通過在模型的目標函數中引入MMD或多核MMD正則項，在全部或部分隱含層最小化正則目標函數，實現源域和目標域特征的分布適配。

然而從MMD的經驗計算公式（4）中可以看出。MMD僅僅對齊源域Xs和目標域Xt核特征映射的均值中心，沒有考慮特征分布的具體結構。對于具有較為復雜流形結構的振動信號數據來說，僅適配領域均值中心是不夠的。

式中，φ()為將變量映射到再生核希爾伯特空間的核函數。為更準確地擬合領域間的分布，本文提出一種新的深度流形遷移模型：在適配領域間均值中心的同時，還要保持域內特征的分布結構不變，充分挖掘源域和目標域數據分布所隱藏的結構信息，以進一步提高診斷精度。

根據流形理論，數據通常位于高維空間中的某一潛在低維流形結構之上[21]，若樣本xi、xj在邊緣分布Ps(xi)和Pt(xj)的流形上相似，由于條件分布在流形的測地線上是光滑變化的，因此它們的條件分布Qs(y|xi)、Qt(y|xj)也應該相似[22]，相應的，模型也具有類似的輸出?；谏鲜黾僭O，利用源域和目標域數據共同構造流形正則項：

式中，f(xi)表示樣本xi經過深度模型的輸出，其中W是圖鄰接矩陣：

Nk(xi)為樣例xi的k-近鄰集合，L是由源域和目標域樣本共同計算的拉普拉斯矩陣L=D-W，D為對角矩陣，其對角元Dii=∑jWw,ij,β是經驗系數，β=1/(ns+nt)2,Ys+t是兩個域樣本構成的輸出矩陣。

將MMD適配和流形結構適配同時作為正則目標加入模型的優化函數，得到深度流形遷移學習的優化目標如式（6），其結構如圖3所示。

圖3 深度流形遷移模型結構Fig.3 Structure of deep manifold transfer model

式中，LMSE(Xs,Ys)為定義在源域有標簽數據上的均方誤差損失函數。MMD2(Qs,Qt)為最大均值差異MMD的正則。需要指出的是，本文采用的是基于隱含層的帶權輸入Qs和Qt，而不是輸出來計算MMD。因為帶權輸入在經過非線性映射后會在一定程度上改變概率分布形狀[23]，因此采用Qs和Qt來比較領域間分布差異更為準確。λ和μ用于調節MMD正則和流形正則的重要程度。

1.2.2 模型的學習

（1）融合目標域的無監督預訓練

DMT模型是由多個自編碼器逐層疊加構成的。為充分挖掘各領域測試數據，對于每一個自編碼器的預訓練，采用平方誤差函數。在訓練數據方面，本文提出同時利用源域和目標域混合樣本進行訓練。即，利用小批隨機梯度下降訓練時，每個樣本必須包含同樣數量的源域和目標域樣本。這樣在無監督預訓練的階段，可以利用模型同時挖掘不同領域的數據特征。

（2）流形遷移微調

將經過預訓練的自編碼器的編碼部分逐層疊加，并在頂層設置softmax分類器，就構成DMT模型。對模型的微調，同樣采用小批隨機梯度下降訓練，對于模型參數θ梯度更新可表示為：

式中G..下標“.”可以是源域或目標域，s為高斯核函數k(?,?)的帶寬參數。

整個模型的訓練過程可總結為算法1，在預訓練階段同時利用源域和目標域樣本對網絡參數進行初步學習，挖掘振動信號本質特征；在微調階段則利用源域帶標簽樣本及目標域樣本進行流形遷移學習，以更好的適配領域間特征分布結構。在整個訓練過程中都無需目標域樣本標簽或其他任何信息，滿足實際故障診斷需求。

算法1深度流形遷移學習算法Xs,Ys

輸入：源域數據樣本及標簽Xs,Ys，目標域樣本Xt，深度網絡深度L及各層節點數，MMD適配正則參數λ，流形適配正則參數μ，批訓練樣本尺寸Nm，預訓練及微調階段學習率、迭代次數

1.2.3 診斷流程

采用深度流形遷移學習模型進行故障診斷的流程包括：

步驟1在不同工況下開展各故障模式實驗，將采集到的振動時域信號分割為等長度樣本，并轉換為頻域樣本。

步驟2將頻域樣本按照預設比例分為訓練、測試和驗證集合。

步驟3按照算法1利用源域和目標域數據樣本訓練深度流形遷移模型。

步驟4利用訓練好的訓練深度流形遷移模型對目標域樣本進行故障診斷，輸出識別結果。

2 模型在旋轉機械故障診斷的應用驗證

為驗證所模型有效性，將其應用于變工況下滾動軸承和齒輪的故障診斷，并與目前主流的深度學習算法SAE，以及遷移學習算法DANN[16]、TDN[17]進行綜合比較。

2.1 滾動軸承故障診斷

軸承故障數據采用美國凱斯西儲大學（CWRU）滾動軸承數據中心的數據集。故障實驗對象為圖4中驅動端深溝球軸承SKF6205，設置有滾動體損傷，外圈損傷與內圈損傷三種故障模式，故障尺寸0.177 8 mm，采樣頻率為12 kHz。

圖4 CWRU滾動軸承數據采集系統Fig.4 Rolling bearing data measuring system in CWRU

CWRU提供的數據文件（.mat格式）長度有限，因此采用重疊采樣以生成更多時域信號樣本。由于頻域信號比時域信號更能展現設備特征[24]，本文利用頻域樣本作為模型訓練測試數據。每個頻域樣本由時域信號樣本經FFT變換得到。樣本長度決定網絡輸入節點個數，對精度及算法復雜度也有重要影響[7，12]。本文在精度和訓練時間中尋找平衡，通過實驗確定時域信號樣本長度為1 000數據點，則其對應的頻域樣本長度為500。

對正常及三種故障這四種模式，每種模式都生成2 000個樣本，總計8 000個樣本，測試、驗證和訓練樣本比例為3∶1∶1。根據不同的負載及轉速，選擇四種工況，工況的說明見表1。遷移診斷任務用“Cm→n”表示，如“C2→1”是指利用源域（工況C2）的帶標簽訓練樣本和目標域（工況C1）的不帶標簽訓練樣本訓練診斷模型，再去診斷C1的測試樣本，整個訓練過程只用到目標域訓練樣本，無需樣本標簽及其他任何信息。

表1 軸承故障實驗的四種工況Table 1 Working conditions of rolling bear fault tests

被比較的方法中，SAE為經典的深度學習算法；DANN是首次將領域適應和神經網絡相結合的算法。TDN則是近年來在跨領域圖像和文本分類中取得最成功應用的深度遷移學習算法之一。其中TDN、SAE及DMT均為深層網絡模型。TDN在文獻[17]中采用了邊際化棧式降噪自動編碼器以加速訓練。本文為公平比較，對TDN采用普通自編碼器實現，三種深度學習算法均采用相同的深度網絡結構、學習率、迭代次數等參數。而DANN為淺層網絡模型，除網絡結構不同外，也采用相同學習率、迭代次數等參數，所有算法的有監督訓練均采用小批隨機梯度下降算法訓練。

具體的參數說明見表2，其中TDN采用多核MMD來適配概率分布：其中每個單核ku(xi,xj)=exp(-‖ ‖xi-xjαγ),γ=2s2,s為高斯函數的帶寬參數，本文s均取值為訓練樣本的標準差，參數α則依次從[2-4,2-3,2-2,2-1,20,21,22,23,24]中選取。本文模型圖鄰接矩陣的近鄰數k在驗證集上實驗確定取值。此外，模型還引入兩個新的超參數λ和μ，這兩個參數在驗證集上通過交叉驗證擇優選擇。所有算法的誤差函數均統一設置為均方誤差函數。

表2 各算法參數設置Table 2 Parameter setting of all algorithms

將各算法應用于CWRU軸承故障的遷移診斷任務。4個工況共計有12個遷移診斷任務，各算法獨立運行10次的平均診斷精度及標準差（mean±std），如表3所示。

表3 各算法在CWRU數據集的遷移診斷結果Table 3 Fault diagnostic results by all algorithms on CWRU data set

從結果可見，本文方法DMT在所有變工況診斷任務上均取得最高精度，在12個變工況診斷任務上的平均精度為93.4%明顯高于其他算法。TDN則取得次高平均精度，91.6%。三種深度學習方法中，DMT及TDN明顯優于基本SAE。而DANN盡管進行了概率分布適配，但是其淺層結構限制了特征提取能力，所以其診斷精度仍低于SAE。

以上從平均精度的角度比較了各個算法，為更具體展現個算法性能，對C2→1診斷任務進行誤差分析。圖5所示為各算法對該任務的單次運行的誤差結果。橫坐標表示故障模式標簽，縱坐標為該模式對應的未被正確分類的樣本數。從圖中可見，本文算法在變工況條件下對于正常、滾動體損傷，外圈損傷與內圈損傷這四種模式都能準確的分類，其誤分類的樣本數始終最低。而DANN的誤分類數在所有故障模式均最高。此外可以發現相比故障的模式，正常模式的誤分類數目普遍較低。

圖5 各算法在C2→1診斷任務的誤差Fig.5 Error analysis of all algorithms on C2→1 task

圖6為微調階段SAE及DMT對源域及目標域測試數據診斷精度隨迭代次數的變化曲線?？梢园l現SAE盡管對源域測試數據的診斷精度提升很快，最終可以達到0.99以上的高診斷精度，但是對于目標域測試樣本診斷精度不高。而DMT由于充分適配特征的流行結構，因此對源域和目標域的診斷精度都能隨迭代有效增長，兩者差距很小。

圖6 兩種算法微調階段源域和目標域診斷精度變化Fig.6 Variations of target diagnostic accuracy with iterations in fine-tuning of two algorithms

2.2 齒輪故障診斷

齒輪故障的振動測試數據來源于圖7所示的齒輪箱故障診斷綜合實驗系統。變速驅動電機為齒輪箱的轉動提供動力，經過二級行星齒輪箱和二級平行齒輪箱傳動，最后到達磁力制動器。驅動電機和磁力制動器由相應調節器來控制，用以變更不同轉速及負載，從而模擬不同工況。實驗臺采用模塊化設計，通過更換不同的齒輪故障件，能模擬多種齒輪故障。

圖7 齒輪箱故障診斷綜合實驗臺系統Fig.7 Synthetical fault diagnosis test bed of gearbox

圖8為平行齒輪箱傳動示意圖，本文選擇第二級平行齒輪箱中的齒輪G21為實驗對象，開展故障模擬實驗。模擬的四種故障分別為：斷齒、缺齒、齒面磨損及齒根裂紋。

圖8 二級平行齒輪箱傳動示意圖Fig.8 Diagram of second stage parallel gearbox

在三種工況下分別安裝無故障的齒輪以及齒輪故障件開展實驗，用安裝于齒輪箱端蓋處的PCB-355B03型加速度傳感器采集齒輪故障數據和正常情況數據，采樣頻率為10 kHz。各工況的描述如表4所示。仍采用頻域數據作為訓練樣本，每段樣本包含500個樣本點。對每個模式都生成2 000個樣本，共10 000個樣本，測試、驗證和訓練樣本比例為3∶1∶1。

表4 齒輪故障實驗的三種工況Table 4 Working conditions of rolling bear fault tests

各算法的參數設置除網絡結構外，其他均與2.1節一致。三種深度學習算法的結構為500-200-100-50-5，DANN的網絡結構為500-100-5。將各算法用于齒輪箱故障的遷移診斷任務。三個工況共計有6個遷移診斷任務。各算法運行10次的平均診斷精度及標準差如表5所示。從表中可以發現，對于所有診斷任務中，DMT均取得最高的診斷精度。再次驗證了DMT模型的變工況故障診斷的優越性能。

表5 各算法在齒輪故障數據集的遷移診斷結果Table 5 Fault diagnostic results by all algorithms on gear data set

而對C2→1診斷任務進行誤差分析也可發現，DMT算法對于所有故障模式均具有最低的誤分類樣本數。進一步證明了其優越的故障診斷性能，如圖9。

圖9 各算法在C2→1診斷任務的誤差Fig.9 Error analysis of all algorithms on C2→1 task

圖10為對于齒輪故障SAE及DMT模型的微調階段對源域及目標域測試數據診斷精度隨迭代次數的變化曲線。如圖10所示，SAE算法對于齒輪故障目標域樣本的診斷精度始終和源域診斷精度保持很大差距。而DMT經過微調訓練后對源域及目標域均能得到較高的診斷精度。

圖10 兩種算法微調階段源域和目標域診斷精度的變化Fig.10 Variations of target diagnostic accuracy with iterations in fine-tuning of two algorithms

3 方法有效性分析

3.1 融合目標域無監督訓練的有效性

為充分挖掘監測數據隱含信息，本文在模型的無監督預訓練過程采用“源域+目標域”數據作為訓練樣本。為說明該策略的有效性，在模型中取消該策略，其他不變，將該簡化模型記為DMT-1。將簡化模型與DMT在齒輪故障數據集的結果進行比較，如圖11所示。由圖可見，DMT-1在所有任務上的精度都低于DMT。可見在預訓練階段引入目標域數據有助于更好地挖掘特征結構，提升變工況診斷精度。

圖11 采用目標域數據無監督訓練對精度的提高Fig.11 Enhancement caused by using target domain data in unsupervised pre-training

3.2 流形遷移微調的有效性

不同于現有的深度遷移學習模型，本文在微調訓練目標中加入流形正則，以保持特征分布結構不變。為說明其有效性，在模型中取消該策略，其他不變，將該簡化模型記為DMT-2，將該模型與DMT在齒輪故障數據集的結果進行比較，如圖12所示。圖中DMT在所有任務上的精度都明顯高于DMT-2，這個結果充分證明在領域適配的同時保持流形結構一致對針對精度的重要作用。

圖12 流形遷移微調對精度的提高Fig.12 Enhancement caused by manifold transfer learning based fine-tuning

為進一步深入說明流形遷移對特征保持的有效性，以軸承故障數據的C2→1的診斷任務為例進行特征可視化。DMT-2及DMT模型經過完全訓練后，分別將源域和目標域樣本在模型最高隱含層的特征投影到二維PCA（principal component analysis）平面，其可視化結果分別如圖13和圖14所示。從圖14中可以看，DMT模型更好地對齊了源域和目標域特征的結構，而圖13中DMT-2的部分模式的源域和目標域在空間分布上存在一定的偏離。這是因為MMD只對齊領域的均值中心，無法考慮到具體的流形結構?？梢暬Y果的對比充分證明流形遷移比傳統的基于MMD正則的方法更能保持領域間特征結構的一致性。

圖13 DMT-2模型提取的樣本高層特征二維可視化Fig.13 2D visualization of high-level features extracted by DMT-2

圖14 DMT模型提取的樣本高層特征二維可視化Fig.14 2D visualization of high-level features extracted by DMT

3.3 MMD適配的有效性

本文模型的優化目標中引入MMD正則，作為領域適配的基礎。為說明其有效性，在目標中取消MMD正則，其他不變，將該簡化模型記為DMT-3，將該模型與DMT的結果進行比較，如圖15所示。圖中DMT在各個任務的精度都高于DMT-3，該結果可證明MMD適配的重要作用。結合3.2節的分析結果，本文同時適配分布差異及領域間特征分布結構是十分有效和必要的。

圖15 MMD適配對精度的提高Fig.15 Enhancement caused by MMD regularization

4 參數敏感性分析

深度流形遷移學習模型在目標函數中同時引入λ和μ這兩個參數用于調節MMD正則和流形正則的重要程度。這兩個參數的取值對算法性能有較大影響。為此進行參數敏感性分析。在齒輪故障數據集的C2→1任務上，令兩個參數分別在0.2至2.0范圍內，以0.2等間隔取值，進行網格交叉，得到的診斷精度曲面如圖16所示。從圖中可以發現，當兩個參數均大于0.8時，算法具有較高精度，且相對穩定。

圖16 參數λ和μ敏感性分析Fig.16 Parameter sensitivity analysis ofλandμ

5 結束語

本文為解決工況變化導致深度學習診斷方法性能衰退問題，提出一種深度流形遷移學習方法，更好地保持不同工況下振動數據分布的流形結構不變，從而賦予深度學習診斷方法對工況的魯棒性并有效提高診斷精度。此外，本方法在訓練過程只需故障樣本，無需標簽等其他任何信息，具有良好的適用性。將其應用于軸承及齒輪部件的變工況故障診斷任務，取得了比當前主流的深度學習及遷移學習方法更為優越的診斷性能。為實際旋轉機械故障診斷提供了一個有效的理論工具。