面向滾動軸承故障診斷的改進對抗遷移學習算法研究

楊 健，李立新，廖晨茜，蔡晉輝，曾九孫

(1.中國計量大學，浙江 杭州 310018;2.中電海康集團有限公司，浙江 杭州 310000)

0 引 言

傳動裝置在工業生產中是常用的機械設備，它的平穩運行離不開軸承的正常工作。軸承一旦發生異常，有可能引發設備的故障，嚴重時還可能造成生命和財產的重大損失。為保障傳動裝置的安全平穩運行，研究人員對軸承的故障診斷問題進行了大量研究。這些研究通常以軸承工作時采集到的振動信號為基礎，并通過機器學習等方法進行特征提取和故障診斷研究。

考慮到機械設備采集的時間信號易受外部干擾，因此需要尋找合適的方法從振動信號中提取有用的信息，常見的方法如小波變換，傅里葉變換等。在提取了有效的特征之后，再利用支持向量機[1]、神經網絡[2]等機器學習方法對故障數據進行分類，從而實現故障的診斷。此外，各種深度學習技術在故障診斷領域中得到了應用并取得了良好的效果，如深度置信網絡[3]、卷積神經網絡[4]等。這些方法在訓練數據和測試數據具有相同分布時取得了較好的應用效果。但在很多實際應用中，訓練數據集和測試數據集是在不同的工作條件中采集到的，此時現有方法難以獲得較好的識別效果。為解決該問題，研究人員提出了基于遷移學習（transfer learning）的方法，這類方法通過學習相關領域的特征來提高本領域中學習的表現，放寬了訓練數據和測試數據同分布的要求，解決了測試數據不足產生的過擬合問題[5]。

近年來，研究人員發現將對抗學習（adversarial learning）[6]與遷移學習結合，即利用對抗遷移學習，能夠更有效地減少源域和目標域數據之間的分布偏差，從而有利于提高分類準確率。該方法由特征提取器，域判別器和分類器組成，特征提取器用來提取原始數據樣本特征，域判別器用來判斷數據屬于源域還是目標域，通過對抗訓練不斷改善模型性能[7]。考慮到現有對抗遷移學習方法的主要應用領域在圖像處理，存在難以處理時間序列數據、易受梯度消失現象影響等問題[8]，本文提出了一種改進的基于對抗遷移學習的軸承故障診斷方法。在對抗遷移學習的基礎上，將特征提取器替換成一維卷積結構，直接作用于時間信號，非常適用于振動數據的處理；同時將域判別器中全連接網絡結構替換成卷積結構，減少了因層數限制導致的梯度消失等現象，增強了信息整合能力，實現了分類精度的提高。

最后為了提高故障診斷效果，在不同數據集上進行了試驗，驗證了該模型的有效性。

1 背景理論

1.1 遷移學習

遷移學習是一種新型的機器學習方法，通過將已訓練好的模型參數遷移到新的模型，以加快并優化新模型的訓練，非常適用于解決故障診斷中的訓練數據不足的問題。

遷移學習由域和任務兩個概念組成，域包括特征空間 χ及總體概率分布p(x)，記為D={χ,p(x)}，其中(x1,x2···xn)∈χ為總體樣本。給定帶標簽的源域數據DS={χs,p(xs)}及 不帶標簽的目標域數據Dt={χt,p(xt)}，由于工作環境的不同，兩個數據集之間的分布也不相同，即p(xs)≠p(xt)。遷移學習的任務是將源域數據xs和目標域數據xt映射到相同的特征空間，通過尋找具有代表性的特征使源域和目標域數據具有相同的分布。在建立起源域數據的分類模型后，就可以對目標域數據進行準確分類。常用的映射函數包括核函數、卷積函數等，分類模型通常采用全連接神經網絡。其具體思路如圖1 所示。

圖1 遷移學習過程

1.2 對抗學習

對抗學習受生成對抗網絡[7]的思想啟發，通常用于生成接近于真實樣本的虛假數據，其結構如圖2 所示。從圖2 可以看出，對抗學習的模型由生成器和判別器組成，通常均采用多層感知機。記生成器為G(·)，判別器為D(·)，對抗學習首先隨機生成一組噪聲變量n～pn(n)，通過生成器進行訓練得到一組虛假樣本G(n)，使其盡可能接近真實數據x～px(x)；同時還需要使得得到的虛假樣本G(n)和真實樣本x能夠有效地被判別器所鑒別。

圖2 生成對抗網絡結構圖

在模型的訓練過程中，噪聲數據經過生成器和判別器輸出概率值D(G(n))，D(G(n))等于1 表示虛假樣本G(n)與 真實樣本x來自同一分布，等于0 表示完全獨立。在生成器G(·)的優化過程中，需要在判別器D(·) 確 定的情況下，讓D(G(n))盡可能接近1，從而使得噪聲生成的虛假樣本分布不斷接近真實樣本分布，其目標函數為：

另一方面，在判別器D(·)的優化過程中，希望真實樣本的輸出概率值D(x)盡量接近1，而噪聲數據生產的虛假樣本概率值D(G(n))盡量接近0，從而使得判別器能夠精確判斷數據的真假，其目標函數如下:

需要指出的是，式（1）和式（2）兩個目標函數是相互矛盾的，對抗學習通過生成器和判別器兩個目標之間的相互博弈使虛假數據分布盡可能接近真實的數據分布，這樣噪聲生產的虛假數據就可以被當作真實數據使用。綜合式（1）和式（2），模型總體目標函數如下:

2 基于對抗遷移學習模型

近年來，人們通過將對抗學習的思路引入遷移學習，將目標域的數據通過對抗學習使其分布盡可能接近源域數據，從而不受目標域數據標簽是否可用的限制，同時適合有監督學習和無監督學習應用。其中具有代表性的方法是DANN (domain adversarial training of neural networks)網絡[9]。

和生成對抗網絡不同的是，基于對抗的遷移學習將隨機噪聲替換成了目標域數據，免去了生成樣本的過程，此時生成器也不再用于生成新樣本，而是用于提取特征[10]。本文在文獻[9]的基礎上，提出了一種改進的對抗遷移學習方法，通過將特征提取器和域判別器替換為一維卷積結構，同時設置特征提取器為大小連續卷積核，使其適用于時間信號的處理。另一方面，考慮到不同維度的特征尺寸差別較大，模型的優化過程容易受到梯度消失現象的影響，本文在卷積操作中加入LeakyRelu (LRelu)激活函數和批量歸一化操作，使劃分的特征更容易識別，能夠更好的解決訓練過程中的梯度損耗問題。

2.1 網絡結構

本文提出的改進對抗遷移學習模型由特征提取器，域判別器和分類器組成。其基本思路如圖3 所示，對帶標簽的源域數據，經過特征提取器后傳入分類器分類。再將帶標簽的源域數據和未帶標簽的目標域數據傳入特征提取器，提取后的特征由域判別器判斷數據所屬域。訓練過程中，特征提取器的作用是提取源域和目標域數據的共同特征，域判別器的作用是正確判斷數據所屬域，通過特征提取器和域判別器之間的對抗訓練，使目標域數據分布不斷接近源域數據分布，從而提高模型的分類精度。

圖3 基于對抗遷移學習模型網絡結構

與傳統對抗遷移方法方法不同的是，本文將特征提取器替換成一維卷積結構，該結構第一層卷積可直接從時間信號提取特征，無需對數據進行預處理，同時設置較大的卷積核用于抑制高頻噪聲，利用卷積層提取振動信號的淺層特征，再利用連續小卷積核擴展網絡深度，提高網絡性能。

另外，本文對傳統方法中的域判別器結構進行改進，以消除梯度消失現象。傳統的域判別器通常采用全連接神經網絡，本文使用的域判別器由卷積層，LRelu 激活函數和批歸一化組成，在卷積操作中通過權重共享保留重要參數，使其能夠更好的判斷數據所屬域。通過將傳統方法中的Relu 激活函數替換成LRelu，避免了輸入信息為負時產生的梯度消失等現象，其公式如(4)所示，最后通過二分類激活函數判斷數據屬于源域還是目標域。

模型的分類器采用全連接神經網絡結構，用于對源域數據進行分類。

2.2 優化目標

本文提出的基于對抗遷移學習模型包括對分類損失Lcls和域判別器損失Ladv兩種損失函數，如下式所示：

其中 θf，θy，θd為特征提取器，分類器和域判別器的參數。

式（5）中第一個優化目標為最小化源域數據的分類損失，采用交叉熵作為損失函數，定義如下：

式中：xi～φi——源域數據分布；

ff(xi)——源域數據經過特征提取器后得到的特征；

gy(ff(xi))——分類器得到的類別概率；

yi?樣本xi的 類別指示變量，當類別的估計值和觀測樣本xi的 真實值相同時為1，不相同則為0。

第二個目標函數對應于域判別器，其作用是判斷數據所屬域，并通過對抗訓練減少源域數據和目標域數據之間的分布差異，其損失如下式所示：

式中：xt～φt——目標域數據分布；

gd(ff(xt))——域判別器的輸出；

di— —第i個樣本的二元標簽值。

實驗過程中，通過隨機梯度下降法(SGD)沿著梯度向量的相反方向對特征提取器和域判別器的參數進行更新，以提高故障的分類精度。

3 應用結果

為驗證本文提出的方法（AD+CNN），將其應用于江南大學滾動軸承數據庫和凱斯西儲大學數據庫。采用兩種方法進行對比，第一種方法將特征提取器和分類器相連，不添加域判別器，記為BASELINE[11]；第二種方法在對抗學習的基礎上添加了全連接網絡的域判別器[12]，記為AD+FC。

3.1 案例1（江南大學數據）

首先采用江南大學提供的滾動軸承故障數據對本文提出的方法進行驗證[13]。除正常數據之外，還包括在內圈、外圈、滾動體故障下采集的振動數據，采樣頻率50 kHz。在轉速600，800，1000 r/min時采集了4 組數據，其中每1024 個時間點為一個樣本數據，具體數據集如表1 所示。

表1 江南大學遷移任務數據集

考慮‘A-B’，‘A-C’，‘B-C’，‘C-A’，‘C-B’，‘B-A’ 6種遷移任務案例。利用本文提出的方法對這六種遷移任務進行建模，訓練過程中，單次訓練樣本數為64，迭代次數為300，隨機梯度下降過程中，學習率為1×10–3，動量為0.9 用于加速收斂，權重衰減系數為1×10–5用于防止過擬合，為消除隨機性，分別對每個遷移任務進行五次測量取平均值得到最后的目標域分類準確率，結果如表2 所示。從表2 可以看出，改進后方法的平均準確率達到96.7%，單次遷移任務的平均準確率可達到98.5%。

表2 目標域分類準確率

為進一步顯示結果，圖4 給出以“A-C”遷移任務為例給出了不同算法準確率變化隨迭代次數變化情況。其中綠色實線為AD+CNN 方法，橙色實線為AD+FC 方法，藍色實線為BASELINE 方法。從圖中可以看出，隨著迭代次數增加，不同方法的模型準確率和損失值逐漸穩定，其中本文提出的AD+CNN 方法的分類準確率明顯超過另外兩種。

圖4 不同方法分類準確率隨迭代次數變化圖

3.2 案例2（凱斯西儲大學數據）

采用凱斯西儲大學[14]添加噪聲信號之后的滾動軸承數據進行驗證。該試驗裝置由電動機、扭矩傳感器、功率測試計和電子控制器組成。故障直徑為0.007，0.014，0.021，0.028 in (1 in=0.0254 m)，采樣頻率為12 kHz 和48 kHz，采樣轉速為1730，1750，1772 r/min，具體數據集如表3 所示。

表3 凱斯西儲大學遷移任務數據集

為了驗證算法的魯棒性，選用了添加不同信噪比(SNR)的訓練數據集，信噪比為信號功率和噪聲功率的比，值越大抗干擾能力越強。采用本文方法進行遷移學習分類，模型參數不變，表4 給出了不同卷積核尺寸和信噪比情況下本文提出方法的準確性。可以看出，隨著卷積核逐漸變大，平均準確率不斷提高，當卷積核尺寸到達55 時，準確率可達到最大值99.6%，之后呈下降趨勢，因此最后選用的卷積核尺寸為55。另一方面，比較不同信噪比下的分類準確率可以看出，本文提出的AD+CNN 方法在不同噪聲環境下均保持較高的準確率。通過對比在不同卷積核以及不同噪聲環境下的分類準確率可以看出，大尺寸卷積核減少了噪聲的干擾，改善了模型的分類精度。

表4 不同卷積核和信噪比環境下分類準確率

作為對比，表5 給出了本文提出的方法與BASELINE 方法和AD+FC 方法在目標域的分類準確率對比。從表5 可以看出，本文的方法較其他方法相比均具有更高的準確率，平均準確率為99.1%，而BASELINE 和AD+FC 方法的平均準確率分別為97.7%和95.7%。上述實驗可以看出，基于全連接神經網絡的的域判別器受梯度消失現象的影響，分類準確率受到限制，將域判別器替換為卷積結構后[15]，能夠更精準的判斷數據所屬域，從而進一步提高分類精度。

表5 目標域數據分類準確率

4 結束語

針對軸承故障診斷任務，本文提出了基于對抗的遷移學習模型，該模型將特征提取器和域判別器替換成一維卷積結構，使其直接作用于時間信號，提高了故障診斷效率，減少了噪聲的干擾。同時添加了LRelu 激活函數和批量歸一化操作，解決了梯度損耗的問題，并提高了分類精度。

將本文改進的方法應用于江南大學故障數據和含有不同信噪比的凱斯西儲大學故障數據。結果表明，即使受到不同噪聲干擾，本文所改進的模型依然可以保持較高的分類準確率，驗證了該模型可以在故障診斷任務中保持良好的性能。