不平衡訓練數據下的基于生成對抗網絡的軸承故障診斷

李忠智，尹 航，2，左劍凱，劉鶴丹

1(沈陽航空航天大學 計算機學院，沈陽 110136) 2(仲愷農業工程學院 信息科學與技術學院，廣州 510230) 3(同濟大學 計算機科學與技術系，上海 201804)

1 引 言

隨著智能工廠的發展和運行設備的不斷更新，及時準確的故障診斷是避免經濟損失和一些不必要的人員傷亡的有效方法[1，2].因為系統存儲的豐富歷史數據及不需要精確的物理模型的特點，基于數據驅動的故障診斷方法被廣泛應用于智能工廠和運行設備的異常檢測中[3].

深度學習是一種有效的數據特征提取方法，因為它可以解決淺層學習不能很好地提取大數據中涉及的非線性特征的問題.Jia等人構造了深度神經網絡模型從原始軸承振動信號中提取特征，然后對提取的特征利用Softmax進行分類，以識別軸承中出現的故障類型[4].Lei等人使用堆疊式降噪自動編碼器(Stacked Denoising Auto Encoder，SDAE)來自適應地提取行星齒輪箱的故障特征并進行故障模式分類[5].Xia等人使用基于SDAE的深度神經網絡提取更多具有代表性的特征，并提高了軸承故障診斷的準確性[6].Tamilselvan和Wang使用深度信念網絡(Deep Belief Network，DBN)來集成多傳感器信息，從而能夠對航空發動機和電力變壓器進行故障診斷[7].Gan等人使用DBN建立了分層的故障診斷模型，成功實現了故障模式分類和軸承故障定位[8].

卷積神經網絡(Convolutional Neural Network，CNN)可以直接從圖像和視頻等高維數據中提取敏感特征.在時域中將軸承的一維振動信號以矩陣或頻譜圖像的形式表示，則可以利用CNN的特征提取功能來提取更準確的特征.Wang等人提出了一種基于多傳感器數據融合和瓶頸層優化卷積神經網絡的旋轉機械故障識別新方法[9].結果表明，新穎的卷積神經網絡具有更高的識別精度和更快的收斂速度.

雖然深度學習在故障診斷領域取得了一些成績，但仍然存在許多挑戰.首先，大量高質量的數據是基于深度學習的故障診斷方法取得良好性能的保證.因為災難性故障數據或意外機械故障這類的故障數據數量很小，而正常數據的數量很大[10].所以在故障診斷領域，數據嚴重的不平衡的問題是非常普遍的問題.當不同類型的故障數據嚴重不平衡時，基于深度學習的故障診斷性能可能很差[11].因此，不平衡數據特征提取成為基于數據驅動的故障診斷的重要研究領域.目前從不平衡數據中提取特征常用的方法可分為兩類.

第一類方法的重點是代價敏感的學習算法，讓網絡結構對少數類更加敏感，以提高少數類樣本的故障診斷精度[12，13].但這些代價敏感的分類方法面臨兩個困難：1)錯誤分類的代價無法確定.2)通常很難找到一種有效的方法來評估代價敏感分類器的性能.

第二類方法的重點是使用一些數據預處理技術，如過采樣和下采樣以減少類間的不平衡[14，15].一種簡單的過采樣方法是復制幾個樣本，以增加少數類中的樣本數量.然而，這樣容易出現過度擬合的問題.而對于下采樣預處理，它減少了大多數類的樣本數，這不可避免的會造成信息丟失的問題.

生成對抗網絡(Generative Adversarial Network，GAN)由Goodfellow等人在2014年提出[16].盡管GAN的歷史相對較短，但它已廣泛應用于軸承故障診斷領域[17,18].Lee等人將GAN與自適應綜合采樣方法相結合修正了過采樣技術，與標準過采樣技術相比顯示了采用GAN的優越性[19].Liu等人提出了一種稱為分類對抗自動編碼器的改進GAN框架，該框架通過自動訓練自動編碼器，并在潛在編碼空間上施加先驗分布.然后，鑒別器嘗試通過平衡示例與其預測的分類類別分布之間的相互信息來對輸入示例進行聚類.在不同的信噪比和不同的電機負載下進行的實驗表明，提出的模型更有利于學習數據的有用特征[20].與文獻[20]類似，受GAN的啟發，Zhang等人提出了一種新的對抗式自適應一維CNN模型[21](Adversarial adaptive 1-D convolutional neural networks，A2CNN).實驗表明，A2CNN具有很強的故障診斷能力和域間遷移能力.Xie等人提出了一種基于不平衡數據集的深度卷積生成對抗網絡[22](Deep Convolution Generating Adversarial Network，DCGAN)的故障診斷新方法.使用DCGAN模型平衡數據后，提取基于時域和頻域數據的統計特征，以訓練SVM分類器進行軸承故障分類.所提出的DCGAN方法的訓練和測試準確性均比其他類平衡方法(包括隨機過采樣，隨機欠采樣和合成少數過采樣技術)表現出更好的性能.

盡管以上基于GAN的研究取得了一定的成績，但GAN的訓練過程還存在一些不足：1)由于實際訓練樣本量很小會導致模型產生一組無意義的噪聲，這樣GAN根本就不能學習真實數據的分布.2)GAN在訓練過程中存在梯度消失問題，會導致模型訓練失敗.若產生的樣本質量較差，則利用GAN生成新樣本的方法來促進故障診斷將會無效.

針對上述問題，本文設計了一種新的GAN生成器，來生成更多可判別的故障樣本.該生成器的輸入為由卷積神經網絡提取的不平衡故障的特征，而不是故障樣本.生成器的訓練損失函數中添加了故障特征和故障診斷誤差，而不是只以傳統GAN的數據分布一致性為損失項.

本文的后續內容安排如下：第2部分簡要介紹了系統框架，第3部分介紹了改進方法，第4部分是實驗結果及分析，最后一部分是總結.

2 系統框架

2.1 卷積神經網絡

最近，CNN在實際應用中取得了巨大的成功，特別是在圖像分類領域[23，24].深度卷積神經網絡是一種由分層排列的可訓練層組成，能夠學習有效的特征表示的神經網絡結構.

圖1 CWGAN模型的整體框架Fig.1 Framework of the CWGAN model

圖像分類任務中的典型卷積層包含輸入I和卷積核K，二維卷積定義如下：

(1)

由于本文要處理的數據是一維振動信號，將一維卷積應用于每個卷積層.從(1)式看，當m=1時，上式表示的就為一維卷積.具體來說，一維卷積可以用以下方程來計算：

(2)

對于分類問題，完全連接層應該連接到輸出分類結果的最后一個卷積層上.完全連接層的定義為：

yl=φ(Wlyl-1+bl)

(3)

(4)

其中F是Frobenius范數.

2.2 生成對抗網絡

生成對抗網絡是一種強大的組合神經網絡，包括生成器(Generator，G)和鑒別器(Discriminator，D).生成器(G)和鑒別器(D)之間的對抗訓練是通過公式(5)實現的：

(5)

其中E代表期望，Pr是真實數據樣本分布，Pg是生成數據樣本分布.原始GAN有一個缺點:判別器訓練地越好，生成器的梯度消失越嚴重.具體來說，對于一個樣本x，判別器損失函數為：

-Pr(x)logD(x)-Pg(x)log[1-D(x)]

(6)

對D(x)求導，得到判別器最優函數：

(7)

代入生成器損失函數L(G)=-Ex:Pg[D(x)]，得到JS散度：

(8)

在這樣的情況下，若Pr和Pg的交集為零時，則生成器的損失函數恒為零，其梯度會消失.針對這個問題，本文用Wasserstein距離來代替JS散度.使用Wasserstein距離的優勢在于即使Pr和Pg兩個分布沒有重疊，依然能夠度量這兩者之間的距離.WGAN將訓練D和G的問題變為：

(9)

前兩項是Wasserstein距離估計的實現，最后一項是網絡正則化的梯度懲罰項.通過實驗驗證，與原始的GAN相比，WGAN的收斂性更好.

3 改進方法

在實際的工業機械運行過程中，大多數情況下都是在

正常條件下運行的.因此故障條件下的數據相對稀缺，這會導致訓練深度模型的數據集不平衡.當數據集不平衡時，很難基于傳統的深度學習算法構造準確的故障分類器.本文將CNN強大的特征提取功能與WGAN的數據生成功能相結合來解決此問題.

3.1 生成器設計

為了充分利用不平衡類樣本的信息，本文考慮了使用卷積神經網絡來提取不平衡類樣本的特征，并將樣本特征損失添加至生成器的訓練損失函數中.然后，對由生成器生成的特征進行解碼以獲得生成的樣本.具體過程如下：

首先，將隨機數Z輸入卷積神經網絡來生成Xfeaturefake.

hz=fθG1(Z)=σ1(WG1Z+bG1)

(10)

Xfeaturefake=fθG2(hz)=σ1(WG2hz+bG2)

(11)

其中θG1={WG1，bG1}和θG2= {WG2，bG2}分別用于連接卷積神經網絡的輸入層和隱藏層，隱藏層和輸出層.WG1和WG2是權重矩陣，bG1和bG2是偏差，σ1是雙曲正切激活函數.

為了獲得生成的樣本Xfake，需要對Xfeaturefake進行解碼.本文使用自動編碼器的解碼網絡對Xfeaturefake進行解碼.使用不平衡類的樣本Xreal訓練卷積神經網絡和自動編碼器.具體過程可以表示為等式(12)和式(13).

Xfeaturereal=fθCNN(Xreal)=σ1(WCNNXreal+bCNN)

(12)

(13)

其中Xfeaturereal是Xreal的特征向量，θCNN= {WCNN，bCNN}是CNN的特征提取網絡的參數，而θAE={WTAE，bAE}是相應的解碼器網絡參數.解碼器在Xfeaturefake上的解碼過程可以表示為：

(14)

3.2 損失函數設計

對于傳統的GAN，只需最小化下式中確保原始樣本Xreal和生成的樣本Xfake的分布一致性的交叉熵損失函數即可優化生成器網絡參數.

(15)

為了生成更多有助于故障診斷的合格故障樣本，本文使用特征向量Xfeaturereal和基于CNN的故障診斷判別器的故障診斷結果來指導生成器的訓練.通過最小化公式(16)中定義的新損失函數，可以優化生成器的網絡參數.

LG=Lg+Lfeature-error+Lfault-error

(16)

(17)

(18)

其中Lg可以指導生成器學習原始樣本的分布.Lfeature-error使生成器生成的樣本特征盡可能接近原始樣本的特征.Lfault-error使生成的樣本符合故障診斷的最終目的.將Lfeature-error和Lfault-error加入損失函數中將更有利于故障診斷的進行.

4 實驗結果及分析

4.1 參數配置及實驗數據集

本文的實驗環境配置為：i9-9900KF 3.60GHz的處理器和NVIDIA GTX2080Ti的圖形顯卡，實驗在Python3.6和TensorFlow1.14.0下進行的.

為了驗證本文提出的卷積神經網絡優化的生成對抗網絡的故障診斷方法的性能，使用西儲大學(CWRU)提供的公開軸承數據集.選取轉速為1730r/min、采樣頻率2kHz的驅動端軸承故障數據作為實驗數據.軸承故障有3種類型：球形故障，內圈故障和外圈故障，而每種故障類型的尺寸分別包含0.007英寸、0.014英寸和0.021英寸3種類型，加上正常的情況，因此總共有10種類型的故障標簽.如表1所示.

表1 故障類型及對應標簽Table 1 Failure type and corresponding label

4.2 評價指標

在為了全面評價模型的性能，本文選用準確率、召回率、F1值和精確度作為模型的評價指標.4個指標對應的計算公式如式(19)到式(22)所示.

表2 真實標簽和預測的混淆矩陣Table 2 Confusion matrix that counts true labels and predictions

(19)

(20)

(21)

(22)

本文通過ROC曲線下面積的大小(Area Under the Curve，AUC)進行比較模型之間的準確度差異.AUC度量了分類器分類樣本的性能，AUC的計算公式如下式所示.

(23)

其中，n0和n1分別表示反例和正例的個數，ri為第i個反例在整個測試樣例中的排序.

4.3 損失函數圖像分析

為了證明WGAN的收斂性能優于比原型網絡GAN，本文在生成器和鑒別器上分別進行了對比試驗，如圖2所示和圖3所示.兩個損失值變化趨勢圖中的兩條曲線分別是GAN和WGAN生成器和鑒別器上損失函數值的變化趨勢圖.以鑒別器為例，從圖上可以看出兩個網絡的鑒別器的損失值在整個訓練過程中都是逐漸減小的.在GAN的訓練過程中，損失值的浮動變化較大，在訓練迭代至100，000次時，損失值仍未收斂.但是，WGAN的損失值在訓練過程中不斷減小，直到減小到接近于0時，網絡開始收斂，這反映了鑒別器的鑒別能力在訓練過程中不斷增強的過程.

圖2 GAN和WGAN的生成器損失值變化趨勢Fig.2 GAN and WGAN generator loss value trends

圖3 GAN和WGAN的鑒別器損失值變化趨勢Fig.3 Trend of discriminator loss values for GAN and WGAN

4.4 生成效果分析

為了評價數據生成的效果，本文從定性和定量兩個角度對原數據與生成數據進行分析.以標簽為4的故障類型為例，首先采用傅里葉變換對原始信號和GAN與CWGAN生成的信號在頻域進行分析，結果如圖4所示.其中圖4(a)展示的為原始信號在時域與頻域上的變化，圖4(b)展示的為GAN生成的信號在時域與頻域上的變化，圖4(c)展示的為基于Wasserstein距離引導的卷積生成對抗網絡(Convolutional Wasserstein Generative Adversarial Network，CWGAN)生成的信號在時域與頻域上的變化.從圖中可以看出，CWGAN的生成信號效果優于原始GAN的生成效果.

為了定量地分析原始數據和生成數據的差異，本文選取弗雷歇曲線距離函數計算原始信號曲線L與生成信號曲線W之間的弗雷歇距離F及相似度S=1/F.以標簽為0、1、4、7四類故障為例，計算的結果如表3所示.從表3中可以看出，改進模型監督生成的信號相比與原始GAN監督生成的信號與原始信號之間的相似度更大，驗證了本文提出的模型的有效性.

4.5 分類結果

為了驗證本文所提出的算法的優越性，在本節實驗中，對于每一次實驗，都隨機選取5類故障，并從這5類故障的原數據集中隨機選取500個樣本作為訓練集，250個樣本作為驗證集，400個樣本作為測試集；對于另外的5類故障類型，每種故障類型中都隨機選取1000個樣本作為訓練集，250個樣本作為驗證集，400個樣本作為測試集.對于不平衡數據集中的稀少數據，除SVM方法外，其余各對比方法采取不同的增強策略，使每類故障的訓練集數目都為1000個樣本.分別使用SVM、帶有過采樣的CNN、帶有下采樣的CNN、GAN-CNN與本文所提出的模型CWGAN進行對比，相應的結果如表4所示.

圖4 原始信號與生成信號Fig.4 Original and generated signals

表3 生成信號與原始信號的相似度度量Table 3 Similarity measure between the generated signal and the original signal

由表4可知，基準模型SVM對于不平衡的數據集的分類效果較差，平均準確度只有77%.分別使用兩種通用的數據增強方法對CNN分類器進行增強，通過下采樣增強方式增強的分類器的準確度高于過采樣增強的分類器的準確度.本文還進行原始GAN生成數據與提出的模型之間的對比，結果表明，本文所提出的模型能更準確的學習到數據的分布及特征，為分類任務提供更高質量的生成數據.

表4 不同算法之間的對比Table 4 Comparison between different algorithms

圖5 原始GAN-CNN與CWGAN準確度對比Fig.5 Comparison of original GAN-CNN and CWGAN accuracy

本文提出的軸承故障診斷方法針對數據集中的10類故障模式，均能夠準確地診斷出待識別信號所對應的故障模式，而且平均診斷準確度達到了96%.因此，本文中的軸承診斷方法對于軸承故障有著很好的識別效果.

5 結 論

本文針對不同類別的故障數據集不平衡時會影響神經網絡模型準確度的問題，提出了一種卷積神經網絡優化GAN的深度學習故障診斷方法.通過實驗驗證，改變生成器的網絡結構并在生成器神經網絡模型參數訓練中引入故障特征和診斷的誤差可以在一定程度上提升模型性能，可以較好地解決不平衡數據集分類問題.