基于孿生網絡結構的軸承故障診斷研究

趙志宏，吳冬冬

(1.省部共建交通工程結構力學行為與系統安全國家重點實驗室，河北石家莊 050043；2.石家莊鐵道大學信息科學與技術學院，河北石家莊 050043)

0 前言

滾動軸承作為廣泛應用的基礎零部件，其工作狀態直接關系整臺設備的穩定性，在旋轉機械中發揮重要作用[1]。軸承發生故障輕則影響生產效率，重則造成安全事故危及人命，因此進行軸承故障診斷研究十分必要。

自2006年HINTON等[2]提出深度學習理論后，深度神經網絡以其自動提取特征能力，在計算機視覺[3]和自然語言處理[4]領域發展尤為迅速。近年來，國內外利用深度學習進行故障診斷的研究越來越多，已經用于故障診斷的深度神經網絡模型有卷積神經網絡[5]、循環神經網絡[6]和自編碼器[7]等，這些神經網絡模型需要大量的樣本進行訓練。由于軸承故障樣本獲取困難，很難獲得充足的訓練樣本，導致深度神經網絡模型經常出現過擬合現象，影響了故障識別的準確性。因此，小樣本條件下的軸承故障診斷研究越來越得到研究人員的重視。

近幾年，基于小樣本學習的神經網絡在處理數據稀缺問題方面取得很大進展，成為機器學習中的研究熱點。小樣本學習概念最先由LI等提出[8]，旨在通過一個或幾個樣本就可以學習出有效模型，對未知類別進行分類。王德文、魏波濤[9]使用變分自編碼器提取原始訓練數據的高層語義特征，然后由兩個訓練好的變分自編碼器的編碼器部分組建孿生網絡的輸入結構，最后通過分類器對樣本進行識別，提出基于孿生變分自編碼器的小樣本圖像分類方法。VINYALS等[10]提出匹配網絡，該網絡可將帶標簽的數據和不帶標簽的數據映射到對應的標簽上，能夠從小數據集中快速學習新的概念。余浩帥等[11]提出一種基于混合自注意力原型網絡的風電齒輪箱故障診斷方法，通過原型網絡將振動信號映射至特征度量空間，采用混合自注意力模塊學習風電齒輪箱各狀態下的原型，最后進行模式識別，實現小樣本條件下的風電齒輪箱故障診斷。呂楓等人[12]利用關系網絡構建嵌入關系空間，使得在該空間下可以有效度量已標記樣本和未標記樣本之間的相似性，并結合偽標簽學習方法實現少量標記樣本的擴充，取得較好的齒輪箱故障辨識效果。這些模型能夠在小樣本條件下奏效，由于實際工程中，采集的軸承數據故障種類多，每種類別樣本較少，故考慮使用孿生網絡。

孿生網絡在1993年被ROOPAK等[13]提出，用于解決手寫簽名驗證問題。隨后，該網絡在很多領域廣泛應用。2005年CHOPRA等[14]采用孿生網絡在人臉數據集上進行訓練和測試，取得較好的識別效果。2015年，ZAGORUYKO、KOMODAKIS[15]對經典的孿生網絡進行改進，將孿生網絡的雙分支合并，借助空間金字塔池化[16]實現將不同大小的圖片輸入網絡。2016年，MUELLER、THYAGARAJAN[17]利用兩個共享權重的長短期記憶網絡將兩個不同長度的句子分別編碼為相同長度的向量，以此比較兩個句子的相似性，利用孿生網絡實現了文本匹配。2017年，TAO等[18]首次利用孿生網絡實現目標跟蹤，通過孿生網絡對相似性度量函數進行學習，然后在上一幀的特征空間尋找最相近的區域塊。2019年，CHANG等[19]將孿生網絡用于醫療領域，通過孿生網絡比較疼痛膝關節和無痛膝關節的磁共振成像，可以區分出膝關節類型并識別與膝關節疼痛相關的特征。2020年，CHEN、HE[20]基于簡單穩定的孿生網絡提出Simsiam結構，進一步挖掘了孿生網絡的潛力，為自監督任務提供新的思路。孿生網絡屬于元學習中基于度量學習的一種方法，在小樣本的分類任務中具有顯著優勢。該網絡不僅提取輸入樣本的特征進行學習，還對同類樣本的相似性與非同類樣本間的差異性規律進行學習，因而在數據集僅有少量樣本的情況下能夠獲得較強的泛化能力，同時可以緩解過擬合現象。

為了解決基于深度神經網絡的軸承故障診斷方法在小樣本條件下故障準確度較低的問題，本文作者提出一種將傳統神經網絡擴展為孿生網絡結構的框架，通過將卷積神經網絡(Convolutional Neural Networks，CNN)和長短期記憶網絡(Long Short-Term Memory，LSTM)分別擴展為孿生網絡結構，提高了在小樣本條件下的軸承故障診斷性能。

1 相關工作

1.1 孿生網絡的原理

孿生網絡結構是利用骨干網絡對輸入樣本對進行特征提取，然后通過對比兩個特征向量之間的距離來判斷是否屬于同一類別。傳統孿生網絡結構如圖1所示，可知：孿生網絡是由兩個神經網絡構成的一種耦合結構，每次輸入兩個樣本x1和x2，通過權值共享的特征提取網絡，將提取后的特征映射到特征向量空間中，利用特征向量之間的距離比較兩個輸入樣本的相似度。當輸入樣本對為相同類別時，標簽為1；當輸入樣本對為不同類別時，標簽為0。采用對比損失函數進行訓練，對比損失計算公式為

(1)

圖1 傳統孿生網絡結構

當孿生網絡的輸入為同類樣本對時，對比損失函數為

(2)

孿生網絡中的參數更新過程為

(3)

(4)

當孿生網絡的輸入為不同類別的樣本對時，對比損失函數為

(5)

只有樣本對特征向量間的距離在該閾值內時，損失函數才發揮作用。當Ew>d時，max(d-Ew,0)2=0，損失函數梯度為0，參數不需要更新；當Ew

(6)

(7)

1.2 傳統神經網絡擴展為孿生網絡結構

很多傳統神經網絡可以擴展為孿生網絡結構。CNN網絡擴展為孿生CNN網絡的偽代碼如表1所示，樣本1輸入左分支，樣本2輸入右分支，然后搭建由卷積層和池化層堆疊的CNN網絡，經同一個CNN網絡編碼得到兩個樣本的特征向量，然后計算兩特征向量之間的距離，得到兩個樣本的相似度。將傳統神經網絡擴展為孿生網絡結構是通過建立兩個分支、一個特征提取骨干網絡以實現對樣本對的特征提取。

表1 擴展為孿生網絡結構的偽代碼

2 基于孿生網絡的故障診斷方法

2.1 構造訓練樣本對

設數據預處理后的訓練集為xtrain，標簽為ytrain。

(1)從訓練集中隨機抽取n個訓練樣本。

(2)構造訓練樣本對。定義樣本對(xtr1，xtr2，l)，其中xtr1是訓練樣本中的任意一個樣本，xtr2也是訓練樣本中的任意一個樣本。規定該樣本對的標簽為

(8)

式中：ytr1為樣本xtr1的標簽；ytr2為樣本xtr2的標簽。

2.2 構造測試樣本對

設數據預處理后的測試集為xtest，標簽為ytest。

(1)從測試集中隨機抽取m個測試樣本。

(2)構造測試樣本對。從訓練集的每個類別中分別各取一個樣本，構成支持集{xtr}。將從測試集中抽取的樣本與支持集內的每個樣本構成測試樣本對，定義為(xte，{xtr})。

(3)設訓練集中有k個類別，則構成km個測試樣本對。

2.3 孿生網絡結構的軸承故障診斷方法

基于孿生網絡的軸承故障診斷方法如圖2所示，可知：訓練過程是將已構造的訓練樣本對作為孿生網絡的輸入，經過骨干網絡提取特征后，得到兩個輸出張量進行差值計算，利用Sigmoid函數將差值計算結果轉化為樣本對的相似概率，用Adam優化器優化網絡。Sigmoid函數公式為

(9)

圖2 基于孿生網絡的故障診斷方法

不同于已有的孿生網絡直接采用對比損失函數，文中孿生網絡采用二分類交叉熵作為損失函數。由于須通過Sigmoid函數將樣本對之間的距離映射到[0，1]之間，以表示樣本對的相似度，在分類任務中交叉熵損失與Sigmoid函數常搭配使用，故考慮采用二分類交叉熵損失函數。為了防止網絡過擬合，在損失函數中添加L2權重衰減，公式為

(10)

式中：h0(x1,x2)為樣本對的相似值；y′(x1，x2)為樣本對的標簽；λ為自定義的超參數；n為樣本對的數量；w為權重值。

(11)

得到測試樣本與10個訓練樣本屬同一類的概率，概率值越大，樣本對越相似。選擇概率值最大的軸承狀態作為測試樣本的軸承狀態，該測試過程為單樣本測試，計算公式為

(12)

3 實驗

3.1 數據來源與數據處理

使用凱斯西儲大學軸承數據進行實驗，實驗軸承型號為深溝球SKF6205，信號采樣頻率為12 kHz。使用電火花加工技術在被測軸承的內圈、滾動體以及外圈上設置單點故障，每個位置上的3種故障直徑分別為0.177 8、0.355 6、0.533 4 mm，共9種故障類型。

使用滑動窗口技術對訓練集進行采樣，采樣過程如圖3所示。可知：從原始振動信號的起始點開始，每次采集1 024個數據點，采集完成后滑動窗口向后移動80個數據點繼續采集，直到采集完整個原始數據。數據集的劃分如表2所示，該數據集在0.746、1.491、2.237 kW三種混合負載下制作，包含9個故障類型和1個正常類型，總共10種類型，共計10 000個訓練樣本和750個測試樣本。CWRU軸承樣本劃分如表2所示。

表2 CWRU軸承樣本劃分

圖3 滑動窗口采樣

3.2 不同骨干網絡對孿生網絡結構的影響

為了研究不同骨干網絡對孿生網絡結構性能的影響，考慮采用具有代表性的CNN和LSTM作為孿生網絡的骨干網絡。孿生網絡的骨干網絡主要用來提取特征，利用CNN提取軸承振動信號的空間特征，利用LSTM提取軸承振動信號的時序特征。使用CNN與孿生CNN模型(Siamese CNN，SCNN)對比，LSTM與孿生LSTM模型(Siamese LSTM，SLSTM)對比。該實驗從訓練集的每類樣本中分別隨機選取50個樣本，共500個訓練樣本進行訓練，全部 750個測試樣本進行測試，學習率為0.001，batch_size為32。為了更準確判斷故障識別效果，將準確率、F1分數、精確率和召回率作為評價指標。

3.2.1 骨干網絡為CNN神經網絡

設置四層卷積網絡作為骨干網絡搭建的卷積孿生網絡模型如圖4所示。可知：卷積網絡模型具有對稱性，無論樣本對的順序如何，預測的結果相同。第一層CNN采用尺寸為64×1較大的卷積核，卷積核個數為16，較大的卷積核能夠在第一層過濾掉噪聲干擾；第二層CNN采用尺寸為3×1較小的卷積核，卷積核個數為32；第三層CNN和第四層CNN同樣采用尺寸為3×1較小的卷積核，卷積核個數為64，較小的卷積核可以充分挖掘振動信號隱含的故障特征。每一個卷積層后面緊跟一層池化層，池化層的主要作用是降維。為了在降維的同時不丟掉過多的信息，設置池化層的尺寸為2×1。依次堆疊不同層數的CNN做實驗，經過實驗驗證，五層卷積效果同四層卷積效果持平，故只做四層CNN的對比。

圖4 卷積孿生網絡模型

骨干網絡為CNN的故障診斷效果如表3所示，可知：兩層CNN、三層CNN和四層CNN在使用孿生網絡結構之后準確率、F1分數、精確率和召回率性能都有提高，準確率平均提高1.08%。體現了將孿生網絡結構用于故障診斷的優越性。

表3 骨干網絡為CNN的故障診斷效果

3.2.2 骨干網絡為LSTM神經網絡

LSTM是一種循環神經網絡，參數較多，訓練速度較慢。采用Keras中的CuDNNLSTM函數建立網絡模型，CuDNNLSTM在GPU上運行，可以大幅度提高運行速度。骨干網絡為LSTM模型的參數值如表4所示。LSTM一般使用兩到四層[21]。由表4可知，將LSTM的隱藏神經單元設置為28，后面連接一個展平層和節點數為100的全連接層。為避免模型過擬合，加入Dropout操作，網絡中的神經元以0.2的概率被置為0。

表4 骨干網絡為LSTM模型的參數值

骨干網絡為LSTM的故障診斷效果如表5所示，可知：二層孿生LSTM模型、三層孿生LSTM模型和四層孿生LSTM模型的故障分類準確率分別為92.72%、94.68%和91.60%，比二層LSTM模型、三層LSTM模型和四層LSTM模型分別提高6.72%、4.42%和3.20%。擴展為孿生網絡結構后準確率明顯上升，平均提高4.78%，其中骨干網絡使用三層LSTM效果最佳，體現出孿生網絡結構在軸承故障分類任務中有助于改善故障診斷效果。三層孿生LSTM模型在訓練集上的損失和測試集上的準確率曲線如圖5所示?？芍涸诘? 000輪左右時，模型開始收斂，損失波動較小并趨于穩定。

表5 骨干網絡為LSTM的故障診斷效果

圖5 三層孿生LSTM模型的準確率P和損失L曲線

為了直觀地展示提取到的特征，利用t-SNE進行特征可視化。三層孿生LSTM模型對測試集進行特征提取后通過t-SNE降至2維的結果如圖6所示，可以看到：不同類別故障信號之間有著清晰的界限，能夠區分不同類別的故障信號。

圖6 三層孿生LSTM模型特征降維結果

三層孿生LSTM模型提取到的特征在三維空間中的分布如圖7所示，可以看到：10種軸承類間間距較大，特征分類明顯，類內間距較小，樣本聚集程度高，不同故障類別的特征得到了較好的分類效果。

圖7 特征在三維空間中的分布

3.3 不同樣本數量對孿生網絡的影響

由第3.2節實驗知四層CNN與三層LSTM分別作為孿生網絡的骨干網絡提取特征效果較好，故該實驗選用四層CNN和三層LSTM作為孿生網絡的骨干網絡，其中CNN模型與孿生CNN模型的骨干網絡參數保持一致，LSTM模型與孿生LSTM模型的骨干網絡參數保持一致。為降低實驗數據的偶然性，每個模型在數據集上各重復做5次實驗，取平均值。

從數據集訓練樣本每類中隨機選取4、8、16、24、40、80個樣本進行5 000輪訓練，每組實驗均使用全部750個測試樣本進行測試，將訓練樣本數小于測試樣本數作為小樣本數據量的界限，診斷結果如表6所示?？芍篊NN模型、LSTM模型、孿生CNN模型和孿生LSTM模型的識別準確率都隨著訓練樣本數量的增加而提高；利用傳統的LSTM模型在樣本較少時進行診斷，在測試集上的準確率并不高，與文獻[22]結果相符；當訓練樣本的數量達到800時，孿生CNN和孿生LSTM模型準確率都能達到90% 以上，均有較高的分類精度。當訓練樣本為80個時，孿生CNN模型比CNN模型高2.00%，孿生LSTM模型比LSTM模型高10.40%；當訓練樣本數量僅有40個時，孿生CNN和孿生LSTM診斷準確率顯著高于同條件下的CNN和LSTM模型。訓練樣本數量越少，擴展為孿生網絡結構后準確率提升效果越明顯，說明了孿生網絡在小樣本故障診斷中的優越性。

表6 訓練樣本數量對診斷結果的影響

4 結論

針對軸承故障樣本有限情況下，基于傳統深度神經網絡的故障診斷方法準確率低的問題，作者將傳統的CNN和LSTM網絡模型擴展為孿生網絡模型，在公開數據集上進行大量故障診斷實驗，對測試結果進行對比及分析，得到以下結論：

(1)傳統神經網絡可通過構建兩個分支擴展為孿生網絡結構的框架。

(2)傳統網絡模型擴展為孿生網絡結構后，準確率、F1分數、精確率和召回率都有上升，提高了故障診斷的性能。

(3)在小樣本條件下，孿生網絡結構提升診斷效果更明顯。在訓練樣本數量為80個時，孿生CNN網絡結構的識別準確率達到88% 以上。

本文作者的貢獻是通過使用不同的骨干網絡進行實驗，提供將骨干網絡擴展為孿生網絡結構的方法，表明了孿生網絡結構在小樣本軸承故障診斷中的優越性，有助于提升診斷效果。下一步的研究內容是把信號轉成二維圖像輸入到孿生網絡中，進一步探究孿生網絡的性能。