基于遷移學習的小樣本軸承故障診斷方法研究

張西寧,余迪,劉書語

(西安交通大學機械制造系統工程國家重點實驗室,710049,西安)

滾動軸承作為廣泛應用的基礎零部件,其工作狀態直接影響著整臺設備的正常運行,在旋轉機械中有舉足輕重的作用[1]。隨著“大數據”時代的到來,以低密度、大數量、多形式為特征的大數據給軸承監測診斷帶來了新的挑戰[2]。傳統基于人工信號處理的方法已不能滿足大數據的需求[3],以“數據驅動”的深度學習方法在診斷識別領域嶄露頭角,并取得了大量成果[4-7]。由于滾動軸承型號繁多,運行工況也相差各異,基于深度學習的軸承診斷方法在實踐中遇到了訓練數據不足或樣本標簽缺失等小樣本問題;且不同工況和型號下軸承狀態數據分布不同,無法使用同一網絡進行分類,需要開展遷移學習研究[8]。

為解決小樣本問題,目前診斷中常采用擴充數據以及改進網絡結構的方法。黃南天等提出了一種改進輔助分類生成對抗網絡,生成與少量數據概率分布相同的大量樣本[9]。Hu等使用階次跟蹤和重采樣處理不同轉速的軸承數據,使用適應批標準化網絡進行跨工況故障分類[10]。Zhang等設計了一種多尺度緊湊卷積神經網絡,使用較少網絡層提取多尺度信號特征[11]。劉書語等對卷積核和池化方式進行改進,在變轉速多軸承數據集上達到了98.4%的準確率[12]。Li等使用參數遷移網絡,實現了不同型號軸承數據的故障分類[13]。

本文對卷積神經網絡的結構進行改進,與參數遷移學習結合,提出了一種用于小樣本的遷移學習軸承診斷方法。

1 理論基礎

1.1 遷移學習

遷移學習是采用已有知識對不同但相關領域問題進行求解的機器學習方法[14],在目標域樣本稀少而相關領域樣本數充足的情況下具有很大優勢。源域與目標域不需要有相同數據分布,訓練過程只需較少數據,克服了傳統機器學習的缺點。遷移學習在軸承故障診斷研究中取得了一定的成果[15-18],具有重要意義。

因此,遷移學習的任務如圖1所示,對于給定的目標域,借助已有源域和源任務的知識,建立從目標域數據到標簽的映射函數,完成目標任務。

圖1 遷移學習原理示意圖Fig.1 Schematic diagram of transfer learning principle

1.2 全局均值池化

卷積神經網絡是最有代表性的深度學習網絡之一,結構上由輸入層、特征提取層和分類層組成[20]。卷積層的局部感知、權值共享以及池化層的下采樣等結構特點減少了特征提取網絡的參數,降低了運算量,提高了其泛化能力。分類層的全連接網絡有大量的參數,為了避免過擬合現象,網絡訓練仍然需要大量的數據。

以計算機視覺中具有代表性的3個卷積神經網絡模型LeNet-5、AlexNet、VGG16為例,分析其參數分布情況[21],卷積層和全連接層的參數占比如圖2所示。全連接層參數量占了網絡參數量的絕大部分,因而增大了訓練的計算量,降低了模型的泛化能力。如果能減少全連接層的參數量,同時保證網絡的特征提取和分類能力,可以進一步降低網絡復雜度。

圖2 3種典型卷積神經網絡的參數分布情況Fig.2 Parameter distributions of three typical convolutional neural networks

全局均值池化層是可以取代全連接層的一種網絡結構。網絡提取特征后,將全局均值池化層處理的特征向量經SoftMax函數計算得到輸出。SoftMax函數是對有限項離散概率做對數運算的歸一化

(1)

(a)全連接層 (b)全局均值池化層圖3 全連接層與全局均值池化層結構對比示意圖Fig.3 Comparison of structure of fully connected layer and global average pooling layer

采用固定較淺層網絡結構參數、微調較深層的方式進行參數遷移學習。因此,當目標域有標簽數據較少時,在小樣本下訓練包含大量參數的全連接層,會產生過擬合現象,網絡會學習到大量與故障信息無關的特征,從而降低在測試集上的分類效果。采用基于全局均值池化層的改進網絡,能有效避免這一問題。

2 改進遷移學習網絡模型

本文建立的基于全局均值池化層的改進卷積神經網絡模型如圖4所示,信號經多層網絡進行特征提取,對特征做全局均值池化處理后,經SoftMax函數計算各分類標簽的預測結果得到輸出層。每一卷積層都采用4個尺寸為15、步長為1的卷積核進行等長卷積;池化層采用尺寸為2、步長為2的最大值池化方式;激活函數采用指數線性單元函數[22],其數學表達式如下

(2)

圖4 基于全局均值池化層的改進卷積神經網絡結構Fig.4 Schematic diagram of improved convolutional neural network structure based on global mean pooling layer

該激活函數在正值區間輸出梯度始終為1,避免梯度彌散現象;在負值區間具有軟飽和特性,增強了網絡對噪聲的魯棒性。

本文所使用參數遷移學習方法如圖5所示。首先在源域上預訓練改進卷積神經網絡;將網絡結構和網絡參數遷移至目標域;固定較淺的前3層網絡不再進行訓練;在目標域上使用少量的訓練數據微調深層網絡;最后在目標域的測試數據上進行預測分類。方法的數學描述如下

(3)

(4)

圖5 所提遷移學習方法示意圖Fig.5 Schematic diagram of the proposed transfer learning method

在圖3a中,假設全連接層兩層尺寸分別為300和50,改進前后網絡模型的參數量比較見表1。保持卷積層結構不變,能夠保證其原有的特征提取能力;而全局均值池化層使網絡總參數和待微調參數分別減少至6.36%和3.09%,可以有效地減輕過擬合現象。

本文將隨機遺忘法[23]和學習率衰減法應用于優化網絡的訓練過程。在每一批次訓練中,以給定概率,隨機使部分隱層神經元輸出為0,反向傳播過程中不對其進行更新,保留其梯度,待下個批次再恢復這部分神經元。重復這一過程直至訓練完成。隨機遺忘法減弱了不同神經元間的聯合適應性,增強了網絡的魯棒性。學習率衰減法在訓練開始采用較大的學習率,隨著訓練輪次的增加,以給定方式減小學習率。較大的初始學習率可以克服噪聲信息對網絡的干擾,而減小學習率可以提高網絡對復雜模式的提取能力。

表1 改進前后的網絡參數量對比Table 1 Comparison of network parameters before and after improvement

3 軸承故障診斷實驗驗證及分析

3.1 跨工況遷移故障診斷實驗

凱斯西儲大學軸承數據集是目前應用最多的標準軸承故障診斷數據集之一[24]。本文實驗平臺包括電機、軸承、轉矩傳感器、編碼器、功率器和其他電子控制設備等,被測試軸承為驅動端軸承,型號為SKF6205軸承,實驗采樣頻率為12 kHz。使用電火花燒傷的加工方式在軸承上布置了單點故障,類型分別是滾動體損傷、外圈損傷與內圈損傷,共有4種健康狀態。軸承工作狀態以及故障信息見表2。

表2 凱斯西儲大學軸承數據集故障信息Table 2 Case Western Reserve University Bearing Data Set Failure Information

選擇不同的轉速及負載,構建4組不同工況的軸承故障數據集,每個數據集里各健康狀態各有25個樣本數據,共計400個。從時域信號的第1個點開始,取連續的2 400個點作為一個樣本,相鄰樣本之間重疊1 200個點。使用本文所提出的改進遷移學習網絡模型,進行小樣本下跨工況軸承故障診斷實驗。

實驗1:比較使用全連接層的卷積神經網絡(CNN-FC)和使用全局均值池化層的改進卷積神經網絡(CNN-GAP)。隨機選取1%的數據作為訓練集,其余的數據作為測試集,在各個工況下進行訓練和分類預測,取多次實驗的平均值作為結果,預測分類結果見表3。

表3 小樣本下兩種卷積網絡的故障分類結果Table 3 Fault classification results of two convolutional networks taking small samples

實驗2:比較兩種網絡跨工況遷移學習(TL-FC、TL-GAP)的預測分類結果。在源域上以100%的數據進行預訓練,在目標域上隨機選取1%的數據進行微調,在其余數據上進行測試,結果見表4。

表4 小樣本下跨工況遷移學習方法故障分類結果Table 4 Fault classification results of cross-condition transfer learning method taking small samples

3.2 跨型號、跨工況遷移故障診斷實驗

實驗臺及采集系統如圖6所示。滾動軸承固定在安裝座內,通過預緊裝置對其進行軸向預緊,安裝座上的繩索通過滑輪與不同質量的重物相連,模擬軸承的徑向載荷。測試軸承型號為6308軸承,采樣頻率為10 kHz。預制有4種健康狀態,分別為正常、外圈剝落、內圈剝落和滾動體剝落。其中內圈和外圈采用激光加工的方法,設置損傷直徑分別約為0.5、1、2、3 mm,代表輕微、中等、嚴重、最嚴重4種故障程度,控制激光加工時間使損傷深度約為0.2 mm。滾動體采用砂輪機磨削的方法,損傷面積分別約為10、20、40、60 mm2。軸承工作轉速為1 200 r/min。

(a)結構示意圖

(b)實驗臺圖6 實驗室軸承實驗臺及結構示意圖Fig.6 Laboratory bearing test bench

如表5所示,分別將凱斯西儲大學數據集記為數據集A,實驗室軸承數據集記為數據集B,進行跨型號、跨工況的故障診斷。

表5 軸承數據集故障信息Table 5 Bearing data set failure information

實驗3:隨機選取1%的數據作為訓練集,其余數據作為驗證集,比較使用全連接層的卷積神經網絡(CNN-FC)和使用全局均值池化層的改進卷積神經網絡(CNN-GAP),在兩個數據集上的預測分類結果見表6。

表6 小樣本下兩種卷積網絡的故障分類結果Table 6 Fault classification results of two convolutional networks with small samples

實驗4:比較兩種網絡跨工況跨型號遷移學習(TL-FC、TL-GAP)的預測分類結果。在源域上以100%的數據進行預訓練,在目標域上隨機選取1%的數據進行微調,在其余數據上進行測試,預測分類結果見表7。

3.3 結果分析

由表3和表6中兩種卷積網絡的分類準確率可見。當訓練集僅占全部數據的1%時,使用全局均值池化層的效果明顯好于使用全連接層。在兩個數據集上的平均結果由54.61%提升到了86.68%,說明改進后的卷積神經網絡使用全局均值池化層有效地避免了過擬合問題,同時保留了卷積層的特征提取能力。

表7 小樣本下跨工況、跨型號遷移學習故障分類結果Table 7 Cross-condition and cross-type transfer learning fault classification results with small samples

由表3和表4中使用全連接層卷積神經網絡的分類結果可知,跨工況下遷移學習方法使分類準確率有一定提高,平均結果由44.25%提升至54.07%。由表6和表7可知,跨型號下遷移學習的分類準確率輕微地降低,說明此時數據集之間的差異太大,遷移學習方法起到的作用不是很大。

在全局均值池化的卷積神經網絡中,遷移學習方法使分類準確率得到了進一步提升。在跨工況下,遷移學習使分類準確率由90.70%提升到了91.87%;在跨工況跨型號下,準確率由86.68%提升至了92.25%。

在一次以數據集A為源域、數據集B為目標域的遷移學習訓練中,實驗室實測軸承數據集上的混淆矩陣見圖7。全體分類準確率為94.40%,其中外圈故障和正常軸承分類準確率達到100.00%。對輸入數據經卷積層提取到的300維特征進行t-SNE降維,結果見圖8,可以看出,大部分數據被正確地進行了分類,而內圈故障和滾動體故障的分類效果較差。從故障機理上分析,滾動體與滾道之間可能會存在滑動現象,因此其故障特征復雜。從傳遞路徑上分析,滾動體故障與內圈故障時引起的沖擊振動傳播至傳感器時,需要經歷更多調制和轉換階段,傳遞路徑復雜[25]。因此,網絡在內圈故障和滾動體故障上提取到的數據特征出現混合,導致分類準確率比較低。在后續研究中可以增加微調樣本數來進一步提升網絡分類效果。

圖7 實驗室數據集故障分類混淆矩陣Fig.7 Classification confusion matrix of laboratory data set

圖8 實驗室軸承數據特征t-SNE分布圖Fig.8 t-SNE distribution map of laboratory bearing data characteristics

4 結 論

針對機器學習在小樣本訓練中的過擬合現象,本文從網絡結構和參數量的角度,提出了以全局均值池化層取代全連接層的改進卷積神經網絡。應用預訓練微調的遷移學習方法,在凱斯西儲大學軸承數據集和實驗室軸承數據集上進行了實驗驗證,得到如下結論。

(1)在訓練數據很少時,網絡待訓練參數量過大,傳統的卷積神經網絡會出現過擬合現象。由于大部網絡參數集中在全連接層,采用預訓練微調的遷移學習方法同樣會出現過擬合問題。

(2)在卷積神經網絡的結構中,使用全局均值池化層代替全連接層,減少了90%以上的網絡參數,減輕了過擬合現象,同時保證了卷積層的特征提取能力。

(3)在改進后的卷積神經網絡上使用預訓練微調的遷移學習方法,可以進一步提升網絡的分類效果。在跨工況、跨型號的遷移學習故障診斷中,網絡在目標域上的分類準確率平均達到了92.25%。該方法完成了遷移學習任務,基本滿足了軸承故障診斷的需求。