一種基于L2正則化遷移學習的變負載工況條件下故障診斷方法

宋旭東，朱大杰，楊杰，叢郁洋

(大連交通大學 計算機與通信工程學院，遼寧 大連 116028)

目前研究人員已經開始使用深度學習方法進行機械設備故障診斷[1].深度學習解決了傳統(tǒng)故障診斷方法存在的問題，它能直接從源域數據中提取有價值的特征，不需要再過度依賴專家對故障數據處理的經驗.但是，利用常規(guī)的深度學習進行故障診斷需要滿足一些前提條件，首先就是要對源數據做一個比較復雜的數據預處理，其次就是訓練網絡模型需要大量的故障數據.但是在變負載工況條件下，故障數據獲取困難，導致故障診斷模型準確率不高、存在過擬合以及泛化能力較弱等問題.近幾年，基于遷移學習的故障診斷受到了學術界的青睞，它可以將之前學習到的知識運用到當前任務當中，以此來實現(xiàn)對目標數據的分類.遷移學習可以不要求源域數據與目標域數據是獨立同分布的，它可以減少在新任務中對所要處理的數據進行重新打標簽所帶來的時間以及其他經濟成本.趙宇凱等將VGG16卷積神經網絡和遷移學習相結合，保留了網絡的低層權重，并用目標域數據對高層權重進行微調，提出了一種新的故障診斷方法[2]；吳定會等將一維卷積神經網絡和雙向門限單元進行結合，提出了一種新的遷移學習方法[3]；Wang等提出了一種基于ResNet的遷移學習方法[4];Han等將數據增強運用于卷積神經網絡，提出一種新的遷移學習方法[5]；胡明武提出了一種基于K近鄰算法的變負載軸承故障診斷模型[6]；劉布宇運用卷積神經網絡進行變負載下軸承故障診斷[7].現(xiàn)有的基于深度學習的遷移學習方法雖然能夠實現(xiàn)變工況下的軸承故障診斷，但是過擬合現(xiàn)象仍未得到很好解決，從而導致模型的泛化能力不高.

本文通過L2正則化遷移學習抑制模型過擬合，引入長短期記憶網絡(Long Short-Term Memory, LSTM)進行故障診斷模型訓練，最后利用少量目標域數據進行模型參數微調，最終構建基于L2正則化遷移學習的變負載工況下故障診斷模型.

1 相關技術

1.1 L2正則化遷移學習

正則化遷移學習是用來提高模型準確率，抑制過擬合，增強模型泛化能力，實現(xiàn)模型遷移的一種機器學習方法[8].L2正則化策略通過向目標函數添加如下正則項：

(1)

其中，w為權重參數.通過式(1)可知，L2正則化為各個權重參數的平方和.

相對其他正則化方法，L2正則化不會忽略特征，L2正則化通過對權重收縮來抑制權重過大，能獲取帶有更小參數的更簡單的模型，所以本文選擇L2正則化.

1.2 長短期記憶網絡

現(xiàn)有深度學習方法主要包括：循環(huán)神經網絡、卷積神經網絡和深度置信網絡.循環(huán)神經網絡有著更為精細的信息傳遞機制，LSTM作為循環(huán)神經網絡最為典型的一種網絡結構，能夠有效地解決大量數據長時間的依賴問題和數據序列過長導致的梯度爆炸問題，因此本文選擇LSTM網絡.

長短期記憶網絡結構如圖1所示.

圖1 長短期記憶網絡結構圖

長短期記憶網絡前向計算方法如下：

2 變工況條件下的故障診斷方法

通過引入L2正則化來達到變負載工況條件下的故障模型參數遷移，并通過采用長短期記憶網絡進行故障診斷模型訓練.

變工況條件下的故障診斷方法如圖2所示，給出了基于L2正則化遷移學習和長短期記憶網絡的變負載工況條件下的故障診斷流程，具體包括三個階段：①模型預訓練，對應流程圖左側進行的訓練；②模型參數遷移；③目標域模型訓練，對應流程圖右側進行的訓練.

圖2 變負載工況下故障診斷流程

引入L2正則化項后的故障診斷模型的目標函數可定義如下：

(8)

基于L2正則化遷移學習能夠較好地抑制過擬合，具有較高的泛化能力，可通過研究正則化后目標函數的梯度觀察L2正則化的表現(xiàn).

目標函數對應的梯度為：

(9)

權重更新公式如下：

(10)

化簡之后為：

(11)

模型預訓練階段可通過在源域中加入少量目標域的數據，對模型進行長短期記憶網絡預訓練，之后將訓練好的模型參數遷移到目標域中，目標域模型訓練階段可利用少量目標域數據，利用長短期記憶網絡對模型參數進行微調，最終構建具有一定泛化能力的故障診斷模型，模型診斷結果通過Softmax進行故障分類，Softmax公式如下：

(12)

式中，yk代表第K個神經元的輸出，共有n個神經元，zi代表第i個神經元的輸入信號.

3 模型實驗驗證

本文采用美國凱斯西儲大學(CWRU)的滾動軸承數據集進行實驗，實驗平臺主要由一個1.5 kW的電動機、一個扭矩傳感器/譯碼器、一個功率測試計以及電子控制器等設備組成.CWRU將加工過的故障軸承重新裝入測試電機中，分別在0、1、2和3 HP(HP是負載的單位，即馬力)的電機負載工況工作條件下記錄振動加速度信號數據.

本文所用的源域數據和目標域數據均為CWRU的滾動軸承數據集，故障數據集是在采樣頻率為12 kHz的驅動端處產生，源域數據和目標域數據來自不同的負載，源域數據為1 HP的數據樣本集，目標域數據為2 HP的數據樣本集，故障的位置分為外圈故障、內圈故障以及滾動體故障，故障的直徑為0.177 8、0.355 6以及0.533 4 mm.在預訓練階段，總的訓練樣本個數為7 000，其中源域數據樣本個數為6 000， 目 標 域 樣 本 個 數 為

1 000.每個樣本數據點為864.

本文實驗是基于Python語言，采用以TensorFlow為后端的Keras庫實現(xiàn)，計算機硬件基本配置為i7-8750H處理器，8 GB內存，Windows系統(tǒng).

3.1 L2正則化前后模型對比實驗

對比引入L2正則化遷移學習前后的長短期記憶網絡故障診斷模型，觀察模型實驗結果，實驗結果如圖3所示.

(a) 未加入L2正則化遷移學習

從圖中可以看出，加入L2正則化遷移學習后的長短期記憶網絡故障診斷模型和不加入正則化的診斷模型相比訓練數據的識別精度和測試數據

的識別精度差距縮小了，而且通過增加訓練次數，加入正則化后的模型在測試數據上的準確率也要高于未加入正則化的模型.通過以上實驗說明加入L2正則化后過擬合受到了抑制，模型的泛化能力得到了提升.

3.2 不同抑制過擬合方法對比實驗

將本文所用的L2正則化方法與其他抑制過擬合方法進行對比，實驗結果如表1所示.

表1 不同抑制過擬合方法實驗對比結果

通過表1 可知，本文運用L2正則化進行遷移學習軸承故障診斷的準確率和損失率要好于其他兩種抑制過擬合的方法.

表1評價指標中的準確率是分類正確的樣本數量與整組樣本數量的比值，公式如下所示：

(13)

式中，n是分類正確的樣本數量，N是整組樣本數量.

損失率評價指標采用小批量交叉熵誤差損失函數，公式如下所示：

(14)

式中，M是小批量數據的個數，pmi是正確解標簽，代表的是監(jiān)督數據，表示第m個數據中的第i個元素的值，ymi是神經網絡的輸出.

3.3 不同模型對比實驗

將加入L2正則化的長短期記憶網絡故障診斷模型(L2正則化LSTM)與常規(guī)深度學習模型，包括長短期記憶網絡(LSTM)、門控循環(huán)單元(GRU)以及雙向長短期記憶網絡(Bi-LSTM)進行遷移學習模型故障診斷準確率的對比，源域數據為1 HP，目標域數據為2 HP，實驗結果如表2所示.

表2 不同模型的遷移學習準確率對比結果

對于加入L2正則化的LSTM，模型的泛化能力得到了提高，過擬合得到了抑制，進而提高了模型準確率，而其他3個模型泛化能力不高且易發(fā)生過擬合，在變負載工況條件下，訓練數據的識別精度和測試數據的識別精度差距會放大，所以準確率不如本文所提出的方法高.

同時，將本文所提出的診斷方法與文獻[6]中的深度遷移學習的變工況下滾動軸承故障診斷方法進行對比，文獻[6]中的12種變工況的診斷方法中準確率最高為92.9%，低于本文所提出方法的準確率；文獻[7]中運用卷積神經網絡進行變工況下的軸承故障診斷，遷移之后的準確率為81%左右，要遠遠低于本文所提出的方法，進一步驗證了本文方法的有效性.

另外，針對不同數量的目標域樣本進行模型對比實驗，利用本文所提出的加入L2正則化遷移學習的長短期記憶網絡故障診斷模型與前面提到的三種常規(guī)深度學習故障診斷模型進行實驗對比，觀察不同目標樣本數下的準確率，實驗結果如圖4所示.

圖4 不同目標樣本數下的實驗對比

由圖4可知，在不同目標樣本數下利用上述四種網絡模型進行遷移學習軸承故障診斷的準確率整體呈上升趨勢，并且本文所提出的加入L2正則化遷移學習的長短期記憶網絡故障診斷模型的準確率要明顯高于其他三種，進一步驗證了本文所提方法的有效性.

4 結論

本文通過引入L2正則化來抑制模型過擬合、提升模型的泛化能力，進而實現(xiàn)模型參數遷移目的.針對變負載工況條件下的故障診斷應用需求，提出的一種基于L2正則化遷移學習的故障診斷方法，通過模型實驗驗證了所提出的方法對變負載工況條件下的故障診斷具有較高的準確性，具有較好的抑制過擬合和模型泛化能力.提出的方法能夠很好地應用于機械設備故障數據量少、故障數據難以獲取等實際應用場景，提出的方法具有一定實際意義和應用價值.