基于注意力機制的雙向門控循環單元網絡齒輪故障識別系統

馮賢洋， 何荇兮， 符禮丹， 陸彬春， 陳鳴輝

（重慶大學 機械傳動國家重點實驗室，重慶 400044）

齒輪箱的應用十分廣泛，是汽車等機械設備的核心部件，變速器在汽車傳動系統中的連接對動力傳輸起著重要作用。齒輪作為齒輪箱中最核心以及故障比例最大的傳動部件［1］，其故障診斷對減少生產事故引發的經濟損失和人員傷亡具有重要意義。齒輪故障診斷的核心在于對齒輪故障信號的特征提取和分類，傳統的時、頻域齒輪故障診斷方法對齒輪局部缺陷的診斷成功率較低，或者受限于特征分析人員相關的專業經驗［2］。

神經網絡可以自主學習建立輸入和輸出的非線性映射關系，自主提取特征完成分類，在齒輪故障診斷方面的應用越來越多。WAQAR等［3］采用反向傳播BP神經網絡對齒輪箱進行故障診斷，使用功率譜對信號進行處理，再將信號輸入到BP神經網絡模型，通過試驗驗證了BP神經網絡對于齒輪箱的故障診斷方面有著較好的識別率。循環神經網絡（Recurrent Neural Network，RNN）是一種帶時序信息的反向傳播網絡，廣泛應用于基于時間序列的數據分析［4］。RNN由于梯度消失和梯度爆炸的原因只擅長短期記憶，其變體長短期記憶網絡（Long Short-Term Memory，LSTM）通過門控制將短期記憶與長期記憶相結合，一定程度上解決了梯度消失的問題。趙慧敏等［5］使用基于分數階傅里葉變（Fractional Fourier Transformation，FRFT）分析出故障齒輪所在擋位的嚙合分量，用LSTM進行齒輪故障識別，試驗驗證了LSTM處理基于時間序列的齒輪故障數據的有效性，且LSTM比BP神經網絡有著更高的齒輪故障識別率。LSTM通過門控狀態對信息進行選擇性記憶，滿足了長時間記憶和遺忘信息的需求，然而模型結構更復雜、參數更多。門控循環單元網絡（Gate Recurrent Unit，GRU）是基于LSTM的一種改進變體，與LSTM相比GRU沒有細胞狀態，直接利用隱藏狀態進行信息傳輸，其結構更簡單、參數更少、訓練速度更快，且精度相差不大。王增平等［6］提出了一種基于GRU的深度學習網絡模型，用于時序性短期電力負荷數據的預測。該模型和LSTM的對比結果表明該模型預測準確率更高、預測速度更快。但是當輸入時間序列較長時，LSTM與GRU都易丟失序列信息，因此添加AM，對輸入特征賦予不同權重，能保留重要信息不隨時間序列的增加而消失，增加模型的準確率。趙兵等［7］提出了基于AM的CNNGRU模型預測電力負荷，該模型和卷積神經網絡（Convolutional Neural Networks，CNN）、GRU以及CNN-GRU三種模型的對比充分說明了GRU模型在處理時間序列的數據方面有更高的預測精度，注意力機制能學習參數矩陣，進行更好的權重分配，加強重要信息的影響。由于GRU是在犧牲精準度的情況下對LSTM復雜結構進行簡化，為進一步提高準確率，將單層網絡改為雙層網絡，能更好地捕捉當前狀態信息以及前后時間序列的有效信息。王維鋒等［2］提出了雙層長短時記憶（Bi-LSTM）網絡模型用于齒輪故障診斷， 對比試驗表明Bi-LSTM比LSTM模型的齒輪故障識別準確率高1.32%。王寧等［8］使用雙向GRU（Bi-directional GRU， Bi-GRU）模型對裁判文書中的判決結果傾向性進行分析，Bi-GRU模型使用了雙層GRU結構，通過正向掃描可以獲取當前時間之前的時間序列特征，逆向掃描則可獲取當前時間之后的時間序列特征，比GRU提取特征更加充分，模型識別判決結果的準確率也更高。

基于以上分析，本文提出了一種基于AM的雙向門控循環單元網絡的齒輪故障識別模型進行故障分類，免去了人工構造特征和提取特征的過程，由神經網絡自主學習來自動建立特征，并建立特征的映射關系。

1 齒輪故障識別模型

1.1 雙向門控循環單元網絡

RNN由于具有記憶序列信息的能力，在時間序列的數據處理中得到了廣泛的應用［9］。LSTM［10］通過解決傳統RNN的消失梯度問題，避免了傳統RNN在學習時丟失過多信息。LSTM通過3個門（輸入門、輸出門和遺忘門）能連續地實現傳送時序信息和更新記憶單元。GRU［11］是LSTM 3門設計的一種改進變體，如圖1a所示。GRU可以通過重置門和更新門對時序信息進行更有效的處理。與LSTM相比，GRU沒有細胞狀態，直接利用隱藏狀態進行信息傳輸。因此，GRU的結構更簡單，參數更少，訓練速度更快。GRU的計算過程如式（1）～（4）所示。

圖1 GRU及Bi-GRU結構圖

1.1.1 更新門

更新門的功能相當于LSTM中的遺忘門和輸入門，它決定了要被遺忘的信息和需要被添加的新信息。將當前神經元的輸入xt和前一個神經元隱藏狀態ht-1輸入到更新門zt時，更新門的計算為：

式中：Whz為上個神經元隱藏狀態與更新門之間的權值；Wxz為當前神經元輸入與更新門之間的權值；bz為更新門的偏置項；σ(·)為sigmoid函數。

更新門的值越大，表示網絡遺忘更多前一個神經元隱藏狀態中的信息，從而保留更多當前神經元內的信息。

1.1.2 重置門

重置門代表傳遞的隱藏狀態信息被遺忘的程度。將當前神經元的輸入xt和前一個神經元的隱藏狀態ht-1輸入到重置門ht-1時，重置門的計算為：

式中：Whr為上個神經元隱藏狀態與重置門之間的權值；Wxr為當前神經元輸入與重置門之間的權值；br為重置門的偏置項。

1.1.3 備選隱藏狀態產生

通過當前神經元的輸入xt和經過重置門的前一個神經元隱藏狀態rt·ht-1，可以得到備選隱藏狀態?ht，如式（3）所示。

式中：Wxh為當前神經元輸入與當前候選隱藏狀態之間的權值；W為權值矩陣；tanh (·)為雙曲正切函數。

1.1.4 最終隱藏狀態的產生

通過更新門zt，前一個神經元的隱藏狀態ht-1和候選隱藏狀態，可計算得到該神經元的隱藏狀態ht：

本文通過使用GRU實現了RNN網絡結構的優化，但通過考慮上下文信息可以對時序信息的處理過程做進一步改進［12］。因此，本文使用了由兩個GRU層集成的Bi-GRU模型，如圖2所示，Bi-GRU模型由前向GRU層和后向GRU層組成，能同時處理從前向后和從后向前的信息，即能有效利用過去和未來的信息。假設輸入序列有k個時間步長，在訓練過程中，隱藏狀態和可以分別提取正、反向的時序特征，如式（5）和式（6）所示。

圖2 Bi-GRU結構圖

將兩個方向隱藏狀態合并得到最終的時間特征gt，如式（7）所示。

1.2 注意力機制

注意力機制（AM）被廣泛應用于機器視覺和自然語言處理［13］，目的是提取最有價值的信息。在數據處理過程中，冗余信息會造成時間和資源的浪費，因此，注意力模型被提出用于計算不同特征的權重。Bi-GRU模型一共會輸出k個不同的隱藏層狀態，即k個不同的時序特征。然而，每一個時序特征都提供了不同的信息，對最終的分類有不同的貢獻。本文在Bi-GRU層之后引入一個注意力層［14］，如式（8）所示。

式中：α為每個特征所占的權重；W和w分別為權重矩陣和權重向量；b為偏置項。因此，注意力層可以給Bi-GRU模型提取的每個時態特征賦予適當的權值，并將特征融合到最終的時序特征F中，如式（9）所示。

1.3 Bi-GRU-AM網絡模型

本文建立了基于AM的Bi-GRU齒輪故障識別網絡模型，即Bi-GRU-AM模型，模型結構見表1。利用Bi-GRU模塊同時實現正向和逆向時序特征的自動提取，并在特征提取后引入注意力層（AM層），為每個提取到的特征分配權重。這些特征會通過加權的方式整合合并。最后，模型使用全連接層對最終的特征進行分類，實現對齒輪故障位置和尺寸的預測。與傳統特征提取方法不同的是，本文的網絡是一個端對端的整體，不需要手動分離的特征提取和篩選過程，極大地提高了分類效率。采用Dropout技術隨機去除一定比例的神經元，從而防止出現網絡過度擬合現象。

表1 Bi-GRU-AM模型結構

2 試驗及結果分析

2.1 試驗裝置

2.1.1 齒輪箱

本文采用實驗室的平行軸二級齒輪箱，齒輪箱各項參數見表2。

表2 齒輪箱工作參數

2.1.2 故障齒輪

試驗齒輪包括健康齒輪、30%斷齒齒輪和30%齒面剝落齒輪，圖3為試驗齒輪，最左側為健康齒輪，中間為30%斷齒齒輪，其中斷齒部分用紅圈標出，最右側是30%齒面剝落齒輪。

圖3 試驗齒輪

2.1.3 數據采集裝置

齒輪箱振動信號采集可選擇箱體或軸承座作為采集點，但受內部軸承、齒輪軸、箱體、齒輪等部件的互相影響，且這種方式采集到的振動信號也夾雜著大量的噪聲。而齒輪箱內部溫度高，油液較多，空間有限，因此，本文使用自主設計的嵌入式采集裝置安裝在齒輪的通孔中，直接采集故障齒輪的振動信號。振動信號采集裝置安裝圖，如圖4所示；振動信號采集裝置安裝局部圖，如圖5所示。

圖4 振動信號采集裝置安裝圖

圖5 振動信號采集裝置安裝局部圖

采集系統使用基于微處理器（Advanced RISC Machines，ARM）架構Cortex M4內核的STM32F4 07ZGT6型號的芯片作為主控板的主芯片，3.7 V鋰電池作為其供電電源，AD7606外置模擬數字轉換器（Analog-to-Digital Converter，ADC）作為數模轉換器，NRF24L01作為振動數據無線傳輸模塊，加速度計采用ADXL001。封裝殼體直徑為50 mm，材質為耐熱、耐油、抗腐蝕的玻璃纖維，封裝后安裝在齒輪的通孔中。為了避免引入不平衡干擾，在均勻分布于齒輪圓周的4個通孔中均放入采集裝置，并將無線模塊放置到需要進行數據采集的那個裝置的殼體外，以減輕無線信號的屏蔽強度，其余3個采集裝置的無線模塊均放在殼體內。

2.1.4 試驗平臺

試驗平臺由齒輪振動數據采集裝置、試驗臺架等組成，如圖6所示。數據采集裝置由ADXL001加速度傳感器、微控制單元（Microcontroller Unit，MCU）主控板、MCU接收板以及用于控制MCU接收板進入無線指令對接模式的計算機等組成，試驗臺架由齒輪箱、驅動電機和摩擦負載組成。

圖6 試驗平臺

2.2 數據分析

2.2.1 數據采集

數據采集裝置使用自主設計的主控采集板，數據接收板使用STM32F407商用采集板，主控板以5kHz采樣頻率進行數據采集，并通過無線模塊發送至齒輪箱外的接收板，接收板接收數據并通過串口傳輸至電腦。每種類型的故障齒輪采集30 s的數據，即一共150 000個數據，健康齒輪、斷齒齒輪、剝落齒輪3種齒輪的數據一共有450 000個，每種故障類型的齒輪數據繪圖1 s后得到不同齒輪狀態時域波形，如圖7所示。從時域振動信號波形難以對齒輪箱狀態進行分類，信號波形沒有明顯的周期性特征，與正常齒輪相比，故障齒輪信號能量有所改變。

圖7 不同齒輪故障類型時域圖像

2.2.2 數據增強

采集系統采集到的健康齒、斷齒、剝落齒3種不同故障類型的數據，每種類型的數據有150 000個數據。神經網絡的訓練需要的數據量較大，本文采用數據增強技術，采用1 500個數據為寬度的滑動窗口從第0個數據開始，以固定大小為30個數據的步長在原始數據集上進行滑動來采集樣本，每滑動一次，就將窗口內的數據當作一個樣本存儲起來，一共取得4 000個樣本。對于3種故障齒輪，一共會采集12 000個樣本，每個樣本有1 500個數據點。同時，每個樣本在訓練之前為了方便神經網絡訓練均做了歸一化處理。

2.3 Bi-GRU-AM模型訓練

首先，將經過預處理的齒輪數據以7∶2∶1的比例劃分為訓練集、驗證集和測試集，見表3。其次，將訓練集的數據輸入給Bi-GRU-AM模型。每條樣本的維度是1×1 500，輸入給Bi-GRU模型的數據維度是150×10，即150個時間步長，每個時間步長的輸入維度是10。使用反向傳播進行模型內部參數的訓練，直到模型收斂。然后利用驗證集進行模型的參數調節。最后，將訓練好的模型在測試集上進行測試，得到模型最終的準確率。試驗目的是通過訓練集使模型學習到數據與分類標記的內在聯系，從而能判斷測試集上齒輪的故障部位和尺寸。為進一步驗證模型的正確性，還將該模型與GRU模型以及移除注意力機制的Bi-GRU模型進行對比。

表3 數據集劃分詳情表

2.4 模型對比結果

模型在訓練集上訓練收斂后，在驗證集上確定出最優的參數。模型最終采用的優化器為Adam，學習率為0.000 8，迭代次數為10次，每次訓練的樣本個數為12 000個。在測試集上，Bi-GRU-AM模型得到的平均準確率為99.67%。而對比GRU模型和Bi-GRU模型得到的平均準確率分別為90%和99.3%，比Bi-GRU-AM模型的平均準確率分別低了9.67%和0.67%。

2.5 結果分析

本文將GRU、Bi-GRU和Bi-GRU-AM三個模型進行了對比。試驗結果表明，Bi-GRU模型比GRU模型的效果更好，而Bi-GRU-AM比Bi-GRU的準確率更高。AM可以顯著提升Bi-GRU模型的效果。

從原理上看，Bi-GRU模型能夠通過正向和反向的兩個GRU模塊提取更多的時序信息，從而提升了GRU的效果。當Bi-GRU模型與AM層結合后，更多的信息可以被有效地整合，進一步提升了準確率。因此，本文提出的網絡結構對比基于傳統人工提取特征的模型，實現了自動提取特征和自動分類的一體化流程。在使用Bi-GRU網絡模型的基礎上，又使用基于AM模型的方法，無需對提取的特征進行手動篩選，從而實現了自動對特征加權，提升了特征的有效利用率，同時解決了因特征選取不當而導致的預測精度低的問題。

3 結論

本文采用基于STM32F4系列的嵌入式工程板進行故障齒輪數據采集，使用基于注意力機制的雙向門控循環單元網絡模型進行齒輪故障識別，實現了端對端的齒輪故障識別效果。Bi-GRU模型的正、反向兩個GRU模塊可以提取更多的時序信息來提升GRU模型效果，注意力機制實現自動對特征加權，提高了特征有效利用率。試驗結果表明，Bi-GRUAM模型相對于GRU模型和Bi-GRU模型的齒輪故障識別的準確率更高，可以更好地用于齒輪故障診斷。