基于加權密集連接網絡和注意力機制的滾動軸承故障診斷

趙一瑾

(云南交通職業技術學院 交通信息工程學院，昆明 655000)

0 引言

滾動軸承是旋轉機械中最重要的組件之一，在飛機，風力渦輪機，鐵路軸和發電機等多個行業中具有廣泛的應用[1-2]。由于高速，重載，極端工作溫度和污染等嚴酷操作，軸承很容易發生故障。意外的軸承故障會破壞整個機械系統，停機時間和維護成本會大大增加運營成本。因此，檢測軸承故障至關重要，特別是在早期階段，可以提高系統的可靠性，也可以避免意外事故[3-4]。

當滾動軸承中存在局部缺陷時，會產生周期性或準周期性的脈沖，這意味著軸承故障能夠通過從非線性、非平穩的振動信號中提取可識別脈沖頻率來進行檢測[5]。早期的滾動軸承故障檢測方法主要使用小波變換[6]、經驗模態分解[7]、希爾伯特-黃變換[8]等數學工具提取故障特征，采用人工干預的方式判別軸承是否發生故障。這類方法雖然具有較優的檢測性能，但是由于過度依賴故障診斷專家的知識經驗，已經不能滿足當前大規模工業生產的需求[9]。近年來，機器學習被廣泛應用于故障檢測領域中，特別是具備自動特征提取和復雜任務處理優勢的深度學習的引入，極大提高了故障診斷的效率和正確率。Liu等[10]利用遞歸神經網絡在捕捉時間序列數據特征方面的突出能力，提出了基于門控循環單元的降噪自動編碼器方法用于檢測滾動軸承的異常情況并對故障類型進行分類。Wang等[11]提出了一種基于卷積神經網絡的隱馬爾可夫模型對機械系統的多故障進行分類。Wang等[12]提出了一種多尺度CNN網絡的故障檢測方法，利用振動數據在1維卷積和2維卷積通道中的不同特征組合來對故障進行高效分類。但是，上述方法對低噪聲環境中采集到的數據具有良好的診斷效果，但是當信號中存在嚴重干擾時，檢測效果欠佳。Zhang等[13]提出了一種基于端對端的深度學習模型用于克服噪聲。為了提高檢測精度，楊平等[14]提出了一種基于卷積膠囊網絡的故障診斷方法，通過使用2個卷積層來提取原始時域信號的特征，然后利用膠囊網絡來進行故障分類，經過大量數據的訓練后，該方法能夠在信號受到嚴重噪聲污染時，依然擁有良好的診斷性能。然而，在大多數應用中，滾動軸承的異常數據是很難獲得的。考慮由于異常數據的缺少而引起故障識別率降低的問題，Plakias等[15]提出了基于生成性對抗網絡的故障檢測方案，該方案中的生成器只學習正常樣本中的特征，故障發生的檢測結果由判別器基于表觀損失和潛在損失函數計算的異常分數給出。

針對上述存在的問題，本文提出了一種基于加權密集連接網絡和注意力機制的滾動軸承故障診斷的方法，用于解決復雜情況時檢測精度低和因訓練數據較少引起的性能下降的問題。該方法首先使用加權密集連接網絡將屬于不同空間表示級別的特征組成在一起，從而增強了提取信息的多樣性。然后，引入注意力機制，將突出每個注意向量中具有重要信息的區域，同時通過估計每個特征映射的加權平均值來處理特征序列中的時間相關性。最后，將獲得的特征信息輸入到故障分類模型，輸出每種故障類型的診斷結果。通過實驗證明，所提模型包含較少的學習參數，因此識別故障發生所需的訓練數據較少。同時，模型考慮了數據樣本的時間相關性，在存在加性噪聲的情況下提高了故障診斷性能并具有良好的魯棒性。

1 基于加權密集網絡和注意力機制的故障診斷方法

所提模型分為特征提取模塊和故障分類模塊兩個部分，如圖1所示。為了能夠從原始信號中提取更多有用信息，特征提取模塊使用加權密集連接網絡對每個時間步長的原始信號進行處理，用于捕獲空間相關性方面的故障特征；為了能夠準確表征滾動軸承故障的特征，特征提取模塊引入注意力機制，通過對故障特征進行適當的加權平均，獲得特征序列之間的時間相關性。故障分類模塊由批處理層、密集全連接層和Softmax函數組成，為了防止過度擬合現象的發生，該模塊還引入了dropout技術。

圖1 所提模型的整體框架

1.1 加權密集連接網絡

對于每個時間步ti，密集連接網絡將原始振動傳感器信號作為輸入，提取特征狀態映射gi。圖2給出了加權密集連接網絡的架構。

圖2 加權密集連接網絡架構圖

密集連接網絡的核心是卷積層[16]，它通過在輸入端使用卷積運算來模擬視覺皮層。為了實現該目標，使用核濾波器來估計多維輸出的特征映射。每個核濾波器對應于卷積層輸出中的一個特征狀態映射，用于實現權重共享。其數學定義為：

(1)

式中：gi和gi+1分別表示輸入和輸出，Kj表示卷積層中第j個核濾波器，bj表示偏置。如圖2所示，本文選擇3個密集塊組成，其中每一個密集塊中的卷積因針對不同的特征而設置了不一樣尺度，即卷積1、2和3的濾波器數分別為32、32和64，核尺寸為32、3和3。

為了能夠保證特征信息的多次利用，密集連接網絡在跨層連接時采用級聯方式，所有層均進行兩兩連接，從而使得網絡中的每一層的輸入包含前面所有層的輸出。使用密集連接網絡目的是利用卷積塊輸出之間的短路徑連接方式來保存網絡模型上的中間信息，提高網絡層之間的信息流動。同時，卷積塊輸出之間的級聯連接有助于誤差向早期層的傳播，并增強訓練過程中的梯度流。雖然密集連接網絡的跨層連接夠將低層表示與高層表示有效地結合，實現不同特征的提取，但是，也不可避免的造成了信息的冗余。而且每一個密集塊中的卷積操作的作用不同，提取的特征也各不相同，因此也需要區分特征的貢獻度。為了解決這一問題，本文對密集連接的跨層賦予不同的權重系數。由于高層特征信息對分類的影響明顯高于低層特征，因此，將高層特征賦予較大權重：

(2)

此外，密集連接網絡不同層之間直接連接的另一個優點是減少了學習參數的總數。因此，密集卷積模型對過擬合具有很強的魯棒性，非常適合于訓練樣本數較少的應用。

1.2 注意力機制模型

由于加權密集連接網絡從傳感器輸入信號xi提取的特征映射gi對時間存在依賴性，因此，本文通過引入注意力機制來近似所產生的特征向量的時空相關性。最近幾年，注意力模型[17]被廣泛使用在自然語言處理、圖像識別等不同類型的深度學習任務中。對于軸承故障的檢測，采用注意力機制有助于網絡模型以人類智能的方式集中于特征向量圖的不同方面，從而導出最相關的信息。圖3給出了基于前饋神經網絡的注意力機制模型。前饋神經網絡參與每個特征映射，并輸出表示特征映射故障檢測能力的獎勵值vi。而后，將Softmax函數應用于映射由值vi組成的向量，并將其歸一化為概率分布ai。假設用g表示第i個時間步注意機制的輸入向量(g=gi)，用v表示第i個時間步前饋神經網絡的輸出(v=vi)，hj表示前饋神經網絡隱藏層第j個神經元的輸出，用p和q表示前饋神經網絡輸入和隱藏層的神經元數，用Wh和bh表示隱藏層的權值矩陣和偏差向量，WO和bO表示輸出層的權重向量和偏差，則等式(3)和(4)分別描述了前饋神經網絡的前饋機制和Softmax層對獎勵值vi的操作：

圖3 基于前饋神經網絡的注意力機制

(3)

(4)

注意機制的輸出ai與相應特征向量gi在檢測任務中重要性的概率分布相對應，并指示了從注意機制估計的相應特征映射gi的重要性：

(5)

此外，考慮到每個特征映射gi的重要性，本文估計了注意力機制的特征向量ci：

ci=aigi

(6)

最后，通過注意力向量ci的加權和值獲得表征向量c：

(7)

式中,T表示時間步長總數，w1+w2+…+wT=1。由于每個權重wi對應于特定的時間步長ti，因此實現了時間積分。權重wi是網絡的學習參數，通過訓練網絡模型估算獲得。

2 實驗與結果分析

為了驗證所提算法的有效性，本文采用凱斯西儲大學(CWRU)實驗性軸承故障檢測基準數據集[18]和智能維護系統(IMS)軸承數據集[19]進行測試，并將測試結果與基于門控遞歸單元的降噪自動編碼器(GRU-DAE)[10]、深度卷積神經網絡的變模分解(VMD-DCNN)[20]等方法進行了對比。所有實驗的運行時環境的Windows 10系統，CPU是Intel Xeon E5-2650 v2 @2.6 GHz，RAM為128 G。

所提模型的模擬代碼是用python3.5編寫，使用Keras人工神經網絡庫并將Theano作為后端。本文選擇分類交叉熵作為損失函數，隨機梯度下降作為優化器。采用Nesterov動量法對梯度下降問題進行求解，將折扣因子和動量參數設置為0.9和0.01，學習速率設置為0.01。批量大小為200，每個模型都經過100個周期的訓練。為了避免神經權值隨機初始化的影響，還將每個實驗運行20次。所提模型中加權密集連接網絡3個卷積層的核和濾波器尺寸分別為32、32、64和32、3、3。注意機制的前饋神經網絡隱藏層在CWRU 和IMS 數據集時分別采用32個神經元和8個神經元。

2.1 數據集

凱斯韋斯特儲備大學(CWRU)軸承數據集提供了正常和故障情況下從試驗臺積累的振動信號。其主要部件是2馬力的電動機、測功機和扭矩傳感器。振動信號來自安裝在驅動端、風扇端和電機支撐底板外殼上的加速度計。在本研究中，使用驅動端軸承信號，以12 kHz的頻率采樣。此外，電動機的模式是在4個負載水平下，0～3馬力范圍內運行，導致電動機轉速在每分鐘1 792～1 730轉之間變化。在驅動端軸承上，會發生5種類型的故障：滾珠，內圈和3種外圈故障。具體而言，外圈故障相對于軸承負載區域的安裝會顯著影響振動信號的形式。在軸承數據集中，有外圈故障直接位于負載區域(@ 6：00)，或者位于負載區域正交(@ 12：00)和相反(@ 3：00)位置。此外，每種故障類型都包含不同直徑的故障(0.007、0.014、0.021和0.028英寸)。在本文中，嘗試通過考慮故障的不同類型和不同直徑大小來訓練模型，提高模型的識別率，進而確定故障的類型及其嚴重程度。因此，最終得到16種類別，如表1所示。此外，每個輸入樣本的維數等于100，大約相當于采樣周期的四分之一。在創建訓練和測試數據集的過程中，原始傳感器數據被分為100點的段，兩個連續樣本之間的重疊為50點。

表1 CWRU數據集中類細節描述

IMS數據集由辛辛那提大學智能維護系統中心提供。在測試臺中，有4個Rexnord ZA2115型雙列軸承位于同一軸上。交流電動機通過摩擦帶固定在軸上，可將轉速保持恒定在2 000 rpm。采集數據的采樣頻率為20.48 kHz，彈簧機構應用于軸和軸承，提供6 000磅的負載。總共有8個加速度計，成對放置在每個軸承上。最后，為了獲取數據，將熱電偶傳感器放置在每個加速度計上。試驗臺的軸承會出現內圈缺陷故障、外圈缺陷故障和滾子缺陷故障。發生的3種故障類型和正常狀態是故障識別問題的4類，具體細節如表2所示。

表2 IMS數據集中類細節描述

為了探索所提出的模型的可行性，對CWRU和IMS數據集均使用3個不同的訓練數據集(數據量各不相同)進行測試，如表3所示，研究模型的性能并與其他診斷方法進行了比較。從表中可以清楚的看到，訓練數據集A中的樣本數最多，數據集C樣本數最少。本文使用3個數據集來測試不同樣本數量訓練的模型對應的精度變化趨勢。

表3 CWRU和IMS數據集中的數據子集

2.2 結果分析

首先，進行第一個實驗，通過應用不同的時間步數來檢驗模型學習原始信號數據時間相干性的可行性，即使用了3、4和5個連續片段來考慮時間相關性。此外，還對比了使用不同數量訓練樣本訓練模型時的測試結果。圖4(a)和圖4(b)分別顯示了CWRU和IMS數據集的實驗結果，從圖中可以明顯看出，模型的診斷精度與訓練樣本的數量和時間步長是有很多關系的，隨著訓練集中樣本數量的增多以及采用更多的時間步數，模型的性能會有所提高。當采用數據集A和時間步數為5訓練模型時，其診斷的檢測率為99.61%，相比于使用樣本數量極少的訓練數據集C和時間步數為3的情況，性能改善了2.51%。同時，還應該注意到，即是在數據樣本很少時，時間步數為3的情況下，診斷檢測率也達到了97.1%。上述結果說明了模型在樣本診斷中的有效性，雖然診斷的檢測率受到訓練樣本數量和時間步長的影響，但是，在最壞的情況下數據正確率依然取得較好的結果。

圖4 不同樣本數量和時間步長時的測試結果

此外，為了說明所提取的特征c的表征能力，進行第二個實驗。該實驗通過t-分布隨機鄰居嵌入(t-Distributed stochastic neighbor embedding,t-SNE)對注意機制的輸出進行可視化。t-SNE機器學習方法采用仿射變換將高維數據變為低維數據，實現非線性降維的目的，非常適合于高維數據的低維空間的可視化。利用訓練數據集C和時間步數為5對模型進行訓練，得到所提取的注意特征。圖5給出了CWRU和IMS數據集的t-SNE結果，用于直觀地分析模型分類結果的優劣。從特征提取可視化圖中清楚的看到，模型中基于注意力機制提取得到的特征在CWRU和IMS數據集中的不同類之間具有可分割性，從而有效地說明所提模型的分類機制更容易檢測和識別異常樣本。

圖5 t-SNE可視化提取的注意力特征

為了驗證所提模型在噪聲環境中的故障診斷性能，進行第三個實驗。具體而言，本文使用原始數據訓練模型，然后在數據信號中添加不同級別的白高斯噪聲，通過合成具有不同信噪比(signal to noise ratio,SNR)的噪聲信號來檢查其性能，并將結果與其他算法進行比較。圖6給出了不同算法在不同噪聲環境下的診斷結果。從圖中可以看出，提出的方法在可變背景噪聲水平下具有最佳性能。盡管其他方法在低噪聲水平下表現良好，但是由于所提模型采用加權密集網絡和注意力機制從原始信號中提取更多的細節信息，使得本文方法能夠在噪聲污染比較嚴重的信號中保持良好的診斷準確度，因而保證了模型對存在附加噪聲的振動信號具有魯棒性。

圖6 不同信噪比時的識別準確率對比

3 結束語

本文提出了一種基于加權密集連接網絡和注意力機制的滾動軸承故障診斷的方法，用于解決噪聲污染嚴重時檢測精度低和因特征表征困難引起的性能下降的問題。首先，模型中的加權密集連接網絡利用連續層之間的短路徑從振動信號中提取不同空間級別的特征并組合在一起，以增強信息的多樣性；然后，基于前饋神經網絡的注意力機制突出每個注意向量中具有重要信息的區域，并通過估計每個特征映射的權重來處理特征序列中的時間相關性；最后，將獲得的特征信息輸入到故障分類模型，輸出每種故障類型的診斷結果。實驗結果表明，所提模型優于其他對比方法，在加性噪聲干擾的情況下具有較高的故障診斷準確率。