一種抗噪聲的自注意力神經(jīng)網(wǎng)絡軸承故障診斷方法

劉輝,李陽

(1.中核檢修有限公司,上海 201103;2.東北電力大學 機械工程學院,吉林 吉林 132012)

約40%的工業(yè)設備是由軸承等部件構成的旋轉機械設備[1],因此, 對軸承進行及時、精準的故障診斷是相關設備長效、 安全、 穩(wěn)定運行的重要保障。為滿足實際工業(yè)生產(chǎn)過程中的安全檢測需求,眾多學者嘗試將深度學習算法與軸承運行過程中的傳感器信號相結合并提出了許多高時效性的軸承故障診斷方法,以期降低旋轉機械在工業(yè)實踐中的維護成本和事故風險。例如,文獻[2]對卷積神經(jīng)網(wǎng)絡(Convolution Neural Network,CNN)模型[3]進行結構優(yōu)化,在不預先提取故障特征的條件下實現(xiàn)了對軸承故障的高精度診斷;文獻[4]在自編碼模型的基礎上,將軸承振動、噪聲和溫度信號的時頻域特征進行多源信號融合,完成了對風電機組軸承的故障診斷并提高了診斷結果的可靠性;文獻[5]以輕量化網(wǎng)絡ShuffleNet為主要框架設計了新的診斷模塊并用于高鐵輪對軸承的故障診斷。

以CNN為代表的深度學習算法已經(jīng)在軸承故障診斷領域取得了大量成果,但其大多在實驗室數(shù)據(jù)集上完成性能驗證,而工業(yè)生產(chǎn)的環(huán)境中充斥著各種各樣的噪聲源,難以獲取具有高信噪比的軸承振動信號,上述算法在工業(yè)現(xiàn)場應用中會出現(xiàn)精度嚴重下滑甚至失效的問題。因此,為了在噪聲環(huán)境下完成故障診斷任務,許多研究人員將研究方向聚焦于提升診斷模型對噪聲的魯棒性上:文獻[6]利用經(jīng)驗小波變換對軸承振動信號進行重構,再使用最小熵解卷積CNN對重構后的信號進行降噪處理,從而實現(xiàn)了噪聲干擾條件下鐵路貨車輪對軸承的故障診斷;文獻[7]通過對一維CNN的結構優(yōu)化從背景噪聲中自動提取特征,進而在-8 dB噪聲強度下取得了較高精度的軸承故障診斷結果;文獻[8]設計了一類分級分支CNN結構并通過堆疊一維小卷積核的方式構建了一種具有強魯棒性的基本卷積塊,提升了噪聲環(huán)境下軸承故障診斷的精度。

自注意力神經(jīng)網(wǎng)絡以原始的多層感知機(MultiLayer Perceptron,MLP)為基礎對輸入數(shù)據(jù)進行特征提取并使用自注意力機制調(diào)節(jié)不同特征權重以獲取輸出結果,具備強大的全局建模能力,能夠有效提升診斷模型的魯棒性[9-11]。文獻[12]將自注意力神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡相結合,提出首個用于軸承故障診斷的自注意力神經(jīng)網(wǎng)絡框架(CLFormer),但其過于關注在自測數(shù)據(jù)集上的有效性和優(yōu)越性,忽略了模型的泛化性。文獻[13]在訓練階段使用大量振動數(shù)據(jù)對CNN和自注意力神經(jīng)網(wǎng)絡進行參數(shù)優(yōu)化,然后使用高斯混合模型對信號進行分類診斷,該方法基于最大后驗概率進行分類,容易受到噪聲干擾而難以體現(xiàn)自注意力神經(jīng)網(wǎng)絡的抗噪性。文獻[14]出于在不受時間限制的條件下利用傳感器信號時間屬性的目的,在雙向單門控網(wǎng)絡中引入自注意力神經(jīng)網(wǎng)絡用于特征提取,盡管有效地使用了傳感器信號的時間信息并提升了模型診斷性能,但雙向單門控網(wǎng)絡的遞歸特征處理特性使其失去了并行能力,導致模型批量診斷的效率較低。

本文將自注意力神經(jīng)網(wǎng)絡[15-21]作為主要技術途徑,通過超參數(shù)分析以及優(yōu)化位置編碼的方式,在強噪聲干擾條件下針對基于振動信號的軸承故障診斷開展框架設計,并分別采用東南大學軸承數(shù)據(jù)庫和實驗室自采數(shù)據(jù)進行試驗驗證。

1 理論背景

1.1 網(wǎng)絡結構

本文的主要研究對象是噪聲干擾下的軸承故障診斷任務,并不涉及序列數(shù)據(jù)向數(shù)列數(shù)據(jù)的轉換問題,所使用模型不必由編碼器和解碼器兩部分構成,而是在一個N層編碼器后添加一個分類器用于輸出輸入信號所屬軸承運行狀態(tài)的診斷結果,每個編碼層都是一層獨立的自注意力神經(jīng)網(wǎng)絡。

如圖1所示,分類器是一個由2個全連接層所構成的MLP,第1個全連接層的神經(jīng)元數(shù)量被設置為自注意力神經(jīng)網(wǎng)絡維度的2倍,用以整合特征信息;第2個全連接層的神經(jīng)元數(shù)量則被設置為診斷類別數(shù),其輸出結果表示被診斷信號屬于各個類別的概率。此外,由于本文所使用軸承故障診斷模型的編碼層都具有完全一致的結構,因此文中僅討論模型的深度(編碼層堆疊的層數(shù))和維度(用多少維的數(shù)據(jù)表征特征信息,也可解釋為每層編碼層所處理數(shù)據(jù)的通道數(shù))。

圖1 自注意力神經(jīng)網(wǎng)絡結構示意圖

1.2 位置編碼模塊

不同于CNN和遞歸神經(jīng)網(wǎng)絡在特征提取時不斷地進行滑窗以獲取局部特征,自注意力神經(jīng)網(wǎng)絡只對輸入數(shù)據(jù)進行全局特征信息提取,即自注意力神經(jīng)網(wǎng)絡需要在特征提取之前額外的為輸入數(shù)據(jù)賦予位置編碼信息,從而令數(shù)據(jù)具備空間屬性。

傳統(tǒng)的自注意力神經(jīng)網(wǎng)絡采用正弦位置編碼的策略賦予輸入數(shù)據(jù)位置信息。令P∈RC×L表示模型的位置編碼信息,P具有與自注意力神經(jīng)網(wǎng)絡同樣的維度以及與輸入數(shù)據(jù)相同的長度信息,其中每個元素值都代表著輸入數(shù)據(jù)對應元素的位置信息。使用正弦位置編碼,每個元素的具體值可表示為

(1)

式中:p為元素在輸入數(shù)據(jù)中的位置;d為正弦位置編碼的維度。

雖然正弦位置編碼具有變長輸入以及同時表示絕對位置和表征相對位置關系的優(yōu)點,但其只是一種固定的編碼策略,并不能保證所給出編碼信息能夠契合所有的數(shù)據(jù)類型,也不能隨著輸入數(shù)據(jù)的變化做出對應修改。因此,本文在自注意力神經(jīng)網(wǎng)絡中引入一個由一維CNN構成的編碼模塊,可根據(jù)輸入數(shù)據(jù)針對性地生成位置編碼信息,如圖2所示。

圖2 基于CNN的位置編碼模塊示意圖

(2)

(3)

式中:Concat為在通道維度上對數(shù)據(jù)進行堆疊拼接;GeLU為高斯誤差線性單元激活函數(shù)[24];BN為批量歸一化操作[25]。

顯然,本文所構建的位置編碼信息生成模塊是一個小型的卷積神經(jīng)網(wǎng)絡,相比于自注意力神經(jīng)網(wǎng)絡原始的位置編碼信息,其所生成的位置編碼信息具備了隨輸入數(shù)據(jù)變化的靈活性以及通過樣本訓練進行學習優(yōu)化的能力。此外,由于通過卷積操作構建的位置信息生成模塊,其所生成的每個位置信息均由對應點數(shù)據(jù)與附近數(shù)據(jù)共同生成,從而使模型所獲得的位置信息在表征相對位置信息的同時具有一定的信息交互特性。

2 試驗設置

為驗證所提軸承故障診斷方法的效果,采用東南大學軸承故障數(shù)據(jù)集[26]測試不同案例下模型的具體性能。該數(shù)據(jù)集包含不同速度-負載工況下(20 Hz-0 V和30 Hz-2 V)采集的鋼球、內(nèi)圈、外圈裂紋以及復合故障(即內(nèi)、外圈均出現(xiàn)裂紋)信號。本文將每1 024個連續(xù)的采樣點作為一個樣本(確保每個樣本都包含至少一個完整的旋轉周期信息,即輸入模型的數(shù)據(jù)長度固定為1 024)。將數(shù)據(jù)集劃分為訓練集、驗證集和測試集,每類樣本數(shù)量分別為300×2,100×2和300×2。

本文中所有模型都采用了標準的有監(jiān)督模型訓練策略,使用訓練集和驗證集完成30個批次(Epoch)的訓練(即模型使用訓練集數(shù)據(jù)進行參數(shù)優(yōu)化,每完成一個批次的訓練后在驗證集上計算模型性能,最后只保留在驗證集上取得最優(yōu)性能的模型權重作為最終的結果),使用AdamW[27]作為模型的優(yōu)化器,初始學習率設置為0.000 1并使用余弦退火[28]的方式在訓練過程中逐步降低到0.000 005。為避免隨機初始化對模型性能的干擾,本文所有試驗結果均是對模型進行100次重復試驗后統(tǒng)計所得。

此外,為驗證模型對噪聲的魯棒性,在試驗過程中根據(jù)未添加噪聲時信號的標準差(Std)添加了不同強度的高斯噪聲和拉普拉斯噪聲。根據(jù)信噪比[29]的定義,本文添加的0.1,1,10,100,1 000 Std強度的噪聲信號后,輸入給模型信號的信噪比分別為10,0,-10,-20,-30 dB。

3 結果分析

3.1 超參數(shù)分析

為確保所設計的模型具有對噪聲的強魯棒性,對不同維度、層數(shù)的自注意力神經(jīng)網(wǎng)絡在高噪聲環(huán)境下進行了性能測試,試驗結果如圖3所示:增大模型的維度(寬度)能夠帶來比增大模型層數(shù)(深度)更高的精度收益;不論在高斯噪聲環(huán)境還是在拉普拉斯噪聲環(huán)境下,自注意力神經(jīng)網(wǎng)絡都在寬度為16維,深度為8層時取得了最優(yōu)的平均診斷精度(59.97%,56.61%)。模型在深度大于8層之后,同等維度下均出現(xiàn)了精度下滑現(xiàn)象,這是由于此時模型深度較大,而本文訓練集的樣本數(shù)量較少,出現(xiàn)了過擬合現(xiàn)象。

(a) 1 000 Std高斯噪聲干擾

為驗證上述猜測,以1 000 Std高斯噪聲干擾下寬度為64維,深度為10層的情況(即本節(jié)中最大的模型)為例統(tǒng)計并繪制了訓練過程中模型的性能變化曲線,結果如圖4所示:在經(jīng)過大約3個批次后,模型在驗證集上的性能始終在一個小范圍內(nèi)波動,而且在驗證集上的性能顯著低于在訓練集上的性能,說明模型此時存在嚴重過擬合。因此,為確保后續(xù)試驗結果能夠展示自注意力神經(jīng)網(wǎng)絡的魯棒性,本文在后續(xù)所有試驗中統(tǒng)一將模型的寬度設為16維,深度設為8層。

圖4 高斯噪聲(1 000 Std)干擾下自注意力神經(jīng)網(wǎng)絡模型的性能變化曲線

3.2 位置信息模塊的必要性

為驗證本文所設計位置編碼模塊的必要性,在不同噪聲環(huán)境下統(tǒng)計了不使用位置信息,使用正弦位置編碼,使用可訓練位置編碼以及使用本文所設計位置編碼模塊4種條件下自注意力神經(jīng)網(wǎng)絡的診斷精度,結果如圖5所示:不使用位置信息時自注意力神經(jīng)網(wǎng)絡在所有噪聲環(huán)境下的診斷精度均最低,這是由于自注意力神經(jīng)網(wǎng)絡通過全局特征提取的方式對輸入數(shù)據(jù)進行長距離建模的過程中不能從原始數(shù)據(jù)中提取位置信息(相對和絕對位置信息),因此在實際應用中若不額外為輸入數(shù)據(jù)賦予位置信息,其所建立的映射關系將難以獲取全部的有效特征信息,從而導致嚴重的精度下滑;使用傳統(tǒng)自注意力神經(jīng)網(wǎng)絡常用的正弦位置編碼模塊時,模型診斷精度也較低,這是由于固定的編碼模式不具備跟隨樣本實際數(shù)據(jù)分布變化而變化的能力,從而在具體的診斷任務中產(chǎn)生一定的精度喪失;使用本文所構建位置編碼模塊為輸入數(shù)據(jù)賦予位置信息,自注意力神經(jīng)網(wǎng)絡在所有的噪聲環(huán)境下都取得最優(yōu)的診斷精度,充分驗證了本文所設計位置編碼模塊的合理性和有效性。

圖5 不同位置編碼方式在噪聲環(huán)境下對自注意力神經(jīng)網(wǎng)絡性能的影響

3.3 其他方法的對比

為進一步驗證本文提出方法的效果,從當前主流的深度學習模型中選取了一維CNN模型、長短記憶神經(jīng)網(wǎng)絡(LSTM)[30]、多層感知機(MLP)和SIM[31]作為對比模型,統(tǒng)計其在相同深度和寬度條件下的診斷精度,試驗結果如圖6所示:

圖6 不同類型模型在噪聲干擾條件下所取得的診斷精度

1)在低噪聲環(huán)境下(噪聲強度小于10 Std),一維CNN和本文所提模型均取得了接近100%的診斷精度,說明這2類方法本身就有較強的識別能力。隨著噪聲強度的增大(噪聲強度大于10 Std),本文所提模型的診斷精度顯著高于其他模型,表明基于自注意力神經(jīng)網(wǎng)絡的診斷模型能夠憑借其強大的全局特征提取能力和長距離建模能力獲得對噪聲更強的魯棒性。

2)一維CNN模型和SIM都是以卷積操作為主要特征提取方式的模型,卷積操作主要是對輸入數(shù)據(jù)的局部信息進行建模分析。在向信號中添加噪聲擾動后, 由于所有的局部信息都發(fā)生了變化, 導致不具備全局建模能力的一維CNN和SIM的診斷精度較低;LSTM通過對數(shù)據(jù)在時間維度的滑動提取其特征信息,與卷積操作類似,而且LSTM通過在模型中添加遺忘門以降低模型的運算量,也使得模型放棄了一部分的全局建模能力而更專注于局部變量,在噪聲干擾下也出現(xiàn)了較為明顯的精度下降,魯棒性也不強;MLP可視為剔除了注意力機制的簡化版自注意力神經(jīng)網(wǎng)絡,具有全局建模能力,但缺少了自注意力神經(jīng)網(wǎng)絡最重要的位置編碼信息和注意力機制,因此其診斷精度也不如自注意力神經(jīng)網(wǎng)絡。

3.4 自制數(shù)據(jù)集的試驗驗證

為進一步論證所提出方法的泛化性和可遷移性,使用如圖7所示的軸承故障測試臺,在0,0.1,0.2,0.3 N·m負載條件下對轉速區(qū)間[1 443,1 478]r/min的軸承進行數(shù)據(jù)采集,一共包括了健康狀態(tài)和6種不同故障的數(shù)據(jù)[32]。

圖7 本文所采用的軸承故障測試臺

試驗軸承型號為SSUC204,軸承內(nèi)、外圈上的故障為寬度1.0 mm、深度0.3 mm的裂紋,鋼球上的故障為直徑1.0 mm、深度0.3 mm的凹坑。每種運行工況下,每類樣本均采集了66×104個連續(xù)的采樣點數(shù)據(jù)(12 kHz采樣頻率下采集60 s)。在完成數(shù)據(jù)采集后,采用與3.3節(jié)中完全一致的試驗條件驗證模型的有效性,即其數(shù)據(jù)集也被劃分為了訓練集、驗證集、測試集,對應的樣本量分別為300×4,100×4,300×4,每個樣本均由1 024個連續(xù)采樣點構成。

如圖8所示:在試驗條件不變的情況下,更換軸承數(shù)據(jù)集后,本文所提方法依然能夠在所有的噪聲環(huán)境下取得最優(yōu)的平均診斷精度;SIM雖然在個別噪聲環(huán)境下取得了優(yōu)于本文方法的最高診斷精度,但其存在更大的精度波動,導致了平均診斷精度的降低,影響了結果的可信度。

圖8 在自制數(shù)據(jù)集下不同模型所取得的診斷精度

根據(jù)圖6和圖8的試驗結果,說明本文所提基于自注意力神經(jīng)網(wǎng)絡的軸承故障診斷方法不僅具有較強的魯棒性和診斷精度,同時在更換數(shù)據(jù)集后也具有相似的有效性,即具有一定的可移植性和泛化能力。

4 結束語

針對工業(yè)實踐中所采集軸承信號容易受到噪聲干擾而導致故障診斷模型精度下滑甚至失效的問題,本文通過對模型深度、寬度的分析討論以及位置編碼方法的優(yōu)化,提出了基于自注意力神經(jīng)網(wǎng)絡的診斷模型,并通過與其他主流模型的性能對比證明了本文所提方法能夠在低噪聲環(huán)境中取得接近100%的高診斷精度,在高噪環(huán)境下也能取得優(yōu)于其他模型的診斷精度,對噪聲具有較強的魯棒性。

盡管本文為面向實際工業(yè)應用的故障診斷任務提供了一種新的診斷模型和模型構建思路,但僅考慮了高斯和拉普拉斯噪聲對模型性能的影響,而沒有采集工業(yè)現(xiàn)場的實際噪聲信號進行分析,如何在實踐中保障模型的有效性是下一步的重點研究方向。