采用多尺度自適應選擇卷積神經網絡的軸承故障診斷研究

張璽君,尚繼洋

(蘭州理工大學計算機與通信學院,730050,蘭州)

旋轉機械設備的狀態監測和故障診斷對現代工業系統可靠性和安全性具有重要意義[1]。滾動軸承是旋轉機械中廣泛應用的精密機械元件,其健康狀態影響著旋轉機械設備的安全。據統計約45%～55%的旋轉機械設備故障是由滾動軸承故障引起的[2]。對滾動軸承及時進行故障診斷,能減少旋轉機械設備運行中故障的發生,保障旋轉機械設備安全運行。

軸承故障診斷方法主要包括基于物理模型的方法、基于信號處理的方法、基于機器學習的方法和混合方法。基于物理模型的方法需要對機械機理有透徹了解且物理模型不夠靈活,基于信號處理的方法在特征分析和診斷過程中嚴重依賴專家經驗,傳統的機器學習方法因需要人工提取和選擇特征,已經不能滿足當前診斷需求[3-4]。在智能制造快速發展的大背景下,深度學習作為機器學習的分支掀起了智能故障診斷的浪潮,深度學習模型可以自動提取機器數據中的故障特征,建立機器數據和相應機器的健康狀態的復雜映射關系,實現端對端的智能故障診斷[4]。其中,卷積神經網絡已經成為領先的架構,并在多個基準實驗中有著出色的性能[5]。Zhang等[6]提出第一層為寬卷積的卷積神經網絡(CNN)來抑制軸承振動信號中噪聲的干擾,并加入自適應批歸一化的方法來提高模型泛化能力。Li等[7]提出加入注意力機制的多層深度融合網絡,可以自動提取多個傳感器數據并將其自適應融合完成軸承故障診斷。Zhang等[8]提出一種基于通道空間注意機制和特征融合的選擇性核卷積深度殘差網絡,并將用于機械故障診斷,將特征增強模塊嵌入到選擇性核卷積和深度殘差網絡的模型中,提高了故障識別效率。Ruan等[9]從軸承故障周期的角度來確定卷積核大小,采用指數函數擬合不同故障信號的加速度包絡線,利用不同衰減比下的信號長度決定卷積核寬度,具有明確的物理意義。Liang等[10]提出了一種基于小波變換和改進殘差神經網絡的軸承故障診斷方法,用奇異值分解池化層替代傳統池化層,并用全局奇異值分解自適應策略替代全連接層,提高模型的抗噪能力。

由于受到載荷變化、噪聲干擾等影響,軸承振動信號在多個時間尺度上具有復雜的特征[11-12]。為了提取不同時間尺度的特征,近年來應用多尺度卷積神經網絡進行軸承故障診斷得到了廣泛研究,多尺度卷積神經網絡(multi-scale convolutional network,MSCNN)利用不同大小的卷積提取軸承振動信號中的不同尺度的特征,特征提取能力相比單一尺度卷積提取特征更具魯棒性。Huang等[13]提出了采用3個大卷積核并行提取軸承故障特征,之后利用多層卷積提取合并后的特征,最后利用全連接層進行分類完成軸承故障診斷。Qiao等[14]引入自適應權重來調整多尺度卷積神經網絡突出故障敏感特征。Chen等[15]利用多尺度卷積神經網絡提取不同頻率特征,之后輸入到長短期記憶網絡識別故障類型。Jia等[16]提出了一種多尺度殘差注意力網絡,利用多尺度卷積模塊提取特征,再利用殘差注意力模塊對多尺度特征的通道進行加權去噪,能在振動信號中提取更多有效的特征。Huang等[17]提出了一種加入通道注意力的多尺度卷積神經網絡,利用多尺度卷積獲得多個時間尺度特征來提高模型的抗噪能力。

雖然上述大多數研究都采用多尺度卷積來提取不同尺度的特征,但不同尺度之間存在特征差異,如果不能調整其特征權重,容易受到冗余信息的干擾[18]。其次,大多數研究提出的神經網絡第一層為一個寬卷積層,之后的多尺度卷積層只能從單個輸入提取特征,初始特征信息不夠豐富。

基于以上問題,本文提出了一種多尺度自適應選擇卷積神經網絡(multi-scale adaptive selective convolutional neural networks,MSASCNN)。本文的主要貢獻如下:

(1)利用不同大小的寬卷積提取信號特征,合并其輸出特征來豐富初始特征信息;

(2)利用殘差連接構造了多尺度自適應選擇卷積塊(MSASCblock),模塊利用不同大小的卷積提取不同尺度的特征,再通過注意力機制自適應調整不同尺度的特征權重,增強關鍵特征響應,并引入自適應大小的一維卷積來替換注意力權重層的兩個全連接層,避免了參數降維對模型的性能影響和超參數的調整。

1 多尺度卷積神經網絡

如GoogleNet[19]、 Inception-v4[20]等的MSCNN在圖像處理、目標識別等領域快速發展。MSCNN的目的是通過不同大小的卷積核同時提取輸入信號的長期特征和短期特征[21],不同卷積的感受野大小不同,得到特征的尺度也就不同。相比單一卷積提取特征,多尺度卷積獲取的特征信息更為豐富。

MSCNN主要由卷積層、池化層、激活函數、批歸一化等組成,其中卷積層是提取數據特征的第一步,利用濾波器與局部區域數據進行卷積,獲得多組特征映射。卷積層的計算式為

(1)

池化層對輸入特征進行特征選擇和信息過濾,降低特征參數,有效控制過擬合,常用的池化有最大池化和平均池化[5]。最大池化層的計算式為

(2)

一般利用非線性激活函數對卷積后的特征映射進行處理,增強網絡的特征表示[11]。ReLU函數具有單側抑制、增強稀疏性等[17-22]優點被廣泛應用,計算式為

(3)

式中:x是激活前的輸入;fx是激活后的輸出。

批歸一化 (BN)用于規范數據輸入和穩定數據分布,進而緩解網絡內部協方差偏移或消失,加快模型訓練速度[11]。批歸一化計算式為

(4)

(5)

(6)

yp=αxp+β

(7)

式中:Nb是小批量數據的數量;xk是第k個輸入;μ和σ2是xk的均值和方差;ε是常數;xp是歸一化的數據;α和β是用于縮放分布的可學習參數;yp是最后的輸出。

2 多尺度自適應選擇卷積神經網絡

2.1 模型結構

多尺度自適應選擇卷積神經網絡由特征篩選層、特征提取層、特征分類層構成,模型總體結構如圖1所示。

圖1 MSASCNN模型結構Fig.1 The model structure of MSASNN

大多數多尺度卷積只能從單一的寬卷積中提取特征,特征提取能力有限,考慮到不同大小的卷積具有不同的頻率分辨率[13],為豐富提取的初始特征信息,特征篩選層采用不同大小的寬卷積來提取特征,之后合并為初始特征。寬卷積層比小卷積層有更大的感受野,可以捕獲低頻率特征,作為低通濾波器可以更好地抑制高頻噪聲[6-14]。寬卷積大小為常用的128、64。設模型輸入為X,特征篩選層輸出為Y2,二者可表示為

Y1=[K1(X),K2(X)]

(8)

Y2=Pm(Act(δ(Y1)))

(9)

式中:K1和K2是不同大小的寬卷積;[,]為合并操作;Act為激活函數;δ為BN操作;Pm為最大池化。

滾動軸承的局部故障在軸承部件反復撞擊故障時,會在加速度信號中產生一系列寬帶脈沖響應[23],在時域上的響應是在不同的時間尺度上出現不同的故障敏感特征。為了全面提取故障敏感特征[14],可以利用多尺度卷積來提取不同時間尺度的特征,進而解決在單一時間尺度上提取特征的局限性。

受SKNet[24]啟發,Liang等[11]提出一種多尺度動態自適應卷積進行軸承故障診斷,該卷積利用不同大小卷積提取不同尺度的特征,并自適應調整不同尺度的特征權重。本模型在特征提取層引入多尺度自適應卷積(不引入動態縮放率),并改進為多尺度自適應選擇卷積,在注意力權重層中將兩個全連接層改為ECANet[25]中的自適應大小卷積,避免了參數降維對模型的性能影響和超參數的調整。多尺度自適應選擇卷積具體分為3個操作:劃分、融合和選擇。

(1)劃分。對于任何給定的特征圖,先通過不同卷積核大小的卷積獲得不同的特征圖U1、U2和U3,然后將不同特征圖融合為一個多尺度特征圖

U=U1+U2+U3

(10)

(2)融合。將包含多尺度信息的特征圖U輸入到全局平均池化(GAP)來獲得全局信息,SKNet和多尺度動態自適應卷積利用兩個全連接層來捕獲非線性跨通道交互,其中SKNet引入固定縮放率來降低模塊參數,多尺度動態自適應卷積引入非線性函數來確定縮放率。與兩者不同的是,本模型采用自適應大小的一維卷積來生成注意力權重Z

(11)

Z=Act(δ(Ca(Ugap)))

(12)

式中:Ca為自適應大小卷積;b和γ為常數,本文取b=1,γ=2;c為輸入特征的通道數;Ugap是全局信息。

(3)選擇。注意力權重經Softmax函數得到其分支權重,最后生成權重系數

(13)

(14)

(15)

式中:ac、bc、cc分別是a、b、c的第c個元素,a、b、c分別是U1、U2、U3的軟注意力向量;Ac、Bc、Cc分別是A、B、C的第c行,A,B,C∈Rd×d。

權重系數ac、bc、cc和特征圖U1、U2、U3分別相乘后相加,得到校準后的新特征圖V

V=acU1+bcU2+ccU3

(16)

ac+bc+cc=1

(17)

多尺度自適應選擇卷積流程如圖2所示。

圖2 多尺度自適應選擇卷積流程Fig.2 The flow chart of multi-scale adaptive selective convolution

加入殘差連接構建多尺度自適應選擇卷積塊(MSASCblock),殘差連接可以幫助傳遞梯度信息,能夠有效解決網絡退化問題[26-27]。當殘差映射與恒等映射通道數不同時,利用1×1卷積和BN進行下采樣操作來調整通道數。

在特征分類層,首先利用全局平均池化對特征進行降維,可以一定程度防止網絡過擬合,之后利用全連接層和Softmax對降維后的特征進行分類,模型結構參數如表1所示。

表1 MSASCNN模型結構

2.2 診斷流程

圖3給出了MSASCNN的軸承故障診斷流程。將振動加速度傳感器采集到軸承振動信號利用滑動窗口進行不重疊采樣,每個樣本的長度為1 024,對樣本數據進行歸一化處理。

將樣本數據劃分為3個子集:訓練集、驗證集和測試集,劃分數據量比例為8∶1∶1。利用訓練集和驗證集完成診斷模型的訓練過程,訓練采用交叉熵損失函數來衡量模型預測值和真實值的差距,使用Adam算法更新模型梯度,訓練輪數為150,批量大小為16,學習率為0.001。在獲得最優參數后,使用測試集對模型的軸承故障診斷性能進行評估。

圖3 MSASCNN模型診斷流程Fig.3 The flow chart of MSASNN for fault diagnosis

3 實驗驗證與分析

3.1 參數設置

為驗證提出模型的軸承故障診斷能力,在兩個軸承數據集進行實驗評估。使用Pytorch深度學習框架,計算機配置如下:Inter Core i5-8300H處理器,NVIDIA GeForce 1050Ti圖像處理器,16 GB內存。

3.2 凱斯西儲大學軸承數據集

凱斯西儲大學(CWRU)數據集由凱斯西儲大學軸承數據中心[28]提供,作為測試軸承診斷方法的標準參考被廣泛應用。本次實驗選擇采樣頻率為12 kHz的驅動端軸承數據,軸承型號為SKF6205深溝球軸承,其中包括不同故障直徑大小下的外圈故障、內圈故障和滾動體故障,實驗選擇負載為0下的數據集,具體數據集信息如表2所示。

表2 CWRU軸承數據集

在實際應用中,滾動軸承會受到大量環境噪聲干擾,環境噪聲會直接影響故障診斷的準確率。為驗證模型的抗干擾能力,向原始振動信號中加入不同信噪比的高斯白噪聲來構建噪聲環境。圖4為原始振動信號和加入信噪比為-7 dB的高斯白噪聲的噪聲振動信號。可以看出,原始振動信號被嚴重干擾。

(a)原始信號

(b)噪聲信號

為驗證多尺度自適應選擇卷積塊中,不同卷積數以及殘差連接對模型診斷性能的影響,在信噪比為-7 dB的噪聲環境下進行對比。大小為5×1、7×1、9×1的3個卷積組成多尺度自適應選擇卷積塊C3,大小為5×1、7×1的兩個卷積組成的多尺度自適應選擇卷積塊C2。只有一個5×1卷積層但保留殘差連接的卷積塊C1。還有不包括殘差連接的5×1卷積塊C0。其余模型結構和參數不變。為消除偶然誤差,測試5次,并取平均值作為最終結果。實驗結果如下:C0卷積相比于C1卷積,在沒有殘差連接的情況下,準確率為65.8%,在噪聲干擾的數據集下模型容易出現過擬合情況,而C1卷積在加入殘差連接后準確率到達85.49%,殘差連接可以學習到原來的初始特征,有利于梯度的反向傳播,能夠有效避免模型訓練中存在的退化現象。同時,C2卷積塊準確率達到了89.31%。C3卷積塊的準確率到達93.58%,高于其他卷積塊。不同卷積的數量越多,提取到的不同時間尺度特征就越多,得到的多尺度融合特征就越豐富,這可以彌補單一尺度卷積提取特征能力有限的缺點,有助于模型識別故障特征。

同時,在信噪比為-7 dB的噪聲環境下,將多尺度自適應選擇卷積塊中注意力權重層不同的融合操作以及不同方式的寬卷積輸入的影響進行了對比。原始融合操作是利用兩個全連接層提取注意力權重,兩個全連接層的結構和固定縮放率都為SKNet中的默認結構和超參數。改進的融合操作是采用自適應大小的1D卷積提取注意力權重。不同大小的寬卷積合并輸入,其大小分別為128×1和64×1,單個大小為128×1的寬卷積和單個大小為64×1的寬卷積,其余參數一致。模型改進影響的實驗結果如表3所示。

表3 模型改進的影響

從表3可以看出,相比于單一寬卷積提取特征,通過不同大小的寬卷積提取并合并的初始特征更為豐富,準確率高于單個寬卷積128×1和單個寬卷積64×1時的。在不同大小的寬卷積同時提取特征的情況下,采用自適應大小1D卷積獲取注意力權重的準確率略高于SKNet中兩個全連接層獲取注意力權重的準確率。兩個全連接層中需要引入固定縮放率以及其他超參數,面臨不同任務時,固定縮放率會影響模型性能,而自適應大小卷積能避免超參數的調整。

在信噪比為-7、-3、1 dB的噪聲環境下,將MSASCNN與WDCNN[6]、MC-CNN[13]、ResNet[29]進行實驗對比。MC-CNN首先利用100×1、200×1和300×1的不同大小寬卷積并行提取不同尺度的信號特征,再連接3個卷積層提取深層特征;WDCNN采用64×1的寬卷積來抑制噪聲干擾;ResNet在圖像處理等多個領域具有良好的分類能力和魯棒性,利用殘差連接來學習更深層次的復雜特征,對比實驗中選擇ResNet18。不同模型的診斷性能對比實驗結果如表4所示。

表4 不同模型的診斷性能對比

從表4可以看出,不同模型的診斷能力會隨著信噪比的降低而逐漸下降,在信噪比為-7 dB的噪聲干擾下,其他方法的診斷能力都受到嚴重影響,而MSASCNN達到了最高的準確率93.58%。ResNet18的準確率低于MSASCNN,這是因為其卷積大小要小于MSASCNN的卷積大小,卷積的感受野有限,不能捕獲足夠的時間尺度特征,一定程度上容易受到噪聲干擾。在對比實驗中,MSASCNN準確率遠高于其他方法,在噪聲環境下診斷性能良好。

3.3 XJTU-SY軸承數據集

XJTU-SY軸承數據集由西安交通大學設計科學與基礎部件研究所和浙江長興昇陽科技有限公司提供[30]。測試軸承類型為LDK UER204,采集頻率為25.6 kHz,數據集包含3種工況下15個滾動軸承的全壽命周期振動信號,包含單一、復合故障等多種失效形式,具體數據集信息如表5所示。

表5 XJTU-SY軸承數據集

為驗證本文提出的模型在XJTU-SY軸承數據集上的故障診斷能力,在添加信噪比為-3 dB的噪聲環境下,加入WDCNN、MC-CNN、ResNet這3種模型進行對比。實驗結果如下:WDCNN診斷準確率最低,為46.66%。MC-CNN利用并行的3個不同大小的寬卷積層提取軸承故障特征,一定程度上能夠抵抗較低信噪比的噪聲干擾,診斷準確率為77.91%。ResNet利用深層網絡和殘差連接獲得了較高的診斷結果,診斷準確率為 87.18%。MSASCNN利用不同大小的寬卷積層抑制噪聲,再通過多尺度自適應選擇卷積塊提取特征,診斷準確率為95.93%,高于其他方法。實驗結果表明,MSASCNN在面對多種失效形式的軸承故障時,依舊能夠保持良好的診斷性能。在信噪比為1 dB和-2 dB的噪聲環境下,利用t-SNE[31]降維技術對MSASCNN分類過程進行了可視化分析,結果如圖5所示。

(a)信噪比為1 dB下的初始數據分布

(b)信噪比為1 dB下的模型分類后數據分布

(c)信噪比為-2 dB下的初始數據分布

(d)信噪比為-2 dB下的模型分類后數據分布

從圖5可以看出,在信噪比為1 dB和-2 dB的噪聲干擾下,初始時的振動數據分布混亂,類與類之間出現嚴重混疊現象。通過MSASCNN分類之后,在信噪比為1 dB噪聲環境下,不同故障狀態的振動數據分布清晰,類與類之間不存在混疊現象,類內距離小。信噪比為-2 dB噪聲環境下,整體的分類結果良好,可以區分不同類的數據,少部分數據樣本受噪聲干擾,出現分類錯誤情況,每個數據的類內距離相比于在信噪比為1 dB噪聲環境下的類內距離較大,類與類之間的距離較小,可以看出低信噪比的噪聲對模型分類有一定的干擾。可視化結果進一步驗證了MSASCNN的軸承故障診斷性能良好。

4 結 論

本文針對傳統多尺度卷積神經網絡中不同尺度的特征融合方式單一的問題,提出了一種多尺度自適應選擇卷積神經網絡的診斷模型,得到主要結論如下。

(1)MSASCNN利用多尺度自適應選擇卷積塊提取不同尺度的特征,并通過注意力機制自適應調整不同尺度的特征權重來選擇關鍵特征,再加入殘差連接來防止模型退化,提高了模型的自適應能力和魯棒性。在CWRU軸承數據集和XJTU-SY軸承數據集上的噪聲實驗表明,MSASCNN具有良好的抗噪能力,能夠有效診斷軸承故障。

(2)不同卷積數和加入殘差連接的對比實驗結果表明,3個不同大小的多尺度自適應選擇卷積塊能夠提取更豐富的多尺度特征,在噪聲環境下具有更好的特征學習能力和良好的故障診斷結果。

(3)模型改進對比實驗結果表明,特征篩選層利用不同寬卷積同時提取特征,并在注意力權重層加入自適應大小的一維卷積,獲得了最高的診斷精度,驗證了模型改進的有效性。

(4)本文實驗是在足夠標記數據的軸承數據集下進行的,但在工業生產中工況復雜,很難獲得足夠的故障數據,因此未來將進一步研究小樣本條件下的軸承故障診斷。