改進殘差結構的輕量級故障診斷方法

劉芯志，彭 成,2，滿君豐,2，劉 翊

(1.湖南工業大學 計算機學院，湖南 株洲 412007；2.中南大學 自動化學院，湖南 長沙 410083； 3.工業和信息化部 國家先進軌道交通裝備創新中心，湖南 株洲 412000)

0 引 言

滾動軸承是機械裝備中的核心器件，其健康好壞關系機械裝備甚至整條生產線的產出質量。因此對滾動軸承的故障研究具有重要意義。在傳統的滾動軸承故障識別方法中，主要采用信號處理和機器學習技術[1-5]。基于特征提取和分類的故障診斷方案能夠取得不錯的效果，但是存在兩個局限性：①傳統的故障檢測算法需要有信號處理相關的知識背景，且需要人工構建特征并進行挑選，無法自適應提取故障特征；②通用性較差，面對不同的工況場景時可能會需要不同的特征提取方法。隨著深度學習技術的興起，以長短期記憶網絡(long short-term memory，LSTM)與卷積神經網絡(convolution neural network，CNN)為代表的網絡結構在故障診斷領域應用逐步增多[6-12]，但是也存在以下一些問題：①網絡層數過深，且LSTM無法并行計算導致參數過多、模型訓練時間長；②原始數據信號過于理想化，而真實環境往往伴隨著更多噪聲。針對以上問題，本文提出改進殘差結構的輕量級(spatial channel attention residual network，SCARN)模型。SCARN模型采用分組學習、藍圖可分離卷積、設計輕量級空間通道注意力模塊的方式達到在保證較高故障診斷準確率的情況下盡可能減少模型參數，同時對深度殘差收縮網絡進行改進，設計了空間信息增強模塊代替原始的全局平均池化層，增強了在復雜噪聲場景下的魯棒性。

1 深度學習模型

1.1 分組學習與通道混合

分組學習結構能夠讓模型分配到更多的GPU資源上，提高運算效率，同時能夠在組內空間建模，通過空間注意力、通道注意力表達學習到不同的子特征。分組學習結構如圖1所示。

圖1 分組學習結構

分組學習將輸入的數據按照通道數c進行劃分，每g個通道為一組，每組通道分別學習空間注意力特征、通道注意力特征，使模型能夠將重點放在信息量大的局部區域以及通道中，最后將各個組進行整合。

各個組整合后，將進行通道混合操作，其目的是為了讓各個組學習的子特征在不同組間進行傳遞，使得下次再進行分組時，注意力機制能夠關注到更多信息，模型輸出大小和輸入相同，因此分組學習與通道混合結構可以靈活嵌入到其它的深度學習網絡中。

1.2 空間通道注意力模塊

注意力機制通過模仿人類對事物重點觀察的特點，廣泛應用于各種任務中，例如機器翻譯領域[13,14]和計算機視覺領域[15,16]。為了加強模型特征表達能力，構建輕量級網絡，目前比較常用的注意力機制是SENet(squeeze-and-excitation networds)[17]。SENet是通道注意力機制的典型代表，對信息量大的通道進行增強，抑制對分類結果幫助不大的通道，SENet幾乎可以嵌入到任何CNN網絡中，以少量的參數和計算量獲得較大的性能提升，但是SENet只關注了模型的通道信息，忽略了模型的空間信息。因此越來越多的深度學習網絡模型將空間注意力模塊和通道注意力模塊相互整合提高任務指標，其中以CBAM(convolutional block attention module)[18]結構為代表。

但是空間注意力模塊使用卷積層僅能捕獲空間的局部信息，缺少對長距離信息的關注[19]，由此本文構建了一種將兩個方向的長距離空間信息融入通道的注意力模塊，如圖2所示。

圖2 空間通道注意力模塊

圖2中的卷積操作卷積核大小均為1×1，以此達到在引入幾乎可忽略不計參數量的情況下，將長距離依賴的空間信息嵌入到通道中的目的，r表示衰減因子，與SENet中的r含義相同。

SENet中的全局池化層對空間信息的編碼過于簡單，會忽略掉過多有用信息，因此本文中的空間通道注意力模塊首先將輸入信息分別沿X方向以及Y方向進行空間編碼，利于獲取空間信息的長距離依賴，如式(1)、式(2)所示

(1)

(2)

f=Sigmoid(BN(Conv2d([zh,zw])))

(3)

其中，f為經過Sigmoid函數后生成的空間信息圖，zh、zw為高度h、 寬度w的輸出張量，Conv2d為二維卷積函數，BN為批歸一化函數。接著將f分割成兩個單獨的張量fh、fw， 并進行卷積操作將通道數恢復到原始數量，如式(4)、式(5)所示

gh=Sigmoid(Conv2d(fh))

(4)

gw=Sigmoid(Conv2d(fw))

(5)

其中，gh、gw為恢復通道數后的張量，最后將兩個方向的張量進行擴張，作為輸入信息各個像素的注意力權重，如式(6)所示

(6)

其中，c為通道數，i、j為空間特征面的像素坐標。

1.3 藍圖可分離卷積層

常規卷積層中不同卷積核存在很多相似，這些相似的卷積核類似于從一個標準卷積核通過不同的線性變換得到[20]，由此可以將常規卷積層進行分離，藍圖可分離卷積層如圖3所示。

圖3 藍圖可分離卷積層

輸入會先經過點卷積操作將特征面的每個通道特征進行加權并進行正交約束，防止參數間高度關聯，隨后將輸出作為第二個點卷積操作的輸入，進一步將通道信息融合，最后通過深度卷積操作將空間信息融合。藍圖可分離卷積相比于常規卷積層在保持高效信息融合的同時減少大量參數。

1.4 改進的深度殘差收縮模塊

隨著網絡模型的加深，容易發生“梯度消失”和“梯度爆炸”的現象，ResNet[21]的出現緩解了這一現象。但是在大型機械設備的故障診斷場景中，采集到的信號包含有不同程度的噪聲，常規的深度學習模型無法剔除或抑制噪聲信號，因此將信號降噪中常見的軟闕值方法引入殘差結構中[22]。

軟闕值會將信號進行收縮，如式(7)所示

(7)

其中，x是信號的輸入，y是信號的輸出，α是當前信號的闕值，闕值需要滿足兩個條件：第一、闕值是正數；第二、闕值不能太大。如果闕值過大，那么介于闕值之間的輸出信號就會全部為0，導致損失有用信息。軟闕值導數公式如式(8)所示

(8)

可以看出，軟闕值的導數不是1就是0，這和ReLU函數導數性質很相似，也能在一定程度上防止“梯度消失”和“梯度爆炸”現象。

每個信號的0附近并不全是噪聲，直接使用軟闕值會將有利用價值的信息也去除掉。卷積網絡能夠將特征域進行轉換，將噪聲聚集在0附近，這時再使用軟闕值效果會更好。

在深度殘差收縮結構中，全局平均池化層會忽略大量有效的局部或長距離依賴空間信息，在信息丟失的情況下，再使用全連接層將各個通道的空間信息組合不能進一步提升軟闕值的效果。因此需要加大對深度殘差收縮模型空間信息的獲取，改進后的深度殘差收縮模型如圖4所示。

圖4 改進的深度殘差收縮模塊

其中，FC表示全連接網絡，al是殘差結構的輸入，al+1、al+2分別是經過第一個、第二個藍圖可分離卷積層的輸出，α表示闕值矩陣，經過絕對值Abs操作后保證了α為正數，Sigmoid函數使闕值矩陣α的輸出不會太大。

模塊的輸入先經過兩個藍圖可分離卷積層，絕對值化后的1×1卷積層將特征面每個神經元的通道信息結合，再利用Softmax函數對特征面的每個神經元計算注意力權重，最后每個特征面神經元和對應的注意力權重相乘再累加，以實現和全局平均池化層一樣的效果，但改進后的模塊融合了更多的空間信息。

2 滾動軸承故障診斷方法及流程

改進殘差結構的輕量級故障診斷方法流程如圖5所示，具體步驟如下：

(1)預處理。預處理首先要判斷是否要將數據加入高斯白噪聲，采用降低信噪比的方式對數據進行處理，公式如式(9)所示

SNR(dB)=lg(Psingal/Pnoise)

(9)

其中，Psingal表示信號的有效功率，Pnoise表示噪聲功率，SNR表示信噪比。

圖5 改進殘差結構的輕量級故障診斷方法流程

隨后將數據進行標準化，標準化能夠提升網絡模型的收斂速度以及網絡模型的精度。在時序任務中，要特別注意數據穿越問題，即對訓練集的預處理不能包含驗證集的信息，否則會導致驗證集訓練結果高，但測試集表現很差。因此標準化應放在數據集劃分之后、模型訓練之前。假設xmn表示第m個樣本的第n個特征值，μ表示所有樣本第n個特征的平均值，σ表示所有樣本第n個特征的方差，標準化處理公式如式(10)所示

(10)

最后將一維信號數據矩陣化。

(2)劃分數據集。將滾動軸承原始時域振動數據采用分層抽樣的方式劃分為訓練集與測試集。為了能夠將測試結果進行對比，劃分數據集時需要固定隨機種子以及劃分比例。

(3)交叉驗證。為了評估模型的預測效果，減少過擬合風險，交叉驗證是非常常見的方式。在模型中，每一折交叉驗證會根據評估指標得到最優的模型參數并保存，最后用于測試集預測。

(4)模型構建。將原始時域振動信號經過預處理后輸入SCARN模型中訓練。

(5)測試集驗證。將測試集放入每一折的最優模型，得到預測結果。使用準確率(Accuracy)、F1值(F1 Score)、精確率(Precision)、召回率(Recall)作為評價指標。

3 實驗研究與分析

3.1 實驗準備及數據分析

本文實驗環境為：Windows 10(64)位，PyCharm(2020.1.2)，Keras(2.2.0)。

為了盡量使軸承采集數據貼近大型機械設備真實運行環境，檢測SCARN模型的抗噪性能，將采集到的數據增加不同幅值的高斯白噪聲，外圈故障數據原始信號以及增加高斯白噪聲后的噪聲信號時域圖如圖6所示。

圖6 不同信噪比狀態(原始、-1 dB、 -2 dB、-3 dB)時域圖

從圖6中可以看出，外圈故障原始時序圖故障特征比較明顯，但是在信噪比逐漸降低后，特征信息減弱了。時域信號有代表性的3個特征指標：方差、偏度、峰度，在不同噪聲下的特征值見表1。

將信號進行希爾伯特變換，得到不同信噪比狀態下的

表1 不同信噪比下的時域信號指標

解析函數，最后求解各自的包絡譜，觀察信號頻域的幅值變化，如圖7所示。

圖7 不同信噪比下的包絡譜

從表1、圖7中可以發現傳統的信號處理特征指標在受到不能程度噪聲干擾后，特征信息會發生顯著變化，因此傳統故障診斷方法在噪聲情景下的診斷率比較低，這時需要引入專家經驗，但成本會大幅提高。

3.2 實驗過程及結果分析

本文利用Keras深度學習框架搭建融入注意力機制和殘差結構的SCARN模型。模型損失函數采用交叉熵損失函數，優化器采用Adam，初始化學習率為0.001，當驗證集F1值6輪不再上升時，學習率變為原來學習率的十分之一，當驗證集F1值10輪不再提升時，模型停止迭代標準，此時保存最優模型參數。模型訓練100輪，批次大小為64。

模型在前期的損失有小幅上升，訓練集準確率迭代到5輪的時候就接近100%，訓練集損失在17輪左右接近0，總體來說是朝好的方向優化。

深度學習算法端到端訓練的特點使得在不需要人工干預的前提下就能自動學習到不錯的特征，然而自動學習特征的過程一直被視為黑箱子操作[23]。為了進一步揭示SCARN模型內部對信號數據的特征提取過程，利用流形學習中的t-SNE[24]技術對高維空間進行降維。可視化實驗將SCARN模型分為3部分：模型輸入、第一層改進深度殘差收縮模塊的輸出、模型輸出。引入-3 dB信噪比狀態下的模型可視化結果如圖8所示。

圖8 -3 dB信噪比狀態下的模型可視化結果

從圖8中可以看出，輸入信號各個類別的邊界不明顯，存在多種類別聚集混合的現象。在經過第一層改進深度殘差收縮模塊后，樣本的邊界變大了，有些類別出現較明顯的聚集現象，例如“0”。經過空間通道注意力模塊結合分組學習與通道混合操作后，能夠將散列分布的數據聚集在一起，使模型更關注有效的特征，抑制不重要的信息。但仍存在少量樣本類別混合。

SCARN模型在沒引入額外噪聲的不同負載數據集下的表現見表2。

從表2中可以看出，在不添加高斯白噪聲的情況下，SCARN模型在不同負載數據集的表現均不錯，最差的準確率也能達到0.998。這種表現主要是由于兩方面原因：第一、實驗采集的信號數據比較干凈，各種故障類型的信號特征比較明顯；第二、SCARN模型能夠準確的提取出信號中需要著重關注的特征。

為了驗證SCARN模型具有良好的抗噪聲能，將數據集A增加不同幅值的高斯白噪聲，模型評價指標結果見表3。

從表3中可以看出，SCARN模型具有良好的抗噪性能，在加入信噪比為-3的高斯白噪聲后，模型仍能達到0.94的準確率。-3 dB信噪比下的混淆矩陣如圖9所示。

從混淆矩陣中可以看出，在加入高斯白噪聲后，大部分預測結果與真實結果的故障直徑和故障類型存在1種錯誤，兩者都預測錯誤的情況很少。

3.3 各類方法對比分析

本文將改進殘差結構的輕量級SCARN模型分別與深度殘差收縮模型、CBAM+深度殘差收縮模型、CNN-LSTM模型[11]、1DCNN模型[12]、ResNet模型以及基于EMD-SVM模型[25]進行對比，采用準確率、F1值、精確率、召回率作為評價指標，在數據集A中加入不同幅值的高斯白噪聲后，各模型方法評價指標結果如圖10所示，深度學習模型參數見表4。

從圖10中可以看出，以上7種方法在沒有添加高斯白噪聲的情況下均能達到96%以上的準確率，隨著信噪比的減少，SCARN模型相比其它模型的抗噪性能更強，最差也能達到94%的準確率。

CNN-LSTM模型的表現僅次于SCARN模型，但是從表4中可以看出CNN-LSTM模型的參數是SCARN模型的

表2 不同負載數據集下SCARN模型評價指標結果

表3 加入高斯白噪聲后SCARN模型評價指標結果

圖9 -3 dB信噪比混淆矩陣

圖10 不同信噪比下各模型評價指標

表4 深度學習模型參數

19倍，這意味著訓練的時間會更長，硬件資源的消耗更多，且LSTM計算效率不高，無法進行并行計算。1DCNN模型雖然參數是最少的，沒有噪聲信號的情況下能夠達到較高的準確率，但是其模型過于簡單，真實場景中往往充斥著更復雜的噪聲信號導致模型準確率下降。

將不同幅值的高斯白噪聲信號傳入深度殘差收縮模型中，準確率有所下降，特別是信噪比越小時，下降得更加明顯。深度殘差收縮模型在加入CBAM后，準確率有上升，說明注意力機制能夠使模型能更加專注在有效特征的提取上，抑制噪聲。對比SCARN模型，SCARN模型準確率下降比較平穩，說明抗噪性能較好，且參數數量也少于前兩種模型。

ResNet模型能夠有效避免“梯度爆炸”或“梯度消失”現象，在原始信號下也能達到較高的準確率，但是引入噪聲信號后，模型表現大幅下降，可能的原因是單一的殘差結構對噪聲信號特征和原始信號特征沒進行特別處理，導致殘差卷積后仍包含大量噪聲。

EMD+SVM模型的故障識別準確率最低。在加入噪聲信號后，從表1、圖7可以看出信號的時域特征指標以及頻域均會出現不小變化，噪聲影響了對原始信號特征的提取，采用簡單的分析方法難以獲得較好的結果，且需要引入專家經驗，加大了模型搭建成本。

4 結束語

針對現有模型存在的網絡層數過深、模型較復雜，實驗數據環境過于理想化的問題，提出改進殘差結構的輕量級SCARN模型并應用于大型機械設備故障診斷。本文主要工作：①通過分組學習與通道混合操作增強了信息的交互；②考慮到卷積核的相似性，使用藍圖可分離卷積代替常規卷積層，在保持高效的同時減少了大量參數；③設計了新的空間通道注意力模塊，在SENet模型基礎上將兩個方向長距離依賴的空間信息融入通道中，提高特征表達能力；④改進深度殘差收縮模塊，設計空間信息增強模塊代替原有的全局平均池化層，提高模型噪聲環境下的魯棒性。實驗結果表明，SCARN模型能夠在參數量盡可能少的同時，提取到信號數據的有效特征，且具有良好的抗噪性能。在下一步工作中，會針對同一機械多種故障源以及多數據源進行實驗，對模型的優化也是需要重點考慮的問題。