基于改進膠囊網絡的軸承復合故障診斷研究

袁洪芳, 張曉寧, 王華慶

(1. 北京化工大學 信息科學與技術學院,北京 100029; 2. 北京化工大學 機電工程學院,北京 100029)

滾動軸承是機械設備中至關重要的零部件,其工作狀態和機械設備的運行狀態密切相關,對軸承進行故障診斷研究具有重要意義。最初,常常通過傳統信號處理方法來判斷故障是否存在[1-3]。隨著機器學習的發展,開始將傳統的信號處理方法與機器學習方法如支持向量機、K近鄰算法等相結合實現故障信號的特征提取和識別[4-5]。近些年來,作為人工智能領域的前沿技術,深度學習被廣泛地應用到旋轉機械的故障診斷領域中,取得了突出的成果。經典的深度學習方法包括自編碼器(autoencoder,AE)[6]、卷積神經網絡(convolutional neural networks,CNN)[7]和門控循環神經網絡(gate recurrent unit,GRU)[8]等,其中CNN最為常用,并出現了Alexnet[9]、Resnet[10]等多種網絡結構。Wang等[11]將擠壓激勵模塊和CNN相結合,對軸承的對稱點模式特征進行識別。吳晨芳等[12]用軸承信號的二維灰度圖作為輸入,并對LeNet-5進行改進,可以在不完備故障樣本中學習故障共性特征。牛銳祥等[13]針對模型泛化性能不足的問題,提出一種改進的Densenet實現端到端的診斷。

然而,由于實際工業環境復雜,軸承的不同部位往往同時損壞并相互影響,這就導致復合故障的產生。這時,常常會出現某一種故障的嚴重程度遠遠大于另一種故障的情況,復合故障的特征受到更嚴重故障的影響,嚴重性較弱的故障很容易被忽略[14]。因此,復合故障診斷的難度大大增加。

針對復合故障的檢測,目前的研究大致有兩個方向。一是通過傳統分離提取方法分離不同類型的信號:Li等[15]提出了一種多重稀疏表示算法,有效地實現了軸承和齒輪箱復合故障的分離和檢測;齊詠生等[16]對故障信號進行解卷積運算,用Teager能量算子增強信號,并作傅里葉變換分析故障特征頻率,有效分離復合故障特征。二是結合多標簽分類,通過深度學習方法自動識別分類:Huang等[17]首次提出了一種基于多標簽學習的一維深度卷積神經網絡,可以實現旋轉機械復合故障的識別和解耦;Liang等[18]用小波變換提取二維時頻特征,建立多標簽卷積神經網絡模型實現齒輪箱的復合故障診斷。

但是,要保證CNN的學習能力,往往需要大量的樣本用于訓練,在實際工程中可能無法滿足。并且,它對不同特征的相對位置并不關注,缺少可用的空間信息,會不可避免的導致錯誤結果。2017年,Sabour等[19]提出了一種新型的網絡架構——膠囊網絡,其核心思想是構造向量神經元代替傳統神經網絡的標量神經元,保留空間信息,提高模型的特征提取能力。楊平等[20]提出了一種卷積膠囊網絡,在噪聲污染和載荷變化的情況下得到了較好的診斷效果。Li等[21]提出一種雙卷積膠囊網絡,用于小樣本條件下的旋轉機械故障診斷。Ke等[22]將膠囊網絡和長短期記憶網絡(long short-term memory, LSTM)相結合用于檢測模塊化多電平換流器發生子模塊產生的復合故障,證明了其用于復合故障診斷的可行性。然而,以上研究中所用的膠囊網絡通過動態路由算法進行膠囊層之間的信息傳遞,常常需要耗費大量的資源。Mazzia等[23]提出了一種高效的膠囊網絡,用自注意路由代替動態路由,相較于原始膠囊網絡性能有了明顯提升。本文對膠囊網絡進行改進,在網絡的前端特征提取部分中增加了關注通道特征信息的擠壓激勵模塊,并使用自注意路由進行膠囊層之間信息的傳遞,提出了一種改進的膠囊網絡用于復合故障診斷。利用實驗室數據進行驗證,結果表明該方法可以有效地實現復合故障診斷。

1 基本理論

1.1 卷積神經網絡

卷積神經網絡是一種前饋式神經網絡模型,具有稀疏連接和權重共享的特性。它主要包括卷積層、池化層和全連接層。

卷積層通過對輸入信號進行卷積運算來提取特征。對于輸入x,卷積運算可表示為

h=f(w*x+b)

(1)

式中:w為卷積核的權重;b為偏置項;符號*為卷積運算;f(·)為非線性激活函數,常用的有relu函數,可以寫成

f(x)=max(0,x)

(2)

池化層也稱為下采樣層,主要作用是降維,也可以加快訓練。常用的方式為最大池化

h=f[max(x)+b]

(3)

式中:x和h分別為輸入和輸出特征;b為偏置項;max(·)為取最大值函數;f(·)為激活函數。

全連接層起到一個分類器的作用,可以實現所提取特征和樣本標簽的映射,完成分類任務。

1.2 擠壓激勵模塊

擠壓激勵模塊是Hu等[24]首次提出的一種新結構,該模塊專注于通道信息,通過學習的方式自動獲取每個特征通道的重要程度,并根據學習到的重要程度提升有用特征抑制用處不大的特征。它主要包括擠壓和激勵兩種操作,網絡結構如圖1所示。

圖1 擠壓激勵模塊網絡結構圖

擠壓操作通過全局平均池化將每個特征通道的空間信息壓縮為一個代表通道全局特征信息的值。統計信息z∈Rc在空間維度W×H上壓縮成,z的第c個元素可以通過式(4)計算

(4)

式中:Fsq(·)為壓縮操作;uc為第c個特征。

激勵操作通過兩個全連接層實現:第一個全連接層將特征維度壓縮到輸入的1/r,并使用relu函數激活;第二個全連接層進行升維操作來恢復原始特征維度,再利用sigmoid函數控制得到歸一化權重。該操作可表示為

s=Fex(z,W)=σ[g(z,W)]=σ[W2δ(W1,z)]

(5)

式中:Fex(·)為激勵操作;σ(x)為sigmoid激活函數;δ(x)為relu激活函數;降維層參數W1∈R(c/r)×c,升維層參數W2∈Rc×(c/r),r為維度縮減率。

最后,通過加權操作將歸一化后的權重加權到每個通道的特征上

(6)

式中,Fscale(uc,sc)為特征映射uc∈RH×W和標量sc之間的對應通道乘積。

1.3 膠囊網絡

膠囊網絡的核心思想是將傳統神經網絡的標量神經元組合為向量,以向量的形式保存更豐富的信息,減少特征信息的丟失,提高模型的特征提取能力。

膠囊網絡通常包含卷積層、初級膠囊層和高級膠囊層。網絡首先和卷積神經網絡一樣通過卷積運算進行特征提取,所提取的特征被輸入到初級膠囊層。

1.3.1 初級膠囊層

初級膠囊層首先進行卷積運算,然后將神經元組合為向量。經過初級膠囊層的操作后,網絡的基本元素不再是單個的神經元,而是一個膠囊向量。在這一層中,使用squash函數[25]對向量進行激活

(7)

式中,s為單個膠囊。該函數既能使向量保持方向,又能確保短向量收縮到幾乎為0的長度,長向量收縮到略小于1的長度。而且該函數對接近0的小變化更加敏感,在訓練過程中可以實現梯度提升。

1.3.2 高級膠囊層

高級膠囊層以初級膠囊層的輸出作為輸入,通過自注意路由算法以聚類的方式建立低層膠囊到高層膠囊之間的非線性映射。兩個膠囊層之間的整體架構和全連接網絡非常相似,只是增加了一個由自注意路由帶來的分支,如圖2所示。

圖2 自注意路由

在圖2中:Un1,d1為初級膠囊層有n1個膠囊,每個膠囊的維度為d1;Un2,d2為高級膠囊層有n2個膠囊,每個膠囊的維度為d2;W為權重矩陣,包含前后兩層膠囊的仿射變換;Bn1,n2為先驗矩陣;Cn1,n2為系數矩陣。

(8)

高級膠囊層中的膠囊可以用式(9)來計算

(9)

式中:先驗矩陣Bn1,n2包含所有權重的判別信息;Cn1,n2為耦合系數矩陣。不同于傳統膠囊網絡使用的動態路由算法,Cn1,n2自注意路由算法生成的。在該網絡中,每個膠囊都包含一個自注意張量A(:,:,n2),計算如下

(10)

(11)

將該耦合系數應用于式(9)中,便可計算得到高級膠囊層中的膠囊向量,由此完成膠囊層之間的映射。

2 改進的膠囊網絡故障診斷方法

2.1 模型結構

本文提出了一種改進的膠囊網絡模型用于滾動軸承的復合故障診斷。它以原始一維振動信號作為輸入,無需手動特征提取和選擇,可以自動完成識別分類。其核心部分由卷積層、擠壓激勵模塊、初級膠囊層和高級膠囊層組成,網絡結構如圖3所示。

圖3 改進膠囊網絡結構圖

由圖3可知,改進的模型共有8層結構。首先,用卷積層提取輸入信號的特征,使用寬卷積核增加模型的感受野,保留更多的特征信息,同時減小噪聲的影響。其次通過最大池化層降低特征維度,提高運算效率。中間重復使用兩個卷積層,用小卷積核充分提取底層特征。隨后添加了一個擠壓激勵模塊,可以充分考慮不同通道特征的重要性,實現通道維度特征的重新校正,并將加權后的特征信息傳遞到初級膠囊層。為了進一步優化模型,在特征提取部分的每一個卷積層后都使用了批標準化層,防止梯度消失,增強泛化能力。模型中所有的卷積層均使用了L2正則化來防止過擬合。

初級膠囊層首先進行卷積運算,將卷積結果構造成向量形式作為高級膠囊層的輸入。高級膠囊層通過自注意路由算法計算膠囊層之間的相關度以實現對所提取特征的歸類,得到x個輸出向量,其中x表示單一信號類別數,在本文中為4。輸出層對輸出向量分別求模長,即得到樣本的預測結果。

2.2 多標簽分類

如圖4所示,傳統分類器與多標簽分類器有明顯區別。傳統的深度學習分類器將概率最大的類別作為預測結果,只能識別單一故障,而多標簽分類器可以同時輸出單個類別或多個類別預測單一或復合故障。在本研究中,每個樣本的標簽是一個允許多個索引同時為1的向量,而不是獨熱碼。同時,選擇支持多種類別同時存在的二元交叉熵函數作為損失函數,最終得以實現軸承復合故障的解耦和識別。

圖4 傳統分類器和多標簽分類器的區別

2.3 評價指標

軸承的復合故障診斷是一個多標簽分類問題,評價指標不同于傳統的二分類和多分類。本文通過計算樣本準確率(Accuracy)對模型的性能進行評估[26],定義如下

(12)

3 試驗分析

3.1 試驗數據

試驗所用數據采集自如圖5所示滾動軸承診斷試驗臺。該試驗臺主要由感應電動機、滾動軸承和加速度傳感器組成。軸承型號為NTN N204,采樣頻率為100 kHz。在此條件下共采集了軸承六種狀態下的振動數據,分別為:健康狀態數據、內圈故障數據、外圈故障數據、滾動體故障數據、內圈和滾動體復合故障數據、外圈和滾動體復合故障數據。

1.電機; 2.加速度傳感器; 3.軸承; 4.主軸

分別采集轉速為1 300 r/min,900 r/min和500 r/min三種條件下的振動信號。以轉速1 300 r/min為例,圖6展示了六種類型信號的時域波形。將所采集的振動信號以每1 024個數據點劃分為一個樣本,選擇每種類型的樣本各800個用于試驗,不同類型信號和其對應標簽如表1所示。隨機選取70%的數據用于訓練,30%用于測試。為了避免試驗結果受隨機性的影響,本文中所有數據都是試驗10次取均值的結果。

表1 信號類型和對應標簽

圖6 不同類型的時域信號圖

3.2 模型參數設置

在模型的訓練過程中,使用Adam優化器進行優化,學習率采用指數衰減的方式,初始學習率為0.001,衰減率為0.9。模型的具體參數設置如表2所示,輸入維度為(1 024,1)。Batchsize設置為30,卷積層使用relu函數作為激活函數,膠囊層使用squash函數激活。初級膠囊層膠囊向量的維度為4,高級膠囊層膠囊向量維度為16。本試驗在Linux環境下進行,使用的編程語言為Python,深度學習框架為Tensorflow,GPU為NVIDIA Tesla V100。

表2 改進膠囊網絡的模型參數

3.3 不同轉速下的性能分析

首先驗證了所提出的模型在不同轉速數據集上的性能。用轉速分別為1 300 r/min,900 r/min和500 r/min三種狀態下的數據集進行測試,當轉速為1 300 r/min時訓練集和測試集的準確率曲線,如圖7所示。由圖7可以看出,隨著迭代次數的增加,兩者的準確率都不斷提高,后期趨于穩定。

圖7 轉速為1 300 r/min時訓練集和測試集的準確率曲線

為了驗證模型改進部分對試驗結果的影響,設置了一些對比試驗。模型一為和本文方法具有相同結構、但使用動態路由算法的膠囊網絡,其中動態路由迭代3次;模型二未使用擠壓激勵模塊;模型三為和本文方法結構相似的卷積神經網絡,將膠囊層換為兩個全連接層,第一個全連接層神經元個數為32,第二個全連接層為分類層,輸出個數為4,并使用sigmoid函數作為分類函數。四種方法在三種數據集上的分類準確率如表3所示。

表3 不同轉速下的試驗結果

由表3可知,本文方法在三種數據集上分別達到了98.70%,98.04%和94.72%的準確率,說明該方法在軸承復合故障診斷方面取得了令人滿意的成果。與此同時,對于三種不同轉速的數據集,本文方法與模型一幾乎達到了相同的診斷效果。但是由表4可以發現,本文方法迭代100次僅需要144.30 s,而模型一需要582.98 s,訓練速度大幅度提升。這是因為模型一中使用的動態路由算法在計算耦合系數的過程中需要不斷地迭代以實現從低級膠囊到高級膠囊的轉化。這個過程涉及到大量的運算,必然會消耗大量的時間和資源。而自注意路由的過程是非迭代且高度并行的,比動態路由更高效。與模型三相比,本文方法的性能并未有明顯提升。

表4 兩種膠囊網絡所需時間對比

綜合來看,起到最明顯的提升作用的是擠壓激勵模塊。與模型二相比,改進的方法在三種數據集上的準確率分別提高了3.15%,2.21%和3.04%。為了直觀地對比本文方法和模型二的特征提取能力,用t-SNE可視化來觀察其特征分布情況。模型二的聚類結果如圖8(a)和圖8(c)所示,本文方法的聚類結果如圖8(b)和圖8(d)所示。

圖8 t-SNE特征可視化

圖8中每個點代表一個樣本,不同形狀表示不同類型的樣本。從初級膠囊層的可視化結果可以看出,模型二只將外圈滾動體復合故障樣本成功地聚類,其他類型的樣本混合在一起難以區分。但是改進的網絡中各種類型的樣本已經逐漸聚類到一起。由高級膠囊層的可視化結果可知,模型二中多個內圈、外圈和內圈滾動體復合故障樣本被錯誤的歸類。相比之下,改進的方法只有少量樣本被錯誤聚類。總的來說,本文方法的表現優于模型二。這表明擠壓激勵模塊聚焦于通道間的關系,自動學習每個通道特征的權重,選擇性地增強有用的特征,可以有效地提高故障診斷的分類準確率。

3.4 樣本量不同時的性能分析

為了檢驗樣本量不同時本文方法的診斷能力,使用轉速為1 300 r/min的數據集進行測試,四種方法的表現如表5所示。

表5 四種方法在不同樣本量下的準確率

由表5可知,隨著樣本量的增加,各個模型的分類準確率也隨之增加。當每種類別樣本只有100個時,使用膠囊網絡結構的模型一和本文方法的準確率分別達到了94.03%和94.12%,表現出優異的診斷能力。相比之下使用卷積神經網絡結構的模型三只達到了81.51%,比本文方法和模型一分別減少了12.61%和12.52%。當每種類別的樣本分別增加到200個、400個和600個時,本文方法的準確率分別比模型三提升了1.89%,0.53%和0.27%,差距逐漸減小。當每種類別樣本增加至800個時,本文方法和模型三達到了幾乎相同的診斷效果?？梢园l現,卷積神經網絡往往需要大量的訓練樣本才能得到比較好的診斷效果,而膠囊網絡用向量神經元代替標量神經元,可以保留更豐富的信息,在小樣本故障診斷方面有更突出的表現。

3.5 噪聲環境下的性能分析

由于軸承的實際工作環境復雜,所采集到的信號會不可避免的受到噪聲的干擾,因此驗證改進模型在噪聲環境下的魯棒性非常必要。向原始振動信號中添加不同信噪比(signal-noise radio,SNR)的高斯白噪聲來評估模型的抗噪性能,SNR的計算公式為

(13)

式中:PS為原始信號的功率;PN為噪聲功率。

以轉速1 300 r/min條件下的外圈故障信號為例,向該信號中加入信噪比為-10 dB的高斯白噪聲,原始信號和含噪信號的時域波形如圖9所示。由圖9可以看出,加入噪聲后信號的幅值發生了改變,原始信號中的故障特征被淹沒,難以單純通過觀察時域波形來確定信號類型。選擇轉速1 300 r/min條件下每種信號類型樣本各200個,分別驗證網絡第一層寬卷積核大小以及模型改進部分對抗噪性能的影響。

圖9 原始信號和含噪信號

3.5.1 第一層寬卷積核大小對抗噪性能的影響

首先驗證第一層寬卷積核大小對模型抗噪性能的影響,將其分別設置為16,32,64,96和128。信噪比為-3～10 dB時不同卷積核大小的分類結果如表6所示。由表6可以發現,當卷積核為96時,本文方法在信噪比為-3 dB和10 dB時分別達到了86.22%和96.89%的準確率。但當卷積核為16時,準確率只有84.67%和93.95%?？偟膩碚f,卷積核大小為96時比其他小卷積核的表現更好。這表明,第一層使用寬卷積核有助于保留更多的特征信息,減少噪聲的影響。但是,卷積核并不是越大越好。當卷積核為128時,該模型在不同信噪比下準確率都有所降低。因此,第一層寬卷積核的大小最終設置為96。

表6 不同信噪比下的準確率

3.5.2 改進部分對抗噪性能的影響

在這一部分,使用含信噪比為-10～25 dB的數據集對四種模型進行評估,結果如表7所示。顯而易見,隨著信噪比的減小,四種方法的準確率都明顯降低。本文方法在不同的信噪比環境下平均準確率達到了93.37%,分別比其他方法高出0.11%,5.54%和1.66%,其抗噪性能與模型一相當,明顯優于模型二和模型三。在-10 dB的強噪聲下,本文方法仍然可以達到85.51%的準確率,比模型二和模型三分別高出6.07%和3.42%。

表7 四種方法在不同信噪比下的準確率

通過對比試驗可以充分說明,改進后的膠囊網絡在未經過任何去噪預處理的情況下依然表現出優越的抗噪性能和泛化性能。

3.6 與其他方法的對比

為了進一步說明本文方法的優越性,與其他方法如Resnet18、改進的LeNet-5、深度卷積神經網絡(deep convolutional neural networks, DCNN)、雙卷積膠囊網絡(dual convolutional capsule network, DCCN)、和Capsnet+LSTM等進行了比較。為了更好地適應數據集,對這些網絡的參數進行了微調,五種方法均以一維時域振動信號作為輸入,網絡結構和參數設置如下:

(1)Resnet18——He等提出的經典方法,包括8個常規殘差模塊,輸出層節點改為4,分類函數使用sigmoid函數,損失函數使用二元交叉熵函數;

(2)改進LeNet-5——吳晨芳等人提出的改進方法,將其中的二維卷積改為一維卷積,輸出層節點為4,分類函數改為sigmoid函數,損失函數為二元交叉熵損失函數,其他參數相同;

(3)DCNN——Huang等提出的方法,將輸出層節點改為4,其他結構和參數均相同;

(4)DC-CN——Li等提出的方法,輸出層參數為4,其他參數相同;

(5)Capsnet+LSTM——Ke等提出的方法,包括兩個卷積層,一個池化層,一個LSTM模塊和兩個膠囊層。其中兩個卷積層卷積核大小分別為64×1和6×1,步長均為2,第一個膠囊層向量維度為8,第二個膠囊層向量個數為4,其他參數相同。

在轉速為1 300 r/min的數據集上進行試驗,結果如圖10。可以看出本文提出的方法比其他五種方法的準確率分別提高了1.52%,8.44%,6.19%,1.85%和4.12%,證明該方法在軸承復合故障診斷方面有更好的表現。

圖10 不同方法的結果

3.7 不同數據集上的泛化性驗證

為了充分驗證所提出方法的泛化性,采用帕德博恩數據集[27]進行試驗,其中滾動軸承型號為6203。選取其中的健康狀態數據、內圈故障數據、外圈故障數據和內外圈復合故障數據等四種類型進行試驗,本文方法在不同大小數據集上的表現如表8所示。由表8可知,本文方法在總樣本量僅為200的情況下分類準確率可以達到93.25%,說明其可以有效地診斷不同型號的滾動軸承復合故障,具有良好的泛化性能。

表8 帕德博恩數據集試驗結果

4 結 論

本文提出了一種基于改進膠囊網絡的智能復合故障診斷方法。該模型直接將原始振動信號作為輸入,利用卷積層和擠壓激勵模塊自適應地提取故障特征,構建膠囊向量并通過自注意路由進行膠囊層之間的信息傳遞,最終實現多標簽分類。利用實驗室采集的數據進行試驗,結果表明本文方法中改進的部分均起到了積極作用:擠壓激勵模塊幫助自適應提取更有用的特征,提高了識別準確率;與同樣結構的卷積神經網絡對比,本文方法用向量代替傳統神經元保留更細節更豐富的信息,在小樣本情況下表現出了明顯的優勢;與使用動態路由的膠囊網絡相比,本文方法的診斷效率大大提高。綜合來看,本文方法可以高效地實現復合故障診斷。在后續的研究中將考慮更復雜的復合故障診斷,如包含更多故障類別的復合故障等,以便更好的應用于實際工業場景中。