基于組序列多分支CNN-LSTM的風機軸承和齒輪箱故障診斷研究*

許啟發,程啟亮,蔣翠俠*,汪湘湘

(1.合肥工業大學 管理學院,安徽 合肥 230009;2.合肥工業大學 過程優化與智能決策教育部重點實驗室,安徽 合肥 230009)

0 引 言

風力發電機大部分都部署在海上或者較為偏遠的地區,由于環境惡劣,其故障率較高。在風力發電機中,最常見的故障往往發生在機組的軸承和齒輪箱中[1]。

定期對軸承和齒輪箱進行檢查會造成較大的損失,同時,機組過于頻繁啟停會大大降低風機關鍵部件的使用壽命。因此,如何有效地對風機(主要是其中的軸承和齒輪箱)進行狀態監測和故障診斷,已成為業界普遍關注的問題[2,3]。

在風力發電機的故障診斷方法中,振動監測方法得到了廣泛的應用[4]。基于振動監測的故障診斷方法主要有:基于規則的方法和數據驅動的方法[5]。其中,基于規則的方法建立在專家經驗和機理分析之上,通過模型分析預設一些統計指標,并基于閾值規則來識別故障信號,該方法在很大程度上依賴于所建立的數學模型的準確性[6]。

數據驅動方法包括特征提取、特征選擇和故障分類3個部分[7]。

特征提取的目的是為了將與故障特征相關的特征提取出來,常用的方法有短時傅里葉變換、經驗模態分解、包絡譜分析、S變換等[8,9]。然而,不是所有提取出來的特征都可以用于診斷,因此,需要通過特征選擇降低所提取特征的維數,保留更為重要的特征。目前,比較流行的特征選擇方法有主成分分析[10]、獨立成分分析[11]和流形學習[12]。

在特征選擇后,可將過濾后的特征作為輸入訓練分類器進行故障診斷。張建忠等人[13]提出了一種基于多類模糊支持向量機(support vector machine, SVM)分類器的風電機組故障診斷方法。曹玲玲等人[14]采用集合經驗模態分解和快速譜峭度方法,實現了對軸承的故障診斷。這些方法在不同的數據集上都有很好的表現,有些方法已經在工業領域得到了應用。

近年來,深度學習理論[15]得到了快速發展,其在目標檢測方面已經能夠達到較高的精度[16,17]。深度學習的優勢也使其能夠成功應用于故障診斷[18,19]。

劉偉等人[20]提出了一種基于并行1D-CNN的滾動軸承故障診斷方法,該方法具有較高的診斷準確率。朱永生等人[21]提出了一種考慮準周期性的,基于LSTM的滾動軸承弱故障診斷方法,實驗結果表明,該方法具有較好的故障診斷性能。

隨著研究的深入,將CNN和LSTM結合進行故障診斷的方法受到業界的廣泛關注[22],原因在于其在處理時間序列數據方面具有較高的準確率。

向玲等人[23]利用SCADA數據和具有注意力機制(attention mechanism, AM)的CNN-LSTM模型,對風力機進行了故障檢測。為了提高風電軸承在復雜工作和測試環境下的泛化能力,徐子菲等人[24]開發了一種基于雙向LSTM和加權多數投票的多傳感器多尺度CNN故障診斷模型。

上述模型和方法雖然都取得了滿意的效果。但在其工程實踐中還存在需要改進的地方:

(1)大多數模型只關注當前點的數據。只將當前時刻采集的時間序列數據作為模型的輸入,進行故障診斷,這并不符合實際診斷邏輯,因為單點采集時間通常只需要幾秒,不能以如此短時間內的數據性能,來判斷設備是否出現故障。現場的診斷專家不僅需要考慮當前點的數據,還需要考慮附近時刻的數據;

(2)數據資源相對匱乏。大部分訓練數據主要來自幾臺設備或單個風電場或實驗室數據,因此,其訓練后模型的泛化效果需要進一步驗證;

(3)諸多模型方法都充分利用了特征提取,但一般都沒有考慮到不同類型的誤分類代價不同問題。在故障診斷中,如果將故障信號誤判為正常信號,可能會導致災難性事故的發生。相反,當將正常信號誤判為故障信號時,這種誤分類代價相對較小。

針對上述問題,筆者提出一種具有注意力機制的組序列多分支CNN-LSTM模型,即GSMBCLAM模型(group sequence and multi-branch CNN-LSTM model with attention mechanism)。

首先,筆者將具有相同采樣間隔的連續多個采樣波形作為一個組序列樣本,同時將這兩個組序列樣本分別輸入兩個核大小不同的1D-CNN中提取每個時間點的特征,從而得到兩個具有連續多個時間點特征的二維矩陣;其次,將提取的特征和具有領域知識的人工特征分別通過注意力機制進行特征重要性加權融合,將融合后的特征輸入LSTM中;最后,通過全連接層和SoftMax函數進行故障分類,并采用焦點損失函數(focal loss,FL)代替傳統的交叉熵損失函數(cross entropy, CE),以解決故障診斷中不同類型的誤分類代價問題。

1 深度學習理論

1.1 卷積神經網絡

卷積神經網絡(CNN)是應用最廣泛的深度學習模型之一。每個CNN的隱藏層通常都包含一個卷積層和一個池化層。由于振動信號和頻譜都是一維時間序列,因此,筆者在此采用一維卷積,其表達式如下:

(1)

Relu函數的表達式如下:

f(x)=x+=max(0,x)

(2)

在卷積層之后,可以運用一個池化層來篩選和過濾特征。最大池化的表達式如下:

(3)

1.2 長短期記憶網絡

長短期記憶網絡(LSTM)非常適用于處理時序數據。其結構包括遺忘門、輸入門和輸出門。廢棄信息通過遺忘門實現,其表達式如下:

ft=σ(Wf[ht-1,xt]+bf),

(4)

式中:ht-1—前一個LSTM單元的輸出;xt—當前輸入;σ—sigmoid激活函數;Wf,bf—權重矩陣和偏置。

it=σ(Wi[ht-1,xt]+bi),

(5)

(6)

式中:Wi,bi—輸入門的權重矩陣和偏置;Wc,bc—狀態的權重矩陣和偏置。

之后通過輸出門ot決定當前輸出的信息(Ct表示長期狀態);同時,根據更新后的單元狀態來獲得LSTM單元的輸出ht,即:

(7)

ot=σ(Wo[ht-1,xt]+bo),

(8)

ht=ot*Relu(Ct),

(9)

式中:Wo,bo—輸出門的權重矩陣和偏置。

1.3 注意力機制

為了加強重要信息的權重,此處引入注意力機制(AM)。AM是計算序列中元素之間對齊分數的一種方法,其計算方法如下:

ei=utanh(whi+b)

(10)

(11)

C=∑αihi

(12)

式中:hi—AM輸入的第i個特征;u,w—權重系數;b—偏置;ei—通過打分函數得到的注意力分布,與hi一一對應;C—加權特征。

2 故障診斷問題與模型構建

2.1 問題描述

筆者將故障診斷分類問題定義如下:

給定3個多元時間序列段:

(13)

式中:R1,R2,R3—傳感器采集的波形、頻譜及人工提取特征的集合;l1,l2,l3—采集到的單條波形長度、單條頻譜長度及單條特征長度;n—具有相同采樣間隔的連續n個采集點。

筆者將基于波形、頻譜及特征的組序列數據作為一個獨立樣本輸入到GSMBCLAM模型中,以識別各類型故障及正常數據y(y來自預定義的條件標簽集合C)。

2.2 GSMBCLAM模型

2.2.1 模型結構

筆者提出一種GSMBCLAM模型的結構,如圖1所示。

圖1 GSMBCLAM模型結構

在圖1中,輸入的波形和頻譜利用1D-CNN的多并行得到連續多個點的低維度特征,然后將經過1D-CNN得到的組序列波形和頻譜特征與人工提取的組序列特征,通過注意力機制進行特征加權,從而給予更為重要的特征以更大的權重;并將加權后的3類特征進行融合,進而輸入LSTM中;并通過SoftMax函數將LSTM輸出的特征轉換為6種狀態下的概率分布(軸承內圈故障、軸承外圈故障、軸承保持架故障、軸承滾動體故障、齒輪故障和正常狀態),實現對該樣本的故障分類。

2.2.2 FL函數

在現實故障診斷中,將故障信號誤判為正常信號的代價非常巨大,為此,筆者在此處采用何愷明等人[25]提出的FL函數(FL函數使模型能夠更多地關注在訓練過程中難以分類的樣本,并能夠有效地解決不同的誤分類成本問題)。

一般地,在一個多分類問題中,CE損失函數定義如下:

(14)

通過改進CE函數,可以得到FL函數定義如下:

(15)

式中:αi—第i類賦予的權重;γ—固定正值的調制因子。

通過加入參數αi,可以調整各類別樣本之間的平衡性,從而解決各類別誤分類代價不同的問題。γ用于調整樣本的減重率,從而使分類器關注于錯誤分類和難以分類的樣本。

2.2.3 模型訓練

筆者采用反向傳播算法,對GSMBCLAM模型進行訓練(在算法1中提供了優化GSMBCLAM模型的詳細方法)。其中:θ為需要訓練的權重。

算法1:GSMBCLAM模型的優化過程輸入:權重初始值:θ。輸出:權重優化值:θt。設置參數:學習率ε,矩估計的指數衰減率ρ1,ρ2,最小常數δ,數據集(x,y)。初始化一階矩向量:s0←0初始化二階矩向量:r0←1初始化時間步:t←0當參數沒有收斂時:t←t+1 gt←▽θFL(ft(x;θt-1),y) st←ρ1st-1+(1-ρ1)gtrt←ρ2rt-1+(1-ρ2)gt☉gt st(←st/(1-ρt1)rt(←rt/(1-ρt2) θt←θt-1-εst(/(rt(+δ)直到參數收斂時結束返回θt

3 實驗與結果分析

筆者利用某公司的振動數據,將所提出的模型應用于風力發電機軸承和齒輪箱的故障診斷中,從3個方面驗證GSMBCLAM模型的有效性,具體為:首先,該模型性能明顯優于基于單點數據的模型;其次,該模型在故障診斷分類方面優于其他競爭性模型;最后,FL函數可以顯著降低誤分類的代價成本,提高了GSMBCLAM模型解決多故障分類問題的效率。

3.1 實驗數據集

3.1.1 數據集描述

筆者對某公司20多個風電場雙饋機組的振動數據進行整理和篩選。

該數據集由波形、頻譜和人工特征組成,包括5類單一故障(軸承外圈故障、軸承內圈故障、軸承保持架故障、軸承滾動體故障、齒輪故障)和1類正常狀態的數據,如表1所示。

表1 數據集的詳細信息

由表1可知:數據集包含54 000個單點原始波形、頻譜和人工特征。其中,5類故障和正常數據的數量均為9 000個,每一個原始波形的數據長度均為128 K,即一個原始波形數據包含131 072個振動點;每一個頻譜的數據長度均為64 K,即一個頻譜數據包含65 536個振動點。

波形、頻譜、手工特征相應的時刻點能夠一一對應.所有數據的采樣間隔均為2 h,將6個具有時間連續性的單點數據作為一個組序列樣本,組序列樣本內的6個單點數據,按照時間先后進行排序。因此,一個組序列樣本包含12 h的數據。

同時,由于數據庫中數據樣本較為豐富,筆者選取的各類型單一故障樣本均取自于此類單一故障發生的時間段內。此外,一個故障期間內可能有少數個別點不具有相應的故障特征,但其他單點依然具有故障特征,在現實診斷中也屬于故障狀態,因此,此類樣本也要被訓練。

從每個風電場收集到的數據數量必須是6的倍數,以此來保證最后處理得到的組序列樣本內部不會亂序。

其他數據集信息如下:所有數據均來自雙饋機組,采樣頻率為51.2 kHz,轉速在1 700 r/min～1 900 r/min之間,每個數據的采樣時間為2.56 s。

同時,為突出各類故障和正常狀態下的數據表現,筆者繪制了各種類型典型數據的表現。5類故障及正常狀態下典型的原始振動信號和頻譜表現,如圖2所示(圖2左邊為故障初期的波形和頻譜的典型表現,右邊為故障后期的波形和頻譜的典型表現)。

圖2 5種故障和正常狀態的典型原始振動信號和頻譜

在劣化過程中,振動持續增加,振動幅值不斷變大,頻譜中的故障特征譜線也逐漸顯著。另外,人工制作的特征分別由8個指標組成,分別為RMS值、峰峰值、峭度指標、峰值指標、歪度指標、脈沖指標、波形指標和裕度指標[26-27]。

3.1.2 數據集處理

筆者對數據進行預處理,步驟如下:

(1)分別將6個具有時間連續性的單點數據作為一個組序列樣本;處理后每個樣本包含一個組序列波形、一個組序列頻譜和一個組序列人工提取的特征;樣本數量從54 000個變為9 000個,每個類別包含1 500個組序列數據(波形、頻譜、手工特征);

(2)由于單個數據的長度太長(一個原始波形有131 072個振動點,一個頻譜有65 536個振動點),會導致模型難以收斂。為此,筆者對輸入數據進行降采樣處理,即對每一個波形和每一條頻譜,在其內部每32個振動點中,隨機抽取一個振動點。降采樣后,每個波形由131 072個振動點降低為4 096個振動點,每個頻譜由65 536個振動點降低為2 048個振動點。降采樣后的數據仍然保留了原始數據的特征;

(3)將正常信號標記為0,外圈故障標記為1,內圈故障標記為2,保持架故障標記為3,滾動體故障標記為4,齒輪故障標記為5;

(4)筆者隨機選取50%的數據作為訓練數據,20%作為驗證數據,其余30%作為測試數據。因此,此處共有4 500個訓練樣本、1 800個驗證樣本和2 700個測試樣本(訓練樣本、驗證樣本、測試樣本均來自于同一數據集,都包含五類單一故障和正常狀態的數據)。

3.2 實驗設計

3.2.1 模型參數

GSMBCLAM模型參數如表2所示。

表2 GSMBCLAM模型的參數

在表2中,每一個卷積塊(Conv_blocks)中都包含一個卷積層、一個BN層和一個池化層。

由于初始權重會影響深度神經網絡的結果,筆者進行了10次獨立的實驗。

此外,通過多次實驗比較,模型其他超參數設置如下:優化器為Adam優化器,學習率設置為0.001,最小批處理數目為32,迭代次數為100。

100次迭代訓練集和驗證集精度和損失的收斂情況,如圖3所示。

圖3 訓練集和驗證集的準確率與損失曲線

圖3結果表明,100次迭代收斂情況良好。

3.2.2 評估標準與對比模型

為了對比模型效果,筆者選擇了5個基準模型,即基于波形組序列的CNN-LSTM、基于頻譜組序列的CNN-LSTM、基于單點數據多分支注意力機制的CNN-LSTM、基于單波形的CNN-LSTM、基于單頻譜的CNN-LSTM;選擇了2個競爭模型,即基于組序列多分支和注意力機制的CNN(GSMBCAM)、基于組序列多分支和注意力機制的LSTM(GSMBLAM)。

同時,為了評價模型性能,筆者選取了4個評價指標,即準確率(accuracy)、精確率(precision)、召回率(recall)、F1分數(F1-socre)。

3.3 實驗結果

3.3.1 與基準模型的比較

筆者對5種基準模型及該模型分別進行了10次獨立實驗,其結果如表3所示。

表3 GSMBCLAM模型與各基準模型的性能表現

表3中的結果清楚地證明了筆者GSMBCLAM模型的優越性,具體表現如下:

首先,使用組序列數據在波形、頻譜、多分支模型中均顯著優于基于單點數據的模型。組序列數據相較于單點數據,針對于波形,其準確率、精確率、召回率、F1分數升了近7個百分點;針對于頻譜,提升了近4個百分點;針對于多分支,提升了5個百分點。這表明,GSMBCLAM模型可以更加準確地判斷出設備在該時間段內是否處于故障狀態,以及屬于哪種故障;

其次,相較于只使用波形或頻譜的單分支模型,筆者使用的多分支模型在效果上也有提升。GSMBCLAM模型的準確率、精確率、召回率、F1分數分別為97.75%、97.91%、97.70%、97.80%;

相較于其他模型,由于GSMBCLAM模型采用了組序列多分支數據,其參數量較多,模型實際診斷所需時間較長,但該模型的診斷準確率更高,也更符合現實診斷的邏輯。

眾所周知,深度學習模型是一個黑盒子,很難理解其內部機制。因此,筆者對GSMBCLAM的內部結構進行了可視化處理。

典型的軸承保持架故障數據的各輸出層特征圖,如圖4所示。

圖4 GSMBCLAM模型隱藏層可視化

圖4中,亮色代表相關區域內的神經元被激活,深色代表未被激活。可以看出,當數據輸入網絡中時,無論是波形還是頻譜都首先學習了其中顯著的特征;隨著網絡層數不斷加深,特征逐漸清晰;最后,輸出結果中第4個區域的神經元被激活,代表該數據經過網絡輸出后,被判定為保持架故障。

3.3.2 與其他模型的比較

為了進一步體現GSMBCLAM模型的優越性,筆者將其與2個競爭模型(GSMBCAM、GSMBLAM)進行比較。

該模型與各競爭模型的性能表現,如圖5所示。

圖5 GSMBCLAM模型與各競爭模型的性能表現

圖5結果表明:GSMBCLAM模型在準確率、精確率、召回率、F1分數上都明顯優于GSMBCAM和GSMBLAM。

同時,GSMBCLAM與GSMBCAM、GSMBLAM模型的受試者操作特性曲線(ROC),如圖6所示(圖中附帶了ROC曲線下方的面積大小值)。

圖6 GSMBCLAM模型與各競爭模型的ROC曲線

由圖6可以看出,GSMBCLAM模型要明顯優于其他2個競爭模型。

為了研究不同深度學習特征提取方法之間的差異,筆者在二維空間中使用t-分布隨機鄰域嵌入(t-SNE),以此來對上述3種模型的特征進行可視化處理,其結果如圖7所示。

由圖7可知:GSMBCLAM模型學習到的特征表達式分布顯示出的邊界最為清晰,因此,提取的特征更容易被分割,也意味著其更容易對各故障類別進行分類;GSMBCAM中特征錯分的數據較多,GSMBLAM中部分特征較難以分開。

圖7 GSMBCLAM模型與各競爭模型特征的可視化結果

3.3.3 代價敏感問題

在現實故障診斷中,誤分類代價不同的問題難以忽視。如果將故障信號誤判為正常信號,誤分類的代價非常巨大。此外,不同故障的嚴重程度也各有差別。例如,保持架故障屬于快速劣化故障,通常只需要幾天就可能導致嚴重的安全事故,而一些內圈、外圈、滾動體的點蝕、磨碰等故障周期較長,造成的損失相對較少。

為解決上述問題,在考慮誤分類代價不同后,筆者將FL損失函數引入建模工作。

筆者對FL函數的超參數分別設置了兩種配置:配置一α=[0.5,0.1,0.1,0.1,0.1,0.1],γ=2;配置二α=[0.35,0.15,0.15,0.05,0.15,0.15],γ=2。

配置一調高了正常類別的α值,以此來區分誤判正常類別和誤判故障類別帶來的代價不同問題;配置二調高了正常類別的α值,同時調低保持架故障類別的α值,以此來應對保持架故障劣化快、不同故障的誤分類代價也不同的問題。

同時,筆者定義了以下成本矩陣:

c3j=10w,forj≠3,

(16)

ci0=4w,fori≠0,3,

(17)

cij=w,fori≠3,j;j≠0,

(18)

式中:w—最小誤分類成本單位。

筆者將保持架故障誤判為其他類的代價為10w,將除保持架故障外的其他故障判斷為正常信號的代價為4w,其他的誤分類代價為w,正確分類的代價為0,以突出保持架故障漏判的危險和嚴重性,以及其他故障被漏判的嚴重性。

基于FL和CE損失函數的GSMBCLAM模型性能比較結果,如表4所示(表中T-cost代表錯誤分類成本的總和)。

表4 基于FL和CE損失函數的GSMBCLAM模型的性能表現

表4結果表明:采用FL損失函數的GSMBCLAM模型優于采用CE損失函數的GSMBCLAM模型;不管是使用參數配置一的FL損失函數,還是使用參數配置二的FL損失函數,其準確率、精確率、召回率、F1分數都達到了98.5%左右;

對于使用參數配置一的FL損失函數而言,T-cost從186.3降到137,說明FL損失函數可以降低故障信號被判斷為正常信號的風險,從而降低了漏判的風險;對于使用參數配置二的FL損失函數而言,T-cost降為61.7,相較于CE損失函數下降了近3倍,說明其能夠有效降低保持架這種快速劣化故障被判斷為其他類別的概率,大大降低了現實工業環境中突發災難性事故的風險。為了更清晰地描述FL損失函數對于現實故障診斷的重要性,筆者繪制了上述3種情況下的混淆矩陣,如圖8所示。

圖8(a)代表使用CE作為損失函數的模型效果,圖8(b)代表使用參數配置一的FL作為損失函數的模型效果,圖8(c)代表使用參數配置二的FL作為損失函數的模型效果。

由圖8可以看出:基于參數配置一的FL損失函數模型,將故障信號誤判為正常信號即漏判的數量僅為3個,相較于使用CE損失函數的模型有著較大的提升;基于參數配置二的FL損失函數的模型保持架故障判斷為其他類別的數量為0個,相較于其他模型有著非常顯著的提升,有效地避免了保持架故障被誤判的概率。

圖8 基于FL和CE損失函數的GSMBCLAM模型的混淆矩陣

上述結果再次驗證了GSMBCLAM模型的優越性。

4 結束語

針對單點數據采集時間較短而無法準確判斷出設備是否處于故障狀態的問題,筆者提出了一種改進的故障診斷分類算法,將組序列、多分支、注意力機制引入到CNN-LSTM的框架中,構建了GSMBCLAM模型。

為了驗證筆者所提模型的有效性,選取了一個真實數據集,考慮該模型在風機軸承和齒輪故障診斷中的效果。研究結果表明:

(1)GSMBCLAM模型通過使用組序列數據,并結合了波形、頻譜、人工特征3個分支的特征,來對故障進行分類,挖掘了更多有用信息,在性能上優于各種基準模型,也更符合診斷實際;

(2)GSMBCLAM模型借助于CNN-LSTM在識別分類問題上的優越性,從而在效果上優于其他深度學習模型;

(3)GSMBCLAM模型運用FL損失函數代替CE損失函數,并通過調整2個超參數來靈活地考慮決策偏好,可以有效地降低總誤分類成本(T-cost),以解決實際故障診斷中誤分類代價不同的問題。

筆者提出的模型在真實數據集中取得了良好的結果,但該結果目前只適應于單一故障類型。在實際工業環境中,設備既存在單一故障的情況,也存在多種故障同時發生的情況。

因此,在后續的工作中,筆者將進一步對多種故障同時發生的狀況進行診斷研究,以提高該模型在現實診斷過程中的適用性。