一種改進原型網絡的小樣本軸承故障診斷方法

趙志宏, 張 然, 劉克儉, 楊紹普

(1．石家莊鐵道大學 省部共建交通工程結構力學行為與系統安全國家重點實驗室,石家莊 050043; 2．石家莊鐵道大學 信息科學與技術學院,石家莊 050043)

目前,機械設備廣泛應用于各行各業,軸承作為機械設備中不可或缺的零部件之一,其運行狀態的好壞直接影響了機械設備的穩定性與安全性。在機械設備長期運行過程中,軸承極易發生各種故障,輕則影響設備正常運行,造成經濟損失,重則引發安全事故,威脅人類的生命安全。因此,對軸承進行故障診斷研究具有重要的意義[1]。

隨著智能傳感技術與機器學習技術的迅速發展,基于數據驅動的故障診斷方法成為研究熱點,主要包括機器學習和深度學習兩種方法?；跈C器學習的故障診斷方法,主要從時域、頻域或時頻域中手動提取特征,然后將提取到的特征輸入分類模型,比如支持向量機[2]、人工神經網絡[3]、隨機森林[4]等模型,實現軸承故障診斷。以上方法雖然可以實現故障診斷,但仍然需要依賴專家經驗手工選取特征,并且手工提取的特征具有針對性,所得模型難以適用于新的診斷任務,模型泛化能力較差。

基于深度學習的故障診斷方法利用深度學習強大的非線性特征提取能力和表征能力自適應提取特征,在故障診斷領域越來越受到重視。研究人員采用卷積神經網絡[5]、循環神經網絡[6]、深度置信網絡[7]以及自編碼器[8]等深度學習模型自適應地從時域、頻域或時頻域數據中提取特征,實現故障診斷,取得了較高的準確率。但是深度學習方法需要大量帶標簽數據進行訓練,在實際工業生產中,大型機器設備在未發生故障或剛發生故障時就已經進行維修或者更換,極難獲取大量帶標簽故障樣本,而在小樣本情況下,深度學習模型容易出現過擬合問題,導致故障診斷模型準確率不高。

隨著小樣本學習(few-shot learning,FSL)[9]在計算機視覺、自然語言處理等領域的研究和發展,越來越多的專家學者致力于小樣本故障診斷的研究。其中,元學習方法[10]通過對歷史任務的學習和經驗積累,可以更加容易的學習新任務,只需要少量訓練樣本,就能夠保證一定的模型精度?；诙攘繉W習的原型網絡屬于元學習中的一種方法,該方法旨在學習各類樣本在一個度量空間的原型表示,通過比較查詢樣本與各類原型之間的距離,將查詢樣本歸入距離最近的類別,從而達到分類的目的。原型網絡最早由Snee等[11]提出,目前已經廣泛應用于圖像分類[12-13]、文本分類[14]等領域中,在小樣本故障診斷中也有了初步應用。Jiang等[15]提出雙分支原型網絡,將時域信號和頻域信號作為兩個分支輸入原型網絡,試驗表明該方法具有較高的準確率。Wang等[16]提出基于時域和頻域融合的小波原型網絡,采用并行雙通道卷積結構處理信號信息,然后設計小波層進一步提取特征,實現小樣本故障診斷。余浩帥等[17]提出混合自注意力原型網絡,利用混合自注意力模塊獲取更具判別性的特征信息,實現風電齒輪箱故障診斷。以上方法雖然取得了較好的結果,但是在訓練過程中,由于支撐集樣本較少,有時獲取的類原型不是很準確。

為了更充分地利用小樣本中的信息,提取更有效特征,獲得更準確的類原型,部分專家學者通過利用輔助任務,在少量訓練數據中提取更豐富的信息。Liu等[18]在原型網絡基礎上使用自監督學習作為輔助任務,能夠學習到更豐富的特征表示,在圖像分類試驗中表明了該方法的有效性。于俊杰等[19]提出一種少樣本文本分類的多任務原型網絡,在原型網絡基礎上對查詢集樣本進行情感分類,提高模型的語義特征提取能力,得到更高的分類準確率。Chen等[20]將數據分別輸入原型網絡與注意力模型中,通過將距離度量損失與分類損失相結合,實現冶金文本實體關系識別,提高模型的泛化能力和準確性。

為了提高故障診斷中原型表示方法的性能,本文提出一種改進原型網絡的小樣本軸承故障診斷方法,通過引入輔助分類任務,提取對故障類型有更具魯棒性的特征,從而使不同類別的原型表示之間區分性更好。另外,將支撐集樣本特征與查詢集樣本特征共同輸入輔助分類模塊,進行故障分類,引入查詢集樣本后,可以使嵌入模塊更準確地提取有助于故障分類的特征,與只利用支撐集樣本得到的類原型相比,得到的類原型可以更準確地表示軸承故障類型。為驗證本文所提方法的有效性,設置K取不同值,選取美國凱斯西儲大學的滾動軸承試驗數據集進行C-way K-shot故障診斷試驗,試驗結果表明,在10-way 5-shot試驗中本文所提方法相較傳統原型網絡準確率提高了5.1%,所得類原型具有更好的區分性與準確性。

1 原型網格相關知識

在本章中,首先定義小樣本學習中的專業術語和相關符號,然后介紹基于度量學習的原型網絡算法。

圖1 原型網絡結構

Fi=fφ(xi)

(1)

Fj=fφ(xj)

(2)

式中:Fi和Fj為輸入樣本xi與xj的特征向量;fφ()為嵌入模塊;φ為相應的參數。

(3)

然后,計算查詢集特征向量Fj與類原型Pc之間的歐氏距離djc。

(4)

最后,通過對djc使用softmax函數計算查詢集樣本屬于某個類別的概率pφ(y=c│xj),概率最大的標簽類別作為分類結果。

(5)

采用負對數概率損失函數,計算公式為

J(φ)=-logpφ(y=c│xj)

(6)

式中,φ為嵌入模塊的參數。

2 改進原型網絡的故障診斷方法

在本章中,首先提出一種改進原型網絡的小樣本故障診斷模型;然后詳細介紹模型結構以及模型損失函數的細節;最后介紹該模型進行小樣本故障診斷的流程。

2.1 改進原型網絡故障診斷模型

原型網絡通過度量查詢集特征向量與類原型之間的歐氏距離實現分類。傳統原型網絡由于支撐集樣本較少以及易受異常值的影響,導致得到的類原型準確性不是很好。為了得到更好地類原型表示,引入一個輔助分類任務,對支撐集樣本和查詢集樣本進行分類,提取對故障分類有用的特征,從而使不同類別的原型之間的區分性更好。改進的原型網絡小樣本故障診斷模型如圖2所示,包含嵌入模塊、距離度量模塊與輔助分類模塊。嵌入模塊用來提取輸入樣本的特征表示,距離度量模塊根據查詢集樣本表示與類原型之間的距離判斷查詢集樣本所屬類別,輔助分類模塊對支撐集與查詢集的特征向量進行分類,判斷支撐集與查詢集樣本所屬類別。

圖2 改進原型網絡模型

2.1.1模型結構

為了突出模型性能的優勢,嵌入模塊采用基本的卷積神經網絡進行特征提取,由4個卷積層和3個池化層組成。Conv_1采用1*10的大卷積核,便于提取較大范圍的特征,減少有用信息的損失,其他卷積層采用1*3的小卷積核,便于提取局部信息,減少網絡的參數量與計算復雜度。為了避免梯度爆炸,每層卷積后都會進行批標準化(batch normalization,BN)操作,并采用ReLU激活函數,將負值置零,提高網絡的非線性能力。其中,池化層能夠在保留主要特征的同時減少網絡的參數量與計算復雜度。

輔助分類模塊采用簡單的兩層全連接層結構,最后一層采用softmax激活函數以便得到樣本的故障類別。嵌入模塊與分類器的網絡參數如表1所示。

表1 網絡參數

2.1.2模型損失函數

(1)度量損失

通過距離度量模塊得到查詢集樣本屬于某個類別的概率,計算度量模塊預測結果與真實標簽的交叉熵損失作為度量損失Lmetric

(7)

(2)輔助分類損失

通過輔助分類模塊對支撐集與查詢集樣本特征進行分類,計算輔助分類模塊預測結果與真實標簽的交叉熵損失作為輔助分類損失Lclass

Lclass=Lsupport+Lquery

(8)

式中:Lsupport為支撐集樣本分類損失;Lquery為查詢集樣本分類損失。

支撐集樣本分類損失為

(9)

式中:M為訓練集樣本數量;I()為相應的標簽函數,如果樣本xi的真實類別等于c時,I[yi=c]等于1,否則等于0;pic為樣本xi屬于類別c的預測概率。

查詢集樣本分類損失為

(10)

式中:N為查詢集樣本數量;I()為相應的標簽函數,如果樣本xj的真實類別等于c時,I[yj=c]等于1,否則等于0;pjc為輔助分類器模塊所得樣本xj屬于類別c的預測概率。

(3)總損失

本文總損失為

Ltotal=Lmetric+Lclass

(11)

式中:度量損失Lmetric指導嵌入模塊學習查詢集樣本特征與類原型之間的相對位置關系;分類損失Lclass幫助嵌入模塊提取更多有利于分類的有效特征,縮小類內距離,擴大類間距離,生成更具代表性的類原型。

2.2 改進原型網絡的故障診斷步驟

一種改進原型網路的小樣本故障診斷方法流程如圖3所示,具體步驟如下:

圖3 改進原型網絡小樣本故障診斷方法流程圖

步驟1利用傳感器采集不同運行狀態下軸承的原始振動信號,利用滑動窗口將信號進行等長截斷,對分段后的信號進行快速傅里葉變換,得到振動信號的頻譜;

步驟3構建一種改進原型網絡的小樣本故障診斷模型,包括構建嵌入模塊、距離度量模塊、輔助分類模塊,并將度量損失Lmetric和分類損失Lclass進行結合獲得總損失Lall;

步驟4將訓練集Dtrain中支撐集樣本和查詢集樣本輸入改進原型網絡模型,將總損失Ltotal作為模型損失函數值,利用反向傳播算法進行訓練,獲取模型參數;

步驟5將測試集Dtest中支撐集樣本與查詢集樣本輸入訓練好的改進原型網絡模型,得到每類樣本的類原型Pc,最終得到查詢集樣本的故障類型。

3 試 驗

在本章中,首先介紹了試驗數據集與試驗環境設置;然后進行試驗,驗證本文模型在小樣本中的有效性;同時進行了泛化試驗驗證模型泛化性能。

3.1 數據集

為了驗證該模型的性能,本文選取美國凱斯西儲大學的滾動軸承試驗數據集[21]進行試驗。該數據集來自如圖4所示的軸承故障試驗臺,從左到右依次為電機、轉矩傳感器和負載。本文選用驅動端軸承數據,軸承型號為6205-2RS JEM SKF,轉速為1 797 r/min,采樣頻率為12 kHz。該數據集包含0,1 hp,2 hp和3 hp四種負載,故障類型分為內圈故障、滾動體故障和外圈六點鐘方向故障,每種故障類型包含0.177 8 mm,0.355 6 mm和0.533 4 mm三種故障直徑,每種負載下包含九種故障類型與一類正常數據共十類數據。

圖4 軸承故障試驗臺

數據劃分方式如表2所示,訓練階段,每類故障選取10個樣本,其中支撐集樣本數量為5,查詢集樣本數量為5,即構造“10-way 5-shot”任務。測試階段,每類故障選取200個樣本,其中,支撐集樣本數量為5,其余均為查詢集樣本。

表2 試驗數據集

本試驗所用硬件配置如下:處理器為Intel(R) Core(TM) i7-10710U CPU @ 1.10 GHz 1.61 GHz;GPU為NVIDIA GeForce MX350;內存為16 GB;軟件環境為python3.6.13、Pytorch1.8.1、CUDA10.2、cudnn7.0。

3.2 試驗設置及結果分析

試驗中,對原始振動信號進行滑動窗口取樣,每個樣本2 048個采樣點,步長為256。并對采樣樣本進行快速傅里葉變換,得到長度為1 024的頻譜信號。在故障診斷中,頻譜信號比時域信號有更高的準確率,因此本文將頻譜信號作為模型輸入。經試驗確定模型超參數取值,批量大小為100,迭代次數為200,學習率為0.000 2,優化器為Adam。

為驗證改進原型網絡的有效性,選取0下軸承信號作為試驗數據集,并與原型網絡進行對比。為體現結果的準確性,本文選取十次試驗結果的平均值作為最終準確率。改進前后模型的故障診斷準確率如表3所示。從表3可知,改進后原型網絡的準確率相較改進前提高了5.1%,說明本文將原型網絡與輔助分類任務相結合,具有一定的優勢。

表3 不同模型的準確率

3.3 特征提取可視化分析

為直觀體現改進原型網絡具有更好的特征提取能力,在10-way 5-shot任務中使用t-SNE降維方法對嵌入模塊所得測試集樣本特征向量進行可視化。如圖5所示,為原型網絡改進前后支撐集樣本特征的t-SNE圖,從圖5(a)中可以看出,原型網絡所得支撐集樣本特征中同類樣本沒有很好的聚集在一起,不同類別的樣本混淆在一起,沒有明顯的分類界限,說明嵌入模塊沒有充分提取能夠區分每類故障的特征,導致生成的類原型區分性較差,不具有代表性。從圖5(b)可以看出,改進原型網絡中,同類支撐集樣本均能較好的聚集在一起,并且不同類別的樣本之間均有明顯的分界線,說明引入輔助分類任務,嵌入模塊能夠提取到更多有利于分類的故障特征,使得支撐集樣本特征類內距離更小,類間距離更大,生成的類原型更具有區分性。如圖6所示,為原型網絡改進前后查詢集樣本特征的t-SNE圖,如圖6(a)所示,原型網絡所得查詢集樣本特征中,故障0與故障1類間距離較近,容易出現分類錯誤的情況,導致分類準確率降低,如圖6(b)所示,改進原型網絡所得查詢集樣本特征類間距離更大,類內距離更小,分類準確率也會更高。

圖5 支撐集樣本特征t-SNE圖

圖6 查詢集樣本特征t-SNE圖

3.4 訓練樣本數量對準確率的影響

為比較所提方法的故障診斷性能,本文進一步驗證不同訓練樣本數量對準確率的影響。首先固定查詢集樣本數量為5,支撐集分別選取1個、3個、5個、20個樣本進行訓練,診斷結果如圖7所示。從圖7中可以看出,改進原型網絡在樣本量不足的情況下依舊有很好的分類準確率,而原型網絡隨著支撐集樣本的減少,分類準確率有明顯的下降,并且改進原型網絡在不同支撐集樣本數量下準確率均能夠達到99.00%以上。

圖7 不同支撐集樣本數量下模型的準確率

在10-way 5-shot任務中,設置訓練集樣本數量分別為10,20,30,50,100,200,其中,支撐集樣本數量固定為5,其余均為查詢集樣本,診斷結果如圖8所示。從圖8中可以看出,原型網絡隨著查詢集樣本數量的增加,模型準確率有明顯升高,差距較大,而改進原型網絡在樣本量較少的情況下,準確率依舊能夠達到99.90%,具有較好的模型性能。

圖8 不同查詢集樣本數量下模型的準確率

3.5 泛化試驗

為進一步驗證模型的泛化性能,本文采用不同負載下的數據分別構建訓練集和測試集進行試驗。例如,0->1使用負載為0的數據進行訓練,1 hp的數據進行測試。在10-way 5-shot任務中,不同負載下模型的準確率如表4所示。從表4可以看出,當負載發生變化時,6組試驗中,改進原型網絡的準確率均高于原型網絡,相比原型網絡,改進原型網絡平均提高5.2%,這也說明了改進原型網絡方法具有更好的泛化性能。

表4 不同負載下模型的準確率

3.6 變轉速滾動軸承試驗

為了更加充分地驗證本文所提方法的優越性,本文選取加拿大渥太華大學機械工程實驗室的變轉速滾動軸承數據集[22]進行故障診斷試驗。該數據集的軸承型號為ER16K,采樣頻率為200 kHz,故障類型分為健康狀態、內圈故障和外圈故障,標簽分別為0,1,2。每種故障類型有12組試驗數據,其中包含3組加速、3組減速、3組先加速后減速以及3組先減速后加速。

本文選取1組加速數據,進行3-way 1-shot,3-way 3-shot和3-way 5-shot試驗,并將本文所提模型與原型網絡進行比較,準確率如表5所示。從表5中可以看出,在1-shot,3-shot,5-shot試驗中,本文所提模型相較于原型網絡,準確率分別提高了4.15%,11.70%,5.20%,可以充分說明改進原型網絡的有效性。

表5 變轉速軸承試驗的準確率

4 結 論

本文針對原型網絡所得類原型準確性較差的問題,提出一種改進原型網絡小樣本軸承故障診斷方法,并在軸承數據集上進行試驗。本文主要結論如下:

(1)通過在原型網絡的基礎上引入輔助分類任務,可以提高原型特征的區分能力,從而提高原型網絡的故障分類的準確性。在10-way 5-shot故障診斷試驗中,改進原型網絡相較于傳統原型網絡準確率提高了5.1%,并且通過特征可視化分析可知,改進原型網絡所得支撐集樣本特征類內距離更小,類間距離更大,所得類原型更具有代表性。

(2)利用查詢集樣本能夠對原型網絡進行優化,使得類原型具有更好的適用性。在不同支撐集樣本數量下,改進原型網絡的故障診斷效果均優于傳統原型網絡方法,尤其在小樣本條件下改進原型網絡優勢更加明顯。在軸承不同負載下,改進原型網絡相比傳統原型網絡準確率平均提高了5.2%。