基于卷積自注意力網絡的機械設備故障診斷方法?

李子睿 崔曉龍 王 超 張文俊 吳 軍

（1.華中科技大學船舶與海洋工程學院 武漢 430074）（2.武漢第二船舶設計研究所 武漢 430205）

1 引言

機械設備作為智能制造業的生產基礎，一旦發生故障，將造成嚴重的安全問題和巨大的經濟損失。為確保機械設備安全可靠運行，精準診斷機械設備的故障是至關重要。目前，基于深度學習的故障診斷方法備受廣大研究學者關注，其能夠自動從海量監測數據提取出具有代表性故障信息，實現對設備的端到端的故障診斷［1～2］。然而，基于深度學習的故障診斷方法取得高精度的診斷性能依賴于大量有標簽故障樣本［3］。然而，在實際生產中，設備大部分時間都是處于正常狀態下運行，很難收集大量設備故障樣本，導致該情況下訓練出的深度學習模型的診斷精度難以保證［4］。因此，亟需研究小樣本情況下的設備故障診斷方法。

近年來，學者們已經在小樣本故障診斷領域開展了相關研究并取得了顯著的成果，主要可以總結為兩種方法：一是基于生成對抗網絡進行樣本擴充，如郭偉等［5］提出了一種改進的卷積生成對抗網絡，借助生成對抗網絡的數據生成能力和改進深層卷積網絡的特征提取能力，提高復雜工況下少樣本軸承故障診斷準確性。Yang 等［6］設計了一種結合條件生成對抗網絡和二維卷積神經網絡的融合診斷模型用于小樣本軸承故障診斷。Liu 等［7］提出了一種雙向InfoMax生成對抗網絡的無監督表征學習方法，實現了小樣本情況下的特征提取與故障診斷。二是基于遷移學習建立小樣本故障診斷模型，如劉飛等［8］提出了一種基于遷移學習與深度殘差網絡的滾動軸承故障診斷算法，通過遷移學習方法，使得小樣本數據集可以訓練深層深度學習模型。Wu 等［9］利用元學習構建了用于變工況下小樣本故障診斷的小樣本遷移學習方法。Dong 等［10］提出了一種利用動態模型生成海量的仿真數據和參數遷移策略的小樣本故障智能診斷方法。李可等［11］利用不同設備已有的數據樣本，通過多源遷移學習訓練得到少故障樣本設備的故障診斷模型。上述兩種方法都在小樣本情況下取得了顯著的故障診斷性能，然而，基于生成對抗網絡等方法的生成故障樣本質量難以保證。基于遷移學習的方法的源域數據集需與目標域數據集在數據分布上具有一定的相關性，并且要求源域數據集有足夠多的有標簽數據，然而實際中很難發現合適的數據集作為源域數據集。

從有限故障樣本下提取出穩健的故障特征是解決小樣本故障診斷問題的關鍵，有些學者試圖結合故障機理、特征提取算法等先驗知識開展小樣本故障診斷研究。Wu等［12］從監測數據中提取統計特征，使用集成學習與支持向量機評估退化系統的健康狀態。Xie 等［13］采用專業知識進行特征提取，并融合神經網絡自適應提取的隱藏特征，實現了具有魯棒性與泛化性的智能故障診斷。最近有研究表明，將先驗知識融入到深度學習模型中可以提高其性能，如Zhang 等［14］利用先驗特征來增強端到端故障診斷模型的訓練過程，有效地實現了小樣本故障診斷。Guo 等［15］融合領域知識、運行狀態和振動信號構建了一個多任務CNN，完成故障診斷與定位。然而，現有方法僅從先驗知識角度提取機械設備的故障特征，導致一些隱藏性的故障特征容易被忽略。

針對上述問題，本文提出一種基于卷積自注意力網絡和先驗知識的機械設備小樣本故障診斷方法。該方法包括卷積模塊、特征拼接模塊、自注意力模塊。首先，從振動信號提取出時域特征、頻域特征等多維特征，并作為先驗知識；然后，卷積模塊自動提取原始信號特征，并在特征拼接模塊中與先驗特征拼接；最后，利用自注意力模塊充分挖掘拼接特征中的先驗信息與隱藏特征，并輸出故障類型。通過某型號液壓螺桿泵實驗臺驗證提出方法在小樣本場景下故障診斷的有效性，并與現有方法在故障診斷性能上進行比較。

2 基于卷積自注意力網絡和先驗知識的機械設備故障診斷方法

本文通過構建卷積自注意力網絡自動提取信號特征，利用先驗知識優化診斷模型的訓練，減少訓練所需樣本量。下面主要介紹所提出的卷積自注意力網絡與所使用的先驗知識。

2.1 卷積自注意力網絡模型

自注意力網絡利用自注意力機制獲取輸入不同部分之間的相關性，具有全局特征提取能力。自注意力網絡的結構如圖1 所示，其由N 個相同的層結構組成，每層有兩個子層，一是多頭自注意力機制層，利用自注意力機制學習特征內部的關系；二是前饋層，為全連接網絡，對每個輸入的向量進行相同的線性變換，得到輸出。兩個子層都采用殘差連接，并進行層歸一化。

圖1 自注意力網絡結構

1）多頭自注意力機制層

如圖1 所示，多頭自注意力機制層主要由有縮放的點乘注意力機制實現，其可以描述為將查詢（Q）和一組鍵-值（K-V）對映射到輸出，輸出是一組值的加權和，其中分配給每個值的權重使用鍵進行查詢計算得到。多頭注意力機制為H 組有縮放的點乘注意力機制，每一組注意力用于將輸入映射到不同的子表示空間，這使得模型可以在不同子表示空間中關注不同的位置。有縮放的點乘注意力機制輸出矩陣計算公式如式（1）所示。

其中，dk為Q、K 矩陣的維度，公式中對矩陣Q 與K的內積除以dk的平方根，進行矩陣內積的縮放，防止內積過大導致softmax 函數的輸出落在梯度較小的區域。

多頭自注意力機制的計算過程如式（2）所示，

2）前饋層

前饋層為擁有兩個全連接層的多層感知機，中間使用ReLU 激活函數進行連接，前饋層的輸出可表示為式（3）：

其中，W1、W2、b1、b2均為網絡參數，前饋層的輸入和輸出維度都為dmodel。

本文提出的卷積自注意力網絡模型主要由卷積模塊、特征拼接模塊與自注意力模塊組成，其結構及參數如表1 所示。模型將卷積神經網絡提取的空間特征與依據先驗知識提取的信號時域、頻域特征通過歸一化編碼層與自注意力模塊進行融合，使得模型在小樣本情況下，能夠學習到豐富的故障特征信息。

表1 模型結構及參數

2.2 多維度特征先驗知識

在工程應用中，領域專家往往結合領域背景知識以及工程經驗對設備故障進行診斷。專家所依賴的經驗與知識，如故障機理、故障特征、診斷規則等，稱為先驗知識。小樣本情況下，由于只有少量的訓練樣本，模型很難學習到具有代表性的故障特征，利用多維度先驗知識能夠使模型獲得更豐富的樣本信息，從而提升模型的泛化性。

本文選擇對每個通道的振動信號提取10 個時域特征值與8 個小波包頻域特征值，作為診斷模型所需的先驗知識。時域特征值的計算公式如表2所示，其中X 為振動信號，X={x1,x2,…,xi}1 ≤i≤N，N為信號樣本長度。

表2 先驗時域特征計算

小波包頻域特征計算方式為通過對振動信號進行3 層小波包分解獲取8 個頻段的小波包系數{s1,s2,…,s8}，計算每個頻段小波包系數的L2 范數，如式（4）所示，其中n 為小波包系數的維度。得到信號的小波包頻域特征值{f11,f12,…,f18}。

3 機械設備小樣本故障診斷方法流程

本文提出的機械設備小樣本故障診斷方法流程如圖2 所示，分為三個步驟：信號預處理、卷積自注意力網絡模型訓練、故障診斷。

圖2 小樣本故障診斷方法流程

1）信號預處理

在信號預處理步驟中主要包含兩個部分，一是將原始信號轉換為灰度圖，二是依據先驗知識計算原始信號的特征。對振動加速度傳感器采集的設備多通道振動信號以長度L 進行截取，獲取信號樣本。為了降低模型在訓練時所需的內存和時間，將每個通道的振動信號轉換為大小為m×n 的二維灰度圖像，其中m、n滿足式（5）。

原始振動信號S 轉換為二維灰度圖Simage的轉換公式如式（6）所示。

2）卷積自注意力網絡模型訓練

依據時域特征計算與頻域特征計算先驗知識，對原始多通道信號進行時域、頻域特征提取。由于計算得出的特征值的量綱不同，存在數量級的差別，如果直接用于網絡訓練，網絡會偏向于數值較大的特征。為了消除這種影響，對特征值進行標準化，如式（7）所示，將計算得出的特征值轉換為相同數量級的無量綱特征數據，作為先驗知識優化模型訓練過程。

其中，特征集合f={f1,f1,…,f18}，fmean為集合的均值，fstd為集合的方差。

在卷積自注意力網絡模型訓練中，以多通道原始振動信號的灰度圖作為輸入，多通道灰度圖經過二維卷積層與池化層的降維，融合為自定義維數的特征圖。特征圖經過維數轉換，構造為單通道一維的空間特征。在此處將先驗知識引入模型的訓練，拼接空間特征與時域特征、頻域特征，并切分為固定長度的特征序列，然后在特征序列前加入類別編碼。將所有特征序列組合成為特征矩陣，分別與自注意力權重矩陣點乘，得到查詢矩陣Q、鍵矩陣K、值矩陣V，進行自注意力機制計算。自注意力機制可以捕捉特征序列之間的關系，通過網絡訓練更新類別編碼中的參數。自注意力層輸出每個樣本的類別編碼，經過全連接層，得到模型預測類別向量用于后續的故障診斷。

3）故障診斷

振動信號樣本被分為訓練集與測試集，卷積自注意力網絡模型經過訓練集訓練，使用測試集進行故障診斷測試。網絡輸出為故障類別1，故障類別2，…，故障類別N 的預測概率，選取預測概率最大的故障類別作為測試集樣本的故障診斷類別。

4 實驗驗證

4.1 實驗說明

為了驗證所提出診斷模型的有效性，采用某液壓螺桿泵試驗臺采集到的液壓螺桿泵振動數據對模型進行驗證。試驗臺主要由液壓螺桿泵組、截止閥、換熱器、油箱組成，通過截止閥為液壓螺桿泵提供出口油壓，模擬負載。液壓螺桿泵組由泵、電機、聯軸器、聯接架等組成，其通過減震器安裝在過渡板上，過渡板安裝在安裝底座上。實驗所用加速度傳感器采樣頻率為20000Hz，液壓螺桿泵組工作工況為電機轉速2950r/min，螺桿泵出口壓力5Mpa。

利用液壓螺桿泵試驗臺及相應故障件，分別進行緊固件松動、泵汽蝕、聯軸器故障、對中偏差、軸承故障共5 項故障實驗，每項故障實驗數據采集時間為10min。將原始信號截取為采樣時間1s 的樣本，每個樣本的采樣點數為20000 個點，每種健康狀態截取150 個樣本，如表3 所示。正常與各故障狀態的某一樣本的信號波形圖如圖3所示。

表3 數據集描述

圖3 液壓螺桿泵正常及故障狀態振動信號

4.2 實驗結果與分析

在本文實驗中，小樣本的范圍設定為每種健康狀態的訓練樣本數量不超過30 個。因此，隨機從每種健康狀態的樣本集中分別抽取10、15、20、25、30 個樣本作為訓練樣本，在剩余樣本中均抽取80個樣本作為測試樣本。此外，本文還從每種健康狀態樣本集中抽取了60 個訓練樣本進行實驗，目的是為了驗證模型在更多訓練樣本數量情況下的有效性。

實驗過程中，模型輸入為8 通道100×200 的灰度圖、長度為8×18 的先驗知識特征，輸出為1×6 的各健康狀態預測概率。訓練迭代次數為100 次，訓練批次大小為10，學習率設置為0.001，損失函數使用交叉熵損失，網絡參數由Adam優化器更新。

為了比較提出方法中先驗知識對小樣本故障診斷精度的影響，本文選擇了三種方法進行比較，分別是：

1）FS：從原始振動信號中提取18 個先驗知識特征，直接輸入Softmax分類器進行故障分類

2）CNN：將原始振動信號轉換為二維灰度圖，輸入到二維CNN中進行故障分類。

3）自注意力網絡：將原始振動信號轉換為二維灰度圖，輸入到自注意力網絡中進行故障診斷。

為了降低偶然因素的影響，每種方法重復進行10 次實驗，不同方法診斷測試結果準確率的平均值如表4 所示，圖4 以直方圖的形式顯示了每個模型的測試結果及誤差棒。

表4 故障診斷結果準確率

圖4 不同方法的測試準確率

由圖4 可以看出，在不同樣本數量下，本文提出的方法在所有模型中均達到了最高診斷精度。隨著樣本數量的增加，每種方法的診斷精度都能夠提高。在樣本量為10 的情況下，CNN 與自注意力網絡由于樣本量較少，模型很難從數據中學習到有效的特征，容易出現過擬合，而提出的方法利用先驗知識指導模型自動提取特征，診斷精度可以達到85.6%，相比FS網絡，精度提升約14%，相比CNN與自注意力網絡，精度提升約7%。當樣本量達到25個時，CNN、自注意力網絡和本文提出的方法診斷精度均達到90%以上，由于FS 網絡僅利用先驗知識提取特征，很難獲得更多的樣本信息，診斷精度僅84.2%。樣本數為60個時，本文提出的方法相比其他方法仍具有優勢。

由于自注意力網絡對于數據的結構信息幾乎不作任何假設，小樣本情況下易過擬合，與CNN 相比，自注意力網絡的診斷精度較低，這種情況在樣本數低于30 個時尤其明顯，且診斷結果誤差較大，訓練不夠穩定。所提出方法通過自注意力模塊將先驗特征融入訓練過程，在樣本數量很少時，利用先驗知識指導網絡訓練，能夠達到較高的準確率，樣本數為20 個時，所提出方法的診斷精度已高于90%，并且診斷結果誤差小，模型訓練穩定。

為了觀察所提出方法對不同類別的分類效果，繪制訓練集樣本數為30 個時某一次測試結果的混淆矩陣，如圖5 所示。縱軸為真實標簽值，橫軸為模型預測標簽值。可以看出，所提出方法對各健康狀態均能夠有效識別，其中正常狀態與泵汽蝕狀態診斷精度相對較低，為91%左右，緊固件松動、聯軸器故障、軸承故障的診斷精度為97%左右，對中偏差的診斷精度接近100%。

圖5 測試結果混淆矩陣

為了進一步研究先驗知識對模型訓練及診斷的影響，將模型輸出的特征進行T-SNE 降維可視化展示，如圖6 所示。從圖中可以看出，樣本數為10 時，不同故障模式的邊界重合度較高，未引入先驗知識的模型難以區分不同故障，引入先驗知識后，模型能夠清晰地區分泵汽蝕、聯軸器故障、對中偏差、軸承故障四種故障模式。樣本數為20 時，模型引入先驗知識后能夠更清晰地劃分泵汽蝕、聯軸器故障、對中偏差的特征邊界。樣本數為30 時，模型已經具有良好的分類效果，僅正常與緊固件松動兩種狀態存在較難區分的情況，本文所提出方法能夠減少混雜在正常特征中的緊固件松動特征，提升正常狀態的診斷精度。總的來說，不同樣本數量下，模型引入先驗知識后的分類效果更好，T-SNE降維特征的邊界更清晰。特別是在樣本數較少時，引入先驗知識能夠顯著地改善模型分類效果。

圖6 不同樣本數下模型分類效果比較

5 結語

本文提出了一種基于卷積自注意力網絡和先驗知識的機械設備小樣本故障診斷模型，解決了小樣本條件下的機械設備故障診斷訓練樣本不足、精度低的問題。實驗結果表明，在小樣本情況下，所提出方法比相關方法具有更好的性能。本文主要結論如下：

1）結合卷積自注意力網絡進行空間特征提取和先驗知識進行時域、頻域特征提取能夠充分挖掘樣本中的信息，有效實現小樣本故障診斷。

2）提出的卷積自注意力網絡可以融合模型自動提取的特征與先驗知識，使得先驗知識能夠優化模型訓練過程，可以很好地緩解樣本量不足導致的過擬合問題，提升小樣本故障診斷準確率。