基于自注意力機(jī)制與LSTM的軸承質(zhì)量狀態(tài)監(jiān)測(cè)方法

張 健，吳素雪，穆思奇

（1.武警海南總隊(duì)，海口 570203；2.廣東第二師范學(xué)院物理與信息工程學(xué)院，廣州 510303；3. 武警警官學(xué)院訓(xùn)練基地，廣州 510440）

0 引言

裝備質(zhì)量狀態(tài)監(jiān)測(cè)作為裝備質(zhì)量管理的重要依托，在裝備的質(zhì)量管理中起到基礎(chǔ)性作用［1］。軸承質(zhì)量狀態(tài)監(jiān)測(cè)就是在對(duì)軸承的現(xiàn)狀及發(fā)展趨勢(shì)進(jìn)行分析的基礎(chǔ)上，依靠軸承質(zhì)量標(biāo)準(zhǔn)，采取一定的措施，確保軸承可靠性的一種手段［2］。隨著科學(xué)技術(shù)的發(fā)展，智能化軸承質(zhì)量監(jiān)測(cè)是一個(gè)信息獲取、存儲(chǔ)、傳輸、共享和處理的信息化應(yīng)用體系。利用機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)軸承質(zhì)量狀態(tài)的動(dòng)態(tài)化、智能化管理。其主要是通過(guò)對(duì)軸承數(shù)據(jù)進(jìn)行采集，接著進(jìn)行數(shù)據(jù)預(yù)處理，再對(duì)影響軸承質(zhì)量狀態(tài)的各種參數(shù)建模、決策分析，實(shí)現(xiàn)軸承質(zhì)量狀態(tài)的閉環(huán)管理。在傳統(tǒng)的機(jī)器學(xué)習(xí)方法中，已有學(xué)者在裝備、軸承質(zhì)量狀態(tài)監(jiān)測(cè)和故障診斷方面取得了相關(guān)研究成果。張書(shū)鋒等［3］通過(guò)多尺度極差熵提取振動(dòng)參數(shù)的故障特征向量，采用主成分分析法對(duì)特征向量降維，最后依據(jù)決策樹(shù)預(yù)測(cè)得到權(quán)值屬性的專家森林算法對(duì)軸承進(jìn)行故障診斷。湯天寶等［4］提出了基于奇異譜分解和兩層支持向量機(jī)的方法，根據(jù)自適應(yīng)峭度準(zhǔn)則選取奇異譜分量，完成重構(gòu)信號(hào)矩陣后進(jìn)行特征提取，最后輸入到兩層支持向量機(jī)完成軸承故障類型分類。呂作鵬等［5］先對(duì)振動(dòng)噪聲利用小波包分析，接著使用經(jīng)驗(yàn)?zāi)B(tài)分解平穩(wěn)化處理，通過(guò)Hilbert?Huang 變換時(shí)頻分析標(biāo)注出軸承的故障頻率。由上可知，針對(duì)裝備質(zhì)量狀態(tài)診斷、故障檢測(cè)等問(wèn)題，通過(guò)數(shù)據(jù)采集獲取裝備的特征信息，利用機(jī)器學(xué)習(xí)的方法對(duì)特征信息進(jìn)行監(jiān)督式訓(xùn)練得到的模型實(shí)現(xiàn)裝備質(zhì)量狀態(tài)診斷、故障檢測(cè)，但仍存在需要手工設(shè)計(jì)特征，信號(hào)預(yù)處理過(guò)程較為復(fù)雜，對(duì)先驗(yàn)知識(shí)具有較強(qiáng)的依賴性，以及往往難以保持較好的泛化能力等問(wèn)題。

近幾年來(lái)，軸承質(zhì)量狀態(tài)監(jiān)測(cè)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）方法得到廣泛研究，基于CNN 的深度學(xué)習(xí)方法是利用不同過(guò)濾器的卷積實(shí)現(xiàn)特征提取，無(wú)需手工設(shè)計(jì)，通過(guò)監(jiān)督學(xué)習(xí)方式主動(dòng)擬合樣本分布，且學(xué)習(xí)到的網(wǎng)絡(luò)模型具有較好的泛化能力。丁春嶸等［6］提出了一種深度特征提取網(wǎng)絡(luò)，將原始振動(dòng)信號(hào)作為輸入，利用多層卷積與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（long short?term memory，LSTM）模型提取信號(hào)中的深層與時(shí)序特征信息，能有效實(shí)現(xiàn)對(duì)軸承故障模式的識(shí)別。王琦等［7］提出一種FRICNN?1D 方法，提高了網(wǎng)絡(luò)模型的非線性表達(dá)能力，模型具有較低參數(shù)和計(jì)算量。楊云等［8］提出一種基于改進(jìn)一維卷積神經(jīng)網(wǎng)絡(luò)與雙向門(mén)控循環(huán)單元的深度學(xué)習(xí)方法，進(jìn)一步提高診斷的準(zhǔn)確率。

隨著基于深度學(xué)習(xí)的軸承質(zhì)量狀態(tài)監(jiān)測(cè)的研究越來(lái)越深入，發(fā)現(xiàn)還存在以下問(wèn)題：①采用簡(jiǎn)單重復(fù)堆疊卷積層塊，網(wǎng)絡(luò)模型收斂速度較慢，訓(xùn)練時(shí)間較長(zhǎng)，超參數(shù)數(shù)量較多，以及會(huì)存在梯度爆炸和網(wǎng)絡(luò)退化的風(fēng)險(xiǎn)；②卷積操作是一種線性提取局部特征，對(duì)非局部的上下文關(guān)系計(jì)算缺失，不利于長(zhǎng)依賴時(shí)序信號(hào)關(guān)系捕獲；③LSTM 具有較強(qiáng)的時(shí)序特性捕獲能力，但是無(wú)法并行計(jì)算，多個(gè)LSTM 疊加時(shí)，模型運(yùn)行速度較慢，易引起過(guò)擬合現(xiàn)象。

基于上述原因，本文提出一種基于自注意力機(jī)制與LSTM 的軸承質(zhì)量狀態(tài)監(jiān)測(cè)方法。將預(yù)處理后的軸承信號(hào)依次輸入到一維卷積和LSTM網(wǎng)絡(luò)中進(jìn)行時(shí)序信號(hào)自適應(yīng)特征提取，引入自注意力模塊學(xué)習(xí)軸承信號(hào)的全局語(yǔ)義特征。本文方法克服了依賴人工診斷或依賴復(fù)雜的數(shù)據(jù)處理技術(shù)與信號(hào)分析技術(shù)提取和選擇故障特征的問(wèn)題，網(wǎng)絡(luò)模型參數(shù)量較少，實(shí)現(xiàn)端對(duì)端的滾動(dòng)軸承健康狀態(tài)的監(jiān)測(cè)與識(shí)別，為及時(shí)指導(dǎo)裝備維修和保養(yǎng)提供指導(dǎo)，從而確保裝備在部隊(duì)作戰(zhàn)中最大限度發(fā)揮作戰(zhàn)效能［9］。

1 LSTM網(wǎng)絡(luò)與自注意力機(jī)制

1.1 LSTM網(wǎng)絡(luò)

LSTM 網(wǎng)絡(luò)主要由記憶細(xì)胞和多個(gè)控制序列信息流動(dòng)的 “門(mén)” 組成。LSTM 使用門(mén)控機(jī)制控制信息選擇性的通過(guò)，具體如下：

（1）遺忘門(mén)。將上一單元的輸出ht-1和該單元的輸入xt輸入到激活函數(shù)，得到“遺忘系數(shù)”ft。

（2）輸入門(mén)。使用激活函數(shù)決定要更新的數(shù)值，同時(shí)使用tanh 函數(shù)產(chǎn)生新的候選項(xiàng)，組合后完成當(dāng)前單元狀態(tài)更新。

（3）單元信息更新。通過(guò)遺忘門(mén)和輸入門(mén)有選擇地更新ct。

（4）輸出門(mén)。使用sigmoid 函數(shù)計(jì)算哪些單元狀態(tài)需要被輸出，最后經(jīng)過(guò)tanh 函數(shù)得到輸出ht。

最終，輸出層依據(jù)式（7）得到最終預(yù)測(cè)值。

1.2 自注意力機(jī)制

LSTM 網(wǎng)絡(luò)只能在一定程度上緩解RNN［10］中的長(zhǎng)距離依賴問(wèn)題，且信息 “記憶” 能力并不高。為了提高長(zhǎng)依賴時(shí)序信號(hào)關(guān)系捕獲，本文引入自注意力機(jī)制，利用輸入項(xiàng)之間的相互關(guān)系，自行決定分配輸入項(xiàng)權(quán)重大小。自注意力機(jī)制能夠顯著地提高信息處理的效率與準(zhǔn)確性，提取更多關(guān)鍵的細(xì)節(jié)信息，同時(shí)抑制其他無(wú)用信息。

本文采用點(diǎn)乘自注意力［11］計(jì)算方式，即先通過(guò)Query 和Key 中每個(gè)詞向量的點(diǎn)乘運(yùn)算來(lái)得到每?jī)蓚€(gè)詞之間的相關(guān)性。計(jì)算比較Q和K的相似度，用f來(lái)表示。

將得到的相似度進(jìn)行Softmax 操作，進(jìn)行歸一化。

針對(duì)計(jì)算出來(lái)的權(quán)重α，對(duì)V中所有的val?ues進(jìn)行加權(quán)求和計(jì)算，得到Attention向量：

其中：Q∈Rm×dk,K∈Rm×dk,V∈Rm×dv。

2 軸承質(zhì)量狀態(tài)智能化檢測(cè)算法

2.1 算法流程

本文軸承質(zhì)量狀態(tài)智能化監(jiān)測(cè)算法的流程如圖1所示。

圖1 軸承質(zhì)量狀態(tài)智能化檢測(cè)算法的流程

對(duì)于特征是離散型的情況，輸入的原始數(shù)據(jù)為離散型數(shù)據(jù)集。將原始數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)不同格式、不規(guī)范的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，對(duì)連續(xù)型數(shù)據(jù)合理地離散化，然后將規(guī)范后的數(shù)據(jù)進(jìn)行數(shù)據(jù)集劃分，按8∶2 劃分為訓(xùn)練集和測(cè)試集，并將數(shù)據(jù)輸入到構(gòu)建好的融合自注意力機(jī)制與LSTM 的模型中，模型不斷自適應(yīng)優(yōu)化參數(shù)，并進(jìn)行特征提取和學(xué)習(xí)訓(xùn)練，直至模型收斂。模型收斂的條件為達(dá)到最大迭代次數(shù)或損失收斂，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，保存最后一次更新的模型參數(shù)。將測(cè)試集數(shù)據(jù)分批輸入至訓(xùn)練最優(yōu)模型，計(jì)算模型的性能評(píng)價(jià)指標(biāo)，并與其他基準(zhǔn)模型對(duì)比分析，得到最優(yōu)預(yù)測(cè)模型。

2.2 基于自注意力機(jī)制與LSTM的軸承質(zhì)量狀態(tài)監(jiān)測(cè)網(wǎng)絡(luò)模型

通過(guò)CNN 層、LSTM 層和自注意力層，構(gòu)建了由輸入層、特征提取層、自注意力模塊、全連接層和輸出層的軸承質(zhì)量狀態(tài)監(jiān)測(cè)分類網(wǎng)絡(luò)模型。其結(jié)構(gòu)如圖2所示。

圖2 軸承質(zhì)量狀態(tài)監(jiān)測(cè)網(wǎng)絡(luò)模型

輸入層將數(shù)據(jù)集提供的原始信號(hào)進(jìn)行預(yù)處理，構(gòu)建滿足網(wǎng)絡(luò)模型輸入的數(shù)據(jù)樣本。特征提取層由兩次的一維卷積和LSTM 層組成。CNN卷積層通過(guò)指定一定大小的窗口值提取某一類特征，如式（11）所示。

式中：xli-1為第l-1 層第i個(gè)通道的輸出；cl-1為l-1層第c個(gè)通道；xl為第l層的輸出；wli,c為第l層卷積核的權(quán)重矩陣；bli為偏置項(xiàng)；*為卷積運(yùn)算。

特征提取層有效綜合了CNN 的特征處理能力和LSTM 的時(shí)序關(guān)聯(lián)能力，能夠更好地提取和學(xué)習(xí)軸承的信號(hào)特征。接著采用自注意力機(jī)制計(jì)算軸承信號(hào)深度特征的相似度作為權(quán)重，最后加權(quán)得到全局的語(yǔ)義特征，并將其輸入到全連接層，獲得特征向量A，最后通過(guò)softmax 進(jìn)行多分類，如式（12）所示。

其中：A表示特征向量；P為預(yù)測(cè)概率；W和b分別表示權(quán)重和偏差矩陣。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文算法的有效性和魯棒性，使用凱斯西儲(chǔ)大學(xué)（CWRU）軸承數(shù)據(jù)中心的軸承數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)驗(yàn)證［12］。CWRU 滾動(dòng)軸承實(shí)驗(yàn)臺(tái)如圖3所示。

圖3 CWRU滾動(dòng)軸承實(shí)驗(yàn)臺(tái)

CWRU 軸承數(shù)據(jù)集采用驅(qū)動(dòng)端振動(dòng)數(shù)據(jù)，采樣頻率為12 KHz，電機(jī)轉(zhuǎn)速有4 種，軸承共有四種運(yùn)行狀態(tài)，分別是正常、內(nèi)圈故障、滾動(dòng)體故障和外圈故障。三類故障都有3種不同大小的故障尺寸，因此可形成10 種運(yùn)行狀態(tài)，即為一個(gè)10 分類問(wèn)題。實(shí)驗(yàn)診斷標(biāo)簽包含10 種狀態(tài)數(shù)據(jù)，即S0～S9。以電機(jī)轉(zhuǎn)速為1797 為例的振動(dòng)信號(hào)信息見(jiàn)表1。

表1 實(shí)驗(yàn)數(shù)據(jù)樣本集

3.2 實(shí)驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)

本次實(shí)驗(yàn)中，模型采用Adam 優(yōu)化器，學(xué)習(xí)率為0.001，動(dòng)量因子為0.9，模型權(quán)重采用kai?ming 初始化，epoch 設(shè)置為60，batch_size 設(shè)置為128，評(píng)價(jià)函數(shù)使用交叉熵?fù)p失函數(shù)。

本實(shí)驗(yàn)使用的硬件環(huán)境為： CPU 為i7-8750H， GPU 為GTX 1070 8 GB， 16 GB 內(nèi)存；軟件環(huán)境為：Windows10 系統(tǒng)，Pytorch 深度學(xué)習(xí)框架。

本文采用準(zhǔn)確率（Accuracy）作為評(píng)價(jià)指標(biāo)。該評(píng)價(jià)指標(biāo)針對(duì)模型在不同情況下的表現(xiàn)做出百分比的數(shù)值衡量［13］。準(zhǔn)確率計(jì)算公式如式（13）所示。

其中：TP是預(yù)測(cè)軸承為正樣本，實(shí)際軸承為正樣本；FP是預(yù)測(cè)軸承為負(fù)樣本，實(shí)際軸承為負(fù)樣本；TN是預(yù)測(cè)軸承為負(fù)樣本，實(shí)際軸承為正樣本；FN是預(yù)測(cè)軸承為正樣本，實(shí)際軸承為負(fù)樣本。

整體準(zhǔn)確率是經(jīng)常被用來(lái)預(yù)測(cè)的評(píng)價(jià)指標(biāo)，通常情況下，準(zhǔn)確率越高，分類器的性能就越好。

3.3 軸承質(zhì)量狀態(tài)監(jiān)測(cè)結(jié)果分析

軸承質(zhì)量狀態(tài)診斷網(wǎng)絡(luò)模型在訓(xùn)練集和測(cè)試集上的準(zhǔn)確率和損失率，如圖4 所示。由圖4可見(jiàn)，損失率呈快速下降趨勢(shì)，在第7 個(gè)迭代后，訓(xùn)練集和驗(yàn)證集的軸承質(zhì)量狀態(tài)診斷準(zhǔn)確率均已達(dá)到98% 以上，最終模型準(zhǔn)確率均達(dá)到100%，損失率浮動(dòng)趨向穩(wěn)定。由此可見(jiàn)，模型具有較快的梯度下降和收斂速度。

圖4 網(wǎng)絡(luò)模型的準(zhǔn)確率和損失率

為了進(jìn)一步分析軸承質(zhì)量狀態(tài)正確分類的個(gè)數(shù)和錯(cuò)誤分類的類別，引入多分類混淆矩陣［14］，結(jié)果如圖5 所示，利用混淆矩陣對(duì)測(cè)試集正確分類的概率進(jìn)行表征。

圖5 混淆矩陣

圖5所示為測(cè)試集的混淆矩陣，縱坐標(biāo)為預(yù)測(cè)標(biāo)簽，橫坐標(biāo)為實(shí)際標(biāo)簽，第i行j列的值表示第i種軸承質(zhì)量狀態(tài)被分類為第j種軸承質(zhì)量狀態(tài)的個(gè)數(shù)，混淆矩陣對(duì)角線上元素的值代表每種軸承質(zhì)量狀態(tài)正確分類的個(gè)數(shù)。通過(guò)圖5混淆矩陣可知，每種軸承質(zhì)量狀態(tài)的正確率均達(dá)到100%，表明本文構(gòu)建的軸承質(zhì)量狀態(tài)網(wǎng)絡(luò)可以較高精度地診斷出該類故障。

為了驗(yàn)證融合自注意力和LSTM 的軸承質(zhì)量狀態(tài)智能化監(jiān)測(cè)方法的有效性，在同樣基于對(duì)CWRU 數(shù)據(jù)集的10 種軸承狀態(tài)的分類識(shí)別基礎(chǔ)上，引用文獻(xiàn)7實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，并使用隨機(jī)森林、SVM算法增加對(duì)比實(shí)驗(yàn)。因此，將本文方法與經(jīng)典算法隨機(jī)森林、SVM、CNN?1D、文獻(xiàn)［15］和文獻(xiàn)［7］提出的方法共5 種智能故障識(shí)別模型進(jìn)行對(duì)比，結(jié)果見(jiàn)表2。

表2 不同模型的分類結(jié)果對(duì)比

由表2 可知，數(shù)據(jù)集1～4 的準(zhǔn)確率和平均準(zhǔn)確率中，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法比傳統(tǒng)的機(jī)器學(xué)習(xí)方法具有更高的準(zhǔn)確率，表明卷積神經(jīng)網(wǎng)絡(luò)對(duì)軸承故障信號(hào)具有較好的特征提取和分類能力。此外，本文方法在數(shù)據(jù)集1、2、3 和4 的準(zhǔn)確率依次為100%，99.35%，100%，100%，平均準(zhǔn)確率為99.83%，網(wǎng)絡(luò)模型參數(shù)為17962，訓(xùn)練時(shí)間為19.1 s。與文獻(xiàn)［7］實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，本文方法用更少的模型參數(shù)量和更短的訓(xùn)練時(shí)間，獲得了與之相差為0.15%的平均準(zhǔn)確率，說(shuō)明了本文提出的對(duì)軸承質(zhì)量狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)的方法具有一定的參考價(jià)值。

4 結(jié)語(yǔ)

針對(duì)軸承質(zhì)量狀態(tài)檢測(cè)問(wèn)題，本文提出一種基于自注意力機(jī)制與LSTM 的軸承質(zhì)量狀態(tài)監(jiān)測(cè)方法。實(shí)驗(yàn)結(jié)果表明，在公開(kāi)的CWRU 滾動(dòng)軸承故障數(shù)據(jù)集中，與其他多種方法相比，本文方法平均準(zhǔn)確率為99.83%，網(wǎng)絡(luò)模型參數(shù)為17962，平均訓(xùn)練時(shí)間為19.1 s，大大節(jié)約了時(shí)間成本并展現(xiàn)出了較好的智能化普適性和識(shí)別準(zhǔn)確性。通過(guò)本文方法能實(shí)現(xiàn)對(duì)軸承進(jìn)行智能化、快速的質(zhì)量狀態(tài)監(jiān)測(cè)，為后期軸承的維護(hù)、保養(yǎng)提供一定的依據(jù)，有利于提高維護(hù)維修人員對(duì)軸承質(zhì)量檢查的效率，使實(shí)時(shí)在線監(jiān)測(cè)成為可能，增強(qiáng)了軸承質(zhì)量狀態(tài)監(jiān)測(cè)的智能化自適應(yīng)性和工程實(shí)用價(jià)值，進(jìn)而在部隊(duì)作戰(zhàn)中使得裝備最大限度發(fā)揮作用。