基于監督對比學習和混合注意力殘差網絡的隔膜泵單向閥故障診斷*

任洪兵,彭宇明,2*,黃海波,2

(1.西南交通大學 汽車與能源動力研究所,四川 成都 610036; 2.西南交通大學 先進驅動節能技術教育部工程研究中心,四川 成都 610036)

0 引 言

礦漿管道運輸是一種新型固態物料運輸方式,其能夠克服地形、地勢崎嶇等因素引起的運輸困難問題,還具有環保、穩定、經濟等優點。

隔膜泵作為核心動力單元,常應用于礦物管道運輸系統中,其能夠在高壓、高溫及復雜激勵等惡劣工況下完成礦漿介質輸送任務[1]。

單向閥作為隔膜泵的重要組成部件之一,因其工作頻率高且受到礦漿介質的持續沖擊和磨蝕,導致其易成為隔膜泵系統中故障頻率最高的部件。因此,開展單向閥故障的診斷研究對保障礦物管道運輸系統持續、平穩的運行,避免企業安全事故的發生具有相當重要的意義[2]。

基于數據驅動的故障診斷研究可從歷史數據中獲取機械設備的故障狀態信息,這是該領域的研究方向之一[3-4]。卷積神經網絡因其出色的數據信息挖掘能力,成為很多故障診斷研究方法的首選[5]。

LI Gang等人[6]提出了一種基于AlexNet模型的鉆井泵液端故障診斷研究方法,為了增加數據的可見性,降低噪聲的干擾,該方法采用三維化灰度圖像,隨后利用AlexNet模型辨識了鉆井泵液端的故障類型。馮澤仲等人[7]運用快速循環頻譜(cyclic spectral coherence,CSCoh)運算生成了循環頻譜相干圖,以降低噪聲對故障特征的干擾,隨后運用深層卷積網絡識別了隔膜泵單向閥故障。BIE Feng-feng等人[8]針對高速軸向柱塞泵的加速度振動信號,采用完全自適應噪聲集合經驗模態分解(complementary ensemble emp-irical mode decomposition with adaptive noise,CEEMDAN)進行了軸向柱塞泵的特征提取,并將所提特征用于訓練一維卷積神經網絡和長短時記憶網絡(one-dimensional convolutional neural networks and long short-term memory, 1DCNN-LSTM)的混合模型模型,完成了軸向柱塞泵故障診斷研究。ZHANG Ying等人[9]融合了多傳感器信息特征,并構建了用于往復式壓縮機故障診斷的深度信念網絡(deep belief network, DBN),該網絡提高了故障診斷的精度。SHI Pei-ming等人[13]提出了一種基于注意力機制的特征增強網絡,用于軋機軸承故障診斷研究。

上述文獻中僅通過信號預處理來提取特征,雖可以降低噪聲對故障特征的干擾,從而提升故障診斷效果;但是當不同故障的特征具有一定相似性時,故障診斷結果依舊不佳。

對比學習可以通過衡量數據之間的相似度,從而調節數據之間的距離,使得不同故障的分類邊界更加明確。

KHOSLA P等人[10]將數據的標簽信息擴展到自監督對比學習中,提出了一種全監督對比學習損失函數(supervised contrastive loss,SCL),相比交叉熵損失(cross entropy,CE),其能更好地將相同類別數據聚集。BELIZ G等人[11]提出了“CE+SCL”相結合的損失函數,可以通過SCL微調模型來改善CE損失引起的模型泛化性差和對噪聲標簽的魯棒性差等問題。FLORIAN G等人[14]通過對比不同損失函數優化模型的過程,表明了SCL比CE能獲得同等或更多的辨識表征。

綜上所述,筆者針對單向閥受到噪聲或其他激勵干擾導致隔膜泵單向閥不同故障的特征具有一定相似性和分類邊界不清晰,限制了故障診斷的識別精度問題,提出一種結合“SCL+CE”損失和HA-ResNet的隔膜泵單向閥故障診斷方法。

首先,該方法利用連續小波變換(continuous wavelet transform, CWT)提取單向閥振動數據的時頻特性,生成時頻圖像;其次,將注意力機制(attention mechanism)[12]引入ResNet,用于提升模型的特征提取能力,并建立HA-ResNet模型;最后,在訓練過程中先使用CE損失對HA-ResNet模型進行預訓練,隨后采用“SCL+CE”損失作為損失反饋微調HA-ResNet模型,以避免交叉熵損失的缺點,同時明確單向閥不同故障狀態的分類邊界,從而提升單向閥的故障診斷精度。

1 混合注意力殘差神經網絡

1.1 殘差網絡

隨著相關各領域的快速發展,使用網絡模型高精度地提取數據特征的能力成為一種需要,而模型的性能與網絡深度呈正相關[15]。但是當網絡層數增加到一定程度后,模型性能會隨著網絡層數的增加而衰退,主要表現在模型的訓練過程發聲梯度彌散或梯度爆炸而引起的網絡退化問題。

HE Kai-ming等人[16]提出的殘差神經網絡(deep residual network,ResNet),其在卷積神經網絡的不同層級之間引入恒等變換,有效緩解了網絡退化問題和提升了模型的特征提取能力。

殘差塊輸出為殘差部分與直接映射相加組成,即:

xl+1=xl+F(xl,Wi)

(1)

式中:xl為直接映射部分;wi為殘差映射的權重參數;F(·)為殘差運算函數。

基礎殘差塊結構[17]如圖1所示。

圖1 一種基本殘差塊

由式(1)可知,殘差塊的輸入與輸出維度統一且沒有增加運算復雜度。由圖1可知,殘差模塊中常包含卷積層、批歸一化層和激活函數。

卷積層是ResNet的核心組成部分,卷積層通過不同尺寸大小的卷積核完成對數據特征的提取。卷積層的輸出,由經卷積運算后的局部加權特征圖與偏差相加組成,如下式所示:

(2)

批歸一化層能夠對網絡輸入進行批量標準化處理,其具有加速模型學習速度和緩解梯度彌散等優點。

批歸一化層的輸出,如下式所示:

(3)

卷積神經網絡常需進行數據降維從而降低模型的計算復雜度和防止模型過擬合。池化層通過對輸入數據降采樣,以此來降低輸入數據復雜度和提升輸出特征維度。

池化層的輸出,如下式所示:

(4)

1.2 注意力機制

卷積神經網絡是利用局部感受野提取輸入信息特征,但是卷積層的不同卷積核中的特征信息含量不同。傳統卷積神經網絡無法關注到每個卷積核的特征信息含量,而通道注意力機制可以自適應調整各個卷積核輸出映射的輸出權重,通過對模型中信息豐富的卷積核賦予較大權重與信息匱乏的卷積核賦予較小權重的方式,合理分配各通道之間的貢獻[18]。卷積塊注意力模塊(convolutional block attention module,CBAM)[19]中提出了一種通道注意力模塊。

CBAM模塊注意力機制權重值,如下式所示:

Mc=σ(MLP(AvgPool(x)+MLP(MaxPool(x))))

(5)

式中:x為輸入特征;MLP為多層感知機;Mc為通道權重系數;σ為Sigmoid激活函數。

CBAM結構如圖2所示。

圖2 CBAM模塊

為了提升模型的收斂速度和性能,筆者將CBAM模塊的MLP模塊替換為卷積神經網絡,提出卷積的CBAM (Convolutional CBAM,CCBAM)通道注意力機制模塊。

CCBAM模塊注意力機制權重值輸出,如下式所示:

Mc(x)=σ(Conv(CBRC(GAP(x))+CBRC(GMP(x))))

(6)

式中:GAP,GMP為全局平均池化和全局最大池化;CBRC(·)為“卷積+批歸一化+ReLU+卷積”一系列運算過程;Mc為通道權重系數;σ為SoftMax函數。

CCBAM結構如圖3所示。

圖3 CCBAM通道注意力機制模塊

1.3 混合注意力殘差神經網絡

筆者將CCBAM通道注意力模塊與殘差模塊相結合,提出一種混合通道注意力殘差模塊(hybird channel attention residual block, HA-ResBk),用于自適應調節各卷積通道的輸出權重,提升模型整體性能和泛化能力。

HA-ResBk結構如圖4所示。

圖4 混合通道注意力機制殘差模塊

在特征學習過程中,混合注意力殘差模塊不僅可以自適應地突出微弱但關鍵的特征,同時通過恒等映射變換方式,可避免多次點積運算造成的有效信息被抑制的問題,減少有效信息的丟失,并使模型更易于學習優化;相較于基本殘差模塊,其具有更優越的學習能力。

HA-ResNet模型結合殘差網絡和通道注意力機制,通過關注模型通道特征的重要性,可以提升模型的學習能力。該模型主要由輸入層、全局平均/最大池化、激活函數、基本殘差塊、批歸一化、全連接層、分類器層和輸出層組成。

在該結構中模型的注意力機制殘差塊1和2組成的模型模塊共有3組,并依次相鄰連接,形成模型的特征提取部分。

模型結構如圖5所示。

圖5 HA-ResNet模型框架

2 監督對比損失

目前,對比損失被廣泛應用于自監督學習中。在經過降維后,相似數據樣本的特征空間中相似樣本依舊相似;原不相似數據樣本在特征空間中依舊不相似。自監督對比學習目標在于學習正樣本的不同表現特征,同時調整與負樣本的距離,使用的距離度量通常是內積和樣本向量特征之間的歐式距離。

若數據樣本數量為N時,自監督對比損失[10]定義,如下式所示:

式中:zi為在SoftMax映射之前的歸一化輸出;τ為標量溫度系數,τ>0;zj(i)為源于zi樣本的數據增強樣本;·為內積運算符。

對于每個正樣本,具有1對正對和2N-2對負對數據組,即式(7)中分子共1項與分母一共2N-1項。

自監督對比損失雖可以較好地區分同源信號與非同源信號,但較難將同類型的非同源信號歸為一類。監督對比損失將數據的標簽信息引入自監督對比損失,將同類別樣本識別為正樣本,可以拉近來源于同一類別樣本的距離。

若數據樣本為{xi,yi},且樣本數量為N,則監督對比損失[10]為:

(8)

式中:zi為在SoftMax映射之前的歸一化輸出;zj為zi樣本的同類別樣本;Nyi為標簽為yi的樣本數量;τ為標量溫度系數;zk為zk樣本的不同類別樣本。

為了兼顧監督對比損失和交叉熵損失的優點,此處使用的損失函數為兩者的加權和損失,即:

(9)

Lf=(1-λ)Lscl+λLce

(10)

3 基于SCL和HA-ResNet的故障診斷方法

由于環境噪聲或其他的激勵,導致隔膜泵單向閥的不同故障特征會出現一定的相似性,或故障特征被噪聲干擾,導致干擾下的故障特征不明顯,影響了隔膜泵單向閥故障診斷的精度[20-22]。

為解決上述問題,筆者提出了基于對比學習與混合注意力殘差網絡(SCL+HA-ResNet)的隔膜泵單向閥故障診斷模型。首先,該模型利用監督對比損失,自適應地調整單向閥不同故障類別的距離,從而降低由于不同故障的相似性對診斷精度的影響;其次,運用通道注意力機制提升模型對故障特征的提取能力,并在網絡中引入殘差網絡,改善模型的性能和泛化性。

隔膜泵單向閥故障診斷方法流程圖如圖6所示。

圖6 SCL+HA-ResNet故障診斷流程圖

故障診斷的具體步驟如下所述:

步驟1。利用加速度傳感器采集隔膜泵單向閥的各類狀態下的振動信號。將各類信號按固定數量的數據樣本點連續分段劃分,然后將截取好的每段數據進行連續小波變換,生成樣本集;

步驟2。分析單向閥不同狀態信號特征,并通過隨機取樣,將樣本集按一定比例劃分為訓練集和驗證集。考慮到模型的訓練與測試所需時間與樣本信息量,將每個時域信號樣本都進行小波變換,輸出為大小為64×64的時頻圖;

步驟3。構建HA-ResNet模型,并且初始化模型超參數,包括但不限于學習率、迭代次數、卷積核尺寸等;構建監督對比損失和加權“監督對比+交叉熵”損失;

步驟4。使用訓練樣本對HA-ResNet模型進行預訓練,利用反向傳播(back propagation,BP)算法訓練優化HA-ResNet模型,并且使用自適應矩估計(adaptive moment estimation,Adam)優化器來加速模型訓練,此訓練過程使用交叉熵損失;

步驟5。使用加權“監督對比+交叉熵”損失反饋微調預訓練的HA-ResNet模型,直至模型收斂,得到特征空間與狀態空間映射的網絡模型;

步驟6。將測試樣本輸入訓練完成的HA-ResNet模型中,輸出分類結果并開展故障診斷分析。

4 工程實驗與模型驗證

4.1 實驗設置與數據采集方案

筆者研究的對象為TZPM系列的三缸曲軸驅動活塞式隔膜泵,其每一組隔膜泵包含三組進、出料口。整個隔膜泵單向閥主要包含隔膜泵、單向閥、動力裝置及其輔助設備等。

為了保證隔膜泵的正常運行,及時發現異常故障,在單向閥外殼體上(包括進出口兩處單向閥,共6組)布置加速度傳感器,利用數據采集系統獲取單向閥運行數據,實時監控隔膜泵運行狀態。

具體的加速度傳感器布置位置和數據采集示意圖如圖7所示。

圖7 加速度傳感器布置位置及數據采集方案示意圖

該實驗中,隔膜泵沖程數為30次/min～31次/min,運行頻率為0.5 Hz～0.517 Hz,數據采樣頻率為2.56 kHz。

實驗采集數據所使用設備及其型號如表1所示。

表1 實驗設備及其型號

4.2 實驗數據來源與數據分析

由于礦漿對單向閥的磨損和沖蝕作用,在工作過程中,隔膜泵進、出口單向閥隨著時間的流逝會出現磨損,而單向閥的健康狀態與隔膜泵的安全息息相關。因此,單向閥的健康狀態成為隔膜泵系統安全的關注焦點。

正常單向閥和故障單向閥的實物圖如圖8所示。

圖8 隔膜泵單向閥實物圖

圖8(b)所示的故障單向閥呈完全失效(擊穿)狀態,但在其非嚴重破壞區域能看出劃傷、磨損等輕微故障的特征。

該實驗所用數據均采集于某企業的泵站[23-25]隔膜泵動力系統。隔膜泵單向閥的故障主要由單向閥被磨損導致的故障和閥體活動受限導致的故障組成。

單向閥狀態的5種類型如表2所示。

表2 單向閥故障狀態類型

在數據集準備過程中,筆者采用不重疊滑移方法,將收集到的5類單向閥狀態振動信號截取4 096個數據點作為一個樣本。

單向閥各狀態時域振動信號如圖9所示。

圖9 單向閥不同狀態下振動信號時域圖

為了更好地提取數據信號特征,筆者運用連續小波變換(CWT)對各類健康狀態信號進行時頻域分析。

連續小波變換如下式所示:

(11)

式中:Z(t)為源時域信號;a為伸縮因子;ψ(·)為小波基函數,是滿足一定條件的基本小波函數;τ為時間平移因子。

單向閥不同狀態的時頻圖如圖10所示。

圖10 單向閥不同狀態下的時頻圖

經時頻變換后,筆者最終獲得實驗數據集共5×100個樣本。然后,筆者按照7:3的比例,將其劃分為訓練集和測試集。

時頻圖樣本如圖11所示。

圖11 單向閥不同狀態下的時頻樣本

4.3 HA-ResNet模型構建

在完成對隔膜泵單向閥精確故障診斷之前,需先建立故障診斷模型。

HA-ResNet模型超參數設置如表3所示。

表3 HA-ResNet模型參數

筆者采用Adam算法作為模型訓練優化算法,并且設置初始學習率為0.001。

在模型訓練中,筆者使用交叉熵損失,預訓練輪次設置為10;使用“SCL+CE”損失,Lf訓練輪次設置為20;模型一共訓練30個輪次,其他未提到的參數采用默認值。

此外,筆者通過深度學習框架為Pytorch(2.10),編程語言為Python(3.8)來構建所提模型和對比模型;在硬件配置方面,CPU為AMD Ryzen 5600X,GPU為Nvidia GeForce RTX 3070 TI。

4.4 實驗結果與分析

為了說明融合監督對比學習與混合注意力殘差網絡的故障診斷方法(SCL+HA-ResNet)具有可行性和優越性,筆者將該方法與LeNet5、CWT+1DCNN、ResNet18和CSCoh+1DCNN進行對比;同時,以HA-ResNet_1(無注意力模塊)和HA-ResNet_2(不使用監督損失函數)模型作為消融實驗對比方法(對比算法的學習率和優化算法均與SCL+HA-ResNet一致,且對比算法均使用交叉熵損失函數)。

SCL+HA-ResNet方法和各對比算法的訓練過程如圖12所示。

圖12 訓練結果曲線圖

由圖12可以看出:相較于LeNet5和CWT+1DCNN,SCL+HA-ResNet的訓練準確率提升超過了20%;相較于ResNet-18,雖然在訓練準確度上提升幅度不大,但在模型的收斂時間和訓練穩定性上具有較大的優勢;相比于CSCoh+1DCNN,SCL+HA-ResNet在訓練穩定性上更高。

SCL+HA-ResNet與HA-ResNet_2的訓練曲線對比可知:“SCL+CE”損失相較于CE,其在訓練過程中更加的平穩且收斂時間更短,這在一定程度上說明“SCL+CE”損失優于CE損失;將HA-ResNet_1與HA-ResNet_2的訓練曲線對比可知,含有注意力機制模塊的HA-ResNet_2在收斂速度和訓練準確度上都具有一定的優勢。

綜上,由準確率曲線和Loss曲線可知:相比于其他對比算法,SCL+HA-ResNet在收斂迭代次數和訓練準確率上都具有一定的優勢。

為了避免隨機因素的干擾,筆者重復進行10次實驗。

SCL+HA-ResNet和其他對比算法在測試集上的結果如表4所示。

表4 10次實驗故障診斷結果

由表4中可知:SCL+HA-ResNet在測試集上表現最好,其準確率達到了99.3%,并且10次測試實驗準確率標準差最小,可以說明其穩定性較優;而CWT+1DCNN和LeNet5在測試集上表現較差,可能因模型訓練迭代次數不足所導致;其次,通過消融對比實驗可知,含有注意力機制的模型更加優秀,而通過SCL+HA-ResNet與HA-ResNet_2對比可知,“SCL+CE”損失對比CE損失的訓練效果更好。

為了更加清晰地觀察SCL+HA-ResNet故障診斷方法的準確率,筆者使用混淆矩陣表示單向閥各狀態類別的精確度,得到數據特征的t-SNE可視化,如圖13所示。

圖13 SCL+HA-ResNet測試集的混淆矩陣

從圖13可以看出:SCL+HA-ResNet在正常和劃傷故障之間有1個樣本被錯誤分類。此外,采用t-SNE算法可將模型提取的高維特征降維到二維平面,且可以圖像化,直觀體現特征的分布情況。

原始數據和SCL+HA-ResNet輸出特征可視化圖如圖14所示。

圖14 數據特征的t-SNE可視化

從圖14中可看出:SCL+HA-ResNet對單向閥各狀態數據集具有出色的數據特征提取能力;不同故障狀態數據的分類邊界清晰,且同一故障類別數據的內部聚集性較好。

5 結束語

在隔膜泵單向閥實際運行時,伴隨著復雜的環境噪聲干擾,單向閥不同故障會呈現一定的相似性,導致故障診斷存在性能受限的問題。為此,筆者提出了一種基于SCL+HA-ResNet的隔膜泵單向閥故障診斷方法,并利用工程實測的單向閥振動數據,對該方法的有效性進行了驗證,同時將該方法與其他方法進行了對比,說明了該方法的優越性和穩定性。

研究結果表明:

1)HA-ResNet模型能夠有效地提取故障特征,SCL能夠有效地劃分不同故障的分類邊界,從而提升故障診斷的精度,減少模型的學習成本,并且該方法在工程實際測試集上的診斷精度可達到99.3%;

2)筆者將SCL+HA-ResNet模型的融合方法與LeNet5、CWT+1DCNN、ResNet-18、CSCoh+1DCNN、HA-ResNet-1和HA-ResNet-2等方法進行了對比,結果表明,該方法具有更優越的診斷精度和穩定性。

在單向閥的運行工況中,存在輸送介質時變特性引起的隨機干擾現象。因此,在后續的工作中,筆者將針對輸送介質時變特性引起隨機干擾,導致故障診斷困難的問題進行深入的研究。