基于MSCNN-LSTM的注意力機制U型管道缺陷識別模型

朱雪峰, 馮 早, 馬 軍, 范玉剛

(1.昆明理工大學 民航與航空學院,昆明 650500; 2.昆明理工大學 信息工程與自動化學院,昆明 650500)

隨著“智慧城市”、“海綿城市”建設的提出,排水管道系統呈現大型化、復雜化、智能化的發展趨勢,管道排水系統是現代城市不可或缺的基礎設施[1]。為了避免管道與地面大型建筑物如高樓、鐵路、高速公路等產生共振造成物理性損傷,在大型建筑物下方多采用下沉式U型管道設計。U型管道由2段彎頭和3段直管組合而成,采用焊縫的方式將彎頭和直管進行連接。由于U型管道深埋地下,其水平部分的直管比常規管道承受更大壓力,管壁易出現裂縫,直管和彎頭連接處更易發生破損形成泄漏。同時,管道內充滿介質水平部分的直管水流速度慢易形成堵塞,降低管道使用壽命,影響管道安全運行[2]。因此,埋地U型管道的缺陷識別是城市基礎設施維護的重點和難點,對保證管道正常運行的高效性與可靠性具有重要意義。

目前,低頻主動聲波被廣泛應用于流體管道缺陷檢測領域,其優點是成本低、操作簡單、檢測效率高且由于聲波在管道表面和內部均有質點振動,聲場遍及整個管道,對管道內部、表面缺陷以及邊緣位置能夠實現有效檢測[3-4]。然而,U型管道的缺陷呈現多源和多征兆的特點,并且聲波在液體U型管道中傳播,沿傳播路徑的能量分布受管道內外介質類型、傳播速度、管內幾何環境和管道運行條件等多因素影響,因此,導致采集得到的聲學振動信號成分復雜,具有非平穩、非線性和強衰減等特性。管道缺陷識別多采用“信號預處理+特征提取+構造分類器”的技術路線[5-7],常用機器學習算法準確性依賴于特征的有效提取程度,無法提取有效非線性特征以及模型魯棒性不足都將導致識別模型的準確率下降。

近年來,深度學習在人工智能領域實現了重大突破,已廣泛運用于缺陷識別中,其通過堆疊多個非線性隱藏層的方式,實現了特征自提取與狀態分類一體化,避免了對信號處理技術和人工特征選擇的依賴[8-9]。卷積神經網絡(convolutional neural network,CNN)具有獨特的卷積結構、局部感受野、權值共享等特點,對特征有強大的學習能力和較高的泛化能力,因此成為深度學習中應用最廣的網絡架構,在缺陷識別中也應用廣泛[10-12]。孫潔娣等[13]提出一種優化卷積改進稠密塊的輕量化神經網絡用于管道泄漏孔徑識別。溫江濤等[14]采用壓縮感知與深度卷積神經網絡相結合的實現管道泄漏孔徑識別。寧方立等[15]將泄漏信號短時穩定的窄帶線譜圖作為AlexNet網絡的輸入,實現輸氣管道閥門泄漏的識別。周倩倩等[16]利用CNN實現管道6種常見的狀態識別(裂縫、錯口、障礙物、殘墻壩根、樹根和正常類別),建立自動檢測和評估排水管道缺陷的智能系統。李哲等[17]使用短時傅里葉變換計算去噪聲信號的時頻圖,將聲信號識別問題轉化為圖像識別問題,采樣卷積神經網絡對管道泄漏聲學信號識別。聶維等[18]提出一種基于一維CNN和長短期記憶(long short-term memory,LSTM)相結合的管道泄漏識別方法,實現對管道泄漏的檢測與識別。

上述的方法雖然功能強大且多樣化,但仍存在兩個不可忽視的弊端。一方面,將一維時域輸入信號轉換成圖片,轉換時會有更多的細節數據丟失,且模型訓練耗時較長,且管道缺陷的特征從單一尺度中無法充分提取。聲學傳感器采集的管道運行狀態振動信號為時序性數據,基于CNN的缺陷識別模型不能充分挖掘時序性數據的上下文相關性特征。基于LSTM神經網絡在缺陷識別任務中取得顯著成就,但同時忽略了訓練時間長。與此同時,當前模型未考慮不同特征的重要程度,在計算資源有限的條件下,如果網絡對所有特征視為同等重要可能造成資源的浪費,對分類貢獻較大的特征被忽視,將會嚴重影響網絡的分類性能。另一方面,經過神經網絡訓練后的識別模型具有優異的自動特征提取和預測功能,能實現U型管道端到端的缺陷識別。然而,深度神經網絡模型由于其內在的黑盒原理,缺乏工程上的物理解釋性,對其內部工作機制的解釋仍然面臨巨大挑戰,可解釋性問題已成為了研究界和工業界的前沿性熱點研究課題。

因此,提出一種多尺度卷積神經網絡-長短期記憶(multi-scale convolution neural network-long short-term memory,MSCNN-LSTM)和注意力機制的模型(MCLA)用于U型管道缺陷識別。通過MSCNN-LSTM特征提取層不僅能捕獲局部細粒度特征,而且能有效提取時間依賴性的粗粒度上下文特征,實現粗細粒度特征融合,全面刻畫U型管道缺陷的聲學特征。在此基礎之上引入注意力機制,根據不同特征對分類結果影響的大小賦予不同的權重,達到提高分類效果的目的。對于深度神經網絡模型存在“黑箱”的問題,采用Grad-CAM類激活映射并結合管道結構和聲學信號,對其模型機理進行了深入的研究和解釋。

1 理論與方法

1.1 MSCNN-LSTM特征提取層

CNN通過局部連接和共享權值的方式對輸入數據進行卷積、池化運算來提取局部特征。多尺度卷積神經網絡是在卷積運算中采用多種不同尺度的卷積核,實現對振動信號多尺度特征的提取,融合更豐富的局部信息,充分利用信號內部隱含信息[19]。

采用MSCNN神經網絡對時序信號進行卷積操作。卷積的運算過程為

(1)

池化層通過池化核對卷積層的輸出進行降采樣操作,在保留原有主要特征的基礎上實現了降維參,同時使網絡結構不易出現過擬合。池化層采用最大池化層,其數學表達式為

(2)

式中:ah(m,t)為第h層中第m個特征圖的第t個神經元的激活值;g為池化區域的寬度;n為第n個池化核;ph(m,n)為相應池化層的輸出。

將池化層輸出的特征輸入到特征聯合層進行特征融合。為了提高模型的性能和魯棒性,使用批標準化層(batch normalization layer, BN)和使用線性整流激活函數(rectified linear unit, ReLU)作為激活函數,其優點是能夠增強網絡的非線性表示關系,產生較為稀疏的學習參數矩陣,在一定程度上降低網絡的計算復雜度。因此,MSCNN特征提取模塊的輸出由式(3)計算得到

Y=f{g[c(bshort,bmidum,blong)]}

(3)

式中:卷積步長等于d1,d2,d3的卷積核提取到的特征圖,經過最大池化之后提取的特征分別使用bshort,bmidum,blong,表示對應時間序列的短、中、長期特征;c(·)為特征連接操作;g(·)為批量標準化操作;f(·)為使用ReLU激活函數計算的激活值。

利用MSCNN提取局部特征,狀態只能由前向后傳播,信息單向流動,MSCNN只考慮當前輸入,忽略之前的信息。U型管道缺陷的形成通常是一個累積的過程(例如堵塞和泄漏形成),當前時刻缺陷的發生一定程度上取決于前一時刻系統狀態的變化,捕獲時滯信息能提高對缺陷識別的性能。LSTM神經網絡是一類適用于處理時序信號的模型,能夠保留對輸入模式的記憶,解決循環神經網絡(recurrent neural network,RNN)結構存在的梯度消失問題[20]。

信息數據的傳遞如下:由上一時刻的外部狀態Ht-1和當前時刻的輸入xt開始,根據式(4)～式(6)計算3個門狀態,代入式(7)中得到候選狀態。再經過遺忘門ft和輸入門i,更新記憶單元Ct。最后輸出門o結合更新后的記憶單元,代入式(8)得到外部狀態Ht的最終的輸出。

it=σ(Wi·[Ht-1,xt]+bi)

(4)

ft=σ(Wf·[Ht-1,xt]+bf)

(5)

ot=σ(Wo·[Ht-1,xt]+bo)

(6)

ot=σ(Wo·[Ht-1,xt]+bo)

(7)

Ct=ft?Ct-1+it?tanh(Wc·[Ht-1,xt]+bc)

(8)

Ht=ot?tanh(Ct)

(9)

式中:Wi,Wf,Wo,Wc分別為隱藏層到輸入門、遺忘門、輸出門與細胞狀態的權重矩陣;bi,bf,bo,bc分別為輸入門、遺忘門、輸出門與細胞狀態的偏置量;σ(·)為Sigmoid激活函數;tanh(·)為雙曲正切函數;?為兩個同矩陣中對應元素相乘的運算,稱為Hadamard乘積。

1.2 注意力機制特征優化層

當U型管道存在缺陷時,泄漏或堵塞對聲學信號反映在其傳播路徑和聲場分布上的變化呈現不同的特性,使得同種特征對管道不同類型缺陷識別的價值并非完全相同。為了能從大量特征中篩選出更多需要關注的細節信息,忽略無關信息,引入注意力機制衡量特征的重要程度,通過賦予不同特征不同權重值的方式,改變模型對輸入特征的關注度,關注更具有判別力、更關鍵和更重要的特征,提高模型的識別準確率,實現計算資源的高效分配[21]。

當經過LSTM提取的上下文向量為Ht,全局注意力每個時間步對應的權重向量為at(s),其計算公式為

(10)

函數score計算每個特征向量與整個特征向量匹配得分為

(11)

式中,WT為可訓練的權重矩陣。

(12)

ht=tanh(Wc[Ht;ht])

(13)

注意力機制特征優化層主要實現對特征矩陣進行權重參數優化,得到更重要的特征矩陣將其輸入至分類層,分類層包括1個對注意力機制模塊的輸出結果進行展平操作,成為一維序列形式的全連接層和1個實現預測目標類別輸出的Softmax分類層。

1.3 Grad-CAM類激活映射

為了能以視覺的方式呈現深度學習模型學習到的特征,尋找輸入變量、特征編碼及輸出結果之間的相關性,快速獲取對神經網絡內部特征和決策的理解,表征可視化是一種較為直接的理解深度神經網絡的解釋方法。如圖1所示,采用類激活圖來可視化神經網絡重點激活區域與目標類別之間的聯系,通過對特征圖進行通道級加權調整,生成與特定類別最相關的區域類激活圖,與特定類別最相關的區域級特征用高亮的方式突出。采用基于梯度的Grad-CAM的類激活映射(class activation mapping, CAM)[22],使用反向傳播求通道梯度均值作為通道權重,建立輸出與輸入的聯系,生成細粒度的、含有類別區分性熱力圖。

圖1 類激活圖角度的可解釋性Fig.1 Interpretability of the perspective of class activation map

其過程如下:

步驟1定義第k特征圖Ak對應目標類別c的權重為

(14)

式中:求和元素為通道k內部每個神經元值的梯度;z為歸一化因子。

步驟2在求得目標類別對應的特征圖權重后,將權重與對應的特征圖進行加權求和。通過ReLU激活函數獲得通過該神經網絡的輸入樣本的類激活圖,以消除其他類別的影響。即

(15)

由于不同維度的信號經過多層卷積后已經和輸入信號的維度不一致,通過插值的方法使其維度和輸入信號的維度一致,作為熱力圖直接標注在原始信號上,實現以視覺的方式標注輸入與輸出的相關關系。

2 MSCNN-LSTM和注意力機制的U型管道缺陷模型

由于U型管道結構復雜導致缺陷多源和多征兆,難以有效識別缺陷的問題,提出一種基于MSCNN-LSTM和注意力機制的缺陷識別方法。該框架主要包括4個步驟:輸入層、MSCNN-LSTM特征提取層、注意力機制的特征優化層、全連接和Softmax的缺陷識別層。具體描述如圖2所示。

圖2 MCLA識別模型框架結構Fig.2 MCLA recognition model framework structure

輸入層:為了進一步縮短網絡的訓練時間,更快的收斂到最優解,對每段一維的時域信號做線性歸一化處理,結果映射到[0,1],數據集劃分為訓練集和測試集。

MSCNN-LSTM特征提取層:該部分由2個模塊組成,MSCNN模塊和LSTM模塊。其中,MSCNN模塊由3個一維卷積層、最大池化層、BN層組成。采用并行的方式,設置3種大小分別為5×5,3×3,1×1的卷積核,拓寬網絡的寬度,產生多個感受域提取時序信號在不同尺度的特征,形成多尺度特征。利用最大池化層降低數據復雜度,加快網絡的處理速度。將池化層輸出的特征輸入至BN層,提高模型的魯棒性。將并行的多尺度特征融合為一個向量作為LSTM的輸入。LSTM模塊由2層LSTM網絡構成,由于LSTM獨特的網絡結構,通過遺忘門、輸入門、輸出門的選擇過濾操作進一步提取上下文特征。

注意力機制特征優化層:將經過MSCNN和LSTM層輸出的特征矩陣輸入到Softmax函數中,計算不同特征維度的各自權重系數,將得到的權重系數與輸入特征進行對應元素相乘得到新的經過權重分配的特征。特征越重要,其對應的注意力機制模塊輸出值越接近1。通過數值的高低來體現特征的重要程度,完成更關鍵、更具判別性的特征辨別。

全連接和Softmax分類層:該層通過1個全連接層和Softmax多分類器實現管道缺陷識別的結果輸出該模型主要由3個卷積-最大池化-BN對、2個LSTM層、1個注意力機制層和1個全連接層組成。該模型的其他參數如表1所示。

表1 MCLA模型參數Tab.1 The details of MCLA

3 試驗驗證

3.1 聲學信號采集

試驗平臺如圖3所示[23]。U型管道被安裝在一個由厚度12 mm膠合板制成的頂部開口箱中,底部鋪設0.5 m細沙層固定管道。管道水平部分長為4.2 m,高為2.0 m,直徑為0.45 m。在所有的試驗過程中,U型管道周圍均有沙子掩埋,且管道中充滿清水,水位高為1.1 m。

圖3 U型管道試驗平臺Fig.3 Experimental siphon constructed

聲學信號的數據采集平臺如圖4所示,試驗員使用安裝WinMLS軟件的電腦控制聲卡產生頻率范圍為100～6 000 Hz正弦掃描信號,驅動安裝在管道的左側安裝了一個50 mm的K50WP揚聲器,發射到U型管道中。并且,管道的左側安裝了一個水聽器,其目的是檢測發射到管道中聲學信號的有效性。聲學信號在管道中傳播,被安裝在管道右側的3個不等距的25 mm的水聽器組接收,采樣頻率為22 050 Hz。通過數據采集卡采集能夠反映管道相關運行狀態的聲學信號,通過8通道的高通濾波器,用于去除水聽器H1～H3接收的信號中不必要的低頻機械噪聲,將采集的相關聲學信號上傳至計算機中存儲。

圖4 試驗數據采集平臺簡圖Fig.4 Schematic diagram of experimental data acquisition platform

3.2 數據說明

為了模擬真實的試驗,共設計10種管道運行狀態,包括正常運行狀態,連接處破損狀態,不同程度堵塞狀態和不同程度泄漏狀態。其中,管道泄漏的發展是循序漸進,首先出現細小裂紋,管壁上出現單一線性泄漏。當管道承受的壓力增大且泄漏造成管道承載能力下降,單一泄漏發展為多個泄漏,管道內部材料開始出現起皮掉落。隨著外部壓力的持續增大,管道承載能力下載,管道材料出現大面積掉落,形成孔洞泄漏。

因此,如圖5(a)和圖5(b)所示,管壁泄漏試驗設置為在U型管道水平部分的頂部進行了人工切割,形成了4種不同的泄漏缺陷:①50 mm沿軸向泄漏;②100 mm沿軸向泄漏;③200mm沿軸向泄漏+150 mm橫向泄漏;④200 mm沿軸向泄漏+孔洞泄漏120 mm×70 mm。管道堵塞物質的累積是一個漸進的過程,如圖5(c)所示,為模擬管道堵塞狀態制備了10個5 kg的吸聲透明袋,并用細沙填充。1個沙袋的最大橫截面尺寸約為管道橫截面的20%,10個沙袋依次綁在一根9 m長的繩子上,中間相隔300 mm,模擬沿軸向產生的不同程度的堵塞。試驗設定1～3個沙袋為輕度堵塞狀態,4～6個沙袋為中度堵塞狀態,7～10個沙袋為重度堵塞狀態。U型管道由2段彎頭和3段直管組合而成,彎頭和直管的部分采用焊縫進行連接。由于管道周圍土壤應地形地質影響容易出現疏松或濕陷等缺陷,造成直管和彎頭部分的接口處應力增加,導致排水阻力加大增加泄漏風險。因此,如圖5(d)所示,管道焊接處破損試驗設置為:管道焊接處人工切割出現裂縫。

圖5 U型管道4種典型缺陷Fig.5 Four typical defects of siphon

試驗在U型管道充滿水的運行狀態下對每種典型狀態的聲學信號進行采集,包含正常運行、管道焊縫處破損、堵塞和泄漏等10種類別,如表2所示。每種典型狀態樣本數量為200組,每組22 050個數據點,截取樣本長度為2 205點,采樣頻率為22 050 Hz,對應聲波在管內傳播時間為0.1s,按8∶2的比例將樣本集劃分為訓練集和測試集。

表2 U型管道典型缺陷運行狀態Tab.2 Typical defects in siphon

4 結果與分析

4.1 聲壓信號

分別選取管道4類運行狀態的一組樣本繪制聲壓圖,即正常運行狀態、彎管焊接處出現裂縫、管內包含1個堵塞物和管壁有50 mm軸向泄漏,其聲壓圖如6所示。

由圖6(a)可知,U型管道正常運行的聲壓振幅明顯低于其他3類運行狀態,且波形相對簡單。由圖6(b)可知,U型管道焊縫處破損的振動信號表現出近似周期性的特點并伴隨衰減。由圖6(c)和圖6(d)可知,管道堵塞和管道泄漏的振動信號存在明顯的非線性,衰減特性,但聲壓波形在時域內未體現明顯差異,無法區分管道是否出現堵塞或泄露的缺陷。因此,需要對聲壓信號進行進一步的分析與處理。

圖6 U型管道時域波形圖Fig.6 Time domain waveform of siphon

4.2 識別準確率

在訓練過程中,設置迭代次數為200,批次大小為32,將學習速率為0.001的RMSProp優化器用于更新網絡參數。為驗證提出的MCLA模型的識別效果,在同等試驗環境下與以下基準模型進行8組對比試驗:模型9(MSCNN-LSTM-Attention)是提出的方法。對比方法包括:模型1～模型8,模型2、模型5和模型6是消融試驗。模型1～模型8分別是CNN、MSCNN、MSCNN+GRU、MSCNN+RNN、MSCNN+LSTM、MSCNN+Attention、MSCNN+GRU+Attention、MSCNN+RNN+Attention。由于單獨用LSTM識別時間較長。因此,消融試驗沒有設計單獨使用LSTM。對每個模型的訓練過程進行探究,得出9種對比模型的識別準確率圖和損失函數圖,如圖7所示。

圖7 不同模型的識別準確率和損失值變化曲線Fig.7 Variation curve of accuracy and loss for different models

由圖7可知,隨著迭代次數增加,每個模型的準確率逐漸上升,損失率平滑下降。相比較而言,提出的模型9不僅收斂速度更快,且曲線整體相對平緩,訓練過程穩定且準確率高,且在后續的訓練過程中一直處于領先優勢。而MSCNN模型、MSCNN-Attention模型和MSCNN-LSTM曲線波動較大,在第80個Epoch才開始收斂。每種模型均進行10次試驗,10次試驗的平均準確率和模型運行時間如表3所示。

表3 不同模型的識別準確率和運行時間Tab.3 Accuracy and running time of different models

由表3可知,模型9的表現最優,識別準確率高達98.44%,訓練時間為266.92 s。其中,模型1和模型2是為了驗證MSCNN提取局部特征的能力,對比模型1和模型2可知,模型2的識別準確率高于模型1的識別準確率,訓練時間最短,說明MSCNN采用并行的多尺度卷積模塊,產生多個感受域,不僅能更加有效提取信號的局部特征,還可以充分地利用計算機性能進行加速運算。為了驗證LSTM更能有效捕獲時延信息,提取上下文特征,設置了RNN和GRU兩種算法的對比,模型3、模型4、模型5是一組對比試驗。模型5的識別準確率均高于模型3、模型4。試驗結果表明:LSTM通過獨有的門控機制有效緩解梯度爆炸或消失的問題,能有效地挖掘隱藏在不同位置的時序信號中上下文特征。為了驗證注意力機制模塊的有效性,設置了模型6、模型7、模型8的對比試驗。分別對比模型2和模型6、模型3和模型7以及模型4和模型8可知,在模型2、模型3、和模型4的基礎上增加注意力機制,模型的識別準確率均提高,說明注意力機制能有效優化特征。

消融試驗為模型2、模型5、模型6,模型2只使用MSCNN提取局部特征,既不使用LSTM也不使用注意力機制時,10次試驗的平均準確度僅為87.55%。模型6是MSCNN+Attention的組合,在提取特征時只考慮了局部的關鍵信息,未考慮上下文信息,但是考慮了重要特征的貢獻,識別準確率提高至92.22%。模型5是MSCNN+LSTM組合提取特征,準確率提高到94.22%。這是因為MSCNN能有效提取局部關鍵信息,LSTM能有效提取上下文信息,但進行分類時認為每個特征對最終的缺陷識別結果影響相同,沒有將注意力集中在更重要的缺陷特征上。而模型9在模型5的基礎上引入了注意力機制,通過計算注意力分值賦予每個缺陷特征不同權重,有效識別對分類結果影響較大的缺陷特征。并且,未加入注意力機制,訓練時間為254.11 s,僅僅只減少12.81 s,相對于精度提高而訓練時間的增加是可以接受的。

綜上所示,模型9首先經過前端MSCNN層,實現對管道缺陷重要細粒度局部特征的有效提取,再輸入至LSTM層中完成隱藏在時序規律的粗粒度序列特征挖掘,賦予每個缺陷特征不同權重,關注于具有判別力的特征,濾除冗余特征,提高模型的缺陷識別準確率,實現計算資源的高效分配。

4.3 TSNE降維特征可視化

通過t-分布鄰域嵌入(t-distributed stochastic neighbor embedding, t-SNE)算法對模型在測試集上的預測進行降維和可視化,使輸出的多維預測數據展現在二維空間上,其可視化圖如圖8所示。

圖8 U型管道10類樣本的t-SNE降維可視化圖Fig.8 Visualization results of siphon ten types of samples by t-SNE

如圖8(a)～圖8(c)是不同卷積核的卷積層提取局部特征輸出可視化,經過模型中MSCNN卷積層訓練,特征已經初步具有了一定的分布規律,且具有互補性。管道正常運行,焊縫處連接破損和泄漏的特征基本已經分離,不同類型的缺陷已明顯可分。但是,不同程度的堵塞卻難以分離,如圖8中虛線圈所示,正常狀態和輕度堵塞狀態的特征比較相似。如圖8(d)～圖8(f)經過LSTM層之后的特征輸出,不同程度地堵塞特征能實現基本分類。這是因為U型管道堵塞狀態的變化是一個漸進的過程,LSTM層能充分挖掘時序性數據的上下文相關性,對時序性特征進行充分提取。如圖8(g)所示,經過注意力機制輸出層特征進一步分離,并呈一定的流形分布。綜上,構建的MCLA模型能夠從原始一維振動聲學信號中提取出重要缺陷特征信息,并實現U型管道缺陷的準確識別。

4.4 可解釋性探討

為探討MCLA模型在管道缺陷識別領域中對于一維振動信號的可解釋性,采用Grad-CAM類激活映射對其內部機理進行了深入的研究,并結合管道結構進行解釋。分別從網絡結構和樣本角度展開分析,其中從網絡角度即利用Grad-CAM標出MSCNN、LSTM和Attention分別作用于振動信號的哪些部分讓作出當前的判斷。以熱力圖的形式對原始信號經過MSCNN,LSTM和Attention后的激活情況進行標注,形成類激活圖,描述該神經網絡對于原始輸入樣本不同位置處的取值的激活程度。通過插值的方法將激活圖尺寸變換到原輸入圖像的尺寸大小,熱力圖的值對應著神經網絡不同層對此位置的激活程度,熱力圖直接標注在原始信號上,實現以視覺的方式標注輸入與輸出的相關關系。可視化結果如圖9所示,選取U型管道中有10個堵塞的樣本為例,其中圖中黑色曲線代表管道運行狀態的時域信號,豎向的陰影部分代表神經網絡不同層對此位置的激活程度。

圖9 CAM不同層的可視化Fig.9 Visualization of different layers of CAM

由圖9(a)可知,MSCNN主要關注每個波峰和波谷的信號,且都較為分散,說明MSCNN通過設置不同大小的卷積核能有效地提取局部關鍵信息。然而,這些主要特征之間缺乏關聯使得僅基于MSCNN無法獲得對模型決策的有效解釋。由圖9(b)可知,LSTM從數據不同位置學習樣本隱藏特征,提取上下文語義信息。由圖9(c)可知,注意力機制通過設置不同的權重可以將注意力放到對最終結果影響較大的缺陷。綜上,提出的MCLA模型充分利用了MSCNN和LSTM提取特征的優點,采用LSTM從MSCNN提取出的顯著細粒度特征中,提取粗粒度特征,精細化處理各個維度特征的同時,避免由于步長過長導致的記憶丟失和梯度彌散問題。在此基礎之上引入注意力機制,根據不同特征對分類結果影響的大小賦予不同的權重,特征在分類任務中起到不同的作用,達到提高分類效果的目的。這種體系結構能夠捕獲提取有效特征的時間依賴性,實現粗細粒度特征融合,全面刻畫U型管道缺陷的特征。

從管道運行狀態的信號樣本分析,選擇測試集中不同缺陷類型的U型管道聲學信號,通過Grad-CAM方法達到的缺陷可視化效果,圖10的結果展示了所提模型在識別U型管道不同類缺陷的聲學信號時重點關注的位置信息。其中,類激活圖采用COLORMAP_JET作為顏色映射,高激活區域顏色為深色,顏色越深代表了聲學信號重要的鑒別性特征的位置區域,如圖10所示。

圖10 不同缺陷的可視化圖Fig.10 Visualization of different defects

圖10(a)對應管道正常運行狀態,波形相對簡單,沒有明顯的沖擊峰值,網絡模型的關注區域分散在輸入樣本時域波形的大部分片段上,表明信號序列對于輸出的貢獻程度大部分基本相同,表明MCLA模型從振動數據的整體信號中學習正常運行狀態的特征。如圖10(b)所示,對于管道焊縫處的連接破損,MCLA模型對于輸入樣本激活程度較大的部分集中在信號采樣點數的250～750的強衰減區域間,該部分的信息對于網絡的分類結果具有較高的權重,說明該區域含有管道焊縫處連接破損特征較多的信息。對于該類缺陷識別,模型重點關注信號的強衰減區域。如圖10(c)所示,MCLA模型的激活程度主要集中在采樣點數為1 250～2 000,說明在信號沖擊峰值區域,則是管道泄漏狀態的重點關注區域。對于管道堵塞,圖10(d)顯示由于波形中后期的沖擊成分分布更為復雜,更難診斷,各個范圍的激活程度差異較大,難以直觀地解釋。但在采樣點數為1 000～1 200具有較大的激活程度,認為該位置含有沖擊成分的可能性較大。綜上,MCLA模型在U型管道缺陷識別領域中對于樣本的分類識別與人類的認知規律之間存在基本相似性,MCLA模型在缺陷識別應用的工程合理性提供了參考和借鑒意義。

5 結 論

針對U型管道結構復雜導致缺陷多源多征兆難以有效識別的問題,提出一種基于MSCNN-LSTM的注意力機制U型管道缺陷識別方法。利用U型管道4類運行狀態的不同缺陷程度進行多方面驗證與測試,試驗結果表明:

(1)該模型直接輸入原始振動聲學信號,實現U型管道“端到端”的缺陷識別,在保證識別精度的同時節省大量特征提取成本。MSCNN能有效提取聲學信號的重要細粒度局部特征,挖掘數據相互關聯的多維信息并從中剔除噪聲和不穩定成分,將提取的多尺度局部特征輸入至LSTM網絡中,LSTM能有效提取信號中粗粒度的上下文特征,實現細粒度局部特征和粗粒度上下文特征的融合,全面刻畫U型管道缺陷的聲學特征。

(2)通過引入注意力機制,賦予提取特征不同的權重,濾除冗余特征,提高模型識別缺陷的能力,使模型更關注于最具類別區分度的特征。

(3)通過t-SNE和Grad-CAM類激活可視化方法分析了該模型的特征學習過程和缺陷分類機理,進一步解釋內部特征的學習過程,研究決策與特征之間的關聯關系,中間層的知識與輸出預測之間關系,解釋輸入-輸出的關系。

目前,所提模型能有效識別U型管道的堵塞、泄漏及焊縫破損等缺陷。然而,該模型僅采用單一模態的聲信號特征進行識別,所提模型的網絡結構與參數均依人工選取或網格搜索技術的方式來確定。隨著自動機器學習技術的興起,提供了一個可行的解決方案和思路。下一步將關注并深入研究基于自動機器學習的智能缺陷網絡結構與參數選取方法。