一維卷積長短期記憶神經(jīng)網(wǎng)絡的管道泄漏檢測方法

聶 維，江 竹，劉伯相，林 豪，冉義建

（西華大學能源與動力工程學院，成都 630019）

0 引 言

輸水管道是現(xiàn)代化建設的基礎設施之一，管道服役過程中遭受多種內外因素影響會引發(fā)的泄漏、損壞等故障，造成難以挽回的經(jīng)濟損失和安全事故，甚至會帶來環(huán)境污染等問題。毋庸置疑的是輸水管道泄漏檢測技術在工程應用中彰顯著重要意義［1］。目前常用的泄漏檢測方法主要分為管外和管內兩種檢測法，管外檢測法主要依靠人工巡檢，存在檢測效果差且人物力浪費較大等問題；而管內檢測法主要分析管內壓力、流量和溫度等數(shù)據(jù)，反饋結果的準確性較之增加。其中，以管內壓力數(shù)據(jù)為驅動的檢測方法有著可靠性強、檢測距離遠、便于工程實施等諸多優(yōu)點而被得到廣泛應用［2］，該類方法主要依靠傳感器采集信號，應用支持向量機［3］、BP神經(jīng)網(wǎng)絡［4］等人工智能方法提取和篩分信號的演變特征［5］，實現(xiàn)泄漏檢測的目的。但這類傳統(tǒng)的智能識別方法［6-8］，多是基于淺層網(wǎng)絡的學習，尚不具備學習復雜非線性關系的能力，以至于泄漏檢測的精度分析亟待提升。

近年來，可挖掘數(shù)據(jù)深層特征的深度學習算法已成功應用于許多領域中，尤其是卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）和循環(huán)神經(jīng)網(wǎng)絡（Recurrent neural network，RNN）都已取得了令人矚目的成績［9，10］。CNN 具有超強的空間特征提取能力，在管道泄漏檢測中的應用也逐漸成熟。分析發(fā)現(xiàn)，CNN 實現(xiàn)泄漏檢測一般分兩種，其一是直接利用一維卷積神經(jīng)網(wǎng)絡（1-Dimensional Convolutional Neural Networks）學習數(shù)據(jù)中的泄漏信息，Cai 等［11］便是通過一維CNN 學習方法實現(xiàn)了管道的泄漏檢測。此外，變換方式將原始信號轉化為二維矩陣，CNN 再從中抓取泄漏特征實現(xiàn)學習計算。寧方立等［12］利用二維時頻圖作為輸入的CNN 對泄漏特征進行學習。Hu 等［13］通過轉換CNN 模型中數(shù)據(jù)協(xié)方差矩陣的最大特征向量，準確提取了泄漏特征參數(shù)進而判斷管道狀態(tài)。Zhou 等［14］提出了一種基于卷積神經(jīng)網(wǎng)絡的泄漏檢測圖像識別方法，能較好地解決不同泄漏孔徑或位置特征高度相似的問題。但這些方法在對信號進行特征提取的過程中僅僅考慮了數(shù)據(jù)的局部空間分布特性，而忽略了數(shù)據(jù)在時序上的演化特性，反映了數(shù)據(jù)一維分布處理分析的局限性。

管道壓力信號作為一維時間序列，其泄漏特征除表現(xiàn)在局部空間，在時間維度上亦有所體現(xiàn)。因此，僅靠CNN 難以全面捕捉泄漏信號的時變趨勢。值得一提的是長短期記憶網(wǎng)絡（Long Short-Term Memory，LSTM）作為一種改良的循環(huán)神經(jīng)網(wǎng)絡，在時域方面展現(xiàn)出的強學習能力，彌補了CNN 單獨使用時泄漏檢測的不足［15］。因此，為了進一步提升管道泄漏檢測分析反饋精度，本文將卷積神經(jīng)網(wǎng)絡和長短期記憶網(wǎng)絡相結合，建立一維卷積長短期記憶神經(jīng)網(wǎng)絡（1D-CNN-LSTM）。基于這一網(wǎng)絡模型的方法，將去噪后的管道壓力信號作為輸入，先后利用CNN 和LSTM 提取其局部空間上和時間維度上的演變特征，找到管道壓力信號與管道狀態(tài)之間的對應關系，實現(xiàn)管道泄漏的準確檢測。

1 基礎理論

1.1 一維卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡（CNN）是一種深度前饋神經(jīng)網(wǎng)絡，其典型結構由輸入層、卷積層、池化層與全連接層構成。一維卷積神經(jīng)網(wǎng)絡是指在一維數(shù)據(jù)上進行卷積和池化等操作，其結構如圖1所示。CNN 實際上是通過建立多個濾波器來提取數(shù)據(jù)的局部特征，多網(wǎng)絡層數(shù)可提取到更深層次的數(shù)據(jù)特征，最后得到具有平移旋轉不變性的魯棒特征［16］。泄漏發(fā)生時，管道內壓力下降，表現(xiàn)出明顯的局部空間特性［17］，利用CNN 可實現(xiàn)有效提取其局部特征，完成數(shù)據(jù)的收斂分析。

圖1 一維卷積神經(jīng)網(wǎng)絡結構Fig.1 1-Dimensional convolutional neural network structures

CNN 在提取特征過程中，卷積層和池化層交叉排列形成卷積組，逐步提取信號特征。在卷積層中，前一層的輸出由卷積核進行卷積操作，利用激活函數(shù)輸出特征矢量。一維卷積的數(shù)學模型可描述為：

式中：*表示卷積操作；Qi-1和Qi分別表示卷積前后的特征量；bi和Wi表示的是第i層卷積核的偏置向量和權重矩陣；δ表示激活函數(shù)。

卷積操作是為了建立層與層之間的映射關系。池化層對卷積后的數(shù)據(jù)進行降維操作，可以進一步提取不同范圍的特征以及減小計算量。其計算過程表示為：

式中：ys-1和ys分別表示第s層池化的輸入和輸出；pool()表示池化函數(shù)。最大池化和平均池化是常用的池化方式。

1.2 長短期記憶網(wǎng)絡

LSTM 是一類改進的循環(huán)神經(jīng)網(wǎng)絡［18］，其結構包括輸入層、隱藏層和輸出層，由于隱藏層的各神經(jīng)單元中加入了記憶單元，可以控制時間序列上的信息被遺忘或輸出，解決了RNN 中梯度爆炸和梯度消失的問題，在處理長序列數(shù)據(jù)時遠比RNN表現(xiàn)得優(yōu)異。本研究所用數(shù)據(jù)為管道內的時域壓力信號，其時間序列上的特征信息能夠有效地被LSTM 提取。t時刻LSTM 網(wǎng)絡的單元結構如圖2所示。

圖2 LSTM 網(wǎng)絡結構Fig.2 LSTM network structure

在LSTM 單元中有3 種不同的門控，其中，輸入門控制當前輸入數(shù)據(jù)流入記憶單元的方式，遺忘門篩分歷史信息并決定部分信息將會被丟棄，輸出門控制記憶單元對當前輸出值的影響，門控的耦合作用實現(xiàn)了LSTM 對信息的儲存和更新。首先，遺忘門根據(jù)上一時刻的隱藏狀態(tài)ht-1和新輸入數(shù)據(jù)xt來判斷是否保留先前單元狀態(tài)信息：

然后，輸入門從ht-1和xt計算獲得的信息及本單元所需保存的狀態(tài)：

接下來更新單元狀態(tài)，更新后單元狀態(tài)由保留的先前單元狀態(tài)加上本單元狀態(tài)信息所得：

最后，由輸出門和單元狀態(tài)計算輸出：

式中：it、ft、ot分別表示LSTM 中第t個單元的輸入門、遺忘門和輸出門；⊙代表逐個元素相乘；xt為t 時刻的輸入；ht為t 時刻單元的輸出；C′t、Ct分別表示隱藏狀態(tài)和更新后的單元狀態(tài)；Wf、Wo、Wi、bf、bo、bi為對應門控的權重矩陣與偏置向量；σ、tanh表示兩種激活函數(shù)。

在管道泄漏檢測中，需建立多對一形式的LSTM 模型，即輸入到LSTM 網(wǎng)絡的為序列數(shù)據(jù)，最后一個輸出ht作為管道泄漏檢測的結果。

1.3 基于1D-CNN-LSTM 的管道泄漏識別模型

針對管道泄漏的壓力數(shù)據(jù)同時擁有局部特征和時間序列特征，本文提出1D-CNN-LSTM 神經(jīng)網(wǎng)絡模型來檢測管道泄漏，其網(wǎng)絡結構如圖3 所示。該模型由一維CNN 和LSTM 組合而成，泄漏壓力信號深層空間特征和時間維度的特征信息能被其有效提取。首先，CNN 從壓力信號數(shù)據(jù)中自適應提取泄漏局部特征后，考慮到管道壓力信號在時間維度上的相關性，用LSTM繼續(xù)對CNN 提取到的特征量進行二次特征提取，獲取特征的時序信息。隨后通過全連接層將特征量維度降至與分類數(shù)相同，再使用Softmax分類器完成特征分類，以檢測管道是否泄漏。

圖3 1D-CNN-LSTM 網(wǎng)絡結構Fig.3 1D-CNN-LSTM network structure

理論上，提取到的數(shù)據(jù)特征與網(wǎng)絡層數(shù)呈正比關系，即網(wǎng)絡層數(shù)越多，網(wǎng)絡深度越高，能夠提取到更多的特征；但復雜度也會隨之增加，訓練困難度上升，并伴隨著網(wǎng)絡過擬合的風險，因此選擇合適的網(wǎng)絡層數(shù)是提高網(wǎng)絡性能的關鍵。為得到該模型的最優(yōu)結構和參數(shù)，需要不斷地訓練網(wǎng)絡，具體流程如圖4所示。將采集到的數(shù)據(jù)打亂分為訓練集和測試集，訓練集用來訓練網(wǎng)絡得到網(wǎng)絡的各項內置參數(shù)，在訓練期間的每次迭代過程中前向計算出損失函數(shù)，再根據(jù)誤差反向傳播算法更新參數(shù)，經(jīng)過多次迭代之后得到訓練完畢的網(wǎng)絡，而后將測試集代入該網(wǎng)絡中測試網(wǎng)絡的分類效果，若網(wǎng)絡的損失或分類準確率不滿足要求，說明網(wǎng)絡的結構或參數(shù)設置不合理，則需修改模型再次進行訓練，直到損失和準確率滿足要求。其中分類準確率為分類正確的樣本數(shù)與總樣本數(shù)之比。網(wǎng)絡損失為交叉熵損失函數(shù)，其數(shù)學定義如下：

圖4 本文方法處理流程Fig.4 Process of the method in this paper

式中：y′表示目標概率分布；y表示輸出概率分布。

2 實驗驗證

2.1 數(shù)據(jù)獲取與處理

2.1.1 數(shù)據(jù)采集

為了驗證所提基于1D-CNN-LSTM 神經(jīng)網(wǎng)絡方法對管道泄露檢測的有效性和可行性，選取真實管道就傳統(tǒng)方法進行對比分析試驗。實驗管道的分布結構如圖5 所示，其中水源由城市消防栓開閥供給，消防栓出口設有壓力計，顯示壓力穩(wěn)定在約1.6 bar。實驗管道與消防栓用長5 m 的消防帶相連。實驗管道總長18 m，內徑80 mm，壁厚4 mm，末端封閉，管身材質為Q235B 鋼。管道安裝有四個水龍頭，用以模擬不同位置的漏點，控制水龍頭的開度模擬不同大小的泄漏，設定了a、b、c、d、e五種開度，分別對應的漏點面積是0.5、2、3、5、8 mm2。

圖5 實驗管道示意圖Fig.5 Diagram of experimental piping

采集泄漏信號時，快速打開某一模擬漏點，獲取在泄漏產(chǎn)生前后時間段的管道壓力數(shù)據(jù)；各模擬漏點對每一種開度模擬五次泄漏處理，采樣頻率為500 Hz，共采集100 組泄漏數(shù)據(jù)，每組泄漏信號的采集間隔為3 min；正常工況下的數(shù)據(jù)采集采用連續(xù)不間斷采集方法，采集完成后再依次分割成100組數(shù)據(jù)，以漏點1 為例，采集到的不同模擬漏點開度情況下及無泄漏情況下的壓力信號分布如圖6 所示。由圖可知，無泄漏時的管道壓力在一定范圍內小幅波動，但總體平穩(wěn)，呈現(xiàn)穩(wěn)定的服役信息反饋；當發(fā)生泄漏時，壓力值開始下降，經(jīng)歷較短壓力下降時間之后趨于動態(tài)平穩(wěn)演變；顯而易見的是漏點面積越大，相應的壓力下降幅度也越大。

圖6 管道不同狀況下的采集信號Fig.6 Signals collected under different conditions of the pipeline

2.1.2 數(shù)據(jù)集擴充

采集到的原始管道壓力信號是一維時間序列信號，泄漏特征出現(xiàn)在其某一段時間內。實現(xiàn)深度學習算法對管道泄漏檢測需要大量的訓練樣本，且泄漏特征所在位置具有多樣性。因此，本文采用平移的方式截取信號，其示意圖如圖7所示。在一組原始信號中截取多個樣本，且各樣本泄漏出現(xiàn)時刻各不相同，實現(xiàn)對訓練數(shù)據(jù)的擴容以及涵蓋了樣本多樣性。

圖7 樣本擴充示意圖Fig.7 Schematic representation of the expanded sample

由于樣本長度過短會導致無法從中提取充分地泄漏信息，同時樣本長度過長又會加大計算量和計算時間，綜合考慮下，本文選擇的樣本截取長度為30 000 個點，并在每一組已采集的原始信號上共平移截取10次，平移長度為1 500個點，數(shù)據(jù)集的樣本容量能夠擴充至2 000組信號，平移截取的部分樣本如圖8所示。同一原始信號上截取到的不同樣本在時序上發(fā)生了變化，泄漏特征出現(xiàn)的對應時間各不相同。

圖8 平移截取部分樣本Fig.8 Samples intercepted in panning

2.1.3 去噪處理

由于外部環(huán)境的干擾因素存在，原始壓力信號中存有大量的噪聲，這些噪聲很可能會掩蓋信號中的泄漏特征。變分模態(tài)分解［19］（Variational Mode Decomposition，VMD）是一種性能優(yōu)良的去噪算法，能將原始信號分解為一系列本征模態(tài)函數(shù)（Instrinsic Mode Function，IMF），并不斷迭代更新每個分量的中心頻率和頻段帶寬，分離原始信號的自適應頻率成分，提取包含管道內壓力特征的頻率分量。VMD 可以有效地克服模態(tài)混疊問題，有著很好的魯棒性，因此本文采用該方法對信號進行降噪處理，將采集到的原始信號分解為5 個IMF 分量，剔除掉4個包含較多噪聲的高頻IMF 分量，實現(xiàn)對信號的去噪，其效果如圖9 所示，去噪后的信號演變曲線密集的峰刺特征消失并逐漸變得平滑。去噪后的數(shù)據(jù)將被作為1D-CNN-LSTM 網(wǎng)絡的輸入。

圖9 去噪效果圖Fig.9 Demonstration of denoising effect

2.2 模型參數(shù)與檢測結果分析

在本文網(wǎng)絡的訓練過程中，初始學習率設置為0.001，且每經(jīng)過三輪訓練后學習率減半，該操作能使模型在前期訓練較快，且后期波動性被明顯抑制，從而更加容易接近最優(yōu)解；采用了shuffle batch 方法打亂樣本，增加隨機性，可以提高網(wǎng)絡泛化能力，避免過擬合；訓練執(zhí)行環(huán)境為CPU，Batch-size 為200；經(jīng)過多次訓練，最終得到最優(yōu)網(wǎng)絡的各項主要參數(shù)如表1所示。

表1 神經(jīng)網(wǎng)絡參數(shù)Tab.1 Neural network parameters

該最優(yōu)網(wǎng)絡的訓練過程如圖10 所示。圖10 中藍色曲線是訓練準確率的變化過程，紅色曲線是網(wǎng)絡損失值的變化過程。由圖10 所知，隨著訓練的推進，訓練集準確率在大體上不斷上升，反之網(wǎng)絡損失值也在不斷下降伴隨著小幅演變振蕩。當?shù)螖?shù)達到60 次后，訓練集準確率與損失值的變化都趨于平穩(wěn)。直到迭代124 次后找到了最優(yōu)結果。本次訓練結果中，訓練集準確率為100%，損失值為0.008 6，表明本網(wǎng)絡的訓練結果較好并將之保存。為證明網(wǎng)絡的實際檢測效果，將測試集帶入本網(wǎng)絡，得到測試集準確率為99.75%，說明本網(wǎng)絡結構對管道泄漏有著良好的檢測效果。

圖10 準確率與損失的變化曲線Fig.10 Accuracy and loss variation curves

2.3 對比實驗

在研究過程中發(fā)現(xiàn)，設置不同的網(wǎng)絡層數(shù)，會對訓練耗時和結果造成影響。理論上，網(wǎng)絡層數(shù)越多，能夠學習到更復雜的特征，損失值越小，檢測準確率越高；同時，網(wǎng)絡的復雜度也會相應增加，訓練更加困難，效果不理想。

為驗證本文所選模型對管道泄漏檢測的有效性，同時考慮到通常CNN 網(wǎng)絡的層數(shù)會設置三層及以上，本文設計了四種不同層次的1D-CNN-LSTM 網(wǎng)絡結構以及1D-CNN 和LSTM 網(wǎng)絡，在相同數(shù)據(jù)集的情況下，用其他神經(jīng)網(wǎng)絡和本文所用網(wǎng)絡對比，為了避免偶然因素對網(wǎng)絡的影響，每種網(wǎng)絡的統(tǒng)計數(shù)據(jù)為3 次實驗結果的平均值。各網(wǎng)絡的訓練過程如圖11 所示，結果如表2所示，此外，測試集中各網(wǎng)絡對于不同位置與不同開度的泄漏及無泄漏情況下的具體檢測準確度如表3所示。其他網(wǎng)絡結構如下：

表2 不同網(wǎng)絡結構的訓練結果對比Tab.2 Comparison of training results for different network structures

表3 各網(wǎng)絡對于不同情況的檢測準確度Tab.3 Detection accuracy of each network for different situations

圖11 不同網(wǎng)絡結構的準確率與損失變化曲線Fig.11 Accuracy and loss variation curves for different network structures

（1）1D-CNN-LSTM（3C1L）：與本文結構相比，只保留前三個卷積組，LSTM層數(shù)為1。

（2）1D-CNN-LSTM（4C1L）：本文所用的網(wǎng)絡模型。

（3）1D-CNN-LSTM（5C1L）：在本文所用結構基礎上，再多加一層卷積層和池化層，其卷積核尺寸不變，深度為32，池化層與前層保持一樣。

（4）1D-CNN-LSTM（4C2L）：與本文結構相比，多加了一層LSTM層，隱藏節(jié)點也為64。

（5）1D-CNN：只保留本文結構中的1D-CNN 部分，去掉LSTM 層，卷積層和池化層數(shù)目為4，其他參數(shù)與本文所用參數(shù)相同。

（6）LSTM：與本文所用結構相比，沒有1D-CNN 部分，只使用單層LSTM層，隱藏節(jié)點數(shù)為64。

1～4 號網(wǎng)絡是不同層次結構的1D-CNN-LSTM 網(wǎng)絡，它們的對比實驗探究了網(wǎng)絡層次與訓練結果的關系，其中，1號網(wǎng)絡相比本文網(wǎng)絡少了一層卷積層和池化層，在網(wǎng)絡結構調試時發(fā)現(xiàn)，1 號網(wǎng)絡由于網(wǎng)絡深度較淺，對特征提取的能力不足，損失下降效果不好，有欠擬合的可能，損失值為0.043 0，在4 組網(wǎng)絡中是最高的，相應的測試集準確率為97.50%，在4 組網(wǎng)絡中最低。2 號網(wǎng)絡是本文所用的網(wǎng)絡結構，其網(wǎng)絡擬合度以及泛化效果最優(yōu)。3號網(wǎng)絡在本文所用網(wǎng)絡結構上多加了一層卷積層和池化層，隨著網(wǎng)絡深度的增加，網(wǎng)絡復雜度也相應增加，訓練損失雖比2號網(wǎng)絡稍低，但訓練耗時更長，且測試集準確率不是很理想，泛化效果不佳。4號網(wǎng)絡在本文所用網(wǎng)絡的基礎上，增加了一層LSTM 層，與2 號網(wǎng)絡相比，訓練損失和測試集準確率都在下降，原因是網(wǎng)絡深度的增加導致了過擬合。

將5 號和6 號網(wǎng)絡與本文所用網(wǎng)絡作對比，是為了探究本文所用網(wǎng)絡將CNN 和LSTM 結合所帶來的優(yōu)勢。相比之下，本文所用網(wǎng)絡的訓練準確率和損失都是最優(yōu)的，原因在于1DCNN 和LSTM 網(wǎng)絡分別只對局部空間特征和時序特征的敏感度高，訓練過程中收斂較困難，在較長時間之后準確率和損失都有在一定范圍的波動，收斂效果并不理想，所以訓練結果稍差。而本文所用網(wǎng)絡針對管道泄漏數(shù)據(jù)的局部空間特征和時序特征，建立的1D-CNN-LSTM 神經(jīng)網(wǎng)絡結合了CNN 和LSTM 的優(yōu)點，可以充分提取時域壓力信號中的泄漏特征，使網(wǎng)絡的訓練結果最優(yōu)。

除此之外，在表3 中對比了各網(wǎng)絡在各具體情況下的檢測準確度，結果表明，當相對位置不同時，同一網(wǎng)絡的泄漏檢測準確度無明顯差異；而泄漏大小不同時，對于較大泄漏，各個網(wǎng)絡的檢測準確率都較高，但開度a 與開度b 所對應的小泄漏，各個網(wǎng)絡對其進行檢測的準確率有較大差異，而本文所用網(wǎng)絡對較小泄漏的檢測也有很高的準確率，相較于其他網(wǎng)絡為最優(yōu)。

3 結 論

本研究基于1D-CNN-LSTM 神經(jīng)網(wǎng)絡提出了一種管道泄漏檢測模型，以供水管道內的壓力信號為輸入源，先后用1D-CNN和LSTM 提取輸入信號的泄漏特征數(shù)據(jù)，可以充分學習泄漏信號在局部空間和時間維度上的特征，實現(xiàn)了管道泄漏的精準檢測。

為了驗證本文所提出模型針對泄露檢測的有效性和可靠性。開展真實管道實驗并與傳統(tǒng)方法進行對比分析，結果表明本文所提出方法對泄漏檢測的準確率更高，具有一定的工程應用價值。 □