基于多塊卷積變分信息瓶頸的多變量動態過程故障診斷

何雨旻， 侍洪波

（華東理工大學化工過程先進控制和優化技術教育部重點實驗室，上海 200237）

隨著化工行業的快速發展，化工生產過程的復雜性也隨之增加。然而，如此復雜的工業過程一旦發生故障，可能導致嚴重的財產損失和人員傷亡，因此，高效的故障檢測和診斷（Fault Detection and Diagnosis，FDD）方法對于維護化工過程的安全穩定生產是十分重要的[1-4]。在故障診斷方法中，按照建模原理的不同可以分為基于模型的方法以及基于數據的方法兩大類。基于模型的方法需要對化工過程進行機理建模，但由于現代化工過程的復雜性，很難直接應用基于模型的故障診斷方法。與此同時，由于集散控制系統（Distributed Control System，DCS）技術的廣泛運用，系統可以收集大量的工業數據，這有利于開發基于數據的故障診斷方法。目前，基于數據的故障診斷方法主要根據變量之間的相關性來提取特征。傳統的基于數據的故障診斷算法主要有：主成分分析（Principal Component Analysis，PCA）、費舍爾判別分析（Fisher Discriminant Analysis，FDA）、支持向量機（Support Vector Machine，SVM）等[5-9]，其中，PCA、FDA 通過線性方法提取特征，不適用于實際的化工過程。而SVM 將故障診斷視為分類任務，建立判別函數對故障進行分類，但這類方法需要手動設計特征，導致實用性有限。此外，上述方法均未考慮過程數據間的時序關聯性。因此，為了提高故障診斷方法的性能，應開發一種直接、有效的非線性動態特征提取方法。

深度學習技術能有效地學習復雜、抽象的特征，因此，深度學習在過去幾年中引起了FDD 領域研究者的關注[10-13]。其中，變分自編碼器利用變分推斷能夠提取服從標準高斯分布的潛變量，Zhang 等[14]提出了一種基于變分自編碼器（Variational AutoEncoder，VAE）的非線性故障檢測方法。此外，變分推斷不僅可以利用其構建生成模型，還可以結合信息論來提高模型的特征提取能力[15]。Alemi 等[16]結合變分推斷與信息論提出了變分信息瓶頸（Variational Information Bottleneck, VIB），從而將與任務目標最相關的信息保留在潛層。另外，在故障診斷任務中，卷積神經網絡（Convolutional Neural Network，CNN）被用來提取動態特征，二維卷積神經網絡(Two-Dimensional Convolutional Neural Network，2-D CNN)是最常見的卷積神經網絡類型。一般來說，2-D CNN 首先將數據進行二維分塊，然后與2-D CNN 中的卷積核矩陣進行卷積生成特征。在故障診斷任務中，2-D CNN的輸入矩陣通常由一個時間窗內的采樣點組成，矩陣維度分別代表采樣時間和過程變量。Wu 等[17]采用2-D CNN 提取動態特征的方式進行故障診斷。然而，2-D CNN 同時對輸入矩陣的兩個維度進行拆分，這將導致每個二維分塊內只包含部分變量，這部分變量與初始變量的排序方式有關。變量的不同排序可能導致不同的結果，會引入一定的隨機性。此外，不同于2-D CNN，一維卷積神經網絡（One-Dimensional Convolutional Neural Network，1-D CNN）將輸入數據沿單一維度劃分。Chen 等[18]利用1-D CNN 將輸入數據沿變量維度劃分，以降低變量的維度，用于多變量過程的故障診斷。

受上述研究啟發，本文提出了一種多塊卷積變分信息瓶頸（Multi-Block Convolutional Variational Information Bottleneck, MBCVIB）模型用于故障診斷，該模型利用1-D CNN 沿時間域維度劃分輸入數據，提取相鄰樣本之間的動態特征。1-D CNN 在每次滑動中都會考慮所有變量，因此變量的排序不會引入隨機性。同時，1-D CNN 通過并行計算提取動態特征，降低了計算復雜度并且使得梯度能夠有效傳播。不同的卷積核在1-D CNN 中能夠學習到不同的時序相關特性，使得1-D CNN 能夠更全面地考慮樣本的時序信息。但是由于化工過程中變量數目愈來愈多，1-D CNN 每次考慮所有變量導致模型參數過多，無法有效學習過程的動態特征。因此本文采用變量分塊的方式，將屬于同一操作單元的變量劃分到同一個子塊中，在每個子塊中使用含有多個卷積層的深度1-D CNN 來學習每個操作單元的局部動態特征表示。其次，為了整合網絡學習到的所有局部動態特征，利用特征拼接方法得到全局特征。然后，希望網絡能夠從提取到的全局特征中保留與故障類別信息最相關的特征，利用信息瓶頸思想從全局特征中進一步提取與故障最相關的特征表示。最后，基于連續攪拌釜反應器（Continuous Stirred Tank Reactor, CSTR）和田納西-伊士曼過程（Tennessee Eastman Process, TEP）驗證了該模型的有效性。

1 基礎算法

1.1 1-D CNN

1-D CNN 由卷積層、池化層、全連接層和輸出層4 個單元組成。圖1 示出了一個輸入為多變量時滯數據的1-D CNN 架構，圖中T表示輸入數據的時間窗長度，V是每一個采樣點的變量個數。卷積核f在時域對應的維度上滑動，提取動態特征，它提取每一個卷積層的高層次的抽象特征表示。特征RCl×1可以表示為

圖1 1-D CNN 網絡結構圖Fig. 1 Network structure of ordinary 1-D CNN

其中：i∈(1,Nn) ，并且j≤Cn?2 。將所有矩形特征張成向量后，得到一個代表輸入數據的潛變量。之后應用全連接神經網絡從特征中提取目標相關信息，并使用反向傳播訓練方法來更新該網絡的參數。

1.2 互信息

互信息（Mutual Information，MI）利用熵來描述變量之間的非線性相關性。MI 的值可以反映變量之間的相關性強弱，MI 值越大，說明相關性越強。兩個變量Xi、Xj之間的MI 值可以定義為[19]

其中：H(Xi) 表示Xi的熵；H(Xi|Xj) 表示給定Xj的條件下，Xi和Xj的條件信息熵。

2 MBCVIB 模型

為了使卷積核能夠在相鄰時間步上滑動卷積來提取動態特征，1-D CNN 進行卷積時需要考慮所有變量。但對于多變量過程故障診斷，由于變量數量多，并且變量之間的相關性不同，使得網絡可能難以提取有效的動態特征，因此，本文提出以局部提取、全局整合的方式提取過程的動態特征。此外，為了提取與故障更相關的特征表示，減少特征中存在的冗余信息，利用VIB 進一步提取表征故障信息的特征。

2.1 基于過程機理的變量分塊方法

大型工業過程普遍由多個操作單元構成，其中各操作單元都具有其獨特的功能和對應的變量，并且操作單元間存在相互聯系。因此，根據工藝流程的機理結構，本文提出對各操作單元對應的變量建立1-D CNN 模型，在屬于同一操作單元的相關關系強的變量中提取局部動態特征，然后，整合模型提取的局部特征得到反映整個流程運行情況的全局特征。

假設Xt表示在t時刻的時滯輸入數據，包括t時刻以及前T?1 個時刻的數據，T是Xt的時間窗口大小，每個時刻數據有V個變量，Xt可以表示為

若一個流程包括p個操作單元，并且每個操作單元中的變量形成一個獨立的子塊，得到p個子塊，那么輸入數據可以根據式（7）和式（8）來構建：

其中：Xb∈RVb×T為一個子塊，b∈(1,p) ；Vb為第b個子塊中的變量數；Xblock∈RV×T為分塊后的輸入數據。

2.2 并行多塊1-D CNN 建模策略

整個并行建模的網絡結構如圖2 所示。在按照過程機理將變量分塊之后，對每個子塊（即每個操作單元中包含的變量）建立1-D CNN 模型以提取每個操作單元的的局部動態特征，然后利用特征拼接法整合局部動態特征，得到全局動態特征，且使得網絡能夠并行訓練。

圖2 并行多塊1-D CNNFig. 2 Parallel multiblock 1-D CNN

本文采用的1-D CNN 不同于1.1 節的傳統1-D CNN，模型中未對最后一層卷積層進行池化操作。因為池化對網絡所提取的特征進行下采樣，這可能會導致部分與故障診斷有關的特征丟失。因此，每個1-D CNN 模型的最后一層卷積層的輸出即為局部動態特征。為了整合所有的局部動態特征以獲得全局動態特征，采用特征拼接方法對所有子塊的局部動態特征進行串接，得到能表征整個輸入過程數據的全局特征表示，并且所有1-D CNN 模型都可以通過這種特征整合方式進行并行訓練。該特征拼接法可表示為

其中：xb∈RT×Vb；ob∈R(T?L·(K?1))×N；z∈R1×B·(T?L·(K?1))·N)，表示所得到的全局特征表示；Fb表示子塊b中的1-D CNN 網絡；B表示子塊數；L表示網絡層數；N表示卷積核個數；K表示卷積核尺寸；Flatten 表示將矩陣形式的特征展開為向量形式。通過這種方式，可以把從所有子塊中提取的局部特征矩陣整合成一個全局特征向量。

2.3 變分信息瓶頸模型

在特征提取階段，通過整合所有局部特征得到了全局特征，這可能帶來與故障診斷任務無關的冗余信息，因此，希望利用信息瓶頸思想過濾這部分信息，從而提取最精煉的特征表示。信息瓶頸理論[20]定義了一個最優的特征表示，即網絡所學習到的特征應該與輸入X之間的互信息最小，同時與理想輸出Y的互信息最大。因此，信息瓶頸中的學習目標可以寫為極大化式（11）：

其中：Z表示網絡所學習到的輸入數據的特征表示；I(Z,X;θ) 表示Z和X之間的互信息；I(Z,Y;θ) 表示Z 和Y之間的互信息； β 表示權重； θ 表示網絡參數。在故障診斷任務中，理想輸出Y是故障類別信息。我們希望利用實現了特征瓶頸思想的深度學習方法（VIB）來保留與輸入數據X對應的全局特征Z中和故障類別信息Y最相關的部分，同時過濾噪聲，故引入瓶頸信息表征Z′，構建Z-Z′-Y的信息瓶頸，使得模型能夠在瓶頸信息表征Z′中保留與故障信息Y最相關的信息，忽略與Y無關的信息。因此，將Z、Z′代入式（11），并結合式（4），可得：

其中，q(z′|z)=N(z′|fμ(z),fσ(z)) ，fμ、fσ分別是兩個輸出為K維的全連接神經網絡，用來表示高斯變分后驗分布q(z′|z) 的均值和方差。最后，結合樣本標簽和交叉熵損失函數，利用重參數方法[14]，可使式（14）能夠通過反向傳播算法尋找最優值。MBCVIB 網絡結構如圖3 所示。

圖3 MBCVIB 網絡結構Fig. 3 Network structure of MBCVIB

2.4 基于MBCVIB 的故障診斷

MBCVIB 利用1-D CNN 網絡在過程中對每個操作單元提取局部動態特征，使用特征拼接法整合局部動態特征來獲得全局動態特征，并結合變分信息瓶頸進一步提取全局動態特征中與故障類別信息最相關的部分進行故障診斷。基于MBCVIB 的故障診斷的具體實現流程如圖4 所示，分為離線訓練和在線診斷兩個階段。

圖4 基于MBCVIB 的故障診斷方法流程Fig. 4 Procedure of fault diagnosis method based on MBCVIB

離線訓練：

(1)獲得訓練數據集X∈RU×V以及相應的故障類別標簽Y∈R1×U，其中U為采樣點總數，V為變量個數；

(2)對訓練數據集X進行標準化處理，得到標準化后的訓練數據集X′；

(3)利用時間步長為T的時間窗將X′轉化為時延數據集XT∈R(U?T+1)×(T×V)，并獲得對應的標簽YT∈R1×(U?T+1)；

(5)對每個子塊建立1-D CNN 模型，獲得局部動態特征zb，通過特征連接法，整合所有局部特征，獲得全局動態特征z；

(6)根據高斯后驗分布q(z′|z)=N(z′|fμ(z),fσ(z)) ，可以得到瓶頸特征z′；

(7)結合類別標簽Y，通過Adam 算法最小化式（14）訓練模型。

在線診斷：

(1)獲得新的時延樣本xtest∈RT×V；

(2)利用離線建模中步驟（2）中得到的均值和方差對數據xtest進行標準化；

(5)得到測試樣本xtest所對應的故障類別。

3 仿真實驗

3.1 連續攪拌釜反應器

CSTR 過程是一個評估故障診斷方法性能的基準過程，其仿真設置與Alcala 等[21]的實驗類似，選取9 個變量作為故障診斷的監控變量，包括冷卻水溫度TC、入口溫度T0、入口濃度CAA和CAS、溶劑流量FS、冷卻水流量FC、出口濃度CA、溫度T和反應物流量FA。本文設置了9 個故障進行故障診斷，具體故障描述如表1 所示，其中E/n和Uac為仿真參數[21]。每類故障數據采集1000 個樣本，采樣間隔為0.2 min，設置的時間窗口大小為10 個樣本，滑動步長為0.2 min，每類數據的維度為90×991。將轉化后的時延數據的一半隨機分離作為訓練數據，另一半數據作為測試數據。為了說明MBCVIB 的故障診斷性能，以支持向量機（SVM）、堆棧自編碼器（Stacked AutoEncoder，Stacked AE）、二維卷積神經網絡（2-D CNN）、長短期記憶循環神經網絡（Long Short-Term Memory，LSTM）作為對比算法。對于SVM、Stacked AE，輸入時滯數據的維度為1×90。對于2-D CNN、LSTM、MBCVIB，時滯數據的維度為9×10。SVM 算法加入了徑向基核函數從而考慮過程非線性因素。其他基于神經網絡方法的詳細結構和參數列在表2 和表3 中，其中MBCVIB 的 β 參數參考Tishby 等[20]的實驗設置為0.001。對于MBCVIB，根據2.1 節介紹的基于過程機理的子塊劃分策略，變量劃分結果如表4 所示。

表1 CSTR 故障描述Table 1 Faults description in CSTR

表2 CSTR 故障診斷模型結構Table 2 Detailed fault diagnosis model structures in CSTR

表3 CSTR 故障診斷模型參數Table 3 Fault diagnosis model parameters in CSTR

表4 CSTR 分塊結果Table 4 Block division result in CSTR

表5 列出了MBCVIB 和其他模型的故障診斷精度。從表5 可以看出，MBCVIB 對所有故障的總體準確率都超過了0.87，平均準確率最高，達到了0.983。而其他模型不能對所有故障保持類似的精度水平，它們對一些故障的準確度較差。結果表明，基于MBCVIB 的故障診斷優于其他模型。

表5 不同模型在CSTR 上的故障診斷準確率Table 5 Fault diagnosis accuracy of different models on CSTR

3.2 田納西-伊士曼過程

TEP 是一個被廣泛運用于故障檢測與診斷的基準過程[22-23]，有5 個操作單元：反應器、冷凝器、壓縮機、分離器和汽提器。整個過程包含52 個變量、41 個連續過程變量（XMEAS 1-41）和11 個操縱變量（XMV 1-11）。TEP 數據集設置了20 個故障類型，包括15 個已知故障和5 個未知故障。其中，故障3、9、15 由于均值、方差和高階統計特征和正常數據無明顯變化[24]，因此在實驗中不對故障3、9、15 進行研究，對剩余的17 個不同故障類型以及正常工況下的數據進行了詳細的對比。實驗中的訓練數據集由500 個正常樣本以及每類故障的480 個樣本組成，測試數據集由960 個正常樣本和每類故障的800 個樣本組成。數據的采樣時間間隔為3 min。由于故障6 在故障開始7 h 后系統直接停機，因此故障6 的測試樣本和訓練樣本只包含140 個故障樣本點[17]。采用3.1 節中的對比算法，驗證MBCVIB 在TEP 中的故障診斷性能。時間窗長度參考了Wu 等[17]的實驗，設置為20 個樣本，滑動步長設置為3 min。TEP 實驗數據如表6 所示。對于SVM、Stacked AE，輸入時滯數據的維度為1×(52×20)。對于2-D CNN、LSTM、MBCVIB，時滯數據的維度為52×20。基于神經網絡方法的詳細結構和參數見表7 和表8。SVM 的核函數選擇與CSTR 實驗相同。其中MBCVIB 的參數 β設置與CSTR 實驗相同。

表6 TEP 實驗時延數據維度Table 6 Time-delay data dimension of TEP

表7 TEP 故障診斷模型結構Table 7 Detailed fault diagnosis model structures in TEP

表8 TEP 故障診斷模型參數Table 8 Detailed fault diagnosis model parameters in TEP

對于MBCVIB，首先根據基于過程機理的變量劃分方法將變量分成幾個子塊。TEP 中屬于各操作單元的變量列于表9，其中XMEAS 表示連續過程變量，XMV 表示操縱變量。冷凝器和回收壓縮機的變量對于其他運行單元來說相對較少，因此，為了簡化模型，將這兩個運行單元的變量合并為一個子塊。表10 示出了TEP 的區塊劃分結果。

表9 TEP 中每個操作單元的變量Table 9 Variables of each operation unit in TEP

表10 TEP 分塊結果Table 10 Block division result of TEP

表11 比較了了MBCVIB 和其他模型在TEP 基準上的故障診斷準確度。與其他模型相比，MBCVIB在正常類以及故障8、故障10、故障11、故障16 上的精度提升明顯。此外，MBCVIB 的總體平均精度最高，達到0.955。以上結果均說明了MBCVIB 相比于其他模型在TEP 過程上具有更好的故障診斷性能。

表11 不同模型在TEP 中的故障診斷準確率Table 11 Fault diagnosis accuracy of different models on TEP

為了探究VIB 對特征的提取能力以及對故障診斷效果的影響，本文利用t 分布隨機領域嵌入（tdistributed Stochastic Neighbor Embedding，t-SNE）方法[25]對所提出的模型以及不含VIB 層的同一模型進行特征可視化實驗，即可視化展示這兩個模型在測試集中提取到的特征。通過t-SNE 將測試數據中得到的特征縮減至二維后，特征可視化的結果如圖5 所示，其中x1，x2表示將特征在壓縮后的兩個維度。從圖5（a）可以看出，缺少VIB 層的模型所提取的特征分離度較差，并不能很好地區分屬于故障0、故障10、故障16 的特征。然而，含有VIB 層的模型提取的特征能夠很好地區分屬于不同故障類型的特征，如圖5（b）所示。這也說明了根據信息瓶頸思想所提取的特征能夠過濾掉全局特征中可能對故障診斷帶來影響的冗余信息，只保留了和故障最相關的特征表示。因此，基于MBCVIB 的故障診斷方法能提取到可視化分離度更高的特征。

圖5 特征可視化結果Fig. 5 Consequences of feature visualization

TEP 和CSTR 實驗均表明，MBCVIB 與其他模型相比具有優越的故障診斷性能，可以提取有效的特征。這些結果說明了MBCVIB 中對于動態特征提取的 “局部提取、全局整合”策略的有效性，以及利用信息瓶頸進一步提取故障相關信息的可行性。在MBCVIB 中，局部動態特征是從不同操作單元中提取的，這樣可以在密切相關的變量中提取詳細的動態特征。局部特征拼接法整合局部特征以獲得全局特征，使得子模型可以并行訓練。其他模型則是同時考慮所有變量和動態特征之間的相關性，而不是從不同的操作單元中提取局部動態特征，這使得在特征提取過程中，過程數據的相關性更加復雜。因此，其他模型的特征不能像MBCVIB 中的全局特征那樣有效地反映過程的動態性質。另外，由于全局特征中整合了所有子塊所提取到的特征，為了過濾冗余信息，只提取與故障特征最相關的信息，故引入信息瓶頸思想從全局特征中進一步提取與故障類別信息最相關的瓶頸特征，使得瓶頸特征與故障類別分布間的互信息最大，同時與全局特征互信息最小，過濾掉全局特征中存在的與故障診斷無關的信息，讓所提出的模型能夠更有效地對故障進行診斷。

4 結束語

本文提出了一種基于MBCVIB 的多變量動態過程故障診斷方法。在多變量動態過程中，動態特征往往伴隨著變量之間復雜的相關性，這給特征提取帶來了困難。因此，在MBCVIB 中采用了一種新穎的動態特征提取思想，即“局部提取、全局整合”。MBCVIB 利用過程機理將屬于同一操作單元的變量分配到相同子塊中。利用1-D CNN 從子塊中提取局部動態特征，再利用局部特征拼接法整合所有的局部動態特征，得到全局動態特征，同時，這些1-D CNN 子模型可以并行訓練，再利用VIB 從全局動態特征中過濾與故障診斷任務無關的冗余信息，進一步提取與故障類別信息最相關的瓶頸特征用于故障診斷。本文在TEP 和CSTR 數據集上驗證了基于MBCVIB 的故障診斷方法的性能。所提出的方法在TEP 上實現了0.955 的平均故障診斷準確率，在CSTR上實現了0.983 的平均準確率。這些結果說明了所提出的方法的有效性，證明了所提出的方法在化工過程故障診斷中的潛力。