基于卷積神經網絡的多模態過程故障檢測

王琪善，章國寶*，黃永明，張永春

（1.東南大學 自動化學院，南京 210000；2.江蘇省特種設備安全監督檢驗研究院，南京 2 100018）

0 引言

現代制造業設備的發展呈現出智能化、綜合化和復雜化的趨勢，系統各設備之間高度耦合，導致維護和保養的成本越來越高，同時某一個設備的故障可能引發連鎖反應，引起系統的崩潰，因此降低故障的誤報和漏報率對保障系統安全性、降低維護成本，具有重要的價值和意義[1]。傳統的多元統計過程控制（MSPC）主要包括主成分分析（Principal Component Analysis，PCA）和偏最小二乘（Partial Least-Regression，PLS）法[2]，已被廣泛用于分析監測數據和故障間潛在的關系，當信號超過閾值或發生顯著變化時將觸發報警。然而隨著工業流程變得復雜，工況更加多變，制造過程呈現出運行模態多樣、非高斯分布、非線性變化，故障類型多變等問題，使得故障檢測變得更加復雜。

傳統PCA和PLS方法根據歷史數據的統計信息建立靜態模型，將高維變量映射到低維空間進行分析，然而要求數據滿足高斯分布和線性特征，在非線性、非高斯的多模態過程中經常產生誤報和漏報，效果不佳。對此，許多研究人員提出了改進。為了解決非線性問題，文獻[3]使用動態主成分分析方法，生成增廣數據矩陣擬合非線性過程特征。文獻[4]使用局部近鄰標準化改進最小二乘法的非線性表現。文獻[5]提出一種結合隨機投影和K近鄰的故障檢測方法，適應了過程非線性的特點，文獻[6]提出非負矩陣分解和Fisher判別分析。為了解決非高斯問題，文獻[7]結合核PCA和支持向量機（Support Vector Machine,SVM）進行故障檢測，數據無需滿足高斯分布。文獻[8]使用獨立主成分分析（ICA）信息融合提取軸承故障特征。為了滿足多工況、多模態的故障檢測需要，文獻[9]針對各個模態使用MSPC單獨建模，而非全局建模來容納所有模態，因而隨著模態的增多，計算復雜度較高。文獻[10]將貝葉斯統計引入MSPC，通過后驗概率和聯合概率評估檢測統計量在各模態下的故障概率。文獻[11]將局部熵引入ICA，將監測數據轉化到局部熵空間，以提高多模態和非高斯過程檢測效果。

總體來說，由于上述監測方法的閾值和置信度是通過統計方式獲得，因此性能會受到基于MPSC方法設計參數選擇的顯著影響。因此，在解決非線性、非高斯的多模態過程故障檢測問題上，MSPC方法首先較易忽略原始模式數據中的某些潛在關系，因而不能涵蓋對早期微小故障的準確檢測[12]。此外，MPSC方法還會因變量間的耦合而產生意料之外的誤報和漏報。

近年來，通過將故障檢測視為一個判別性問題，人工智能技術已在該領域得到了成功的應用[13]。如果原始測量數據的潛在關系可以通過合適的學習算法來學習，則可以很容易地識別模式的從屬關系。對于高維工業制造數據，可以有效地使用深層結構來發現低層特征固有的模式，從而提高分類準確性。Hinton等人[14]提出了反向傳播算法，使得深層結構的參數更新和高級抽象特征的獲取成為可能，其較強的學習能力強，適用于多模態過程的故障檢測。作為一種深度學習方法，CNN已證明其在各個領域如語音、圖像等多元模式識別中的功效[15]。其主要的優勢體現在：

1）以卷積加采樣為核心的網絡結構可以直接提取信號中的局部特征，不需要手動提取；

2）隨著網絡堆疊層次的加深，模型可以獲得更好的能力來表征數據和設備健康狀況之間復雜的（線性或非線性）映射關系，從而提高判別能力；

3）數據不要求必須滿足高斯分布。在多模態過程故障檢測領域，基于CNN的深度學習判別方法方興未艾。文獻[16]將數值數據表示成雷達圖，然后將其輸入CNN中構建分類模型，取得了優異的故障檢測效果，然而同文獻，每個模態單獨建模將導致復雜性的增加。文獻[17]使用輕量級CNN提取多變量過程的高層特征，在測試集上提高了8%的故障檢測率，然而在將傳感器數值轉換成圖像的過程中沒有考慮變量的相關性。文獻[18]使用固定多重采樣CNN提取過程數據在不同時間尺度上的動態特性用于故障檢測，然而沒有對模型提出進一步的優化。

為此，本文提出了一種基于TCNN的多模態過程故障檢測方法，提出了基于TCNN的在線監測框架，建立關于多模態過程的全局判別模型，可以進行實時的模態識別和故障檢測。與常規的MSPC方法不同，TCNN的非線性激活函數和模型結構適用非高斯分布和非線性特征，深層的模型能夠擬合更深層次的結構信息和數據本質，提高了對多模態過程故障的檢測效果。最后將提出的方法用于田納西伊士曼工業過程(Tennessee Eastman Process,TEP)的故障檢測中，與MSPC（PCA）方法，SVM方法、深度置信網絡（Deep Belief Networks,DBN）方法進行了實驗比較，結果表明本文提出的方法總體上降低了故障的誤報和漏報率。

1 Tiled CNN

1.1 判別模型結構

Tiled CNN（TCNN）是卷積神經網絡的一種變體，使用卷積和多個特征圖來學習不變特征。其特殊性表現為本地連接和平鋪（tiled）權重共享，即使用參數k控制隱藏層的權重綁定距離，能夠學習平移不變性之外的復雜不變性（如尺度不變性和旋轉不變性）,更適用于復雜不變特征的學習。該模型由多個卷積和TICA采樣層堆疊而成，如圖1所示。卷積在局部感受野提取多個特征圖，作為TICA采樣層的輸入。TICA采樣可從未標記的圖像塊中學習特征，結構如圖2所示,由兩層網絡構成，分別具有平方和平方根非線性采樣功能，詳細介紹參見文獻[19]。

圖1 TCNN網絡結構

圖2 TICA層結構

1.2 判別模型訓練

給定一組訓練樣本X={x1,x2,x3,...,xk},由未標記的多模態過程測量值構成某一模式矩陣，xi=k為采樣點個數，n為傳感器個數，系統的模式即隱藏在矩陣之中。由于高維模式識別屬于非線性可分離問題，因而可以轉換為學習一個可將特征映射到特定模式的函數，然后將模式與其相應類別進行匹配。對于本文的模型結構來說，即學習非線性函數以提取表征故障模式的高層矩陣特征X=FW,b,k(X)。FW,b,k模型的訓練分為TICA無監督預訓練和有監督微調兩部分。無監督預訓練階段，通過硬編碼固定第二采樣層的權重V來學習第一層中的權重W，即解決：

其中，x(t)為經卷積后輸入的局部特征，n是輸入大小，m是隱藏層單元個數。有監督微調階段使用softmax回歸計算梯度，將誤差從輸出端進行反向傳播（BP）逐步更新權重。給定不同模態下的有標簽數據集其中k為模態的個數，為了計算給定假設函數：

1.3 基于灰狼優化算法的超參數尋優

超參數的選擇對模型的訓練速度和最終的分類效果具有重要的影響。目前沒有成熟的理論指導選擇超參數的值，通過反復試驗手動進行調整是一項耗時的工作。本文使用灰狼優化（WGO）群智能啟發式搜索算法[20]進行超參數尋優，以期獲得最佳的多模態分類模型。灰狼優化技術模仿了狼群尋找獵物位置的行為。從最初的隨機分配開始，狼的位置會進行迭代更新，以將其引導至獵物即最佳解決方案附近。在狩獵中，狼群采用α,β,δ,ω四層機制按順序搜索獵物，分別被稱為最佳、第二佳、第三佳和其他解決方案。對于本文，每只狼的位置都與CNN模型超參數的個數相對應而構成一個矢量Xi={Xi1,Xi2,...XiD}，D為搜索空間，即超參數的個數。x={X1,X2,...XN},N為灰狼的數量，那么α,β,δ狼各一只，ω狼有N-3只。在更新位置之前，每只狼首先計算自己和α,β,δ狼的距離：

其中D表示距離，X表示位置，r為隨機數。隨后每只狼按照以下的公式更新自己的位置：

其次，超參數尋優的目的是提高分類準確度，因而定義灰狼適應性函數為：

本文基于灰狼優化的TCNN模型超參數尋優算法，見算法1。

算法的時間復雜度為O(itermax*N*t)，itermax為迭代次數，N為灰狼個數，t為TCNN一次前向計算的時間。

2 傳感器數據圖像編碼

將多維傳感器監測數據轉換成圖像，是預處理步驟的核心問題。為了滿足在線實時檢測同時充分保留傳感器數據特點的需求，本文提出基于格拉姆矩陣的差值圖像編碼方式，易于實施且不丟失原始數據的特征。在時間點t，工業現場采集到的多維傳感器數據V={v1,v1,...vm}，其中vi表示第i個傳感器的數值，m是傳感器的數量。首先使用z-scores[21]將數據歸一化，避免不同量綱帶來的影響。定義vi,j為兩個不同的傳感器數據的差值，即vi,j=vi-vj,i≠j。定義格拉姆差值矩陣G如下：

可以看出，格拉姆矩陣的主對角線保留了原始的傳感器數據，即Gii=vi。而每一行保留了每個傳感器和其他傳感器的數據差值特征，即Gij=vi,j，當模態的變化或故障的發生表現為某些傳感器數值的變化時，這可以在矩陣的差值特征中表現出來。為了將矩陣轉化成圖像，可以按照公式進行縮放：

其中Gmax,Gmin分別為G中的最大值和最小值，I為單位矩陣。圖3(a)展示了52個傳感器在兩個不同采樣時刻的采樣值，分別標為紅色和藍色。通過差值編碼后對應的圖像為圖3(b)和圖3(c)。可以看出兩個時刻傳感器數據的變化在圖像上表現為不同的局部特征，為模態的辨識和故障的檢測提供了基礎。

圖3 插值編碼

3 基于TCNN的多模態過程在線監測方法

基于TCNN的多模態過程在線監測方法的框架如圖4所示。首先基于歷史數據進行離線的模型訓練，數據經過編碼之后構成數據集用于訓練TCNN，通過灰狼優化進行超參數尋優以期獲得較優的分類模型。在線階段使用訓練好的模型提取在線數據的高層特征識別當前運行的模態，進一步通過離線學習到的模式匹配當前運行狀況。

圖4 TCNN在線監測框架

與傳統的MSPC方法不同，本文方法通過深層模型學習數據深層的特征，減少信息的丟失且不容易受到變量耦合的影響，以期提高在線監測的效果。

4 TE過程實驗驗證

4.1 數據集介紹

本節以公開標準化工過程TEP數據集進行實驗。TEP過程由美國某化工公司控制部門提出，由反應器、冷凝器、分離器、循環壓縮機和汽提塔五個單元構成，系統中有52個傳感器遍布管道、閥門和各種子設備進行變量監測，其運行結構如圖5所示，過程輸入反應物料為A,C,D,E四種，生成物料有G,H,F三種。本文使用41種測量值，包括22個連續測量值和19個成分變量，采樣間隔為3分鐘。TEP過程有多種運行模態，每種運行模態都包含1種正常情況和21種故障情況。訓練集每種情況包含480個樣本，共計10560個樣本。測試集每一類故障包含960個樣本，故障是在第160個樣本引入，共計17600個樣本。

圖5 TEP過程流程圖

4.2 模型離線訓練

本文選擇了TEP的基本模態、模態1、模態3和模態4的歷史數據訓練模型。各個模態的工藝參數如表1所示。

表1 TEP模態參數

總數據集數量為10560*4=42252個。使用Keras框架搭建TCNN模型結構為:輸入層、卷積層*4、TICA采樣層*4、全連接層*1。初始化灰狼個數為50，迭代次數設置為50，初始權重采用隨機初始化方法并進行三次實驗。實驗環境為Intel i7,GPU 2080 Ti。三次實驗結果如圖6所示。

圖6 三次優化實驗結果

模型超參數選擇第三次實驗的結果，超參數如表2所示。

表2 超參數尋優結果

4.3 工作模態識別

首先驗證TCNN網絡對工作模態的學習能力。TCNN模型最后學習到的全連接層特征是長度為128的一維向量，在某采樣時間點，四種工作模態下的向量值如圖7所示（從上到下依次為基本模態，模態1，模態3和模態5）。可以看出，四種模態在該采樣時間的特征向量彼此相異，表現為不同的上限和變化特征。

圖7 四種模態特征向量值

進一步為了說明TCNN學習到的特征向量對模態的辨別能力，每個模態選取160個正常狀態的測試樣本進行模式的辨別。分別選取特征向量的第2，4，18和23四個維度上分別進行比較，如圖8所示。

圖8 四種模態在各個維度上的辨識結果

可以看到，在這四個維度上，四種模態分別在特定的范圍內變化，可以和其他模態較好得識別開。基本模態可以通過第18維識別，模態1可以通過第2維識別，模態3可以通過第23維識別，模態5可以通過 第4維識別。作為對比，使用文獻[22]的PCA方法，選取TP2和SPE控制限對基本模態進行識別，其在線監測結果如圖9所示。可以看出控制限的劃分導致較多的漏識別情況。本文所提出的框架，學習到各個模態的特征更直接和清晰，可以起到相對較好的識別效果。

圖9 PCA方法對基本模態的識別結果

4.4 故障檢測

為了說明所提出的框架在檢測故障狀態方面的有效性，以基本模態為例，在測試集上進行了20種故障的實驗。其中故障13為緩慢漂移故障。對過程的干擾較小因而較難檢測，TCNN模型第四層TICA采樣后學習到的正常狀態特征圖和故障13特征圖見圖10。在特征圖上故障13呈現局部亮點的特征，可以和正常狀態較好得區分開。

圖10 正常和故障13的特征圖

在線檢測階段，在基本模態下模擬了24小時的運行狀態，在第8個小時引入故障13，本文方法的檢測結果如圖11所示。圖中的異常說明發生了漏報或者誤報。正常階段在4個采樣點產生了誤報，故障發生后在8個采樣點發生了漏報，誤報率和漏報率均為2.5%。作為對比，分別使用文獻[22]PCA和文獻[21]SVM方法,文獻[23]DBN方法對故障13進行檢測。結果如圖12～圖14所示。

圖11 本文故障13在線監測結果

圖12 PCA方法對故障13的監測

圖13 SVM方法對故障13的監測

圖14 DBN方法對故障13的監測

從圖中可以直觀得看出PCA方法得漏報和誤報率較高，DBN方法優之，SVM方法較優，但都劣于本文方法。在誤報率上，上述三個方法分別為12.7%，6.2%和5%，均高于本文的2.5%。在漏報率上，上述方法分別為15.6%，7.5%和10.9%，均高于本文的2.5%。在故障13的綜合檢測率上，本文方法取得了較好的結果。

接著，在基本模態下所有20種故障的檢測率和對比結果如表3所示。

表3 各方法故障監測率對比

表中每類故障最好的檢測結果均加粗標出，其中CNN方法取得了14次最好的結果，高于其它方法。同時CNN方法對故障10，16和19的檢測率高于其他方法10%以上。此外TCNN方法的平均故障檢測率最佳，高出PCA方法11.27%，高出SVM方法1.83%。

5 結語

本文提出了一種基于TCNN的多模態過程故障檢測方法，利用差值編碼將傳感器數值轉換成圖像，用于訓練全局判別模型，使用灰狼優化算法進行超參數尋優。提出的方法可以進行在線的模態識別和故障檢測，在TEP數據集的實驗結果表明，該方法有較好的模態識別率和故障檢測率，降低了誤報率和漏報率。該方法為多模態故障智能檢測提供了新的思路。