基于深度學習的化工過程故障檢測與診斷研究綜述

鮑 宇程 碩王靖濤

(天津大學化工學院,天津 300350)

隨著現代化工工業的快速發展,化工過程的自動化和復雜化程度越來越高。大規模工業過程為國家帶來巨大經濟效益的同時,由于系統的高度耦合性和復雜性,系統內任何微小干擾都可能導致整個系統癱瘓,進而造成巨大的經濟損失甚至人員傷亡。因此,故障檢測與診斷技術對于所有化工過程是必不可少的,是化工過程能夠按生產計劃可靠并安全運行的保障。

在化工系統中,故障表現在過程的監控參數偏離預期的范圍。根據已有的研究,將故障檢測與診斷技術分為3 大類:基于模型的方法、基于知識的方法和基于數據的方法。但是,基于模型和知識的方法受限于建模困難和知識積累的困難,無法被應用于動態復雜的化工過程系統[1]。隨著分布式控制、通訊技術和數據收集技術的迅速發展,系統中的觀測變量能夠被大量收集和儲存,這促進了學者對基于數據的故障檢測與診斷方法的研究。

基于數據的故障檢測與診斷方法能夠對海量的工業數據進行統計分析和特征提取,將系統的狀態分為正常運行狀態和故障狀態,可視為模式識別任務。故障檢測是判斷系統是否處于預期的正常運行狀態,判斷系統是否發生異常故障,相當于一個二分類任務。故障診斷是在確定發生故障的時候判斷系統處于哪一種故障狀態,相當于一個多分類任務。因此,故障檢測和診斷技術的研究類似于模式識別,分為4個的步驟:數據獲取、特征提取、特征選擇和特征分類。1)數據獲取步驟是從過程系統收集可能影響過程狀態的信號,包括溫度、流量等過程變量;2)特征提取步驟是將采集的原始信號映射為有辨識度的系統狀態信息;3)特征選擇步驟是將與狀態變化相關的變量提取出來;4)特征分類步驟是通過算法將前幾步中選擇的特征進行故障檢測與診斷。在大數據這一背景下,傳統的基于數據的故障檢測與診斷方法被廣泛應用,但是,這些方法有一些共同的缺點:特征提取需要大量的專家知識和信號處理技術,并且對于不同的任務,沒有統一的程序來完成。此外,常規的基于機器學習的方法結構較淺,在提取信號的高維非線性關系方面能力有限。

隨著計算機技術的快速發展,尤其是計算能力的提高,深度學習受到越來越多的關注。深度學習源自于對人工神經網絡的研究,與淺層神經網絡對比,深度學習的“深度”體現在網絡結構上,深度學習通過搭建更深層的結構、可擴展的隱藏單元和非線性激活函數,能夠對復雜的數據進行建模,挖掘數據中隱藏特征。學習到的特征通常是逐層加深的,高層的特征比低層的特征更加抽象,具有更強的特征表達能力。目前,深度學習在計算機視覺[2,3]、自然語言處理[4,5]和目標檢測[6,7]等領域應用廣泛。在化工過程的故障檢測與診斷領域,基于自動編碼器(autoencoder,AE)、深度置信網絡(deep belief network,DBN)、卷積神經網絡(convolutional neural network,CNN)和循環神經網絡(recurrent neural networks,RNN)的深度學習方法被廣泛應用。深度學習的優勢在于它可以自動的進行特征工程,整個過程無需人工干預,減輕了特征提取對于專業知識的依賴。此外,深度學習模型學習到的特征是逐層加深的,更深層的特征在用于預測、檢測和分類任務時性能更好。并且,深度學習能夠通過以端到端的形式學習,這意味著模型不限定于具體的某個任務,因此,可以通過微調網絡結構和參數來適應不同的任務,也就是說,深度學習很容易適應新問題,具有更高的魯棒性。

目前,深度學習技術在各個領域的故障檢測與診斷任務取得了不錯的成果,例如軸承[8-10]、齒輪[11,12]、泵[13,14]和空調系統[15]等。在化工過程故障檢測與診斷領域,深度學習技術在2016年開始受到關注,最初的研究大部分是關于如何將深度學習和化工過程安全的結合。隨著學者們對該領域的深入研究,最近幾年的研究集中于針對工業過程存在的問題,采用改進的算法實現更好的故障診斷與檢測。據筆者調研,目前還沒有一個基于深度學習方法在化工過程故障檢測與診斷的全方位調查。本論文從不同的深度學習方法角度出發,綜述了最近5年深度學習在化工過程的故障檢測與診斷領域的研究進展,旨在為深度學習在該領域的應用提供啟示,希望它能夠促進更多人提出更加寶貴的意見。

本論文的安排如下,第1 部分介紹了基于深度學習的化工過程故障檢測與診斷流程以及學者們驗證算法性能的數據集;第2 部分介紹了4 種常見的深度學習架構及其變體,以及基于這些方法的研究進展;第3 部分提出了該領域面臨的挑戰和機遇;第4 部分總結了全文。

1 檢測與診斷流程及數據集

1.1 檢測與診斷流程

與傳統的基于數據的故障檢測與診斷方法不同,深度學習具有表達數據高級特征的能力,將數據作為影響結果的唯一因素,無需多余的數據預處理工作。本論文根據深度學習在故障檢測與診斷過程中的不同作用,將基于深度學習的方法分為以下2 種模式,如圖1所示。

圖1 基于深度學習的故障檢測與診斷方法框架Fig.1 The framework of fault detection and diagnosis method based on deep learning

1.1.1 分離學習模式

數據獲取—深度學習特征提取—分類器—檢測與診斷結果。

采用無監督深度學習方法對化工過程數據進行特征提取,并結合各種分類器對提取的特征進行分類,實現故障檢測與診斷。該種方法能夠充分發揮深度學習的特征提取能力,在這種模式中,一般采用無監督學習的方式進行,因此,分離學習模式對于缺少故障狀態數據或標簽數據的檢測任務具有一定的優勢。

1.1.2 端到端的學習模式

數據獲取—基于深度學習端到端的分類器—檢測與診斷結果。

與分離學習模式不同,端到端的學習模式將特征提取與故障識別融為一體,大大降低了模型對于專業知識的依賴。并且,這種學習模型提供了一個通用框架,在跨系統或跨領域應用時具有不錯的泛化能力。

1.2 數據集介紹

數據是深度學習方法的基礎,建立一個符合實際情況的故障診斷模型首先需要具有實際代表性的化工過程數據。由于采集大量的工業數據需要很長時間,并且目前的數據共享問題一直無法解決,獲得實際的工業過程數據并非易事。因此,學者們采用模擬的方式獲得化工過程數據,加入不同的干擾以模仿實際工業中可能出現的故障類型。根據現有的研究,用于測試不同算法性能的數據集主要有非等溫連續攪拌釜反應器(continuous stirred tank reactor,CSTR)過程數據、田納西伊斯曼(Tennessee Eastman,TE)過程數據和其他模擬數據,具體介紹如下。

CSTR 過程是研究化工過程故障檢測與診斷研究的一個基準過程[16],該過程涉及到混合傳熱和反應熱,能夠模擬正常條件和故障條件下的數據。反應器作為化工流程最重要的一部分,許多文獻對CSTR 過程進行了故障檢測與診斷研究[17-19]。TE數據是一個公開的化工過程數據集,其過程是通過計算機程序模擬仿真得來。1993年,美國田納西州的伊斯曼化學公司提出了TE 過程[20]。此后,Bathelt 等[21]針對TE 過程模擬可重復性問題對其進行了改進和優化,添加了新的故障和監測變量。TE 過程具有很強的非線性、時變性和耦合性,和實際過程非常接近。目前,TE 過程已經成為了測試工業過程故障檢測和診斷的代表性過程,大量的文獻將其作為數據源研究化工過程故障診斷技術[22-24],它對過程控制以及故障檢測與診斷的研究起到了非常大的促進作用。還有很多相關的研究是基于實驗室模擬的數據[25,26]和合作的真實工業的數據[27],由于保密協議等原因,具體的細節并未披露。

2 深度學習在化工過程的故障檢測與診斷的研究進展

根據不同方法在應用時是否需要標簽,將AE、DBN、CNN 和RNN4 種深度方法分為監督學習方法和無監督學習方法,如圖2所示。當擁有足夠的數據和標簽時,通常采用基于監督學習的方法,在這種情況下,通過訓練出性能足夠優秀的模型便可分離正常數據與各故障數據,實現故障檢測與診斷;當數據標簽不夠或難以獲得時,通常采用基于無監督學習的方法,無監督學習能夠在未知標簽的情況下對數據進行高維的特征表示。對于故障檢測任務,通常對正常條件運行的數據進行建模,試圖將偏離正常狀態的情況分離開來。對于故障診斷任務,無監督學習用于特征表示,以無監督訓練的方式表達數據信息,并通過有監督訓練完成對故障的分類。這里我們指出,AE 和DBN 后可添加分類層實現無監督訓練和有監督微調,根據方法在模型中的作用,我們將其劃分為無監督學習范疇。

圖2 深度學習方法分類Fig.2 Classification of deep learning methods

2.1 基于AE 的方法

AE 是一種無監督學習算法,它能夠在沒有標簽的情況下對數據進行特征提取。如圖3所示,自動編碼器由編碼器和解碼器2 部分組成。編碼器將輸入數據壓縮至神經元數量更少的隱藏層中,解碼器將隱藏層的特征進行重構。自動編碼器通過最小化平均誤差實現輸出和輸入保持一致,由于隱藏層的神經元數量較少,迫使自動編碼器在隱藏層必須保留具有代表性和抽象的數據特征,實現對數據的特征表示。基于自動編碼器的變體主要有以下2種:1)稀疏自動編碼器(sparse autoencoder,SAE):SAE 是基于AE 的更深層的結構,SAE 通過對隱藏層的神經元進行稀疏性限制,抑制某些神經元獲得更加稀疏的特征表示。具體來說,SAE 在損失函數中增加了一個稀疏成本項,使得每一層的神經元大部分都為0,只有少部分為1(0 代表抑制,1 代表激活)。SAE 可以在隱藏層神經元數量較多的情況下得到數據的深層特征,更加有效的完成對輸入數據的特征表示。2)降噪自動編碼器(denoising autoencoder,DAE):DAE 可以重構受損的輸入數據。DAE 通過以一定的概率分布將輸入數據隨機設置為0,以丟失數據后的數據作為輸入數據進行特征提取,得到的特征表示可以避免數據中存在的噪聲,提高模型的魯棒性。

圖3 自動編碼器的結構Fig.3 Architecture of autoencoder

基于AE 的化工過程的故障檢測與診斷方法具有以下優勢:1)實際工業中含有標簽的數據較少,為數據標記是一項非常耗時的工作。基于AE 的方法能夠以無監督學習的方式進行數據的特征表示。2)基于AE 的網絡結構簡單,逐層的訓練方式有助于提取高階的非線性特征,具有強大的特征提取能力。并且,堆疊多層的AE 可以自由地選擇提取特征的維度。

由于AE 采用無監督學習的方式進行訓練,所以單純的基于AE 的方法無法作為分類器來應用。可通過AE 進行特征提取,然后在模型后添加softmax 層或支持向量機(Support Vector Machine,SVM)等分類器實現故障檢測與診斷。文獻[28,29]將SAE 所提取的特征輸入至softmax 層以監督學習的方式微調結構參數,實現故障檢測與診斷。針對復雜化工過程的時域和頻域特征,Lv[30]結合了堆疊稀疏自動編碼器(stacked sparse autoencoder,SSAE)和SVM 分類器,采用SSAE 提取監測變量間的相關性和樣本之間的時間相關性,然后采用SVM 分類器用于故障分類。在TE 過程驗證了該方法在早期的故障檢測和故障分類任務中優于隨機森林、SVM 等傳統方法。Guo 等[31]提出了一種基于SAE 的故障檢測與診斷方法,該方法能夠提取不完整數據的完整特征表示,在低維空間保留數據的主要特征,并通過SVM 分類器實現故障診斷。

基于AE+分類器的模式可結合無監督訓練和有監督微調實現故障診斷。而基于AE 的故障檢測可通過AE 或AE 的變體結構對原始數據進行特征表示,構建統計量并設置閾值判斷系統的健康狀態。Yan 等[32]采用DAE 提取工業數據的非線性特征并構造測試統計量H2和SPE 構建在線監控模型,在TE 過程中驗證了方法具有優異的故障檢測能力,并且能夠檢測到一些很難檢測的故障。考慮了過程數據的動態時序性,文獻[33,34]采用互信息衡量變量之間的相關性,保留與故障相關的關鍵特征,然后通過SSAE 挖掘數據的高維和稀疏的特征空間,構造T2和Q統計量實現故障檢測,在TE 數據集中驗證了所提出方法能夠減少故障檢測的延遲和提高故障檢測率。

此外,研究人員旨在開發結合AE 和其他算法結合的混合診斷模型。Zhang 等[35]提出了一種基于堆疊降噪自動編碼器(SDAE)和KNN 的故障監控模型,采用SDAE 從復雜的非線性數據中提取重要特征,然后通過KNN 構造特征空間和殘差空間的統計量FD2和RD2實現過程監控。Zhang 等[36]利用變分自動編碼器提取監控數據的特征,DBN 根據學習的特征進行健康狀態識別,該方法有效地提高了故障分類精度。Zheng 等[27]采用卷積SAE 提取多變量工業數據的高級特征,采用t-SNE 技術對特征進行可視化,最后通過聚類獲得特征挖掘結果,實現了對未標簽數據的標記。Lee 等[37]提出了一種改進的AE 算法-高斯混合先驗變分自動編碼器(GMPVAE),由于GMM 的引入,該方法能夠更加有效的捕捉有用的信息,并且避免了信息丟失問題。Yang 等[38]提出了并行的SAE 方法,在TE 過程和氨合成廠的實際工業過程中證明了該方法適用于數據規模大、計算量大的工業數據。Li 等[39]結合了PCA 和SAE,實現了線性和非線性共存的工業過程的故障檢測。Jiang 等[40]提出了一種基于SAE 的半監督故障分類方法,在標簽數據有限的情況下實現了對動態化工過程的故障分類。Wang 等[41]將SAE的輸出層設置為預測故障類別,實現的基于SAE 的監督學習故障診斷方法,所提出方法解決了傳統的SAE 無法剔除與故障類型不相關的數據特征。受AE 的啟發,Yu 等[42]在編碼和解碼部分采用了卷積長短記憶網絡提取數據的有效特征,減少了訓練過程中的梯度消失和梯度爆炸問題。Li 等[43]提出了一種基于AE 的多模型特征融合故障診斷方法,采用了最小冗余-最大相關法選擇與每種故障最相關的變量,然后通過SAE 提取數據特征并構建殘差矩陣,最終輸入至分類器中實現故障分類,但是,該種方法僅能處理單一操作條件下的故障診斷任務,目前無法應用于多模型的過程監控。

2.2 基于DBN 的方法

DBN 是一種概率生成模型,它的作用類似于自動編碼器,可以在無監督學習的過程中對輸入數據進行高維特征表示,并且,DBN 可以在最后加上分類層對數據進行有監督訓練,實現分類算法。如圖4所示,DBN 由多個限制玻爾茲曼機(restricted Boltzmann machine,RBM)單元組成。每個RBM 單元由2 層結構組成,分別為可視層v和隱藏層h。RBM采用對比散度算法迭代更新權重矩陣和偏差矩陣,使得輸入數據相對于結構參數對數似然性最大化。因此,RBM 的隱藏層能夠作為輸入數據的高級特征表示。多個RBM 鏈接形成DBN,其中,可視層v接收輸入數據并編碼后傳給隱藏層h1,RBM-1 的輸出層作為RBM-2 的輸入層,以此類推。DBN 采用逐層貪婪的方式訓練,并通過反向傳播調整網絡參數,使其適應目標任務[44]。當DBN 作為無監督學習提取數據高維特征時,最后1 個隱藏層(圖4中h2)即為數據的高維特征表示;當DBN 作為有監督學習的分類器時,將最后1 個隱藏層連接分類器,實現分類。

圖4 深度置信網絡的結構Fig.4 Architecture of DBN

基于DBN 的化工過程故障檢測與診斷方法具有以下優勢:1)DBN 能夠自動獲取和過程狀態相關且難以辨識的高階信息,具有很好的特征表示性能;2)DBN 適用于化工工業數據中最常見的一維信號,通過無監督學習的方式將信號表示成概率模型,在樣本數較少的時候實現故障檢測與診斷;3)由于RBM 能夠擬合所有的離散分布,因此DBN可以應用于樣本分布不確定的復雜工業過程,能夠解決其他方法中樣本分布的限制性假設問題。

在故障檢測與診斷領域,DBN 最初被應用與變量數較少的簡單系統[45,46]。隨著學者們對于DBN的深入研究,DBN 逐漸能夠被應用于含有高維數據的化工過程中。與基于AE 的方法不同,基于DBN的方法通過預訓練RBM 層自動學習特征,避免了BP 神經網絡微調參數時的梯度消失問題。DBN 后通常添加softmax 層將學習的特征映射到輸出空間,以端到端的形式實現故障檢測與診斷。Zhang等[47]首次將DBN 引入到復雜化工過程的故障診斷任務,該方法首先通過互信息技術對數據進行變量選擇,將變量的“價值性”進行排序尋找最優化變量,然后利用高斯激活函數的DBN 子網提取每個故障的特征,在TE 過程的20 個故障分類任務中平均準確率達到82.1%,并且對于難以檢測的故障3 達到了95%的故障診斷率。為了提高診斷性能,越來越多的學者優化DBN 算法進行故障檢測與診斷。Wang 等[48]通過DE 算法優化DBN 模型,優化后的方法訓練速度更快、準確率更高并且更具魯棒性。Wang 等[49]提出了一種擴展的深度信任網絡(EDBN),該方法考慮到數據的動態信息,結合了原始數據和隱藏特征來解決DBN 傾向于丟失原始數據中有價值信息的問題。Wei 等[50]采用dropout 技術解決了傳統的基于DBN 的故障診斷方法存在的過擬合問題,并且所提出的DBN-dropout 方法的故障診斷率高于DBN 和其他基于深度學習的方法。針對DBN 訓練時存在的冗余性弱化了模型的特征表示能力,程換新等[51]通過對訓練集的稀疏約束將無標簽的數據特征更加直觀的展示,在TE 仿真中證明了所提出方法優于DBN 和BP 神經網絡。Yu 等[52]提出了一種基于不穩定神經元的DBN(UN-DBN)方法,該方法首先采用正常數據訓練DBN 模型,然后通過整合某些樣本中的不穩定神經元的隱藏層,獲得有助于故障檢測的特征表示。Tang 等[53]提出了一種基于DBN 的Fisher 判別稀疏表示方法,該方法在含有大量監測變量的工業過程的故障診斷性能優于SVM 和BP 神經網絡等方法。Tang 等[54]提出了一種結合DBN 和多元統計的故障診斷方法,首先通過DBN 將歸一化的數據分解為與系統狀態相關的重構變量和與噪聲有關的剩余變量,通過計算統計值T2和SPE 從而實現故障檢測,在TE 過程數據中驗證了該方法能夠提高模型的故障檢測能力,優于傳統的KPCA 方法。

針對工業應用過程中存在的現實問題,許多學者對DBN 進行了改進。考慮到真實工業中的某些不確定性因素產生的不利于故障檢測的特征,Yu等[55]提出了一種基于AF-DBN 的故障檢測方法,DBN 提取的主動特征AF 用于表示原始輸入數據的故障特征。該方法通過計算訓練樣本和測試樣本的歐式距離并采用移動平均技術消除了突發噪聲對故障檢測結果的影響。Jiang 等[56]通過DBN 提取數據的非線性分層表示,然后采用典型相關分析(CCA)表征輸入與輸出的關系,生成故障檢測殘差和檢測統計信息實現故障診斷,組合的方法能夠消除不相關變量和冗余信息的影響。針對工業數據缺失的問題,Tian 等[57]提出了一種基于GANSRCC-DBN 的過程監控方法,首先,采用GAN 重構工業過程的缺失數據,使其符合該種運行狀態的特征表示,然后采用了變量選擇方法SRCC 選擇相關變量,降低數據的維度,最后采用DBN 對數據進行深層特征表示。在TE 過程21 種故障的平均檢測率為89.7%。Wang 等[18]提出了一種組合DBN 和支持向量數據描述SVDD 的方法,該方法通過DBN以無監督訓練的方式進行數據的高級特征表示,然后通過這些特征和少數的故障數據建立SVDD 故障檢測模型,解決了故障數據較難獲得的問題。

2.3 基于CNN 的方法

卷積神經網絡最早在1989年由LeCun 提出[58]。隨著CNN 的快速發展,越來越多性能更好的CNN 結構被提出,例如AlexNet[59]和VGGNet[60],并廣泛應用于計算機視覺和語音識別等領域。如圖5所示,CNN 主要由3 種基本結構(卷積層、池化層和全連接層)循環疊加組成。卷積層由多個含有不同參數的濾波器組成,通過濾波器提取輸入數據的局部高維特征,其輸出是1 組特征圖。池化層通常位于卷積層之后,將卷積層學習的特征進行采樣,提取更具代表性的局部特征,與此同時,池化層能夠減少訓練參數防止模型出現過擬合現象。多個卷積層和池化層的疊加組合可以對原始數據進行深層次的特征表示,并且隨著層數不斷加深,得到的特征越抽象。在卷積層和池化層之后,需要將抽象化的特征轉換成一維矩陣,并和之后用于分類的全連接層連接。與多層感知器類似,不同全連接層之間的神經元進行全連接,同1 層的神經元完全不連接。全連接層能夠整合卷積層和池化層具有 類別區分性的信息,并進行有效的分類。

圖5 卷積神經網絡的結構Fig.5 Architecture of CNN

CNN 強大的特征提取能力解決了人工特征表達能力不足的問題,許多研究采用CNN 研究化工過程的故障檢測與診斷。基于CNN 的化工過程故障檢測與診斷的方法具有以下優勢:1)復雜的工業過程經常伴隨著復雜的數據噪聲,CNN 以多層卷積和池化的形式進行特征提取,具有平移不變性,這避免了噪聲對于模型的影響,具有很強的魯棒性;2)對于多變量的化工過程,CNN 在保證強大的特征提取能力的同時,通過卷積中的權值共享減少了模型的參數,避免了參數過多出現的過擬合現象,具有較好的泛化能力;3)CNN 的輸入數據形式比較靈活,可以處理二維矩陣和一維矩陣,因此CNN 處理不同類型的樣本數據時具有優勢,如一維信號、二維圖片、時間序列數據和數據頻譜圖等,模型的適用性廣。

根據CNN 的體系結構,可以將基于CNN 的故障檢測與診斷方法分為二維CNN 模型和一維CNN模型。二維CNN 作為圖像識別的標準網絡結構,其輸入數據為二維矩陣。但是,二維CNN 無法處理化工過程收集到的一維監控數據。在已發表的文章中,學者們通過2 種方式對一維數據進行維度轉換。第一種方式是通過信號處理的方法,如離散小波變換[61]、連續小波變換[62,63]等,這種方式將一維時域信號轉換為二維的時頻域數據,使其適應于二維CNN 的輸入。但是,該種處理采集數據的方式在化工過程的故障診斷任務中的研究較少。考慮到化工過程中的時空數據特征,上述的數據處理方式無法關注到時間依賴性。在多變量的情況下,變量之間空間互相關和不同時間點樣本的時間依賴性是故障檢測與診斷任務的主要信息來源。單純的假設不同時間點的樣本相互獨立會丟失一部分有用的時間信息,這種信息對診斷結果起著至關重要的作用。因此,學者們采用了另外一種方式,充分考慮了數據的時空域信息,通過手動調整輸入數據的尺寸使采集的一維數據轉換成二維形式。Wu 等[64]提出了一種基于深度卷積神經網絡故障診斷模型,通過堆疊多個時間段的監測數據形成時間維度×變量維度的輸入形式,模型采用了多個卷積層和池化層提取監控數據的特征,最后采用全連接層連接網絡之前學習的特征并通過softmax 層輸出故障類型,所提出方法同時考慮了過程數據在時間和空間維度的特征,并且采用了dropout 技術防止模型出現過擬合現象,在TE 過程的20 種故障的平均故障診斷率達到88.2%。類似于這種思想,基于CNN 的故障診斷方法被應用于反應精餾[25,26]、熱泵系統[65]和半導體制造過程[66]。以此方式進行的數據處理完全排除了人為的因素,并且通過堆疊多個時間段的采樣數據考慮了時間維度的特征。該種方式通過固定長度的滑動窗口生成一系列數據樣本。由于數據維度的轉變,時間相關性和變量間的互相關可以被充分利用,解決了其他方法無法充分考慮時空域信息的問題。然而,確定滑動窗口的大小和步幅是一個全新的問題,它們的設定會影響到診斷算法的泛化能力,理想的情況下,可以通過先驗知識和多次調整參數完成,具體的實踐還需要不斷地用實例證明。并且,這種方式會導致在應用過程中收集數據的延時性。一維CNN 也被應用于處理化工過程的數據,采用該種方法的輸入數據是未經預處理的原始數據,目前已經成功應用于TE 過程[67]和流化床反應器[68]。一維CNN 能夠避免采集信號的延時性,但診斷性能不如二維CNN,因此相關的研究較少。

2.4 基于RNN 的方法

循環神經網絡是人工神經網絡的一種,被廣泛的應用于語音識別、翻譯和計算機視覺等領域。RNN 對時間序列敏感,在處理和預測時間序列數據方面有著很大的優勢。與普通神經網絡相比,RNN在隱藏層上增加了1 個反饋連接,可以保留前1 層的輸出信息。如圖6所示,RNN 在中間層加入了循環結構,每1 個神經元的輸出不僅傳入到下1 個神經元,而且保存到當前神經元,即加入了“記憶功能”。RNN 接收時間序列數據,將隱藏層的特征沿著網絡傳播產生輸出值,這些特點使得RNN 非常適合用于對時間信號的建模。

圖6 循環神經網絡的結構Fig.6 Architecture of RNN

RNN 的每1 個單元共享同一套參數,因此RNN不會因為循環結構導致產生大規模的參數。然而,隨著隱藏層數的增加,普通的RNN 結構在反向傳播中更新參數時梯度非常小(幾乎為0),這稱為梯度消失現象。梯度消失會導致RNN 無法更好地學習模型參數。因此,普通的RNN 在處理長期依賴數據時會遇到瓶頸。為了解決這個問題,學者們提出了2 種改進的RNN 單元結構,即長短期記憶網絡(Long Short-Term Memory,LSTM)[69]和門控循環單元(Gated Recurrent Units,GRU)[70]。LSTM 和GRU通過引入門結構提高模型的長期儲存能力,并且具有更快的收斂速度。

雙向RNN(Bidirectional RNN,BiRNN)是RNN的一種變體。傳統的單項RNN 可以從正向傳遞獲取序列特征,而BiRNN 可以從正向和反向同時提取特征。因此,它可以從當前輸入節點之后的數據預測時間t的狀態。BiRNN 通常比單項RNN 性能更好,因為在BiRNN 在反向中提取了數據的其他特征。通過組合不同的RNN 單元和BiRNN,獲得的BiLSTM 和雙向BiGRU 具有更加復雜的結構,預測和分類功能也更加強大。

基于RNN 及其變體的故障檢測與診斷方法在應用于化工過程時具有以下優勢:1)RNN 對時間序列數據敏感,采用RNN 的方法能夠充分提取化工過程數據的動態時序性特征;2)對于不規則的采樣信號,RNN 能夠在輸入數據的維度變化時保持穩定。

Kang 等[71]討論了RNN 結構、層數和節點的對于TE 過程故障診斷結果的影響,結果顯示具有256個節點單層的RNN 具有最優異的故障診斷性能,平均故障診斷率達到了84.9%,并且能夠識別普通的人工神經網絡不能夠識別的故障。Zhao 等[72]采用LSTM 神經網絡實現了對TE 過程數據的故障診斷。Zhang 等[73]提出了一種基于BiRNN 的故障檢測與診斷方法,討論了3 種不同的RNN 單元結構和BiRNN 對于診斷結果的影響,結果顯示基于BiGRU的模型具有最好的故障診斷性能,平均故障檢測時間為27.7 min,平均故障診斷率達到了92.7%,優于基于DCNN 和DBN 等深度學習模型。Sun 等[74]提出了一種基于BRNN(bayesian RNN)的故障診斷框架,實現了對非線性動力學過程的故障檢測,并且該方法能夠通過不確定性估值分析故障的傳播路徑。

為了充分發揮RNN 處理時間序列數據的優勢,研究者們進一步研究了結合RNN 和其他方法混合的模型。針對多相、非線性和具有動態特征的過程,Ren 等[75]提出了一種批處理LSTM 編碼解碼器網絡,采用LSTM 編碼器提取過程數據的非線性動態特征,然后采用解碼器進行樣本生成,通過計算統計量H2和SPE 進行過程監控。張[76]提出了一種SMOTE 和Siamese LSTM 的組合方法,成功應用于各類樣本數目不平衡的化工過程,并在多種不平衡數據比例的情況下獲得了魯棒性較強的診斷模型。Shao 等[77]提出了一種串聯LSTM 與CNN 的化工過程故障診斷方法,首先,將數據輸入至LSTM 中提取時空域特征,然后將特征輸入至CNN 中提取隱藏層特征,最后通過softmax 層輸出故障診斷結果,該方法在TE 過程的21 種故障類型平均故障診斷率達到了90%以上,優于單獨的LSTM 和CNN 模型。Wang 等[78]提出了一種并聯LSTM 和CNN 的故障診斷方法來解決非線性,強耦合和時變性的化工過程,輸入數據分別通過LSTM 和CNN 網絡進行特征提取,然后將特征融合至MLP 網絡中輸出診斷結果,在工業煉焦爐工藝和TE 工藝過程驗證了提出并聯的LSTM 和CNN 方法比串聯的方法更具優勢。為解決分類模型無法檢測出未知故障的問題,Xing 等[79]提出了一種基于CNN-LSTM-FCM 的故障診斷模型,將所有未知的故障認定為一種已知類型,實現了對未知故障的診斷。Shahnazari 等[80]提出了一種新的化工過程故障檢測思路,采用RNN 估計系統的輸入和輸出,通過構建殘差分離不同的故障類型,該方法能夠檢測出同時發生的多個傳感器故障。文章中提出,該方法是一種可移植方法,RNN可以采用PLS 或隨機森林等方法代替。

3 挑戰和未來發展方向

在工業4.0 中,提高化工系統對自身健康情況的感知和故障預測是重點研究目標之一[81]。正如本論文所述,許多研究表明基于深度學習方法在該領域的應用是一個非常有前景的方向。然而,對于這項跨統計學、計算機科學、系統工程等各領域的技術研究具有很大的挑戰性,前進的道路必然不會平坦。本節提出了深度學習技術應用于化工過程故障檢測與診斷過程中易被忽略或未被充分考慮的一些問題,并且從“數據”、“模型”和“可視化”3個方面指出了深度學習在該領域的發展前景。

3.1 挑戰

3.1.1 數據的質量問題

數據是基于深度學習的故障檢測與診斷方法的唯一信息來源,因此數據的質量決定著模型的檢測能力和泛化能力。實際工業系統中采集到的數據信號充滿著多種不確定性因素,過程數據存在著冗余信息,包括一些重復性數據和噪聲干擾,嚴重影響模型對于數據的特征表示。目前的深度學習方法在處理噪聲數據的時候具有較好的穩定性,但應用于實際工業中時,噪聲水平的不確定性等因素直接決定了故障檢測與診斷的結果,仍需加以重視。

3.1.2 數據的數量及標簽問題

數據的質量影響著模型的性能,數量同樣是影響深度學習的重要因素。數據獲取難度大是深度學習應用于各個領域的最大障礙之一。在化工過程中,系統長期處于正常運行狀態,故障數據采集是一項具有挑戰性的工作。此外,目前大部分的研究是基于監督學習的方法,這意味著數據需要標簽。獲取數據標簽需要專家和專業人士進行人工標記,這是一項復雜、費時又費力的工作。因此,解決數據獲取以及標記問題是一大挑戰。

3.1.3 模型的優化問題

深度學習是一門充滿未知和挑戰的學科,它要求專業人士具有豐富的深度學習實踐經驗。例如,選擇合適的模型處理復雜的化工過程數據防止過擬合;調整超參數使模型具有泛化能力;設定學習率使模型更快收斂等。目前,深度學習模型的參數調整還是一個高度依賴經驗的過程,沒有形成一套具體的模型優化方案。盡管深度學習以“端到端”的形式自動學習數據特征而聞名,但應用于具體的工業過程時會依賴于研究者的深度學習知識經驗。并且,解決方案高度依賴深度學習的發展,這要求學者們時刻關注化工過程故障檢測與診斷的最佳案例。

3.1.4 “概念漂移”導致模型的不穩定性

具體來說,“概念漂移”的意思是實時數據具有時間性,隨著時間的推移,系統的輸出數據會產生變化,這導致了訓練時的離線數據和監控的實時數據產生偏差,例如,隨著季節變化產生的溫度偏差。“概念漂移”問題在故障檢測與診斷的研究案例中往往被忽略了。目前的大部分研究還僅限于實驗室測試,“概念漂移”的影響還不是很明顯。因此,解決“概念偏移”問題是應用于真實化工過程的重要挑戰之一。

3.1.5 非穩態過程

由于不連續的操作,非穩態過程數據具有多元、非線性和高維性的特點,特別是對于非周期性的過程。目前,深度學習在化工過程安全領域的研究目前主要集中于穩態過程,對于非穩態過程(如批處理間歇操作和開停車操作)的研究相對較少。并且,對于非穩態過程的研究僅限于將該過程視為強非線性過程,收集數據及標簽,搭建深度學習模型。從模型的本質上來說,并未實現具有針對性的故障檢測與診斷。如何準確有效地將深度學習應用于非穩態過程是一個具有挑戰性的問題。

3.2 未來發展方向

針對深度學習在化工過程故障檢測與診斷的應用中存在的問題,本節從“數據”、“模型”、和“可視化”3 個方面對未來的發展方向進行了概括性展望。

3.2.1 從“數據”的角度

3.2.1.1 建立化工過程標準大數據庫

基于深度學習的方法在訓練時需要大規模的數據,因此,數據的質量和數量直接影響著模型的性能。建立化工過程標準大數據庫對于技術的創新、過程機理與模型的融合以及跨學科應用具有重要的意義。具體可從以下2 個方面展開:建立工業數據庫統一管理平臺以及統一標準;鼓勵實驗室數據和工業數據共享。

3.2.1.2 解決數據不平衡問題

過程系統長期處于正常的運行狀態,故障狀態的數據難以采集,樣本間的數目不均衡會導致模型傾向于學習樣本數量多的數據特征。針對樣本數量不平衡問題,可以采用以下2 個思路進行。第1種思路是數據增強:在模式識別任務中,數據增強技術可以通過已有的數據樣本獲取更多的樣本。例如,將圖片進行平移、旋轉、縮放等方式進行數據擴充,從而使各個類別的樣本數量更加均衡。雖然工業數據并沒有如此直觀的方式進行數據擴充,幸運的是,生成對抗網絡(Generative Adversarial Networks,GAN)的最新發展為解決該問題提供了可行性策略。GAN 是一種新的深度學習方法,它由生成器和鑒別其組成。生成器用于生成新樣本,鑒別器能夠將真實樣本與生成樣本區分開,2 個模型相互抵制,直到鑒別器無法區分為止。GAN 能夠自動提取數據特征進行數據擴充,不需要人工干預,并且生成的樣本具有代表性。目前,GAN 技術已經應用于機械設備的故障診斷中[82,83],在化工過程的故障檢測與診斷領域處于起步階段,GAN 技術是該領域的發展趨勢之一。第2 種思路是遷移學習:遷移學習將所提取數據的潛在特征,遷移到另一個目標任務,解決模型的訓練缺乏數據的問題。已經有Wu等[84]提出采用遷移學習的方法解決化工過程數據缺失的問題,但相關的研究還無法解決新故障問題,并且模型的泛化能力還有待考察,基于遷移學習的方法研究是未來的重要發展方向。

3.2.2 從“模型”的角度

3.2.2.1 融合專家知識

基于深度學習的方法僅依賴數據進行故障檢測與診斷,從結果論的角度,它促進了該項技術的發展。然而,深度學習的體系結構和隱藏層等內部機制無法和實際的化工過程結合,目前優化模型的過程是通過猜測、實驗和驗證的方式完成的。這樣的方式導致了故障檢測與診斷技術完全脫離了化工專家知識。專家知識的應用能夠提升故障檢測與診斷性能。例如,采用先驗知識對變量進行選擇和排序,判別特征的重要性學習有助于搭建更加簡易的模型。并且,復雜的化工工業系統存在多模態切換過程,整個過程變化規律不定,先驗知識的應用有助于模型適應各種不同情況,因此將專家知識和深度學習模型融合是提升故障診斷性能的方案之一。

3.2.2.2 耦合算法

每種深度學習算法均有自身的優勢與不足,如CNN 具有強大的特征提取能力,能夠處理不同輸入類型的數據,然而CNN 在故障檢測中由于輸入數據為二維,導致延遲性較高;RNN 在處理時間序列數據時具有優勢,然而梯度消失問題和參數量大影響著模型的發展。由于化工過程充滿了非線性、動態時序性、多模態、間歇性等特征,特別是對于非穩態化工過程,單獨的深度學習算法無法滿足所有的需求,因此,算法耦合以實現全方位的故障檢測與診斷是未來的發展方向之一。

3.2.3 從“可視化”的角度

深度學習能夠挖掘數據抽象的特征表示,但是其內部計算出的特征可解釋性差,無法表達數據中隱藏的專業知識,目前故障的檢測與診斷還處于試驗后驗證結果的階段。端到端的黑匣子帶來便利性的同時,深度學習在應用于具體任務時的可解釋性需要深入探究。在未來的研究中,可視化技術的提升可以從以下幾個方面展開:根據化工過程的機理知識,從數據耦合與分解的角度將化工系統機理與所提取的特征進行可視化關聯;模型參數優化的過程與故障機理之間的可視化研究;檢測與診斷結果的直觀可視化呈現。

4 總結

化工過程的故障檢測與診斷對于工業系統的穩定性、安全性和產品的質量至關重要。本論文對近幾年深度學習在該領域的應用進行了歸納和總結,將常用的方法劃分為:基于AE 的方法、基于DBN 的方法、基于CNN 的方法和基于RNN 的方法。該論文從理論背景和工業應用的角度綜述了深度學習技術在化工過程故障檢測與診斷領域的研究進展,并指出了這4 種方法的優勢。最后,提出了該領域面臨的挑戰并從“數據”、“模型”和“可視化”3個方面展望了未來的發展方向。隨著深度學習技術越來越成熟,深度學習在化工過程的故障檢測與診斷領域具有光明的前景。