摘 要: 針對現有基于深度學習的化工過程故障診斷方法通常需要完備的標簽數據才能構建故障診斷模型等局限,提出一種基于時間集成—雙重學生模型(temporal ensembling-dual student,TE-DS)的半監督化工過程故障診斷方法。該方法首先以雙重學生模型為基礎,通過分類項約束、穩定性約束和一致性約束條件指導相互訓練,有效地緩解了誤差累積情況的發生;然后利用時間集成(temporal ensembling)將多個先前網絡評估的預測集成作為一致性正則化對象,達到緩解預測值噪聲、降低模型訓練時間的目的,以提高分類性能,實現故障診斷;最后通過田納西—伊斯曼(Tennessee-Eastman)化工過程基準數據進行故障診斷實驗,驗證提出方法的有效性和可行性,并與BNLSTM、DCNN和MCLSTM等有監督方法進行比較,證明了TE-DS算法對故障診斷的優越性。
關鍵詞: 故障診斷; 化工過程; 半監督學習; 雙重學生模型; 時間集成
中圖分類號: TP277"" 文獻標志碼: A
文章編號: 1001-3695(2022)01-015-0084-06
doi:10.19734/j.issn.1001-3695.2021.06.0229
Semi-supervised fault diagnosis method for chemical process based on TE-DS
Liu Jiaren1,2,3,4, Song Hong1,2,3, Li Shuai1,2,3,4, Zhou Xiaofeng1,2,3, Liu Shurui1,2,3
(1.Key Laboratory of Networked Control Systems, Chinese Academy of Sciences, Shenyang 110016, China; 2.Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110169, China; 3.Institutes for Robotics amp; Intelligent Manufacturing, Chinese Academy of Sciences, Shenyang 110169, China; 4.University of Chinese Academy of Sciences, Beijing 100049, China)
Abstract: Aiming at the limitation that the existing chemical process fault diagnosis methods based on deep learning usually need complete labeled data to build a fault diagnosis model,this paper proposed a semi-supervised fault diagnosis method for chemical process based on temporal ensembling-dual student model.Firstly,based on the dual student model,the method guided the mutual training through the classification constraint,the stability constraint and the consistency constraint,which effectively alleviated the error accumulation.Then it used temporal ensembling to integrate the prediction of multiple previous network evaluations as consistent regularization objects to alleviate the prediction noise and reduce the training time of the model,so as to improve the classification performance and realize fault diagnosis.Finally,this paper verified the validity and feasibility of the proposed method by the Tennessee-Eastman chemical process benchmark data.Compared with supervised methods such as BNLSTM,DCNN and MCLSTM,it proves that TE-DS algorithm is superior to fault diagnosis.
Key words: fault diagnosis; chemical process; semi-supervised learning; dual student model; temporal ensembling
0 引言
隨著化工系統集成化程度越來越高、生產過程越來越復雜,化工產品生產制造過程的監控也變得越來越重要。保證生產安全和產品質量的一個重點就是通過實時數據分析對制造過程進行準確、及時的監控。一般來說,過程監控方法分為模型驅動的方法、規則驅動的方法和數據驅動的方法[1~6]。隨著現代復雜過程化工系統的不斷發展,越來越多的化工過程數據通過在線測量和離線分析相結合的方式使用,數據驅動的過程監控技術得到了不斷的發展和普及。近幾年來,越來越多成熟的基于數據驅動的故障診斷方法已經被開發并應用于化工過程[7~14],然而如何在相對復雜的化工過程中對過程故障進行有效精準的診斷仍然是個挑戰。在過去的十年中,大量基于數據驅動的機器學習方法如費舍爾判別分析(Fisher discriminant analysis,FDA)、指數判別分析(exponential discriminant analysis,EDA)、人工神經網絡(ANN)和深度學習(deep learning)已成功應用于故障診斷問題。而現有方法中,能通過深層網絡結構進行擬合,使用復雜過程數據[15]的基于深度學習故障診斷方法受到越來越多的關注。例如,分層深度神經網絡(HDNN)[16]、棧式自動編碼器(SAE)[15,17,18]、深度信念網絡(DBN)[19]和卷積神經網絡(CNN)[20,21]等深度學習方法已應用于故障診斷,并取得了較傳統方法更加良好的性能。然而,包含大量參數的深層網絡架構在訓練中需要每個分類類別都具有完備的故障標簽[22],而通過專家經驗和先驗知識來標記過程樣本既要耗費大量的時間又需高昂的人力成本。因此,針對故障標簽不完備的復雜化工過程,如何利用深度學習等方法提升故障診斷性能仍是本領域值得深入研究的問題。
在故障標簽不完備時,半監督學習(semi-supervised lear-ning,SSL)能利用無標簽數據構建模型,為提升復雜化工過程故障診斷性能提供解決思路。在過去的幾年中,有研究人員將傳統的故障診斷方法(如FDA、EDA)與半監督學習相結合[23~25],利用PCA[26,27]作為正則化器處理未標記樣本,研究了傳統半監督故障診斷方法。然而隨著現代化工生產過程愈加復雜化,傳統的半監督故障診斷方法已無法滿足其高精度的要求。半監督棧式自動編碼器(semi stacked auto-encoder)[28]首次將半監督深度學習用于故障診斷方法中,利用未標記樣本進行重構,從而對編解碼網絡進行預訓練,通過標記樣本構建分類器并調整整個模型。在編碼—解碼兩個訓練階段中,監督項分類學習依賴于無監督項特征提取,整個半監督網絡訓練的著重關注點是正則化器對未標記樣本的重構能力,以便從樣本中提取出更有效的特征。因此,如何提升正則化器的訓練能力以克服模型訓練因誤差累積等局限而陷入性能低下的困境,是提高基于半監督深度學習故障診斷性能的關鍵所在。
為充分利用標記樣本和未標記樣本的優勢強化未標記樣本重構能力、提高故障診斷性能,本文提出了一種基于時間集成的雙重學生(dual student,DS)半監督網絡進行故障診斷。首先提出了基于雙重學生模型的故障診斷方法,該方法能夠在有限標記樣本情況下,通過兩個學生網絡互相指導來避免模型的訓練由于誤差累積而陷入分類性能瓶頸,緩解教師模型中的誤差累積問題;引入穩定性約束,通過每個待檢測樣本點鄰域內的預測一致性來進行約束,以此來選擇穩定的模型,從而對整個診斷模型進行指導提升;然后引入時間集成,將多個先前網絡評估的預測進行集成并作為一致性正則化對象進行無監督項訓練,以此來提高無監督項網絡的特征提取能力,減少預測標簽受噪聲干擾的影響,加強未標記樣本的重構能力;最后通過田納西—伊斯曼化工過程數據進行方法有效性驗證。
3 仿真實驗研究
3.1 田納西—伊斯曼過程
Tennessee-Eastman過程是美國Eastman化學公司的Downs等人根據實際化工過程開發的化工模型仿真平臺,被廣泛用于過程控制和檢測的測試問題,常被用于訓練、驗證和測試所提出的方法。田納西—伊斯曼過程包括反應器、冷凝器、氣液分離器、壓縮機和汽提塔五個主要操作單元,在仿真平臺中共有12個操縱變量、22個連續過程變量和19個成分變量,預先設定了21種故障,包括7類階躍變化故障(故障1~7)、5類隨機變化故障(故障8~12)、1類緩慢偏移故障(故障13)、2類閥門故障(故障14、15)、5類未知故障(故障16~20)、1類閥門恒定位置故障(故障21)。對變量每3 min采樣一次,共有44個數據集,包括22個訓練數據集和22個測試數據集。訓練集包括500個正常樣本和21個故障每類480個樣本,共10 580個樣本;測試集用于測試正常狀態的960個樣本均為正常,用于測試故障類型的樣本每類有960個,前160個為正常樣本、后800個為該故障樣本,測試集共有21 120個樣本[34]。
3.2 田納西—伊斯曼過程故障診斷實驗
為驗證提出方法有效性,本文對田納西—伊斯曼過程進行了單類故障診斷實驗和多類故障聯合診斷實驗,并與近年來在故障診斷領域文獻中提出的一些先進方法進行比較,包括BNLSTM[35]、DCNN[21]和MCLSTM[36]。實驗過程中,由于在田納西—伊斯曼過程中XMV(5)(壓縮機再循環閥)、XMV(9)(汽提塔蒸汽閥)和XMV(12)(攪拌器轉速)在模擬器中是恒定的,所以這三個變量被排除在外,選擇其余50個變量用于故障診斷。在確定數據集后,用動態數據表示方法將過程樣本轉換為樣本矩陣,時間間隔D被選取為20(1h)[21],以保證既能包含足夠的時間信息又不會衰減時間性能。因此每個樣本矩陣的大小為20×50,包含20個過程樣本和50個過程變量。
在故障診斷實驗中,為了增加訓練集的數據量,將原本的訓練集和測試集進行交換,即訓練集有960條數據,前160條為正常數據,后800條為對應的故障類型數據;測試集由500條正常數據和各個故障的480條數據組成。在以時間間隔D將數據矩陣化轉換為動態數據集后,每個工況對應的動態數據集樣本數量如表1所示。
對TE-DS模型的參數設置上,與DS模型的網絡參數設置一致,都使用Nesterov動量設置為0.9的SGD優化器。學習率由式(14)更新。
γ=γ0×(0.5+cos(t-1)πN)(14)
其中:參數t是當前的訓練迭代次數;N是總訓練迭代數;γ0是初始學習率,設置為0.01。其他網絡參數設定如下:訓練的批次大小設置為50,每批次含標簽樣本數為20,迭代次數為30,含標簽樣本的比例為20%,權重衰減為1e-4;對于穩定性約束,權重系數λ2設為100,并在前五個迭代中進行遞增;一致性約束權重系數λ1設為10,穩定樣本的置信閾值設為0.8。網絡模塊設置為13層的卷積神經網絡[31],詳細結構如表2所示。
其他對比方法所用數據與前述一致,對各類方法在測試集上的準確率進行統計匯總如表3所示。
從表3可以看出,本文方法在16個故障的測試集上較BNLSTM、DCNN和MCLSTM這三種有監督方法取得了更高的準確率。在常見的七個階躍變化故障(故障1~7)的測試集上,除故障5外均取得了高于其他方法的準確率,且在故障1、2、6和7上準確率均高達100%;在五個隨機變化故障(故障8~12)上,除故障10取得較低準確率外,在其他故障上均取得最高準確率;在慢偏移(故障13)和粘滯故障(故障14、15)中,TE-DS半監督診斷方法都取得了較三種有監督診斷方法更好的準確率;在六種未知故障(故障16~21)故障中,半監督診斷僅在故障16、21的檢測準確率比有監督診斷低,在其他四種故障診斷中都取得了更高的準確率。與DS方法相比,除故障20外,其他故障均取得了更高的準確率。在故障8、11、13、17、19五項故障工況的檢測中,作為半監督方法的TE-DS的準確率較有監督的三種方法有顯著提升。這有效驗證了將歷史預測值的時間集成作為正則化對象能夠有效地降低預測噪聲,提升模型的診斷性能。
為比較模型對多類聯合故障的診斷能力,本文還在田納西—伊斯曼過程上進行標簽樣本數量占比為20%的多類故障聯合診斷實驗。為體現實驗有效性,選擇正常工況,并在每類故障工況中選擇一種作為代表項,即選擇800條正常數據和故障1(階躍)、12(隨機變化)、13(慢偏移)、14(粘滯)、20(未知)下各800條數據組成含六種工況下的4 800條數據作為訓練集;選擇500條正常數據和故障1、12、13、14、20下各480條數據組成含六種工況下的2 900條數據作為測試集。基于TE-DS模型的聯合診斷結果的混淆矩陣如圖6所示。對各類方法的多工況測試集識別率的統計如表4所示。
由表4可知,對于正常工況,雖然各類方法的識別率都較高,但DS和TE-DS兩種方法較BNLSTM和MCLSTM兩種有監督方法有明顯提升。對于故障1,各類診斷方法的準確率都較高,DS和TE-DS方法達到了100%的準確率;對于故障12,DCNN準確率最高,達到92.02%,TE-DS準確率為90.46%,相差1.72%;對于故障13,達到92%準確率的TE-DS方法遠高于不到80%準確率的監督學習方法;對于故障14,各方法準確率均達到100%;對于故障19,BNLSTM、DS和TE-DS取得100%準確率,DCNN準確率較低為88.87%。TE-DS在六類工況的聯合故障診斷實驗中,對正常、故障1、14、20這四類工況的識別,相比于其他方法取得了更高的準確率,對于故障12與其他方法的最高識別也僅相差1.7%左右,對于故障12與最高識別僅相差0.2%。在田納西—伊斯曼仿真數據上進行的多類故障診斷實驗結果說明,提出的TE-DS半監督故障診斷模型相比以往的深度學習故障診斷模型能夠有效地緩解網絡訓練過程中的誤差累積情況,降低預測噪聲,提高診斷性能。
除與近年在故障診斷領域文獻中提出的先進方法進行比較外,本文還對穩定性約束進行了消融實驗。在表3、4中的TE-DC(temporal ensembling-dual constraint)方法只應用了分類約束與一致性雙重約束。可看到在單類和多類故障診斷中,穩定性約束均起到提高診斷性能的作用,其中單類故障診斷平均準確率提高10.83%,多類故障診斷平均準確率提高3.47%。在TE-DS模型訓練過程中,由穩定性約束來選擇表現更好的學生模型以對當前整個網絡參數進行更新。具體而言,每當一個學生模型的準確率較低時,都可以通過穩定性約束選擇預測效果更好的模型來對低精度模型進行指導訓練,由表現良好的學生模型的穩定性損失作為表現較差模型的穩定性損失,最終網絡根據更新后的損失對表現較差模型進行訓練。因此,TE-DS模型能夠克服以往單一故障診斷模型訓練時進入局部最優點的問題。
除上述實驗中標記樣本比例為20%外,圖7為所討論的兩種半監督方法在每類標記訓練樣本的不同比例下的總體準確率的比較結果。實驗結果表明,在標簽樣本有限的情況下,基于TE-DS的故障診斷具有較好的性能。這有效地說明了在半監督故障診斷中,作為無監督項的一致性正則化器在標簽不足的情況下能夠對診斷模型起到良好的指導作用。
圖8顯示了TE-DS模型離線階段的精度曲線。在第30個迭代左右,驗證準確率在初始上升之后開始下降,而訓練準確率已達到100%,因此所有的實驗中參數epoch設置為30,避免過擬合甚至導致驗證準確率下降。
以上對田納西—伊斯曼過程的單類和多類故障診斷的實驗中,相比于其他方法,提出的TE-DS方法取得了更高的準確率。此外,在兩次實驗中,TE-DS方法相比于DS方法準確率更高,收斂速度更快,驗證了對歷史預測數據集成用做正則化目標的方式能對化工過程數據實現更有效的特征提取,縮減了診斷模型訓練時間;TE-DS和DS方法相比BNLSTM和DCNN準確率都有較明顯提升,驗證了半監督模型能夠在缺少標簽樣本的化工過程中,依舊能夠取得與有監督模型相近甚至更好的效果。上述實驗分析可以看出,本文方法通過對復雜化工過程數據在故障標簽不完備的情況下使用雙重CNN模型提取特征的學習策略,能有效提升模型對化工過程數據的特征提取能力和故障診斷性能。
4 結束語
本文提出了一種半監督形式的時間集成雙重學生(TE-DS)方法用于故障標簽不完備的化工過程故障診斷,并有效緩解了傳統半監督故障診斷方法的無標簽數據重構能力差等問題。與以往的方法不同,TE-DS故障診斷模型引入了穩定性約束,克服了以往半監督故障診斷單模型由于誤差累積易陷入局部最優的問題。此外,該方法還通過對傳統的一致性半監督學習中的正則化目標進行優化,使用歷史預測值的時間集成作為正則化目標,以此達到在減輕模型訓練量的同時降低故障預測標簽的噪聲的目的。田納西—伊斯曼化工過程故障診斷實驗表明,該方法能有效地解決在復雜化工生產過程中故障標簽不完備等問題。后續研究工作將集中于進一步提升正則化器性能,并將所提方法擴展應用于多模態化工過程故障診斷。
參考文獻:
[1]Ge Zhiqiang.Review on data-driven modeling and monitoring for plant-wide industrial processes[J].Chemometrics and Intelligent Laboratory Systems,2017,171(12):16-25.
[2]Ge Zhiqiang,Song Zhihuan,Gao Furong.Review of recent research on data-based process monitoring[J].Industrial amp; Engineering Che-mistry Research,2013,52(10):3543-3562.
[3]Qin S J.Process data analytics in the era of big data[J].AIChE Journal,2014,60(9):3092-3100.
[4]李軍祥,李春陽,夏麗莎.基于改進KNPE算法的化工過程故障檢測[J].計算機應用研究,2021,38(5):1459-1462. (Li Junxiang,Li Chunyang,Xia Lisha.Fault detection based on improved KNPE in chemical process[J].Application Research of Computers,2021,38(5):1459-1462.)
[5]王文標,田志遠,汪思源,等.交叉分段PCA在鍋爐故障診斷中的應用[J].信息與控制,2020,49(4):507-512. (Wang Wenbiao,Tian Zhiyuan,Wang Siyuan,et al.Optimal operation method based on cross and piecewise PCA for industrial boilers[J].Information and Control,2020,49(4):507-512.)
[6]繆昭明,袁憲鋒,張暉,等.基于SE-CNN的服務機器人運動系統云端故障診斷方法[J].機器人,2021,43(3):321-330. (Miao Zhaoming,Yuan Xianfeng,Zhang Hui,et al.Cloud fault diagnosis method of a service robot motion system based on SE-CNN[J].Robot,2021,43(3):321-330.)
[7]Abbasion S,Rafsanjani A,Farshidianfar A,et al.Rolling element bearings multi-fault classification based on the wavelet denoising and support vector machine[J].Mechanical Systems and Signal Processing,2007,21(7):2933-2945.
[8]Dalstein T,Kulicke B.Neural network approach to fault classification for high speed protective relaying[J].IEEE Trans on Power Deli-very,2002,10(2):1002-1011.
[9]Silva K M,Souza B A,Brito N S D.Fault detection and classification in transmission lines based on wavelet transform and ANN[J].IEEE Trans on Power Delivery,2006,21(4):2058-2063.
[10]冀豐偲,余云松,張早校.LDA_SVM方法在化工過程故障診斷中的應用[J].高校化學工程學報,2020,34(2):487-494. (Ji Fengcai,Yu Yunsong,Zhang Zaoxiao.Application of LDA and SVM method in fault diagnosis of chemical process[J].Journal of Chemical Engineering of Chinese Universities,2020,34(2):487-494.)
[11]郭金玉,韓建斌,李元,等.基于局部Fisher判別分析的復雜化工過程故障診斷[J].計算機應用研究,2018,35(4):1122-1125,1129. (Guo Jinyu,Han Jianbin,Li Yuan,et al.Fault diagnosis of complex chemical process based on local Fisher discriminant analysis[J].Application Research of Computers,2018,35(4):1122-1125,1129.)
[12]Li Shuai,Zhou Xiaofeng,Pan Fucheng,et al.Correlated and weakly correlated fault detection based on variable division and ICA[J].Computers amp; Industrial Engineering,2017,112(10):320-335.
[13]Li Shuai,Zhou Xiaofeng,Shi Haibo,et al.Monitoring of multimode processes based on subspace decomposition[J].Industrial amp; Engineering Chemistry Research,2015,54(15):3855-3864.
[14]Li Shuai,Zhou Xiaofeng,Shi Haibo,et al.Multimode processes monitoring based on hierarchical mode division and subspace decomposition[J].The Canadian Journal of Chemical Engineering,2018,96(11):2420-2430.
[15]Lyu Feiya,Wen Chenglin,Liu Meiqin,et al.Weighted time series fault diagnosis based on a stacked sparse autoencoder[J].Journal of Chemometrics,2017,31(9):e2912.
[16]Heo S,Lee J H.Fault detection and classification using artificial neural networks[J].IFAC-PapersOnLine,2018,51(18):470-475.
[17]Lyu Feiya,Wen Chenglin,Bao Zejing,et al.Fault diagnosis based on deep learning[C]//Proc of American Control Conference.Pisca-taway,NJ:IEEE Press,2016:6851-6856.
[18]Zhang Zehan,Jiang Teng,Li Shuanghong,et al.Automated feature learning for nonlinear process monitoring:an approach using stacked denoising autoencoder and K-nearest neighbor rule[J].Journal of Process Control,2018,64(4):49-61.
[19]Zhang Zhanpeng,Zhao Jinsong.A deep belief network based fault diagnosis model for complex chemical processes[J].Computers amp; Chemical Engineering,2017,107(12):395-407.
[20]Lee K B,Cheon S,Kim C O.A convolutional neural network for fault classification and diagnosis in semiconductor manufacturing processes[J].IEEE Trans on Semiconductor Manufacturing,2017,30(2):135-142.
[21]Wu Hao,Zhao Jinsong.Deep convolutional neural network model based chemical process fault diagnosis[J].Computers amp; Chemical Engineering,2018,115(7):185-197.
[22]Russakovsky O,Deng Jia,Su Hao,et al.ImageNet large scale visual recognition challenge[J].International Journal of Computer Vision,2015,115(12):211-252.
[23]Zhong Shiyong,Wen Qiaoju,Ge Zhiqiang.Semi-supervised Fisher discriminant analysis model for fault classification in industrial processes[J].Chemometrics and Intelligent Laboratory Systems,2014,138(11):203-211.
[24]Zheng Junhua,Wang Hongjian,Song Zhihuan,et al.Ensemble semi-supervised Fisher discriminant analysis model for fault classification in industrial processes[J].ISA Trans,2019,92(9):109-117.
[25]Liu Jun,Song Chunyue,Zhao Jun.Active learning based semi-supervised exponential discriminant analysis and its application for fault classification in industrial processes[J].Chemometrics and Intelligent Laboratory Systems,2018,180(9):42-53.
[26]郭金玉,劉玉超,李元.基于概率密度PCA的多模態過程故障檢測[J].計算機應用研究,2019,36(5):1396-1399,1408. (Guo Jinyu,Liu Yuchao,Li Yuan.PCA based on probability density for fault detection of multimodal processes[J].Application Research of Computers,2019,36(5):1396-1399,1408.)
[27]劉舒銳,彭慧,李帥,等.基于IJB-PCA-ICA算法的故障檢測[J].化工學報,2018,69(12):5146-5154. (Liu Shurui,Peng Hui,Li Shuai,et al.Fault detection based on IJB-PCA-ICA[J].CIESC Journal,2018,69(12):5146-5154.)
[28]Jiang Li,Ge Zhiqiang,Song Zhihuan.Semi-supervised fault classification based on dynamic sparse stacked auto-encoders model[J].Chemometrics and Intelligent Laboratory Systems,2017,168(9):72-83.
[29]Rasmus A,Valpola H,Honkala M,et al.Semi-supervised learning with ladder networks[C]//Proc of the 28th International Conference on Neural Information Processing Systems.Cambridge,MA:MIT Press,2015:3546-3554.
[30]Ouali Y,Hudelot C,Tami M.An overview of deep semi-supervised learning[EB/OL].(2020-06-09).https://arxiv.org/pdf/2006.05278.pdf.
[31]Ke Zhanghan,Wang Daoye,Yan Qiong,et al.Dual student:breaking the limits of the teacher in semi-supervised learning[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway,NJ:IEEE Press,2019:6728-6736.
[32]Tarvainen A,Valpola H.Mean teachers are better role models:weight-averaged consistency targets improve semi-supervised deep learning results[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:1195-1204.
[33]Laine S,Aila T.Temporal ensembling for semi-supervised learning[EB/OL].(2017-03-15).https://arxiv.org/pdf/1610.02242.pdf.
[34]江升,曠天亮,李秀喜.基于稀疏過濾特征學習的化工過程故障檢測方法[J].化工學報,2019,70(12):4698-4709. ( Jiang Sheng,Kuang Tianliang,Li Xiuxi.A chemical process fault detection method based on sparse filtering feature learning[J].CIESC Journal,2019,70(12):4698-4709.)
[35]Zhao Haitao,Sun Shaoyuan,Jin Bo.Sequential fault diagnosis based on LSTM neural network[J].IEEE Access,2018,6:12929-12939.
[36]Shao Bilin,Hu Xiaoli,Bian Genqing,et al.A multichannel LSTM-CNN method for fault diagnosis of chemical process[J].Mathematical Problems in Engineering,2019,2019(12):article ID 1032480.