基于時序圖像深度學(xué)習(xí)的電熔鎂爐異常工況診斷

吳高昌 劉強(qiáng) 柴天佑 秦泗釗

電熔鎂砂(Fused magnesium furnace,FMF)具有熔點(diǎn)高、結(jié)構(gòu)致密、抗氧化性強(qiáng)、耐壓強(qiáng)度高、耐腐蝕性強(qiáng)以及化學(xué)性能穩(wěn)定等優(yōu)良特性,在工業(yè)、軍事領(lǐng)域乃至航天工業(yè)中都是不可或缺的戰(zhàn)略資源.目前,提煉電熔鎂砂的工藝流程通常是利用三相交流電熔鎂爐(簡稱電熔鎂爐)通過電弧來對以菱鎂礦石為主的粉末狀原料加熱熔煉.通過吸收電弧產(chǎn)生的熱量將礦石粉末加熱到近3 000?C,分解為熔液狀態(tài)的氧化鎂(MgO)和二氧化碳(CO2)氣體,再通過降溫結(jié)晶過程排除雜質(zhì),從而得到高純度的MgO晶體,即電熔鎂砂[1?3].而熔煉所用容器為有限使用次數(shù)的鐵制爐殼,并通過水循環(huán)系統(tǒng)進(jìn)行冷卻.

電熔鎂爐的運(yùn)行主要包括加熱熔化、加料和排氣三種正常工況.由于我國電熔鎂礦石存在品位低、礦物組成復(fù)雜以及成分波動大等特性,物料在熔化過程中電阻和熔點(diǎn)不穩(wěn)定,易發(fā)生欠燒等異常工況[4?5],對生產(chǎn)安全、人員安全和產(chǎn)品質(zhì)量產(chǎn)生很大影響,通常是由于原料雜質(zhì)成分導(dǎo)致局部熔點(diǎn)升高,以及不適當(dāng)?shù)碾娏髟O(shè)定值使局部熔煉區(qū)溫度低于原料熔化溫度,熔池過于粘稠,使CO2氣體無法正常排出,迫使溶液穿透爐殼保護(hù)層與鐵質(zhì)爐殼直接接觸,造成爐殼溫度過高至燒紅燒透,處理不及時甚至?xí)?dǎo)致燒漏、熔液漏出現(xiàn)象.

由于超高溫電熔鎂爐熔液溫度不直接可測,目前欠燒異常工況主要通過現(xiàn)場工人定期觀察爐殼特征來診斷.但人工巡檢工作強(qiáng)度大、危險性高,且準(zhǔn)確性高度依賴操作人員的經(jīng)驗(yàn)和狀態(tài).此外,通常從正常工況到產(chǎn)生欠燒工況僅需2～3 分鐘,而巡檢工人通常需要對每個廠區(qū)內(nèi)的三臺電熔鎂爐進(jìn)行往返巡視,滯后性大,處理不及時會導(dǎo)致漏檢.針對上述問題,亟需一種自動且快速有效的電熔鎂爐工況診斷方法.文獻(xiàn)[4]提出了一種基于電流數(shù)據(jù)的工況診斷方法,通過各工況的歷史電流數(shù)據(jù)提取出一系列專家規(guī)則庫,再利用該規(guī)則庫對現(xiàn)場運(yùn)行工況進(jìn)行實(shí)時診斷.但實(shí)際生產(chǎn)的眾多不穩(wěn)定因素導(dǎo)致該方法無法準(zhǔn)確、穩(wěn)定地工作,例如熔池中不斷產(chǎn)生的CO2氣泡導(dǎo)致熔液翻滾,使液面與三相電極間距不斷變化,電阻也會隨之改變,導(dǎo)致電流無規(guī)律的波動.此外,根據(jù)電流數(shù)據(jù)人為制定專家規(guī)則也高度依賴于專家經(jīng)驗(yàn),易發(fā)生漏報和誤報.在計算機(jī)視覺領(lǐng)域,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)由于出色的空間特征提取性能被用于圖像分割[6]、圖像超分辨率復(fù)原[7?8]以及圖像識別[9?10].利用CNN 的空間特征提取特性以及生成式對抗神經(jīng)網(wǎng)絡(luò)(Generative adversarial networks,GAN)的樣本生成特性,文獻(xiàn)[11]通過靜態(tài)圖像信息進(jìn)行工況診斷,但在訓(xùn)練與預(yù)測過程僅利用單幀圖片輸入,缺少對連續(xù)時間信息的感知,因此模型無法描述實(shí)際生產(chǎn)的動態(tài)過程.而在動態(tài)過程的表征及識別方面,循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)由于特殊的時序編碼結(jié)構(gòu)被廣泛應(yīng)用于語音辨識[12?13]、視頻識別[14]以及視頻預(yù)測中[15].但RNN 結(jié)構(gòu)僅利用全連接結(jié)構(gòu)作為輸入,因此往往忽略了圖像序列中的空間特征.

根據(jù)前文所述,電熔鎂爐欠燒工況時溶液凝固在爐殼內(nèi)壁導(dǎo)致爐殼燒紅燒透,為異常工況診斷提供了更直觀的視覺信息.本文主要工作如下:

為排除熔煉現(xiàn)場眾多隨機(jī)因素的干擾,提出灰度一致性變換和時序殘差圖像提取的預(yù)處理方法;針對電熔鎂爐異常工況發(fā)生發(fā)展的視覺特征,提出將CNN 與RNN 相結(jié)合的工況診斷方法,其中CNN 對預(yù)處理后的序列圖像提取空間特征并編碼為時間獨(dú)立的特征向量,再將一系列按時間序列排列的特征向量輸入至RNN 用以提取時序特征,從而挖掘出異常工況從無到有再到顯著的時空特性;針對電熔鎂爐異常工況標(biāo)記數(shù)據(jù)稀疏及獲取困難等問題,且為了避免人工逐幀標(biāo)記,結(jié)合電熔鎂爐異常工況的位置相對固定以及隨時間變化緩慢的特性,提出一種基于加權(quán)中值濾波的欠燒工況標(biāo)記方法,并利用電熔鎂爐實(shí)際生產(chǎn)過程的視頻信號,對所提方法與現(xiàn)有兩種深度學(xué)習(xí)模型(基于CNN 的模型與基于RNN 的模型)進(jìn)行了實(shí)驗(yàn)比較,驗(yàn)證了所提方法的有效性.

1 電熔鎂爐欠燒工況視覺特征分析

電熔鎂爐生產(chǎn)現(xiàn)場如圖1(a)所示,其中實(shí)線框內(nèi)為所標(biāo)記的爐殼區(qū)域.當(dāng)欠燒工況開始發(fā)生時,爐殼的局部區(qū)域會被粘稠MgO 熔液燒紅(如圖1(b)所示,其中欠燒工況發(fā)生的部位被標(biāo)記在實(shí)線框內(nèi)).通過識別爐殼的圖像序列中的高亮度區(qū)域便能對這一工況進(jìn)行判斷.但由于高亮度水霧以及爐殼上固有的白斑干擾,直接通過圖像中高亮度區(qū)域來判斷往往導(dǎo)致極高概率的誤報.通過對原始圖像序列提取出時序殘差信息(如圖1(c)顯示了某時刻欠燒工況下的時序殘差圖像,兩處高亮度區(qū)域?yàn)榍窡齾^(qū)域),可有效抑制爐殼上固有特征(如白斑)帶來的干擾,以及由于不同圖像序列中光照不一致造成的環(huán)境干擾.

在空間維度上,雖然欠燒工況的區(qū)域形狀不定,但由于其形成的內(nèi)在機(jī)理是由于熔液凝固在爐殼內(nèi)壁所致,因此具有一定的空間特征規(guī)律(如圖1(b)所示).最直接的異常工況診斷方法是對殘差圖像進(jìn)行逐幀空間特征提取,再對工況進(jìn)行分類.然而,由于環(huán)繞在爐殼周圍的水霧也呈現(xiàn)出高亮度特征,且區(qū)域形狀不定,會對最終的分類結(jié)果造成較大干擾.因此,大量水霧帶來的干擾成為從空間維度準(zhǔn)確診斷電熔鎂爐欠燒工況的主要難點(diǎn).簡單地將空間特征作為判斷依據(jù)并無法完整描述欠燒工況.

圖1 電熔鎂爐欠燒工況視覺特征分析Fig.1 Analysis of visual features of semimolten condition for an FMF

在時間維度上,欠燒區(qū)域一旦發(fā)生則位置隨時間相對固定,且亮度與范圍隨時間遞增的特征不同,水霧在時間維度中呈現(xiàn)出持續(xù)時間短且空間位置不確定性強(qiáng)的特征.圖1(d)為圖1(c)中豎線標(biāo)記位置處殘差隨時間的變化,其中橫坐標(biāo)為時間序列,縱坐標(biāo)為圖像空間維度中的垂直維度y.圖1(d)中,虛線框內(nèi)為水霧干擾區(qū)域,隨時間呈現(xiàn)出類似噪聲分布特征;實(shí)線框內(nèi)為欠燒工況區(qū)域,在時間維度上呈現(xiàn)出位置相對固定而強(qiáng)度遞增的特征.但由于各種因素干擾,欠燒工況區(qū)域并不是嚴(yán)格隨時間變大,即會在某些時刻變小甚至在短時間內(nèi)消失(如圖1(d)箭頭所示).因此,在利用每一時刻圖像的空間信息的同時,需要結(jié)合其在長時間跨度的整體動態(tài)特性作為診斷依據(jù).

2 基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的電熔鎂爐異常工況診斷

2.1 電熔鎂爐異常工況診斷策略

圖2 基于CRNN 的電熔鎂爐欠燒工況診斷策略結(jié)構(gòu)圖Fig.2 Framework of the proposed semimolten condition diagnosis based on CRNN for FMF

本文利用電熔鎂爐現(xiàn)場生產(chǎn)過程的視頻信號,結(jié)合欠燒(異常)工況的視覺特征,分別利用CNN與RNN 提取空間與時間維度上的特征,并建立如圖2 所示的基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)(Convolutional recurrent neural network,CRNN)的電熔鎂爐欠燒工況診斷結(jié)構(gòu).該結(jié)構(gòu)主要由三部分組成:圖像序列預(yù)處理模塊、基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的特征提取模塊和基于加權(quán)中值濾波的工況區(qū)域標(biāo)記模塊.

將圖像序列預(yù)處理得到的結(jié)果作為網(wǎng)絡(luò)輸入,基于加權(quán)中值濾波的工況區(qū)域標(biāo)記作為網(wǎng)絡(luò)的期望輸出,建立基于CRNN 的特征提取模型.在實(shí)時診斷過程中(圖2 中實(shí)線框部分),對于實(shí)時視頻信號首先通過視頻序列預(yù)處理模塊,處理后的圖像序列輸入訓(xùn)練得到的CRNN 模型得到診斷結(jié)果輸出.

具體地,圖像序列預(yù)處理模塊由圖像序列灰度一致性變換與時序殘差圖像提取步驟組成,前者用以排除電熔鎂爐爐口火焰亮度波動造成的相機(jī)不穩(wěn)定曝光干擾,后者用以排除不同爐殼表面固有視覺特征帶來的干擾.在基于RNN 的特征提取模塊中,CNN 利用輸入的圖像提取空間特征,并輸出時序上無關(guān)聯(lián)的空間特征向量,而RNN 則利用該特征向量在時序維度上進(jìn)行特征提取,并最終獲得工況診斷信息.本文使用對時間感知能力較強(qiáng)的長短期記憶(Long short-term memory,LSTM)結(jié)構(gòu)[16]作為RNN 的基本單元.由于對實(shí)際視頻信號進(jìn)行逐幀的異常工況區(qū)域標(biāo)記過程復(fù)雜且成本過高,本文結(jié)合欠燒異常工況的視覺特征,利用基于加權(quán)中值濾波的工況區(qū)域標(biāo)記模塊對標(biāo)記數(shù)據(jù)進(jìn)行稠密化與區(qū)域優(yōu)化,而初始標(biāo)簽數(shù)據(jù)獲取階段僅需要粗略與時序稀疏的人工標(biāo)記.

2.2 異常工況診斷算法

2.2.1 圖像序列預(yù)處理

首先對相機(jī)采集的原始圖像序列依次進(jìn)行灰度一致性變換和時序殘差圖像提取.

1)圖像序列灰度一致性變換.在生產(chǎn)過程中,電熔鎂爐爐口亮度波動會對相機(jī)曝光產(chǎn)生隨機(jī)干擾,相機(jī)自動調(diào)整曝光量會使拍攝的爐體圖像明暗不一.這種整體的環(huán)境光波動會對后續(xù)空間特征提取產(chǎn)生干擾.因此,本文利用灰度一致性約束[17]對爐殼圖像序列進(jìn)行處理.令VRGB={I1,I2,···,IN}為相機(jī)拍攝的圖像序列,其中In為第n幀RGB 空間的圖像.首先通過顏色空間映射將RGB 空間的圖像序列V轉(zhuǎn)換到Lab 空間,即VLab=fLab(VRGB)={fLab(I1),fLab(I2),···,fLab(IN)},其中fLab為顏色空間映射函數(shù)(將RGB 空間圖像映射到Lab 空間).現(xiàn)將Lab 空間的圖像f(In)簡寫為Hn,則經(jīng)過灰度一致性約束的圖像為

2)時序殘差圖像提取.不同電熔鎂爐可能存在固有的視覺特征差異,例如圖1(b)中爐殼上的白斑,以及不同的環(huán)境光源.為排除這些固有視覺特征差異對工況診斷的干擾以及使后續(xù)網(wǎng)絡(luò)模型可以用于不同電熔鎂爐,本文對經(jīng)過灰度一致性變換后的圖像序列進(jìn)行時序殘差圖像(圖1(c))提取,其值為

其中,Rn表示第n幀時序殘差圖像,fYUV為將圖像從RGB 空間映射到Y(jié)UV 空間的函數(shù).類似式(1),取前N2幀圖像的平均值作為參考圖像,其中N2取經(jīng)驗(yàn)值50.本文僅采用式(2)中時序殘差圖像Rn的Y 通道作為后續(xù)基于深度學(xué)習(xí)的工況診斷的網(wǎng)絡(luò)模型輸入,即時序殘差圖像序列VR={R1,R2,···,RN}.

需要注意的是,本文提到的時序殘差圖像是指相對于初始狀態(tài)(即前50 幀的平均狀態(tài))的殘差而非相對于上一時刻的殘差.另一點(diǎn)需要注意的是,由于熔煉初期不會發(fā)生欠燒工況,使用熔煉初期的前N2幀圖像的平均值作為參考圖像.因此,該預(yù)處理不會帶來診斷延遲.

2.2.2 基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的特征提取

1)基于CNN 的空間特征提取.傳統(tǒng)圖像處理方法依靠人為定義的算子(如梯度算子、Sobel 算子和SIFT 算子)提取圖像特征.這些由算子提取特征的操作可視為算子ω與殘差圖像R的卷積操作,即F=ω ?R,其中,?代表卷積操作,F為圖像特征矩陣.與傳統(tǒng)方法不同,CNN 將卷積算子也稱為卷積核W,視為可以調(diào)節(jié)的網(wǎng)絡(luò)參數(shù),即依靠大量訓(xùn)練數(shù)據(jù)和優(yōu)化算法對這些參數(shù)進(jìn)行自動調(diào)整,從而達(dá)到提取圖像特征的目的.因此本文將一層卷積網(wǎng)絡(luò)描述為

2)基于RNN 的時序特征提取.本文使用的循環(huán)神經(jīng)網(wǎng)絡(luò)直接利用CNN 的輸出yconv作為輸入,結(jié)構(gòu)如圖4 所示,其中網(wǎng)絡(luò)輸入x對應(yīng)于卷積網(wǎng)絡(luò)輸出yconv.RNN 的隱含層單元不僅輸出結(jié)果y,還包括狀態(tài)h,且該狀態(tài)h通過不斷循環(huán)(如圖4(a)所示),將時間序列信息引入網(wǎng)絡(luò).本文將輸入x的當(dāng)前時刻及歷史時刻的序列作為RNN 的輸入,展開為如圖4(b)所示的結(jié)構(gòu).需要注意的是,由于狀態(tài)h通過不斷循環(huán)傳遞時序信息,時間t的狀態(tài)ht為該時刻的輸入x,即以及之前時刻的輸入{xt?1,xt?2,···},即共同作用的結(jié)果.因此,RNN 的循環(huán)結(jié)構(gòu)使得該網(wǎng)絡(luò)能夠描述輸入序列的時間特性.

傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)單元,存在隨著時間遞增,后節(jié)點(diǎn)對前節(jié)點(diǎn)的感知能力下降,即長期依賴問題[18].而長短期記憶單元,即LSTM 單元,通過門的設(shè)計來保護(hù)與控制每個節(jié)點(diǎn)的狀態(tài),其中一個門僅允許少量的線性交互,使得時間較早的信息不會流失[19].因此,本文利用LSTM 作為RNN 結(jié)構(gòu)的核心單元來提取來自于CNN 的時序特征,結(jié)構(gòu)如圖5 所示,其中

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of the proposed CNN

圖4 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of the RNN

圖5 LSTM 單元Fig.5 The LSTM unit

其中,K為診斷結(jié)果類別空間,K=[0,1](0 代表正常區(qū)域,1 代表欠燒區(qū)域).最終診斷結(jié)果為

本文將兩個網(wǎng)絡(luò)(CNN 與LSTM)作為一個整體進(jìn)行訓(xùn)練,其損失函數(shù)LLoss為交叉熵,定義如下

其中,(x,y)為一組數(shù)據(jù)對,X為批處理數(shù)據(jù)中數(shù)據(jù)對數(shù)量,Q(y=k)為標(biāo)簽數(shù)據(jù)的概率分布,即對于正常區(qū)域Q(y=0)=1,Q(y=1)=0,而欠燒區(qū)域Q(y=0)=0,Q(y=1)=1.

2.2.3 基于加權(quán)中值濾波的工況區(qū)域標(biāo)記

電熔鎂爐欠燒工況主要依賴于人工判斷,但人為地對訓(xùn)練集圖像序列的每一幀進(jìn)行標(biāo)簽制作成本較高.例如,對一段持續(xù)1 小時的圖像序列進(jìn)行標(biāo)簽制作,視頻為30 幀/s,則需要對10 萬幀數(shù)據(jù)進(jìn)行欠燒工況發(fā)生位置的標(biāo)記.盡管訓(xùn)練集不成對的網(wǎng)絡(luò)訓(xùn)練方法已被提出[20],但需要利用只有輸入數(shù)據(jù)和只有標(biāo)簽數(shù)據(jù)分別對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,再通過同時有輸入和標(biāo)簽的數(shù)據(jù)對進(jìn)行網(wǎng)絡(luò)參數(shù)調(diào)整.因此,仍然需要獲取大量帶有標(biāo)簽的工況數(shù)據(jù).

為了快速并準(zhǔn)確獲取大量已標(biāo)記數(shù)據(jù),本文首先做出下述觀察:

1)欠燒工況一旦發(fā)生,其空間位置保持不變,在殘差圖像中呈現(xiàn)出的區(qū)域大小隨時間增加.

2)欠燒區(qū)域形狀不規(guī)則,但是一旦發(fā)生,其形狀不隨時間發(fā)生較大變化.

產(chǎn)生這兩項(xiàng)觀察的根本原因是由于接觸爐殼內(nèi)壁的MgO 高粘度溶液不會隨時間發(fā)生較大變化.

結(jié)合上述兩項(xiàng)觀察,本文提出一種從稀疏標(biāo)記數(shù)據(jù)中自動得到密集標(biāo)記數(shù)據(jù)的方法,僅需手動對圖像序列中的2 幀圖像進(jìn)行欠燒工況的粗略定位,就能夠通過自動標(biāo)記優(yōu)化方法對整段圖像序列的欠燒工況發(fā)生區(qū)域進(jìn)行準(zhǔn)確標(biāo)記,其具體步驟如下:

1)對圖像序列進(jìn)行稀疏粗略標(biāo)記.對一段時序殘差圖像中欠燒工況發(fā)生的起始幀G1與結(jié)束幀GN進(jìn)行人工定位,構(gòu)成含有粗略定位的參考標(biāo)記圖像(如圖6(c)所示).

2)將稀疏粗略標(biāo)記傳播至其他幀圖像.利用線性投影將第一步中的兩幀參考標(biāo)記圖像的標(biāo)記區(qū)域傳播至其他幀,構(gòu)成其中線性投影可描述為

其中,Oi為第i幀對應(yīng)的人工定位坐標(biāo).

3)標(biāo)記區(qū)域優(yōu)化.前兩步得到的標(biāo)記區(qū)域僅為粗略定位,因此本文利用加權(quán)中值濾波對每一幀的參考標(biāo)記圖像進(jìn)行優(yōu)化處理以得到最終的標(biāo)簽數(shù)據(jù)Yn:

圖6 基于加權(quán)中值濾波的訓(xùn)練集標(biāo)簽生成Fig.6 Generation of training labels based on weighted median filter

其中,N(p)為像素p的鄰域,xp為像素p的空間坐標(biāo),δ為克羅內(nèi)克函數(shù)(Kronecker delta function),即當(dāng)內(nèi)部變量為0 時δ(·)=1,否則為δ(·)=0,Ri為預(yù)處理得到的第i幀時序殘差圖像,ρR和ρx為加權(quán)中值濾波器的固有參數(shù).本文取ρR=0.08,ρx=2.圖6(d)為經(jīng)過加權(quán)中值濾波后的標(biāo)簽,結(jié)合圖6(a)和圖6(b)可以看到該標(biāo)簽?zāi)軌驅(qū)η窡齾^(qū)域進(jìn)行準(zhǔn)確定位.

3 應(yīng)用驗(yàn)證與實(shí)驗(yàn)結(jié)果與分析

本節(jié)結(jié)合實(shí)際的電熔鎂爐過程介紹卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的具體實(shí)現(xiàn)細(xì)節(jié),并從電熔鎂爐欠燒工況的診斷率與診斷敏感度兩方面,對提出的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行評價.其中,診斷率由網(wǎng)絡(luò)模型對所有測試幀的診斷正確率表示,包括漏診斷率(欠燒工況發(fā)生時未檢測出)、誤診斷率(正常狀態(tài)下診斷為欠燒工況)和總診斷率(總的診斷準(zhǔn)確率);診斷敏感度用從實(shí)際發(fā)生欠燒工況到由模型診斷出欠燒工況發(fā)生所歷經(jīng)的幀數(shù)表示.

實(shí)驗(yàn)主要與現(xiàn)有的純卷積神經(jīng)網(wǎng)絡(luò)模型[21]和純循環(huán)神經(jīng)網(wǎng)絡(luò)模型[12]進(jìn)行對比.其中,文獻(xiàn)[21]對輸入圖像分別提取局部空間特征與全局空間特征進(jìn)行圖像的顯著性檢測.具體地,文獻(xiàn)[21]對局部裁剪圖像以及整體圖像,分別利用兩個卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行空間特征提取,再通過一層全連接層融合不同尺度的空間特征.而文獻(xiàn)[12]利用含有多層LSTM單元的RNN 進(jìn)行語言識別.為了盡可能保證不同網(wǎng)絡(luò)之間的對比公平性,對文獻(xiàn)[21]及文獻(xiàn)[12]均采用7 層網(wǎng)絡(luò)結(jié)構(gòu),即對文獻(xiàn)[21]采用4 層CNN與2 層全連接層進(jìn)行不同尺度的空間特征提取,并利用1 層全連接層進(jìn)行特征融;對文獻(xiàn)[12]采用7層LSTM 單元(本文提出的網(wǎng)絡(luò)包含6 層卷積層與1 層LSTM 單元).此外,通過去除預(yù)處理步驟中的圖像序列灰度一致性變換和時序殘差圖像提取這兩步來分析提出的預(yù)處理方法對最終診斷結(jié)果的影響.

3.1 卷積循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練

本文使用從電熔鎂爐熔煉現(xiàn)場采集的5 組圖像序列,分辨率分別為330×380×300,330×380×367,315×385×800,360×480×201 和360×321×200,其中,前兩個維度分別為水平與垂直方向的空間維度,最后一個維度為時間維度(即視頻幀數(shù)).將第1～3 組序列作為訓(xùn)練數(shù)據(jù)集,第4 組和第5 組用于進(jìn)行應(yīng)用驗(yàn)證.由于工業(yè)背景下存在數(shù)據(jù)獲取困難的問題,直接使用采集到的圖像序列用于會導(dǎo)致訓(xùn)練集過小,網(wǎng)絡(luò)容易產(chǎn)生過擬合現(xiàn)象.為此,本文對第1～3 組訓(xùn)練數(shù)據(jù)進(jìn)行窗口化處理.CNN 網(wǎng)絡(luò)輸入為33×33×10 的數(shù)據(jù)(即空間維度取33×33),LSTM 網(wǎng)絡(luò)總共所需的輸入為64×10 的數(shù)據(jù),則網(wǎng)絡(luò)需要33×33×19 的數(shù)據(jù)輸入.從欠燒工況開始時刻進(jìn)行訓(xùn)練數(shù)據(jù)選取,3 組數(shù)據(jù)的開始時刻分別為121、266、290 幀,數(shù)據(jù)選取步幅為[14,14,8].共產(chǎn)生51 452 組訓(xùn)練數(shù)據(jù)對.使用第2.2.3 節(jié)中的訓(xùn)練數(shù)據(jù)集標(biāo)記方法對訓(xùn)練與評價數(shù)據(jù)進(jìn)行標(biāo)記僅耗時60.46 s(除去對欠燒工況區(qū)域的人工定位時間).網(wǎng)絡(luò)訓(xùn)練采用批處理方法,每批含有128 組數(shù)據(jù),則共產(chǎn)生401 批數(shù)據(jù),其中350 批作為訓(xùn)練數(shù)據(jù),50批作為驗(yàn)證數(shù)據(jù).

本文利用tensorflow[22]框架建立卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型(CNN 網(wǎng)絡(luò)與LSTM 網(wǎng)絡(luò)),并利用式(7)中的損失函數(shù)對兩個網(wǎng)絡(luò)同時進(jìn)行訓(xùn)練.使用均值為0、方差為1×10?3的高斯分布來初始化網(wǎng)絡(luò)模型的權(quán)值,偏置則初始化為0.使用Adam 優(yōu)化算法[23]進(jìn)行網(wǎng)絡(luò)訓(xùn)練,初始學(xué)習(xí)率為1×10?3,學(xué)習(xí)衰減率為0.99,即對所有訓(xùn)練集訓(xùn)練一次則學(xué)習(xí)率衰減為之前的0.99 倍.網(wǎng)絡(luò)訓(xùn)練在i7-4770,3.40 GHz的4 核CPU、內(nèi)存為16 GB 的電腦中運(yùn)行.通過4×105次訓(xùn)練,網(wǎng)絡(luò)模型逐漸收斂,收斂曲線如圖7所示,其中,訓(xùn)練Loss 和訓(xùn)練Acc 分別表示訓(xùn)練時的損失函數(shù)Loss 和準(zhǔn)確率;驗(yàn)證Loss 和驗(yàn)證Acc分別表示驗(yàn)證時的損失函數(shù)Loss 和準(zhǔn)確率.

圖7 卷積循環(huán)神經(jīng)網(wǎng)絡(luò)收斂曲線Fig.7 Convergence curve of the convolutional recurrent network

3.2 診斷結(jié)果分析

本文利用電熔鎂爐熔煉現(xiàn)場采集的圖像序列4和5 對提出的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行測試.將測試集中每一幀圖像及其對應(yīng)的工況作為一組測試數(shù)據(jù),即總測試數(shù)據(jù)數(shù)量為序列總幀數(shù)(401 組).漏診斷率rO、誤診斷率rF和總診斷率rA定義為

表1 顯示了文獻(xiàn)[21]提出的卷積神經(jīng)網(wǎng)絡(luò)模型、文獻(xiàn)[12]采用的循環(huán)神經(jīng)網(wǎng)絡(luò)模型和本文使用的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)對電熔鎂爐欠燒工況的診斷率.所有方法均使用第2.2.1 節(jié)描述的預(yù)處理后的時序殘差圖像作為輸入.

表1 電熔鎂爐欠燒工況的診斷率(%)Table 1 Diagnosis rates of semimolten condition for FMF(%)

從表1 可以看出,由于缺少在時間維度上的特征提取,文獻(xiàn)[21]中的卷積神經(jīng)網(wǎng)絡(luò)模型的總診斷率最低;文獻(xiàn)[12]中的循環(huán)神經(jīng)網(wǎng)絡(luò)模型由于缺少對圖像序列中每個像素的領(lǐng)域像素進(jìn)行編碼(即空間特征提取)而導(dǎo)致總的診斷率低于本文提出的方法;本文提出的CNN 與RNN 結(jié)合的方法通過對圖像序列的空間特征和時序特征同時進(jìn)行提取,從而能夠達(dá)到較高的診斷率,且誤診斷率較低(對本次實(shí)驗(yàn)的序列4 和5,誤診斷率為0).

圖8 電熔鎂爐欠燒工況診斷結(jié)果Fig.8 Results of the semimolten condition diagnosis for FMF

圖8 顯示了對圖像序列4 和5 的欠燒工況診斷結(jié)果,包括序列中爐殼表面某一欠燒區(qū)域的平均灰度值,對應(yīng)的時序殘差圖像平均灰度值,以及文獻(xiàn)[12]中的循環(huán)神經(jīng)網(wǎng)絡(luò)模型和本文方法的診斷結(jié)果.文獻(xiàn)[12]中的循環(huán)神經(jīng)網(wǎng)絡(luò)模型對欠燒工況的診斷在序列4 中滯后標(biāo)簽數(shù)據(jù)8 幀(0.27 s),在序列5(圖8(b))中滯后27 幀(0.90 s),而本文方法在對欠燒工況的診斷序列4 中滯后標(biāo)簽數(shù)據(jù)17 幀(0.57 s),在序列5 中滯后1 幀(0.03 s),因此本文提出的方法對異常工況有著更高的敏感度.此外,從圖8 可以看出,循環(huán)神經(jīng)網(wǎng)絡(luò)模型[12]的診斷結(jié)果穩(wěn)定性較差,例如在圖8(b)中判斷當(dāng)前工況為異常工況后仍然可能將后續(xù)序列判斷為正常工況,而本文提出的方法相對而言更加穩(wěn)定.為了方便方法比較,對序列4 從101～181 幀(顯示間隔為10 幀)的結(jié)果進(jìn)行了可視化展示,每列自上而下分別為輸入序列、CNN[21]、LSTM[12]和本文方法的結(jié)果,診斷的欠燒區(qū)域以最小包圍矩形標(biāo)記顯示如圖9 所示.從圖9可以看到,文獻(xiàn)[12]中僅使用LSTM 的診斷模型與文獻(xiàn)[21]中僅使用CNN 的診斷模型相比診斷結(jié)果更加穩(wěn)定,但兩者均傾向于將高亮度水霧區(qū)域誤診斷為欠燒區(qū)域(例如,文獻(xiàn)[21]診斷結(jié)果的第101,111,161,181 幀,文獻(xiàn)[12]診斷結(jié)果的第101,141幀).而本文所提的卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法則能夠很大程度地避免這類誤診斷現(xiàn)象.

在算法運(yùn)行角度方面,在與訓(xùn)練所用電腦相同配置(i7-4770,3.40 GHz 的4 核CPU,16 GB 內(nèi)存)條件下,所提方法在線診斷時對分辨率為360×480 的視頻信號的執(zhí)行速率為0.0271 s/幀,其中預(yù)處理耗時0.0057 s/幀,卷積循環(huán)神經(jīng)網(wǎng)絡(luò)耗時0.0214 s/幀.因此,整個算法流程每秒可處理約37幀圖像,能夠滿足實(shí)時性要求.

3.3 預(yù)處理與網(wǎng)絡(luò)可視化分析

本節(jié)對第2.2 節(jié)描述的預(yù)處理步驟(圖像序列灰度一致性變換和時序殘差圖像提取)對最終欠燒工況診斷結(jié)果的影響進(jìn)行分析,并對訓(xùn)練中間結(jié)果,即CNN 的第一層卷積核進(jìn)行可視化,以分析空間特征對整個工況診斷的意義.

表2 為預(yù)處理步驟對欠燒工況診斷率的影響結(jié)果,其中,無預(yù)處理為去除灰度一致性變換和時序殘差圖像提取步驟的結(jié)果,無預(yù)處理1 為去除灰度一致性變換步驟的結(jié)果,無預(yù)處理2 為去除時序殘差圖像提取步驟的結(jié)果.本文提出的兩步預(yù)處理步驟分別解決了爐口火焰對相機(jī)曝光產(chǎn)生的影響和冗余信息對網(wǎng)絡(luò)模型產(chǎn)生的影響.從表2 可以看出,兩者對最終的診斷結(jié)果均產(chǎn)生較為重要的影響,其中圖像序列灰度一致性變換(即預(yù)處理1)對診斷結(jié)果的影響更大.此外,從圖8 中輸入圖像平均灰度值與殘差圖像平均灰度值這兩條曲線可以看出,未做任何處理的圖像序列,圖像灰度值在異常工況發(fā)生時無任何變化,而經(jīng)過時序殘差圖像提取后,其灰度值變化較為明顯.

表2 預(yù)處理對診斷率的影響(%)Table 2 Influences of two preprocessing procedures on diagnosis rates(%)

圖9 電熔鎂爐欠燒工況診斷結(jié)果可視化Fig.9 Visualization of diagnosis result of semimolten condition for FMF

圖10 卷積神經(jīng)網(wǎng)絡(luò)的核函數(shù)可視化Fig.10 Visualization of kernels in the trained CNN

圖10 為本文使用的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型中CNN 權(quán)值參數(shù)的可視化結(jié)果,其中卷積核按照方差從大到小排列,且每個卷積核均被歸一化到[0,1]區(qū)間.圖10(a)為層(10×11×11×64)卷積核W1的第一個通道(共10 個通道).在這些卷積核中,部分核呈現(xiàn)出類似噪聲分布的狀態(tài),主要是由于相機(jī)本身的噪聲以及生產(chǎn)現(xiàn)場的水霧在空間與時間上呈現(xiàn)出無規(guī)律的變化;另一部分核呈現(xiàn)出較為規(guī)律的模式,類似人為定義的特征提取算子,例如邊緣提取算子 點(diǎn)提取算子和紋理提取算子.這些卷積核通過將分布在不同空間位置的圖像信息聚合為一個整體輸入到LSTM 網(wǎng)絡(luò)中,并通過參數(shù)訓(xùn)練來調(diào)整每個空間位置對最終輸出結(jié)果的影響,從而將異常工況在爐殼的空間分布信息利用起來,使之在最終的工況診斷中發(fā)揮作用.

由于本文使用的CNN 模型采用多幀殘差圖像作為輸入,網(wǎng)絡(luò)也起到一部分時序特征提取作用,則卷積核W1的通道可以理解為卷積核隨時間的分布.圖10(b)展示了層第3 個卷積核(即圖10(a)中實(shí)線框標(biāo)記出的卷積核)隨輸入通道(即時間維度)的變化結(jié)果,可以看到卷積核隨時序呈現(xiàn)較為緩慢的變化.但僅從10 幀圖像無法判斷該特征是由故障工況引起還是由大范圍水霧干擾引起.因此僅采用10 幀圖像作為CNN 的輸入無法提取足夠的時序信息來判斷故障工況的發(fā)生,而利用更多的時序圖像來將圖像隨時間的變化建立到CNN 中代價較高[24](例如,將30 幀圖像序列建立到模型中則需要第一層核函數(shù)為30 層),這對網(wǎng)絡(luò)收斂速度和后續(xù)的診斷速度都會產(chǎn)生較大的影響.由于循環(huán)神經(jīng)網(wǎng)絡(luò)有著出色的時序記憶特性,可以充分提取出序列圖像隨時間的變化關(guān)系,因此本文對電熔鎂爐異常工況的時序特征提取主要通過循環(huán)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn).

4 結(jié)論

本文結(jié)合生產(chǎn)現(xiàn)場的實(shí)際視頻信息,提出了一種基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的異常工況診斷方法.通過圖像序列灰度一致性變換和時序殘差預(yù)處理,排除了生產(chǎn)現(xiàn)場環(huán)境光變化以及不同電熔鎂爐爐殼固有視覺特征的變化帶來的干擾,提高了診斷精度.在此基礎(chǔ)上,使用工況的視頻信號,從空間和時間兩個維度提取電熔鎂爐異常工況局部緩變的時空特征,并診斷異常工況,相比其他方法具有更高的診斷精度.

本文提出的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)可推廣于其他具有強(qiáng)時空特征的其他工業(yè)過程的工況診斷,以及難以利用電流電壓等易受到強(qiáng)干擾的一維數(shù)據(jù)進(jìn)行工況診斷的工業(yè)過程;所提出的基于加權(quán)中值濾波方法可推廣應(yīng)用于工況標(biāo)記困難的其他工業(yè)過程.

結(jié)合現(xiàn)有視頻語義預(yù)測方法[25]以及基于過程數(shù)據(jù)故障趨勢預(yù)測方法[26],下一步將在本文提出的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)框架基礎(chǔ)上,開展基于視頻信號的故障趨勢預(yù)測研究工作.