基于貝葉斯網絡參數遷移學習的電熔鎂爐異常工況識別

閆 浩 王福利 , 孫鈺灃 何大闊 ,

電熔鎂砂又稱電熔氧化鎂,是優質菱鎂礦石在電熔鎂爐中經高溫熔融后形成的高純氧化物.作為重要的耐火材料,電熔鎂砂已被廣泛應用于電子器件、陶瓷、化工及航空航天等領域.在電熔鎂砂的熔煉過程中,由于各種原材料可能來自不同地域,質量會有很大差異.電熔鎂爐通過控制系統,根據不同條件跟蹤不同的電流設定點來完成熔煉過程.當原料的顆粒大小或成分發生變化時,如果電流的設定點未被及時合理地調整,則會發生異常.異常工況的發生將導致高能耗、產品性能下降甚至安全威脅.因此,有必要對異常工況進行準確的識別,以避免造成嚴重后果.異常工況的發生具有一定隨機性,這取決于原材料的質量和操作條件.隨著控制算法的改進,異常工況的發生率不斷降低.這種情況有利于生產合格的電熔鎂砂,卻也導致異常工況數據的收集變得更加困難.尤其是單個電熔鎂爐的異常工況數據非常有限.如果僅依靠少量的異常工況數據來建立異常工況識別模型,準確性將無法滿足實際要求.

目前,一些針對電熔鎂爐熔煉過程的異常工況識別和安全控制的研究成果已被相繼提出[1?11].在文獻[7]中,一種基于核主成分分析和核偏最小二乘模型的故障診斷方法被應用于電熔鎂爐熔煉過程中,但是該方法無法識別異常工況的類型.在文獻[8]中,基于操作人員判斷和消除異常工況的經驗,一種數據驅動的異常工況識別及自愈控制方法被提出.但是,文獻[8]僅利用了電流特征進行異常工況識別,而沒有融合多源信息,并且不能區分異常工況的嚴重程度.在文獻[9?10]中,通過融合電流、圖像和聲音等多源信息,提出了一種基于貝葉斯網絡(Bayesian network,BN)的電熔鎂爐熔煉過程異常工況識別方法.但是,文獻[9?10]所建立的BN 模型假設是基于足夠多的異常工況數據,當收集到的異常工況數據很少時,很難建立有效的異常工況識別模型.遷移學習能有效地解決這一問題,它旨在通過使用來自相關源域的數據及其他信息解決目標域問題.文獻[11]基于文獻[9?10]建立的BN 模型,考慮了來自同一工廠或其他工廠的電熔鎂爐的異常工況數據,提出一種基于BN 參數遷移學習的異常工況識別方法,提高了目標域異常工況識別的準確率.然而,文獻[11]所提出的方法僅適用于源域BN 與目標域BN 結構一致情況下的參數遷移學習.在實際情況中,很多工廠僅通過電流特征建立模型對異常工況進行識別,此時源域BN 與目標域BN 結構不一致,文獻[11]提出的方法無法利用這些源域信息.因此,如何進一步有效地利用這一部分源域信息,提出適用范圍更廣泛的BN 參數遷移學習方法,成為亟待解決的問題.

遷移學習已成功應用于分類[12]、濾波[13]、識別[14]、故障診斷[15]、預測[16]以及優化控制[17]等各種領域.文獻[18]表明使用計算智能的遷移學習方法是一項極具意義的研究工作,包括基于BN 的遷移學習、神經網絡遷移學習和模糊遷移學習.然而,針對BN 遷移學習的研究十分有限,現有的成果主要包括結構遷移學習和參數遷移學習兩個方面[19?26].針對BN 結構遷移學習,文獻[19]提出一種基于條件獨立性測試的BN 結構遷移學習方法;文獻[20?21]基于評分搜索提出一種針對相關任務的BN 結構遷移學習算法.針對BN 參數遷移學習,文獻[22]提出基于網絡和片段(子圖)相關性的BN 參數遷移學習算法;文獻[19]提出基于距離的線性池和局部線性池概率加權方法,但是該方法僅考慮了條件概率表(Conditional probability table,CPT)大小和數據集大小的影響,忽略了源域與目標域的適應度.此外,專家知識在BN 學習過程中起著重要作用[23?24,27?28].文獻[23]為了評估多任務BN 結構學習中的相關性,結合領域知識放松假設條件.文獻[24]通過整合知識遷移和專家約束,提出一種新的BN 參數遷移學習方法.

本文旨在目標電熔鎂爐異常工況數據稀缺的情況下,應用遷移學習的思想來建立目標域異常工況識別的BN 模型.與文獻[11]相比,本文放松了源域與目標域結構一致的前提假設,提出了適用范圍更加廣泛的源域與目標域結構不一致情況下的BN 參數遷移學習方法.首先,將目標域BN 分解成以單一節點及其父節點為單位的子BN.然后,針對目標域的每一個子BN,在源域中進行搜索,將具有相同結構關系的源域作為備選源域.在確定備選源域后,為避免負遷移,本文進一步提出了評價目標域與備選源域相似性的度量指標,該指標由整體結構相似度和參數相似度兩部分構成.其中,整體結構相似度通過本文提出的基于語義相似度的評價標準來計算;參數相似度通過提取目標域的專家知識作為約束條件來計算.根據計算得到的相似度得分,可以確定備選源域的遷移權重.最后,最終的目標域參數由備選源域參數和目標域參數加權獲得.為了評價提出的方法,首先在著名的Asia 網絡上比較并說明了遷移學習前后的效果,然后將所提出的方法應用于建立電熔鎂爐熔煉過程排氣異常工況識別模型.實驗結果表明,與目標電熔鎂爐缺少異常工況數據的建模方法相比,本文提出的方法具有更好的異常工況識別性能.

本文的創新點及貢獻主要體現在以下三個方面:1) 本文提出了源域與目標域結構不一致情況下的BN 參數遷移學習方法,其優點在于源域的選擇范圍更加廣泛,可利用的源域信息更加充分;2) 本文提出了一種新的評價源域BN 與目標域BN 相似度的方法,以避免負遷移的影響;3) 本文提出的方法被用來解決目標電熔鎂爐異常工況數據不夠充分的情況下,異常工況識別的建模問題.

本文章節安排如下:第1 節介紹了BN基礎;第2 節描述了電熔鎂爐熔煉過程和本文要解決的問題;第3 節提出了新的BN 參數遷移學習方法;第4 節先通過著名的Asia 網絡驗證了本文方法的有效性,然后將本文方法應用于電熔鎂爐熔煉過程排氣異常工況識別模型的建立以及在線識別;結論展示在第5 節.

1 BN 基礎

1.1 BN 定義

一般地,一個BN 可以定義為{V,A,θ}.其中,V表示系統變量,即BN 的節點集,并且Xi ∈V表示一個節點;A表示有向邊的集合,并且aij ∈A表示變量Xi與Xj之間的關系是Xj →Xi,即Xj是Xi的因(父),Xi是Xj的果(子);G={V,A}表示由節點構成的有向無環圖,并且圖中每個節點都有一個父節點集pa(Xi),pa(Xi)={Xj ∈V|Xj →Xi ∈A};θ表示BN 參數,并且θXi ∈θ表示與變量Xi相關的CPT,即變量Xi與其父節點之間依賴關系的定量表示.所有變量的聯合概率分布P(X1,X2,···,XN)可以用BN 的鏈規則分解為

P(Xi|pa(Xi))表示變量Xi在給定父節點集pa(Xi)下的條件概率.一旦父節點被分配,每個節點都是獨立的,這可以極大地降低結構學習和參數學習的計算復雜度,并且簡化BN 推理過程,該準則稱為D 分離準則[29].

1.2 BN 參數遷移學習

一個域D={V,G,Da}包含三個部分:BN 節點,BN 結構和相關的數據.BN 參數學習的目的就是確定每個節點的CPT,可以通過最大似然估計(Maximum likelihood estimation,MLE) 方法來獲得.本文有一個目標域Dt和一組相關源域L ≥1.目標域變量V t={X1,···,Xn},1≤n ≤N,N表示目標域BN 的節點數量;源域變量Xm,Y1,···,Yk},1≤m ≤M ≤N,1≤k ≤K,L表示第L個源域,M表示該源域與目標域相同節點的數量,K表示該源域與目標域不同節點的數量.目標域有小數據集源域數據,i ≥1.本文提出的BN 參數遷移學習定義為:給定一組源域L ≥1和一個目標域Dt,通過式(2)來估計目標域參數

其中,假設V t V s,Gt Gs,并且Dt具有不同的參數分布.

1.3 BN 片段

由第1.1 節的BN 定義可知,BN 結構G由節點和有向邊組成.因此,可以將BN 劃分為一組子圖,定義為片段.每一個片段是原始BN 中的單個根節點或者是節點Xi及其直接父節點pa(Xi),并且從原始BN 中匹配對應的CPT.可以說,BN 是由以節點為單位的BN 片段組成的,片段數即是原始BN 中的節點(變量)數[22].BN 分解的示意圖如圖1 所示.由于目標域BN 與源域BN 結構不一致,目標域中不同的節點可能與不同的源域相關.因此,本文以BN 片段的方式進行參數遷移學習,一旦目標域每個節點的參數都被確定,完整的目標域BN 參數即被獲得.

圖1 BN 分解示意圖Fig.1 Schematic diagram of BN decomposition

2 電熔鎂爐熔煉過程描述

2.1 過程描述

圖2 為電熔鎂爐熔煉過程的簡化示意圖.一般包括三個主要的熔煉狀態:加熱熔煉、加料和排氣.操作人員通常根據經驗確定不同狀態下的電流設定點.控制系統通過跟蹤不同的電流設定點來完成熔煉過程.在生產過程中,由于不同產地的礦石原料包含的雜質種類及含量有所不同,熔點就會不同,電弧電阻也會不斷發生改變,進而引起電弧電流的頻繁波動.如果控制系統的電流設定點不能得到及時調整,就會發生異常工況,包括:半熔化異常工況、過加熱異常工況和排氣異常工況.

圖2 電熔鎂爐熔煉過程示意圖Fig.2 Schematic diagram of the electro-fused magnesia furnace smelting process

BN 是對不確定性問題進行建模和決策的有效工具[30],能有效建立電熔鎂爐熔煉過程的異常工況識別模型.文獻[9?10]已對電熔鎂爐熔煉過程的三種異常工況進行了深入分析,并且根據專家知識建立了相應的BN 模型結構.本文主要考慮排氣異常工況,其BN 模型結構如圖3 所示,各節點物理意義如表1 所示.

圖3 電熔鎂爐排氣異常工況的BN 模型結構Fig.3 BN model structure for the abnormal exhausting condition of the electro-fused magnesia furnace

表1 各節點物理意義Table 1 Physical meaning of the nodes

當礦石原料的顆粒大小發生改變時,原料與電極之間的縫隙會發生變化,二氧化碳氣體從不合適的縫隙中排出爐外,容易導致爐中氣壓失衡.此時,三相電極會在不平衡的氣壓下劇烈晃動,造成電弧電阻的劇烈波動,進而導致電流的劇烈波動.若這種狀況持續的時間超過設定閾值,會造成高溫熔液從爐中噴出,出現“噴爐”現象,該工況即為排氣異常工況.由于噴出的熔液內部溫度高達2 800 ℃,異常工況的發生會給現場熔煉設備和工人的安全造成極大威脅.排氣異常工況在圖像上的表現是有大量熔液噴出爐外,在聲音上的表現是“噴爐”發生的一段時間內,聲音變化明顯.因此,聲音信息(飛濺特征頻率下的短時能量及幅值)、圖像信息(平均灰度、灰度方差及灰度豐度)以及電流信息(電流變化率及跟蹤誤差)多源特征被用來辨別排氣異常工況是否發生,即根據節點E～ K 推理節點A 的狀態.

2.2 問題描述

本文要解決的問題描述如下:目標域電熔鎂爐具有稀少的異常工況數據,無法準確學習異常工況識別BN 模型的參數.源域為同一工廠或其他工廠的電熔鎂爐,既包含僅通過電流特征進行異常工況識別的數據,也包含通過電流、圖像和聲音多源特征進行異常工況識別的數據.由此可見,目標域和源域的任務是相同的,都是解決電熔鎂爐異常工況識別的問題.目標域和源域BN 模型結構不一定相同,參數也具有不同的分布.本文參數遷移學習的目的就是利用多個相關源域來改進目標域BN 模型的參數學習.

3 本文方法

本文提出一種新的BN 參數遷移學習算法,流程圖如圖4 所示.具體步驟描述如下.

1)確定目標域節點的備選源域.

根據第1.3 節所述,可以將目標域BN 分解成以節點為單位的BN 片段,以片段的方式進行遷移學習.選擇目標域的一個節點分別在每個源域中進行搜索,如果某一個源域中存在該節點,且具有相同父節點集,則對于節點目標域與該源域具備相同結構關系,并且將該源域作為備選源域.目標域的每一個節點都需要執行上述操作,該過程的示意圖如圖5 所示.

針對節點在確定備選源域后,需要進一步評價備選源域與目標域的相似性,進而確定遷移權重,以避免負遷移的影響.本文提出的相似性評價指標由整體結構相似度和參數相似度兩部分組成.

2)計算該節點備選源域與目標域的整體結構相似度.

基于語義相似度的方法[31],本文提出備選源域與目標域整體結構相似性的評價標準,如式(3)所示

其中,Sim(V t,)∈[0,1],1≤l ≤L′ ≤L,表示第l個備選源域,L′表示備選源域的數量.備選源域與目標域整體結構越相似,則此值越高,完全一致時值為1.

3)計算該節點備選源域與目標域的參數相似度.

本文利用專家知識約束的方法來計算節點備選源域與目標域的參數相似性.提出的目標域專家知識約束包括兩種形式:形式一是定性形式,即同一節點在不同狀態下的概率關系;形式二是定量形式,即參數的取值范圍.具體形式表示如下:

圖4 提出的BN 參數遷移學習方法流程圖Fig.4 Flow diagram of the proposed BN parameter transfer learning method

圖5 確定備選源域示意圖Fig.5 Schematic diagram for determining alternative source domain

形式一.同一節點在不同狀態下的概率關系表示為

其中,1≤i ≤n,n表示BN 模型中的節點數;1≤j ≤qi,qi表示第i個節點的父節點的狀態組合數;是第i個節點的不同狀態,并且ri表示第i個節點的狀態數;表示目標域的實際參數,滿足第i個節點處于第k′個狀態,其父節點集處于第j個狀態;表示目標域的實際參數,滿足第i個節點處于第k′′個狀態,其父節點集處于第j個狀態.

形式二.參數的取值范圍表示為

形式一的專家知識適合判斷備選源域的參數是否可以被遷移,而形式二的專家知識適合確定備選源域在遷移學習中的作用.因此,本文首先由形式一確定備選源域的參數是否可用于遷移學習,然后由形式二計算遷移的備選源域與目標域的相似性.如果該節點滿足更多的形式二,則更有可能擁有與目標域相似的概率分布.當備選源域的該節點的參數滿足一個形式二時,此備選源域的相似性得分將加1.對于更重要的約束,可以設置更高的相似性得分.通過這種評分的方式,可以評價備選源域與目標域的參數相似性.

4)計算備選源域的遷移權重.

首先,根據步驟2)中整體結構相似度確定備選源域遷移的結構權重,如式(6)所示

最后,備選源域的最終遷移權重如式(8)所示

5)根據步驟3)中的專家知識形式一判斷該節點目標域的參數是否可用于遷移學習,如果答案為“是”,則轉到步驟6);如果答案為“否”,則轉到步驟7).

6)計算該節點目標域的最終參數.

根據式(9)計算目標域的最終參數

其中,η(0≤η <1) 表示備選源域的權重,由專家知識根據實際情況確定;表示通過MLE 方法獲得的目標域參數;表示通過MLE 方法獲得的第l個備選源域的參數;表示由備選源域和目標域加權獲得的最終的目標域參數.轉到步驟8).

7)計算該節點目標域的最終參數.

根據式(10)計算目標域的最終參數

8)判斷該節點是否為目標域的最后一個節點,如果答案為“是”,則結束;如果答案為“否”,則轉到步驟1).

4 實驗結果

4.1 Asia 網絡實驗

本節在著名的Asia 網絡上評估本文提出的BN 參數遷移學習方法.Asia 網絡是一個驗證性BN[32],用于表示與呼吸急促有關的變量之間的因果關系,網絡結構如圖6 所示,各節點的CPT 如表2～表8 所示.

圖6 Asia 網絡結構Fig.6 Structure of the Asia network

表2 節點 和 的CPTsTable 2 The CPTs of nodes and

表2 節點 和 的CPTsTable 2 The CPTs of nodes and

表3 節點 的CPTTable 3 The CPT of node

表3 節點 的CPTTable 3 The CPT of node

表4 節點 的CPTTable 4 The CPT of node

表4 節點 的CPTTable 4 The CPT of node

表5 節點 的CPTTable 5 The CPT of node

表5 節點 的CPTTable 5 The CPT of node

表6 節點 的CPTTable 6 The CPT of node

表6 節點 的CPTTable 6 The CPT of node

表7 節點 的CPTTable 7 The CPT of node

表7 節點 的CPTTable 7 The CPT of node

表8 節點 的CPTTable 8 The CPT of node

表8 節點 的CPTTable 8 The CPT of node

從真實的Asia 網絡采集300 個樣本作為目標域數據,并且構建具有不同結構和不同概率分布特征的8 個相關的源域BN,如圖7 所示,從每個相關源域BN 分別采集1 500 個樣本作為源域數據.針對Asia 網絡的專家知識形式一為和專家知識形式二如表9 所示.

圖7 相關的源域BNFig.7 Related source domain BN

表9 Asia 網絡專家知識形式二Table 9 The expert knowledge form two for the Asia network

為了評估參數學習的效果,本文使用KL(Kullback-Leibler)散度來度量學習到的參數與真實參數的接近程度.KL 散度的表達形式如式(11)所示,KL 散度的值越小,說明參數學習的性能越好[11].

首先,不進行遷移學習,僅使用目標域小數據集學習目標域網絡的參數,即式(9)中η=0.在這種情況下,KL 散度值為44.504,參數學習的性能較差.然后,使用本文提出的BN 參數遷移學習方法來學習目標域網絡參數,圖8 顯示了不同權重η下的KL 散度值.從圖8 中可以看出,隨著權重η的增加,遷移來的源域作用增加,KL 散度值變小,即學習到的參數更接近真實的網絡參數.因此,本文提出的方法比僅使用目標域小數據集進行參數學習具有更好的性能.為進一步驗證本文在提出的備選源域與目標域相似度評價指標中考慮備選源域與目標域結構差異的必要性,與僅使用專家知識而不考慮整體結構相似度的BN 參數遷移學習方法進行對比,不同權重η下的KL 散度值同樣顯示在圖8中.通過比較可以發現,對于所有權重η,不考慮二者的結構相似度時所獲得的KL 散度值均大于考慮結構相似度時所獲得的KL 散度值.由此可見,本文提出的衡量備選源域與目標域相似度的方法可以避免負遷移的影響.

圖8 不同權重 η 下的KL 散度值Fig.8 The values of KL divergence under the different weightsη

4.2 電熔鎂爐熔煉過程排氣異常工況識別仿真實驗

在本節中,將提出的方法應用于電熔鎂爐熔煉過程排氣異常工況識別.本文的實驗在電熔鎂爐仿真平臺上進行,該平臺由本文作者所在的研究團隊設計和構建,如圖9 所示.仿真平臺可以根據機理分析和實際數據對電熔鎂爐熔煉過程進行仿真,從而完成對該過程的最優控制、異常工況識別和自愈控制.該平臺包括以下設備:具備不同功能的計算機、嵌入式過程控制系統、數據服務器、傳感設備和傳輸設備.傳感設備包括電流測量儀、圖像測量儀和聲音測量儀.在工業現場,多源信息由傳感設備收集并存儲于數據服務器中,傳輸設備在一定時間間隔內通過以太網將信息傳輸到模擬區域.

電熔鎂爐熔煉過程排氣異常工況識別的BN 模型結構已經在第2.1 節描述.以節點A 和節點B 為例,表10 和表11 分別表示它們的參數表達形式.其他節點的參數表達形式與節點A 和節點B 類似,故省略.針對電熔鎂爐熔煉過程排氣異常工況識別模型,專家知識形式一和專家知識形式二分別如表12 和表13 所示.

圖9 電熔鎂爐仿真平臺Fig.9 Construction of simulation platform for electric-fused magnesium furnace

表10 節點A 的參數表達形式Table 10 The parameters expression of node A

表11 節點B 的參數表達形式Table 11 The parameters expression of node B

表12 排氣異常工況識別模型的專家知識形式一Table 12 The expert knowledge form one for the abnormal exhausting condition model

表13 排氣異常工況識別模型的專家知識形式二Table 13 The expert knowledge form two for the abnormal exhausting condition model

為說明本文方法的有效性和優越性,設計三組實驗進行對比.首先,按照文獻[9?10]提出的方法,不進行遷移,僅使用目標域電熔鎂爐的500 條稀缺數據學習目標域排氣異常工況識別BN 模型的參數,并將其表示為模型一.然后,從同一工廠其他兩組僅利用電流特征進行排氣異常工況識別的熔煉過程以及兩組利用多源特征進行排氣異常工況識別的熔煉過程中,分別收集2 000 條排氣異常數據作為源域數據,通過本文提出的BN 參數遷移學習方法來學習目標域排氣異常工況識別BN 模型的參數,并將該模型表示為模型二.最后,按照文獻[11]提出的方法,僅考慮結構一致情況下的源域,不使用結構不完全一致的相關源域信息,即只從兩組使用多源特征進行排氣異常工況識別的熔煉過程分別收集2 000 條排氣異常數據作為源域數據,來學習目標域排氣異常工況識別BN 模型的參數,并將該模型表示為模型三.綜上所述,三種模型的建模方法描述如表14 所示.

表14 三種模型描述Table 14 Descriptions of the three models

本文選取一些排氣異常工況的典型事件進行分析,如表15 所示.異常工況體現為7 個不同的特征,即節點E～ K.每個特征分為3 個或4 個等級,由數字1～ 3 或1～ 4 表示.其中,節點E～ J 分為3 個等級,分別為:小、中、大;節點K 分為4 個等級,分別為:非常小、小、大、非常大.以事件編號18 為例,其物理意義是節點E、F 的狀態等級為小;節點G～ I 的狀態等級為中;節點J 的狀態等級為大;節點K 的狀態等級為非常大.節點A 分為4 個等級,分別為:正常、輕度異常、中度異常、嚴重異常,由數字1～ 4 表示.

表15 排氣異常工況的典型事件Table 15 The typical scenarios for the abnormal exhausting condition

將表15 中典型事件的特征作為證據輸入到已經建立的模型一、模型二和模型三,并且進行BN 推理.本文使用聯結樹推理算法[33].推理結果分別展示在表16～ 表18 中,將具有最大后驗概率的等級視為識別結果,并以粗體顯示.

根據實際操作經驗,與表16～ 表18 的識別結果進行比較,可以得到三種模型的異常工況識別準確率,分別為72.2%、100%和94.4%.模型一由于僅使用了目標域稀缺數據學習目標域BN 模型參數,無法完全學習到數據真實的分布特性,建立的BN 模型不準確,因此異常工況識別準確率較低,為72.2%.模型三由于使用了兩組結構一致的源域來輔助學習目標域BN 模型參數,異常工況識別準確率得到了有效的提升,為94.4%.而模型二除了使用兩組結構一致的源域,還使用了兩組結構不完全一致的相關源域,使用的源域信息更加充分,建立的BN 模型更加準確,因此比模型三有更高的識別準確率,為100%.實驗結果說明了本文提出方法的有效性和優越性.

表16 排氣異常工況識別模型一的識別結果Table 16 The identification results of abnormal scenarios for model one

表17 排氣異常工況識別模型二的識別結果Table 17 The identification results of abnormal scenarios for model two

表18 排氣異常工況識別模型三的識別結果Table 18 The identification results of abnormal scenarios for model three

5 結論

本文針對電熔鎂爐熔煉過程中異常工況數據不夠充分的情況,提出了一種新的BN 參數遷移學習方法,解決了源域與目標域結構不一致情形下的參數遷移學習問題.目標域BN 被分解成以單一節點及其父節點為單位的子BN.針對每一個子BN,在源域中進行搜索,將具有相同結構關系的源域作為備選源域.在確定備選源域后,為避免負遷移影響,本文進一步提出了評價備選源域與目標域相似性的指標.通過計算整體結構相似度和該節點的參數相似度,確定了備選源域的遷移權重.最后,將備選源域參數和目標域參數進行加權,獲得了最終的目標域參數.在Asia 網絡以及電熔鎂爐熔煉過程排氣異常工況識別的實驗,說明了本文提出方法的有效性和優越性.