基于圖像與電流特征的電熔鎂爐欠燒工況半監(jiān)督分類(lèi)方法

盧紹文 溫乙鑫

電熔鎂砂具有耐火、耐高溫、耐腐蝕、抗氧化等特性,是我國(guó)重要戰(zhàn)略性原材料,在航空、軍工等眾多領(lǐng)域應(yīng)用廣泛[1?3].我國(guó)電熔鎂砂制備大多以菱鎂礦石為原料,利用三相交流電熔鎂爐將其加熱至2800 ℃以上進(jìn)行熔煉,再將熔煉得到的氧化鎂進(jìn)行降溫結(jié)晶、去除雜質(zhì)后得到高品質(zhì)的電熔鎂砂.電熔鎂爐熔煉過(guò)程包括啟爐、加料、正常熔煉、欠燒等工況.其中,欠燒工況是一種異常工況,它的出現(xiàn)通常由于原料中的雜質(zhì)導(dǎo)致原材料不完全熔融,由此產(chǎn)生的氣泡致使?fàn)t內(nèi)局部溫度過(guò)高[3].若欠燒工況未能及時(shí)發(fā)現(xiàn)并處理,不僅會(huì)大大降低產(chǎn)品的質(zhì)量,還可能導(dǎo)致?tīng)t壁燒漏、熔融狀原料泄漏等重大事故,威脅人員安全[1].因此,及時(shí)判斷欠燒工況對(duì)電熔鎂砂的制備非常重要.在實(shí)際生產(chǎn)中,欠燒工況主要靠工人巡檢,觀察爐壁及火焰狀態(tài)來(lái)判斷.但是該方法依賴(lài)操作人員的經(jīng)驗(yàn),易發(fā)生誤判或漏判;同時(shí)生產(chǎn)現(xiàn)場(chǎng)環(huán)境惡劣.為此,亟需一種自動(dòng)、快速且準(zhǔn)確的異常工況判別方法,將工人從危險(xiǎn)、高強(qiáng)度的工作中解放出來(lái),實(shí)現(xiàn)安全生產(chǎn).

目前,電熔鎂爐異常工況的識(shí)別研究大致可分為兩類(lèi).一類(lèi)方法利用三相電流的變化模式進(jìn)行工況識(shí)別.如文獻(xiàn)[4?6]提出了基于三相電流值的規(guī)則推理算法,通過(guò)分析不同工況下的歷史電流統(tǒng)計(jì)特征,歸納出一套工況判斷專(zhuān)家規(guī)則庫(kù),進(jìn)而根據(jù)現(xiàn)場(chǎng)實(shí)時(shí)采集的電流值進(jìn)行異常工況判別.但由于電流值存在大量噪聲,僅憑電流特征進(jìn)行工況判別并不理想,其適合作為一種輔助特征.另一類(lèi)方法主要利用電熔鎂爐生產(chǎn)的監(jiān)控圖像進(jìn)行工況識(shí)別.這類(lèi)方法利用爐壁、爐口火焰圖像蘊(yùn)含的直觀信息,建立工況的感知模型[7].如盧紹文等[1]提出一種基于可見(jiàn)光RGB圖像與紅外熱像相結(jié)合的電熔鎂爐欠燒工況感知技術(shù),利用深度卷積網(wǎng)絡(luò)學(xué)習(xí)聯(lián)合兩類(lèi)圖像特征的分類(lèi)模型,但是該技術(shù)采用的熱像裝置成本較高,難以實(shí)現(xiàn)大規(guī)模工業(yè)應(yīng)用;趙磊等[2]利用動(dòng)態(tài)紋理建立火焰圖像的線性動(dòng)態(tài)模型,利用Martin距離建立基于核支持向量機(jī)的工況分類(lèi)模型;劉強(qiáng)等[8]提出一種基于多級(jí)動(dòng)態(tài)主元分析的無(wú)監(jiān)督異常工況診斷方法,將動(dòng)態(tài)內(nèi)模型主元分析應(yīng)用于故障工況診斷;吳高昌等[3]提出一種基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的電熔鎂爐異常工況診斷方法,從時(shí)間、空間兩個(gè)維度提取特征并診斷異常工況,該方法特別依賴(lài)于欠燒工況下?tīng)t壁亮斑的特征.

然而,在工業(yè)現(xiàn)場(chǎng)對(duì)上述兩類(lèi)方法的測(cè)試發(fā)現(xiàn),單一采用電流或者圖像的欠燒工況識(shí)別技術(shù),在實(shí)時(shí)性和準(zhǔn)確性上均難以達(dá)到滿(mǎn)意的程度.一方面,雖然電流的變化模式能夠在某種程度上反映生產(chǎn)工況,但是這類(lèi)特征很難被人識(shí)別,因此目前對(duì)于電流數(shù)據(jù)的工況標(biāo)記仍需通過(guò)對(duì)應(yīng)時(shí)刻的監(jiān)控視頻予以間接確定.另一方面,對(duì)電熔鎂爐生產(chǎn)圖像進(jìn)行人工標(biāo)記的代價(jià)較高,而且欠燒初期或過(guò)渡狀態(tài)下難以準(zhǔn)確標(biāo)記.因此,如何將電流特征的敏感快速特點(diǎn)與圖像特征的準(zhǔn)確性相結(jié)合,以期在欠燒工況尚未完全成型時(shí)即予以準(zhǔn)確預(yù)警,是亟需解決的問(wèn)題.將電流與圖像兩類(lèi)特征結(jié)合起來(lái)進(jìn)行工況判斷,涉及特征融合問(wèn)題.在機(jī)器學(xué)習(xí)中,特征融合是指在分類(lèi)器設(shè)計(jì)中綜合利用多種特征的方法,目的是實(shí)現(xiàn)各特征優(yōu)勢(shì)的互補(bǔ).其經(jīng)典方法有基于貝葉斯決策理論的分類(lèi)器融合方法[9],基于稀疏表示理論的方法[10?12],基于深度學(xué)習(xí)的方法[13]等.

此外,考慮到電流數(shù)據(jù)一般無(wú)標(biāo)記(只能通過(guò)圖像進(jìn)行間接標(biāo)記),而圖像數(shù)據(jù)標(biāo)記代價(jià)高的問(wèn)題,本文期望在半監(jiān)督學(xué)習(xí)框架下設(shè)計(jì)分類(lèi),以利用大量的無(wú)標(biāo)記數(shù)據(jù)樣本.半監(jiān)督學(xué)習(xí)是在學(xué)習(xí)器訓(xùn)練中同時(shí)利用有標(biāo)記樣本和無(wú)標(biāo)記樣本的一類(lèi)方法[14?16].半監(jiān)督學(xué)習(xí)的核心是如何利用無(wú)標(biāo)記樣本中蘊(yùn)含的信息.早期常用的方法包括協(xié)同訓(xùn)練(Cotraining)[17?18],基于圖的半監(jiān)督學(xué)習(xí)[19?20]等.其中,與本文方法關(guān)系較密切的是基于樣本分布的方法,這類(lèi)方法假設(shè)無(wú)標(biāo)記數(shù)據(jù)樣本的類(lèi)別分布具有低密度可分性(Low density separation),據(jù)此盡量使得決策界面通過(guò)樣本分布密度較低的區(qū)域.基于該思想,無(wú)標(biāo)記數(shù)據(jù)樣本在某個(gè)度量空間中的聚類(lèi)特性可被用于監(jiān)督學(xué)習(xí)器的訓(xùn)練.其中較為經(jīng)典的方法包括半監(jiān)督支持向量機(jī)(Semi-supervised support vector machine,S3VM)[21],它在低密度分離假設(shè)條件下使得支持向量機(jī)的決策超平面盡量穿過(guò)低密度區(qū)域.此外,樣本的聚類(lèi)信息可通過(guò)條件熵的方式引入到結(jié)構(gòu)風(fēng)險(xiǎn)目標(biāo)函數(shù)中,通過(guò)加入的正則化項(xiàng)迫使決策邊界穿過(guò)低密度樣本區(qū)域[22?25].

本文介紹一種半監(jiān)督學(xué)習(xí)框架下的電流與圖像特征融合的電熔鎂爐異常工況識(shí)別方法.該方法在基于圖像的工況分類(lèi)器基礎(chǔ)上引入電流數(shù)據(jù)的特征,期望提高視頻工況識(shí)別的精度,特別是對(duì)僅靠視頻特征難以分類(lèi)的樣本(如過(guò)渡態(tài))的識(shí)別精度.本文的主要貢獻(xiàn)在于:將電流與圖像的特征融合問(wèn)題轉(zhuǎn)化為半監(jiān)督學(xué)習(xí)問(wèn)題,在Grandvalet等提出的熵正則化(Entropy regularization,ER)半監(jiān)督學(xué)習(xí)框架下構(gòu)造分類(lèi)器,并且給出基于交叉熵方法(Cross-entropy method,CEM)的高效訓(xùn)練方法,顯著提升了訓(xùn)練效率;利用仿真數(shù)據(jù)和公開(kāi)數(shù)據(jù)集討論了本文所提方法的性能,并利用工業(yè)數(shù)據(jù)進(jìn)行測(cè)試,結(jié)果表明本文方法顯著優(yōu)于僅采用電流或圖像的工況識(shí)別方法.此外,本文提出的基于交叉熵的訓(xùn)練方案對(duì)于未來(lái)生產(chǎn)應(yīng)用中的分類(lèi)模型的實(shí)時(shí)快速更新具有現(xiàn)實(shí)意義.

1 問(wèn)題描述與技術(shù)路線

1.1 問(wèn)題描述

本文研究的問(wèn)題是:根據(jù)電熔鎂爐生產(chǎn)過(guò)程采集到的三相電流、爐口火焰視頻數(shù)據(jù),判斷當(dāng)前生產(chǎn)工況是否處于欠燒狀態(tài).其中,三相電流數(shù)據(jù)無(wú)標(biāo)記,爐口火焰數(shù)據(jù)含有少量標(biāo)記.本文的目標(biāo)是構(gòu)建一個(gè)融合上述兩類(lèi)特征的分類(lèi)器,實(shí)現(xiàn)欠燒工況判別.

1.2 總體技術(shù)路線

根據(jù)工藝經(jīng)驗(yàn)知識(shí),欠燒工況能夠更為敏感地反映于電流.雖然電流數(shù)據(jù)本身是無(wú)標(biāo)記的,但是如果電流的數(shù)據(jù)分布能夠表現(xiàn)出與工況相關(guān)的聚類(lèi)特征,那么通過(guò)構(gòu)造電流與圖像的聯(lián)合數(shù)據(jù),在半監(jiān)督學(xué)習(xí)框架下,將電流數(shù)據(jù)的邊緣分布的先驗(yàn)信息傳導(dǎo)至圖像分類(lèi)器的訓(xùn)練中,可望提高基于圖像的分類(lèi)器的準(zhǔn)確性.基于以上思路,本文提出的方法可分為三步:

1)對(duì)采集到的生產(chǎn)過(guò)程電流和圖像數(shù)據(jù)進(jìn)行預(yù)處理,提取特征,進(jìn)行部分標(biāo)記,得到電流特征數(shù)據(jù)集X C,圖像特征數(shù)據(jù)集X V,圖像數(shù)據(jù)的標(biāo)記向量y V.

3)通過(guò)構(gòu)造聯(lián)合數(shù)據(jù)樣本,在形式上將特征融合問(wèn)題轉(zhuǎn)化為基于樣本X的半監(jiān)督學(xué)習(xí)問(wèn)題.為了在聯(lián)合特征分類(lèi)器的訓(xùn)練過(guò)程中引入電流樣本分布的聚類(lèi)屬性,本文采用熵正則化半監(jiān)督學(xué)習(xí)方法.即在最大后驗(yàn)概率估計(jì)框架下,引入無(wú)標(biāo)記電流樣本分布的條件熵作為正則化項(xiàng),使得決策界面盡量通過(guò)樣本的低密度區(qū)域.然而,由此得到的似然函數(shù)一般是非凸的,為此本文提出一種基于交叉熵的訓(xùn)練算法實(shí)現(xiàn)目標(biāo)函數(shù)的優(yōu)化.

2 圖像特征提取

根據(jù)現(xiàn)場(chǎng)巡檢工人的經(jīng)驗(yàn),在電熔鎂爐熔煉過(guò)程不同工況下的可視化特征主要體現(xiàn)在爐口火焰.如圖1所示,左圖為正常熔煉工況,右圖為欠燒工況.因此,本文選定電熔鎂爐爐口火焰區(qū)域作為感興趣區(qū)域(Region of interest,ROI)進(jìn)行圖像特征提取,以減少處理時(shí)間、增加精度[26].

圖1 爐口火焰與感興趣區(qū)域Fig.1 Furnace mouth flame and ROI

本文采用多元圖像分析(Multivariate image analysis,MIA)技術(shù)提取爐口火焰特征.MIA是從化學(xué)分析領(lǐng)域發(fā)展而來(lái),早在1989年,由Esbensen等人首次提出[27];1996年,Geladi等人對(duì)其進(jìn)行補(bǔ)充并在工業(yè)過(guò)程中應(yīng)用和完善[28].MIA技術(shù)能夠根據(jù)多個(gè)圖像通道間變量的相關(guān)信息,對(duì)單個(gè)像素進(jìn)行無(wú)監(jiān)督聚類(lèi),量化圖像的光譜特性[29].

根據(jù)巡檢工人的經(jīng)驗(yàn),正常熔煉工況與欠燒工況在可視化特征上的差異主要體現(xiàn)在火焰高亮區(qū)域的面積、爐口火焰的顏色、火焰的亮度隨時(shí)間變化的規(guī)律上.為減少在圖像特征提取時(shí)的計(jì)算時(shí)間及圖像背景區(qū)域的干擾,本文直接利用MIA分割出爐口火焰區(qū)域,再提取圖像的特征信息,這樣做能夠在損失較少圖像信息的前提下降低圖像矩陣的維度[30],從而減少運(yùn)算時(shí)間.鑒于篇幅所限,以下簡(jiǎn)要介紹特征提取方法,詳細(xì)步驟參考文獻(xiàn)[7,31].

算法1.基于MIA的圖像特征提取.

上述操作從每一幀爐口火焰的圖像提取7 個(gè)特征.最后,請(qǐng)有經(jīng)驗(yàn)的操作工人對(duì)一部分圖像進(jìn)行工況標(biāo)記.

3 基于熵正則化的特征融合方法

3.1 熔煉電流數(shù)據(jù)的分布

采集的電熔鎂爐熔煉電流為插入熔池的三相電極的電流值,它可迅速反映出當(dāng)前工況狀態(tài)的變化.圖2所示為含有欠燒工況的某生產(chǎn)爐次的三相熔煉電流采樣數(shù)據(jù)的分布圖,數(shù)據(jù)分布分為兩個(gè)部分:右上角稠密聚集的一簇和其余稀疏分布的部分.對(duì)照與電流數(shù)據(jù)同一時(shí)間的生產(chǎn)過(guò)程圖像的工況狀態(tài),右上角稠密的一簇?cái)?shù)據(jù)對(duì)應(yīng)于正常工況,其余的稀疏部分則對(duì)應(yīng)于非正常工況.可以想象兩類(lèi)電流數(shù)據(jù)可由一個(gè)二維平面予以分隔.需要指出,欠燒工況的電流數(shù)據(jù)只是非正常工況中的一個(gè)子集.

圖2 無(wú)標(biāo)記熔煉電流樣本分布Fig.2 Unlabeled smelting current samples′ distribution

基于上述分析,本文期望對(duì)無(wú)標(biāo)記電流數(shù)據(jù)分布的特點(diǎn)加以利用,以提高基于圖像的工況分類(lèi)的快速性和準(zhǔn)確性.提出的特征融合思路是:對(duì)于在圖像樣本中存在難以準(zhǔn)確分類(lèi)的情況,如過(guò)渡期和早期欠燒工況下圖像特征尚不明顯時(shí),參考與之同時(shí)刻的電流樣本,在分類(lèi)器的訓(xùn)練過(guò)程中使得決策界面盡量通過(guò)該電流樣本中的稀疏區(qū)域.

3.2 圖像與電流的聯(lián)合數(shù)據(jù)的構(gòu)造

電熔鎂爐生產(chǎn)電流與圖像特征均能反映工況信息,但電流更為敏感快速,圖像存在滯后;特征空間上,前者類(lèi)間稀疏,后者類(lèi)間重疊嚴(yán)重.對(duì)二者的融合,本質(zhì)上是對(duì)特征向量的升維,電流特征的加入可以提高類(lèi)間距離及空間可分性.從生產(chǎn)工藝上看,兩類(lèi)特征之間存在耦合,但根據(jù)目前的工藝知識(shí)還無(wú)法定量分析.

在圖像特征樣本的基礎(chǔ)上,通過(guò)增加電流特征構(gòu)造聯(lián)合數(shù)據(jù).每個(gè)聯(lián)合特征數(shù)據(jù)樣本,是將經(jīng)MIA步驟提取的7 維圖像特征向量與3維電流特征串聯(lián),構(gòu)成的10維擴(kuò)展特征數(shù)據(jù).設(shè)樣本總量為n,則得到的擴(kuò)展樣本總體為n×d維樣本矩陣不失一般性,根據(jù)的標(biāo)記重排順序,得到如下式所示的聯(lián)合數(shù)據(jù).

上述過(guò)程為特征級(jí)早期融合方法中的串接(Concatenation)操作,其目的是為了將具有較強(qiáng)互補(bǔ)性的兩個(gè)特征結(jié)合起來(lái).為此構(gòu)造如圖3所示的例子說(shuō)明升維的目的.圖中,X Y平面的兩類(lèi)二維數(shù)據(jù)點(diǎn)部分重疊,因此僅在X Y空間很難找到一個(gè)決策界面將其分隔開(kāi).然而,如果將其提升到三維空間,明顯能觀察到升維后的數(shù)據(jù)類(lèi)間距增大,更容易將其分隔開(kāi).通過(guò)升維,我們期望在高維特征空間中更容易找到一個(gè)超平面將異常工況區(qū)分處理.此外,具有較大類(lèi)間隔空間分布的電流特征能夠“指導(dǎo)”不易分類(lèi)的圖像特征進(jìn)行分類(lèi),降低了擴(kuò)展特征數(shù)據(jù)類(lèi)間密度,使得分類(lèi)效果更好.

圖3 特征數(shù)據(jù)升維示意圖Fig.3 Schematic diagram of upgrading feature data′s dimension

3.3 基于熵正則化的目標(biāo)函數(shù)

在實(shí)際工業(yè)過(guò)程中,約80%的圖像數(shù)據(jù)是無(wú)標(biāo)記的,且直接利用無(wú)標(biāo)記的圖像數(shù)據(jù)較為困難.如前所述,熔煉電流表現(xiàn)出與工況相關(guān)的分布特性.為利用這一特性,本文采用半監(jiān)督學(xué)習(xí)框架來(lái)設(shè)計(jì)分類(lèi)器,盡管電流是完全無(wú)標(biāo)記的,但是通過(guò)堆疊構(gòu)造聯(lián)合數(shù)據(jù)樣本后,未標(biāo)記的電流樣本分布特性將傳導(dǎo)到相對(duì)應(yīng)的圖像樣本.通過(guò)目標(biāo)函數(shù)設(shè)計(jì),期望電流樣本能夠引導(dǎo)基于圖像的學(xué)習(xí)器訓(xùn)練盡可能選擇穿過(guò)低密度區(qū)域的決策面[33].為此,在將圖像特征與電流特征融合后,利用電流數(shù)據(jù)分布稀疏性的特點(diǎn),選用基于低密度分離的算法來(lái)提升分類(lèi)器性能.

本文將采用Grandvalet等提出的熵正則化[33]方法.該方法通過(guò)計(jì)算無(wú)標(biāo)記樣本的香農(nóng)條件熵作為類(lèi)重疊程度的度量,進(jìn)而在最大后驗(yàn)估計(jì)框架下將上述條件熵以正則化項(xiàng)的形式引入到風(fēng)險(xiǎn)函數(shù)中,從而迫使決策邊界從低密度區(qū)域穿過(guò).Grandvalet等提出的目標(biāo)函數(shù)采用如下形式:

其中,L(θ;L n)為對(duì)于數(shù)據(jù)L n的分類(lèi)器對(duì)數(shù)似然估計(jì)函數(shù);H(y|x,h=1)為無(wú)標(biāo)記樣本的香農(nóng)條件熵.

對(duì)于本文所討論的實(shí)際問(wèn)題,由于特征空間由圖像特征x V和電流特征x C組成,式(2)并不能直接應(yīng)用.為此,首先將特征寫(xiě)成分解形式x=(x V,x C),模型參數(shù)也作相應(yīng)的分解寫(xiě)成θ=則有如下分解形式:

上式中,目標(biāo)函數(shù)包含兩部分熵正則化項(xiàng),分別對(duì)應(yīng)圖像和電流特征空間.為化簡(jiǎn),首先將上式右側(cè)第三項(xiàng)利用式(1)進(jìn)行升維,即將電流特征x C與相應(yīng)的圖像特征x V串接.由于這兩類(lèi)特征分處不同子空間,且均只與當(dāng)前工況y相關(guān),可以認(rèn)為x V和x C本身是相互獨(dú)立的.因此,利用條件熵的定義,式(3)中右側(cè)第三項(xiàng)的電流樣本條件熵可以表示為聯(lián)合樣本條件熵與子空間樣本條件熵的差:

將式(4)代入到式(3),且選擇正則化控制系數(shù)λ1=λ2與λ=λ2,得到:

由于融合特征的標(biāo)記是圖像數(shù)據(jù)傳導(dǎo)過(guò)來(lái)的,因此上式第一項(xiàng)可以看作圖像數(shù)據(jù)的小樣本有監(jiān)督學(xué)習(xí),而融合進(jìn)去的電流特征是為第二項(xiàng)設(shè)計(jì)的.由前期實(shí)驗(yàn)可知,圖像特征的單特征分類(lèi)效果不好,因此本文希望只考慮電流,即通過(guò)選擇正則化控制系數(shù)λ1=λ2,從而只保留電流特征樣本的正則化項(xiàng).最終將上式簡(jiǎn)化為與Grandvalet等給出的目標(biāo)函數(shù)(式(2))相同形式的熵正則化目標(biāo)函數(shù).

4 半監(jiān)督分類(lèi)器的訓(xùn)練

其中,m表示類(lèi)別;h為標(biāo)志變量,標(biāo)記缺失時(shí)為1,否則為0;Hemp為通過(guò)經(jīng)驗(yàn)估計(jì)的香農(nóng)條件熵,其越小代表類(lèi)重疊度越小,數(shù)據(jù)密度越低.由于條件熵只與未標(biāo)記數(shù)據(jù)有關(guān),因此將h=1作為條件.至此,已經(jīng)在形式上將雙特征融合的工況識(shí)別問(wèn)題轉(zhuǎn)化為以式(6)為目標(biāo)函數(shù)的半監(jiān)督學(xué)習(xí)問(wèn)題.

4.1 確定性退火EM算法

由于式(6)右側(cè)兩項(xiàng)在P(m|x;θ) 通常是非凸的,基于梯度下降的方法難以獲得最優(yōu)解.對(duì)于這個(gè)問(wèn)題,文獻(xiàn)[22]提出采用確定性退火EM(Expectation-maximization)算法求解.確定性退火EM[34]是EM算法的簡(jiǎn)單泛化.令T=1?λ為模擬溫度,從“高溫”時(shí)的解開(kāi)始,通過(guò)逐漸增大λ來(lái)計(jì)算全局最優(yōu)解.每一步迭代中的優(yōu)化子問(wèn)題利用迭代重加權(quán)最小二乘法(Iterative reweighted least squares,IRLS)[35]求解.

4.2 基于交叉熵方法的優(yōu)化算法

當(dāng)問(wèn)題的規(guī)模較大時(shí),確定性模擬退火EM算法存在迭代收斂慢、計(jì)算代價(jià)大的問(wèn)題.這是因?yàn)槊坎降枰?jì)算高維矩陣的乘法及其逆矩陣,將耗費(fèi)大量計(jì)算時(shí)間.此外,本文構(gòu)造的目標(biāo)函數(shù)中包含大量?jī)缰笖?shù)形式的函數(shù).針對(duì)以上問(wèn)題,本文提出采用交叉熵方法[36],據(jù)此設(shè)計(jì)了半監(jiān)督分類(lèi)器的學(xué)習(xí)算法(Cross entropy method-entropy regularization,CEM-ER),有效提高訓(xùn)練效率.需要指出的是,本文方法獲得的訓(xùn)練速度的提升,得益于交叉熵優(yōu)化方法對(duì)于冪指數(shù)形式的目標(biāo)函數(shù)可獲得最優(yōu)解析解,從而避免在每步迭代過(guò)程中的復(fù)雜計(jì)算過(guò)程.而本文提出的訓(xùn)練算法依賴(lài)于邏輯回歸(Logistic regression,LR)作為內(nèi)嵌學(xué)習(xí)器,這一加速訓(xùn)練方法并不能用于其他形式的目標(biāo)函數(shù).

交叉熵方法源于基于方差最小化的用于稀有事件仿真的自適應(yīng)算法,對(duì)其簡(jiǎn)單修改還可以用于解決復(fù)雜的組合優(yōu)化問(wèn)題及連續(xù)多極值問(wèn)題[37].CEM已被證明是快速且在某些定義明確的數(shù)學(xué)意義上是“最優(yōu)的”[38?39].

CEM將本文的最大值優(yōu)化問(wèn)題:

與稀有事件的概率估計(jì)問(wèn)題聯(lián)系起來(lái),然后使用重要性采樣(Importance sampling,IS)、蒙特卡洛模擬等手段求取最優(yōu)解.基于CEM-ER 的半監(jiān)督算法步驟可被總結(jié)如下,詳情可見(jiàn)文獻(xiàn)[36].

算法2.基于CEM-ER 的半監(jiān)督算法.

1)初始化各個(gè)超參數(shù),并置當(dāng)前迭代步數(shù)t=1.

2)利用高斯分布概率密度函數(shù)生成N個(gè)數(shù)據(jù)樣本.

3)計(jì)算目標(biāo)函數(shù)C(θ1),···,C(θN)并排序,定義其中最大的Nelite個(gè)樣本作為精英樣本集.

4)置t=t+1,并利用精英樣本集平滑地更新高斯分布的均值與方差.

5)當(dāng)方差小于某一閾值ε,或者迭代次數(shù)達(dá)到最大次數(shù)tmax時(shí),停止迭代.否則,返回步驟2).

6)在迭代結(jié)束后,高斯分布的均值即為邏輯回歸的權(quán)重參數(shù).

5 仿真實(shí)驗(yàn)與討論

5.1 仿真數(shù)據(jù)測(cè)試

為進(jìn)一步比較特征融合前后的分類(lèi)效果,本文使用ER、S3VM、Self-training(Sf-T)三種算法對(duì)圖3中的仿真數(shù)據(jù)進(jìn)行測(cè)試,對(duì)比結(jié)果如圖4.其中在X Y平面的直線為僅考慮二維數(shù)據(jù)情況下獲得的決策界面.可見(jiàn),特征融合之后類(lèi)間隔增大,決策面清晰,分類(lèi)準(zhǔn)確率較特征融合前有很大提升.

此外,基于低密度分離的半監(jiān)督分類(lèi)算法假設(shè)類(lèi)被很好地分離,這樣才能使得決策邊界在特征空間中處于一個(gè)低密度區(qū)域,不需要經(jīng)過(guò)密集的未標(biāo)記數(shù)據(jù).如果這個(gè)假設(shè)不成立,這些算法可能會(huì)計(jì)算出極其錯(cuò)誤的決策邊界.為測(cè)試本文算法在違反上述假設(shè)情況下的魯棒性,按以下原則生成數(shù)據(jù):低密度區(qū)域并不對(duì)應(yīng)于真正的決策邊界,并將其與分類(lèi)性能優(yōu)異的 S3VM算法進(jìn)行比較,結(jié)果如圖5.

圖5中左右兩半部分對(duì)應(yīng)兩類(lèi)數(shù)據(jù)點(diǎn),低密度區(qū)域垂直于真正的決策平面.從圖5 可以看到,S3VM對(duì)低密度區(qū)域極其敏感,而ER 在假設(shè)不成立情況下仍表現(xiàn)出較好魯棒性,準(zhǔn)確率是S3VM的兩倍.

5.2 公開(kāi)數(shù)據(jù)集測(cè)試

本節(jié)使用UCI(University of California,Irvine)數(shù)據(jù)集中的8個(gè)二分類(lèi)數(shù)據(jù)集對(duì)分類(lèi)器準(zhǔn)確率與訓(xùn)練速度進(jìn)行測(cè)試.8個(gè)數(shù)據(jù)集為Bupa、Blood、Haberman、Ionoaphere、Sonar、Statlog、Tictac-toe、WBC,為了簡(jiǎn)潔,將在后文的實(shí)驗(yàn)結(jié)果中以數(shù)字1 至8代替.

圖4 特征融合前后分類(lèi)實(shí)驗(yàn)結(jié)果對(duì)比Fig.4 Comparison of classification experiment results before and after feature fusion

圖5 魯棒性測(cè)試實(shí)驗(yàn)結(jié)果圖Fig.5 Robustness test results

本文對(duì)比算法包括經(jīng)典的半監(jiān)督學(xué)習(xí)算法:自訓(xùn)練模型(Self-training,Sf-T)、半監(jiān)督支持向量機(jī)(S3VM)、協(xié)同訓(xùn)練模型(Co-training,Co-T),此外還包括近幾年提出的對(duì)比悲觀似然估計(jì)(Contrastive pessimistic likelihood estimation,CPLE)[40]和階梯網(wǎng)絡(luò)(Ladder networks,LaN)[41].其中,CPLE算法是由Loog 提出的新的半監(jiān)督學(xué)習(xí)框架,它的基本思想是“對(duì)比”半監(jiān)督算法的性能不低于基于部分標(biāo)記數(shù)據(jù)的監(jiān)督算法性能,采用“悲觀”原則考慮未標(biāo)記數(shù)據(jù)分配的軟標(biāo)簽與實(shí)際值相差甚遠(yuǎn)為最差情況,進(jìn)而將“對(duì)比悲觀”原則通過(guò)“約束”的形式引入到學(xué)習(xí)過(guò)程中.CPLE采用生成模型和基于似然估計(jì)的風(fēng)險(xiǎn)函數(shù)框架,其適用性較廣,且與本文思想相對(duì)接近.LaN算法為采用深度學(xué)習(xí)的代表性半監(jiān)督學(xué)習(xí)算法,它以自編碼器為框架,由兩個(gè)編碼器、一個(gè)解碼器組成.由于監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)對(duì)數(shù)據(jù)處理方式不同,LaN通過(guò)設(shè)計(jì)兩條網(wǎng)絡(luò)分支將監(jiān)督任務(wù)相關(guān)的信息和無(wú)關(guān)的信息盡可能地分開(kāi),利用兩個(gè)分支間隱變量的差異構(gòu)造損失函數(shù).由于該算法不依賴(lài)卷積網(wǎng)絡(luò),因此適用于本文實(shí)驗(yàn)數(shù)據(jù)集.在下文的測(cè)試中,為便于對(duì)比,包裝類(lèi)算法的內(nèi)部算法均采用邏輯回歸;為保持實(shí)驗(yàn)一致性,對(duì)基于生成模型提出的CPLE算法進(jìn)行調(diào)整,以適應(yīng)內(nèi)部的邏輯回歸;LaN算法的網(wǎng)絡(luò)參數(shù)隨數(shù)據(jù)集規(guī)模調(diào)整.

設(shè)置實(shí)驗(yàn)數(shù)據(jù)處理方式如下:數(shù)據(jù)集按7:3劃分為訓(xùn)練集、測(cè)試集;按97%、95%、92%、90%、80%、60%的不同比例設(shè)置無(wú)標(biāo)記數(shù)據(jù)樣本集,其中無(wú)標(biāo)記樣本隨機(jī)選取,且樣本集之間有重疊;訓(xùn)練集與測(cè)試集數(shù)據(jù)從整體樣本中隨機(jī)選取并運(yùn)行算法10次,且每次運(yùn)行均重新隨機(jī)劃分?jǐn)?shù)據(jù)集,最后取平均準(zhǔn)確率.

5.2.1 分類(lèi)器準(zhǔn)確率比較

在UCI數(shù)據(jù)集中測(cè)試以上6種算法,結(jié)果見(jiàn)表1～ 表3.

從結(jié)果可以看出,除92%無(wú)標(biāo)記占比情況外,本文提出的算法在另外5種無(wú)標(biāo)記占比情況下對(duì)8組數(shù)據(jù)集的平均準(zhǔn)確率最高,實(shí)驗(yàn)穩(wěn)定性好.S3VM表現(xiàn)幾乎相當(dāng),但魯棒性不及本文算法;CPLE的性能不夠穩(wěn)定,在個(gè)別數(shù)據(jù)集上的準(zhǔn)確率極好或者極差,這是因?yàn)镃PLE傾向于考慮“悲觀”情況;另外,由于數(shù)據(jù)集復(fù)雜度不高,未能體現(xiàn)出LaN算法的優(yōu)勢(shì).

為更全面地評(píng)估分類(lèi)器性能差異,增加了Friedman檢驗(yàn)與Nemenyi后續(xù)檢驗(yàn).對(duì)6種無(wú)標(biāo)記比例情況的Friedman檢驗(yàn)與Nemenyi后續(xù)檢驗(yàn)圖如圖6所示.

實(shí)驗(yàn)結(jié)果表明:從平均序值上看,本文算法能夠達(dá)到S3VM同樣的分類(lèi)性能,且略?xún)?yōu)于其他算法.但是,在Friedman 檢驗(yàn)與Nemenyi后續(xù)檢驗(yàn)時(shí)僅考慮不同分類(lèi)器在同一數(shù)據(jù)集上分類(lèi)性能的排序,而非具體分類(lèi)精度,因此參考性有限.

5.2.2 分類(lèi)器訓(xùn)練速度比較

利用UCI數(shù)據(jù)集對(duì)基于CEM的優(yōu)化算法與確定性退火EM算法進(jìn)行比較,結(jié)果如表4所示(以秒為單位).

表1 分類(lèi)準(zhǔn)確率結(jié)果比較(97%與95%無(wú)標(biāo)記占比)Table 1 Comparison of classification accuracy (97%and 95%unlabeled)

表2 分類(lèi)準(zhǔn)確率結(jié)果比較(92%與90%無(wú)標(biāo)記占比)Table 2 Comparison of classification accuracy (92%and 90%unlabeled)

表3 分類(lèi)準(zhǔn)確率結(jié)果比較(80%與60%無(wú)標(biāo)記占比)Table 3 Comparison of classification accuracy (80%and 60%unlabeled)

從結(jié)果可以看出:在所有情況下,本文提出的基于交叉熵的訓(xùn)練算法,提速效果明顯(尤其對(duì)于數(shù)據(jù)量較大的數(shù)據(jù)集),平均速度提升在81%左右.

6 電熔鎂爐工業(yè)生產(chǎn)數(shù)據(jù)測(cè)試

6.1 欠燒工況識(shí)別準(zhǔn)確性

為體現(xiàn)特征融合對(duì)分類(lèi)準(zhǔn)確率的提升,將算法應(yīng)用于部分標(biāo)記的圖像特征數(shù)據(jù)并進(jìn)行比較.選取帶標(biāo)記的圖像與電流特征融合數(shù)據(jù)1 341組,以及相同數(shù)量的圖像特征數(shù)據(jù).數(shù)據(jù)集的劃分與第5節(jié)相同,實(shí)驗(yàn)結(jié)果如表5.從表中結(jié)果可以看出:特征融合后的分類(lèi)準(zhǔn)確率較特征融合前提升30%左右.根據(jù)前文所述,在對(duì)現(xiàn)場(chǎng)特征數(shù)據(jù)融合及標(biāo)簽處理后,約80%的數(shù)據(jù)為無(wú)標(biāo)記數(shù)據(jù),此時(shí)的實(shí)驗(yàn)準(zhǔn)確率為94.30%,具有較好的實(shí)用潛力.

6.2 過(guò)渡態(tài)工況識(shí)別準(zhǔn)確性

圖6 Friedman檢驗(yàn)與Nemenyi后續(xù)檢驗(yàn)圖Fig.6 Friedman test and Nemenyi test pictures

表4 分類(lèi)器訓(xùn)練速度比較(UCI數(shù)據(jù)集)Table 4 Comparison of classifiers′training speed (UCI dataset)

表5 電熔鎂爐生產(chǎn)數(shù)據(jù)實(shí)驗(yàn)結(jié)果Table 5 Experimental results of fused magnesium furnace production data

由前文可知,電熔鎂爐欠燒工況的標(biāo)記來(lái)源于工人基于圖像的判斷.過(guò)渡狀態(tài)下的工況,由于圖像特征并不顯著,如果僅采用基于圖像的半監(jiān)督學(xué)習(xí)方法,不易準(zhǔn)確地辨識(shí)過(guò)渡狀態(tài)下得到的圖像.這種情況下,引入電流信息可以在一定程度上改善對(duì)于過(guò)渡態(tài)圖像的辨識(shí)準(zhǔn)確性.為說(shuō)明這一點(diǎn),從總體樣本中選取了部分過(guò)渡態(tài)樣本,測(cè)試集的預(yù)期類(lèi)別由多名有經(jīng)驗(yàn)的操作工人通過(guò)投票方式判斷.然后,利用分類(lèi)器對(duì)無(wú)標(biāo)記的過(guò)渡態(tài)圖像樣本進(jìn)行分類(lèi)測(cè)試.測(cè)試算法除了本文提出的算法,還有上文提到的Sf-T、S3VM、Co-T、CPLE、LaN,測(cè)試結(jié)果見(jiàn)表6.由結(jié)果可以發(fā)現(xiàn):本文提出的算法與CPLE、LaN的準(zhǔn)確率在50±1%;其他經(jīng)典算法的準(zhǔn)確率在47±1%.測(cè)試結(jié)果間接地反映出本文特征融合思想的必要性與優(yōu)勢(shì).

6.3 基于不同拍攝角度視頻的欠燒工況識(shí)別準(zhǔn)確性

為檢驗(yàn)分類(lèi)器在改變工業(yè)攝像機(jī)擺設(shè)位置、環(huán)境中存在煙霧干擾等情形下的魯棒性,還準(zhǔn)備了一些具有不同拍攝角度的電熔鎂爐圖像數(shù)據(jù),如圖7,并對(duì)這些圖像樣本進(jìn)行ROI 提取、MIA特征提取與人工標(biāo)記.同時(shí),為這些視頻數(shù)據(jù)匹配具有相同標(biāo)記的電流樣本以組成聯(lián)合特征,并作為測(cè)試集用事先訓(xùn)練好的分類(lèi)器測(cè)試.準(zhǔn)確性測(cè)試結(jié)果見(jiàn)表7.通過(guò)與分類(lèi)器原始準(zhǔn)確率進(jìn)行對(duì)比得出,設(shè)計(jì)訓(xùn)練出的分類(lèi)器魯棒性較好,外界干擾對(duì)分類(lèi)效果的影響不大.

表6 過(guò)渡態(tài)樣本準(zhǔn)確率測(cè)試Table 6 Accuracy of the test on transition state samples

圖7 從不同角度拍攝的電熔鎂爐圖像Fig.7 Fused magnesium furnace images taken from different angles

表7 分類(lèi)器魯棒性測(cè)試結(jié)果Table 7 Classifier robustness test results

6.4 分類(lèi)器訓(xùn)練速度

為測(cè)試本文算法的效率,基于電熔鎂爐數(shù)據(jù),對(duì)比了基于確定性模擬退火的ER 算法和本文提出的CEM-ER 算法的訓(xùn)練時(shí)間,結(jié)果見(jiàn)表8(以秒為單位).同時(shí),比較了熵正則化的傳統(tǒng)優(yōu)化算法與交叉熵方法的準(zhǔn)確率,結(jié)果見(jiàn)表9.

由兩個(gè)表格可以看出:在保證準(zhǔn)確率不降低的前提下,本文提出的基于CEM-ER 的半監(jiān)督分類(lèi)算法比傳統(tǒng)的熵正則化算法快90%以上(當(dāng)無(wú)標(biāo)記數(shù)據(jù)占比大于60%時(shí)).

7 結(jié)論

欠燒工況是電熔鎂爐生產(chǎn)過(guò)程中嚴(yán)重的異常工況之一,及時(shí)、準(zhǔn)確地識(shí)別欠燒工況對(duì)于保障生產(chǎn)安全、提高電熔鎂砂品質(zhì)至關(guān)重要.目前的基于電流特征或者熔煉視頻的方法仍然存在諸多問(wèn)題.基于電熔鎂爐生產(chǎn)圖像的工況識(shí)別方法,難以準(zhǔn)確識(shí)別早期工況,而且不易獲得完全標(biāo)記的樣本.熔煉電流雖然能夠更敏感地反映工況變化,但是由于特征單一、不易標(biāo)記等原因,不易作為獨(dú)立的識(shí)別特征.

表8 分類(lèi)器訓(xùn)練速度測(cè)試(生產(chǎn)數(shù)據(jù))Table 8 Comparison of classifiers′training speed(production data)

表9 優(yōu)化算法準(zhǔn)確率對(duì)比測(cè)試結(jié)果Table 9 Comparison of accuracy in different optimization algorithms

本文針對(duì)電熔鎂爐欠燒工況識(shí)別這一實(shí)際任務(wù),在半監(jiān)督學(xué)習(xí)框架下提出多元特征的融合與訓(xùn)練方法.本文所提方法,將具有較強(qiáng)互補(bǔ)性的電流和圖像數(shù)據(jù)特征融合起來(lái),由對(duì)比測(cè)試結(jié)果可以發(fā)現(xiàn),該方法能夠提高整體分類(lèi)的準(zhǔn)確性.

本文所提出的方法,對(duì)于電熔鎂爐生產(chǎn)現(xiàn)場(chǎng)的欠燒工況識(shí)別、提高產(chǎn)品質(zhì)量和改善工人工作環(huán)境均有積極意義.此外,針對(duì)擴(kuò)展特征的空間構(gòu)造的結(jié)構(gòu)風(fēng)險(xiǎn)目標(biāo)函數(shù),本文提出的基于交叉熵的半監(jiān)督學(xué)習(xí)訓(xùn)練算法,能夠大幅度降低計(jì)算負(fù)載、提高收斂速度;訓(xùn)練得到的分類(lèi)器準(zhǔn)確率高、魯棒性好.該方法也可應(yīng)用于其他類(lèi)似問(wèn)題.