基于主動學習GA-SVM分類器的連鑄漏鋼預報

方一鳴　胡春洋　劉　樂　張興明

1.燕山大學工業計算機控制工程河北省重點實驗室, 秦皇島，0660042.國家冷軋板帶裝備及工藝工程技術研究中心, 秦皇島，0660043. 清華大學天津高端裝備研究院，天津，300300

?

基于主動學習GA-SVM分類器的連鑄漏鋼預報

方一鳴1,2胡春洋1劉樂1張興明3

1.燕山大學工業計算機控制工程河北省重點實驗室, 秦皇島，0660042.國家冷軋板帶裝備及工藝工程技術研究中心, 秦皇島，0660043. 清華大學天津高端裝備研究院，天津，300300

摘要：針對在小樣本數據情況下訓練的連鑄漏鋼預報模型難以獲得較高預報準確率的問題，提出了一種基于主動學習遺傳算法-支持向量機(GA-SVM)分類器的漏鋼預報算法。該算法首先將采集到的連鑄結晶器坯殼溫度數據進行預處理，并將有效數據進行標注；然后利用標注后的小樣本數據和遺傳算法來優化SVM的經驗參數，訓練并得到支持向量機模型；最后利用某鋼廠采集到的連鑄結晶器坯殼溫度數據進行測試。測試結果表明，在利用小樣本數據進行訓練的情況下，所提出的基于主動學習GA-SVM分類器的連鑄漏鋼預報算法具有較高的漏鋼預報率(預報精度)和100%的漏鋼報出率，驗證了所提漏鋼預報算法的有效性。

關鍵詞：漏鋼預報；GA-SVM；主動學習；小樣本數據

0引言

漏鋼是連續鑄鋼生產過程中最嚴重的事故之一。為防止漏鋼事故的發生，國內外學者進行了大量漏鋼預報算法的研究[1-2]，其中以神經網絡及其優化算法居多。厲英等[3]提出了采用變步長并加入動量項、防振蕩項等方法加快神經網絡收斂速度的BP神經網絡漏鋼預報模型。張本國等[4]提出了基于LM算法的BP神經網絡的連鑄漏鋼預報算法。這些漏鋼預報模型算法的共同特點是在模型使用初期，需要大量的漏鋼數據對模型進行訓練，然而漏鋼在實際生產中是必須要盡力避免的，所以很難獲取大量的漏鋼數據，不利于模型的學習。

支持向量機(supportvectormachine,SVM)是建立在統計學習理論和結構風險最小化的基礎上的[5]。與神經網絡方法相比，該算法可最終轉化成一個二次型尋優問題，理論上得到的是全局最優點，且不存在局部極小值問題，被認為是針對小樣本統計預測學習的最佳理論[6-7]。但目前對SVM算法參數的選擇尚缺乏成熟的理論依據，不同的參數選擇可能會對算法的實際識別性能和效果產生顯著影響。

基于上述分析，本文以支持向量機為分類器，首先推導出分類器的數學模型，利用遺傳算法對其參數進行優化[8]；然后借助主動學習[9-10]的思想，利用置信度函數對溫度數據進行篩選標注；最后利用分類器的數學模型對標注后的黏結數據進行識別，使漏鋼預報模型在小樣本數據情況下也能獲得較高的預報準確率。

1SVM算法基本原理

SVM方法是基于線性可分情況下的最優分類超平面提出的，要求能將兩種類別無錯誤地分開，并且使分類間隔最大(圖1)。前者能保證經驗風險最小，后者能保證實際風險最小。

圖1　最優分類超平面示意圖

d維空間中線性判別函數的一般形式為g(x)=wx+b，其中，x∈Rd；w∈R1×d，為可調的權值向量；b為偏置，決定相對原點的位置。

設訓練樣本輸入為x=xi，i=1,2,…,m，對應的期望輸出為y=yi∈{1,-1}，其中1和-1代表兩種分類的類別標識。假定分類面方程為g(x)=wx+b=0，將判別函數歸一化，如下所示：

(1)

這樣就使得兩個分類的所有樣本都滿足|g(xi)|≥1，即使得離分離面最近的樣本的|g(xi)|=1，則對所有樣本有下式成立：

(2)

由式(1)可以計算出分類間隔為

(3)

在約束式(1)的條件下最大化分類間隔2/‖w‖，等價于使‖w‖/2最小，那么求解最優超平面的問題就可以表示成如下的約束問題：

(4)

即在條件式(1)的約束下，求函數的最小值。

真實數據中噪聲是不可避免的，很多數據是線性不可分的。此時允許某些樣本點被誤分，通過引入非負的松弛變量ξi來放松約束條件，如下所示：

yi(wxi+b)≥1-ξi

(5)

只有被錯誤分類的點對應的ξi是非零的。為了解這個不等式約束下二次型函數式(3)的極值問題，根據Karush-Kuhn-Tucker條件[11]，可構造如下的Lagrange函數：

(6)

式中，m為訓練樣本數；αi>0，為Lagrange系數；C>0，為用戶自定義的懲罰因子，用來調節對于輸入樣本被誤分帶來的影響。

分別對w、b、ξ求偏微分，并令其等于0，得到如下結果：

(7)

(8)

(9)

將式(7)～式(9)代入式(6)中得

(10)

進一步可將上述L的極值問題轉化為

(11)

(12)

又由Karush-Kuhn-Tucker條件，這個優化問題的解需滿足：

αi[yi(wxi+b)-1+ξi]=0

(13)

設求得的支持向量的個數為s，將式(12)代入式(2)中可以得到如下形式的分類函數：

(14)

其中，x為待分類樣本。b*為分類閾值，可以由任意一對支持向量取中值求得，即

(15)

通過決策函數可以將不同類型的輸入數據加以識別，從而輸出不同的結果，達到分類的目的。

對于漏鋼預報系統，大多數輸入樣本在輸入空間是線性不可分的，這時可以通過非線性映射φ(x)將輸入樣本映射到高維特征空間構造分類面，則輸入向量線性不可分問題在高維特征空間可以轉化為線性可分問題來解決。映射之后得

(16)

引入核函數K(x,x′)，只要該核函數滿足Mercer定理[12]，即K(x,x′)=φ(xi)φ(xj)，則可避免φ(x)的直接運算。

由于徑向基函數(RBF)對各種數據類型都具有良好的分類效果[13]，所以本文采用RBF核函數，其函數的表達式為

(17)

式中，g為核函數系數。

選用RBF核函數后，求L極值問題可進一步表示為

(18)

同時分類函數變為

(19)

2基于主動學習GA-SVM的連鑄漏鋼預報模型的實現

2.1連鑄結晶器坯殼外溫度數據歸一化

漏鋼預報的實質就是一種動態波形的識別問題，即從熱電偶檢測到的溫度波形中識別出符合漏鋼特征的溫度波形，原理示意如圖2所示。

圖2　漏鋼預報原理示意圖

在正常澆注過程中，鑄坯坯殼凝固層的厚度自上而下遞增，上排熱電偶溫度高于下排熱電偶溫度，熱電偶所測溫度波動也很小；當鑄坯與結晶器發生黏結時，隨結晶器的振動，黏結部位的坯殼很容易被拉裂，此時上排熱電偶的溫度會急劇升高；隨黏結裂口的繼續下移，上排熱電偶溫度因坯殼的固化彌合而逐漸下降；同理，當裂口到達下排熱電偶位置時，也會發生溫度先升后降的變化情況。

根據熱電偶溫度曲線的變化模式，截取圖2所示區間內的溫度采樣值，進行歸一化后作為SVM分類器的輸入。根據某鋼廠提供的漏鋼溫度數據，分析發現，單個熱電偶的溫度波動周期為30 s，熱電偶溫度的采樣周期為1 s，故15個熱電偶溫度值即可體現一次漏鋼特征的溫度波形，選取相鄰的15個溫度值作為一個輸入向量xi，xi∈R15×1；下一組相鄰的15個溫度值作為另一個輸入向量xi+1。

為使原始數據處于同一區間內，在平等條件下進行分析，需對有效數據進行歸一化處理，處理方式如下：

(20)

2.2引入遺傳算法優化SVM模型

在式(18)中，最終的目標函數和約束條件中訓練樣本為已知數據，只有懲罰因子C和核函數參數g需要選擇，并且兩者對SVM分類器的性能有顯著影響，因此需要對C和g進行優化。

遺傳算法具有隱含的并行性和強大的全局搜索能力，可以在較短的時間內搜索到全局最優點。所以本文采用遺傳算法來優化這兩個參數。

首先對參數C和g進行二進制編碼，構成圖3所示的染色體。圖3中，Clen、glen分別為對參數C、g進行二進制編碼后的二進制數的位數長度。

圖3　參數C和g的二進制編碼圖

參數C的變化范圍取為[0.1,100]，參數g的變化范圍取為[0.01,1000]，兩者的編碼公式為

(21)

式中，bin2dec()為將二進制數轉化為十進制數的函數。

選取十折交叉驗證的平均預測準確度作為適應度函數。

2.3主動學習GA-SVM模型的訓練

為了提高連鑄漏鋼預報模型的預報準確度，本文基于主動學習的思想，將預處理后得到的溫度數據，采用置信度評估方法進行選擇標注后，加入訓練集學習，這樣訓練出的模型能獲得較高的分類準確度，同時減少了訓練的樣本數量，提高了訓練效率。

對于兩個類的分類問題，樣本離分類超平面的距離反映了模型預測的置信度，定義置信度函數為

(22)

置信度函數的輸出反映了樣本點到分類器的距離，所以可以直接利用置信度函數值來確定訓練樣本的集合。離分類面越近的樣本被誤分的可能性越大，故只需選取置信度函數值的絕對值比較小的這些有“價值”樣本作為訓練集即可。

在[-1,1]區間內，取一適中的閾值δ(δ>0)。當h(x)>δ時，則輸出分類函數f(x)=1，表示正常模式；同理當h(x)≤-δ，則輸出分類函數f(x)=-1，表示漏鋼模式；當-δ

主動學習GA-SVM分類器的具體訓練步驟如下：

(1)將漏鋼數據進行歸一化，利用主動學習方法對數據進行選擇標注，作為訓練樣本和測試預報樣本。

(2)對參數C和g進行二進制編碼，并初始化種群。

(3)對種群的染色體進行解碼獲得C和g的值。將標注好的訓練樣本分為10等份，其中9組樣本代入式(18)所示的SVM分類器模型，求出每個訓練樣本對應的αi，其中非零的αi對應的訓練樣本為支持向量，并將所得支持向量代入式(19)所示的分類函數對第10組進行預測。將預測結果與所標標簽進行對比，取對比結果的準確率作為適應度值。然后，選取另外9組中任意一組作為預測數據，其余9組作為訓練數據，重復上述過程，計算出每次的適應度值，取10次適應度值的平均值作為該10組染色體的平均適應度值。

(4)對染色體進行選擇、交叉和變異操作，產生新一代種群。

(5)對新一代種群重復步驟(3)的操作，將遺傳代數作為程序的終止準則，如果滿足停止準則，則轉到步驟(6)，否則，返回步驟(4)。

(6)訓練結束，得到最優參數C和g及對應的支持向量。

將訓練得到的最優參數C和g代入式(19)的分類函數中，用于對測試樣本數據進行預報測試。每當采集到一段時間內的現場漏鋼溫度數據后，可以根據式(22)篩選出一部分置信度值低的樣本數據對漏鋼預報模型進行更新訓練，提高模型的泛化能力。

分類函數的預報測試過程如圖4所示。

圖4　用于漏鋼預報的支持向量機模型

支持向量機模型形式上類似一個神經網絡，其輸出是若干中間層節點的線性組合，而每一個中間層節點對應于輸入樣本與一個支持向量的內積。

3預報模型的測試

利用某鋼廠現場采集的歷史數據，選出50組標注好的典型溫度模式數據作為GA-SVM模型和BP神經網絡模型的訓練樣本。其中，前22組為穩定模式樣本，后28組為黏結漏鋼模式樣本(利用置信度函數篩選標注)；選取195組已標注樣本作為測試樣本，前85組為黏結漏鋼模式樣本，中間100組為穩定模式樣本，最后10組為偽漏鋼模式樣本。

GA-SVM模型訓練過程中的一些參數初始值如表1所示。

選取十折交叉驗證的平均準確率作為適應度。種群的進化趨勢如圖5所示。

表1　訓練過程中的參數初始值

圖5　GA-SVM模型種群適應度進化曲線(種群數量為50，終止代數100)

由圖5可知，GA-SVM模型經過100代的訓練后，平均適應度值達到了97.64，非常接近98的最佳適應度了。最優參數C和g分別為79.86和994.54。

網絡模型的測試性能指標預報率ηp和報出率ηr的計算式為

(23)

(24)

式中，nr為正確報警次數；nf為錯誤報警次數；no為漏報次數。

GA-SVM方法的訓練結果如圖6所示，從圖6中可以看出：訓練樣本的分類準確率達到了100%。BP神經網絡方法的訓練結果如圖7所示，訓練樣本的分類準確率也達到了100%。

利用訓練好的GA-SVM模型與BP神經網絡模型進行已標注樣本的預報測試，GA-SVM模型的測試仿真結果如圖8所示，BP神經網絡模型的測試仿真結果如圖9所示。

由圖8可知，GA-SVM測試樣本的預報結果為：報警次數87次，包括對全部報警樣本的85次正確報警以及2次誤報。

由圖9可知，BP神經網絡測試樣本的預報結果為：報警次數88次，包括對全部報警樣本中的83次正確報警以及5次誤報、2次漏報。

圖6　GA-SVM模型訓練結果圖

圖7　BP神經網絡模型訓練結果圖

圖8　GA-SVM模型預報結果圖

圖9　BP神經網絡模型預報結果圖

將GA-SVM漏鋼預報方法與BP神經網絡漏鋼預報方法相比較，結果如表2所示。

表2　BP神經網絡與基于主動學習GA-SVM

由仿真結果和計算結果可以看出，在相同數量的訓練樣本進行模型訓練的情況下，GA-SVM連鑄漏鋼預報模型具有更好的預報效果，得到了97.7%的漏鋼預報率和100%的漏鋼報出率，提高了漏鋼預報系統對黏結漏鋼溫度模式的識別精度，降低了誤報率。

4結論

本文提出的基于主動學習GA-SVM分類器的漏鋼預報模型，利用支持向量機算法良好的泛化能力，克服了傳統漏鋼預報模型需大量漏鋼數據進行訓練的不足；結合遺傳算法的全局尋優能力，克服了SVM算法參數選擇缺乏理論依據的不足；采用基于主動學習思想的置信度評估方法對漏鋼溫度數據進行選擇標注，提高了模型的訓練效率及預報準確率。將該模型應用于連鑄過程的漏鋼預報，得到了97.7%的漏鋼預報率及100%的漏鋼報出率，提高了連鑄漏鋼預報模型的預報率和報出率，降低了漏鋼誤報率。

參考文獻：

[1]秦旭, 朱超浦, 尹延榮, 等. 液壓伺服振動式板坯連鑄機的漏鋼預報技術[J]. 鋼鐵, 2010, 45(11): 97-100.

QinXu,ZhuChaopu,YinYanrong,etal.ForecastingofMoltenSteelBreakoutsfortheSlabContinuousCasterswithHydraulicServoOscillationSystems[J].IronandSteel, 2010, 45(11): 97-100.

[2]MillsKC,BillanyTJH.CausesofStickerBreakoutduringContinuousCasting[J].IronMakingandSteelmaking, 1991, 18(4): 253-265

[3]厲英, 王正, 敖志廣, 等.BP神經網絡漏鋼預報系統優化[J]. 控制與決策, 2010, 25(3): 453-456.

LiYing,WangZheng,AoZhiguang.OptimizationforBreakoutPredictionSystemofBPNeuralNetwork[J].ControlanDecision, 2010, 25(3): 453-456.

[4]張本國, 李強, 王葛, 等. 基于改進BP神經網絡的連鑄漏鋼預報[J]. 中國機械工程, 2012, 23(2): 204-207.

ZhangBenguo,LiQiang,WangGe，etal.BreakoutPredictionBasedonImprovedBPNeuralNetworkinContinuousCastingProcess[J].ChinaMechanicalEngineering, 2012, 23(2): 204-207.

[5]高雋. 人工神經網絡原理及仿真實例[M]. 北京:機械工業出版社, 2007.

[6]VapnikVN.StatisticalLearningTheory[M].NewYork:J.Wiley, 1998.

[7]張新峰, 趙彥. 基于最小二乘支持向量機的小樣本威布爾可靠性分析[J]. 中國機械工程, 2012, 23(16): 1967-1971.

ZhangXinfeng,ZhaoYan.WeibullReliabilityAnalysisinSmallSamplesBasedonLSSVM[J].ChinaMechanicalEngineering, 2012, 23(16): 1967-1971.

[8]陳果. 基于遺傳算法的支持向量機分類器模型參數優化[J]. 機器科學與技術, 2007, 26(3): 347-350.

ChenGuo.OptimizingtheParametrsofSupportVectorMachine’sClassifierModelBasedonGeneticAlgorithm[J].MechanicalScienceandTechnology, 2007, 26(3): 347-350.

[9]ChengJian,WangKongqiao.ActiveLearningforImageRetrievalwithCo-SVM[J].PatternRecognition, 2006, 40(1): 330-334.

[10]徐海龍, 王曉丹, 廖勇, 等. 一種基于主動學習的SVM增量訓練算法[J]. 控制與決策, 2010, 25(2): 282-286.

XuHailong,WangXiaodan,LiaoYong,etal.IncrementalTrainingAlgorithmofSVMBasedonActiveLearning[J].ControlandDecision, 2010, 25(2): 282-286.

[11]曹建, 孫世宇, 段修生, 等. 基于KKT條件的SVM增量學習算法[J]. 火力與指揮控制, 2014, 39(7): 139-143.

CaoJian,SunShiyu,DuanXiusheng,etal.SVMIncrementalLearningAlgorithmBasedonKKTConditions[J].FireControl&CommandControl, 2014, 39(7): 139-143.

[12]NelloC,HohnS.AnIntroductiontoSuppotVectorMachinesandOtherKernal-basedLearingMethods[M].Cambridge:CambridgeUniversityPress, 2000.

[13]MartensD,BaesensB,vanGestelT.DecompositionalRuleExtractionfromSupportVectorMachinesbyActiveLearning[J].IEEETransactiononKnowledgeandDataEngineering, 2009, 21(2):178-191.

(編輯袁興玲)

收稿日期：2015-07-28

基金項目：國家自然科學基金委員會與寶鋼集團有限公司聯合資助項目(U1260203)；國家自然科學基金資助項目(61403332)；河北省自然科學基金-鋼鐵聯合基金資助項目(F201320329)；河北省高等學校創新團隊領軍人才培育計劃資助項目(LJRC013)

中圖分類號：TF345

DOI：10.3969/j.issn.1004-132X.2016.12.009

作者簡介：方一鳴，男，1965年生。燕山大學電氣工程學院教授、博士研究生導師。主要研究方向為冶金自動化系統(軋機自動化、連鑄結晶器振動控制)，系統集成和計算機控制，復雜系統建模仿真和控制，自適應、魯棒控制理論與應用。胡春洋，男，1988年生。燕山大學電氣工程學院碩士研究生。劉樂，男，1985年生。燕山大學電氣工程學院講師。張興明，男，1989年生。清華大學天津高端裝備研究院研發工程師。

BreakoutPredictionClassifierforContinuousCastingBasedonActiveLearningGA-SVM

FangYiming1,2HuChunyang1LiuLe1ZhangXingming3

1.KeyLabofIndustrialComputerControlEngineeringofHebeiProvince,YanshanUniversity,Qinhuangdao,Hebei,066004 2.NationalEngineeringResearchCenterforEquipmentandTechnologyofColdStripRolling,Qinhuangdao,Hebei,066004 3.TianjinResearchInstituteforAdvancedEquipment,TsinghuaUniversity,Tianjin,300300

Abstract:Aiming at the problem that was difficult to obtain a high accurate breakout prediction model of continuous casting in the case of small sample data, a breakout prediction algorithm was proposed based on active learning GA-SVM classifier. Firstly, the algorithm preprocessed temperature data of continuous casting mold and labels valid data. Secondly, SVM model was obtained after SVM empirical parameters were optimized using labeled small sample data and GA. Finally, the optimized SVM model was tested using the historical data of a steel plant. The results show that in the case of small sample data for training model, the breakout prediction algorithm based on active learning GA-SVM classifier can obtain higher breakout prediction accuracy and 100% reported ratio. The presented breakout steel prediction algorithm was validated.

Key words:breakout prediction; genetic algorithm-support vector machine(GA-SVM); active learning; small sample data