基于隨機搜索算法和AdaBoost 模型預測LF 精煉過程脫硫率

嚴旭梅， 陳 超， 王 楠， 陳 敏

（東北大學1.多金屬共生礦生態化冶金教育部重點實驗室； 2.冶金學院， 沈陽 110819）

鋼水中的硫是一種有害元素，會使鋼在軋制過程中產生熱脆現象［1］.轉爐或電爐冶煉階段的脫硫效果較差，但隨著用戶對鋼質量要求的不斷提高，LF 精煉過程的脫硫任務變得越來越重要［2］.軸承鋼作為一種重要的特殊鋼產品，其深脫硫工藝已成為國內外研究的重點［3］.目前，已有文獻從脫硫機理角度構造了許多經驗公式和回歸模型［4-5］，用以控制冶金過程中的脫硫效果.但該過程的脫硫機理極其復雜，因此這些模型均存在一定的應用局限性.近年來，機器學習算法在冶金領域被廣泛應用［6-8］.Ma 等［9］通過構造ANN 模型來預測精煉渣的脫硫能力，Xin 等［10］利用正則化的ELM模型預測了LF 精煉渣的脫硫能力.雖然這些模型均取得了一定的預測效果，但其使用的數據主要為實驗數據，預測結果極易與實際結果產生偏差，且ANN 模型和正則化的ELM 模型均為單一模型.因此，為進一步提高模型的擬合與泛化能力，集成模型開始被廣泛應用并取得了良好的效果［11-14］.而LF 精煉過程的脫硫效果一直以來備受關注，但與脫硫率預測相關的文章卻鮮見報道.

為了更精準地控制LF 精煉過程的脫硫效果，本文中對GCr15 軸承鋼冶煉過程中電爐出鋼、爐后脫氧合金化及LF 精煉3 個階段的實際生產數據進行采集，并使用AdaBoost 模型對LF 精煉過程的脫硫率進行預測，旨在提高實際精煉過程的脫硫效果；比較分析網格搜索算法、隨機搜索算法及貝葉斯優化算法對AdaBoost 模型超參數優化效果和優化時間的影響，并利用所采集的現場數據進行驗證，以期通過結合隨機搜索算法和AdaBoost 模型來實現對LF 精煉過程脫硫率的精準預測.

1 數據采集

本文中從某鋼廠選取了859 條GCr15 軸承鋼在LF 精煉過程中的實際生產數據，具體信息如表1 所列.根據冶金原理可知，精煉過程中的脫硫率主要與頂渣成分及精煉溫度有關，而頂渣成分又主要與物料的加入情況相關.其中，轉爐或電爐的出鋼信息不僅會影響爐后脫氧合金化階段的合金物料及造渣劑的加入情況，同時也影響著LF精煉過程的物料加入情況.因此，本文中采集的數據包括電爐出鋼、爐后脫氧合金化和LF 精煉3 個冶煉階段的主要參數信息.精煉過程中脫硫率的計算公式如式（1）所示，輸入變量與脫硫率之間的皮爾遜相關系數如圖1 所示.由圖1 可知，電爐出鋼階段的碳含量（質量分數，下同），爐后脫氧合金化階段的硅鐵、高碳錳鐵、低碳錳鐵、石灰、化渣劑、鋁塊，LF 精煉階段的石灰、碳化硅、硅鐵、低鈦低鋁硅鐵與脫硫率的皮爾遜相關系數的值均較高（絕對值均大于0.4）.因此，脫硫率與脫氧劑、造渣劑的加入，以及出鋼碳含量均密切相關（包含正相關和負相關），這也說明在實際冶煉過程中物料的加入對脫硫率的影響極其復雜.通過觀察目標變量脫硫率可知，現場采集的平均脫硫率達到0.88，其中最小脫硫率為0.45，最大脫硫率為0.97，這表明實際生產中脫硫率的波動很大.因此，構建脫硫率預測模型來穩定LF 精煉過程的脫硫效果十分必要.

圖1 輸入變量x 與脫硫率變量y 的皮爾遜相關系數Fig.1 Pearson correlation coefficient between input variable and target variable

表1 采集變量數據統計信息表Table 1 Statistical of collected process parameter

式中：η代表脫硫率；w［S］0代表電爐出鋼時鋼水的初始硫含量；w［S］代表LF 精煉出站時鋼水的硫含量.

2 模型建立

2.1 AdaBoost 模型

AdaBoost（adaptive boosting）模型是一種集成模型框架［15］，基本原理如表2 所列.而分類回歸樹（CART）［16］模型具有較快的訓練速度、更少的超參數及較好的擬合能力等特性［17］，因此本文中采用的AdaBoost 模型是由CART 模型和AdaBoost模型組合而來的.

表2 AdaBoost 模型偽代碼Table 2 Pseudocode of AdaBoost model

2.2 模型評估

本文中選用AdaBoost 模型對采集的數據進行建模.為了更好地評估結果，選用決定系數R2［式（2）］、平均絕對誤差MAE［式（3）］、均方誤差MSE［式（4）］、均方根誤差RMSE［式（5）］，以及5 折交叉驗證（five-fold cross-validation）等進行評價.本文中所應用的所有機器學習模型都來自Python 的 scikit-learn 模 塊［18］， 運 行 環 境 為Windows10 操作系統，CPU 型號為Intel （R） Intel Xeon E5-2680 v2，內存為32G.

式中：n代表樣本個數；yi代表LF 精煉過程中實際脫硫率代表LF 精煉過程中的預測脫硫率；代表LF 精煉過程中實際脫硫率的均值.

2.3 參數優化算法

（1）網格搜索（grid search，GS）算法.GS 算法是一種具有枚舉遍歷性質的搜索算法，其主要步驟如圖2 所示［19］.它的主要思想是先將模型中的超參數進行枚舉并組合，然后采用遍歷算法對每個組合進行K折交叉驗證（K-fold crossvalidation）評估，最后通過對比評估值從所有超參數組合中選出最優超參數.

圖2 網格搜索算法流程圖Fig.2 Schematic diagram of grid search

（2）隨機搜索（random search，RS）算法.對于高維空間超參數優化問題，RS 算法比GS 算法更高效［20］.RS 算法的具體流程如圖3 所示.從圖中可以看出，與GS 算法不同，RS 算法并不是枚舉出所有超參數的組合，而是隨機地產生一些超參數點并進行組合.因此，在RS 算法中，組合點的排布是隨機的、交錯的和無重復的，這有效提高了算法的搜索效率.而對于一些函數來說，參數2 的變化對函數值的影響遠小于參數1 對函數值的影響.因此，枚舉遍歷的優化算法可能會導致計算資源的浪費，但RS 算法能更加高效地得到較好的超參數.

圖3 隨機搜索算法流程圖Fig.3 Schematic diagram of random search

（3）貝葉斯優化算法（Bayesian optimization algorithm，BOA）.BOA 算法是一種能夠對復雜的黑箱函數進行全局尋優的高效優化算法框架［21-22］.具體優化步驟如下所示.

步驟1：高斯過程.

高斯過程（Gaussian process，GP）［23］是BOA算法中最常用的概率代理模型.它［式（6）］主要由均值函數［式（7）］和協方差函數［式（8）］組成.

可用來計算高斯過程的協方差［24］函數有很多，如徑向基函數（RBF）、平方指數協方差函數、Matérn 協方差函數等.如式（9）所示，由于Matérn（5／2）協方差函數有著更好的均衡性和穩定性［25］，故本文中選取它作為高斯過程的核函數.

式中：r為x和x′的歐幾里得距離，σ2為變量的方差.

選取n個初始點來計算高斯回歸過程，將初始點｛（x1，y1），…，（xn，yn）｝的關系定義為

式中：y為目標函數，f（x）～N（u（x），k（x，x′）），ε為觀察點x的噪聲.通常假設噪聲滿足正態分布函數，即ε～N（0，σ2ε），y＝f（x）＋ε～N（u（x），k（x，x′）＋σ2ε）.

n個初始點與新點（xn＋1，yn＋1）的聯合分布函數為

新點（xn＋1，yn＋1）的后驗分布為

式中：u（xn＋1）和σ2（xn＋1）為所求的均值和方差.

步驟2：采集函數.

采集函數用于平衡貝葉斯優化算法的全局搜索和局部搜索能力， 主要包括EI （expected improvement），PI（probability of improvement） 和UCB（upper confidence bound），其中EI 最為簡單和實用［21］.本文中將EI 作為采集函數，可表達為

式中：Φ（.） 和φ（.） 分 別 為CDF （cumulative distribution function） 和PDF（probability density function）.

表3 列出了利用貝葉斯優化算法優化AdaBoost 模型的具體步驟.

表3 貝葉斯優化算法偽代碼Table 3 Pseudocode of the optimization process by BOA

2.4 優化效果對比

本文中介紹了3 種優化算法：GS 算法優化效果好，但所用優化時間較長；RS 算法的構建過程簡單，且所需優化時間較短；BOA 算法雖具有較好的優化效果，但構建過程比較復雜.針對不同優化算法的特點，在R2和5 折交叉驗證的評估下，本文中通過對比這3 種算法的優化效果和優化時間，選取出具有較好的脫硫率預測效果的AdaBoost 模型超參數優化算法.

根據scikit-learn 教程及相關參考文獻［26］，CART 模型選取max_depth 參數作為主要超參數.同時，基于CART 模型的AdaBoost 模型，其超參數主要為max_depth，n_estimators，learning_rate 和線性損失函數（見表4）.表5 中列出了采用GS 算法對CART 模型和AdaBoost 模型進行優化的結果.由表5 可知，經GS 算法優化的AdaBoost 模型R2最大值為0.7，其擬合效果要優于采用scikitlearn 中默認超參數的AdaBoost 模型和優化后的CART 模型.這說明與CART 模型相比，AdaBoost模型具有更好的擬合和泛化能力，但其超參數需要相互協調才能達到最好的預測效果，否則其預測能力甚至可能會低于單一模型.

表4 AdaBoost 模型主要超參數Table 4 Main hyper-parameters of AdaBoost model

表5 網格搜索算法優化效果Table 5 Optimization results obtained by GS

由表5 還可知，利用GS 算法優化AdaBoost模型超參數需要消耗大量的優化時間.在CPU 10核心分配的條件下，所用時長約為41 萬s.在實際應用中，這個優化時間是不切實際的.因此，本文中分別利用RS 算法和BOA 算法進行100，200，300，400，500 次迭代測試，優化AdaBoost 模型超參數.由于隨機因素的干擾，對每組迭代測試均進行10 次實驗，且計算過程中CPU 分配均為4 核心.圖4 和圖5 分別示出了RS 算法和BOA 算法的測試結果.可以發現，這兩種算法的優化效果均會受隨機因素的影響而產生一定的波動，故需要進行多次迭代測試才能夠獲得較好的優化效果.經多組迭代測試后，RS 算法優化AdaBoost 模型的R2最大值為0.694，BOA 算法優化AdaBoost 模型的R2最大值為0.695.表6 列出了RS 算法和BOA 算法每組迭代測試中10 次實驗的均值.可以發現，對于AdaBoost 模型，這兩種算法的優化效果基本一致，但在相同迭代次數下，BOA 算法所需的優化時間要大于RS 算法的優化時間.通過對比表5 和6 可知，雖然RS 算法和BOA 算法的優化效果要稍遜色于GS 算法，但這兩種算法消耗的優化時間要遠遠小于GS 算法，故這兩種算法更適合應用于實際中.同時，從本質上講，RS 算法的時間復雜度為O（n），而以高斯過程為基礎的BOA 算法的時間復雜度為O（n3）， BOA 算法的構建過程比RS 算法更加復雜，需要更合理地選擇采集函數、核函數等參數.因此，本文中選擇RS算法來優化AdaBoost 模型的超參數.

圖4 RS 算法10 次優化實驗結果Fig.4 Results of ten optimization tests for RS

圖5 BOA 算法10 次優化實驗結果Fig.5 Results of ten optimization tests for BOA

表6 RS 算法和BOA 算法的優化結果均值對比Table 6 Comparison of mean values obtained by RS and BOA

為了更好地測試RS 算法對AdaBoost 模型的優化能力，采用增加迭代次數的方式（1 000，1 500，2 500，3 000，4 000，5 000 次）對該算法的優化效果和優化時間進一步探索，并對每組迭代測試進行10 次實驗，結果如圖6 所示.由圖可知，AdaBoost 模型的R2最大值為0.696.

圖6 RS 算法進一步優化Fig.6 Further optimization of RS

表7 列出了RS 算法每組迭代測試中10 次實驗的均值.通過對比表6 和7 可知，RS 算法1 000次迭代所用的優化時間仍小于BOA 算法500 次迭代所用的優化時間，表7 中的優化效果要優于表6 中的優化效果（以R2為主要評估標準）.綜上可知，適當增加RS 算法的迭代次數，有利于提高該算法的優化效果.

表7 RS 算法進一步優化結果均值Table 7 Mean value of further optimization results obtained by RS

3 模型驗證

對比RS 算法、 GS 算法和BOA 算法對AdaBoost 模型超參數的優化效果和優化時間的影響，確定了基于GS 算法和AdaBoost 模型的LF 精煉過程脫硫率預測模型，其R2最大值為0.696.為了測試模型的預測性能，采集的數據集被隨機地分為訓練集和測試集，其比例為8 ∶2.從圖7 中可以發現，RS 算法優化的AdaBoost 模型可達到脫硫率誤差在±0.07，±0.06 和±0.05 范圍內，準確率分別為95.3%，93.0%和86.0%，其中預測值和實際值的皮爾遜相關系數為0.84.這說明本文中提供的模型能夠準確、穩定和快速地預測LF 精煉過程脫硫率.

圖7 脫硫率預測值與實際值對比Fig.7 Comparison between predicted value and actual value of desulfurization rate

4 結 論

（1）AdaBoost 模型比單一模型具有更好的擬合和泛化能力，能夠更好地擬合LF 精煉過程中的實際生產數據.同時，AdaBoost 模型的內部超參數需要進行相互協調才能實現較好的預測效果.

（2）綜合對比網格搜索算法、隨機搜索算法和貝葉斯優化算法對AdaBoost 模型超參數的優化效果和優化時間的影響后可以發現，這3 種算法均能夠有效地提升AdaBoost 模型的預測性能，而RS 算法更適合AdaBoost 模型的超參數優化.

（3）采用測試集對RS 算法優化AdaBoost 模型的回歸能力進行驗證，發現脫硫率誤差在±0.07，±0.06 和±0.05 時，準確率分別達到95.3%，93.0%和86.0%，且預測值和實際值的皮爾遜相關系數達到0.84.因此，本模型具有較好的預測性能，可為LF 精煉過程提供有效的生產指導.