基于PSO-Hybrid的不銹鋼應(yīng)力腐蝕開(kāi)裂敏感性預(yù)測(cè)模型

蔡起衡,李光海,王 強(qiáng),曹邏煒

(1. 中國(guó)計(jì)量大學(xué)質(zhì)量與安全工程學(xué)院,杭州 310018; 2. 中國(guó)特種設(shè)備檢測(cè)研究院,北京 100029)

不銹鋼因其優(yōu)越的耐熱、耐腐蝕以及力學(xué)性能,被廣泛應(yīng)用于核電、石化、建筑等行業(yè)。但在工程應(yīng)用中,由于部分不銹鋼設(shè)備長(zhǎng)期處于惡劣的工作環(huán)境,其腐蝕失效引發(fā)的安全事故時(shí)有發(fā)生,尤其是破壞性大且易被忽視的應(yīng)力腐蝕開(kāi)裂(SCC)問(wèn)題[1]。SCC是指材料在應(yīng)力和環(huán)境聯(lián)合作用下的失效開(kāi)裂,SCC形成極其復(fù)雜且易突發(fā),通常在沒(méi)有明顯跡象的低應(yīng)力狀態(tài)下發(fā)生,會(huì)造成災(zāi)難性的后果[2]。因此,研究并預(yù)測(cè)SCC具有重要意義,其結(jié)果能夠警示企業(yè)采取相應(yīng)的安全措施,減少事故發(fā)生,保衛(wèi)國(guó)民生命和財(cái)產(chǎn)安全。

從20世紀(jì)60年代起,SCC逐漸成為國(guó)內(nèi)外學(xué)者研究不銹鋼材料的重要方向,相較于基于裂紋擴(kuò)展機(jī)理提出的模型,如滑移氧化膜破裂模型、形變/氧化交互作用模型、耦合環(huán)境斷裂模型等[3],機(jī)器學(xué)習(xí)憑借其無(wú)需確切的物理模型、無(wú)需厘清各因素間的復(fù)雜關(guān)系等優(yōu)點(diǎn),成為SCC預(yù)測(cè)方法新的選擇,有著良好的發(fā)展前景。

目前,機(jī)器學(xué)習(xí)雖已被國(guó)內(nèi)外大量學(xué)者應(yīng)用于腐蝕預(yù)測(cè)。駱正山等[4]將灰色關(guān)聯(lián)分析(GRA)與隨機(jī)森林回歸算法(RFR)相結(jié)合,提出了基于GRA-RFR的油氣集輸管道內(nèi)腐蝕速率預(yù)測(cè)模型;李易安等[5]將KPCA-ICS-ELM算法用于預(yù)測(cè)埋地管線土壤腐蝕深度;者娜等[6]提出KPCA-SVM模型,用于解決有限樣本數(shù)據(jù)下工藝管道腐蝕速率的預(yù)測(cè)問(wèn)題。然而,關(guān)于應(yīng)力腐蝕預(yù)測(cè)的研究仍較少,特別是SCC敏感性方面,SMET等[7]采用四層神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)304不銹鋼在含氯離子溶液中的SCC敏感性;趙景茂等[8]則在前人的基礎(chǔ)上提出了基于三層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的SCC敏感性預(yù)測(cè)模型;郭浩等[9]提出了Elman反饋神經(jīng)網(wǎng)絡(luò)模型來(lái)定性預(yù)測(cè)不銹鋼SCC行為;江鵬等[10]提出了PCA-SVM模型來(lái)預(yù)測(cè)煤礦井下錨桿應(yīng)力腐蝕失效風(fēng)險(xiǎn)。以上研究均取得了不錯(cuò)的預(yù)測(cè)效果,但分析方法較為單一。因此可將不同流派、不同特點(diǎn)的機(jī)器學(xué)習(xí)算法結(jié)合在一起,探究其對(duì)SCC敏感性預(yù)測(cè)效果的影響。

本工作基于主成分分析(PCA)提取出影響不銹鋼SCC敏感性的主要因素作為模型輸入,將不同流派算法混合成Hybrid模型,并使用粒子群優(yōu)化(PSO)算法進(jìn)行優(yōu)化,以期提高不銹鋼SCC敏感性預(yù)測(cè)的準(zhǔn)確度和穩(wěn)定性。

1 PSO-Hybrid模型理論基礎(chǔ)

在機(jī)器學(xué)習(xí)的發(fā)展歷程中形成了五大流派,分別是符號(hào)主義、貝葉斯派、聯(lián)結(jié)主義、進(jìn)化主義和行為類推主義[11],每個(gè)流派都有其各自的核心思想以及相應(yīng)的算法。

1.1 決策樹(shù)

決策樹(shù)(DT)是符號(hào)主義的代表算法,該算法雖然在小樣本上表現(xiàn)良好、可解釋性強(qiáng),但易發(fā)生過(guò)擬合。因此為克服單一DT算法的缺點(diǎn),本工作以DT為基礎(chǔ),引入了集成學(xué)習(xí)。所謂集成學(xué)習(xí)就是將多個(gè)弱學(xué)習(xí)器按一定的策略組成強(qiáng)學(xué)習(xí)器,相較于單一的弱學(xué)習(xí)器,強(qiáng)學(xué)習(xí)器往往有著更加優(yōu)越的性能。Bagging和Boosting是集成學(xué)習(xí)中較為流行的兩種算法[12]。

隨機(jī)森林(RF)是基于Bagging算法,以DT為弱學(xué)習(xí)器的集成模型,由Leo Breiman于2001年提出[13]。在分類問(wèn)題上,RF的核心思想是最終的輸出由組成RF的多棵DT的預(yù)測(cè)結(jié)果以硬投票的方式?jīng)Q定,即少數(shù)服從多數(shù),其具體模型結(jié)構(gòu)參照?qǐng)D1。RF的優(yōu)點(diǎn)是不易過(guò)擬合且泛化能力強(qiáng),計(jì)算速率快,但每棵樹(shù)對(duì)最終結(jié)果的影響權(quán)重相同,可能會(huì)負(fù)優(yōu)化預(yù)測(cè)效果。

圖1 隨機(jī)森林模型結(jié)構(gòu)

與Bagging算法的并行理念不同,Boosting算法中的弱學(xué)習(xí)器是按順序串行生成的,且在生成每個(gè)弱學(xué)習(xí)器時(shí)都會(huì)根據(jù)上一個(gè)弱學(xué)習(xí)器的表現(xiàn)來(lái)不斷更新樣本數(shù)據(jù)與該弱學(xué)習(xí)器所占的權(quán)重。CHEN等[14]在2016年首次提出了XGBoost,這既是Boosting思想的擴(kuò)展,也是對(duì)梯度提升樹(shù)算法的優(yōu)化,其與梯度提升樹(shù)最大的區(qū)別在于XGBoost將二階導(dǎo)數(shù)和正則化項(xiàng)應(yīng)用到目標(biāo)函數(shù)中,以此減弱決策樹(shù)易過(guò)擬合的缺點(diǎn)。

XGBoost算法的目標(biāo)函數(shù)與正則化項(xiàng)如式(1)～(2)所示。

(1)

(2)

式中:Ω(f)為正則化項(xiàng);T為基決策樹(shù)的葉子節(jié)點(diǎn)總數(shù);ωt為基決策樹(shù)的第t個(gè)葉子節(jié)點(diǎn)的輸出值;γ、ω為正則化項(xiàng)系數(shù),屬于超參數(shù)。

XGBoost被廣泛應(yīng)用于眾多機(jī)器學(xué)習(xí)競(jìng)賽中并取得了不錯(cuò)的成績(jī),其優(yōu)點(diǎn)可歸納為:(1) 效率高、耗能低;(2) 不易過(guò)擬合且泛化能力強(qiáng);(3) 可調(diào)參數(shù)多,模型上升空間大。但XGBoost需要遍歷數(shù)據(jù)集來(lái)尋找最佳分割點(diǎn),若數(shù)據(jù)集過(guò)大則會(huì)耗費(fèi)大量資源。

1.2 樸素貝葉斯

樸素貝葉斯(NB)分類算法是貝葉斯派最主要的算法[15],其基礎(chǔ)是英國(guó)學(xué)者貝葉斯于18世紀(jì)提出的貝葉斯定理。貝葉斯分類算法按式(3)計(jì)算,arg max(f(x))函數(shù)的作用是當(dāng)f(x)取得最大值時(shí)對(duì)應(yīng)的變量x,即分類結(jié)果。

(3)

式中:K為類數(shù);P(ck)為樣本中ck類出現(xiàn)的概率;P(xi|ck)為在屬于ck類的前提下,xj特征的條件概率。

NB分類算法簡(jiǎn)單,在小樣本上也能有良好表現(xiàn)。但由于貝葉斯定理的前提假設(shè)是條件獨(dú)立,因此當(dāng)樣本屬性之間有關(guān)聯(lián)時(shí),會(huì)降低算法的分類性能。另外,NB分類算法的可調(diào)參數(shù)過(guò)少,模型的提升空間不大。

1.3 極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)(ELM)最早由黃廣斌等[16]于2004年提出,是屬于聯(lián)結(jié)主義的基于前饋神經(jīng)網(wǎng)絡(luò)構(gòu)建的算法,其網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖2。ELM的優(yōu)勢(shì)在于學(xué)習(xí)速率快,泛化能力強(qiáng)。但是其在處理問(wèn)題時(shí)為黑箱過(guò)程,可解釋性差。

圖2 ELM網(wǎng)絡(luò)結(jié)構(gòu)

1.4 支持向量機(jī)

支持向量機(jī)(SVM)源于統(tǒng)計(jì)學(xué)習(xí)理論,最早由VAPNIK和CORTES等于1995年提出,是行為類推主義的代表算法[17]。對(duì)于分類問(wèn)題,其主要思想是找到能區(qū)分不同類別的最大邊距超平面,圖3為SVM處理二分類問(wèn)題的過(guò)程,法向量ω和常量b分別代表超平面的方向與其到原點(diǎn)的距離。

圖3 最大邊距超平面

SVM善于處理小樣本、高維度的數(shù)據(jù)集和非線性問(wèn)題,泛化能力強(qiáng)。但在處理大樣本和多類別的問(wèn)題上有明顯的不足。此外,參數(shù)和核函數(shù)的選擇對(duì)SVM性能有較大影響。

SVM分類模型的函數(shù)如式(4)所示。

(4)

式中:n為維數(shù);ai,ai*為拉格朗日乘子;b為擬合偏差;k(xi,xj)為SVM的核函數(shù),如多項(xiàng)式、徑向基和Sigmoid核函數(shù)等,本研究采用較常用的徑向基核函數(shù)[18]。

1.5 粒子群算法

許多優(yōu)化算法的靈感來(lái)源于自然界現(xiàn)象,PSO是一種模仿鳥(niǎo)群等群集行為提出的基于種群的優(yōu)化技術(shù),其核心是群體間的信息共享。

在標(biāo)準(zhǔn)PSO應(yīng)用中,一群隨機(jī)初始化的粒子,在搜索空間中不斷運(yùn)動(dòng),直到達(dá)到指定的迭代次數(shù)或其他終止條件[19]。群體中第i個(gè)粒子的速率和位置的迭代公式見(jiàn)式(5)～(6)。

vin=ωvin-1+c1r1[p(best)in-xin-1]+

c2r2[g(best)n-xin-1]

(5)

xin=xin-1+vin

(6)

式中:vin與xin分別為第i個(gè)粒子在第n次迭代時(shí)的速率和位置;ω為慣性權(quán)重因子;c1、c2分別為局部和全局的加速度因子;r1與r2是在[0,1]上的隨機(jī)數(shù);p(best)in為第i個(gè)粒子在第n次迭代時(shí)的歷史最優(yōu)解;g(best)n為整個(gè)粒子群在第n次迭代時(shí)的全局最優(yōu)解。

本工作優(yōu)化了標(biāo)準(zhǔn)PSO中的單一粒子適應(yīng)度評(píng)估,分別選擇了準(zhǔn)確度(ACC)和馬修斯相關(guān)系數(shù)(MCC)作為PSO的主、次適應(yīng)度函數(shù)。在尋優(yōu)過(guò)程中,不同粒子在滿足相同ACC的前提下,會(huì)優(yōu)先選擇MCC最大的粒子作為最優(yōu)解。以某次PSO優(yōu)化SVM的過(guò)程為例,設(shè)置迭代次數(shù)為100,圖4為粒子群在初始化、第50次與迭代結(jié)束時(shí)的位置及相應(yīng)的適應(yīng)度變化過(guò)程,具體參數(shù)變化見(jiàn)表1。

表1 PSO優(yōu)化SVM前后參數(shù)對(duì)比

(a) 粒子群初始化

綜合圖4與表1的結(jié)果可知,SVM模型經(jīng)PSO優(yōu)化尋得最佳參數(shù)后,性能得到了顯著提高,其在訓(xùn)練集上的ACC從0.86提高至0.90,MCC提高了0.08,在測(cè)試集上的ACC與MCC分別提高了0.18和0.11。PSO-Hybrid預(yù)測(cè)模型的具體流程見(jiàn)圖5。

圖5 PSO-Hybrid模型流程

1.6 模型評(píng)估指標(biāo)

本工作選取ACC與MCC來(lái)驗(yàn)證PSO-Hybrid模型的可行性和優(yōu)劣性。ACC能夠直觀地體現(xiàn)樣本被分類正確的情況,MCC則是求解二分類中實(shí)際值和預(yù)測(cè)值之間的相關(guān)系數(shù),其值范圍為[-1,1],數(shù)值越接近1,代表模型的性能越好,計(jì)算公式見(jiàn)式(7)～(8)。

(7)

(8)

式中:T1為正樣本預(yù)測(cè)正確的個(gè)數(shù);T2為負(fù)樣本預(yù)測(cè)正確的個(gè)數(shù);F1為負(fù)樣本預(yù)測(cè)錯(cuò)誤的個(gè)數(shù);F2是正樣本預(yù)測(cè)錯(cuò)誤的個(gè)數(shù)。

2 試驗(yàn)數(shù)據(jù)分析

2.1 數(shù)據(jù)預(yù)處理

本工作數(shù)據(jù)源于某奧氏體不銹鋼經(jīng)退火工藝后在高溫水環(huán)境中發(fā)生SCC行為的71組試驗(yàn)數(shù)據(jù)[20]。數(shù)據(jù)集有4個(gè)參數(shù):溫度(241～350 ℃)、氯含量(0.001～3 000 mg/L)、氧含量(0.01～1 200 mg/L)以及是否發(fā)生SCC。

為了消除不同量綱對(duì)模型訓(xùn)練的影響,數(shù)據(jù)預(yù)處理是有必要的。根據(jù)電化學(xué)腐蝕的基本原理,離子含量對(duì)腐蝕行為的影響一般呈指數(shù)型[8],故先對(duì)氯、氧含量取對(duì)數(shù),然后對(duì)所有樣本作歸一化處理,預(yù)處理后的部分樣本數(shù)據(jù)如表2所示,按照7∶3的比例,隨機(jī)抽取49組樣本數(shù)據(jù)用于訓(xùn)練模型,剩下22組數(shù)據(jù)用于測(cè)試模型的性能。

表2 部分預(yù)處理后的樣本(源于退火處理的不銹鋼)

2.2 主成分分析

主成分分析的目的是降維,它能夠在保留絕大部分樣本有效信息的同時(shí)降低數(shù)據(jù)的維數(shù)。對(duì)于機(jī)器學(xué)習(xí)而言,通過(guò)PCA提取出能夠代表整個(gè)數(shù)據(jù)集的主成分來(lái)訓(xùn)練模型,可以減少訓(xùn)練過(guò)程中耗費(fèi)的資源,特別是對(duì)高維度、高數(shù)據(jù)量樣本的降維效果更為明顯。各主成分?jǐn)y帶信息的多少與方差成正比,通常選取累積貢獻(xiàn)率高于80%的因素作為主成分[18]。應(yīng)用SPSS軟件計(jì)算預(yù)處理后數(shù)據(jù)集的各成分特征值與貢獻(xiàn)率,如表3所示。

表3 主成分分析

由表3可知,溫度和氯含量的貢獻(xiàn)率相近,氧含量的貢獻(xiàn)率稍低一些。前2個(gè)成分的累積貢獻(xiàn)率僅有71.33%,不滿足高于80%的要求,因此數(shù)據(jù)集的3個(gè)成分都將用于訓(xùn)練模型。在金屬腐蝕的相關(guān)理論中,奧氏體不銹鋼在氯化物溶液和含氧高溫純水等環(huán)境中會(huì)發(fā)生SCC[1],溫度、氯離子和溶解氧本身就是分析SCC不可缺少的因素,這也與PCA的結(jié)果相對(duì)應(yīng)。

2.3 預(yù)測(cè)結(jié)果分析

為驗(yàn)證PSO-Hybrid模型的優(yōu)劣性,循環(huán)代碼20次,觀察模型的表現(xiàn)。圖6為未經(jīng)PSO優(yōu)化的Hybrid模型及其部分基模型在循環(huán)過(guò)程中的表現(xiàn)(以ACC為例),表4為所有模型評(píng)估指標(biāo)的詳細(xì)數(shù)據(jù),方差越小代表模型表現(xiàn)越穩(wěn)定。

表4 各預(yù)測(cè)模型的表現(xiàn)

圖6 Hybrid與其部分基模型準(zhǔn)確度對(duì)比

由圖6和表4可知,未經(jīng)PSO優(yōu)化的Hybrid模型的ACC與MCC平均值分別為0.814和0.627,與組成Hybrid模型的5個(gè)基模型相比,其表現(xiàn)雖明顯優(yōu)于SVM模型,但與XGBoost模型的性能相近,最可能的原因是SVM模型較差的表現(xiàn)在一定程度上拉低了Hybrid模型的性能。

圖7為經(jīng)PSO優(yōu)化前后Hybrid模型相應(yīng)的評(píng)估指標(biāo)值變化過(guò)程。綜合圖7與表4可知,PSO算法在一定程度上提升了RF、XGBoost與SVM模型的性能,其中SVM的性能提升尤為顯著,其ACC與MCC平均值分別提高了0.087和0.123,且更加穩(wěn)定。另外,PSO-Hybrid模型的ACC與MCC平均值分別為0.841和0.678,與表4中的所有模型相比,其表現(xiàn)最為優(yōu)越。

圖7 Hybrid與PSO-Hybrid模型評(píng)估指標(biāo)值對(duì)比

2.4 模型驗(yàn)證

為進(jìn)一步驗(yàn)證模型的可靠性,另外收集了38組敏化處理后的奧氏體不銹鋼在高溫水中的SCC行為試驗(yàn)數(shù)據(jù)作為驗(yàn)證集[20]。驗(yàn)證集有4個(gè)參數(shù):溫度(274～350 ℃)、氯含量(0.001～1 000 mg/L)、氧含量(0.01～200 mg/L)以及是否發(fā)生SCC,其數(shù)據(jù)預(yù)處理的步驟與上文相同,部分驗(yàn)證集樣本數(shù)據(jù)見(jiàn)表5。

表5 部分預(yù)處理后的樣本(源于敏化處理的不銹鋼)

經(jīng)檢驗(yàn),PSO-Hybrid模型在驗(yàn)證集上也有不錯(cuò)的表現(xiàn),循環(huán)20次后ACC與MCC平均值分別為0.750和0.491。但其性能與前文的模型表現(xiàn)相比有明顯的下降,原因可能是材料的處理工藝不同,該驗(yàn)證集數(shù)據(jù)源于敏化處理后的奧氏體不銹鋼,而前文材料經(jīng)退火處理,敏化處理能夠讓材料不太容易發(fā)生晶間腐蝕促進(jìn)的SCC。因此,為進(jìn)一步探討模型的可靠性,隨機(jī)抽取30%的驗(yàn)證集數(shù)據(jù)與前文的71條數(shù)據(jù)相組合,用于訓(xùn)練PSO-Hybrid模型,觀察模型預(yù)測(cè)剩余70%驗(yàn)證集數(shù)據(jù)的表現(xiàn)。

結(jié)果表明,將驗(yàn)證集的部分?jǐn)?shù)據(jù)組合用于訓(xùn)練PSO-Hybrid模型可有效提高其在驗(yàn)證集上的預(yù)測(cè)效果,其ACC與MCC平均值分別為0.833和0.672,這表明預(yù)測(cè)模型的建立是一個(gè)動(dòng)態(tài)的、實(shí)時(shí)更新的過(guò)程,根據(jù)不同的材料、工藝、環(huán)境等影響因素,模型也需要實(shí)時(shí)調(diào)整來(lái)適應(yīng)新的數(shù)據(jù)集,以取得良好的預(yù)測(cè)效果。圖8為在循環(huán)過(guò)程中,將驗(yàn)證集的部分?jǐn)?shù)據(jù)用于訓(xùn)練前后的PSO-Hybrid模型預(yù)測(cè)效果表現(xiàn)情況。

圖8 部分驗(yàn)證集用于訓(xùn)練前后PSO-Hybrid模型的評(píng)估指標(biāo)值對(duì)比

綜上所示可知,Hybrid思想為二分類問(wèn)題拓寬了新思路,本工作所提出的PSO-Hybrid模型為預(yù)測(cè)不銹鋼應(yīng)力腐蝕開(kāi)裂敏感性提供了一種有效的分析方法,具有一定的可靠性與科學(xué)性。PSO-Hybrid模型是否適用于不同不銹鋼還有待進(jìn)一步研究。另外,依靠機(jī)器學(xué)習(xí)來(lái)建立優(yōu)秀的預(yù)測(cè)模型需要一定量的數(shù)據(jù)支撐,但SCC行為的數(shù)據(jù)量較少,獲取難度較高,未來(lái)若能建立腐蝕數(shù)據(jù)庫(kù),實(shí)現(xiàn)數(shù)據(jù)共享,將會(huì)對(duì)腐蝕預(yù)測(cè)的研究起到很大的推動(dòng)作用。

3 結(jié)論

(1) 運(yùn)用PCA提取出對(duì)不銹鋼發(fā)生SCC影響較大的因素,包括溫度、氯含量和氧含量,其中溫度的影響最大。

(2) 通過(guò)對(duì)比預(yù)測(cè)值與實(shí)際值可知,Hybrid思想有一定的可行性和科學(xué)性,且經(jīng)PSO優(yōu)化后,Hybrid模型的平均準(zhǔn)確度與馬修斯相關(guān)系數(shù)各提高了3.3%與8.3%,表明PSO-Hybrid模型的預(yù)測(cè)準(zhǔn)確度較高、穩(wěn)定性好,這為預(yù)測(cè)不銹鋼SCC敏感性提供了技術(shù)支撐。