基于深度學(xué)習(xí)的高溫合金鋼金相球化評(píng)級(jí)方法

中圖分類號(hào) TQ050.4+1 文獻(xiàn)標(biāo)志碼A 文章編號(hào) 0254-6094（2025）03-0490-08

高溫合金鋼（12CrMoV、15CrMo等）廣泛應(yīng)用于浙石化、鎮(zhèn)海煉化等大型石化企業(yè)中的鍋爐、壓力容器、壓力管道特種設(shè)備，其設(shè)備事故常會(huì)造成重大財(cái)產(chǎn)損失、嚴(yán)重威脅國(guó)民生命安全、影響社會(huì)穩(wěn)定，高溫合金鋼性能失效是事故發(fā)生的主要原因之一[1.2]。高溫合金鋼金相檢驗(yàn)是及時(shí)發(fā)現(xiàn)其機(jī)械性能失效的關(guān)鍵手段，DL/T773—2016《火電廠用12Cr1MoV鋼球化評(píng)級(jí)標(biāo)準(zhǔn)》3]、DL/T787—2001《火電廠用15CrMo鋼珠光體球化評(píng)級(jí)標(biāo)準(zhǔn)》4等標(biāo)準(zhǔn)規(guī)定了鋼制造的鍋爐集箱、蒸汽管道和管件、受熱面等部件在高溫下長(zhǎng)期使用后的顯微組織球化等級(jí)評(píng)定，目前高溫合金鋼球化評(píng)級(jí)主要依靠檢驗(yàn)人員參照標(biāo)準(zhǔn)定義圖譜將顯微組織按球化程度分為5級(jí)，人工檢驗(yàn)效率低下，主觀性較強(qiáng)，評(píng)級(jí)結(jié)果復(fù)現(xiàn)性較弱，為此，研究高溫合金鋼金相球化定量評(píng)級(jí)方法意義重大。

球化級(jí)別評(píng)定是基于珠光體的圖像特征，檢驗(yàn)人員參考標(biāo)準(zhǔn)圖譜后，評(píng)定球化級(jí)別，因此金相球化評(píng)級(jí)是典型的圖像特征提取問(wèn)題。圖像特征提取技術(shù)大致可分為經(jīng)典圖像特征處理技術(shù)和基于深度學(xué)習(xí)的圖像特征提取技術(shù)。其中經(jīng)典圖像特征處理技術(shù)是圖像經(jīng)濾波處理后，采用圖像分割算法得到邊緣提取圖像，該技術(shù)原理較為簡(jiǎn)單，但不同類型的金相圖像特征差異較大，通用性較差；基于深度學(xué)習(xí)的圖像特征提取技術(shù)是通過(guò)圖像 + 標(biāo)簽的形式訓(xùn)練大尺度卷積神經(jīng)網(wǎng)絡(luò)模型，使得卷積模型能夠完成圖像處理、特征提取等系列任務(wù)。

經(jīng)典圖像特征處理金相圖像經(jīng)過(guò)灰度處理，平滑濾波、高斯濾波等圖像預(yù)處理后，經(jīng)閾值、邊緣、區(qū)域、圖論、能量泛函等圖像分割后，得到晶粒邊界特征的二值圖像。2007年，華北電力大學(xué)首先采用維納濾波對(duì)金相進(jìn)行去噪，然后采用形態(tài)學(xué)進(jìn)行圖像分割，最后基于分形維數(shù)實(shí)現(xiàn)15CrMo鋼金相珠光體特征提取[5；張紅旗和王春光對(duì)12Cr1MoV鋼金相圖像進(jìn)行直方圖均衡化圖像灰度處理、小波變換處理、Robert算子邊緣檢測(cè)后，得到12Cr1MoV鋼中珠光體邊緣輪廓信息，利用標(biāo)準(zhǔn)圖譜對(duì)12Cr1MoV鋼珠光體球化程度進(jìn)行評(píng)級(jí)；張紅旗等采用直方圖均衡化的方法對(duì)圖像進(jìn)行增強(qiáng)，使用中值濾波器對(duì)圖像進(jìn)行降噪處理，分析小波算法的降噪機(jī)理，并使用小波進(jìn)行了降噪處理，利用數(shù)學(xué)形態(tài)學(xué)的方法對(duì)圖像效果進(jìn)行改善，使得珠光體的輪廓變得平滑、清晰。使用Sobel算子、LoG算子進(jìn)行珠光體的邊緣提取，利用LoG算子對(duì)目標(biāo)物的邊緣檢測(cè)取得了較滿意的效果[7]；2013年，華南理工大學(xué)對(duì)被測(cè)珠光體鋼進(jìn)行金相數(shù)碼拍照，將金相照片類型由真彩色轉(zhuǎn)化為灰階，確定被測(cè)珠光體鋼照片的灰度閥值，然后對(duì)金相照片圖像進(jìn)行二值化處理，最后用基于線段表的輪廓跟蹤方法對(duì)二值化圖像珠光體區(qū)域的輪廓進(jìn)行識(shí)別[8]。經(jīng)典圖像特征處理技術(shù)采用系列圖像算法，可較好提取珠光體邊緣特征，但其算法流程復(fù)雜，差異較大的金相圖像適用性較差。

隨著深度卷積神經(jīng)網(wǎng)絡(luò)發(fā)展，圖像中特征提取任務(wù)一直是深度學(xué)習(xí)研究的重點(diǎn)內(nèi)容，12Cr1MoV金相圖像中組織特征選取問(wèn)題可歸類于深度學(xué)習(xí)中的語(yǔ)義分割問(wèn)題。語(yǔ)義分割從圖像中用目標(biāo)檢測(cè)方法獲得不同實(shí)例，然后在相同實(shí)例區(qū)域內(nèi)進(jìn)行逐像素預(yù)測(cè)，通過(guò)使用掩碼作為像素預(yù)測(cè)的標(biāo)簽。全卷積神經(jīng)網(wǎng)絡(luò)（FullyConvolu-tionalNetworks，F(xiàn)CN）是語(yǔ)義分割的開(kāi)端[9]，語(yǔ)義分割從此迅速發(fā)展。網(wǎng)絡(luò)模型的端到端訓(xùn)練也是由全卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的，雖然FCN實(shí)現(xiàn)了像素級(jí)別的圖片預(yù)測(cè)，但是它卻忽略了全局上下文信息，語(yǔ)義分割精度較低；后續(xù)，文獻(xiàn)[10]提出Deeplab深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其使用空洞卷積解決了重復(fù)的下采樣導(dǎo)致全局上下文信息丟失的問(wèn)題，使用條件隨機(jī)場(chǎng)解決了較深卷積結(jié)構(gòu)空間不變性導(dǎo)致的細(xì)節(jié)丟失、分割結(jié)果粗糙的問(wèn)題，目前已發(fā)展至DeepLabv3 ⁺ 版本[11]。受到自然語(yǔ)言處理中的Transformer[12啟發(fā)，許多學(xué)者嘗試將Transformer應(yīng)用于語(yǔ)義分割領(lǐng)域，利用Trans-former的注意力機(jī)制，建立遠(yuǎn)距離依賴關(guān)系，取得了顯著的成果，目前基于Transformer的深度學(xué)習(xí)模型是語(yǔ)義分割研究熱點(diǎn)[13]

筆者在上述基于Transformer的語(yǔ)義分割網(wǎng)絡(luò)的基礎(chǔ)上，提出基于深度學(xué)習(xí)的高溫合金鋼金相珠光體球化評(píng)級(jí)方法，包括面向合金鋼珠光體的球化評(píng)級(jí)流程、基于Transformer編碼器-解碼器Segformer網(wǎng)絡(luò)珠光體特征提取、基于珠光體灰度特征的球化等級(jí)評(píng)定方法等，有效提升高溫合金鋼球化評(píng)級(jí)效率。

1基于深度學(xué)習(xí)的高溫合金鋼金相珠光體球化評(píng)級(jí)流程

圖1為面向合金鋼珠光體的球化等級(jí)評(píng)定流程圖，先用金相成像設(shè)備拍攝金相圖像I，進(jìn)行對(duì)比度增強(qiáng)后得到相應(yīng)圖像E，將E輸入深度學(xué)習(xí)網(wǎng)絡(luò)，輸出掩膜結(jié)果 F_out ；計(jì)算 F_out 、實(shí)例分割像素覆蓋率 T_out 是否達(dá)到閾值 T_seg ，若 T_outseg ，則確定為球化5級(jí)，若 T_outgtrsimT_seg ，則初步評(píng)級(jí)為1、2、3、4級(jí)球化；將深度學(xué)習(xí)網(wǎng)絡(luò)輸出掩膜 F_out 進(jìn)一步再分割，依據(jù)分割結(jié)果對(duì)球化等級(jí)進(jìn)一步細(xì)分。

2基于深度學(xué)習(xí)的高溫合金鋼金相珠光體特征提取方法

2.1金相圖像增強(qiáng)方法

不同成像環(huán)境下，金相圖像的珠光體特征與背景差異較大，因此需將RGB三通道圖像轉(zhuǎn)為灰度圖像后進(jìn)行灰度域圖像增強(qiáng)，突出珠光體和背景特征，便于后續(xù)深度學(xué)習(xí)、再分割等圖像處理。

采用一種局部自適應(yīng)對(duì)比度增強(qiáng)方法，首先將金相圖像區(qū)分為高頻與低頻區(qū)域，將金相圖像中珠光體特征等高頻細(xì)節(jié)部分做增強(qiáng)處理，避免若干低頻背景信息的干擾，令 G（i，j） 為原圖像點(diǎn)的灰度值； （2n+1）² 是以 （i，j） 為中心的窗口區(qū)域；m_h（i，j） 近似為背景部分； [G（i，j）-m_h（i，j） ]為高頻細(xì)節(jié)部分； σ_h²（i，j） 為方差 σ_{：f（i，j）} 為重構(gòu)增強(qiáng)圖像；D 為權(quán)值系數(shù)，則局部自適應(yīng)對(duì)比度增強(qiáng)算法可描述為：

2.2基于Transformer的編碼器-解碼器Segformer網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

圖2為基于Transformer的編碼器-解碼器Seg-former網(wǎng)絡(luò)結(jié)構(gòu)圖[14]，圖中 （k=7，s=4，p=3） 表示卷積核大小為 7×7 ，步長(zhǎng)為4，填充為3的卷積計(jì)算，

BN為歸一化計(jì)算，Linear為全卷積計(jì)算。卷積Segformer網(wǎng)絡(luò)由編碼器和解碼器兩部分組成，網(wǎng)絡(luò)輸入為金相3通道RGB圖像（尺度為 W×H×3 ），經(jīng)過(guò)編碼器降采樣后，輸出 F₁∈R^{W/4，H/4，768}?F₂∈ R^{W/4，H/4，768}，F(xiàn)₃∈R^{W/4，H/4，768}，F(xiàn)₄∈R^{W/4，H/4，768}4 種特征圖，再將 F₁?F₂?F₃?F₄ 進(jìn)行通道相加，得到編碼器輸出特征圖 F_encoder∈R^{W/4，H/4，3072} F_encoder 經(jīng)解碼器輸出通道數(shù)為語(yǔ)義分割類別 |N_c 的掩膜圖像 F_out 中矩陣元素即語(yǔ)義分割掩膜信息。

編碼器由 S₁，S₂，S₃，S₄ 不同階段組成，每個(gè)階段編碼器均由若干Attention+MLP網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成，圖3為Attention內(nèi)部結(jié)構(gòu)。首先將輸人特征圖 空間尺度

變換為Fin ，然后分支一結(jié)構(gòu) F_in^Attention 經(jīng)全連接層后變換為 ，分支二結(jié)構(gòu)F_in^Attention 經(jīng)卷積核為 d_i×d_i ，步長(zhǎng)為 d_i 卷積與全連接層計(jì)算后得 ，則Attention輸出 可表示為：

相比于傳統(tǒng)的卷積計(jì)算，基于Transformer的Attention網(wǎng)絡(luò)結(jié)構(gòu)感受野與計(jì)算復(fù)雜度有效降低。

圖4為MLP內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)，其中卷積為深度可分離卷積，對(duì)特征圖單通道進(jìn)行卷積，減少計(jì)算量，GELU激活函數(shù) GELU（x） 為：

2.3 珠光體特征再分割方法

通常情況下，Segformer網(wǎng)絡(luò)輸出掩膜圖像分割范圍比真實(shí)分割范圍大，可通過(guò)進(jìn)一步細(xì)化分割，令Segformer網(wǎng)絡(luò)輸出掩膜圖像的語(yǔ)義分割特征為M，首先對(duì)M進(jìn)行灰度處理，得到灰度圖像 G ：

G=0.2989M（：，：，1）+0.587M（：，：，2）+0.114M（：，：，：，3）

計(jì)算 G 中每個(gè)像素的累加概率 P（i） ：

則灰度熵 及類間方差 σ² 的計(jì)算式為：

分割灰度閾值T可確定為 T=max（σ²） 。

令再分割的珠光體特征區(qū)域集合為A{a，a，…，a_n} ，分別計(jì)算每個(gè)特征區(qū)域 ∣a_i 內(nèi)的灰度分布概率 H_i{h_i⁰，h_i¹，…，h_i²⁵⁵} ，取灰度值為[0，10]的像素點(diǎn)概率 {h_i⁰，h_i¹，…，h_i¹⁰} 為球化等級(jí)進(jìn)一步細(xì)分指標(biāo)，則用于計(jì)算球化等級(jí)的指標(biāo)可計(jì)算 α 為：

Segformer網(wǎng)絡(luò)采用交叉熵?fù)p失為網(wǎng)絡(luò)訓(xùn)練損失函數(shù)，訓(xùn)練過(guò)程中網(wǎng)絡(luò)真實(shí)標(biāo)簽為 F_out ，網(wǎng)絡(luò)輸出為 F_out^′ ，則網(wǎng)絡(luò)訓(xùn)練損失L計(jì)算式為：

其中， λ_j（j=1，2，…，10） 為評(píng)價(jià)系數(shù)。

3實(shí)驗(yàn)

實(shí)驗(yàn)金相圖像由PTI-A5800現(xiàn)場(chǎng)金相檢測(cè)儀采集12Cr1MoV、15CrMo等材質(zhì)容器獲得，邊緣計(jì)算硬件CPU為i78700k、內(nèi)存32GB、GPU為GeForceRTX2080Ti，深度學(xué)習(xí)環(huán)境為Py-torch1.8.1。使用VIA（VGGImageAnnotator）標(biāo)注工具將堆疊千克組砝碼圖像灰度變換后標(biāo)注為數(shù)據(jù)集，對(duì)數(shù)據(jù)集旋轉(zhuǎn)、透視變換、改變亮度、水平鏡面翻轉(zhuǎn)、垂直鏡面翻轉(zhuǎn)生成100張訓(xùn)練集圖像，另生成20張網(wǎng)絡(luò)驗(yàn)證集圖像。設(shè)置網(wǎng)絡(luò)超參數(shù)學(xué)習(xí)率為0.00006，訓(xùn)練步長(zhǎng)為160000，損失函數(shù)收斂在0.00184，分別采用語(yǔ)義分割領(lǐng)域常用的交并比（IntersectionoverUnion，IoU）、準(zhǔn)確率（Accuracy，Acc）作為實(shí)驗(yàn)珠光體特征提取結(jié)果評(píng)價(jià)指標(biāo)。圖5為IoU計(jì)算方法示意圖，其中FP（FalsePositive）樣本的真實(shí)類別是負(fù)類，但是模型將其識(shí)別為正類，即圖中綠色區(qū)域；TP（TruePositive）樣本的真實(shí)類別是正類，且模型識(shí)別的結(jié)果也是正類，即圖中黃色區(qū)域;FN（FalseNega-tive）樣本的真實(shí)類別是正類，但是模型將其識(shí)別為負(fù)類，即圖中藍(lán)色區(qū)域;TN（TrueNegative）樣本的真實(shí)類別是負(fù)類，且模型將其識(shí)別為負(fù)類，即圖中白色區(qū)域。

loU可計(jì)算為：

準(zhǔn)確率 .Acc 表示預(yù)測(cè)正確的樣本數(shù)量占全部樣本的百分比，可計(jì)算為：

圖6為深度學(xué)習(xí)預(yù)測(cè)與再分割預(yù)測(cè)結(jié)果，表1為Segformer網(wǎng)絡(luò)輸出與再分割背景、珠光體特征的 _IoU，Acc 結(jié)果對(duì)比。

結(jié)合圖、表內(nèi)容可以看出，Segformer網(wǎng)絡(luò)能較好提取金相圖中珠光體特征；將Segformer網(wǎng)絡(luò)輸出再分割能進(jìn)一步提升背景、珠光體特征的_IoU，Acc ，再分割方法可有效提升Segformer網(wǎng)絡(luò)提取精度。

令評(píng)價(jià)系數(shù)A={255，254，253，252，251，250，249，248，247，246，245}，當(dāng) 0?αlt;20 時(shí)，球化評(píng)級(jí)為4級(jí)；20?αlt;30 時(shí)，球化評(píng)級(jí)為3級(jí)； 30?αlt;40 時(shí)，球化評(píng)級(jí)為2級(jí)； 40?α 時(shí)，球化評(píng)級(jí)為1級(jí)。表2為隨機(jī)4張金相球化評(píng)級(jí)得分及評(píng)級(jí)結(jié)果，圖7為相應(yīng)珠光體特征提取結(jié)果，從球化評(píng)級(jí)結(jié)果中可以看出，式（11）量化指標(biāo) α 可較好反映珠光體的球化等級(jí)。

4結(jié)束語(yǔ)

在珠光體金相球化評(píng)級(jí)定量研究領(lǐng)域，筆者創(chuàng)新性地提出基于深度學(xué)習(xí)的高溫合金鋼金相珠光體球化評(píng)級(jí)新方法，該方法通過(guò)研究不同球化等級(jí)珠光體特征差異，提出基于圖像珠光體灰度的評(píng)級(jí)指標(biāo) α 的計(jì)算方法，嘗試將金相球化評(píng)級(jí)結(jié)果形成量化指標(biāo)；首先通過(guò)珠光體特征增強(qiáng)方法，增強(qiáng)珠光體特征信息，然后，研究基于Transformer的編碼器-解碼器Segformer網(wǎng)絡(luò)結(jié)構(gòu)，提取金相圖像中珠光體特征區(qū)域，經(jīng)過(guò)再分割的珠光體特征計(jì)算評(píng)級(jí)指標(biāo) α ;實(shí)驗(yàn)表明，Segformer網(wǎng)絡(luò)可有效提取珠光體特征區(qū)域，深度學(xué)習(xí)提取 + 再分割方法可提高特征提取 _IoU，Acc 結(jié)果，且設(shè)計(jì)的評(píng)級(jí)指標(biāo) α 可較好反映球化等級(jí)。本研究方法深度學(xué)習(xí)模型部署在遠(yuǎn)程，下一步將部署邊緣計(jì)算模型，可實(shí)現(xiàn)珠光體在線評(píng)級(jí)。

參考文獻(xiàn)

[1]陳國(guó)安，楊王玥，孫祖慶.中碳鋼過(guò)冷奧氏體形變過(guò)程中的組織演變[J].金屬學(xué)報(bào)，2007，43（1）：27-34.

[2] 裴朝，李華，胡愛(ài)民.基于LVDS的石油管道檢測(cè)系統(tǒng)[J].儀表技術(shù)與傳感器，2010（12）：44-46.

[3]中國(guó)電力工業(yè)聯(lián)合會(huì)標(biāo)準(zhǔn)化部.火電廠用12Cr1MoV鋼球化評(píng)級(jí)標(biāo)準(zhǔn)：DL/T773—2016[S].北京：中國(guó)電力出版社，2016.

[4] 中國(guó)電力工業(yè)聯(lián)合會(huì)標(biāo)準(zhǔn)化部.火電廠用15CrMo鋼珠光體球化評(píng)級(jí)標(biāo)準(zhǔn)：DL/T787—2001[S].北京：中國(guó)電力出版社，2016.

[5] 張強(qiáng).基于D-S證據(jù)理論的圖像識(shí)別研究[D].保定：華北電力大學(xué)，2007.

[6] 張紅旗，王春光.12Cr1MoV鋼金相圖像處理技術(shù)的研究［J].內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，33（3）：163-168.

[7]張紅旗，王春光，王全喜，等.數(shù)字圖像處理技術(shù)在金相分析中的應(yīng)用研究[J].農(nóng)機(jī)化研究，2013，35（3）：209-213;217.

[8] 姚順春，陸繼東，李軍，等.基于激光等離子體光譜的12Cr1MoV珠光體球化等級(jí)的現(xiàn)場(chǎng)檢測(cè)方法：CN103424397A[P].2015-08-26.

[9] SHELHAMERE，LONGJ，DARRELLT.FullyConvol-utional Networksfor Semantic Segmentation[J].IEEETransactions on PatternAnalysisandMachineIntelligence，2015，39（4）：640-651.

[10] CHENLC，PAPANDREOUG，KOKKINOSI，etal.Semantic image segmentation with deep convolu-tional nets and fully connected crfs[J].arXiv，2014：14127062.

[11] PENGX，YINZ，YANGZ.Deeplab_v3_plus-netforImage Semantic Segmentationwith Channel Compres-sion[C]//202O IEEE 2Oth International Conference onCommunication Technology（ICCT）.IEEE，2020.

[12] VASWANIA，SHAZEERN，PARMARN，etal.Atten-tionisall you need[C]//Advancesin Neural Informa-tionProcessing Systems.2017：5998-6008.

[13] STRUDEL R，GARCIAR，LAPTEVI，etal.Segmenter：

Transformer for semantic segmentation[C]//Proceedingsof the IEEE/CVF International Conference on ComputerVision.2021：7262-7272.

[14]XIE EZ，WANGWH，YUZD，et al.SegFormer：Simpleand Efficient Design for Semantic Segmentation withTransformers[J].arXiv，2021，34：12077-12090.

（收稿日期：2024-04-04，修回日期：2025-05-19）

A Deep Learning-based Metallographic Spheroidization Rating Method for High-temperature Alloy Steels

LIAO Pu1， WANG Feng-huai1，2.3， CHEN Xing-yang1，2.3， LU Shu-hua1，2.3，XU Cheng1，YE Ling-wei1，2.3

（1. Zhejiang Special Equipment Science Research Institute ;2. Key Laboratory of Inspection and Testing TechnologyResearchforPetrochemicalEquipment，ZhejiangProvincialMarketRegulationandManagementAdministration; 3. Zhejiang Provincial KeyLaboratory ofSpecial Equipment Safety Testing Technology Research）

AbstractHigh-temperature alloy steel enjoys wide application in boilers，pressure vessels and pressure pipelines and the regular metallographic inspection is crucial to the equipment operation. Aiming at the metallographic pearlite feature extraction method's weak applicability basedonthe traditional threshold segmentation algorithm，a process of spheroidation grade evaluation was formulated to study the metallographic pearlite feature extraction based on deep learning，including investigating the quantitative indicatorsof different spheroidation grades from the standard definition rating map.Having high-temperature alloy steel metalographic images taken as experimental object for verification shows that，the background and pearlite features of Segformer network+resegmentation method has higher IoU and Acc ，and the quantitative indexes better reflect the spherification level.

Key words high-temperature alloy steel， metalographic rating，deep learning， image processing

（Continued from Page 437）

rameters and tube bundle structure parameters on heat transfer，resistance and ash accumulation characteristics of finned tube bundle were discussed.The results show that，the average convective heat transfer coefficient and inlet and outlet pressure dropon the flue gas sideare directly proportionalto the flue gas velocity and the longitudinal tube spacing of the tube bundle，and inversely proportional to the transverse tube spacing of the tube bundle.When the flue gas flow velocity is 4- 8m/s ，the deposition rates of particles with a particle size of 1μm and 5 μm increase with the increase of the flue gas flow velocity，and the deposition rates of particles with a particle size of 10μm basicallyremain unchanged after the flue gas flow velocity is 5m/s . At the same flow rate，the deposition rate increases first and then decreases with the increase of particle size，and the deposition rate reaches the maximum when the particle size is 5μm . Under the condition of the same particle inlet mas flow rate，increasing the transverse tube spacing and decreasing the longitudinal tube spacing can reduce the particle deposition rate.

Key Wordsheat pipe low-temperature economizer，helical fin tube with broken teeth，flow heat transfer， particle deposition，numerical simulation