基于卷積神經(jīng)網(wǎng)絡(luò)的鋅渣識(shí)別方法研究

邱意 陳勁杰

摘? 要：由于實(shí)際工業(yè)中工作池內(nèi)鋼水與表面鋅渣存在部分重疊和邊界不清以致識(shí)別較難的情況，提出了一種基于U-Net（U型神經(jīng)網(wǎng)絡(luò)）網(wǎng)絡(luò)的鋅渣識(shí)別方法。該方法先是把工業(yè)攝像頭采集到的工作池圖像進(jìn)行灰度化，均值濾波等多種平滑模糊處理后，再采用完善的U-Net網(wǎng)絡(luò)進(jìn)行輪廓提取。接著將所得圖像做二值化處理后，通過(guò)OpenCV（跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)）自帶函數(shù)獲得結(jié)果并對(duì)其進(jìn)行分析。實(shí)驗(yàn)結(jié)果表明，基于U-Net的鋅渣識(shí)別方法不僅能準(zhǔn)確快速地區(qū)分鋼水與表面鋅渣，也能降低人工經(jīng)驗(yàn)中存在的誤差。

關(guān)鍵詞：U-Net網(wǎng)絡(luò);鋅渣識(shí)別;圖像分割;深度學(xué)習(xí)

中圖分類號(hào)：TP391.4? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2021）-01-02-03

Abstract： In industry， the molten steel in working pool and surface slag are partially overlapped and the boundary is unclear， which makes it difficult to visually differentiate them. Aiming at this problem， the paper proposes a zinc slag recognition and segmentation method based on U-Net （U-shaped Neural Network）. Firstly， the working pool images collected by industrial camera are smoothed and blurred by grayscale processing and average filtering. Then， perfect U-Net is used for contour extraction. Next， the obtained images are binarized. Finally， the result is obtained and analyzed by the built-in function of OpenCV （Computer Vision）. The experimental results show that this zinc slag recognition method based on U-Net can accurately and quickly distinguish molten steel from surface zinc slag， as well as reduce errors in manual experience.

Keywords： U-Net; slag recognition; image segmentation; deep learning

1? ?引言（Introduction）

目前，眾所周知帶鋼的耐腐蝕性能需要進(jìn)行提升的話，工業(yè)上很常用的就是在其表面加上一層耐腐蝕的鍍層，而熱鍍是多種手段中最受認(rèn)可的。在該技術(shù)中，不管是熱鍍什么金屬成分一般都用鋅鍋，具體實(shí)施方法是將鍍層金屬熔融在鋅鍋內(nèi)，然后把目標(biāo)鍍件浸沒(méi)到鍍液中進(jìn)行熱鍍。在加工過(guò)程中，一定會(huì)產(chǎn)生鋅渣，而這些表面浮渣一旦處理不當(dāng)，就會(huì)對(duì)鍍件連續(xù)熱鍍鋅產(chǎn)生不好的效果，這不僅會(huì)降低產(chǎn)品的表面質(zhì)量，也會(huì)造成液面浮渣凝結(jié)，以致后續(xù)工業(yè)生產(chǎn)無(wú)法持續(xù)進(jìn)行。因此，在熱鍍過(guò)程中需要對(duì)鋅鍋內(nèi)的表面浮渣進(jìn)行撈渣作業(yè)，但是撈渣作業(yè)的環(huán)境非常差，所需的勞動(dòng)強(qiáng)度又大，容易對(duì)工作人員的身體健康造成不良的影響。可見(jiàn)人工撈渣既耗費(fèi)很多人力物力，準(zhǔn)確性和效率又不盡如人意，需要現(xiàn)代先進(jìn)的解決辦法。

伴隨著計(jì)算機(jī)圖像處理技術(shù)這一領(lǐng)域日新月異的迅猛變化，卷積神經(jīng)網(wǎng)絡(luò)在圖像分類上的表現(xiàn)已經(jīng)十分出色，適應(yīng)多種問(wèn)題狀況，并且圖像分割從某一些層面來(lái)說(shuō)也不外乎是分類的一個(gè)分支，因此卷積神經(jīng)網(wǎng)絡(luò)適合用來(lái)解決鋅渣識(shí)別問(wèn)題。本文考慮到目前常用的方法在應(yīng)對(duì)工作池鋅渣圖像時(shí)有識(shí)別速度慢、泛用性不強(qiáng)等問(wèn)題，提出了一種基于U-Net[1]網(wǎng)絡(luò)的鋅渣識(shí)別方法，該方法適應(yīng)了多種清晰度的目標(biāo)圖像，實(shí)現(xiàn)了對(duì)工作池圖像鋼水與鋅渣的準(zhǔn)確識(shí)別與分割。

2? ?總體設(shè)計(jì)路線（Overall design route）

本文的研究目的是完成零散的工作區(qū)域拼接并對(duì)合并的區(qū)域圖像進(jìn)行圖像處理，分析圖像中鋅渣的分布和占比面積，并將鋅渣區(qū)域標(biāo)識(shí)出來(lái)，為以后引導(dǎo)機(jī)器人智能撈渣提供識(shí)別基礎(chǔ)。總體設(shè)計(jì)路線一共是兩條：第一條路線是將工業(yè)攝像頭采集得到的現(xiàn)場(chǎng)圖像制作成訓(xùn)練集，接著對(duì)訓(xùn)練集作圖像預(yù)處理后，通過(guò)U-Net模型完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，得到最優(yōu)參數(shù)。第二條路線是通過(guò)已經(jīng)完成參數(shù)調(diào)整的U-Net模型掃描測(cè)試圖像的輪廓范圍，繪制出輪廓圖，接著做二值化處理后，利用OpenCV[2]自帶函數(shù)獲得鋅渣分布情況和占比，完成鋅渣識(shí)別。總體設(shè)計(jì)路線如圖1所示。

3? 數(shù)據(jù)準(zhǔn)備和預(yù)處理（Data preparation and preprocessing）

3.1? ?數(shù)據(jù)集的準(zhǔn)備

本文所使用的數(shù)據(jù)是通過(guò)工業(yè)攝像機(jī)獲取的鋅鍋內(nèi)的工作池圖像，接著為了使U-Net網(wǎng)絡(luò)模型的輸入圖像具有統(tǒng)一標(biāo)準(zhǔn)，方便訓(xùn)練，進(jìn)行了一系列處理，包括數(shù)據(jù)裁剪等。第一手獲得的圖像分辨率是1 280×768。出于提升效率的目的，本文從圖像中篩選出互相沒(méi)有重復(fù)部分的50張圖像，分配比例是80%用來(lái)當(dāng)訓(xùn)練集，20%用來(lái)當(dāng)測(cè)試集。接著，那些圖像經(jīng)灰度化和濾波后成為樣本集。然后，經(jīng)過(guò)裁剪處理獲取其中含有鋅渣的區(qū)域，同時(shí)將圖像分辨率變?yōu)?00×600。最后，為每張圖像打上標(biāo)簽制作標(biāo)簽集，將兩者組合成訓(xùn)練集。U-Net模型的訓(xùn)練樣本總計(jì)為835 000個(gè)，這些樣本都是從前述訓(xùn)練集圖像中隨機(jī)生成的，每張圖片獲取大約30 000個(gè)樣本，標(biāo)準(zhǔn)尺寸為50像素×50像素。

3.2? ?輪廓檢測(cè)

圖像預(yù)處理過(guò)程如圖2所示，將測(cè)試圖像經(jīng)過(guò)灰度化、均值濾波的預(yù)處理[3，4]后，降低了圖像的噪聲，鋅渣邊緣更加明顯，即這是一個(gè)只保留了有用信息的精簡(jiǎn)圖像。而將這些預(yù)處理過(guò)的圖像當(dāng)作后續(xù)步驟的基礎(chǔ)，不僅能減少信息雜糅，還能改進(jìn)U-Net訓(xùn)練的效率。U-Net網(wǎng)絡(luò)完成鋅渣識(shí)別后，結(jié)果如圖3所示。

3.3? ?連通區(qū)域標(biāo)記

為了深入了解鋅渣在工作池圖像中的分布情況，就不可避免地要處理檢測(cè)后的連通區(qū)域。本文決定使用OpenCV自帶函數(shù)完成對(duì)鋅渣輪廓的連通域標(biāo)記。

（1）為了將工作池內(nèi)的鋼水和鋅渣分開(kāi)，經(jīng)嘗試選取閾值為0.5，產(chǎn)生二值化圖，如圖4所示。再選取OpenCV的部分函數(shù)分析圖像的各種參數(shù)：可以用findContours命令統(tǒng)計(jì)該圖像的輪廓情況;可以用contourArea命令得到各個(gè)輪廓的面積。

（2）不難發(fā)現(xiàn)圖像中鋅渣范圍存在些許孔洞，那么要充分實(shí)現(xiàn)上一步標(biāo)記的效果，則可以用形態(tài)學(xué)的算法來(lái)輔助。通常理論上講，最多見(jiàn)的是以（2R+1）×（2R+1）正方形的結(jié)構(gòu)元素為基本掃描圖像，接著做連通域標(biāo)記，可以把單獨(dú)一個(gè)域當(dāng)作一個(gè)聚類，而去除的一般是很小的部分。至于最終填充目標(biāo)孔洞則是適量增加結(jié)構(gòu)元素半徑R。本文的操作是以像素[0，0]為起點(diǎn)，接著從此點(diǎn)開(kāi)始通過(guò)四連通結(jié)構(gòu)單元不斷擴(kuò)張至全圖。待擴(kuò)展完成，通過(guò)取反得到新的圖像，現(xiàn)在這一張圖就包含了所有的孔洞。之后將兩張圖像相加，即是需要的結(jié)果，填充后的圖像如圖5所示。最后通過(guò)OpenCV的drawContours命令處理，可以得到分割結(jié)果圖。

4? ?U-Net網(wǎng)絡(luò)模型設(shè)計(jì)（Design of U-Net network model）

4.1? ?U-Net網(wǎng)絡(luò)模型搭建

神經(jīng)網(wǎng)絡(luò)的組成一般總共分五大部分，除去必需的輸入、輸出層，關(guān)鍵在于卷積、池化、全連接這三種層如何取舍與搭配[5]。而本文使用的U-Net是在全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[6]的基礎(chǔ)上改變結(jié)構(gòu)所得。它的特色在于，整個(gè)模型訓(xùn)練集規(guī)模小，但是識(shí)別效果好。U-Net網(wǎng)絡(luò)結(jié)構(gòu)是通過(guò)兩條對(duì)稱的路徑搭建的，如圖6所示。前段信息提取，而后段則是找準(zhǔn)位置。前段主要是幾組3×3卷積層和2×2最大池化層搭建，激活函數(shù)則是線性整流函數(shù)（Rectified Linear Unit，ReLU），交叉熵是損失函數(shù)。后段每一次操作進(jìn)行反卷積，再把所得和后續(xù)特征圖做拼接，接著通過(guò)兩次3×3卷積。最后一層是1×1卷積核，將每個(gè)二位特征向量映射到網(wǎng)絡(luò)的輸出層。

4.2? ?U-Net模型訓(xùn)練

利用訓(xùn)練集對(duì)U-Net網(wǎng)絡(luò)做訓(xùn)練調(diào)整優(yōu)化，具體參數(shù)如表1所示。“batch_size”代表一次代碼迭代對(duì)應(yīng)的圖數(shù)量;“epochs”代表大循環(huán)完成后單樣本共計(jì)訓(xùn)練次數(shù);“images_train”表示訓(xùn)練樣本總數(shù);“Resolution”表示圖像訓(xùn)練樣本的分辨率。本文實(shí)驗(yàn)采用隨機(jī)梯度下降法。

4.3? ?U-Net模型測(cè)試與預(yù)測(cè)

U-Net模型的測(cè)試過(guò)程如圖7所示。第一步準(zhǔn)備好所有測(cè)試圖像，接著經(jīng)由U-Net網(wǎng)絡(luò)，實(shí)施前向傳播過(guò)程獲取一個(gè)輸出結(jié)果，然后把結(jié)果和標(biāo)簽比對(duì)，即可統(tǒng)計(jì)出準(zhǔn)確率數(shù)值。當(dāng)然，訓(xùn)練和測(cè)試兩個(gè)步驟可以先后操作，而預(yù)測(cè)過(guò)程的算法過(guò)程大同小異，變化的只有輸入，即每次一個(gè)數(shù)據(jù)。

5? 實(shí)驗(yàn)結(jié)果與分析（Experimental results and analysis）

適合工作池鋅渣識(shí)別的U-Net模型搭建完畢，接著本文通過(guò)計(jì)算機(jī)完成了相應(yīng)實(shí)驗(yàn)，計(jì)算機(jī)的具體配置如表2所示。

如圖8和圖9所示，經(jīng)過(guò)多次訓(xùn)練，U-Net模型的參數(shù)不斷調(diào)整優(yōu)化，準(zhǔn)確率這一性能指標(biāo)慢慢趨于一個(gè)理想的結(jié)果，總計(jì)300次的訓(xùn)練其數(shù)值約達(dá)到99.89%，而損失函數(shù)的數(shù)值呈逐次降低的走勢(shì)，這意味著鋅渣識(shí)別的誤差越來(lái)越小。

每完成一輪訓(xùn)練并更新參數(shù)后，都相應(yīng)要完成測(cè)試，以此來(lái)檢驗(yàn)此模型的泛化性和穩(wěn)定性。如圖10所示，測(cè)試集的性能指標(biāo)趨勢(shì)也是逐次提高，兩者的準(zhǔn)確率大體相近，不難發(fā)現(xiàn)該模型并未存在過(guò)擬合的情況，U-Net模型搭建科學(xué)，識(shí)別效果好。隨著迭代次數(shù)增加，到100個(gè)循環(huán)后，測(cè)試集的準(zhǔn)確率最終是97.84%。

同時(shí)，圖11呈現(xiàn)了測(cè)試集中兩張不同生產(chǎn)時(shí)刻的分割效果，可以看出能夠較準(zhǔn)確地提取鋅渣區(qū)域的輪廓，分割鋼水與鋅渣的模糊邊緣。

6? ?結(jié)論（Conclusion）

本文將U-Net網(wǎng)絡(luò)模型用于鋅渣識(shí)別，為實(shí)際生產(chǎn)作業(yè)環(huán)境提供了一種計(jì)算機(jī)圖像處理方法，為以后引導(dǎo)機(jī)器人智能撈渣提供識(shí)別基礎(chǔ)。具體來(lái)說(shuō)，本文針對(duì)工作池鋅渣識(shí)別這一工程問(wèn)題，完成了鋅渣識(shí)別路線的規(guī)劃，并收集和預(yù)處理了原始圖像，以及U-Net模型的完整創(chuàng)建及調(diào)試，最后經(jīng)由實(shí)驗(yàn)驗(yàn)證了該系統(tǒng)的可操作性，證明了其對(duì)工作池鋅渣圖像識(shí)別的有效性。

參考文獻(xiàn)（References）

[1] Ronneberger O， Fischer P， Brox T. U-Net： convolutional networks for biomedical image segmentation[C]. International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich， 2015：234-241.

[2] 蘇慧娟，于正林，張桂林.基于OpenCV的圖像處理[J].科技資訊，2014，12（8）：18-19.

[3] Paul Viola， Michael J. Jones. Robust Real-Time Face Detection[J]. International Journal of Computer Vision， 2004（2）：137-154.

[4] Richard Szeliski. Computer Vision： Algorithms and Applications[M]. Springer， 2010：101-118.

[5] Yu Chen， Hongbing Meng， Xinling Wen， et al. Classification methods of a small sample target object in the sky based on the higher layer visualizing feature and transfer learning deep networks[J]. EURASIP Journal on Wireless Communications and Networking， 2018（1）：127-138.

[6] Shelhamer E， Long J， Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（4）：640-651.

作者簡(jiǎn)介：

邱? ? 意（1995-），男，碩士生.研究領(lǐng)域：圖像處理.

陳勁杰（1969-），男，碩士，副教授.研究領(lǐng)域：智能機(jī)器人，機(jī)器學(xué)習(xí).