基于深度學習的熱軋鋼帶表面缺陷檢測方法*

陳建強劉明宇符秦沈姚卓榮

基于深度學習的熱軋鋼帶表面缺陷檢測方法*

陳建強1劉明宇2符秦沈2姚卓榮1

（1.廣州滄恒自動控制科技有限公司 2.廣東工業大學機電工程學院）

針對人工檢測熱軋鋼帶表面缺陷錯漏率高的現狀，提出基于深度學習的熱軋鋼帶表面缺陷檢測方法。根據檢測精度和速度的要求，采用深度學習SSD網絡作為改進算法框架，并利用交叉特征融合的方法增強低層特征圖的語義信息，從而提高熱軋鋼帶表面缺陷的識別率。實驗表明：改進后的CroSSD網絡對熱軋鋼帶表面小尺寸缺陷檢測的mAP值達到73.7，速度達到40 幀/s，相比SSD網絡有更好的效果，且滿足實時檢測的需求。

深度學習；CNN；缺陷檢測；特征融合；SSD

0　引言

熱軋鋼帶作為制造業的重要原材料，其質量直接影響產品的質量和性能[1]。但熱軋鋼帶生產工藝復雜，且對生產環境要求較高，易因機械、人為或環境的影響而產生缺陷[2-3]。目前，熱軋鋼帶表面缺陷的檢測方法有無損檢測和基于機器視覺的檢測等[4]。但無損檢測可檢測的缺陷類型有限；基于圖像處理的識別方法適應性較差，難以滿足不同條件表面缺陷圖像識別的要求[5-6]。因此，設計檢測精度高、速度快的熱軋鋼帶表面缺陷檢測方法尤為重要[7]。

目前，基于深度學習的目標檢測取得較大進展[8]，主要包括2類：1）先提取先驗框，再對先驗框進行分類，該類檢測算法主要有R-CNN，Fast R-CNN，和Faster R-CNN等[9-11]；2）采用回歸的思想，將定位和分類同時進行，該類檢測算法主要有YOLO和SSD等[12-13]。YOLO算法檢測速度較之前的網絡有大幅提升，但對小物體識別正確率較低[14]。SSD網絡在快速的基礎上，優化了小目標檢測，正確率得到提高。本文將SSD深度學習網絡應用到熱軋鋼帶表面缺陷檢測。

1　SSD算法原理

1.1　算法分析

SSD網絡是一個基于前向傳播的卷積神經網絡，通過卷積運算產生不同尺寸的特征圖[15]。借鑒Faster R-CNN的錨點思想產生一系列先驗框；然后在多個特征圖上同時進行分類和位置回歸；最后進行非極大值抑制得到最終預測。

1.2　基于交叉特征融合的SSD結構

基于深度學習的熱軋鋼帶表面缺陷檢測使用的數據集是某大學表面缺陷數據庫中的NEU-DET數據。該數據提供6種熱軋鋼帶表面缺陷，并對每個缺陷的目標缺陷進行標注。本文將部分圖片XML文件的標注信息可視化，如圖1所示。

熱軋鋼帶表面缺陷大小各異，且類之間差距較小，同類差距較大。本文對這些缺陷標注的目標框進行面積統計，確定缺陷大小，方便訓練合適的網絡。缺陷面積大小分布如表1所示。

表1　缺陷面積大小分布

由表1可知：熱軋鋼帶表面缺陷像素面積占比大部分集中在5%以下，且小面積缺陷較多，這就要求網絡對中等面積和小面積的目標有良好的識別能力。SSD采用多尺度特征圖預測物體，利用低分辨率、高語義信息的高層特征預測大物體；利用高分辨率、低語義信息的低層特征預測小物體。隨著SSD模型深度增加，提取到的高層特征更加抽象但語義豐富，而深層網絡中的低層特征具有較高的分辨率但缺乏針對性的語義信息；高層特征具有豐富的語義信息，但因經過較多卷積和池化，分辨率較低。檢測小物體，既需高分辨率的特征圖，也需較強的語義信息，因此SSD對小物體檢測效果較差。

DSSD網絡將高層的特征依次反卷積提取語義信息，然后與前面特征進行融合，來提高小目標的識別率，但耗時較長[16]。為提高小面積的熱軋鋼帶表面缺陷檢測效率，需對SSD網絡進行改進。本文提出交叉特征融合的網絡結構CroSSD，如圖2所示。采用低層特征和高層特征融合的方式加強對小目標的檢測。

(a) 龜裂(b) 夾雜(c) 斑塊(d) 麻點(e) 氧化鐵皮壓入 (f) 劃痕

圖1熱軋鋼帶表面樣本缺陷標注圖

圖2　改進的SDD網絡CroSSD

Zouxin Li指出尺寸小于10個像素的特征圖，可融合的特征太少[17]。本文在特征融合方面放棄采用conv9_2, conv10_2和conv11_2這樣具有高語義信息，但可融合特征較少的特征圖，而從conv8_2開始提取語義信息。網絡結構主要將conv4_3與conv7(fc7)，conv7(fc7)和conv8_2進行特征融合；然后分別在新融合的層進行分類和邊框回歸，以取代直接在conv4_3和conv7上預測，實現時間和精度的提高。

2　特征融合

本文采用基于深度學習的特征融合方式。其基本思想是對高層低分辨率的特征圖進行上采樣，再與低層的特征圖進行融合。

本文特征融合參照DSSD網絡中改進的TDM結構，如圖3所示。

圖3　特征融合過程

3　模型訓練

模型訓練流程如圖4所示。

圖4　模型訓練流程圖

首先將熱軋鋼帶表面缺陷圖片輸入網絡模型；其次對輸入數據進行增強，設置先驗框，采用難分樣本挖掘技術，使正負樣本保持在一個合適的比例；再分別計算每一層先驗框的類別損失和位置損失，并對參數進行校正；最后對邊框進行極大值抑制；重復上述過程，直至訓練結束。

3.1　先驗框設置與匹配

先驗框設置主要包括尺度和長寬比2方面。尺度遵循線性遞增的規則，先驗框大小變化如式(1)所示。

訓練采用的匹配原則：對圖片中的每個目標框選擇一個與其交并比（IoU）最大的先驗框進行匹配，那么這個先驗框就被認為是正樣本的先驗框。IoU值即為交集部分，示意圖如圖5所示。通過設定IoU值，實現目標框和先驗框的匹配。

圖5 目標框和先驗框交并比示意圖

3.2　難分樣本挖掘

缺陷只是熱軋鋼帶表面圖像的小部分，大部分背景被定義為負樣本。為保證樣本平均分布，本文采用難分樣本挖掘技術，即采用抽樣方式選取負樣本。抽樣原則按照置信度誤差排序，設置誤差大的前幾位為負樣本，使鋼帶表面缺陷圖像正負樣本比例在1：3左右。

3.3　損失函數

訓練過程中，需要通過損失函數來校正網絡參數。損失函數定義為位置誤差與置信度誤差的加權和。計算公式為

置信度誤差采用softmaxloss，計算公式為

其中

通過式(3)和式(4)，可分別計算每個正樣本的置信損失和定位損失。經過交叉驗證，將設置為1，代入式(2)，可得到每個先驗框的損失。

4　實驗驗證與分析

4.1　實驗平臺與超參數

實驗采用的硬件設備包括：處理器IntelCorei7- 7700K @4.2 GHz；2個顯卡GeForceGTX 1080Ti；內存32 G DDR4 2400 MHz；固態硬盤850EVOSATA3（120 G）。軟件環境：Ubuntu系統；tensorflow框架；cuda庫、OpenCV庫及GCC編譯器。

在模型訓練前先進行參數初始化，優化器使用SGD。初始學習率為0.001；動量參數為0.9；權重衰減為0.0005；每次batch為32張更新一次。新增的卷積網絡使用xavier方式初始化。設置迭代次數為80000次；正樣本閾值為0.4；將熱軋鋼帶表面缺陷數據集按4：1的比例分割成訓練集和測試集。

將6類熱軋鋼帶表面缺陷圖片（每類300張，共計1800張）和對應的缺陷標注信息輸入SSD網絡；經圖像增強后，樣張數量達到12600張；按圖4所示的流程圖對網絡進行訓練。

4.2　實驗結果對比

為驗證網絡模型是否正確收斂，繪制的模型訓練集損失圖如圖6所示。

圖6　測試-訓練集損失函數曲線圖

隨著迭代次數（epoch）增加，損失函數值（loss）不斷下降。在迭代次數達到第15k次時，loss值基本趨于穩定。

為驗證CroSSD網絡性能，在相同的實驗環境，分別采用Faster R-CNN網絡、YOLO網絡、SSD網絡和CroSSD網絡以均值平均精度（mean average precision，mAP）為指標進行比較。CroSSD網絡在熱軋鋼帶表面缺陷數據集中的6種缺陷mAP值如表2所示。

表2 CroSSD網絡在NEU-DET數據集的mAP值

由表2可知：CroSSD網絡的mAP均較SSD網絡有所提高；CroSSD網絡的總mAP比SSD網絡提高2.9%，比YOLO網絡提高4.3%。

為說明網絡的時間消耗能夠達到工業應用要求，本文在相同硬件基礎上，對Faster R-CNN網絡、YOLO網絡、SSD網絡和CroSSD網絡進行速度對比，如表3所示。

表3 4種網絡性能比較

由表3可知，CroSSD網絡的速度高于Faster R-CNN網絡，遠低于YOLO網絡，與SSD網絡速度相差不大。綜上所述，本文設計的CroSSD網絡在速度上與SSD差不多，在精度上高于SSD。相較另外2個網絡，CroSSD可以更好地適應該數據集。

本文使用SSD和CroSSD分別檢測單張圖片（只顯示IoU大于0.4的檢測框），并對比檢測結果。

CroSSD在NEU-DET數據集上的部分檢測結果的可視化圖片如圖7所示。第一層為CroSSD網絡檢測效果；中間層為圖像標注，最下層為SSD網絡檢測效果。由圖7可知，CroSSD網絡相比SSD網絡，對熱軋鋼帶表面缺陷檢測有更好的效果。

CroSSD的檢測效果 圖像標注 SSD網絡的檢測效果 (a) 龜裂(b) 夾雜(c) 斑塊(d) 麻點(e) 氧化鐵皮壓入(f) 劃痕

5　結論

本文介紹SSD算法的深度學習網絡結構，并對網絡的算法原理進行分析。熱軋鋼帶表面缺陷屬于小面積缺陷，而傳統SSD網絡對小目標的識別效果達不到要求。為此，本文提出改進算法，即采用特征融合的方法提高SSD對中小目標的識別檢測效果。通過模型訓練，結果表明，CroSSD網絡在熱軋鋼帶表面缺陷檢測精度上優于SSD網絡，且滿足實時檢測要求。

[1] Peng Kaixiang, Zhang Xuli. Classification technology for automatic surface defects detection of steel strip based on improved BP algorithm[C]// International Conference on Natural Computation. IEEE, 2009: 110-114.

[2] 劉鐘,吳杰,張華.熱軋帶鋼表面質量檢測系統的工程設計與實踐[J].寶鋼技術,2005(6):57-61.

[3] 吳平川,路同浚,王炎.鋼板表面缺陷的無損檢測技術與應用[J].無損檢測,2000,22(7):312-315.

[4] 于霞,張衛民,邱勇,等.弱磁場激勵下基于陣列磁傳感器的缺陷檢測方法[J].北京理工大學學報,2014,34(5):460-463,469.

[5] 馬超.無損檢測技術在鋼管檢測中的應用概述[J].建筑工程技術與設計,2015(26):230.

[6] 李煒,黃心漢,王敏,等.基于機器視覺的帶鋼表面缺陷檢測系統[J].華中科技大學學報(自然科學版),2003,31(2):72-74.

[7] 董振虎.熱軋帶鋼板形缺陷的識別[D].濟南:濟南大學,2012.

[8] 李美玲.淺談深度學習在目標檢測中的發展[J].科技風,2017 (24):237.

[9] Girshick R , Donahue J , Darrell T , et al. Rich feature hierarchies foraccurate object detection and semantic segmentation[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2014: 580-587.

[10] Girshick R. Fast R-CNN[C]// IEEE International Conference on Computer Vision, 2015:169.

[11] Ren S , He K , Girshick R , et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6):1137-1149.

[12] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779-788.

[13] Liu W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]. European Conference on Computer Vision, Springer,2016.

[14] 雷維卓.基于YOLOv2的實時目標檢測研究[D].重慶:重慶大學,2018.

[15] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

[16] Fu C, Liu W, Ranga A, et al. DSSD: Deconvolutional single shot detector[J]. arXiv preprint arXiv:1701.06659, 2017.

[17] Li Z, Zhou F. FSSD: feature fusion single shot multibox detector[J]. arXiv preprint arXiv:1712.00960, 2017.

Hot Rolled Steel Strip Surface Defect Detection Method Based on Deep Learning

Chen Jianqiang1Liu Mingyu2Fu Qinshen2Yao Zhuorong1

(1.Guangzhou Cangheng Automatic Control Technology Co., Ltd. 2. School of Electromechanical Engineering, Guangdong University of Technology)

Hot rolled steel strip is one of the important products of the steel industry. Aiming at the current situation of manual detection of low-precision rate of hot-rolled steel strip surface defects and high false detection rate, a method based on deep learning for surface defect detection of hot-rolled steel strip was proposed. The SSD network was chosen based on the accuracy and speed requirements. At the same time, in order to solve the problem of low recognition rate of small objects on SSD network, a method of cross-feature fusion is proposed to enhance the semantic information of low-level feature maps to increase the recognition rate of small targets. Experiments show that compared with the traditional SSD network, the improved network has been strengthened in small target recognition, although the speed has slowed down, but still meets the needs of real-time detection.

Deep Learning; CNN; Defect Detection; Feature Fusion; SSD

廣州市科技計劃珠江科技新星專題項目（201806010128)；廣州市科技計劃現代產業技術專題項目（201802010021）。

陳建強，男，1987年生，碩士研究生，主要研究方向：機器視覺、機器學習、智能測控。

劉明宇，男，1900年生，碩士研究生，主要研究方向：深度學習、嵌入式。

符秦沈（通信作者），男，1995年生，碩士（在讀），主要研究方向：深度學習、機器視覺。E-mail: 969578434@qq.com

姚卓榮，男，1996年生，本科，主要研究方向：儀器儀表、機器視覺。