基于小樣本學習的鋼板表面缺陷檢測技術

李鈞正 殷子玉 樂心怡

摘要：近年來，數據驅動的缺陷檢測技術在工業部門得到了初步應用，提升了生產智能化的水平，但是受制于訓練樣本不足、檢測精度較低的問題，這種方法目前仍然難以進一步推廣。因此，本文提出了一種數據驅動的鋼板表面缺陷檢測技術。針對訓練樣本不足的問題，采取數據增強方法增廣數據集。針對檢測精度較低的問題，采取層次結構模型方法提升缺陷檢出率。試驗證明，所提出的方法能有效檢出缺陷，并且已經在生產線上部署，其準確率在95%以上。

關鍵詞：缺陷檢測；卷積神經網絡；層次結構模型；數據增強；小樣本學習

中圖分類號：TP181文獻標識碼：ADOI：10.19452/j.issn1007-5453.2021.06.009

合金鋼材料被廣泛應用于航空航天、汽車工業、國防工業等各個領域，其性能的穩定性對于產品安全具有重大意義[1]。盡管現代航空工業已逐步采用鋁合金、鈦合金、復合材料等先進材料，但是作為一種廉價、高強度、高韌性、耐熱的傳統材料，合金鋼在飛機結構件、葉片、蒙皮等部位仍有廣泛的應用。鋼板是合金鋼的一種中間工業產品，然而，在鋼板的生產過程中，由于環境因素、原材料成分、軋制工藝等原因，常常產生各類缺陷，如邊線、邊裂、氣泡等。這些缺陷對于鋼板的耐磨性、抗腐蝕性、疲勞強度等都會產生負面影響[2]，從而最終影響到成品飛行器的性能。實際生產情景下，通常會部署缺陷檢測工序來對鋼板產品進行檢測，并按照其性能分級。

鋼板的缺陷以表面缺陷為主[3]。傳統的鋼板缺陷檢測方法多以人工目檢為主。這種方法因影響工人健康、檢測效率低、誤檢率高等原因，已被自動化視覺檢測系統所取代。目前的鋼板缺陷檢測系統主要采用人機協作框架，檢測程序能夠判斷大多數缺陷，僅當檢測程序不能確定鋼板質量時，需要對其進行人工檢查。

針對檢測程序，在20世紀末，已經形成了較為成熟的基于特征工程和統計信息的鋼板缺陷檢測技術[4]。這一類方案常需要專家對每一種缺陷設計特定的特征提取器。當所生產的鋼板品種、光照條件等因素發生變化時，必須要修改或重新設計特征提取器，否則其算法的性能將快速下降。這一類方案由于精度不高，需要大量專家先驗信息，不能適應我國航空工業對于多品種、小批量生產的需求，亟待提出一種具有更高柔性和可靠性的新型缺陷檢測方案。

隨著深度學習的快速發展，數據驅動的缺陷檢測方法越來越多地取代了傳統基于特征工程的方法[5-8]。這種方法不再需要煩瑣的特征工程，并且對于環境變化的魯棒性也有較大的提升，具有快速部署的優勢。但是，當深度學習應用于缺陷檢測領域時，往往存在訓練樣本不足的問題。工業缺陷很少發生，而且缺陷的種類多種多樣，因此，在這樣的不平衡小樣本數據集上訓練神經網絡，容易造成過擬合的問題，其泛化性弱，難以實際應用。

深度學習應用于缺陷檢測的另一個難點是精度問題。一方面是由于數據集小且不平衡，另一方面是由于深度學習的機制尚未研究清楚。盡管相比于傳統特征工程方法，深度學習的精度相對較高，但是仍然需要人的協助。如何進一步從模型的方面提升精度，仍然是一個開放性的問題。

針對上述問題，在廣泛調研鋼板表面缺陷視覺檢測領域的相關方法后，本文提出了一種新穎的小樣本學習技術框架。該框架采取了數據增強、層次結構模型等方法大大提升了深度學習系統的性能。該技術已經應用于實際生產線上，其精度在95%以上。

1檢測流水線框架與數據集

1.1缺陷檢測設備

鋼板缺陷檢測流水線寬度為4m，在流水線上方和下方布置龍門架，等間隔分別安裝10臺工業相機，用于拍攝鋼板兩面的缺陷情況，其分辨率為1280×800px。這10路相機以視頻流的形式輸出到邊緣服務器上進行計算。現場端將現場工藝參數和邊緣服務器所輸出的缺陷信息上傳到材料資源計劃系統（MRP）云端，由質檢員鑒別難以分辨的缺陷，并依據缺陷的種類和數量對產品鋼板進行分級。

現場端的邊緣計算服務器有三個角色，分別是：（1）依據內置的算法進行缺陷檢測，將缺陷的位置、種類上傳到MRP云；（2）對于算法難以鑒別的缺陷，將局部圖片上傳到MRP云，由質檢員鑒別；（3）滾動存儲最近進行檢測的歷史圖片，以提供給機器學習專家進一步優化缺陷檢測算法。整個缺陷檢測設備系統的示意圖如圖1所示。

1.2鋼板常見缺陷

對于鋼板品質影響較大的缺陷主要是邊線、邊裂、氣泡三種缺陷（見圖2）。這三種缺陷所出現的位置各有不同。邊線和邊裂缺陷只分布于邊緣，由靠近邊緣的兩臺相機捕捉。氣泡缺陷主要分布于內部，由5臺相機共同捕捉。其中邊線和邊裂出現的頻率更高，且對于產品品質的影響更大。

1.3數據集

鋼板制造過程中出現缺陷的頻率低。在設計深度學習缺陷檢測模型時，生產線已經部署了基于特征工程的缺陷檢測系統。該系統可以粗略篩選掉大量無缺陷樣本。針對篩選所得的缺陷樣本進行標注，復核后劃分為訓練集和測試集。

缺陷檢測模型包含三個層級神經網絡，分別是：（1）內部—正常邊—缺陷邊的三分類器；（2）氣泡的目標檢測器；（3）邊線、邊裂的目標檢測器。

針對內部—正常邊—缺陷邊的三分類器，訓練集包括4000張內部照片、2500張缺陷邊照片、900張正常邊照片；測試集包括472張內部照片、538張缺陷邊照片、359張正常邊照片。

針對氣泡的目標檢測器，訓練集包括67張氣泡照片，測試集包括10張氣泡照片。

針對邊線、邊裂的目標檢測器，訓練集包括1400張邊線照片、1400張邊裂照片；測試集包括100張邊線照片、100張邊裂照片。

2深度學習模型

構建深度學習模型以完成鋼板邊線、邊裂和氣泡的缺陷檢測任務，其檢測流程如圖3所示。缺陷檢測過程分為兩個階段，首先是對從現場采集的圖片進行分類，鑒別出正常邊、缺陷邊和內部。接著，依據分類階段所得到的不同分類結果，執行不同的缺陷定位模型。對于正常邊，由于其不包含缺陷，無須進一步進行缺陷定位。對于缺陷邊，在其上執行SSD-邊深度模型，即一個用來檢測邊線、邊裂的目標檢測器，對缺陷邊進行更為詳盡的分類，并給出坐標。對于分類結果為內部的圖片，執行SSD-氣泡深度模型，如果檢出氣泡，則按做氣泡缺陷記錄；如果未檢出，則按做正常記錄。訓練過程采用預訓練保證泛化性，特別地，由于氣泡缺陷數據集小，在訓練SSD-氣泡深度模型時，還引入了數據增強技術以進一步保證泛化性。

2.1層次結構模型

各個缺陷種類非常不平衡，主要表現在氣泡缺陷非常稀少。如果采用單一的分類模型或單一的目標檢測模型，則氣泡缺陷作為非常見種類，可能無法被神經網絡正確地學習和識別。此外，氣泡的紋理結構與其他缺陷相似，也會給識別帶來較大的困難。因此，需要單獨構建用來識別氣泡的神經網絡模型。類似地，考慮到邊線和邊裂具有相似的紋理結構，同樣采用單獨的一個神經網絡來區分邊線和邊裂。

上一節討論了三類缺陷在鋼板上分布的位置，即氣泡通常出現在邊的內部，邊線和邊裂只出現在邊上，在設計層次結構模型的時候參考這個規律也能夠降低誤檢率，提高檢測效率。

綜上所述，使用一種先粗檢后細檢的層次結構神經網絡模型，其結構如圖4所示。

2.2數據增強

盡管神經網絡在視覺領域取得了許多進展，但是如何在小樣本數據集上訓練具有良好泛化性的模型仍然是一個開放性的問題。針對小樣本學習，數據增強是一種常用手段[9-12]。數據增強主要包括對像素的線性變換或對特征的對抗生成（GAN）方法。線性變換主要包括旋轉、裁剪、翻轉等。

GAN方法通過對抗訓練兩個神經網絡，即生成器和判別器，然后利用生成器來擴充數據集。

注意到在鋼板缺陷檢測任務中缺陷數據量較小，氣泡缺陷更是十分罕見。因此首先在67張氣泡數據集上，通過訓練一個WGAN-GP[13]網絡，將氣泡樣本擴充到4000張，平衡了氣泡回歸網絡中正常內部-氣泡的數據量。WGANGP所生成的氣泡缺陷樣本如圖5所示。然后將全部數據集進行翻轉，加高斯噪聲，以改變亮度的方法進行增強，將數據集擴充至6倍，其效果如圖6所示。試驗表明，聯合應用像素級和特征級的數據增強提升了鋼板缺陷檢測模型的泛化性。

2.3預訓練與骨干網絡

在訓練一個神經網絡時，通常會加載一個預訓練的模型作為特征提取層[14-15]。這種手段能夠提升模型泛化性和訓練速度。

對于分類器網絡，選擇Inception網絡[16]作為分類網絡，因為它具有較高的準確性和較快的速度。除了卷積網絡的最后一層和全連接層以外，加載了ImageNet預訓練模型的全部參數。特別地，針對鋼板缺陷檢測問題，修改全連接層的網絡結構，實現了“內部”“正常邊”“缺陷邊”的三分類問題。

對于回歸網絡，采用SSD網絡[17]的架構來實現。SSD網絡采用直接回歸的方法來檢測對象，在速度和準確度上都有顯著的優勢。SSD采用VGG16作為骨干網絡，從輸入圖像中提取特征。SSD在VGG16之后增加了6個輔助卷積層，以提取更多的特征圖用于檢測。然后在多層次的特征圖上生成不同尺度的預測框，以檢測各種尺寸的缺陷。對于每個對應的默認邊界框，其與真實標簽的交并比大于0.5則認為匹配度為正。之后，通過每個正向默認框中的4個偏移生成預測邊界框，并保留前若干預測。最后，通過非極大值抑制進行過濾，并給出結果。

3試驗與分析

3.1分類網絡

對于分類器網絡，加載Inception[16]模型在ImageNet預訓練的參數，并在鋼板缺陷數據集上訓練。模型的具體結構參數見表1。以包含472張內部照片、538張缺陷邊照片、359張正常邊照片的測試集進行測試，其結果見表2，分類準確率在95%以上。

3.2回歸網絡

對于回歸網絡，使用SSD模型以及預訓練VGG16骨干網絡，其網絡結構見表3。在鋼板缺陷訓練集上訓練，并在10張氣泡照片、100張邊線照片、100張邊裂照片的測試集進行測試，重疊區域交并比（IoU）閾值使用0.5。在此IoU閾值下，使用不同的檢測閾值測定其精確率-召回率曲線（見圖7），然后計算平均精度（見表4）。

3.3綜合驗證與生產線部署

為了進一步驗證帶有數據增強的、包含分類和回歸兩階段的深度模型的漏檢、誤檢情況，首先基于概率對誤檢率、漏檢率進行初步估計。由于基于概率的估計，其計算過程需要給定缺陷率，而缺陷率與摻雜、工藝等因素密切相關，所以這種估計方法是相對粗略的。取氣泡、邊線、邊裂的缺陷率分別為2%、10%、10%。計算可得整個檢測系統的誤檢-漏檢曲線如圖8所示。圖8中，邊缺陷的曲線都不與坐標軸相交，這是因為在缺陷分類階段，有4%左右的缺陷被錯誤地分類，進一步提示誤檢和漏檢的主要原因產生在層次結構模型中Inception分類器模型。因此，如何更準確地分類是后續進一步繼續提升精度的重點研究內容。

同時，該方法的有效性也可以從生產線部署的角度驗證。在生產線上部署該檢測系統，一些檢測到的缺陷如圖9所示。每10路工業相機連接至一臺服務器。其檢測平均速度約為4FPS，符合工業需求。對于所提示的置信度70%以下的缺陷采取人工復檢，相比較于上一代基于特征工程的缺陷檢測方法，極大降低了質檢員的勞動負荷，提升了工廠的缺陷檢測智能化水平。

4結束語

針對鋼板缺陷檢測領域使用傳統特征工程和統計特征進行缺陷識別的方法，本文提出了一種新的基于小樣本機器學習的檢測系統。所提出的方法綜合使用了數據增強、層次結構模型等方法解決了樣本不足和模型泛化性弱的問題，達到了95%以上的精度，大大降低了質檢員的工作強度并提升了工廠的缺陷檢測智能化的水平。

參考文獻

[1]薄鑫濤.航空航天等工業用超高強度鋼的相關知識[J].熱處理， 2019， 34（5）：61-63. Bo Xintao. Knowledge about ultra-high strength steels for aerospace and other industries[J]. Heat Treatment， 2019， 34（5）： 61-63. （in Chinese）

[2]郭聯金，羅炳軍. PNN與BP神經網絡在鋼板表面缺陷分類中的應用研究[J].機電工程， 2015， 32（3）：352-357. Guo Lianjin， Luo Bingjun. Application of PNN and BP neural network in the classification of steel plate surface defects[J]. Mechatronics Engineering， 2015， 32（3）：352-357. （in Chinese）

[3]程萬勝.鋼板表面缺陷檢測技術的研究[D].哈爾濱：哈爾濱工業大學，2008. Cheng Wansheng. Research on surface defect detection technology of steel plate[D]. Harbin：Harbin Institute of Technology，2008.（in Chinese）

[4]吳平川，路同浚，王炎.機器視覺與鋼板表面缺陷的無損檢測[J].無損檢測， 2000， 22（1）：13-16. Wu Pingchuan， Lu Tongjun， Wang Yan. Machine vision and nondestructive inspection of steel plate surface defects[J]. Nondestructive Testing， 2000， 22（1）：13-16. （in Chinese）

[5]顧佳晨，高雷，劉路璐.基于深度學習的目標檢測算法在冷軋表面缺陷檢測中的應用[J].冶金自動化， 2019， 43（6）：25-28. Gu Jiachen， Gao Lei， Liu Lulu. Application of deep learningbased target detection algorithm in cold rolling surface defect detection[J]. Metallurgical Automation， 2019， 43（6）：25-28. （in Chinese）

[6]楊宇，王彬文，呂帥帥，等.一種基于深度學習的復合材料結構損傷導波監測方法[J].航空科學技術，2020，31（7）：102-108. Yang Yu，Wang Binwen，Lv Shuaishuai，et al.A deep-learningbased method for damage identification of composite laminates[J].Aeronautical Science & Technology，2020，31（7）：102-108.（in Chinese）

[7]趙楊超，李艷軍，曹愈遠，等.基于K-means聚類的航空復合材料敲擊檢測研究[J].航空科學技術，2019，30（10）：45-49. Zhao Yangchao，Li Yanjun，Cao Yuyuan，et al. Study on percussion detection of aerospace composite materials based on K-means clustering[J].Aeronautical Science & Technology，2019，30（10）：45-49.（in Chinese）

[8]夏立群，王可.基于PNN網絡的余度作動器智能故障診斷[J].航空科學技術， 2014， 25（1）： 73-78. Xia Liqun，Wang Ke. Redundant actuator intelligent fault diagnosisbasedonPNN[J].AeronauticalScience& Technology， 2014，25（1）：73-78. （in Chinese）

[9]Fiore U，De Santis A，Perla F，et al. Using generative adversarial networks for improving classification effectiveness in credit card fraud detection[J]. Information Sciences，2019，479：448-455.

[10]Huang Z，Yu Y，Xu J，et al. PF-Net：Point Fractal Network for 3D Point Cloud Completion[C]//Proceedings of the IEEE/ CVF Conference on Computer Vision and Pattern Recognition，2020：7662-7670.

[11]Zhang H，Chen Z，Zhang C，et al. Weld defect detection basedondeeplearningmethod[C]//2019IEEE15th InternationalConferenceonAutomationScienceand Engineering（CASE）. IEEE，2019：1574-1579.

[12]Le X，Mei J，Zhang H，et al. A learning-based approach for surface defect detection using small image datasets[J]. Neurocomputing，2020，48：112-120.

[13]Gulrajani I，Ahmed F，Arjovsky M，et al. Improved training of wasserstein gans[C]// Advances in Neural Information Processing Systems，2017：5767-5777.

[14]Donahue J，Jia Y，Vinyals O，et al. Decaf：a deep convolutional activation feature for generic visual recognition[C]// International Conference on Machine Learning，2014：647-655.

[15]Sharif Razavian A，Azizpour H，Sullivan J，et al. CNN features off-the-shelf：an astounding baseline for recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2014：806-813.

[16]Szegedy C，Ioffe S，Vanhoucke V，et al. Inception-V4，inception-ResNet and the impact of residual connections on learning[C]// Proceedings of the Thirty-First AAAI Conference onArtificial Intelligence，2017：4278-4284.

[17]Liu W，Anguelov D，Erhan D，et al. SSD：single shot multibox detector[C]//European Conference on Computer Vision. Springer，Cham，2016：21-37.

（責任編輯皮衛東）

Surface Defect Detection for Steel Plate with Small Dataset

Li Junzheng1，Yin Ziyu2，Le Xinyi1

1. Shanghai Jiao Tong University，Shanghai 200240，China 2. Software Engineering Institute of Guangzhou，Guangzhou 510990，China

Abstract： In recent years， data-driven defect detection technology has been initially applied in the industrial sector to improve the level of production intelligence. However， this method is still difficult to be further promoted due to the problem of insufficient training samples and low detection accuracy. Therefore， in this paper， a data-driven surface defect detection technology for steel plates is proposed. To address the problem of insufficient training samples， the data augmentation method is adopted to increase the dataset to ensure the generalizability of the model. To address the problem of low detection accuracy， a hierarchical model is adopted to improve the precision. Experiments prove that the proposed method can effectively detect defects. And it has been deployed in the production line with an accuracy of more than 95%.

Key Words： defect detection； convolutional neural network； hierarchical model； data augmentation； small sample learning