基于深度學習的表面缺陷檢測研究與應用

摘要：產品表面缺陷檢測是制造業質量控制的關鍵。本研究綜述了表面缺陷檢測問題在學術界和工業界最新的方法并提出了小概率表面缺陷檢測問題的重要性。小概率表面缺陷問題的出現以及對應研究的匱乏嚴重阻礙了學術界與工業界之間研究的相互驗證，導致深度學習技術在諸多工業細分場景下的應用長期處于水土不服的狀態。本研究介紹了一種依托工業產品設計數據打通工業界與學術界障礙的思路，以及其在解決小概率表面缺陷檢測問題上的嘗試。基于此思路，對工業場景在小概率表面缺陷問題上的研究和方法進行了規劃及應用。

關鍵詞： 表面缺陷；視覺；小概率；深度學習；工業場景

中圖分類號：TP183 文獻標識碼：A

文章編號：1009-3044（2024）23-0120-04

開放科學（資源服務）標識碼（OSID）

0 引言

在復雜工業過程中制造產品時，由于設計和機械生產設備的故障以及不利的工作條件，會產生諸如內部孔、凹坑、磨損和劃痕等缺陷。由于日常使用，產品也容易腐蝕和疲勞。這些缺陷中，用戶對于產品外觀品質的重視程度遠大于其他種類缺陷，其對于用戶的直觀產品感受起到關鍵作用，當產品表面出現劃痕，氣泡，臟污等表面缺陷時，將導致產品的整體美觀度大打折扣，其價產品價值與品牌價值都會隨之受到嚴重影響。

因此，表面檢測缺陷是企業在不影響生產的情況下提高產品質量所應具備的核心競爭力。與人工檢測相比，自動缺陷檢測技術具有明顯的優勢。它不僅能適應不合適的環境，而且能長期工作，具有較高的精度和效率。表面缺陷檢測技術的研究可以降低生產成本，提高生產效率和產品質量，為制造業的智能化制造打下堅實的基礎。

隨著深度學習技術的快速發展，目前國內工業界在進行表面缺陷檢測任務時，基于深度學習技術與機器視覺相結合的非破壞性方法逐漸占據主流。小概率表面缺陷問題的出現是一個跨場景問題，此類問題兼具學術場景中對于表面缺陷檢測技術的方法論與工業場景中復雜的生產要素，小概率表面缺陷檢測問題在解決時會遇到多種在學術界不存在的問題，這些問題嚴重阻礙了深度學習技術在工業場景的真正落地。

1 表面缺陷檢測研究在學術界的現狀

學術界通用場景中，表面缺陷檢測問題由于深度學習技術的迅速發展，其問題的主要挑戰與困難主要來源其所具有的小樣本與小目標的特性，具體可歸納為如下幾點。首先小樣本特性導致其具有缺陷的樣本過少，容易造成模型的過擬合；此外，目前公開的標準數據集如Microsoft COCO與ImageNet數據集，擁有一定數量的小目標樣本，但性能仍有很大的改善空間；小目標在標注的時候容易漏標注，造成數據集含有一定量噪聲；有監督算法需要大量標注人力，與節省人力的初衷相違背；不同產品間的模型泛化能力差，不能在多產品間共同使用。目標監督算法主要f6Kr3CUshM3FMwNyIJrMkA==包含監督目標檢測、半監督/弱監督目標檢測、跨域算法。

2 表面缺陷檢測在工業界中的現狀

2.1 傳統方法及缺陷

表面缺陷檢測技術在工業場景的應用由來已久，其研究主要可以分為三個階段，分別為人工目視法檢測，單一機電或光學檢測以及傳統機器視覺系統檢測。

人工目視法很早就廣泛應用于大量工業場景中，現在該方法仍然在中小規模的工業場景中占據著主流地位。據統計，當前75%以上的工業場景表面缺陷檢測仍依賴人工目視檢測法。然而，隨著國內人口紅利的逐漸消失和產業轉型，用工困難的問題愈發凸顯。

超聲波缺陷檢測方法廣泛用于檢測樣品內部結構中的缺陷，具有檢測速度快、操作簡單的優點。在檢測內部材料和結構以及產品尺寸缺陷方面也具有特殊優勢。然而這種方法不適用于結構復雜、檢測效率低的工件。

基于機器視覺的缺陷檢測方法適用于產品表面缺陷的檢測，在二元缺陷檢測問題中，其準確率高達88.60%[1]。劃痕、孔洞、鱗片、點蝕、邊緣裂紋、結殼和夾雜物的缺陷檢測精度可達到95.30%[2]，因此在表面缺陷檢測中得到了廣泛的應用。

除了上述幾種工業產品缺陷檢測方法以外，還有其他類別的檢測技術，如X射線圖像缺陷檢測技術、脈沖磁電阻法、聲發射技術。這些方法都呈現了較為優秀的檢測結果。然而這些研究大多是針對單一缺陷檢測問題的，沒有多種缺陷復合的問題場景，如材料、形狀、尺寸、顏色和其他特殊產品表面出現的缺陷。與此同時，對具有不同尺寸、裂紋深度和其他信息的缺陷的研究比較匱乏，這也是現有缺陷檢測研究的主要限制。

2.2 深度學習方法

深度學習方法受到學術界的快速發展，廣泛應用于產品缺陷檢測的所有領域。整體上看，基于深度學習的表面缺陷檢測技術可分為兩大類，表面缺陷檢測[3]和內部故障診斷。表面缺陷檢測類似于視覺檢測，即借助深度學習圖像處理技術從圖像中的目標特征學習，以分類和定位圖像中的產品缺陷，而內部故障診斷類似于聽覺檢測，即通過使用時域或頻域中的數字信號進行模態分析來診斷旋轉部件（如軸承）的故障。這些算法的最高精度可以達到99.00%，單個圖像的識別時間為0.12毫秒。最低精度水平為86.20%。在深度學習方法中，主要有監督學習、非監督學習和強化學習。

1） 監督學習

監督學習的目標是在輸入向量（表面圖像）和目標向量（缺陷標簽0或1） 之間建立條件分布模型。其中支持向量機（SVM）、決策樹和神經網絡[4，5]是這一類問題的經典解決方法。SVM作為二元分類的分類器，經常用于識別缺陷和無缺陷區域。Ghorai等人[5]認為，分類器在缺陷檢測中的性能取決于特征和分類器的組合。他們將測試圖像分為缺陷圖像和正常圖像，然后將分類器（即SVM和VVRKFA） 與不同的特征集（即Haar、DB2、DN4） 進行融合。

Liu等人[6]認為，缺陷檢測任務實際上是一個二元分類問題。使用兩層前饋神經網絡將測試圖像的像素分為缺陷區域和無缺陷區域。卷積神經網絡（CNN） 相較于傳統神經網絡進一步優化缺陷檢測問題，通過加入卷積和下采樣模塊，有效地調整了模型的參數量并減小了模型尺寸。因此，目前基于CNN的架構被廣泛應用于自動特征提取以及工業場景中的圖像缺陷檢測。

2） 無監督學習

在實際工業應用中，收集大量目標圖像樣本并對其進行精準的標注是非常困難的，即工業場景中模型訓練的輸入更適合由一組沒有任何標注的輸入向量組成。無監督學習致力于發現輸入數據內在相似的潛在特征。

CNN不僅可以用于監督學習，還可以用于無監督學習。深度卷積生成對抗網絡（DCGAN） 同樣也是一種CNN結構，其通過在傳統生成對抗網絡（GAN） 的基礎上建立一定的約束，以達到克服其輸出不穩定的缺點。與此相似的方法多以無監督學習的方式進行缺陷檢測。在特定場景下該方法具有無監督性，以及較好的實際應用價值。盡管上述無監督學習方法能夠從未標注的圖像數據中進行訓練與學習，但它們易受到噪聲和初始值的影響，導致其在工業細分場景下的通用性降低。

3） 增強學習

強化學習方法通過一種獎懲系統，自動優化模型內部參數，可以達到使用相對較小的數據集來實現表面缺陷檢測的目的。Ren等人[6]提出了一種僅僅需要少量數據就能完成自動表面缺陷檢測任務的通用方法，該方法從預訓練的深度學習網絡中對特征進行遷移，并在輸入圖像上對預訓練的分類器進行卷積，該算法將三種缺陷類型的檢測性能大大提高。

強化學習方法可以在弱監督下同時實現小樣本的缺陷分類和定位。此外，通過融合CAE和半監督GAN（SGAN） ，提出CAE-SGAN，其中CAE充當識別檢測區域的高級分類器。SGAN半監督學習提高的泛化能力證明CAE-SGAN方案與其他一些類似的檢測方法相比具有較強的競爭力。

3 基于深度學習的小概率表面缺陷檢測

3.1 困難與挑戰

深度學習技術依然是小概率缺陷檢測問題的主流方法與趨勢，但是無論在學術界和工業界中，小概率的表面缺陷檢測問題目前都沒有一個較為完美的方案，深度學習技術在解決此類跨場景問題時，面臨的主要困難與挑戰包括如下幾個方面。

算法方法論差異巨大。學術界中的方法主要基于公開數據集的嘗試，該類方法產生的模型在生產場景中的迭代會涉及許多不同的生產環節，這些迭代的管理非常容易混亂。

數據集缺失嚴重。工業場景中并沒有現成的類似于MS COCO，ImageNet這樣大數量的公開數據集，這導致在細分場景下的表面缺陷檢測問題缺少足夠的預訓練數據，進一步導致算法在設計與工程化階段的敏捷開發困難重重。目前在工業場景中，MvTec AD數據集已經屬于比較典型的優秀開源綜合性數據集，該數據中，共包含 15 個類別，其中 5 個類別為不同類型的紋理，其余 10 個類別為 10 個不同類型的對象，3 629幅圖像用于訓練和驗證，1 725幅圖像用于測試，共5 354張圖片，示例如圖1。數量上與前文中提到的MS COCO（88萬張）等數據集相差巨大。

需求復雜并且差異性較大。工業界生產場景的產品種類繁雜，基于工藝與產品材料特質出發的表面缺陷檢測需求呈現非常分散的特性，這導致了算法技術的推廣十分困難，不同場景下的需求實現都需要重新開展完整的開發工作，投入的成本巨大。除此之外，生產者及用戶對應檢測技術的性能指標上都有著普遍的較高期待，現有的深度學習技術很難在有限的成本投入下匹配用戶的性能要求。

配套工具要求以及維護成本高。工業界生產場景下的表面缺陷檢測問題不再是單一的方法研究問題，而是一個完整的系統工程，每個階段都有不同的工程師參與，包括產品經理，光學工程師，結構工程師，算法工程師，應用工程師，運維工程師等。串聯多個環節需要一套高效的工具鏈，目前已有百度、阿里、以及阿丘科技等公司在此方面進行了大量的產品化工作，但是總體而言，小概率表面缺陷檢測問題的解決依然面臨著較高成本投入的問題。

3.2 應用嘗試與發現

工業界整體自動化率與世界先進水平尚有差距，隨著產品個性化定制的市場需求增加，柔性制造能力的提升需求更加迫切。另外逐年增加用工困難，促使工業企業制造智能化改造勢在必行。

隨著數字孿生技術的發展，使用二維設計數據與機器視覺技術，完成第一代Model-based Inspection （MBI） 檢測方法，如圖2所示，用于個人筆記本電腦整機全表面印刷內容缺陷檢測任務。

該方法通過構建虛擬映射空間，實現訂單配置與產品二維成像之間的實時反饋，精確定位檢測目標。其次通過映射后的印刷內容與真實尺度下的設計內容之間的像素級比較，結合深度學習與OCR技術，實現在印刷內容上出現的表面瑕疵的細粒度檢測。檢測準確率從94%提高到99.9%，遠超國內一流廠商設備的檢測性能，大大提高產品的生產效率與出貨品質。目前已完成復制多套設備進行工廠車間中所有組裝線的設備改造。

3.3 后續研究方法與初步規劃

雖然MBI在特定場景下較好地完成了現有設備無法完成的表面缺陷檢測任務，其結合設計數據與已有的表面缺陷檢測技術的思路可以被視為工業界與學術界跨界合作的一種示范，但是對于非印刷內容區域的表面缺陷檢測仍需要進一步的研究工作。

隨著在數字孿生領域與深度學習領域內的進一步深耕，在后續的研究工作中開展基于三維模型映射和Transformer的半監督小概率表面缺陷異常檢測研究工作。

此方法主要通過與工業模型設計軟件CREO的深度結合，使得產品在設計階段中的重要設計數據可以以模型的形式，加入表面缺陷檢測模型的訓練過程中去，憑借虛擬映射的方式直接生成待測圖像所對應的熱力圖，取代Transformer結構中原本熱力圖生成的結構，達到表面缺陷檢測的高精度、小樣本問題。詳細研究目標計劃分為如下三個方面：

計劃研究目標研究基于半監督技術的異常檢測技術。結合CREO中可以用于提供先驗知識的大量二維、三維設計數據，分別以深度神經網絡，膠囊網絡、對抗生成網絡為主要研究方向，找出標記為無缺陷樣本中的異常樣本，利用已有樣本進行風格遷移等手段，生成滿足檢測需求的樣本數據集，開發具有強泛化能力的異常檢測算法，實現工業級的小概率表面缺陷圖像識別技術，初步算法計劃如圖3所示。

計劃研究基于三維特征的低延時異常檢測技術。基于三維設計數據模型，結合高速實時視覺三維定位技術，針對便攜式計算機整機系統全外觀表面的復雜場景下的異常檢測問題展開研究，構建通用的、高精度的、可實際應用的異常檢測技術。

計劃研究便攜式計算機整機系統工業訓練資源庫。以真實自然的由工業攝像機采集的圖片為基礎，用于半監督技術前提下的異常檢測任務。數據集涵蓋了組裝、測試、檢測等真實工業生產中的所有涉及產品表面缺陷的視覺場景，由不少于50 000組的高分辨圖片組成，涵蓋不同工件材質種類，紋理材質，缺陷類型，并進行詳細的多類別分類，如圖4所示。對于每一張缺陷圖片，提供像素級別的準確參考標準來評價對應表面缺陷檢測模塊的性能。

4 小概率缺陷檢測研究總結與趨勢

通過研究發現，無論在學術界還是工業界中，大多數現有的缺陷檢測研究集中于特定產品或領域的表面缺陷檢測，這導致了類似于小概率缺陷檢測這種產生與跨界的研究方法缺乏足夠的關注。基于深度學習的小概率表面缺陷檢測是產品生產的重要組成部分，研究其檢測技術對打通學術界與產業界的障礙同樣具有重要的現實意義。本文認為表面缺陷檢測的以下方面在之后的研究中需要特別注意：

加強跨界研究。基于深度學習的小概率表面缺陷檢測問題僅僅是諸多橫跨工業界與學術界之間的問題之一。此類問題的研究開展不僅僅要在學術上橫向發散思路，借鑒如自然語言處理，推薦系統和數字孿生技術領域中的優秀方法。還需要扎根于工業實際生產場景中，緊密結合業務的實際需求，嘗試提供一種通用的缺陷標準定義方法。通過小概率缺陷的問題的分析，此類方法的研究同樣離不開從用戶的角度進行研究。以上方向都將成為未來研究中的一種趨勢。

建設工業場景表面缺陷樣本庫。任何基于深度學習技術的表面缺陷的技術都離不開大量數據的支撐。一個好的數據集更有利于問題的發現和總結，從而便于問題的解決。 目前，工業產品表面缺陷檢測領域還沒有一個龐大而統一的數據集。 對于特定的研究對象和研究場景，經常使用不同的數據集。除此之外，在之前的章節中，類似于域相似評估的缺陷檢測方法以及基于MvTec AD為基礎的異常檢測方法都為小概率缺陷檢測的未來提供了啟發性的參考，但是這一切都離不開對于多種工業場景缺陷類別的梳理和綜合性的表面缺陷樣本庫的構建。

應用三維特征于深度學習檢測模型。二維圖像表面缺陷檢測技術的主要對象是表面劃痕和擦傷。獲得有關缺陷的深入信息是有限的。然而，在實際生產過程中，產品的缺陷信息不僅顯示在產品的表面上，還需要使用三維缺陷檢測方法來檢測產品的三維表面特征。除此之外，由于工業場景中，產品的三維設計數據廣泛存在與各個生產環節中，如何結合半監督或無監督學習的方式，通過使用此類參數化數據實現深度學習訓練與測試過程中的有效反饋將是一個非常值得研究的方向。

參考文獻：

[1] BOARETTO N，CENTENO T M.Automated detection of welding defects in pipelines from radiographic images DWDI[J].NDT & E International，2017，86：7-13.

[2] MASSEREY B，FROMME P.Surface defect detection in stiffened plate structures using Rayleigh-like waves[J].NDT & E International，2009，42（6）：564-572.

[3] CZIMMERMANN T，CIUTI G，MILAZZO M，et al.Visual-based defect detection and classification approaches for industrial applications-a SURVEY[J].Sensors，2020，20（5）：1459.

[4] 董長虹. Matlab 神經網絡與應用[M].北京： 國防工業出版社， 2005.

[5] 胡伍生.神經網絡理論及其工程應用[M].北京：測繪出版社，2006.

[6] GHORAI S，MUKHERJEE A，GANGADARAN M，et al.Automatic defect detection on hot-rolled flat steel products[J].IEEE Transactions on Instrumentation and Measurement，2013，62（3）：612-621.

【通聯編輯：李雅琪】