一種深度學習的工件柔性檢測方法

管聲啟，洪奔奔，常 江，任 浪

（西安工程大學機電工程學院，陜西 西安 710048）

1 前言

當前中國處于從制造大國向制造強國轉變的關鍵時期，《中國制造2025》明確提出要以加快新一代信息技術與制造業深度融合為主線，以推進智能制造為主攻方向；《新一代人工智能產業規劃》將新一代人工智能提升到國家戰略高度，明確指出重點發展智能制造。在該規劃與《中國制造2025》的共同推進下，我國制造業智能化、自動化升級將不斷深化。可以看出，以柔性制造為特征的智能制造是我國從制造大國向制造強國轉變的突破口和必由之路[1-3]。

在傳統產品制造中采用機器視覺對工件外觀的檢測，將有利于發現生產過程的工藝問題、及時改進生產工藝問題、提高產品質量，有利于產品分類和分揀。文獻[4]提出一種由人工神經網絡和模糊邏輯系統組成的復雜分類器，用于檢測焊接質量，從而保證產品和結構的安全開發。該分類器比普通神經網絡分類器性能好和靈活性高；文獻[5]提出基于Fisher準則的堆疊去噪自動編碼器（FCSDA）將織物有效地分類為無缺陷和缺陷類別。該方案在周期性圖案織物和更復雜的提花經編織物的缺陷檢測中效果更顯著；文獻[6]提出基于機器學習和計算機視覺的自動化缺陷管理系統，通過卷積神經網絡分析產品的圖像并預測產品是否有缺陷。該算法可以檢測和量化瓷器產品中不同類型的缺陷。可以看出，這些機器視覺算法能夠較好適應傳統剛性產品外觀質量檢測的需要。

隨著人工智能的發展，以柔性制造為特征的智能制造柔性生產線將代替剛性生產線，從而實現多品種小批量工件的生產[7-9]；而傳統的機器視覺檢測算法是為了滿足剛性生產線產品檢測而設計的，因而很難滿足工件種類繁多，形態、特征各異表面缺陷的柔性檢測需要；為此，必須同時開展工件定位、分類和缺陷檢測等問題算法研究[10]。

2 基于深度學習的工件柔性檢測模型構建及優化

2.1 工件柔性檢測模型構建

眾所周知，經典機器視覺檢測算法提取特征參數一直依靠人工經驗確定；這種特征提取方式對于檢測目標復雜、檢測目標種類繁多往往難以滿足要求；如何從復雜、多特征、種類繁多目標提取特征參數一直是研究熱點問題。

深度學習是機器學習中一種基于對數據進行表征學習的方法。深度學習是用非監督式或半監督式的特征學習和分層特征提取高效算法來替代手工獲取特征。選取探索者機器人扁平工件作為研究對象，主要研究了采用深度學習機器視覺檢測在工件柔性檢測中的應用。利用Yolo算法和Faster-RCNN算法構建工件檢測的模型，如圖1所示。以解決工件分類、準確率檢測及表面缺陷檢測等問題。

由于Yolo算法用于工件分類檢測時，其分類準確，但檢測準確率不高；Faster-RCNN算法用于工件表面缺陷的檢測，其檢測準確率高，但對于類型相似的工件分類存在偏差。因而，采用檢測模型，如圖1所示。在面向工件柔性化檢測中還不能完全解決檢測中各種類型工件定位、分類和缺陷檢測等問題；為此，必須對其工件檢測的模型進行優化，以滿足工件柔性化檢測的需求。

圖1 工件檢測的模型圖Fig.1 Model Diagram of Workpiece Detection

2.2 工件柔性檢測模型的優化

在工件柔性化檢測過程中，需要解決關鍵技術有：（a）如何實現工件快速定位及分類；（b）如何實現工件特征提取與缺陷準確檢測問題。

這里的工件檢測是Object-detection API 算法與Mask-RCNN 算法的結合，即API-MASK 算法。其中，Object-detection API算法是在YOLO算法的基礎上進行優化，通過人工標注，解決工件定位的問題。Mask-RCNN算法是在Faster-RCNN算法的基礎上進行優化，解決工件分類、定位及工件表面缺陷檢測。

因此，將這兩種算法優點結合起來，重新構建新的模型，得到工件檢測優化模型圖，如圖2所示。可以實現多種類型工件的分類、定位以及表面缺陷檢測并行協同處理，從而實現工件柔性化檢測。

圖2 工件檢測的模型優化圖Fig.2 Model Optimization Diagram for Workpiece Inspection

3 工件柔性檢測API-MASK算法的分析

3.1 API-MASK算法的網絡設計

采用標準的卷積神經網絡（ResNet50 和ResNet101）作為特征提取器，如圖3所示。底層檢測的是低級特征（邊緣和角等），較高層檢測的是更高級的特征（缺陷、輪廓等特征）。經過主干網絡的前向傳播，圖像從1024×1024×3（RGB）的張量被轉換成形狀為32×32×2048 的特征圖。該特征圖將作為下一個階段的輸入。

圖3 主干網絡示意圖Fig.3 Sketch of Backbone Network

3.2 API-MASK算法的網絡訓練

3.2.1 區域建議網絡（RPN）

RPN屬于輕量級神經網絡，通過使用滑動窗口掃描圖像，來搜尋可能存在的目標區域。RPN 掃描的區域上分布的矩形被稱為anchor，如圖4所示。

圖4 不同矩形框的anchorFig.4 Anchor of Different Rectangular Frame

RPN通過卷積過程產生滑動窗口，并不會直接掃描圖像，而是掃描主干特征圖，這樣允許RPN有效地重用提取的特征并避免重復計算，并且最終的區域建議將被傳遞到下一階段。其網絡結構圖，如圖5所示。

圖5 RPN網絡結構示意圖Fig.5 Schematic Diagram of RPN Network Structure

3.2.2 ROI分類器和邊界框回歸器

ROI分類器以RPN理論為依據，其結構與RPN相似，都有兩個輸出，如圖6所示。其中ROI和RPN的目標類別、邊框精調不同，盡管原理相似，但ROI可以深層次的區域劃分目標類型，經過精調邊框的位置和尺寸，達到目標封裝的目的。

圖6 ROI分類器和邊界框回歸器示意圖Fig.6 ROI Classifier and Boundary Box Regenerator Diagram

3.2.3 分割掩碼

Faster-RCNN算法通過ROI分類器和邊界框回歸器的學習，用于目標檢測模型。而本文的優化算法在Faster-RCNN模型的基礎上，增加了分割掩碼網絡，使工件的輪廓信息更加凸顯。其掩碼過程，如圖7所示。

圖7 API-MASK算法的掩碼圖Fig.7 Mask Map of API-MASK Algorithm

API-MASK 算法中的掩碼是一個卷積網絡，通過ROI分類器作為輸入，并生成掩碼。其生成的掩碼是低分辨率的：28×28像素。在訓練中，將掩碼縮小為28×28 來計算損失函數，而在推斷過程中，將預測的掩碼放大為ROI 邊界框的尺寸以給出最終的掩碼結果。

3.3 API-MASK算法的工件檢測流程

根據工件柔性化檢測優化模型結構，設計工件柔性化檢測算法。本文的工件檢測API-MASK算法模型，通過同一個模型同時實現各類型工件定位、分類和缺陷檢測并行協同處理，實現工件柔性檢測的目標。其工件檢測流程，如圖8所示。

圖8 工件檢測流程圖Fig.8 Workpiece Detection Flow Chart

首先，通過labelImg（圖像標注工具）對圖像進行標注，得到工件的位置信息；然后，將標注圖像送入圖像緩存區，對圖像進行分割，得到圖像可疑區域，看圖像可疑區域是否存在可疑目標。其次，通過第一步，得到圖像可疑區域是否存在可疑目標，若存在可疑目標，將可疑目標圖像送入可疑區域圖像緩存區進行圖像缺陷判別；若不存在可疑目標，將圖像輸入檢測模塊，對輸入圖像直接進行特征提取及工件分類檢測（工件種類檢測和工件識別準確率檢測）。最后，通過第二步，得到可疑目標缺陷圖像，若存在缺陷，對工件圖像進行缺陷檢測，其中包括缺陷分類及缺陷識別準確率檢測；若不存在缺陷，將圖像輸入檢測模塊，對輸入圖像直接進行特征提取及工件分類檢測。

4 實驗與分析

這里的面向工件柔性化檢測的實驗系統由CCD相機、光源、圖像采集卡、傳送帶以及計算機等組成。其總體配置如下：（1）CCD 相機型號及數量：AVT Prosilica GE1650C 型面陣CCD 相機（1臺）；（2）光源型號及數量：LED環形光源（1臺）；（3）圖像采集卡型號及數量：凌華科技的PCIe-GIE72/74（1套）；（4）計算機型號及數量：一臺（英特爾（Intel）：酷睿i9 9900k 處理器；NVIDIA 芯片：RTX2080；內存8G）；（5）傳送帶：一套（步進電機、傳感器、皮帶及滾筒）。

分別采集編號從（A）-（H）的9種探索者機器人扁平工件進行測試，包含單目標圖像、多目標圖像和缺陷圖像，如圖9所示。

圖9 測試工件圖像Fig.9 Test Workpiece Image

人工標注是深度學習目標檢測的基礎環節，通過人工標注以后，機器視覺檢測才能知道圖像中目標的位置，如圖10所示。通過深度學習算法，將人工標注的圖像進行處理，得到目標的坐標位置信息，如表1所示。對進一步檢測目標種類及目標準確率提供依據。

圖10 人工標注工件示意圖Fig.10 ManualLabeling of Workpiece Sketch

表1 工件位置所對應的坐標信息（單位：像素）Tab.1 Coordinate Information Corresponding to Workpiece Position（unit：pixel）

表中：xmin、ymin、xmax、ymax—工件寬度、高度的最大值和最小值，如圖11所示。

圖11 工件的坐標示意圖Fig.11 The Coordinate Sketch of the Workpiece

這里的研究對象為探索者機器人的結構件，該結構件主要包括金屬結構件、塑料結構件和其他工件。主要針對探索者機器人扁平工件進行圖像采集，將待測工件送入檢測系統中，每采集一張圖像利用計算機進行實時在線檢測。

采集圖像分為測試數據集和實驗數據集，其中測試圖像為671張，實驗圖像為386張，其檢測結果，如圖12所示。將測試圖像進行工件種類分類檢測，其分類準確率，如表2所示。

表2 不同算法的圖像種類分類準確率對比Tab.2 Comparison of Classification Accuracy of Image Types Based on Different Algorithms

圖12 不同算法的工件檢測結果Fig.12 Workpiece Detection Results Based on Different Algorithms

其中，YOLO算法主要針對無缺陷的扁平工件進行分類和檢測工件準確率；Faster-RCNN算法主要針對有缺陷的扁平工件進行缺陷分類和檢測缺陷準確率；這里的API-MASK算法既可以對無缺陷的扁平工件進行分類和檢測工件準確率，又可以對有缺陷的扁平工件進行缺陷分類和檢測缺陷準確率。

從表2可得，對于無缺陷圖像的分類，YOLO 算法分類準確率為100%，因為該算法在分類前都對圖像進行人工標注，所以分類準確率較高；對于有缺陷圖像的分類，Faster-RCNN 算法分類準確率為93.3%，因為該算法在缺陷特征提取過程中，對于工件缺陷分類存在偏差，導致缺陷分類準確率有所下降。

而這里算法對于無缺陷圖像和有缺陷圖像的分類準確率均為100%，因為該算法在輸入測試集圖像前，首先對圖像進行人工標注，然后在特征提取中采用特征金字塔網絡（FPN）主干網絡和殘差網絡（residual network，ResNet），通過此過程，它允許每個級的特征與高級、低級特征互結合，可以加深網絡分層，提高了特征提取能力。因此，這里算法的圖像分類準確率最高。

為了進一步驗證這里算法適應性[17]，在不同的光照條件和噪聲類型條件下，分別對扁平工件實驗圖像采用這里API-MASK算法，YOLO算法及Faster-RCNN算法進行對比實驗結果，如表3所示。

表3 不同影響因素下工件的缺陷檢測準確率對比實驗Tab.3 Contrast Experiment of Defect Detection Accuracy of Workpiece Under Different Influence Factors

從表3可以得到，光照變化條件各種算法工件檢測都能進行準確檢測。

這是因為YOLO 算法和API-MASK 算法都采用了人工標注，而Faster-RCNN 算法將RPN 網絡用于提取候區域，使用RoIPool對候選區域提取特征進行類別分類和坐標回歸，提高檢測精度。

YOLO算法對噪聲沒有反應，可能因為YOLO算法只采用了一個卷積層對缺陷不太敏感。而噪聲對Faster-RCNN 算法和API-MASK算法有不同程度的影響。

在不同類型噪聲影響下，Faster-RCNN 算法工件缺陷檢測準確率在（73～85）%之間，檢測準確率較低，主要原因可能是該方法對噪聲比較敏感；

而這里API-MASK 算法的缺陷檢測準確率在（91～96）%之間，遠高于Faster-RCNN算法的缺陷檢測準確率，主要原因在于這里API-MASK算法的網絡優化結構，結合了兩種算法的優點，能有效提高工件檢測區域的顯著度，同時可以有效提高工件的輪廓信息。

試驗分析表明這里提出的算法解決了多種扁平工件的分類檢測、定位以及表面缺陷檢測，具有較高的檢測準確率；同時，在不同的檢測條件下，具有較好的適應性。

5 結束語

為了滿足智能制造中的同時進行工件分類、定位以及缺陷集成化檢測的需要，這里構建了工件檢測的網絡結構并進行優化；在此基礎上，將Object-detection API 和Mask-RCNN 的優點進行結合，進行設計API-MASK算法用于工件檢測；

采用Google 的深度學習框架tensorflow 對輸入數據進行逐層分析、學習，將學習得到的高層特征用于工件的分類、特征提取以及表面缺陷的檢測。

由于采用Object-detection API 能夠有效實現工件的分類、定位，采用Mask-RCNN能夠有效實現工件缺陷檢測；

因而，這里API-MASK算法能夠準確進行工件的分類、定位以及表面缺陷檢測，同時具有較好的適應性。