基于特征融合的小型透明注塑件缺陷檢測技術研究*

刁思勉 黃天侖 毛霆 王楠 鐘震宇 張云 周華民

特約論文

基于特征融合的小型透明注塑件缺陷檢測技術研究*

刁思勉1黃天侖2,3毛霆3王楠2鐘震宇2張云3周華民3

（1.深圳市燁嘉為技術有限公司，廣東 深圳 518000 2.廣東省科學院智能制造研究所/廣東省現代控制技術重點實驗室，廣東 廣州 510070 3.華中科技大學材料科學與工程學院/材料成形與模具技術國家重點實驗室，湖北 武漢 430074）

針對小型透明注塑件在成像過程中受成像質量與產品尺寸的影響，導致透明注塑件產品的缺陷檢測準確率與召回率低的問題，提出一種基于特征融合的小型透明注塑件缺陷檢測技術。首先，采用高清工業相機并搭配M5028-MPW2鏡頭對小型透明注塑件局部區域進行成像，以彌補尺寸的影響從而保證成像質量；然后，采用特征融合網絡將低層次的高分辨率特征圖下采樣、高層次的強語義信息特征圖上采樣變換到相同尺寸，并通過局部響應歸一化技術進行融合，從而提高缺陷區域的定位與識別精度；最后，利用特征共享的區域生成網絡與分類網絡實現缺陷位置的自動定位與檢測。經實驗驗證：該技術能準確實現小型透明注塑件的缺陷檢測，在300個推薦區域與交并比為0.5的情形下，缺陷區域召回率為100%；缺陷類別識別平均準確率為98.49%，具有較高的實用價值。

小型透明注塑件；缺陷定位與檢測；特征融合；特征共享

0　引言

注塑成形產品具有成形周期短、精度高、適應性強等特點，廣泛應用于汽車、航空航天、電子電氣等領域。注塑件缺陷檢測是實現注塑成形工業產業升級的重要技術環節。傳統依靠人工檢測的效率、精度與穩定性都得不到保障，嚴重制約了注塑成形工業的自動化與智能化水平。

目前，基于機器視覺的檢測技術已逐漸應用于注塑件的缺陷檢測。如，針對具有較強紋理特征的注塑件，LIU等采用截斷奇異值分解和小波分解技術，實現注塑件的紋理特征提取，并建立外觀缺陷的檢測模型[1]；GAHLEITNER等利用數字圖像處理技術和條狀光源成像技術實現產品指定位置的紋理檢測[2]。針對具有縮痕缺陷的注塑件，GRUBER等建立產品縮痕強度與產品外觀圖像的二階微分之間的定量關系與模型，實現注塑件縮痕缺陷的自動檢測[3]。針對透明注塑件的外觀檢測，SATORRES等結合定制的照明硬件系統與可配置組合的軟件模塊，實現前照燈透鏡的自動檢測[4]。相關學者結合改進的霍夫變換、輪廓擬合與亞像素處理等技術實現小型齒輪類注塑件的披鋒、缺齒與翹曲等缺陷的自動檢測[5-6]；也有學者結合模板匹配與圖像分割技術，實現平板類注塑件的外觀缺陷檢測[7-8]。在注塑成形工業的模具保護方面，通過模板匹配、特征匹配與輪廓檢測等技術實現模內異物或產品殘留的自動檢測[9]。綜上所述，基于傳統機器視覺的檢測技術大多針對特性類型產品、特定外觀缺陷的檢測，模型可遷移性不強。隨著深度學習技術的發展，基于深度學習的檢測技術已逐漸取代傳統的機器視覺檢測技術，并廣泛應用于圖像分類[10]、檢測[11]與分割[12]等領域。

近年來，專家學者針對如何利用深度學習技術準確識別注塑件缺陷進行了大量研究，但針對小型透明注塑件缺陷檢測的文獻鮮有報道。為此，本文提出一種基于特征融合的小型透明注塑件缺陷檢測技術。首先，對小型透明注塑件進行局部成像從而提高局部區域的圖像分辨率；其次，利用特征融合網絡將不同層次特征圖變換到同一尺寸，從而提高缺陷的定位精度與識別準確率；最后，利用缺陷生成和分類網絡檢測頭對缺陷的位置和類型進行自動識別，提高了小型透明注塑件缺陷檢測的召回率與準確率。

1　圖像獲取與數據集準備

待檢測的小型透明注塑件來自實際生產中的案例，尺寸為8 mm×6 mm×2 mm。由于材料、工藝與設備狀態等參數的波動，導致產品在注塑成形過程中容易出現毛絲（Hair）和黑點（Spot）2種常見的缺陷，如圖1所示。本文主要檢測這2種外觀缺陷。由于待檢測小型透明注塑件對成像質量要求較高，本文采用高清工業相機acA3800-10gc并搭配M5028-MPW2鏡頭（分辨率為2 454×2 056）對小型透明注塑件局部區域進行成像。為平衡檢測效率和檢測精度，將成像后的圖像統一縮放至800×640像素。

圖1 典型小型透明注塑件外觀圖像與缺陷

分別收集正常圖像100幅、含有毛絲和黑點缺陷的圖像各80幅，合計260幅。其中，毛絲和黑點缺陷出現次數分別為417次和384次，采用人工標記的方式記錄每個缺陷的位置和類型；同時通過將圖像旋轉至不同角度（如30°、90°、180°等）和平移等方式對數據進行增強，從而獲得10倍于原始數據量的數據集，選取60%的數據作為訓練集，剩余的40%作為測試集。

2 多維度特征融合

本文采用預訓練的VGG16網絡作為特征提取主干網絡（移除網絡架構最后3個全連接層），包含13個卷積層和4個池化層。傳統目標檢測采用特征提取主干網絡最后的卷積層輸出特征作為區域生成網絡和檢測器的輸入，該特征圖的縮放因子為1/32，存在目標定位精度不足的問題；而低層次的特征圖沒有經歷卷積等非線性變換操作，其語義信息較弱，缺陷識別能力不高。因此，為利用高層次特征圖的強語義特性，對第五卷積組輸出的特征圖進行上采樣，以增強其位置信息；為利用低層次特征圖的高分辨率特性，將第一卷積組輸出的特征圖進行最大池化操作以增強其語義信息；將上述特征圖變換到與第三卷積組輸出的特征圖相同尺寸，并通過1個5×5的卷積操作增強特征的非線性表達能力，通過局部響應歸一化技術將3組特征圖進行融合，從而提高缺陷區域的定位精度。多維度特征融合網絡如圖2所示。

圖2 多維度特征融合網絡

3 缺陷區域自動生成與檢測

首先，將小型透明注塑件外觀圖像輸入特征提取網絡并經歷多維特征融合后，輸出1個××的特征圖；然后，利用具有個通道的3×3卷積模板對該特征圖進行非線性變換，并將三維特征圖的形狀變換為(×) ×的二維特征圖；最后，在該二維特征圖后接入2個全連接層，用于缺陷區域的生成和粗定位。此外，為提高缺陷定位的精度，引入錨點（anchor）機制，以錨點為中心，通過生成個不同尺度和比例的矩形框來指定不同大小和長寬比例的缺陷區域。因此，對于×大小的特征圖，最終將生成××個候選區域，缺陷區域生成網絡架構如圖3所示。

圖3 缺陷區域生成網絡結構示意圖

缺陷區域生成網絡的損失函數為

式中，(,,,)分別為預測候選區域錨點中心坐標(,)、矩形區域的寬度()與高度()；(x, y, w, h)分別為真實候選區域錨點中心坐標(x, y)、矩形區域的寬度(w)與高度(h)。

在訓練階段，采用帶動量的小批量隨機梯度下降法訓練區域生成網絡模型，該模型每幅圖像輸出128個候選區域，送入后續區域檢測網絡進行進一步的分類與定位訓練。其中，正負樣本比例保持為1∶1，若正樣本數量不足，則由負樣本補齊。正負樣本的設置規則如下：

1）如果候選區域與真實缺陷區域的交并比大于0.5，將該區域標記為正樣本區域的樣本，否則標記為負樣本；

2）如果多個候選區域與同一個真實缺陷區域的交并比大于0.5，則將交并比最大的那個候選區域設置為正樣本，其他設置為負樣本；

3）如果同一個候選區域與多個真實缺陷區域的交并比大于0.5，則取交并比最大的那個真實缺陷區域作為正樣本。

在測試階段，由于區域生成網絡模型輸出的候選區域沒有真實標簽，因此直接輸出300個候選區域并送入區域檢測網絡進行預測。

利用感興趣區域（ROI）池化操作將缺陷區域生成網絡生成的候選區域池化為7×7的特征圖，并送入后續檢測器進行最終缺陷區域的精確定位和識別。檢測器網絡結構與缺陷區域生成網絡結構類似，包含2個全連接層檢測頭，分別用于位置回歸和缺陷分類，缺陷檢測網絡總體結構如圖4所示。

圖4 缺陷檢測網絡總體結構示意圖

采用帶動量的小批量隨機梯度下降法訓練檢測器，檢測器的位置回歸誤差計算方式與式(1)相同；缺陷類型識別采用SoftMax函數：

本文采用四步法訓練缺陷檢測網絡：1）單獨訓練缺陷區域生成網絡；2）單獨訓練檢測器；3）凍結第2）步中的特征提取主干網絡的模型參數，對缺陷區域生成網絡的模型參數進行微調；4）凍結第3）步中的特征提取主干網絡的模型參數，對檢測器的模型參數進行微調。

4　實驗及結果分析

為驗證本文所提方法對小型透明注塑件缺陷檢測的有效性，網絡訓練的實驗平臺硬件配置如下：10核Intel Xeon CPU E5-2630 v4 @ 2.20 GHz；64 GB內存；2張Nvidia GeForce GTX 1080Ti顯卡。區域召回率與推薦數量、交并比之間的關系如圖5所示。圖5同時給出了傳統邊緣框（EB）、選擇性搜索（SS）、VGG、特征融合網絡（Hyper）的結果。

圖5 區域召回率與推薦數量、交并比之間的關系

由圖5(a)可知，當推薦數量為50個且交并比為0.5時，傳統的EB方法或SS方法的召回率不足60%，而VGG與Hyper網絡的召回率均在80%以上，其中Hyper網絡的召回率更高；由圖5(b)可知，當推薦數量為300個且交并比為0.5時，傳統的EB方法或SS方法的召回率不足80%，而VGG與特征融合網絡的召回率基本可達100%。此外，還發現特征融合網絡的召回率始終高于VGG網絡和傳統的EB方法、SS方法，證實了本文提出的特征融合網絡結構的有效性。

在實時性方面，當推薦區域數量為1 000個時，傳統EB方法、SS方法處理單幅圖像平均耗時約為 4 s，而VGG和特征融合網絡平均耗時分別為165 ms和190 ms。特征融合網絡處理單幅圖像處理速度是傳統EB方法、SS方法的4倍以上，這是因為特征融合網絡模型結構參數略有增加，導致單幅圖像速度略慢于VGG網絡，但仍能滿足實時性檢測需求（≥5 s/幅）。VGG網絡、特征融合網絡的檢測準確率如表1所示。

表1 VGG、特征融合網絡的檢測準確率

由表1可知：當推薦區域數量為1 000個、區域生成網絡與檢測器不共享特征提取主干網絡的模型參數時，相比VGG網絡，特征融合網絡對黑點、毛絲的識別準確率和平均準確率分別提高了3.34%、3.65%、3.50%；當采用共享特征網絡參數時，特征融合網絡對黑點、毛絲的識別準確率和平均準確率分別提高了3.31%、3.59%、3.44%；當推薦區域由1 000個降為300個時，平均準確率可以達到98.49%，能夠滿足實際檢測需求。由以上結果可以看出，本文采用的特征融合方法能提高缺陷的識別準確率與平均準確率。

圖6給出了缺陷檢測結果，其中1表示黑點缺陷、2表示毛絲缺陷，1∶0.983表示出現黑點缺陷的概率為0.983；2∶0.837表示出現毛絲缺陷的概率為0.837。由圖6可知，本文所提方法能夠較好地檢測出黑點、毛絲等缺陷。

圖6 小型透明注塑件缺陷檢測結果圖

5　結語

為了識別小型透明注塑件缺陷，本文提出一種基于特征融合的缺陷檢測技術。首先，通過高清工業相機對小型透明注塑件進行局部成像，并將圖像統一縮放至800×640像素，從而降低產品尺寸對成像質量的影響；其次，通過將低層次的特征圖下采樣、高層次特征圖上采樣至同一尺寸大小，并通過局部響應歸一化技術融合不同層次的特征圖，提高缺陷區域的定位和識別精度；最后，采用預訓練的VGG模型作為特征提取主干網絡，通過缺陷區域生成網絡和檢測器實現缺陷區域的自動定位與檢測。在300個推薦區域與交并比為0.5時，缺陷區域召回率100%；缺陷類別識別平均準確率98.49%，具有較高的實用價值。

[1] LIU J J, MACGREGOR J F. Modeling and optimization of product appearance: application to injection-molded plastic panels[J]. Industrial & Engineering Chemistry Research, 2005, 44(13):4687-4696.

[2] GAHLEITNER R, NIEL K S, FRANK S. Optical measurement system for characterizing plastic surfaces[C].Image Processing: Machine Vision Applications. International Society for Optics and Photonics, 2008,6813:68130T.

[3] GRUBER D P, MACHER J, HABA D, et al. Measurement of the visual perceptibility of sink marks on injection molding parts by a new fast processing model[J]. Polymer Testing, 2014,33(3): 7-12.

[4] SATORRES MARTíNEZ S, GóMEZ ORTEGA J, GáMEZ GARCíA J, et al. An industrial vision system for surface quality inspection of transparent parts[J]. International Journal of Advanced Manufacturing Technology, 2013,68(5-8):1123-1136.

[5] 賀秋偉.基于計算機視覺的微小尺寸精密檢測理論與技術研究[D].長春:吉林大學,2007.

[6] 陳廉清,高立國,王龍山.基于亞像素定位和虛擬圓掃描的齒輪在線檢測研究[J].光學技術,2008,34(S1):123-125.

[7] 張王黎.基于機器視覺的塑料制品缺陷檢測算法研究[D]. 廣州:華南理工大學, 2014.

[8] 楊威,毛霆,張云,等.注射制品表面缺陷在線檢測與自動識別[J].模具工業,2013,39(7):7-12.

[9] LEE J Y, BONG W, LEE S, et al. Development of the Vision System and Inspection Algorithms for Surface Defect on the Injection Molding Case[M].Advances in Computer Science and Ubiquitous Computing. Springer, Singapore, 2016:963-970.

[10] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016:770-778.

[11] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2016,39(6):1137-1149.

[12] HE K, GKIOXARI G, DOLLáR P, et al. Mask R-CNN[C]// Proceedings of the IEEE International Conference on Compu-ter Vision, 2017:2961-2969.

Research on Defect Detection Technology of Small Transparent Injection Molding Parts Based on Feature Fusion

Diao Simian1Huang Tianlun2,3Mao Ting3Wang Nan2Zhong Zhenyu2Zhang Yun3Zhou Huamin3

(1.Yejiawei Technology Co., Ltd. Shenzhen 518172, China 2. Institute of Intelligent Manufacturing, Guangdong Academy of Science/ Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 3. School of Materials Science and Engineering, Huazhong University of Science and Technology/ State Key Laboratory of Material Processing and Die & Mold Technology, Wuhan 430074, China)

Aiming at the problem that the defect detection accuracy and recall rate of transparent injection molded parts are low due to the influence of imaging quality and product size in the imaging process of small transparent injection molded parts, a defect detection technology of small transparent injection molded parts based on feature fusion is proposed. Firstly, high-definition industrial camera and M5028-MPW2 lens are used to image the local area of small transparent injection molding parts to make up for the influence of size and ensure the imaging quality; Then, the feature fusion network is used to transform the down sampling of low-level high-resolution feature map and the up sampling of high-level strong semantic information feature map to the same size, and the local response normalization technology is used for fusion, so as to improve the positioning and recognition accuracy of defect area; Finally, the feature sharing region generation network and classification network are used to realize the automatic location and detection of defect location. The experimental results show that the technology can accurately detect the defects of small transparent injection molded parts. When the ratio of 300 recommended areas to intersection and merging is 0.5, the recall rate of defective areas is 100%; The average accuracy of defect classification is 98.49%, which has high practical value.

small injection molding parts; defect localization and recognition; feature fusion; feature sharing

廣東省重點領域研發計劃項目（2018B01010-8006）；廣東省科學院建設國內一流研究機構行動專項資金項目（2021GDASYL-20210103091）。

刁思勉，男，1971年生，博士，工程師，主要研究方向：產品缺陷檢測技術。

黃天侖（通信作者），男，1991年生，博士，主要研究方向：機器視覺、深度學習。E-mail: tl.huang@giim.ac.cn

毛霆，男，1989年生，博士，主要研究方向：人工智能，機器視覺。

王楠，女，1989年生，碩士，主要研究方向：安全檢測技術。

鐘震宇，男，1971年生，博士，研究員，主要研究方向：深度學習。

張云，男，1981年生，博士，教授，主要研究方向：注塑成形工藝、智能制造。

周華民，男，1974年生，博士，教授，主要研究方向：智能成形工藝與裝備、聚合物加工。

S225

A

1674-2605(2021)06-0001-06

10.3969/j.issn.1674-2605.2021.06.001