不平衡樣本條件下的注塑產(chǎn)品缺陷高精度檢測方法

摘要：注塑產(chǎn)品缺陷的高精度檢測依賴于模型提取的圖像特征，然而，注塑產(chǎn)品缺陷樣本收集困難，導致訓練數(shù)據(jù)集出現(xiàn)類別不平衡的問題，致使模型性能下降。針對該問題，提出一種不平衡樣本條件下的注塑產(chǎn)品缺陷高精度檢測方法。利用多尺度卷積神經(jīng)網(wǎng)絡提取多尺度圖像特征，并利用其他分類任務的圖像知識，通過兩階段遷移學習改變模型訓練時的樣本采樣分布，提高模型對缺陷樣本圖像特征的提取能力，從而提高模型的分類性能。實驗結果表明：該方法具有較高的平均檢測準確率，在極端類別不平衡（IR"="25∶1）的情況下，檢測準確率達到99.26%，相較于3種對比方法提高了3.48～8.46，滿足高品質注塑產(chǎn)品生產(chǎn)的需求。

關鍵詞：不平衡樣本；注塑產(chǎn)品缺陷檢測；多尺度神經(jīng)網(wǎng)絡；兩階段遷移學習

中圖分類號：S225 """""""""""""文獻標志碼：A """""""""文章編號：1674-2605（2024）06-0008-07

DOI：10.3969/j.issn.1674-2605.2024.06.008"""""""""""""""""""""開放獲取

High Precision Detection Method for Defects in Injection Molded Products under Unbalanced Sample Conditions

YANG Zhiming HUANG Tianlun XUE Yan "LIU Jiahuan ZHONG Zhenyu ZHANG Yun

（1.Xinyuren"Technology Co.， Ltd.， Shenzhen 518172， China

2.Shenzhen Institutes of Advanced Technology， Chinese Academy of Sciences， Shenzhen 518055， China

3.Institute of Intelligent Manufacturing， Guangdong Academy of Sciences/Guangdong Key Laboratory of Modern Control Technology， Guangzhou 510070，"China

4.Guangzhou Baolite Hydraulic Technology Co.， Ltd， Guangzhou 510070，"China

5.School of Materials Science and Engineering， Huazhong University of Science and"Technology/ """""""""State Key Laboratory of Material Processing and"Die amp; Mold Technology， Wuhan 430074， China）

Abstract："The high precision detection of defects in injection molded products relies on the image features extracted by the model. However， the difficulty in collecting defect samples in injection molded products leads to class imbalance in the training dataset， resulting in a decrease in model performance. A high-precision detection method for defects in injection molded products under unbalanced sample conditions is proposed to address this issue. Using multi-scale convolutional neural networks to extract multi-scale image features， and utilizing image knowledge from other classification tasks， two-stage transfer learning is used to change the sample sampling distribution during model training， thereby improving the model's ability to extract features from defective sample images and enhancing its classification performance. The experimental results show that this method has a high average detection accuracy. In the case of extreme class imbalance （IR=25：1）， the detection accuracy reaches 99.26%， which is 3.48～8.46 higher than the three"comparative methods， meeting the demand for high-quality injection molded product production.

Keywords： unbalanced samples; defect detection in"injection molded products; multi-scale neural network; two-stage transfer learning

0 引言

塑料注射可以成型各種復雜結構，適用于生產(chǎn)精密產(chǎn)品，具有成型周期短、效率高、生產(chǎn)過程易于自動化等特點。注塑產(chǎn)品被廣泛應用于汽車、航空航天、電子電氣等領域^[1-3]，但其缺陷種類繁多、變化多樣，導致缺陷檢測難度較大，進而影響產(chǎn)品質量。

目前，基于深度學習的視覺檢測技術已被廣泛應用于注塑產(chǎn)品的缺陷檢測^[4-6]。文獻[7]采用ResNet18模型實現(xiàn)了鋼板表面6種缺陷的檢測，檢測準確率達到99.56%。文獻[8]構建了基于深度學習模型的注塑產(chǎn)品外觀缺陷分類系統(tǒng)，該模型包含一個8層的簡單卷積神經(jīng)網(wǎng)絡，以整幅產(chǎn)品圖像為輸入，缺陷識別精度達到90%以上。文獻[9]將深度卷積神經(jīng)網(wǎng)絡模型作為圖像特征提取器，以支持向量機為特征分類器，對樹脂制品的缺陷檢測準確率超過99%。文獻[10]利用卷積神經(jīng)網(wǎng)絡模型提取圖像特征，以決策樹為特征分類器，利用決策樹的規(guī)則特性提高液晶顯示器的缺陷檢測性能和檢測模型的可解釋性，平均檢測準確率約為85%。文獻[11]以卷積神經(jīng)網(wǎng)絡模型為圖像特征提取器，以隨機森林為特征分類器，提高了缺陷檢測精度，在開源紋理圖像數(shù)據(jù)集上的平均檢測精度約為99.85%。然而，當缺陷樣本數(shù)量較少或樣本類別不平衡時，上述模型難以提取缺陷的有效特征，導致缺陷檢測準確率偏低。注塑產(chǎn)品的缺陷發(fā)生率較低且變化多樣，現(xiàn)有方法難以從數(shù)量稀少的缺陷樣本中提取準確描述缺陷的圖像特征。因此，需要構建缺陷特征提取能力更強的圖像檢測模型，以解決數(shù)據(jù)不平衡導致的圖像特征偏移問題，從而實現(xiàn)更高的缺陷檢測性能。

為此，本文提出一種不平衡樣本條件下的注塑產(chǎn)品缺陷高精度檢測方法。該方法通過多尺度卷積神經(jīng)網(wǎng)絡（multi-scale convolutional neural network，MSCNN）的多分支特征提取結構，提高缺陷圖像特征語義信息的豐富性和表達能力；采用兩階段遷移學習方法，改變模型訓練時的樣本采樣分布，提高模型對缺陷樣本圖像特征的提取能力，實現(xiàn)注塑產(chǎn)品缺陷的高精度檢測。

1 注塑產(chǎn)品案例分析

本文采用的注塑產(chǎn)品案例是一個長、寬、高約為35 mm"×"6 mm"×"2"mm，表面光滑的白色殼狀產(chǎn)品。該產(chǎn)品常見的缺陷類型主要有針眼、披鋒、模凹、澆口等4種。注塑產(chǎn)品實物圖和缺陷位置示意圖如圖1所示。

該注塑產(chǎn)品的出模合格率約為90%，缺陷樣本較少。本文收集并標記了約70個披鋒、80個針眼、280個澆口和200個模凹缺陷樣本。這4種缺陷均與注塑產(chǎn)品的工藝流程相關，常出現(xiàn)在注塑產(chǎn)品相對固定的位置，可采用先驗知識裁剪方法從原始圖像中提取疑似缺陷區(qū)域的圖像塊。在區(qū)域圖像特征識別時，該缺陷檢測任務存在類別不平衡、缺陷尺度與外觀多樣性的問題，如澆口和模凹缺陷均有超過20種不同的外觀形態(tài)。澆口缺陷的多種表現(xiàn)示例如圖2所示。

2 "MSCNN模型

本文設計了一種MSCNN模型，通過多個特征提取分支從輸入圖像中同時提取概貌特征和細節(jié)特征，提高了缺陷圖像特征信息的豐富性，并設計了互糾正分類器模塊，使MSCNN模型能夠從數(shù)量有限的缺陷樣本中提取高質量的圖像特征。MSCNN模型結構如圖3所示。

1） 利用2個卷積層從輸入圖像中提取圖像低級特征；

2） 采用3個感受野不同的卷積分支分別提取不同尺度的圖像高級特征，其中，大尺度（7×7）卷積分支以較大的感受野粗略觀察圖像，小尺度（3×3）卷積分支以較小的感受野精細觀察圖像，中尺度（5×5）卷積分支則介于兩者之間；

3） 將3個不同的卷積分支提取的多尺度圖像特征，在通道維度上以并聯(lián)的方式拼接在一起，實現(xiàn)特征匯總；

4） 利用一個1×1的卷積層將這些匯總的多尺度圖像特征混合在一起，實現(xiàn)不同精細程度的多尺度圖像的特征融合；

5） 利用2個互糾正分類器（由2個全連接層FC組成的互相獨立的分類器）對多尺度圖像特征進行分類，并將2個互糾正分類器預測結果的平均值，作為模型最終的預測結果，可避免模型過度自信的問題，減輕了模型過擬合風險。

3 "兩階段遷移學習模型訓練

兩階段遷移學習模型訓練包含類別不平衡數(shù)據(jù)集劃分、第一階段遷移學習與第二階段遷移學習，其原理示意圖如圖4所示。

類別不平衡數(shù)據(jù)集劃分方法參考文獻[12]，可使類別不平衡問題變弱甚至消失。

在第一階段遷移學習中，MSCNN模型先在僅包含正常樣本的子數(shù)據(jù)集上訓練，使模型能夠學習注塑產(chǎn)品缺陷檢測任務的背景知識。MSCNN模型含有大量的隨機初始化參數(shù)，訓練時需要一個大型圖像數(shù)據(jù)集來防止過擬合的問題。然而，工業(yè)產(chǎn)品圖像數(shù)據(jù)集通常僅含有成百上千幅圖像，容易導致MSCNN模型過擬合，致使其準確性和泛化性能下降。為此，第一階段遷移學習是大型開源圖像數(shù)據(jù)集和工業(yè)產(chǎn)品缺陷圖像數(shù)據(jù)集之間的知識遷移^[13]，即將在開源數(shù)據(jù)集ImageNet^[14]上訓練模型的圖像特征知識遷移到缺陷檢測任務中。由于MSCNN模型在拓撲結構上與經(jīng)典的VGG-16模型相似，本文采用基于模型的遷移學習方法，共享在ImageNet數(shù)據(jù)集上訓練好的VGG-16模型的部分參數(shù)，將其學習到的圖像特征用于注塑產(chǎn)品的缺陷檢測任務。

第二階段遷移學習將第一階段遷移學習得到的MSCNN模型參數(shù)遷移到另一個結構相似的MSCNN模型中。除了最后一個卷積層和全連接層的參數(shù)外，第一個MSCNN模型的所有參數(shù)都被遷移到第二個MSCNN模型中，并在第二階段遷移學習的訓練中繼續(xù)更新，以適應新的訓練數(shù)據(jù)集。第二個MSCNN模型分類器的最后一層參數(shù)重新隨機初始化并訓練更新。第二個MCSNN模型在第一個MSCNN模型的幫助下，能夠快速地從數(shù)據(jù)集中學習到缺陷圖像和正常圖像之間的細微差異，實現(xiàn)缺陷樣本的準確識別。本文將這個階段得到的第二個MSCNN模型稱為快速學習階段模型。

第二階段遷移學習中的半監(jiān)督學習的訓練流程可分為3個步驟：

1） 僅有標簽樣本的損失對模型總體損失函數(shù)有貢獻；

2） 首先，無標簽樣本被納入MSCNN模型的訓練過程，并以緩慢增長的方式對模型總體損失函數(shù)做出貢獻，以防止帶有錯誤偽標簽的無標簽樣本破壞模型學習到的圖像特征；然后，增加無標簽樣本對模型總體損失函數(shù)的貢獻，促進模型特征的學習過程；

3） MSCNN模型在所有訓練樣本上微調參數(shù)。

4 實驗及結果分析

本實驗用于驗證本文方法對注塑產(chǎn)品缺陷檢測的有效性。網(wǎng)絡訓練實驗平臺配置：Python語言、開源的深度學習框架Tensor-Flow和圖像處理庫Open-CV、scikit-image等。實驗硬件設備：Ubuntu系統(tǒng)的計算服務器，NVIDIA GeForce 1080 GPU。所有實驗均在相同的軟、硬件環(huán)境下完成。本文采用兩階段遷移學習方法，不需要重新訓練模型，學習率設置在1×10^-4～3×10^-4之間。考慮到網(wǎng)絡訓練實驗平臺GPU的內存容量和訓練樣本數(shù)量，將批量大小設置為32個。第一階段遷移學習重用預訓練模型的圖像特征，使MSCNN模型能夠快速收斂，訓練輪次設置為20個左右。第二階段遷移學習引入半監(jiān)督學習方法，訓練輪次延長至40個左右。Dropout層的神經(jīng)元保留概率設置為0.5，選擇Adam優(yōu)化器來訓練MSCNN模型。

在第一階段遷移學習中，MSCNN模型的訓練過程曲線如圖5所示。

由圖5可知，訓練約5個輪次后，MSCNN模型便趨于穩(wěn)定，模型訓練損失值接近0，模型檢測準確率接近100%，表明開源模型的圖像特征知識遷移至MSCNN模型也有很好的特征表達能力，能夠幫助MSCNN模型從數(shù)量有限的樣本中提取高質量的圖像特征，從而迅速達到收斂狀態(tài)，證明了第一階段遷移學習的合理性和有效性。

在第二階段遷移學習中，MSCNN模型的訓練過程曲線如圖6所示。

由圖6可知，MSCNN模型的收斂曲線變化趨勢呈現(xiàn)與第二階段遷移學習中的半監(jiān)督學習方法對應的3個區(qū)間：

1） 訓練輪次在T0～T1之間為第一個區(qū)間I，無標簽樣本不參與訓練過程，模型在10個輪次內即可獲得較高的檢測準確率，表明來自第一個MSCNN模型的圖像特征能夠幫助本階段的MSCNN模型提取正常樣本和缺陷樣本的圖像特征；

2） 訓練輪次在T1～T3之間為第二個區(qū)間，包含兩個子區(qū)間（II-1和II-2），此時無標簽樣本逐漸加入模型訓練，且子區(qū)間II-1中無標簽樣本的損失權重較小，子區(qū)間II-2中無標簽樣本的損失權重較大；首先，訓練輪次T1右側的有標簽樣本檢測準確率突降，表明在引入無標簽樣本后，模型在第一個區(qū)間I內學習的圖像特征遭到破壞，這是無標簽樣本的錯誤偽標簽誤導模型引起的；然后，模型檢測準確率迅速上升至較高水平，表明本文采用的互糾正分類器和半監(jiān)督學習方法具有較好的糾錯能力，能夠減少錯誤偽標簽帶來的不利影響，并從無標簽樣本中提取出有效的圖像特征；最后，在子區(qū)間II-2中，無標簽樣本的損失權重迅速增加，但模型的訓練趨勢無明顯變化，表明模型提取到較好的圖像特征，能夠避免無標簽樣本導致的性能下降，并充分利用無標簽樣本的有效特征；

3） 在訓練輪次T3之后為第三個區(qū)間III，此時模型的損失權重保持不變，并對所有樣本進行微調；T3后有標簽樣本的檢測準確率趨于穩(wěn)定，而無標簽樣本的檢測準確率漸漸收斂，表明模型經(jīng)過T3個輪次的訓練后，已提取到表達能力較強的圖像特征，在有標簽樣本和無標簽樣本上均能獲得良好的泛化性能。

將本文方法與VGG-16、文獻[15]（VGG-16+重采樣）、文獻[16]（VGG-16+Focal Loss）方法在不同的不平衡比例下進行對比實驗，并采用平均檢測準確率（Ave_Acc）作為評價指標，結果如表1所示，其中最佳性能加粗標出。

由表1可知，4種方法在注塑產(chǎn)品缺陷數(shù)據(jù)集上的平均檢測準確率均隨著類別不平衡比例的增大而減小，證明類別不平衡問題會降低模型的性能，且類別不平衡比例越大，模型性能越差。這是因為類別不平衡比例較大時，模型從數(shù)據(jù)集中隨機抽取的缺陷樣本數(shù)量較少，導致模型提取的圖像特征偏向數(shù)量較多的正常樣本，使缺陷樣本圖像特征的表達能力不足，檢測準確率下降。

然而，本文方法在3種類別不平衡比例的數(shù)據(jù)集上獲得的平均檢測準確率相當，均達到99%以上，表明MSCNN模型和兩階段遷移學習方法能夠較好地解決類別不平衡問題，且均能實現(xiàn)較高的模型性能。

此外，表1中實驗2、3的結果表明，文獻[15]、 [16]方法的檢測性能相近，均不如本文方法。這兩種方法本質上均為改變數(shù)據(jù)集中樣本的抽樣權重，并未實質性地改變模型訓練時隨機抽取樣本批次的組成，即模型使用的數(shù)據(jù)集依舊不平衡，特別是當類別不平衡比例較大時，這兩種方法的模型性能較差。

5 結論

注塑產(chǎn)品缺陷樣本數(shù)量較少，導致圖像數(shù)據(jù)集類別不平衡；且缺陷外觀變化多樣，導致圖像樣本類內差異較大，從而降低了缺陷檢測的準確性。為此，本文提出了MSCNN模型，通過多分支特征提取結構同時提取概貌特征和細節(jié)特征，提高了圖像特征的表達能力和辨識能力，解決了樣本類內差異大的問題；提出兩階段遷移學習模型訓練策略，將類別不平衡數(shù)據(jù)集轉化為兩個類別平衡的子數(shù)據(jù)集，采用兩階段遷移學習，依次在這兩個類別平衡的子數(shù)據(jù)集上訓練MSCNN模型，從而解決了類別不平衡的問題。注塑產(chǎn)品缺陷數(shù)據(jù)集上的實驗結果表明，與VGG-16、文獻[15]、[16]的方法相比，本文方法具有更高的平均檢測準確率，在極端類別不平衡（IR"="25∶1）的情況下，檢測準確率達到99.26%，提升了3.48～8.46，滿足高品質注塑產(chǎn)品生產(chǎn)的需求。

?The author（s） 2024. This is an open access article under the CC BY-NC-ND 4.0 License （https：//creativecommons.org/licenses/ by-nc-nd/4.0/）

參考文獻

[1] LIU J， MACGREGOR J"F. Modeling"and optimization of product appearance： application to injection-molded plastic panels[J]. Industrial amp; Engineering Chemistry Research， 2005， 44（13）：4687-4696.

[2] 李偉國，張志斌，盧森銳，等.世界技能大賽及塑料模具工程項目綜述[J].機床與液壓，2021，49（10）：177-183.

[3] 張?zhí)煊眩罄伲瑥堒姡?Moldflow填充案例在模具教學中的應用[J].機電工程技術，2022，51（12）：200-203;237.

[4] ZHAO W， HUANG H， LI D， et al. Pointer defect detection based on"transfer learning and improved cascade-RCNN[J]. Sensors， 2020， 20（17）： 4939.

[5] 王子玉，陳佳星，白博文，等.基于改進YOLOv5s的絕緣子缺陷檢測方法[J].機電工程技術，2024，53（8）：197-200.

[6] 邢祥勝，劉林，劉曉宇，等.工業(yè)機器人火箭噴管冷卻通道線激光在位測量系統(tǒng)開發(fā)[J].中國測試，2023，49（12）：1-7.

[7]"HE Y， SONG K， DONG H， et al. Semi-supervised defect classification of steel"surface based on multi-training and generative adversarial network[J]. Optics and Lasers"in Engi-neering， 2019，122：294.302.

[8] HA H， JEONG J. CNN-based defect inspection for injection molding using edge"computing and industrial IoT systems[J]. Applied Sciences， 2021， 11（14）： 6378.

[9]"NAGATA F， TOKUNO K， MITARAI K， et al. Defect detection"method using deep convolutional neural network， support vector machine and"template matching techniques[J]. Artificial Life and Robotics， 2019，24（4）：512-519.

[10] LEE M， JEON J， LEE H. Explainable AI for domain experts： A post Hoc analysis of"deep learning for defect classification of TFT-LCD panels[J]. Journal of Intelligent"Manufacturing， 2022， 33（6）：1747-1759.

[11] CHEN H， HU Q， ZHAI B， et al. A robust weakly supervised learning of"deep Conv-Nets for surface defect inspection[J]. Neural Computing and Applications，"2020，32（15）：11229-11244.

[12] 陶顯，侯偉，徐德.基于深度學習的表面缺陷檢測方法綜述[J].自動化學報，2021，47（5）：1017-1034.

[13] ZHUANG F， QI Z， DUAN K， et al. A comprehensive survey on"transfer learning[C]. Proceedings of the IEEE， 2020，109（1）： 43-76.

[14]"DENG J， DONG W， SOCHER R， et al. Imagenet： A large-scale hierarchical"image database[C]//2009 IEEE Conference on Computer Vision and Pattern"Recognition. IEEE， 2009：248-255.

[15] GAO Y， GAO L， LI X， et al. A semi-supervised convolutional neural network"based"method for steel surface defect recogni-tion[J]. Robotics and Computer-Integrated"Manufacturing， 2020，61：101825.

[16] KRIZHEVSKY A， SUTSKEVER I， HINTON.G E. Imagenet classification with deep"convolutional neural networks[J]. Ad-vances in Neural Information Processing Systems， 2012，25："84-90.

作者簡介：

楊志明，男，1974年生，本科，工程師，主要研究方向：智能制造。

黃天侖（通信作者），男，1991年生，博士研究生，高級工程師，主要研究方向：機器視覺。E-mail： huang_tianlun@126.com

薛艷，女，1989年生，本科，高級工程師，主要研究方向：液壓元件、液壓系統(tǒng)。

劉家歡，男，1995年生，博士研究生，工程師，主要研究方向：智能檢測技術。

鐘震宇，男，1971年生，博士研究生，研究員，主要研究方向：深度學習。

張云，男，1981年生，博士研究生，教授，主要研究方向：注塑成型工藝、智能制造。