基于工業互聯技術的膠料質量缺陷檢測模型構建分析

喻朝新　郭松濤　郭佳哲

摘 要：針對膠料質量缺陷檢測主要采用灰度理論的門限和閾值控制思路，其只能夠滿足在理想工況條件下的清晰圖像識別，且性能較差，然而在工業互聯網時代微電子智能制造領域用到的各類固體膠、密封膠等材料的復雜化與快速化給膠料的缺陷識別帶來了巨大的挑戰。研究基于工業互聯技術進行改進，具體包括增加預測特征層、結合K-means++聚類錨框并引入增強CAM和相似度量方式。實驗分析表明，S-YOLOv5s在測試集上IoU閾值平均精度提升了4.92%，同時在S-YOLOv5s網絡推理時使用soft NMS的非極大值抑制的方法使提升了近3.2%。

關鍵詞：工業互聯技術;膠料質量缺陷;YOLOv5s; 小目標

中圖分類號：TQ314;TP391文獻標志碼：A文章編號：1001-5922（2023）06-0019-04

Research on rubber defect identification and detection based on industrial interconnection technology

YU Chaoxin1，GUO Songtao2，GUO Jiazhe1

（1.China Mobile GBA Innovation Institue，Guangzhou 510630，China2.China Mobile Group Guangdong Co.，Ltd.，Guangzhou 510630，China）

Abstract：At present，the threshold and threshold control ideas of gray theory are mainly used for rubber defect recognition，which can only meet the requirements of clear image recognition under ideal working conditions，and its performance is poor. However，the complexity and rapidity of intelligent manufacturing in the era of Industrial Internet have brought huge challenges to rubber defect recognition. This article is based on industrial interconnection technology for improvement，including adding predictive feature layers，combining K-means++clustering anchor boxes，and introducing enhanced CAM and similarity measurement methods. Experimental analysis shows that S-YOLOv5s has an increased IoU threshold average accuracy of 4.92% on the test set，while using soft NMS's non maximum suppression method in S-YOLOv5s network inference resulted in an increase of nearly 3.2%.

Key words：industrial interconnection technology;rubber defect;YOLOv5s;small target

工業互聯網是第4次工業革命的核心基石，因此在微電子智能制造領域膠料作為元器件粘合密封的主要原材料，其品質對最終的產品質量起到了至關重要的影響。近年在通用對象目標檢測技術方面已經取得了實質性的發展，但針對小目標的方面的研究一直進展緩慢，即使是最先進的目標檢測器，對小型目標的檢測效果依然不太理想。在工業互聯網領域中，智能制造的原材料質量保證是產業賦能的基礎條件，在工業生產中膠料質量的檢測，即缺陷識別小目標檢測同樣是一個突出的問題，它對智能制造領域的推進起著重要的影響［1-3］。提出了融合Sobel算子的膠料毛刺檢測算法，它主要是通過門限控制和區域生長、分離方法提高膠料圖像邊緣的定位精度和降低噪聲干擾［4］。針對膠料圖像缺陷特征信息不突出的情況，提出了基于直方圖區域劃分的閾值分割算法［5］。上述算法雖然在一定程度上解決了膠料在理想工況下的大部分類型缺陷檢測，但針對于工業互聯網行業而言，隨著制造技術的升級，膠料的使用場景愈加微觀化和迅速，這造成膠料缺陷識別工況條件嚴苛且對識別性能的高需求等。因此基于工業互聯技術提出了小目標預測、錨框重聚類、增強CAM和相似度度量等改進策略，旨在滿足復雜背景下膠料缺陷的快速識別。

1 工業互聯網中膠料圖像缺陷檢測分析

在工業互聯網的智能制造領域，膠料缺陷的類型上而言一般包括雜質、撕裂、孔洞和毛邊等，從識別領域的定義可以認為是小目標檢測，小目標主要的特點是像素占比少，同時除了一般目標檢測中常見的定位不準確、遮擋等問題外，在小目標任務中也存在一些典型問題，主要包括目標信息丟失、噪聲干擾、邊界框受擾動影響大以及訓練樣本不足等［6］。

（1）目標信息丟失。目前基于卷識神經網絡（CNN）的主流目標檢測器通常包含一個主要特征提取網絡和檢測頭，檢測頭根據特征提取網絡的輸出進行決策。事實證明，這種模式是有效的，并取得了前所未有的成功。然而，特征提取網絡利用多級下采樣對噪聲進行濾波，逐步降低特征圖的分辨率，從而不可避免地丟失了目標的信息。這種信息的丟失一般不會影響大中型目標的檢測性能，因而最終它們的主要特征信息仍然保留了下來。但這對小目標來說確是致命的，因為檢測頭很難在高度結構化的特征上給出準確的預測，其中小目標的微弱信號幾乎消失了[7-9];

（2）噪聲干擾。小目標往往具有較低的分辨率和較差的外觀質量，因此很難從中識別出有效的特征。同時，小目標的區域特征容易受到背景和其他實例的干擾，進一步給學習的特征引入噪聲，進而影響后續網絡的檢測;

（3）邊界框受擾動影響大。定位作為檢測的主要任務之一，在大多數檢測模型中被視為回歸問題，定位精度通常用交并比IoU來度量。然而，定位小目標比定位大目標困難。如圖1所示，A為真實框，小物體的預測框在對角線方向上2個像素的微小擾動（B）會導致IoU的從100%下降到25%;而中型和大型物體的IoU分別下降到51%和68%。與此同時，更大的4個像素擾動（C）進一步加劇了這種情況，小目標IoU下降到了4%。由此可見，小對象受邊界框擾動的影響大得多[10-13]；

（4）訓練樣本不足。正負樣本匹配是訓練高性能檢測器關鍵的一步。然而，當涉及到小物體時，事情就變得更難了。具體來說，小實例占用相當小的區域，并且與錨框的重疊區域有限。這極大地挑戰了傳統的標簽分配策略，這些策略一般是基于與真實框的重疊情況來匹配正負樣本，導致在訓練過程中為小目標分配的正樣本不足。

針對上述4點問題，文中基于YOLOv5識別算法進行小目標預測、錨框重聚類、增強CAM和相似度度量等改進。

2 工業互聯網下YOLOv5膠料圖像缺陷檢測算法

2.1 增加小目標的預測特征層

由K-means++聚類的結果生成新的錨框如表1所示。對比原YOLOv5算法，改進后的YOLOv5s-T新增了針對小目標特征層P2的3個錨框：（6，6）、（9，7）、（7，16），它比原算法中的錨框尺度更小，有利于捕捉更小的目標。

目前主流的目標檢測算法都采取了基于IoU的度量方式，比如正負樣本匹配、定位損失計算、mAP精度評估、非極大值抑制（NMS）等過程中，IoU都是重要的衡量指標。而相比于普通目標，小目標的IoU對擾動非常敏感。如圖2所示，在同樣3個像素擾動下，普通目標IoU從0.85降到了0.51；而小目標的IoU從0.51降到了0.04，這種敏感會使網絡對膠料缺陷小目標的檢測精度大幅下降[14-18]。

對于膠料缺陷檢測的小目標而言，預測邊界框的位置受目標尺寸影響較大，目標中心定位比邊界框貼合度更為重要，因而基于IoU的度量方式不適合小目標。為了更好地度量小目標，提出了一種新的度量標準，用Wasserstein距離來度量邊界框與真實框的相似度，以取代標準的IoU。具體來說，首先將邊界框建模為二維高斯分布，邊界框中心像素的權重最高，像素的重要性從中心到邊界逐漸降低［19-20］。邊界框二維高斯分布的概率密度函數為：

S-YOLOv5s為融合所有上述改進點后的模型，相比于原YOLOv5s模型，S-YOLOv5s在精度上有了大幅提升，在測試集上IoU閾值為0.5時的平均精度提升了4.92%;IoU閾值為0.5～0.95時的平均精度均值提升了3.03%。另外，在S-YOLOv5s網絡推理時使用soft NMS的非極大值抑制的方法使提升了近3.2%。主要是因為數據集中的目標重疊程度也較高。但相比NMS，soft NMS耗時大大增加，使得檢測速度FPS從192降低到了19 s。

3.2 多場景對比

實際的膠料缺陷識別環境復雜多變，工業互聯網下的智能制造也必須克服天氣、光照等環境條件變化。下面各圖展示了多個場景下原YOLOv5s模型和改進后的S-YOLOv5s模型的檢測效果對比。

3.2.1 快速進料條件下的缺陷檢測

圖4展示了快速進料下缺陷檢測效果對比。

從圖4可以看出，對于原始圖像中的多個膠料缺陷目標，YOLOv5s算法未檢測出來，漏檢率較高;而改進后的S-YOLOv5s算法顯著降低了漏檢率。

3.2.2 弱光照環境下膠料缺陷檢測

光照的強弱不僅會影響檢測攝像頭對生產實景的拍攝質量，同時還會對膠料缺陷色彩特征的表達產生干擾。圖5展示了弱光照環境下的檢測情況對比。

弱光照環境對小目標檢測算法的魯棒性是一種考驗，通過圖中的對比同樣發現無論是檢測精度還是漏檢情況，改進后的算法都優于原算法。

通過多場景對比可以看出，在膠料缺陷目標數據集上，改進的算法比原YOLOv5s算法檢測效果普遍更好。

4 結語

基于工業互聯網智能制造場景下的膠料缺陷識別問題，首先分析了膠料缺陷識別問題的定性，即小目標檢測的研究背景。基于工業互聯技術在原有網絡結構上增加了小目標預測特征層P2來提取淺層的小目標特征信息，并利用K-means++聚類算法重新聚類生成4個特征層的4組錨框。此外，通過引入CAM模塊向PAN結構注入上下信息來增強小目標的語義信息，用基于歸一化Wasserstein距離的定位損失取代基于IoU的損失函數，緩解了小目標偏移敏感性問題。最終形成了針對膠料缺陷檢測算法S-YOLOv5s。同時以自建數據集為基礎構建了膠料缺陷目標數據集并進行了對比實驗。優化后的S-YOLOv5s模型在數據集上的檢測精度提升了4.92%，提升了3.03%，并且各個類比的檢測精度和召回率均有提升，說明了改進后的S-YOLOv5s算法在膠料缺陷檢測優于原YOLOv5s算法。

【參考文獻】

［1］李艷紅，陳宏書，鄭建龍，等.高分子材料疲勞行為的研究［J］.化學推進劑與高分子材料，2008（2）：54-57.

［2］鮑中村.NR/SSBR并用膠疲勞微觀機理的研究［D］.青島：青島科技大學，2013.

［3］蘇俊杰，崔雪靜，姜瑞玉，等.未填充天然橡膠屈撓疲勞微觀破壞發展機理分析［J］.彈性體，2018，28（2）：31-35.

［4］羅俊.基于改進Sobel算子的膠料表面缺陷識別方法的研究［D］.哈爾濱：東北林業大學，2020.

［5］戴京.圖像局部不變特征提取技術研究及其應用［D］.大連：大連理工大學，2019.

［6］王勇，張偉，高銳，等.基于YOLOv4的結構用鋸材表面缺陷識別［J］.林業工程學報，2021，6（4）：120-126.

［7］李寶昭.基于匹配的圖像識別算法的應用研究［D］.廣州：廣東工業大學，2007.

［8］周俊宇，陳岳，駱國銘，等. 基于非線性優化的儲能系統調度方法［J］. 微型電腦應用，2021，37（11）： 94-96.

［9］肖建斌，國繼紅，鄒志德. 不同補強體系膠料疲勞斷裂性能的研究［J］. 橡膠工業，2000，8（10）： 584-587.

［10］易貞弟. 基于機器視覺的零件表面缺陷檢測技術研究［D］.沈陽：沈陽理工大學，2015.

［11］張立新.基于表面缺陷檢測的金屬圖像識別［J］.粘接，2019，40（8）：121-123.

［12］王道累，劉易騰，杜文斌，等.基于級聯孿生密集網絡的金屬表面缺陷檢測方法［J］.計算機輔助設計與圖形學學報，2022，34（6）：946-952.

［13］張東嶺.基于圖像處理的機械材料缺陷檢測技術研究［J］.粘接，2022，49（6）：39-43.

［14］王權順，呂蕾，黃德豐，等.基于改進YOLOv4算法的蘋果葉部病害缺陷檢測研究［J］.中國農機化學報，2022，43（11）：182-187.

［15］郭瑞. 基于機器視覺的曲邊玻璃缺陷檢測［D］.煙臺：煙臺大學，2019.

［16］郭劼，孔晶. 皮革表帶防水性能測試方法設計及其應用研究［J］. 合成材料老化與應用. 2022，51（4）： 57-58.

［17］胡秀兵. 基于機器視覺的藥片檢測系統研究［D］.天津：天津工業大學，2018.

［18］徐佳樂，黃丹平，廖世鵬，等.基于線掃描技術的軸承表面缺陷檢測方法研究［J］.中國測試，2022，48（11）：88-94.

［19］高新波，莫夢竟成，汪海濤，等. 小目標檢測研究進展［J］. 數據采集與處理，2021，36（3）：27-28.

［20］賈瑛.膠料表面用先進計算機視覺檢測技術的粘性測量研究［J］. 粘接， 2021，48（11）：102-105.

收稿日期：2023-01-11；修回日期：2023-04-11

作者簡介：喻朝新（1973-），男，碩士，高級工程師，研究方向：IT云計算；E-mail：yucxiin583@sina.com。

引文格式：喻朝新，郭松濤，郭佳哲.基于工業互聯技術的膠料質量缺陷檢測模型搭建分析[J].粘接，2023，50（6）：19-22.