基于深度學習的橡膠制品缺陷檢測技術創新

朱世元 方世鵬

摘 要：橡膠制品表面缺陷會極大地影響產品的性能、安全性和可靠性。傳統的基于人的視覺檢測準確率低且耗時長，現有的機器視覺檢測技術主要依靠人工完成，無法有效精準對橡膠制品缺陷檢測。針對橡膠制品中各種缺陷檢測識別問題，采用基于深度學習模型的多尺度缺陷檢測方法，使用橡膠制品表面缺陷圖像對該網絡進行了訓練和評估。研究結果顯示，所建立的檢測模型對橡膠制品凹坑檢測準確率較高，平均精度為92.7 %，可以有效檢測橡膠制品小缺陷，且基于深度學習的神經網絡模型的初始總損失相對較小，在100～150個歷時之間趨于穩定。

關鍵詞：深度學習；橡膠制品；缺陷；識別；技術研究

中圖分類號：TQ330.7

文獻標志碼：A

文章編號：1001-5922（2023）07-0026-04

Innovation on rubber product defect detection and recognition technology based on deep learning

ZHU Shiyuan，FANG Shipeng

（Yanan University，Yanan 716000，Shaanxi China

）

Abstract：Surface defects in rubber products can greatly affect the performance，safety，and reliability of the product.Traditional human based visual inspection has low accuracy and long time consumption.However，existing machine vision inspection technologies mainly rely on manual work and cannot effectively and accurately detect defects in rubber products.Therefore，in response to various defect detection and recognition issues in rubber products，a multi-scale defect detection method based on depth models is adopted.The network was trained and evaluated using surface defect images of rubber products.The research results show that the detection model established in this article has a high accuracy in detecting pits in rubber products，with an average accuracy of 92.7%.It can effectively detect small defects in rubber products.Moreover，the initial total loss of the neural network model based on deep learning is relatively small，and tends to stabilize between 100 and 150 durations.

Key words：deep learning;rubber products;defects;recognition;technical research

絕大多數傳統橡膠制品不溶，難以再加工和生物降解，造成黑色污染。而將聚丁二烯基加入橡膠制品可以有效加速橡膠制品降解速率。其中聚丁二烯基橡膠制品表面質量是評價橡膠制品整體質量的重要指標［1］。研究指出受原材料運輸、生產工藝水平、工人操作標準等因素的影響，聚丁二烯基橡膠制品經常出現凹坑、氣泡、劃痕等表面缺陷［2］。如果表面缺陷問題不能及時發現和解決，就會出現不合格的產品，這將給企業帶來很大的經濟負擔［3］。目前，企業生產中聚丁二烯基橡膠制品表面缺陷的檢測仍處于人工目視檢查去除不良品的階段［4-5］。檢測效率低，勞動強度高。因此，迫切需要一種智能高效的檢測方法來替代人工。

基于人工神經網絡的深度學習通過將數據和低級特征轉換為更抽象和復合的表示來發現其輸入數據的分布式表示［6］。分析結果表明，人工神經網絡的深度學習可以自動從大型訓練數據集中學習高度抽象和不變的特征，而不是人為地構建低級特征;因此，它可以穩健地適應各種計算機視覺任務［7］。

且在計算機視覺中，深度學習的對象往往是自然圖像，包括行人、車輛、動物和人臉等；但利用深度學習檢測橡膠制品表面缺陷的研究較少［8］。因此，本文提出了一種基于深度學習的聚丁二烯基橡膠制品表面缺陷檢測網絡。該網絡基于Faster R-CNN和特征金字塔網絡（FPN），可以有效檢測橡膠制品各種尺度的表面缺陷。

1 橡膠制品表面缺陷圖像識別

根據聚丁二烯基橡膠制品缺陷的工藝和原因不同，分為嚴重危害缺陷、自然缺陷和加工缺陷［9-11］。其中，嚴重缺陷和自然缺陷，具有一定的形狀和結構特征，如圖1所示。一般來說，聚丁二烯基橡膠制品缺陷可分為：氣泡、致密性差、腐爛等。實驗使用的原始數據集來源于某橡膠制品公司采樣所得圖像。掃描獲取橡膠制品圖像時，掃描儀的掃描速度為170～5 000 Hz;Z方向分辨率為 0.055～0.200 mm;X方向分辨率為 0.275 5～0.550 mm;并且彩色像素分辨率可以達到（1×0.5）mm。該數據集包括5 000張橡膠制品的缺陷圖。每個圖像的位深度為24，大小為100×100像素級別。

2 表面缺陷檢測網絡模型建立

利用 FasterR-CNN對聚丁二烯橡膠制品表面缺陷進行分類、定位，建立了多尺度缺陷檢測網絡模型［12］。Faster R-CNN系統由特征提取網絡（FEN）、區域提議網絡（RPN）、感興趣區域（ROI）以及分類和回歸層組成。考慮到橡膠制品表面缺陷的特點，在基本的Faster R-CNN中加入了FPN的特征融合思想以提高缺陷檢測性能。

2.1 特征提取網絡

特征提取網絡是一個大型的區域提議網絡，可以從輸入的圖像中自動提取高級特征。在研究中，可以使用ResNet101來獲得高層次和語義強的特征。而ResNet101的基本結構是一個瓶頸，可以有效解決網絡模型性能下降的問題，并引導深度學習神經網絡模型更深入的檢測聚丁二烯基橡膠制品缺陷［13］。瓶頸包含3個卷積層：1×1、3×3和1×1，后面分別是“Relu”激活函數，以及“快捷連接”，即跳過一個或多個層，直接將輸入映射到輸出，而不增加額外參數。

2.2 區域提議網絡

在特征融合之后，區域提議網絡（RPN）可以生成區域建議或感興趣的區域（ROI），即缺陷周圍的矩形區域，包括每個建議中的前景（包含缺陷）的概率。改進的RPN是一個全卷積網絡，主要由一個3×3的卷積層和2個同級的1×1的卷積層實現的，用于分類和回歸［14］。將全卷積網絡（3×3卷積層和2個1×1卷積層）附加到特征提取網絡（FEN）輸出的每個特征圖上，然后生成幾個包含每個錨點的缺陷/非缺陷估計概率以及從錨點到區域建議的預測坐標轉換的向量。

2.3 改進ROI區域

改進的RPN輸出的區域建議具有不同的維度，并且最終分類和回歸層的輸入需要相同的大小，因此ROI區域的目的是執行最大檢測最大效率化，將任何建議內的特征轉換為具有固定大小（例如，7×7）的向量。首先，將不同大小的區域方案劃分為大小相等的部分，如7×7；然后，輸出每個部分中的最大值，并且可以獲得固定大小的向量［15］。此外，在進行ROI區域確定操作之前，需要將帶有（x1，y1）和（x2，y2）的區域建議映射到橡膠制品特征圖中。將4個特征圖{P2，P3，P4，P5}輸入到ROI區域中，進一步確定ROI區域范圍。并將寬度（w）和高度（h）（在輸入圖像上）的區域分配給特征圖Pk，如式（1）：

k=4+log2（wh/224）（1）

2.4 網絡訓練

多尺度缺陷檢測網絡是由網絡的結構和卷積層的權重組成。當網絡結構的設計完成后，需要獲得卷積層的最佳權重。網絡訓練是一個實現權重優化并引導網絡預測接近輸入真實性的過程，它由前向傳播和后向傳播組成。前向傳播是按照從輸入到輸出的順序計算和存儲網絡的中間變量（包括輸出）。后向傳播是指計算網絡的損失（輸出與輸入的真實性之差）并利用損失的梯度更新權重的方法［16］。多尺度缺陷檢測網絡的損失來自改進的RPN以及分類和回歸層。在訓練中，損失的選擇是非常重要的。對于分類層和回歸層，改進的RPN是端到端訓練的。因此使用Fast R-CNN中的多任務損失L來訓練改進的RPN：

L（pi，ti）=1Ncls∑Lcls（pi，pi*）+λ1Nreg∑ipi*×Lreg（ti，ti*）（2）

式中：i是一個小批量中的錨點索引，在分類損失中，p*和p分別為聚丁二烯基橡膠制品真實標簽和預測的錨點缺陷的概率。在回歸損失中，ti和ti*分別代表錨點和預測區域建議以及錨點和地面實況框之間的幾何差異的向量，則ti*的計算方法為：

tx*=（Gx－Ax）/Awty*=（Gy－Ay）/Ahtw*=log（Gw/Aw）th*=log（Gh/Ah） （3）

此外，分類損失計算：

Lcls=∑i－p*i×log（pi）－（1－p*i）×log（1－pi）（4）

回歸損失計算：

Lreg=∑ismooth L1（t*i－ti）（smooothL1（x）=0.5x2 ifx<1x－0.5）（5）

此外，本文使用與改進的RPN相同的損失來訓練分類層和回歸層，這也是端到端的訓練。

3 實驗環境設定

在聚丁二烯基橡膠制品表面缺陷的識別研究中，實驗使用Python 3.5，PyTorch作為深度學習庫，cuda 9.1和cudnn 5.1在谷歌云平臺上使用8GB內存的NVIDA Tesla K80圖形處理單元（GPU）進行。在訓練多尺度缺陷檢測網絡時，本文對輸入圖像（分辨率為2 560×1 280）的短邊進行了960倍的縮放，然后通過使其具有固定的平均值和方差對每張圖像進行歸一化。在計算網絡的損失時，在RPN以及分類和回歸層的損失函數中都使用λ=1。此外，網絡的權重通過隨機梯度下降（SGD）進行改進［17］，包括0.001的學習率、0.9的動量和0.000 5的權重衰減。在網絡的訓練中，使用一個批處理規模（批處理指的是輸入圖像的數量）和50個epochs來提高性能（epoch指的是網絡被訓練的數量）。在評估物體檢測網絡的性能時，使用平均精度（AP）進行多尺度缺陷檢測。

4 結果與討論

4.1 網絡模型訓練損失

在網絡訓練的過程中，有必要對訓練數據集的損失進行及時的可視化。并驗證聚丁二烯基橡膠制品表面缺陷檢測是否有效，可以通過損失曲線的趨勢來判斷。此外，損失可以指導網絡中參數的調整，包括訓練歷時、學習率、權重衰減和結構優化［18］。多尺度缺陷檢測網絡的總損失包括RPN中的分類損失和回歸損失，以及分類層和回歸層的分類損失和位置損失。在訓練中，各種損失可以分別用rpn_cls_loss（學習率）、rpn_loc_loss（訓練歷時）、roi_cls_loss（權重衰減）和roi_loc_loss（結構優化）表示。

訓練期間的損失曲線如圖2所示。研究中，網絡在每個epoch中對所有訓練數據集進行訓練，網絡的各種損失每50步記錄一次（一步等于一張圖片），因此所有損失曲線總共有2 700次迭代（一次迭代等于50步）。

如圖2所示，各種損失曲線均呈現下降的趨勢，在訓練的開始階段，損失大幅度下降，說明學習率合適，開始呈梯度下降。其中rpn_loc_loss下降幅度較小，在0～500迭代期間內，損失下降0.4，而roi_cls_loss下降幅度最大，損失下降0.5。且隨著迭代次數增加，在訓練到一定的歷時后，損失曲線趨于穩定，且rpn_cls_loss、rpn_loc_loss、roi_cls_loss、roi_loc_loss最終損失分別穩定在0.08、0.13、0.07、0.1，進一步表明網絡開始收斂。同時網絡損失的下降，可以有效提高聚丁二烯基橡膠制品表面缺陷檢測精度。

4.2 橡膠制品缺陷檢測

為進一步評估深度學習網絡模型的檢測效果，對聚丁二烯基橡膠制品常見的劃痕、裂紋、氣泡、凹坑等缺陷進行識別檢測。并統計每個缺陷類別的評估指標。由表1可知，除了氣泡缺陷外，所有其他缺陷的準確率都可以保持在0.98～1.00，召回率在0.99～1.00，F1分數在0.998～1.00。氣泡缺陷由于其缺陷目標小，聚丁二烯基橡膠制品有時具有致密的氣孔，因此精度低于其他類型的缺陷。而研究所建立的檢測模型對橡膠制品凹坑檢測準確率較高，且召回率及F1分數均達到最高（1.00）。因此建立的深度學習網絡模型可用于實際橡膠制品缺陷檢測。

4.3 檢測精度和檢測速度

為了驗證Faster R-CNN網絡模型加入FPN的特征融合思想有效性，將本文設計的缺陷檢測網絡模型與YOLO v3、YOLO v5、原始Faster R-CNN和SSD網絡模型在表面缺陷數據上的訓練結果進行了對比，對比結果如表2所示。

不同的網絡模型對聚丁二烯基橡膠制品嚴重缺陷有較好的檢測效果，但對中等缺陷，特別是輕微缺陷的檢測精度卻明顯下降。改進的Faster R-CNN網絡模型對三種不同類型的表面缺陷的平均精度為92.7%，改進的Faster R-CNN的平均精度從83.1%提高到92.7%，對嚴重缺陷的平均精度為3.4%，對中等缺陷的平均精度為6.9%，對輕微缺陷的平均精度為18.5%。顯然，改進后的Faster R-CNN網絡模型能夠更明顯地提高深度較淺橡膠制品小缺陷的檢測性能。此外，在檢測速度方面，在保證同一檢測設備的條件下，連續檢測缺陷樣本圖像，以每秒幀數（FPS）衡量檢測速度。其中，YOLO v3模型的檢測速度為27幀/s，YOLO v5模型的檢測速度為37幀/s，Faster R-CNN模型的檢測速度為17幀/s，SSD模型的檢測速度為35幀/s，而改進的Faster R-CNN模型的檢測速度為15幀/s。本文設計的檢測算法對聚丁二烯基橡膠制品圖像的檢測時間約為0.5秒，檢測效率遠高于目前的人工檢測方法，可以滿足企業實際生產環境中對橡膠制品表面缺陷的在線檢測速度要求［19-20］。

4.4 網絡模型精度及損失

由上述試驗分析可知，改進后的Faster R-CNN算法在檢測速度及準確率等指標方面上較為良好。為研究所建立網絡模型的精度及損失，使用相同的數據集分別在Faster R-CNN和改進Faster R-CNN中進行實驗，然后比較實驗中產生的精度數據和損失數據。如圖3（a）所示，Faster R-CNN在每次訓練的迭代次數后計算出的精度平均值，有先下降后緩慢攀升的趨勢，在后半段的數值不穩定。而改進Faster R-CNN則是一開始精度不穩定，然后慢慢爬升并穩定下來。如圖3（b）所示，Faster R-CNN的總損失在50～100個歷時之間趨于穩定，然后有3個相對較大的波峰。由于Faster R-CNN使用Adam優化器，它可以比SGD（隨機梯度下降法）更快地收斂。而改進Faster R-CNN的初始總損失相對較小，在100～150個歷時之間趨于穩定，在80個歷時左右有一個小峰值。綜上所述，與Faster R-CNN相比，改進Faster R-CNN在精度和總損失方面的收斂速度和收斂后的穩定性都比Faster R-CNN好。

5 結語

在聚丁二烯基橡膠制品缺陷檢測領域，深度學習方法比傳統的計算機視覺方法更具優勢。深度學習神經網絡模型不需要手動提取圖像特征，可以實現端到端的輸入檢測。將Faster R-CNN中加入了FPN的特征融合思想以提高缺陷檢測性能，并應用于聚丁二烯基橡膠制品缺陷檢測領域，其平均精度可以達到92.7%，且改進的Faster R-CNN模型的檢測速度為15幀/s，可以快速檢測橡膠制品缺陷。

【參考文獻】

［1］ 張濤，謝探陽，李玉梅，等.基于改進YOLOv4算法的玻璃杯缺陷識別方法研究［J］.電子測量技術，2023，46（2）：46-51.

［2］ 魏彬，李璐.基于圖像增強技術的皮革制品表面缺陷自動檢測研究［J］.中國皮革，2022，51（12）：159-162.

［3］ 張東嶺.基于圖像處理的機械材料缺陷檢測技術研究［J］.粘接，2022，49（6）：39-43.

［4］ 問尋.實驗用玻璃器皿缺陷檢測研究［J］.粘接，2021，47（8）：54-57.

［5］ 閻昊，劉奕陽.基于深度森林的人機協同工業制品表面缺陷識別［J］.計算機系統應用，2022，31（12）：280-286.

［6］ 孟雨涵，沈天成，譚立，等.基于深度學習的注塑制品微缺陷快速智能檢測方法初探［J］.價值工程，2022，41（20）：111-113.

［7］ 樓豪杰，鄭元林，廖開陽，等.基于Siamese-YOLOv4的印刷品缺陷目標檢測［J］.計算機應用，2021，41（11）：3206-3212.

［8］ 張立新.基于表面缺陷檢測的金屬圖像識別［J］.粘接，2019，40（8）：121-123.

［9］ 湯光恒，鄧海波，湯大昶.基于計算機視覺塑料成型缺陷多維檢測的研究［J］.塑料科技，2020，48（7）：48-51.

［10］ 盧榮勝，吳昂，張騰達，等.自動光學（視覺）檢測技術及其在缺陷檢測中的應用綜述［J］.光學學報，2018，38（8）：23-58.

［11］ 王鵬，呂家龍，李志浩，等.大厚度金屬增強橡膠復合材料的無損檢測試驗研究［J］.材料開發與應用，2018，33（3）：56-61.

［12］ 慕秀成.基于數學模型的金屬激光粘接缺陷檢測方法［J］.粘接，2019，40（12）：111-114.

［13］ 王雅琳，鄒江楓，王凱，等.基于本體引導的注塑知識圖譜構建及缺陷溯因應用［J］.電子與信息學報，2022，44（5）：1521-1529.

［14］ 劉坤鵬.輪胎缺陷實時監測系統的設計與實現［D］.濟南：山東大學，2022.

［15］ 劉漢舉.一種基于機器視覺和深度殘差收縮網絡的智能制造缺陷檢測方法［J］.中國科技論文，2023，18（4）：462-468.

［16］ 楊珂浩，于龍，高仕斌，等.基于無監督知識蒸餾的高鐵絕緣子缺陷檢測算法［J］.電氣化鐵道，2023，34（1）：9-14.

［17］ 譚立志.基于卷積神經網絡的火花塞表面缺陷檢測研究［J］.自動化與儀表，2023，38（1）：64-69.

［18］ 蔣美仙，鄭碧佩，鄭佳美，等.基于Deeplab-V3的焊縫缺陷檢測應用研究［J］.浙江工業大學學報，2021，49（4）：416-422.

［19］ 張翠，楊志清，周茂杰.基于雙通道卷積神經網絡的缺陷檢測［J］.模具工業，2020，46（11）：13-17.

［20］ 邢羽琪，唐軼，馬學玉.竹纖維改性合成混凝材料表面缺陷檢測技術優化［J］.粘接，2023，50（2）：129-133.