YOLOv3 Tiny算法在卷煙爆珠氣泡缺陷檢測中的應用

遵義醫科大學 陳錦秋 左安康

“爆珠”是指嵌在卷煙過濾嘴內的一顆液體小膠珠，它包裹了不同類型香料的液體，如果吸煙者在吸煙過程中將其捏爆，珠內液體流出，將會使得香煙的口感更豐富、香潤。在卷煙爆珠的生產過程中，由于設備和工藝的影響，可能會生產出有著氣泡、連體、帶帽、過大過小等缺陷的不良品。為使得卷煙爆珠滿足質量要求，需要進行缺陷檢測，挑選出質量不合格的爆珠，缺陷檢測是卷煙爆珠制造過程中一個必不可少的環節。

針對卷煙爆珠的“氣泡”缺陷，本文利用爆珠工業生產過程中采集的爆珠圖像數據集，構建基于YOLOv3 Tiny算法的缺陷檢測模型，用于卷煙爆珠生產過程中的氣泡缺陷檢測。

1 卷煙爆珠缺陷檢測系統

實現卷煙爆珠缺陷檢測需要建立一套計算機視覺處理系統，系統由吸附桿、工業相機、圖像處理單元以及電控系統組成。具體的實現流程為：首先將爆珠吸附于吸附桿上，然后由工業相機對吸附桿上的爆珠進行拍照，并將拍到的照片傳輸到圖像處理單元，圖像處理單元對爆珠照片進行分析，識別出不符合常規形狀、顏色、大小的不良品，最后將信號傳遞給電控系統，通過高速脈沖電磁閥剔除不合格產品。圖像處理單元是缺陷檢測系統的核心，缺陷檢測算法的識別率影響著最后分揀效果的好壞。

2 缺陷檢測算法

2.1 算法的選擇

傳統的人工缺陷檢測方法存在效率低、成本高、主觀性強等缺點，并且容易出現誤檢、漏檢等情況。將圖像處理、模式識別等機器視覺技術應用到工業產品的缺陷檢測上，是工業自動化的趨勢。相比于傳統的機器視覺方法，深度學習可以減少手動提取特征對識別精確度的影響，具有檢測速度快、精確度高等特點，現已逐漸被應用于工業品缺陷檢測。

深度學習中用于目標檢測的算法大致可分為兩類：一類是基于候選區域的目標檢測算法，如R-CNN、Fast R-CNN、Faster R-CNN等；另一類是基于回歸的目標檢測算法，如SSD、YOLO等。基于候選區域的目標檢測算法由區域提取和目標分類兩步構成，首先需要將輸入圖像分割為多個候選區域，然后分別將每個候選區域送入神經網絡進行分類，這種方法雖然檢測精度較高，但是存在訓練步驟復雜，檢測速度較慢等問題。基于回歸的目標檢測算法去掉了產生候選區域這一步驟，將物體定位和目標分類問題轉化為回歸問題，將兩個步驟合二為一，實現了端到端的訓練，簡化了訓練過程，大大提高了檢測速度。為了快速精準地分揀出帶有“氣泡”缺陷的爆珠，本文選擇YOLOv3 Tiny算法來構建氣泡缺陷檢測模型。

2.2 YOLOv3 Tiny算法

YOLOv3 Tiny算法的模型主要由13層卷積層和6層最大池化層構成，采用的歸一化方法為Batch Normalization，激活函數為LReLU函數。模型的網絡結構如圖1所示。

圖1 YOLOv3 Tiny網絡結構

在YOLOv3 Tiny的網絡結構圖中，Conv表示卷積層，Pool表示池化操作層，Upsample表示上采樣操作，Concat表示張量拼接操作。上采樣操作會擴大特征圖的尺寸，張量拼接操作是在特征圖的通道維度上進行連接。YOLOv3 Tiny模型利用2種不同尺寸的特征圖進行目標檢測，分別對輸入圖像的32倍降采樣特征圖和16倍降采樣特征圖進行目標檢測。

3 氣泡缺陷檢測模型構建

3.1 實驗數據

本實驗的數據來源于某煙草企業，卷煙爆珠的直徑在2mm-5mm范圍內，通過工業相機對爆珠進行拍照，采集到100張爆珠圖像，圖像的分辨率為1600×1200，為減少模型的計算量，將原始數據分割為416×416的圖像塊作為實驗數據，并使數據量由100張擴充到200張。

爆珠圖像中包括了正常和缺陷兩類爆珠，本實驗構建的模型只針對爆珠的“氣泡”缺陷。如圖2所示，一個吸附桿上有5個爆珠，用紅框標注的爆珠為有“氣泡”缺陷的樣本，其余的爆珠為正常樣本。

圖2 樣本數據(一)

每張樣本圖像中都有5個爆珠，圖像中的爆珠存在著兩種情況：

（1）圖像中沒有缺陷爆珠，如圖3所示，圖像中的爆珠全為正常爆珠。

圖3 樣本數據(二)

（2）圖像中有一個或多個缺陷爆珠，如圖4所示，5個爆珠中有4個爆珠為“氣泡”缺陷。

圖4 樣本數據(三)

通過觀察發現，“氣泡”缺陷爆珠有明顯的紋理特征，在視覺上表現為黑色的“圓圈”，根據這一特征，我們利用標注工具LabelImg，對圖像數據進行人工標注，以“defect”代表缺陷爆珠，實驗數據集有200張圖像數據，共標注了303個缺陷目標。

我們按照7:3的比例將實驗數據集劃分為訓練集和測試集。訓練集和測試集中正常爆珠和缺陷爆珠的數量如表1所示，訓練集中包含140張圖像數據，共有480個正常爆珠和220個缺陷爆珠；測試集中包含60張圖像數據，共有217個正常爆珠和83個缺陷爆珠。

表1 正常爆珠和缺陷爆珠的數量

3.2 模型訓練

本文基于Tensorflow框架訓練YOLOv3 Tiny模型，具體的實驗環境為：Cuda9.0加速，Nvidia GeForce GTX 1660Ti顯卡，顯卡內存為6G，CPU內存為16G，操作系統為CentOS7。

實驗中的超參數設置如表2所示，根據模型的參數量和實驗平臺硬件資源情況，將批次大小設置為6；基于模型訓練的調參經驗，將學習率設置為0.001，訓練迭代次數設置為100。

表2 超參數

模型在訓練100次后，損失趨于平穩，本實驗用模型訓練100次時的權重進行目標檢測。

將測試數據集的圖像輸入模型，模型在圖像中畫出預測框，并預測出目標類別和類別的置信度。將如圖5所示的樣本數據輸入模型進行檢測，得到的檢測結果如圖6所示。模型在輸入樣本中檢測出3個有“氣泡”缺陷的目標，在圖像上分別用3個預測框標注，“氣泡”缺陷目標的置信度分別為0.9、0.99、1。

圖5 輸入樣本

圖6 檢測結果

3.3 模型性能評估

為了評估模型的檢測性能，我們選取準確率（Accuracy）、精確率（Precision）、誤檢率（FPR）、漏檢率（FNR）以及平均檢測時間（Time）作為評價指標，計算公式如(1)-(5)所示。

其中，TP表示測試樣本中被模型正確檢測出的缺陷爆珠個數，FN表示測試樣本中沒有被檢測出的缺陷爆珠個數，FP表示測試樣本中被誤檢出的缺陷爆珠個數，TN表示測試樣本中沒有被誤檢成缺陷爆珠的正常爆珠個數。分別表示模型在第k個樣本上開始檢測和結束檢測的時間，n表示樣本數量。

本實驗中，我們將置信度的閾值設為0.7，即當預測框的置信度超過0.7則為正確識別，不高于0.7則為錯誤識別。在測試數據集上進行試驗，模型的檢測結果如表3所示。

表3 模型檢測結果

根據公式(1)-(5)得出模型的性能評估，如表4所示。

表4 模型性能評估

模型的準確率為97.36%，精確率為94.94%，誤檢率為1.79%，漏檢率為5.06%，平均檢測時間為45.31ms。從模型性能評估結果中可以看出，對于檢測卷煙爆珠“氣泡”缺陷，模型的準確率和精確率較高，誤檢率和漏檢率較低，并且平均檢測時間較少，達到了預期的檢測效果。