基于輕量級YOLOv3 的拉鏈缺陷檢測系統設計與實現

許志鵬，桑慶兵

（江南大學物聯網工程學院，江蘇省模式識別與計算智能工程實驗室，無錫214122）

0 引言

傳統的拉鏈缺陷檢測以人工的方式進行，存在效率低、誤檢率、漏檢率高等問題，隨著機器視覺以及模式識別技術的發展，各種目標檢測的算法相繼被提出，也不斷地被應用到拉鏈缺陷檢測的工程中來。文獻[1]將采集到的拉鏈的圖片進行二值化、分割、投影、邊緣檢測等處理分析圖像來判斷拉鏈是否有缺陷，文獻[2]將圖像傳感器實時采集到的拉鏈產品的灰度圖像數據讀取到計算機中，設計圖像濾波器，提取拉鏈頭和上止等部件的特征信息，建立相應的外觀質量診斷模型，利用該模型對拉鏈的各個組成部分進行識別。文獻[3]分別提出了模板匹配，基于一維灰度投影，基于神經網絡模式識別的檢測原理。這些方法雖然都能夠實現拉鏈工業檢測過程中的自動化檢測，但都有其局限性，無法實現真正端到端的檢測，且流程復雜繁瑣。

隨著深度學習技術的不斷發展和成熟，在目標檢測領域基于深度學習的方法遠遠超過了傳統的檢測方法。深度學習算法通過大量訓練數據來學習更強大的模型，并使用巧妙的訓練技術來不斷的提高算法的準確性，文獻[14]提出了基于YOLOv3 的目標檢測的方法，該方法具有速度快、識別精度高等優點，要保持YOLOv3 的精度和速度，同時提高YOLOv3 模型在計算資源受限設備上的運行效率，本文提出用MobileNetV3來代替傳統的DarkNet53 特征提取網絡的設計思想。

本文的實驗對象為尼龍注塑拉鏈其結構如圖1 所示，分別對拉鏈的拉頭鎖、牙、上止和下止等重要部件進行特征提取，提升識別率和效率，根據處理平臺的硬件要求，搭建基于YOLOv3 的缺陷檢測系統，大大提高硬件處理的速度，滿足工業生產的要求。

圖1 拉鏈結構

1 拉鏈缺陷檢測系統設計

在本文的設計中，使用攝像頭來將拉鏈的圖片進行采集，將收集到的待檢測的拉鏈圖片送入軟件系統中，然后再由后臺的缺陷檢測算法對收集到的拉鏈的圖像進行端到端的缺陷檢測，最后將檢測的結果返回到客戶端程序中來。缺陷檢測系統的實驗工作原理如圖2 所示。

圖2 拉鏈缺陷檢測實驗工作原理圖

2 拉鏈缺陷檢測系統組成

拉鏈缺陷檢測系統主要包括三個部分：硬件模塊、軟件模塊、檢測算法模塊。其中硬件部分主要包括相機、嵌入式設備，軟件部分包括：圖像獲取程序、缺陷檢測程序、缺陷管理程序，算法部分為改進后的輕量級的YOLOv3 目標檢測算法。

2.1 硬件選擇

硬件模塊的設計主要根據拉鏈缺陷檢測系統的要求以及被測物體的實際需求選擇合適的CCD 相機和鏡頭。其中所涉及到的參數包括鏡頭的焦距，視場大小，工作距離等。

其計算公式為：

其中Lf為焦距，d為工作距離，l為CCD 相機的寬度或者是高度，fov為視野范圍的寬度或者是高度。

首先確定的d工作距離即從鏡頭前部到受檢測物體的距離，根據實際測量的需要，本文設置的工作距離為1500mm，然后確定fov視野范圍，指觀測物體的可視范圍，根據本次實驗拉鏈的大小確定視野范圍為800mm×800mm。最后確定相機的規格，實驗過程中采用 的 CCD 相 機 為 SONY XCG- SX99E，像 素 為1360mm×1024mm，2/3 英寸，相機靶面尺寸為8.8mm×9.6mm，確定了參數后得出相機鏡頭的焦距Lf，在實際應用中有寬度焦距和高度焦距之分，根據上述的公式得出寬焦距Lfw和高焦距Lfh，分別為：

在實際應用中一般取較小的值作為鏡頭焦距，為此，選定鏡頭焦距為16mm。綜合考慮本文選擇PO?MEAS VP-L E-1616M 工業鏡頭。

另外還需要考慮的是實驗平臺，該系統面向邊緣化、小型化設備，因此本文以樹莓派3B+作為實驗平臺。

綜合以上因素，本文實驗所需的主要設備及其參數如表1 所示。

表1 主要設備及其參數

2.2 軟件系統的設計與實現

系統的軟件部分主要需要實現三大功能：圖像獲取、缺陷檢測、缺陷管理，主要依靠圖形化界面來實現對軟件程序的管理功能，包括系統的登錄和退出、攝像頭的打開和關閉，暫停檢測，保存缺陷圖片等，為了提高攝像頭捕獲到的圖像的質量，在系統中增加了提高拉鏈圖像亮度和對比度的功能，拉鏈缺陷檢測模塊主要依靠后臺的目標檢測算法來實現圖像的缺陷的檢測、分類和定位，而缺陷管理模塊主要實現的是對檢測出拉鏈缺陷的保存、以及查詢缺陷的檢測記錄等功能，在軟件系統的設計中本文采用Python+OpenCV 組合，其中系統界面設計通過PYQT5 來設計實現，當選擇打開軟件系統中打開相機即可直接獲取到CCD 相機收集到的拉鏈圖像，確定檢測后，經過后臺檢測算法的處理、檢測、分類和定位后，軟件系統便會接收返回的數據信息，包括缺陷的種類、編號、置信度以及缺陷的坐標等。最終的拉鏈檢測系統總體結構示意圖如圖3 所示，后續需要完成的工作就是缺陷檢測算法的設計與實現工作。

圖3 拉鏈檢測系統總體結構示意圖

2.3 基于輕量級YOLOv3算法的設計與實現

（1）目標檢測算法簡介

YOLO 算法是one-stage 方法的開山之作，它將檢測任務表述成一個統一的、端到端的回歸問題，將輸入圖像按照模型的輸出網格進行劃分，劃分之后就有很多的小cell，我們再看圖片中物體的中心是落在哪個cell 里面，落在哪個cell 里面哪個cell 就負責預測這個物體，在訓練階段如果物體中心落在這個cell，那么就給這個cell 打上這個物體的label（包括xywh 和類別）。也就是說我們是通過這種方式來設置訓練的la?bel 的，在測試階段就利用之前在訓練階段已經訓練好cell 去預測中心落在該cell 中的物體，這就是YOLO 算法最核心的思想。為了滿足目標檢測實時性以及對大小缺陷目標的多尺度檢測的要求，綜合以上算法的優缺點，本文提出基于YOLOv3 的目標提取方法。YO?LOv3 的改進之處在于借鑒了殘差網絡結構，形成更深的網絡層次，以及多尺度檢測，提升了mAP 及小物體檢測效果。

（2）MobileNetV3 網絡結構設計

為了實現拉鏈缺陷檢測模型輕量化、小型化，本文利用MobileNetV3 作為YOLOv3 的backbend 特征提取網絡，MobileNet 系列是專注在移動設備上的輕量級神經網絡，MobileNetV3 是谷歌2019 年公布的新一代輕量級深度卷積神經網絡，繼承自MobileNetV1 和Mo?bileNetV2，且又引入了新的特性。

在MobileNetV1 中，利用深度可分離卷積代替了傳統卷積，有效地降低了網絡參數和計算量。深度可分離卷積操作分為深度卷積和逐點卷積。對于通道數為3，輸入尺寸為3×3 的特征圖，先對每個通道單獨卷積，然后在使用1×1 卷積核變換通道數為N，MobileNetV1中使用3×3 的深度可分離卷積相較于普通標準卷積少了8 到9 倍的計算量，其基本結構如圖4 所示。

圖4 深度可分離卷積計算

MobileNetV2 中引入了具有線性瓶頸的逆殘差結構，該思想借鑒了ResNet 的設計方案，只是這種逆殘差結構不同于傳統的殘差結構的是，傳統的殘差結構是先降維然后再卷積最后再升維，而逆殘差結構是先升維然后再卷積，最后再降維，這么做將特征提取能夠在高維空間中進行，其結構如圖5 所示。除此之外，該結構還采用了Linear Bottleneck 的設計思想，ReLu6 激活函數在高維空間中能有效地增加非線性，而再低維空間中則會破壞特征，不如線性的效果好，因此再一次降維之后便不再使用ReLu6。其結構如圖6 所示。

圖5 逆殘差結構

圖6 線性瓶頸結構

MobileNetV3 的內部結構繼承于原有的網絡結構，又根據MnasNet 模型引入的基于squeeze and excitation結構的輕量級注意力模型，該模型結構考慮通道之間的關系，以此來提升網絡性能，能夠顯式地建立特征通道之間地相互依賴關系，通過學習的方式來獲得每個特征通道之間的重要程度，按照這個重要程度來提升有用的特征的權重并抑制對當前任務用處不大的特征。同時MobileNetV3 提出了能有效提高網絡精度的非線性h-swish 激活函數

隨著網絡的深入，應用非線性激活函數的成本會降低，能夠更好地減少參數量，因此在MobileNetV3 的架構中，只在模型的后半部分使用h-swish(HS)，除此之外，還在MobileNetV3 的預測部分進行了改進，Mobile?NetV2 網絡在豐富特征的同時也引入了二外的計算開銷與延時，而改進后的MobileNetV3 則是使用Avg-Pooling 代替計算量大的部分，在降低計算量的同時不會造成精度上的損失。MobileNetV3 的block 結構如圖7 所示。

圖7 MobileNetV3的block結構

（3）YOLOv3-MobileNetV3 網絡結構圖

MobileNetV3 的網絡結構中多個含有卷積層的塊（MobileBlock）的網絡結構，SE 是Squeeze-and-Excite結構，壓縮和激發；NL 是Non-Linearity，非線性；HS 是h-swish 激活函數；RE 是ReLU 激活函數；bneck 是bot?tleneck layers，瓶頸層；exp size:expasion factor，膨脹參數，每一行都是一個MobileBlock，即bneck。其中SE結構和激活函數是可選操作。

如圖8 所示，本文去掉了MobileNetV3 中的最后幾層網絡，只保留前面所有包含卷積層的塊（Mobile?Block），用以替換YOLOv3 中原有的DarkNet-53 網絡，在訓練時，網絡接收416 像素×416 像素分辨率的圖像，本文提取第73 層（52 像素×52 像素）、135 層（26 像素×26 像素），以及最后一層（13 像素×13 像素）的特征圖來完成檢測任務。13 像素×13 像素的特征圖通過1×1 卷積，3×3 卷積變換通道數，輸出第1 個預測結果，同時將預測的結果上采樣至38 像素×38 像素與第135 層的輸出結果融合，在經過變換通道數，輸出第2 個結果。同理，得到第3 個預測結果，將3 個結果拼接起來，作為最終的預測結果，YOLOv3 基于多尺度預測的思想，在缺陷檢測的過程中能夠獲取到更豐富的語義信息和更細粒度的特征信息。

圖8 MobileNetV3網絡結構圖

3 實驗和系統演示

3.1 實驗結果及分析

（1）實驗數據集

拉鏈缺陷檢測進行所采用的卷積神經網絡屬于深度學習模型，其數據樣本的規模對識別結果有一定影響。本系統的實驗對象是拉鏈，目前，零件表面缺陷圖像并沒有像ImageNet、MNIST 手寫字體識別等項目一樣建立公共的圖像庫，所以本文使用的數據均為國內某工廠實際生產線采集所得，使用CCD 相機對生產后的拉鏈表面進行拍照收集到的圖片，本文利用數據增強的方法對收集到的圖片進行了擴充，按照VOC 數據集的格式通過標注制作出了自己的數據集，該數據集經過整理后分為訓練集4200 張，測試集1800 張。拉鏈數據集包括拉頭沒有LOGO、沒有下止、有遮擋物、下止損壞、沒有上止、拉頭損壞、鏈齒之間空隙大、貼布損壞等8 種常見缺損。

在YOLOv3 的算法中輸入圖片的大小為416×416，而拉鏈圖片的大小為2048×800，因此，需要對圖片大小進行轉化，如果將圖片直接轉化成算法輸入的大小416×416，會破壞原來的RGB 結構，因此，要對圖片進行預處理，將原圖按照縱橫比例縮放至416×416 的，取Min這個比例來縮放，其中img_w表示圖像的寬度，img_h表示圖像的高度，保證長的邊縮為需要的輸入尺寸416，而短邊按比例縮放不會扭曲，剩下的用白色區域填充即可構造為416×416 大小，這樣輸入拉鏈圖像的尺度信息在訓練的過程中不會被壓縮。

（2）評價指標

深度學習目標檢測中常用的評價指標精確率（P%）表示經過深度學習檢測出來的結果中檢測正確的比率，召回率（R%）表示經過深度學習檢測出來的結果中被檢測為正確的比率，可以表示為：

其中，TP 為檢測到的正樣本的數量，FP 為檢測到的負樣本的數量，FP 為負樣本檢測為正樣本的數量，FP 為正樣本檢測為負樣本的數量，AP（Average Preci?sion）Precision-recall 曲線在查準率對召回率的積分表示，mAP（mean Average Precision）表示多類物體的平均AP 值，能更好地代表模型對目標物體地檢測性能。

（3）性能對比

通過YOLOv3 傳統的特征提取網絡，和分別以MobileNet 三種不同的版本進行缺陷檢測的對比實驗，得到實驗結果如表2 所示。

表2 YOLOv3 不同網絡結構性能對比

相對于YOLOv3 傳統的特征提取網絡DarkNet53、MobileNetV1 采用了深度可分離卷積的操作，大大地減少了網絡模型的計算量，但是mAP 的維持情況比較穩定。而MobileNetV2 模型中使用反向殘差結構，利用1×1 卷積將feature map 恢復到了高維空間，雖然豐富了特征，但是卻帶來了額外的計算開銷和延遲，因此，MobileNetV2 相對于V1 來說增加了網絡的計算量。而MobileNetV3 在保留高維特征的前提下通過將平均池化層前的層移除并用1×1 卷積來計算特征圖的方式來減少延時，并通過選擇不同的激活函數和較少卷積核的個數的方式降低了模型的冗余，在實現的過程中將模型自動搜索方法和新穎架構設計有機結合了起來，在精度和速度上進行了很好的平衡，更適合在移動端CPU 運行，因此MobileNetV3 在實現mAP 提高的基礎上，保證了模型復雜度的降低，實現了在計算資源緊張的設備上對計算資源的高效利用。

表3 不同的網絡模型的性能對比

SSD 算法使用卷積層組成的模塊來提取不同尺度的特征，融合后來進行類別和目標框的預測，YOLOv3因為引入了特征金字塔預測結構，同時YOLOv3 的檢測層由三級的feature map 融合，而SSD 算法則是簡單地拼接尺度向量，因此，YOLOv3 相對于SSD 可以取得更高的mAP，同時YOLOv3 在拉鏈的缺陷進入網格內時，才進行的預測，因此可以取得26.8 frame/s 的速度，完全可以滿足檢測過程中實時性的要求。

部分檢測結果如圖。

圖9 拉鏈及部分拉鏈缺陷檢測結果

3.2 系統界面及操作演示

打開客戶端軟件程序，相機客戶端的內置算法便可以對相機接收到的圖片進行實時檢測，并能夠將檢測的結果在系統中進行顯示，同時缺陷的信息，缺陷的類別、置信度、坐標，也同樣會顯示出來，當檢測到有缺陷的拉鏈時，可以暫停檢測操作，同時將檢測的圖像進行保存。缺陷檢測系統的主界面如圖10 所示。

圖10 拉鏈缺陷檢測系統主界面

4 結語

基于目前拉鏈缺陷檢測行業的發展現狀，本文提出了一種基于輕量級YOLOv3 網絡的拉鏈缺陷檢測方法。以MobileNetV3 為基礎網絡提取深度特征，利用YOLOv3 架構檢測拉鏈及缺陷的位置，和傳統的機器視覺的方法比，該算法不僅保證了較高的精確度和實時檢測的速度，而且能夠實現端到端的檢測，更便捷，更智能，也更加容易應用到生產場景中，除此之外在算法基礎上設計開發了拉鏈缺陷檢測的硬件系統和軟件系統，并成功地在樹莓派這種計算資源緊張的設備上運行，讓拉鏈檢測設備的小型化、便捷化、可移動化成為可能。