基于YOLOv5的工具表面缺陷檢測系統

焦俊祥，金若男，李慧姝，方 武

（蘇州經貿職業技術學院信息技術學院，蘇州 215009）

0 引言

目前，已有學者開展了工具表面缺陷檢測的相關研究，研究中針對不同的應用場景使用了不同的技術，例如：磁粉探傷、滲透探傷、渦流檢測、超聲波檢測和基于深度學習算法的機器視覺等技術。近年來，隨著深度學習各種算法的發展，很多新的目標檢測模型被提出，其中一些模型由于獨特的設計和出色的性能被廣泛應用在各個領域，例如Faster R-CNN 算法、R-FCN 算法和SSD 算法等，但這些算法的性能提升主要依賴于大型數據集和前期樣本標注，對于工具表面的缺陷識別不太友好。本文使用的是基于深度學習的機器視覺方法，該方法在工業應用中包括三個主要環節:數據標注、模型訓練與模型推斷，使用的算法為YOLOv5網絡算法，YOLOv5單階段目標檢測算法，該算法的優勢主要有兩點：①在輸入端完成了數據增強，因此對訓練數據集的要求不會太過苛刻；②該算法模型在硬件上部署方便，對于表面缺陷檢測有較強的適應性與實用性。通過使用公開的數據集NEU-DET 數據集與YOLOv5 訓練出來的模型，可以準確識別表面的各種缺陷，如劃痕、凹坑等，如圖1所示，該實驗結果充分證明了基于深度學習的缺陷檢測方法在工業中的可行性。

圖1 使用NEU-DET數據集和YOLOv5網絡算法對工具表面缺陷進行識別

1 研究進展

目前，國內針對不同場景下的表面缺陷檢測的方法有許多種，例如：王攀峰等［1］提出的Q355B鋼板截面磁粉探傷；王赫等［2］通過熒光滲透探傷測量裂紋長度；周慶祥等［3］使用以常規渦流檢測為基礎的多通道渦流檢測技術，該技術憑借檢測靈敏度高、檢測范圍大等優勢廣泛應用于金屬構件的檢測；孫賀斌等［4］通過超聲波檢測結合鋁合金焊縫聲學特征驗證了超聲波檢測技術在鋁合金焊縫缺陷方面的實用價值；崔國寧等［5］通過卷積神經網絡使用機器視覺技術實現了對輸油管道缺陷尺寸的智能識別；路生亮等［6］通過改進 Faster R-CNN 算法，解決了對熱軋鋼板表面小目標識別精度差的問題，使其檢測速度與識別精度有了很好的提升；耿朝暉等［7］改進Faster R-CNN 算法，提高了PCB板缺陷檢測的效率，在增強后的數據集上面取得了96.65% 的 mAP 值；楚雅璐等［8］改進 SSD 算法，解決了因形變引起的服裝圖像識別準確率低的問題，與原SSD 模型相比其平均預測精度mAP值提升可達3.63%；楊耀［9］認為可以采用機器視覺技術來完成裂紋磁痕判別,通過改進Mobile Net V3 模型實現對裂紋磁痕的識別，查全率96.5%，查準率91.7%，平均單圖識別速度1.7 s；易文淵［10］使用一種改進的Canny 邊緣檢測算法來提取缺陷圖像，并設計了一種基于UNET 和ResNet 的二階段深度學習網絡算法來檢測軸承部件外壁缺陷；葛釗明等［11］改進YOLOv5 的特征檢測算法，引入卷積注意力模塊并改進了損失函數,在檢測速度不變的情況下，改進后的模型在測試集上的mAP 提高了1.2%，召回率提高1.5%；李衍照等［12］提出一種Mosaic+Mixup的數據集增強方法，引入輕量型的GhostNet 網絡代替YOLOv5主干網絡中CSP1模塊中的殘差模塊，改進的YOLOv5的平均精度均值（mAP）達到96.88%，單張圖片檢測時間不超過50 毫秒。高慧芳等［13］提出一種基于DCGAN 與YOLOv5s的缺陷識別方法，設計了深度卷積生成對抗網絡（DCGAN）擴充缺陷數據集，并優化了YOLOv5s 網絡的C3 模塊，優化后YOLOv5s 算法的mAP 值、精確率、召回率分別提高到85.4%、85.2%、83%。

2 YOLOv5

2.1 數據集

YOLOv5的數據集包含有六種典型工具的表面缺陷，如圖2 所示，即軋制氧化皮（RS）、斑塊（Pa）、開裂（Cr）、點蝕表面（PS）、內含物（In）和劃痕（Sc）。該數據庫包括1800 個灰度圖像：六種不同類型的典型工具表面缺陷，每一類缺陷包含300個樣本。對于缺陷檢測任務，數據集包含了注釋，指示每個圖像中缺陷的類別和位置。如圖3所示，對于每個缺陷，黃色框是指示其位置的邊框，綠色標簽是類別分數。

圖2 數據集中的六種典型工具表面缺陷

圖3 數據集對六種典型缺陷的標注

2.2 YYOOLLOOvv5單階段目標檢測算法

現階段目標識別的主流算法有：R-CNN、YOLO、SDD 等，其中YOLO 算法主要應用于快速目標檢測，如自動駕駛、無人車等這類需要快速對所獲得的圖像和視頻進行識別并且反饋，以供控制系統做出迅速響應的場景。YOLO采用一步到位的方式，即輸入整個圖片，直接輸出為目標識別的區域和目標類型。為了降低訓練好的預測模型在硬件上的部署難度，并且考慮實際應用中環境因素的多樣性，這里采用了YOLOv5 算法，使用的預訓練模型為由YOLOv5官方提供的 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，這四種網絡結構在COCO數據集下的性能各有優劣：YOLOv5s 網絡最小，速度最快，AP 精度也最低。另外三種網絡算法比YOLOv5s網絡結構復雜，AP 精度提升，但計算速度也越來越慢，如圖4所示。

圖4 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5m預訓練模型在COCO數據集的性能表現

YOLOv5的網絡結構主要分為四個部分：輸入端、Backbone（主干網絡）、Neck 網絡和Prediction（輸出端）。

（1）YOLOv5 在輸入端進行了Mosaic 數據增強、自適應錨框計算、自適應圖片縮放。

（2）YOLOv5 在 Backbone 里面有兩個結構，分別為Focus 結構與CSP 結構，其中Focus 里最重要的是切片操作，而CSP 結構相較于YOLOv4版本主要是設計了兩種CSP 結構，以YOLOv5s網絡為例，CSP1_X 結構應用于Backbone 主干網絡，另一種CSP2_X結構則應用于Neck中。

（3）YOLOv5 在 Neck 里采用了 FPN+PAN 結構，相較于YOLOv4 的Neck 中采用的都是普通的卷積操作，YOLOv5 的Neck 結構中采用借鑒CSPNet設計的CSP2_X結構，加強網絡特征融合的能力。

（4）YOLOv5 在Prediction（輸出端）進行的操作有：Bounding box 損失函數、nms 非極大值抑制。其中，nms 非極大值抑制是在原有的CIOU_Loss 基礎上添加了DIOU_nms，主要作用是對一定區域內多個被重疊遮擋的目標進行檢測，CIOU_Loss 作為目標Bounding box 損失函數，計算過程如式（1）、式（2）所示：

2.3 建立數據集并使用YYOOLLOOvv5進行模型訓練

數據標準標注軟件使用labelimg庫對圖片中的目標位置進行人工標注，可以得到一個包含有圖片的標簽、標注框的中心坐標、標注框的相對寬與高信息的標簽文件:“.txt”（如圖5 所示）。將原始圖片數據和人工標注的標簽共同作為原始數據集，包含訓練集、驗證集和測試集。通過官網下載預訓練模型YOLOv5s.pt 對本地數據集進行訓練，訓練中通過更改Weights、cfg、data、epochs、batch-size 等一系列變量針對不同訓練集和驗證集中的目標類別數目、識別目標名稱進行訓練，最終得到兩個模型文件：best.pt與last.pt，獲得了模型文件的可視化數據：識別目標的類別和數目、模型的深度、模型的寬度、anchors、Backbone、head。

圖5 對目標缺陷在labelimg庫中使用的人工標注方式示意圖

3 模型性能評估

首先計算了訓練后模型的混淆矩陣，如圖6所示，這個矩陣可以方便地看出機器是否將兩個不同的類混淆了（比如說把一個類錯當成了另一個）。

圖6 模型的混淆矩陣

進一步地，對訓練后的模型預測單一類的準確率P_curve 進行了計算，如圖7（a）所示。當confidence 越大的時候，類別檢測越準確。對召回率（查全率）和置信度之間的關系R_curve 進行了計算，結果顯示置信度越小時，類別檢測得越全面，如圖7（c）所示。還計算了訓練后模型的均值平均精度PR_curve，結果顯示精度越高，召回率越低，如圖7（b）所示。所以只有曲線盡可能的地接近（1，1）點，才可以在準確率很高的前提下，盡可能檢測到全部的類別。本文還計算了模型的F1_curve，F1-score 是分類問題的一個衡量指標。F1-Score 的值從0 到1，1 是最好，0是最差。模型評估結果如圖7（d）所示。

圖7 模型的P曲線、R曲線、PR曲線和F1分數曲線

接著分析了模型的數據指標，如圖8 所示，其中，train/box_loss：預測框與真實框的損失函數，值越小預測框的準確率越高；train/obj_loss：目標檢測損失，值越小目標檢測越準；train/cls_loss：分類損失均值，值越小分類越準；metrics/precision：精度（找對的正類/所有找到的正類）；metrics/recall：召回率，本應該被找對的正類；val/box_loss：驗證集邊緣損失；val/obj_loss：驗證集目標檢測損失均值；val/cls_loss：驗證集分類損失均值；metrics/mAP@0.5:0.95（mAP@［0.5:0.95］）表示在不同 IoU 閾值（從 0.5 到0.95，步長 0.05）（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）上的平均 mAP；metrics/mAP@0.5：表示閾值大于0.5 的平均mAP，該指標為PR 曲線的面積，代表模型的平均準確率，mAP越高越好。

圖8 模型的性能指標

在訓練時設置的batch-size=4，即每4張圖片拼成一張照片送進YOLOv5中訓練。這里的圖片一共12 張，如圖9 所示。使用訓練好的模型進行了測試，如圖10所示，val_batchX_labels為驗證集第x輪的實際標簽，即：由人工標注過的圖片信息。val_batchX_pred 為模型對val 驗證集第x輪里的圖片類別的標簽的預測。

圖9 模型訓練

圖10 模型測試

4 模型在硬件下的使用

選用的硬件平臺是jetson nano 4 GB 版本，首先在jetson 官網下載它的操作系統并將其寫入SD 卡中，插入jetson，啟動開機。配置環境方面，需要更新CMake、PyTorch庫、torchvision庫以及一些YOLOv5運行時的依賴庫，再將訓練好的YOLOv5模型加載過來，進入detect.py文件修改parse_opt 函數的weights 與source，分別為生成的模型文件的路徑與推理方式，在YOLOv5里面通過了三種模型的推理方式，分別為圖片（default=文件路徑）、視頻（default=文件路徑）、攝像頭（default=0）。然后運行detect.py就可以在jetson 平臺上使用模型了。這里選擇的是攝像頭識別的方式，分別對兩種操作工作進行缺陷檢測，結果顯示均能識別出表面缺陷種類：scratches（劃痕），如圖11所示。

圖11 模型對兩種不同工具進行缺陷檢測結果

5 結語

相較于其他的工具表面缺陷檢測技術，本文提出了一種基于YOLOv5的工具表面缺陷檢測算法。實驗證明，通過YOLOv5的深度學習算法對數據集進行訓練得出的預測模型，搭載在硬件上可用于操作工具的表面缺陷檢測。