基于改進YOLOv5s 模型紙杯缺陷檢測方法

蔣亞軍，曹昭輝，丁椒平，文煜超，張闖，胡志剛

（1.武漢輕工大學 機械工程學院，武漢 430048；2.湖北克拉弗特實業有限公司，武漢 430048）

隨著我國工業技術進入數字化、智能化的新發展階段，大量工業企業實現智能化技術，越來越多的工業檢測設備與機器視覺技術相結合[1-3]。早期的紙杯缺陷檢測任務主要依靠人工篩選和基于傳統圖像處理技術的檢測方法完成。人工篩選存在漏檢、效率低、主觀隨意性大等缺點，已無法滿足現代生產需求[4]。傳統檢測方法在提取特征過程中需要進行灰度化、二值化等一系列預處理操作，過程煩瑣，難以滿足實際生產需求[5]。

傳統檢測方法的流程分為輸入圖像、區域選取、提取特征、分類器、后處理以及最終檢測結果6 個階段[6]。王宇軒等[7]通過OpenCV 的邊緣檢測和形態學處理等算法實現了紙杯污漬缺陷檢測。高雅等[8]通過對輸入圖像進行預處理、定位等流程，實現了杯底破洞、杯口變形、杯底油污的缺陷檢測。此類檢測方法受其檢測原理的影響，對檢測環境的光照條件要求較高，容易對小尺寸和特征不明顯的紙杯缺陷出現漏檢和錯檢現象。小尺寸缺陷是指以小點或細短線形式出現的油漬，特征不明顯缺陷主要是指痕跡較淺的缺陷形式，例如壓痕較輕的褶皺、不明顯的翹邊以及輕微的破損等缺陷。

相比傳統檢測方法，深度學習技術只需構造卷積神經網絡，就可實現對圖像特征的主動學習，完成特征提取，且具有更好的魯棒性和檢測精度[9]。目前，深度學習的目標檢測算法分為雙階段檢測和單階段檢測2 類算法[10]。雙階段檢測算法以R–CNN[11]、Fast R–CNN[12]、Faster R–CNN[13]為代表，具有檢測精度高、漏檢率低等優點，但存在檢測速度慢、計算量大等問題，難以應用于實時檢測。單階段檢測算法以SSD[14]、YOLO 系列算法[15]為代表，具有檢測速度快、計算量少等優點，能夠滿足實時檢測的需求，但檢測精度遜于雙階段目標檢測算法[16]。隨著單階段目標檢測算法的不斷優化，其檢測精度已得到了很大改善。

綜上所述，本文以YOLOv5s 模型為基礎模型進行相關研究改進。首先，在Backbone 部分中引入CBAM 注意力機制模塊，增強模型對紙杯缺陷特征的提取能力；其次，在模型中增加一層尺度為160×160的淺層檢測層，將三尺度檢測改為四尺度檢測，提升模型的檢測能力；最后，在Neck 部分借鑒加權雙向特征金字塔網絡BiFPN，對原始模型中的PANet 進行部分改進，提高模型的特征融合能力。

1 YOLOv5 介紹

YOLOv5 算法是Ultralytics 團隊提出的一種典型One Stage 目標檢測算法，該算法可通過修改深度和寬度倍數實現對模型大小的調整，兼顧了檢測精度和速度，具有檢測精度高、推理速度快等特點[17-19]。從YOLOv5 算法提出至今，版本一直在更新迭代。本文選用v6.0 版本，根據其模型深度和權重的大小可分為5 種不同版本，分別為YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，本文以YOLOv5s為基礎模型進行相關研究改進，模型的主體架構分為Input、Backbone、Neck 和Output 等4 個部分，具體結構如圖1 所示。

圖1 YOLOv5s 網絡結構Fig.1 Network structure of YOLOv5s

相比舊版本模型，v6.0 版本模型在Backbone 部分去掉了Focus 結構，用Conv(k=6，s=2，p=2)代替，提高了模型導出效率。用SPPF 模塊代替SPP 模塊，在保留對不同感受野特征圖的融合和表達能力情況下，進一步提高了模型運行速度。

2 YOLOv5s 改進

2.1 引入CBAM 注意力機制模塊

為了提高模型對紙杯缺陷特征的提取能力，改善在復雜環境下缺陷特征的表達能力。本文在原始模型中引入CBAM[20]注意力機制模塊，其結構如圖2 所示。

圖2 CBAM 注意力機制模塊結構Fig.2 Module structure of CBAM attention mechanism

由圖2 可知，CBAM 注意力機制由通道注意力模塊和空間注意力模塊組成。通道注意力模塊對輸入特征圖按其寬和高2 個方向進行全局最大池化和全局平均池化，將得到的2 個1×1×c特征向量送入一個2 層神經網絡，共享參數后進行加和操作，并對輸出結果進行Sigmoid 歸一化處理，最終得到通道注意力特征。空間注意力模塊是將經過通道注意力模塊得到的特征圖作為輸入特征圖，并按其通道方向進行全局最大池化和全局平均池化。將得到的2個H×W×1 特征圖在通道方向上進行Cancat 操作，壓縮通道個數至1，再經Sigmoid 歸一化處理獲得空間注意力特征。

通過以上對通道和空間注意力模塊的分析，可以發現通道注意力模塊重點關注檢測目標的內容信息，空間注意力模塊重點關注檢測目標的位置信息。通過兩者結合，可使輸出特征信息聚焦于重點特征信息，提高模型的檢測精度。由于YOLOv5s 模型依靠C3模塊進行特征提取，圖片中所包含的細節特征信息會隨C3 模塊數量的增加逐漸丟失。所以為了彌補細節特征信息的丟失和加強其在特征圖中的表達權重，本文在Backbone 部分中的最后一層C3 模塊后面引入CBAM 注意力機制。將改進后的模型命名為YOLOv5s–C，具體改進結構如圖3 所示。

圖3 加入CBAM 注意力機制模塊后的模型結構Fig.3 Structure of the model after addition of CBAM attention mechanism module

2.2 多尺度檢測的改進

YOLOv5s 模型采用20×20、40×40、80×80 等3 種不同尺度進行檢測，雖然可以得到較好的檢測效果，但由于不合格紙杯包含有細小和特征不明顯的缺陷形式，這些細節特征信息隨著模型深度的加深大幅度丟失，造成原始模型在檢測時出現漏檢和錯檢的現象。為了提高模型對細小和特征不明顯缺陷的檢測能力，本文在加入CBAM 注意力機制模塊的基礎上，將三尺度檢測改為四尺度檢測，增加尺度為160×160的淺層檢測層，并將尺度為80×80 的檢測層進行2 倍上采樣與其進行特征融合，將改進后的模型命名為YOLOv5s–CX。改進后的具體結構如圖4 所示。

圖4 改進多尺度檢測后的模型結構Fig.4 Model structure after improvement of multi-scale detection

2.3 Neck 部分的改進

YOLOv5s 模型采用PANet 結構對不同尺度的特征信息進行融合，其結構如圖5a 所示。可以發現PANet 通過采用由深到淺和由淺入深的雙向傳遞路線，將深層特征層具有的高階語義信息傳遞到淺層特征層，同時將淺層特征層的定位信息傳遞到深層特征層，保證了模型對不同尺度特征信息的融合能力。不同尺度的特征信息在融合時，對輸出特征圖的貢獻是不均等的，PANet 沒有對不同尺度的特征信息加權，只是將其不加側重地進行相加，這就會使同一種類型但不同大小的缺陷特征對融合后的特征圖產生不均等的權重。也就是說尺寸大的缺陷特征被更多地融入輸出特征圖，而一些細小的特征信息融入得較少，被邊緣化。由于紙杯缺陷數據集中就包含有小尺寸和特征不明顯的缺陷形式，所以為了改進上述原始模型存在的不足，本文借鑒加權雙向特征金字塔網絡BiFPN 對檢測網絡進行改進。BiFPN結構如圖5b 所示。相較于PANet 的融合方式，BiFPN引入了加權策略。根據輸入特征信息的重要性對其設置了相應的權重，可以有側重性地調節輸入特征信息在輸出特征圖中的貢獻程度，從而實現更好的特征融合。在特征信息傳遞路線上，BiFPN 去掉了只有一條輸入邊和輸出邊的節點，并提出了跨尺度連接的方法。直接將特征提取網絡中的特征信息與由淺入深傳遞路線中的特征信息進行融合，這樣的傳遞方式可以保留更多深層的高階語義信息和淺層的定位信息。

圖5 PANet 和BiFPN 的網絡結構Fig.5 Network structure of PANet and BiFPN

本文先將PANet 完全用BiFPN 替換，并把完全替換后的模型命名為YOLOv5s–CXF。通過實驗發現，完全替換后的模型召回率低于原始模型的召回率。若在PANet 的基礎上借鑒BiFPN 的加權策略和跨尺度連接方法對其進行部分改進，反而會使改進后的模型訓練結果有所提升。本文分析認為：紙杯缺陷數據集的部分圖片中含有不同類型的缺陷形式，且在特征表達上較為相似，例如輕微的翹邊和壓痕較淺的褶皺，在形式表達上較為相似。若將這種類型的圖片輸入到完全替換成BiFPN 的模型中進行特征融合時，特征表達相似的不同類型缺陷在每個尺度的BiFPN加權操作下，會使得模特征融合效果降低。所以本文選擇在PANet 的基礎上借鑒BiFPN 的加權策略和跨尺度連接方法對其進行部分改進，并把改進后的模型命名為YOLOv5s–CXO，具體改進后的模型結構如圖6 所示。

3 樣本數據集

由于沒有專門用于紙杯缺陷檢測的開源數據集，所以本文數據集針對紙杯成型過程中出現的各種缺陷形式進行制作。為提高數據集的豐富性和模型訓練的泛化能力，在不同生產環境中拍攝圖片。缺陷形式主要分為褶皺、破損、露底、油漬、翹邊等5 類。數據集共1 000 張圖片，訓練數據集和測試數據集的比例為8∶2。紙杯缺陷形式采集示例如圖7 所示。

圖7 紙杯缺陷形式采集示例Fig.7 Example of paper cup defect form collection

將采集好的數據集進行篩選和整理，去掉不合格圖片，最后對整理好的數據集使用標注軟件Labelimg進行標注。數據標注示例如圖8 所示。

圖8 紙杯缺陷標注示例Fig.8 Example of paper cup defect labeling

4 實驗結果及分析

4.1 實驗數據及參數設定

本文將原始模型在coco 數據集上訓練好的權重作為此次訓練模型的初始權重，訓練使用的數據集為以上拍攝制作的數據集，迭代次數epoch 設置為200 輪，每次迭代輸入的圖片數量設置為16，輸入圖片的大小調整為640×640，學習率設置為0.001。為了客觀評判改進后模型的性能，本文采用目標檢測模型常用的3 項評估指標，分別為精度（Precision,P）、召回率（Recall,R）、平均精度均值（Mean Average Precision,δmAP）來衡量檢測效果[21-23]，具體計算見式（1）—（4）。

式中：TP（True Positives）為被正確檢測出的紙杯缺陷數量；FP（False Positives）為被檢測錯誤的紙杯缺陷數量；FN（False Negatives）為未被檢測出的紙杯缺陷數量；C為紙杯缺陷共需分類的類別數；δAP（Average Precision）為某個紙杯缺陷類別的平均精度；i為當前類別的序號。

4.2 實驗結果分析

為了驗證前文所述改進方法的有效性，本文將各改進方法改進后的模型訓練結果進行直接對比，具體對比結果如表1 所示。

表1 各模型訓練結果對比Tab.1 Comparison of training results of each model

對比表1 中模型 YOLOv5s–C 和原始模型YOLOv5s 的訓練結果可以看出，模型YOLOv5s–C的召回率和每幀檢測時間雖然沒有發生明顯變化，但精度和平均精度均值分別提高了1.1%和0.9%，可以表明引入CBAM 注意力機制模塊的有效性。多尺度檢測改進實驗是在模型YOLOv5s–C 中增加一層尺度為160×160 的淺層檢測層，提高模型的檢測能力，從表1 中模型YOLOv5s–CX 與模型YOLOv5s–C 的訓練結果對比可知，淺層檢測層的增加使得模型YOLOv5s–CX 的精度提高了1.1%、平均精度均值提高了0.4%，表明了該改進方法的有效性。但召回率下降了0.5%，且低于原始模型的召回率。本文分析認為：淺層檢測層的增加雖然提高了模型對細節特征的捕捉能力，但各尺度之間的特征融合效率沒有得到改善，捕捉到的細節特征與其他尺度的特征沒有進行很好的融合，造成召回率降低。Neck 部分的改進實驗分為兩部分，分別為將模型YOLOv5s–CX 中的PANet 用BiFPN 進行完全替換以及借鑒BiFPN 的優點對PANet 進行部分改進。對表1 中YOLOv5s–CXF 和YOLOv5s–CXO 這2 種模型的訓練結果與YOLOv5s–CX模型的訓練結果進行對比，可以看出YOLOv5s–CXF和YOLOv5s–CXO 這2 種模型的精度和平均精度均值均降低，且降低主要表現在精度上，2 種改進模型的精度分別降低了0.5%和0.7%。也可以看出Neck部分的改進方法都不同程度地提高了2 種模型的召回率，分別提高了0.2%和1.6%。YOLOv5s–CX 和YOLOv5s–CXF 2 種模型的精度雖然都高于模型YOLOv5s–CXO 的精度，但召回率均低于原始模型的召回率。模型YOLOv5s–CXO 召回率為90.4%，高于以上所有模型的召回率，從而表明了本文選擇的Neck 部分改進方法的有效性。

綜合以上各模型訓練結果的對比分析，本文選擇的改進模型為YOLOv5s–CXO，比原始模型YOLOv5s的精度、召回率、平均精度均值分別提高了1.5%、1.3%、1.2%。雖然每幀檢測時間增加了57 ms，但仍可滿足實際生產需求。改進模型的優越性主要體現在檢測能力的提高。為了進一步證明模型YOLOv5s–CXO 具有更好的檢測能力，本文將改進模型YOLOv5s–CXO 與原始模型YOLOv5s 的平均精度均值變化曲線進行對比，如圖9 所示。

圖9 2 種模型平均精度均值曲線對比Fig.9 Comparison of average precision mean curves of two models

從圖9 中2 種模型曲線的變化趨勢可以看出，在訓練初期模型YOLOv5s–CXO 的訓練值低于原始模型YOLOv5s 的訓練值。但隨著引入各模塊發揮作用，模型YOLOv5s–CXO 的訓練值逐漸提高，最終在迭代到110 輪時，超過原始模型，并一直保持高于原始模型訓練值的水平。表明本文改進方法提高了模型的檢測能力。以上對比分析可以證明模型YOLOv5s–CXO 比原始模型更優。

為了更加直觀地驗證在檢測過程中模型YOLOv5s–CXO 相較于原始模型YOLOv5s 的優越性，本文將2 種模型的檢測效果進行直接對比。對比效果如圖10 所示。

圖10 2 種模型的檢測效果對比Fig.10 Comparison of detection effect between two models

從圖10 中所展示的檢測效果可以看出，原始模型YOLOv5s 在檢測過程中對以小點和細短線形式出現的油漬，壓痕較淺的褶皺、翹邊以及輕微破損的檢測效果較差，出現了漏檢、錯檢現象。可以表明原始模型YOLOv5s 在檢測過程中對小尺寸和特征不明顯缺陷的檢測效果較差，存在不足。相比之下，模型YOLOv5s–CXO 的檢測效果表現較好，糾正了原始模型漏檢和錯檢的地方，更加直觀地表明了模型YOLOv5s–CXO 的優越性。尤其對小尺寸和特征不明顯紙杯缺陷的檢測效果，較原始模型有明顯提升。

5 結語

本文為了解決小尺寸和特征不明顯的紙杯缺陷在檢測過程中易出現漏檢、錯檢的問題，提出了一種基于改進YOLOv5s 模型的紙杯缺陷檢測方法。該方法首先通過在Backbone 部分引入CBAM 注意力機制模塊，提升了模型對紙杯缺陷特征的提取能力；其次在模型中增加了一層尺度為160×160 的淺層檢測層，有效提高了模型對小目標和特征不明顯目標的檢測能力；最后在Neck 部分中借鑒加權雙向特征金字塔網絡BiFPN，對原始模型中的PANet 進行了部分改進，加強了模型的特征融合能力。實驗結果表明：改進后的模型YOLOv5s–CXO 比原始模型YOLOv5s 的精度提高了1.5%、召回率提高了1.3%、平均精度均值提高了1.2%，有效提高了模型的檢測能力和魯棒性。相較于原始模型，具有更好的目標分辨能力，尤其是對小尺寸和特征不明顯紙杯缺陷的檢測效果有明顯提升。