一種基于YOLOv5算法的布匹瑕疵檢測系統(tǒng)

鄧 景，李成海，丁兆棟，杜光輝，陸 可

（安徽工業(yè)大學管理科學與工程學院，馬鞍山 243000）

0 引言

中國作為全球最大的紡織品生產(chǎn)、出口國，紡織業(yè)已經(jīng)成為我國一項重要的經(jīng)濟型支柱產(chǎn)業(yè)。受限于技術、成本等多方因素，紡織品生產(chǎn)過程中產(chǎn)生瑕疵是不可避免的。生產(chǎn)過程中的布匹瑕疵會使布匹的價格降低45%～65%［1］。因此，現(xiàn)代化的紡織工廠通常會安排一定數(shù)量的員工對紡織設備與紡織產(chǎn)品進行定期、定點的監(jiān)測。然而，人工檢驗存在錯檢、漏檢、檢測準確率隨時間下降和檢測標準不統(tǒng)一等問題，同時人工檢驗的成本較高，不利于工廠的精益生產(chǎn)。

布匹瑕疵檢測作為目標檢測問題的一種，許多研究人員提出了自動化的布匹瑕疵檢測方法，來代替人工檢驗［2］。傳統(tǒng)的布匹瑕疵檢測算法根據(jù)類型分為特征統(tǒng)計法、濾波法、圖像切割法和數(shù)據(jù)結(jié)構(gòu)法等。但這幾類方法各自存在不抗噪點、計算量較大、泛化、遷移能力較差等問題。隨著硬件水平的提高，深度學習逐漸進入研究人員的視野，基于深度學習的目標檢測技術，也逐漸應用于各個行業(yè)的檢測領域。

深度學習相較于傳統(tǒng)的目標檢測算法，其優(yōu)勢在于可以自動提取目標圖像中的特征信息。從最初的R?CNN［3］、OverFeat［4］一出現(xiàn)便占據(jù)了目標檢測的主流地位，到后來的Fast RCNN［5］、Faster RCNN［6］進一步提升了檢測速度與精度；之后，SSD［7］以及現(xiàn)在的YOLO 系列實現(xiàn)了兩階段到單階段的革新。與兩階段算法相比，單階段算法不需要區(qū)域建議階段，可以生成目標的真實坐標和類別概率，以獲得最終檢測結(jié)果。因此，單階段算法通常具有更快的速度。YOLO系列是2015 年提出的算法，此算法的最大優(yōu)勢在于不需要提前篩選候選區(qū)域，而是直接檢測整個圖片，獲取某個類別的置信度與位置信息，所以檢測速度更快。在過去幾年中，研究人員提出了一些YOLO 的后續(xù)版本，如YOLOv2、YOLOv3、YOLOv4。而在2020 年被提出的YO?LOv5，其在模型大小、檢測速度與精度上都有了較大的優(yōu)化。由此，本文提出了基于YOLOv5算法的布匹瑕疵檢測系統(tǒng)。

本文的貢獻如下：

（1）將YOLOv5 算法應用于布匹瑕疵檢測領域，其檢測速度與準確度均滿足實際工業(yè)生產(chǎn)需要。

（2）提供了一套來自實際工業(yè)生產(chǎn)流水線的布匹瑕疵數(shù)據(jù)集，為布匹瑕疵研究領域提供了一些數(shù)據(jù)支持。

1 相關工作研究

為了解決自動化布匹瑕疵檢測的問題，研究人員提出了許多系統(tǒng)和算法用于解決自動化布匹瑕疵檢測問題。Tong 等［8］利用復合差分進化優(yōu)化了幾個Gabor濾波器，成功地從布匹圖像中分割出瑕疵。Mak等［9］還通過遺傳算法優(yōu)化了Gabor 濾波器。然而，優(yōu)化的過濾器僅適用于某些類型的布匹。Kumar 等［10］提出了具有不同尺度和方向的Gabor 濾波器組，Gabor 濾波器組覆蓋多分辨率，可以通過融合Gabor濾波的輸出來檢測缺陷的特征。盡管Gabor濾波器組可以處理不同類型的布匹，但簡單地融合濾波器輸出可能會加劇正常布匹圖像中的噪聲。傳統(tǒng)目標檢測算法盡管取得了一定的成果，但仍有相當?shù)膬?yōu)化空間。隨著深度學習的廣泛應用，研究人員開始嘗試利用深度學習算法解決布匹瑕疵的檢測問題。

目前主流的布匹瑕疵檢測所采用的深度學習算法均為使用卷積神經(jīng)網(wǎng)絡提取特征并分類，例如，文獻［11］將傳統(tǒng)目標檢測算法中的圖像增強技術與卷積神經(jīng)網(wǎng)絡算法相結(jié)合，對圖像樣本進行圖像增強后進行模型訓練，實現(xiàn)了對部分類型布匹瑕疵的有效檢測，但輸出的樣本類型較為有限；文獻［12］提出了基于改進的CNN 的素色布匹瑕疵檢測算法，通過設計淺層的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，降低了網(wǎng)絡的運算規(guī)模，同時采用了雙模型的訓練方式，提高了模型的訓練效果，在單色布匹瑕疵分類方面具有良好的性能。但仍然存在對復雜瑕疵樣本不敏感的問題。因此，本文將重點關注深度學習中的YOLOv5算法。

文獻［13］介紹了YOLO 在目標檢測場景中的應用。YOLO定義為單個神經(jīng)網(wǎng)絡，可以預測多個錨框和錨框的類別概率。與其他傳統(tǒng)深度學習算法，如Faster R?CNN（regions with CNN）［14］相比，其背景錯誤不足一半。當然，也有一些缺點：第一，它雖然可以更快地檢測圖像，但缺乏精度；第二，模型從給定的數(shù)據(jù)中學習預測邊界框，因此，當一般圖像或具有不同縱橫比的圖像或圖像的配置改變時，預測將變得困難。

為了克服如本地化中的錯誤分析、相對較低的召回率等問題，文獻［15］提出了另一個模型—YOLO9000（YOLOv2），引入了批量歸一化、帶錨框的高分辨率卷積、維度聚類、直接位置預測、多尺度訓練和細粒度特征，這使YOLOv2相比于YOLO 性能更加優(yōu)異。文獻［16］提出了另一個優(yōu)于YOLOv2 的YOLO 模型。與傳統(tǒng)方法相比，YOLOv3 的精度是傳統(tǒng)網(wǎng)絡的三倍。文獻［17］提出了其后的版本，這個新版本提高了目標檢測的速度，還將YOLOv3平均精度和每秒幀數(shù)分別提高10%和12%。作者表示，YOLOv4適用于單GPU 訓練，這是通過引入新的數(shù)據(jù)增強方法、優(yōu)化超參數(shù)和遺傳算法實現(xiàn)的。文獻［18］采用Darknet53+CSP 作為主干網(wǎng)絡的YOLOv4 模型，提升了模型對瑕疵圖像的學習能力，在Neck 層采用SPP 模塊和FPN+PAN 結(jié)構(gòu)，進一步提取深層網(wǎng)絡信息。該方法對布匹瑕疵的檢測準確率和檢測速度均較好，與其他同類深度學習算法相比體現(xiàn)出了一定的優(yōu)勢，但仍然存在網(wǎng)絡模型較大等問題。在YOLOv4出版后的幾個月內(nèi)，Ultralytics LLC團隊推出了YOLOv5［19］。

在將傳統(tǒng)的目標檢測算法應用到工業(yè)場景的過程中，由于其參數(shù)密度大、網(wǎng)絡模型復雜、難以嵌入低配設備等問題，導致在應用過程中因?qū)τ布阅芤筮^高，成本過大而無法投入實際生產(chǎn)。為了解決以上問題，首先在作業(yè)現(xiàn)場采集了多種復雜場景的實際應用數(shù)據(jù)，將這些數(shù)據(jù)輸入模型進行學習以適應作業(yè)現(xiàn)場環(huán)境的復雜多樣性。其次，為了解決現(xiàn)場硬件配置的限制導致的大規(guī)模目標檢測算法難以嵌入的問題，本文采用了YOLOv5算法。由于其輕量級的網(wǎng)絡結(jié)構(gòu)可以部署在配置相對較低的設備上，同時YOLOv5可以保持相對較高的準確度。實驗結(jié)果表明，YOLOv5算法在適應不同復雜度場景的情況下，魯棒性和準確度均顯著優(yōu)異。

2 模型訓練及實驗

2.1 算法原理

YOLO目標檢測算法的核心在于小尺寸模型與快速計算。YOLO的結(jié)構(gòu)原理是將全局圖像作為神經(jīng)網(wǎng)絡的輸入，最終在輸出層直接輸出回歸目標框的類別和位置信息［20］。值得指出的是，YOLO 具有很強的泛化能力，因為YOLO 可以研究相當廣義的特征，以轉(zhuǎn)移到其他文件［21］。此外，YOLO 在訓練和測試過程中使用全局圖像，可以對全局信息進行編碼，并減少檢查背景作為目標的錯誤。本文使用YOLOv5的深度學習方法檢測毛巾中的布匹瑕疵，并開發(fā)了基于YOLOv5的自動布匹瑕疵檢測系統(tǒng)來檢測毛巾瑕疵。

YOLOv5 是在之前版本的YOLO 基礎上形成的。在保持運行速度的前提下，YOLOv5不僅獲得了更好的預測精度，同時對小目標的檢測能力更強［22］。因此，它可以用于工業(yè)缺陷的實時檢測。而且YOLOv5的權(quán)重文件，其大小比上一代的YOLOv4小90%［23］。YOLOv5 結(jié)合CNN，利用特征金字塔和非最大抑制算法預測多標簽的邊界和位置。邊界盒由獨立的邏輯回歸分類器進行分類，而不是軟最大值分類［24］。在檢測布匹瑕疵的情況下，準確性和效率非常重要，YOLOv5 架構(gòu)有助于提高布匹瑕疵的效果。該架構(gòu)由四種不同的模型組成，如YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5。四種架構(gòu)的主要區(qū)別在于特征提取模塊和網(wǎng)絡的卷積核；另一個差異是架構(gòu)，模型的大小和模型參數(shù)的數(shù)量是不同的。例如，本文使用YOLOv5s，則其模型文件的大小僅為13.7 MB。

2.2 模型訓練

在本節(jié)中，我們將介紹模型的訓練和測試過程。模型的訓練和測試流程如圖1所示。

圖1 模型的訓練和測試流程圖

2.2.1 自建數(shù)據(jù)集與數(shù)據(jù)標注

本項目落地于江蘇省某紡織企業(yè)，數(shù)據(jù)的采集全部取自真實工廠的流水線上，圖2是采集的數(shù)據(jù)集中的常見瑕疵。首先，選用2D 單目彩色相機以及適合現(xiàn)場條件的光源組成CCD 組，對生產(chǎn)線上的布匹樣本進行大量采集。然而，當前的數(shù)據(jù)集數(shù)量過于龐大且種類繁多，并不適合直接進行人工數(shù)據(jù)標注，需要對數(shù)據(jù)集中的數(shù)據(jù)進行篩選和聚類預處理。預處理完成后，使用LabelImg 的數(shù)據(jù)標注工具進行人工數(shù)據(jù)標注［25?26］。對處理完畢的數(shù)據(jù)進行成功標注后，輸出文本文件和類文件。為了提高速度和準確性，我們對毛巾的正反面分別建立了模型，只將其分為兩類：OK和NG。文本文件包含5個十進制數(shù)字，第一個數(shù)字表示邊界框的類別，第二個是中心x，然后是中心y，最后是寬度和高度。中心x和中心y被描述為邊界框的中心點［27］。通過將數(shù)字除以圖像的寬度和高度，來對數(shù)字進行歸一化，使其值介于0 和1 之間。文本文件中的行數(shù)取決于檢測到的對象數(shù)。標注的標簽用于訓練和測試數(shù)據(jù)集。表1顯示了每個類別的訓練和測試拍攝的圖像數(shù)量。表2顯示本文項目的類，即類文件。

圖2 數(shù)據(jù)集中的瑕疵

表1 訓練與測試樣本數(shù)

表2 類文件名

2.2.2 使用YOLOv5訓練模型

在使用YOLOv5訓練模型之前，首先要滿足訓練YOLOv5 模型的條件，表3 為本項目所使用的硬件配置條件。

表3 硬件配置表

然后配置YOLOv5 環(huán)境、數(shù)據(jù)和目錄結(jié)構(gòu)，重點是設置YAML配置文件。訓練YOLOv5模型需要兩個YAML 文件。第一個YAML 指出測試數(shù)據(jù)的位置、訓練數(shù)據(jù)的位置和類的數(shù)量，即檢測對象的類型與該類型所對應的名稱；第二個YAML 文件包括錨框、參數(shù)、YOLOv5 主干和YOLOv5 頭部。為了訓練YOLOv5 模型，需要執(zhí)行train.py 命令。此時，可以指定超參數(shù)，如輸出圖像大小、epoch 數(shù)和batch 大小。完成訓練過程后，YOLOv5的權(quán)重文件將存儲在子文件夾中。可以通過使用測試的detect.py 命令來對訓練完畢模型進行測試。圖3所示為自測試數(shù)據(jù)集的測試結(jié)果。

圖3 測試集結(jié)果

2.3 實驗結(jié)果

在目標檢測領域，對訓練模型的精確度（P）、召回率（R）和平均精度（mAP）進行了評估［28］。作為性能和可靠性的通用規(guī)范，本文也使用上述評估指標來評估缺陷檢測模型的性能。圖4所示為mAP、精確度和召回率。

圖4 mAP曲線

TP=正確識別的毛巾OK 和NG 部分的實例數(shù)。

FP=毛巾OK和NG部分的錯誤識別實例數(shù)。

FN=未識別的OK和NG部件的數(shù)量。

精確度（P）是檢測到的正確對象數(shù)量與檢測到的對象數(shù)量之和之間的比率，是檢測模型精確度的度量。其計算公式如下：

召回率是檢測到的正確對象的數(shù)量與手動標記的真實對象的數(shù)量之和之間的比率，并且是檢測模型的整個錯誤率的度量。其計算公式如下：

圖5 中的準確率-召回率（PR）曲線是根據(jù)相應的準確率和召回率繪制而成。平均準確度（AP）是精確召回率（PR）曲線下的面積值，通過對精確召回函數(shù)積分來獲得。

圖5 PR曲線

mAP是多個測試集上測試的正確目標的平均值，通過平均精度（AP）獲得。mAP的計算公式如下：

探索性數(shù)據(jù)分析最好借助相關圖進行處理。整個數(shù)據(jù)集的關系可以一目了然地可視化。圖6顯示了置信度與準確度的P曲線，圖7顯示了置信度與召回率的R曲線，圖8 顯示了置信度與F1曲線。

圖6 P曲線

圖7 R曲線

圖8 F1曲線

對于檢測算法模型來說，檢測速度是衡量算法效果的一個重要指標。本文建立的布匹瑕疵檢測系統(tǒng)是實現(xiàn)對目標的實時檢測，在應用于實際工業(yè)場景的情況下，其檢測速度為每秒10幀，已充分滿足實際需求。

3 布匹瑕疵檢測系統(tǒng)

3.1 系統(tǒng)框架

建立一套自動化布匹瑕疵檢測系統(tǒng)的難點在于，除了實時檢測對深度學習算法的性能有一定的要求以外，對于本系統(tǒng)內(nèi)各部分的耦合度、魯棒性與上下游工位之間的通訊穩(wěn)定性均有一定的要求。本文設計了基于深度學習的布匹瑕疵檢測系統(tǒng)，其物理圖如圖9—圖11 所示。該系統(tǒng)由三部分組成：控制子系統(tǒng)、機器視覺子系統(tǒng)與PLC電氣控制系統(tǒng)，實現(xiàn)了YOLOv5算法對布匹瑕疵的實時檢測。

圖9 物理左視圖

圖10 物理右視圖

圖11 物理正視圖

（1）控制系統(tǒng)由控制計算機來擔任。負責傳遞來自PLC 系統(tǒng)的工作電信號，確定物料的各個工作位點；收集的數(shù)據(jù)傳輸?shù)娇刂朴嬎銠C，由YOLOv5處理，以快速檢測和定位布匹瑕疵。

（2）PLC 電氣控制系統(tǒng)由PLC、機械吸盤和紅外激光傳感器組成。紅外激光傳感器在物料到位后受遮擋，發(fā)送電信號至PLC 傳達到位信號；機械吸盤由PLC 控制拖拽物料至各個工作位點；PLC 負責接收來自傳感器與控制計算機的電信號，控制機械吸盤的升降與移動。

（3）機器視覺子系統(tǒng)由三部分組成：圖像采集、標簽檢測和數(shù)據(jù)處理。圖像采集由雙CCD攝像機完成。當機械吸盤拖拽指定編號物料至指定工作位時，上CCD 攝像機和下CCD 攝像機以不同角度同時采集物料的正反面圖像。標簽檢測由計算機完成，將采集的多標簽圖像通過相機數(shù)據(jù)傳輸接口傳輸?shù)接嬎銠C以處理和分析圖像。數(shù)據(jù)處理則是通過在YOLOv5模型參數(shù)中預設的置信度閾值，結(jié)合物料的正反面處理結(jié)果，得出OK 或NG 并傳回相應的電信號至PLC程序，同時在上位機中顯示。

基于YOLOv5的自動布匹瑕疵檢測系統(tǒng)的物理結(jié)構(gòu)示意圖如圖12所示。

圖12 物理結(jié)構(gòu)示意圖

3.2 系統(tǒng)優(yōu)化

系統(tǒng)在項目實施過程中，受限于諸多客觀因素，導致布匹瑕疵檢測效果達不到預期的目標。因此，本文針對項目過程中出現(xiàn)的以下問題，對系統(tǒng)的若干部分進行了優(yōu)化。

（1）在模型訓練的數(shù)據(jù)收集階段，現(xiàn)場采集的毛巾樣本圖像種類、數(shù)量龐大，人工分類效率過低，不便于進行數(shù)據(jù)標注的工作。由此，在數(shù)據(jù)的預處理階段，使用了聚類的算法，自動對數(shù)據(jù)進行篩選、分類和去重。大大減少了準備工作階段的時間消耗。

（2）由于工作現(xiàn)場環(huán)境的客觀因素影響，在圖像采集過程中，CCD 攝相機時常拍入毛巾樣本以外的干擾因素，例如：圖像內(nèi)的機械結(jié)構(gòu)和光源的倒影。由此，本文對YOLOv5輸出端的圖像進行了預處理，根據(jù)待檢測毛巾的最大尺寸設計了最大預處理尺寸的錨框。加入該限值后，消除了上述干擾因素的影響，檢測效果明顯提高。圖13表示最大預處理大小的錨框。

圖13 篩選錨框

4 結(jié)語

本文提出了一種基于YOLOv5算法的自動化布匹瑕疵檢測系統(tǒng)，并將其成功應用到實際的工業(yè)生產(chǎn)當中。相對于傳統(tǒng)的人工檢測，通過應用YOLOv5算法，取得了良好的檢測效果，有效地降低了生產(chǎn)成本，顯著提高了紡織行業(yè)的經(jīng)濟效益。由于YOLOv5的權(quán)重文件小且運行速度快，使得系統(tǒng)在硬件配置條件有限的前提下，仍然可以成功檢測出流水線上的布匹瑕疵，已充分滿足實際生產(chǎn)中的檢測需求。

此后的工作將進一步關注更多復雜場景的布匹瑕疵，為自建數(shù)據(jù)集加入更多的復雜布匹瑕疵類型，進一步擴展模型可以檢測的瑕疵類別。同時繼續(xù)對現(xiàn)有的YOLOv5 算法進行改進，提升算法在實際應用中的效果，同時對系統(tǒng)可以輸出的內(nèi)容進行進一步的擴展，不僅僅是輸出布匹的良品與瑕疵，更進一步輸出瑕疵的類別與位置。