基于PCS-YOLOv5輕量化模型的布匹外觀缺陷檢測方法

收稿日期：2024-02-22

DOI：10.19850/j.cnki.2096-4706.2024.05.020

摘" 要：針對現(xiàn)有布匹外觀陷檢測模型參數(shù)數(shù)量大、計算量大、部署于普通工控機檢測速度慢等問題，文章提出一種輕量化模型PCS-YOLOv5。首先采用PP—LCNet替換YOLOv5主干網(wǎng)絡實現(xiàn)模型輕量化，加快推理速度；在Neck網(wǎng)絡引入CBAM注意力模塊，抑制干擾信息關注重要特征，提高目標檢測精度；修改邊界框回歸損失函數(shù)為SIoU，增強缺陷定位準確率。實驗測試結果表明，PCS-YOLOv5相比YOLOv5原模型，在mAP@0.5基本保持一致的情況下，檢測速度提高10.2%，參數(shù)數(shù)量減少56.8%，運算量降低63%，模型權重減小56%，可滿足現(xiàn)場布匹外觀缺陷在線檢測要求。

關鍵詞：YOLOv5；輕量化；注意力機制；SioU

中圖分類號：TP391.4" " 文獻標識碼：A" 文章編號：2096-4706（2024）05-0089-06

A Fabric Appearance Defect Detection Method Based on PCS-YOLOv5

Lightweight Model

LIU Weixin， LIN Bangyan， ZHANG Binteng， YAO Qiguang， XU Chengye

（Dongguan New Generation Artificial Intelligence Industry Technology Research Institute， Dongguan" 523867， China）

Abstract： In response to the problems of large number of parameters， high computational complexity， and slow detection speed when deployed on ordinary industrial computers in existing fabric appearance defect detection models， this paper proposes a lightweight model PCS-YOLOv5. Firstly， PP—LCNet is used to replace the YOLOv5 backbone network to achieve model lightweight and accelerate inference speed. It introduces the CBAM attention module into the Neck network to suppress interference and focus on important features， thereby improving the accuracy of object detection. It modifies the bounding box regression loss function to SIoU to enhance the accuracy of defect localization. The experimental test results show that compared to the YOLOv5 original model， PCS-YOLOv5 performs better in mAP@0.5 under the condition of basic consistency， the detection speed is increased by 10.2%， the number of parameters is reduced by 56.8%， the computational complexity is reduced by 63%， and the model weight is reduced by 56%， which can meet the requirements of online detection of fabric appearance defects on site.

Keywords： YOLOv5; lightweight; Attention Mechanism; SIoU

0" 引" 言

布匹表面的外觀缺陷會影響其美觀和產品價格[1]，瑕疵缺陷會使布匹產品價格降低45%～65%[2，3]，因此目前國內的布匹生產企業(yè)都會對布匹出廠前進行檢測，保證產品質量[4]。

目前國內外大部分布匹廠家還是采用人工檢測的方法，存在檢測效率低、漏檢率高、誤檢率高、人力成本高等缺點[5，6]；有部分廠家采用傳統(tǒng)機器視覺的方法實現(xiàn)布匹外觀缺陷自動化檢測，該方法可以提高檢測效率[7]，但由于其依賴人工設計的特征和算法，存在無法檢測多種缺陷類別、通用性差、誤檢率高、漏檢率高等問題[8，9]，無法滿足布匹廠家實際生產檢測需求。

隨著近年深度學習技術快速發(fā)展，其在印刷電路、半導體、新能源、醫(yī)藥、食品包裝等行業(yè)領域應用取得較好的進展，也有國內外相關學者將深度學習技術應用于布匹外觀缺陷檢測。文獻[10，11]采用Fast R-CNN二階段目標檢測模型實現(xiàn)布匹瑕疵檢測，取得一定效果，但模型存在檢測速度慢、參數(shù)數(shù)量多、運算量大問題；文獻[12]提出基于級聯(lián)卷積神經(jīng)網(wǎng)絡的復雜花色布匹瑕疵檢測算法，該算法能較好實現(xiàn)多種布匹瑕疵檢測，mAP達到70.7%，但檢測時間長達幾百毫秒；文獻[13]提出基于Squeeze-and-Excitation（SE）模塊的YOLOv5布匹瑕疵檢測算法，可提高布匹瑕疵檢測準確率，但該模型參數(shù)、運算量較大，對硬件有較高要求；文獻[14]針對多種紡織物缺陷檢測準確率低問題，提出Improved-YOLOX的網(wǎng)絡模型，通過在主干網(wǎng)絡加入注意力模塊、在Neck部分引入動態(tài)卷積、采用GIoU損失函數(shù)三方面實現(xiàn)紡織物缺陷檢測較高準確率，在三種不同的織物數(shù)據(jù)集上平均達到超過96.47%的mAP；文獻[15]為織物缺陷檢測提出一種基于YOLOv7優(yōu)化的模型，采用新型卷積算子增強特征提取，同時采用HardSwish激活函數(shù)及Wise-IoU v3損失函數(shù)提升模型準確性，相比原模型mAP指標提高7.6%。

盡管深度學習目標檢測技術研究在布匹外觀缺陷檢測取得一定進展，但在布匹實際應用現(xiàn)場還是存在較多問題。布匹廠家現(xiàn)場的缺陷檢測系統(tǒng)的工控機普遍配置不高，計算性能一般，但目前布匹缺陷檢測模型普遍存在模型參數(shù)量大、計算量大問題[16]，無法滿足布匹廠家現(xiàn)場實際生產使用需求。因此本文研究一種輕量化布匹外觀缺陷檢測模型PCS-YOLOv5，采用PP—LCNet替換YOLOv5主干網(wǎng)絡實現(xiàn)模型輕量化，提高推理速度；在Neck網(wǎng)絡引入CBAM（Convolutional Block Attention Module）注意力模塊，抑制干擾信息提取關鍵特征，提高目標檢測精度；修改邊界框回歸損失函數(shù)為SIoU（Scylla-intersection over Union），增強缺陷定位準確率。

1" PCS-YOLOv5模型

1.1" YOLOv5模型

YOLOv5目標檢測模型于2020年6月份發(fā)布，是一種一階段的深度學習目標檢測模型，根據(jù)網(wǎng)絡結構深度、寬度的不同分為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四個不同模型大小的版本，其中的YOLOv5s目標檢測模型是參數(shù)量、計算量最小，檢測速度最快的模型，比較適合布匹外觀缺陷在線檢測的實時性要求。YOLOv5s網(wǎng)絡模型結構主要由主干網(wǎng)絡（Backbone）、加強特征融合網(wǎng)絡（Neck）以及檢測層（head）三部分組成，圖1是YOLOv5s的網(wǎng)絡結構圖。

主干網(wǎng)絡由Focus、Conv、C3、SPP等模塊組成。Focus模塊將數(shù)據(jù)進行切片操作，再將多通道維數(shù)拼接，最后進行下采樣操作，然后再通過Conv、C3、SPP結構生成新的特征圖；Neck網(wǎng)絡采用FPN特征金字塔結構與PAN路徑聚合網(wǎng)絡結構，通過上下采樣操作將不同層次的特征圖進行融合；Head目標檢測頭主要對骨干網(wǎng)絡提取的特征圖進行多尺度目標檢測，并生成目標類別的概率和邊框位置。

圖1" YOLOv5s網(wǎng)絡結構圖

本文主要通過采用PP-LCNet替換骨干網(wǎng)絡、引入CBAM注意力模塊、SIoU損失函數(shù)更改三方面去優(yōu)化模型輕量化的同時保證較好的檢測效果，圖2是改進后的網(wǎng)絡結構。

1.2" 應用PP-LCNet骨干網(wǎng)絡

PP-LCNet是百度團隊在2021年提出的一種基于MKLDNN加速策略下的輕量級網(wǎng)絡，其能在保持較好的目標檢測效果下提高模型的推理速度。PP-LCNet網(wǎng)絡結構如圖3所示，由卷積層（Stem）、深度卷積模塊（DepthSepConv）、全局池化層（GAP）、全連接層（FC）等組成[17]。Stem層為3×3普通卷積層，DepthSepConv模塊中先進行深度卷積操作，再進行點卷積操作，最后再接SE層。SE層先由全局池化層進行特征壓縮，再經(jīng)過兩個全連接層、hard-Swish激活函數(shù)得到輸出特征圖。其中DepthSepConv模塊采用hard-Swish激活函數(shù)替換ReLU激活函數(shù)，減少激活函數(shù)計算量，提高網(wǎng)絡性能。

1.3nbsp; 引入CBAM注意力模塊

CBAM是一種注意力機制模塊[18]，由通道注意力模塊和空間注意力模塊串行方式組合，對圖像特征的建模和表示能力，使模型能夠動態(tài)調整特征圖的權重，以適應不同的任務和場景，CBAM網(wǎng)絡結構如圖4所示。

通道注意力模塊網(wǎng)絡結構如圖5所示，首先對輸入特征圖分別進行全局最大池化和全局平均池化，從空間維度對特征進行壓縮，再將特征圖輸入多層感知機（MLP）得到兩個通道注意力向量，然后將兩個向量融合后輸入Sigmoid激活函數(shù)得到注意力特征圖，最后將注意力特征圖和輸入特征圖加權后得到空間注意力模塊的輸入特征圖。

圖3" PP-LCNet網(wǎng)絡結構

圖4" CBAM網(wǎng)絡結構

通道注意力模塊公式為：

（1）

其中， 和" 分別表示平均池化特征和最大池化特征，σ表示Sigmoid函數(shù)。AvgPool和MaxPool分別表示最大池化操作和平均池化操作。

空間注意力模塊網(wǎng)絡結構如圖6所示，首先在通道維度上進行均值池化和最大池化操作得到兩個特征圖，并將兩個特征圖疊加后再進行7×7卷積操作，最后將卷積后的特征圖輸入Sigmoid激活函數(shù)得到空間注意力向量。空間注意力模塊數(shù)學表達式為：

（2）

1.4" 采用SIoU損失函數(shù)

YOLOv5中采用CIoU回歸損失函數(shù)，沒考慮真實框與候選框之間的不布匹方向問題，影響模型收斂速度和推理速度。為加快布匹檢測模型網(wǎng)絡收斂速度和提高推理性能，采用SIoU作為損失函數(shù)，將真實框與候選框之間的向量夾角納入考慮范圍，重新定義相關損失函數(shù)[19]。

圖6" 空間注意力模塊結構圖

圖7為SIoU損失函數(shù)示意圖，σ表示真實框和候選框中心點的距離，CW和CH分別表示中心的寬度差和高度差。SIoU主要包含角度損失、距離損失、形狀損失和IoU損失。其中角度損失公式為：

（3）

其中，CH表示真實框和候選框的高度差，σ表示真實框和候選框中心點的距離差。

圖7" SIoU損失函數(shù)示例圖

距離損失公式為：

（4）

其中：

，" " " " " （5）

（6）

CW表示真實框和候選框的寬度差，（，）表示真實框中心坐標，（，）表示候選框中心坐標。

形狀損失的公式為：

（7）

（8）

式中：w和wgt分別表示候選框和真實框的寬度，h和hgt分別表示預測框和真實框的高度，θ表示形狀損失的關注度。

2" 實驗測試與分析

2.1" 實驗平臺

軟件環(huán)境：深度學習框架PyTorch 1.12、集成開發(fā)環(huán)境spyder 5.0、第三方函數(shù)庫Anaconda3-5.2.0以及操作系統(tǒng)Windows 10。

硬件環(huán)境：酷睿i7-11700，英偉達RTX3060，16 GB內存，1 TB硬盤。

2.2" 測試數(shù)據(jù)集

測試數(shù)據(jù)集收集來自某布匹工廠的飛拉架、油漬、漏針、破洞4種常見的布匹缺陷，數(shù)據(jù)集大約有600張圖像，每張圖像包含飛拉架、油漬、漏針、破洞中的1～2種缺陷。該數(shù)據(jù)集部分圖像樣本，如圖8所示，整個數(shù)據(jù)集被劃分為兩個子集，480張缺陷圖片用于訓練和120張缺陷圖片用于測試。

（a）飛拉架" " " " " " " " " （b）漏針

（c）漏洞" " " " " " " " " （d）油漬

圖8" 布匹缺陷樣本圖片

2.3" 評價指標

分別采用平均準確率mAP@0.5、每秒檢測幀數(shù)FPS、運算量，以及模型參數(shù)量、權重大小作為衡量模型檢測精度、檢測速度、復雜度的指標，其中mAP@0.5計算為：

；（9）

其中AP表示候選框與真實框的交并比置信度取0.5時，對于檢測過程中的某一類具有x個正樣本預測框按置信度從高到低排列，每個候選框對應一個查準率Pi，將所有的查準率求和取平均得到該類別的AP值。mAP@0.5是代表檢測目標中所有類別的AP取平均，能直觀的反映出模型的性能，其中n為類別數(shù)。

2.4" 實驗設計與分析

2.4.1" 消融實驗

為驗證本文算法各個模塊改進的有效性，在收集的布匹數(shù)據(jù)集上進行消融實驗。本文設計4組實驗，每組實驗在不同條件下進行。實驗設置如下：

1）使用YOLOv5s原始模型作為消融實驗的基準線。

2）采用PP—LCNet替換YOLOv5主干網(wǎng)絡實現(xiàn)模型輕量化。

3）在2）基礎上在Neck網(wǎng)絡引入CBAM注意力模塊，提高目標檢測精度。

4）在3）基礎上修改邊界框回歸損失函數(shù)為SIoU，增強缺陷定位準確率。

表1是消融實驗的結果，可看出，采用PP—LCNet替換YOLOv5主干網(wǎng)絡實現(xiàn)輕量化，模型參數(shù)量、權重大小、運算量分別下降了56.7%、55.9%、63.0%，檢測速度從84.5幀/秒提升到93.5幀/秒，但mAP@0.5相比原模型明顯下降了3.7%；在Neck網(wǎng)絡引入CBAM注意力模塊后，模型參數(shù)量、權重大小、運算量沒有明顯變化，mAP@0.5提升到0.942，但相比原模型低2.3%；修改邊界框回歸損失函數(shù)為SIoU后，模型參數(shù)量、權重大小、運算量、檢測速度基本不變，mAP@0.5提升到0.963，檢測效果與原模型基本保持一致，檢測速度相比原模型提高10.1%。

2.4.2" 不同模型對比實驗

為驗證本文提出模型算法的優(yōu)越性，將本文研究的PCS-YOLOv5模型與YOLOv4、YOLOv5s、Faster-RCNN、SSD、YOLOv6s等主流模型基于本文收集的布匹缺陷數(shù)據(jù)集進行對比實驗，實驗測試結果如表2所示，可看出，相比YOLOv4、Faster-RCNN、SSD模型，PCS-YOLOv5模型在mAP@0.5提高了11.8%、17.7%、14.2%，同時檢測速度提高到93.1幀/秒，運算量、模型權重、參數(shù)數(shù)量都大幅減小；相比YOLOv5s原模型，本模型在參數(shù)數(shù)量減少56.8%，運算量降低63%，模型權重減小了56%的情況下，mAP@0.5與YOLOv5s原模型基本相當，而且檢測速度從84.5幀/秒提升到93.1幀/秒；相比較新的YOLOv6s模型，本模型在檢測精度和檢測速度上比較接近，但在模型大小、參數(shù)數(shù)量、運算量方面都有著明顯優(yōu)勢。綜上，本文研究的PCS-YOLOv5相對目前主流模型，在保證輕量化模型的同時，具備較高的檢測精度和檢測速度，具備良好的實際應用價值。

表2" 不同模型對比測試結果

模型 mAP

@0.5 FPS/（幀/秒） Params/M Weights/MB 運算量（GFLOPs）

YOLOv4 0.845 30.5 143.20 244.3 143.3

YOLOv5s 0.965 84.5 7.07 14.1 16.5

Faster-RCNN 0.786 8.5 947.30 108.0 947.4

SSD 0.821 23.6 273.70 90.5 273.7

PCS-YOLOv5 0.963 93.1 3.05 6.2 6.1

YOLOv6s 0.959 92.8 45.20 38.7 45.2

3" 結" 論

為解決布匹外觀缺陷檢測模型中存在的參數(shù)冗余、計算量大以及在普通工業(yè)計算機上檢測速度慢等痛點，本文研究一種PCS-YOLOv5模型，主要創(chuàng)新性及測試效果如下：

1）首先將YOLOv5的基礎網(wǎng)絡結構替換為PP-LCNet，消融實驗表明可明顯提高模型檢測速度。

2）在模型Neck部分嵌入CBAM注意力模塊，有效提取關鍵重要特征，提高目標檢測精度。

3）采用SIoU損失函數(shù)替換CIoU函數(shù)進行優(yōu)化，有效提高缺陷位置定位的精確性。

4）PCS-YOLOv5應用于布匹外觀缺陷檢測場景，mAP達到0.963，每秒可檢測圖片數(shù)量FPS = 93.1，具備良好的實際應用價值。

參考文獻：

[1] RASHEED A，ZAFAR B，RASHEED A，et al. Fabric Defect Detection Using Computer Vision Techniques： A Comprehensive Review [J/OL].Mathematical Problems in Engineering，2020，2020：1-24[2023-07-20].https：//doi.org/10.1155/2020/8189403.

[2] OUYANG W B，XU B G，HOU J，et al. Fabric Defect Detection Using Activation Layer Embedded Convolu-tional Neural Network [J].IEEE Access，2019，7：70130-70140.

[3] LI C，LI J，LI Y F，et al. Fabric Defect Detection in Textile Manufacturing： A Survey of the State of the Art [J/OL].Security and Communication Networks，2021，2021：1-13[2023-07-20].https：//doi.org/10.1155/2021/9948808.

[4] GUO Y B，KANG X J，LI J F，et al. Automatic Fabric Defect Detection Method Using AC-YOLOv5 [J/OL].Electronics，2023，12（13）：2950[2023-07-26].https：//doi.org/10.3390/electronics12132950.

[5] JING J F，WANG Z，R?TSCH M，et al. Mobile-Unet： An Efficient Convolutional Neural Network for Fabric Defect Detection [J].Textile Research Journal，2022，92（1-2）[2023-06-25]. https：//doi.org/10.1177/0040517520928604.

[6] HUANG Y B，XIANG Z. RPDNet： Automatic Fabric Defect Detection Based on a Convolutional Neural Network and Repeated Pattern Analysis [J/OL].Sensors，2022，22（16）：6226[2023-06-26]. https：//doi.org/10.3390/s22166226.

[7] POURKARAMDEL Z，F(xiàn)EKRI-ERSHAD S，NANNI L. Fabric Defect Detection Based on Completed Local Quartet Patterns and Majority Decision Algorithm [J/OL].Expert Systems with Applications，2022，198：116827[2023-07-10].https：//doi.org/10.1016/j.eswa.2022.116827.

[8] CHEN M Q，YU L J，ZHI C，et al. Improved Faster R-CNN for Fabric Defect Detection Based on Gabor Filter with Genetic Algorithm Optimization [J/OL].Computers in Industry，2022，134：103551[2023-06-22]. https：//doi.org/10.1016/j.compind.2021.103551.

[9] HU F，GONG J，F(xiàn)U H，et al. Fabric Defect Detection Method Using SA-Pix2pix Network and Transfer Learning [J/OL]. Applied Sciences，2023，14（1）：41[2023-06-22].https：//doi.org/10.3390/app14010041.

[10] 車翔玖，劉華羅，邵慶彬.基于Fast RCNN改進的布匹瑕疵識別算法[J].吉林大學學報：工學版，2019，49（6）：2038-2044.

[11] LIU Z F，LIU X H，LI C L，et al. Fabric Defect Detection Based on Faster R-CNN [C]//Proceedings of the 9th Inter-national Conference on Graphic and Image Processing.Qingdao：SPIE，2018：106150A.

[12] 孟志青，邱健數(shù).基于級聯(lián)卷積神經(jīng)網(wǎng)絡的復雜花色布匹瑕疵檢測算法 [J].模式識別與人工智能，2020，33（12）：1135-1144.

[13] ZHENG L M，WANG X J，WANG Q，et al. A Fabric Defect Detection Method Based on Improved YOLOv5 [C]//2021 7th International Conference on Computer and Communications （ICCC）.Chengdu：IEEE，2021：620-624.

[14] CHEN C Z. An Improved-YOLOX Model for Detection of Fabric Defects [J/OL]. IAENG International Journal of Computer Science，2024，51（1）：1-7[2023-06-27].https：//www.iaeng.org/IJCS/issues_v51/issue_1/IJCS_51_1_01.pdf.

[15] LIU B B，WANG H Y，CAO Z F，et al. PRC-Light YOLO： An Efficient Lightweight Model for Fabric Defect Detection [J/OL].Applied Sciences，2024，14（2）：938（2024-01-22）.https：// doi.org/10.3390/app14020938.

[16] LI X S，ZHU Y. A Real-Time and Accurate Convolutional Neural Network for Fabric Defect Detection [J/OL].Complex amp; Intelligent Systems，2024：1-17[2023-07-22]. https：//doi.org/10.1007/s40747-023-01317-8.

[17] CUI C，GAO T Q，WEI S Y，et al. PP-LCNet： A Lightweight CPU Convolutional Neural Network [J/OL].arXiv：2109.15099 [cs.CV].（2021-09-17）.https：//arxiv.org/abs/2109.15099v1.

[18] WOO S，PARK J，LEE J-Y，et al. CBAM： Convolutional Block Attention Module [C]//Proceedings of the European conference on computer vision（ECCV）.Munich：Springer，2018：3-19.

[19] GEVORGYAN Z. SIoU Loss： More Powerful Learning for Bounding Box Regression [J/OL].arXiv：2205.12740 [cs.CV].（2022-05-25）.https：//arxiv.org/abs/2205.12740.

作者簡介：劉偉鑫（1992—），男，漢族，廣東揭陽人，工程師，碩士研究生，研究方向：機器視覺與人工智能應用。