基于改進Yolov5的花色布匹瑕疵檢測方法

時造雄，茅正沖

(江南大學 物聯網工程學院，江蘇 無錫 214000)

0 引言

中國是世界上最大的布匹生產國，布匹瑕疵的識別與檢測在生產過程中是十分重要的一個環節，傳統的布匹瑕疵檢測與識別是通過人工的方式進行的，存在受主觀影響較大、檢測效率低下等問題。近年來，隨著計算機算力的突破，深度學習技術發展迅猛，在工業生產的瑕疵檢測領域已經產生了越來越多的應用。

目前主流的目標檢測算法分為單階段和雙階段兩種類型，單階段算法以SSD(single shot multibox detector)和YOLO(you only look once)為典型，而雙階段則以Faster R-CNN(faster region-CNN)網絡為主[1]。

在針對花色布匹的瑕疵檢測上，文獻[2]在Faster R-CNN網絡模型的基礎上進行改進，提升了對較小目標瑕疵的檢出能力及復雜背景下的瑕疵檢出能力，但仍存在速度不足的缺陷[2]；文獻[3]提出了雙路高分辨轉換網絡的花色布匹瑕疵檢測方法，消除復雜花色背景的影響并且解決了少數類瑕疵樣本準確率不高的問題，該模型存在對小目標瑕疵的檢測優化不足的明顯短板，整體精度較低[3]；文獻[4]提出基于級聯卷積神經網絡的復雜花色布匹瑕疵檢測算法，該算法一定程度上改善了對瑕疵檢測的速度和精度要求[4]；文獻[5]提出基于深度卷積神經網絡的分類不平衡紋理布匹瑕疵檢測方法，能有效減輕瑕疵種類分布不均對模型的影響，且降低了模型對部分瑕疵較少的不敏感性，但該模型的精度表現一般，仍有待改善[5]。綜上所述之前國內外得研究并不能滿足精度和速度的雙重要求。

在以上研究的基礎上，本文主要在YOLOv5網絡基礎上進行改進，提出了DD-YOLOv5(defect detection YOLOv5)瑕疵檢測模型，首先將CoTNet與YOLOv5模型相結合，用于指導動態注意力矩陣的學習，增強視覺表示能力；其次引入CBAM(convolutional block attention module)注意力機制，讓網絡學會關注重點信息；接著使用α-IoU損失函數代替原網絡中G-IoU損失函數，提高邊界框的回歸精度；最后增加檢測頭，提升網絡對小目標的檢測能力。經實驗證明，改進后的網絡能同時解決上述文章中提出的花色布匹瑕疵檢測的如瑕疵目標小、種類分布不均、長寬比較為極端以及易與背景混淆等檢測難點，且在速度上優于其它算法，表明該方法在花色布匹瑕疵檢測任務中具有良好的檢測性能。

1 系統結構及原理

1.1 原生YOLOv5模型

YOLOv5系列網絡整體沿用系列網絡整體布局，主要由Backbone(主干)、Neck(頸部)、Head(頭部)3個部分組成，其結構如圖1所示。

圖1 YOLOv5網絡結構圖

1.2 原生算法系統結構分析

YOLOv5目標檢測網絡的主干部分主要用于提取圖像淺層和深層的各項特征并整合。

主干部分中CSP1模塊主要借鑒了殘差網絡的思想，由殘差映射替換了以往的基礎映射，使得深層次的網絡模型達到更好的訓練效果，在殘差網絡出現之前，學術界往往認為網絡層數越深則獲取信息越多，模型泛化效果越好。然而后續的研究表明當網絡的層數加深時，模型的準確率反而有所降低。這是由于反向傳播過程中的梯度爆炸和梯度消失所造成。也就是說，網絡越深，模型越難優化。為了能讓深層次的網絡模型達到更好的訓練效果，殘差網絡中提出由殘差映射替換了以往的基礎映射。

SPPF模塊主要作用是對高層特征進行提取并融合，在融合的過程中多次運用最大池化，盡可能多地去提取高層次的語義特征。

頸部網絡的主要作用是將主干網絡提取的淺層和深層信息加強并融合。該部分采用的是特征金字塔網絡(FPN，feature pyramid network)結合路徑聚合網絡(PAN，path aggregation network)的設計[6-7]。金字塔結構是一種自頂向下的側邊連接，在所有尺度上構建出高級語義特征圖的結構，該結構經過多層的網絡后，底層的目標信息已經非常模糊了，因此網絡在頸部又結合了路徑聚合網絡，加入了自底向上的路線，彌補并加強了定位信息[8]。

檢測頭部分主要包括不同的損失函數。其主要目標是通過降低預測框和真實框的損失函數來獲得最佳的目標檢測框[9]。

2 改進措施

2.1 改進后系統原理圖

本文提出的DD-YOLOv5模型結構如圖2所示。

圖2 DD-YOLOv5網絡結構圖

通過圖2可知，與原生網絡相比，本文網絡主要改進點為：首先用CoT3模塊代替原有CSP1模塊，主要考慮CoT模塊能夠充分利用輸入信息上下文的特點，以克服布匹瑕疵檢測中大部分瑕疵為較小目標的難點[10]；其次在頸部網絡中引入CBAM注意力機制，在骨干網絡后進一步加強針對特征的信息篩選；最后在網絡的檢測層處，算法增加了一個檢測頭，使檢測頭覆蓋更大的檢測范圍，網絡能夠更加全面的關注到想要的信息。

2.2 CoTNet

Transformer的出現極大地促進了自然語言處理領域的發展，該風格的網絡架構近期在計算機視覺領域也掀起了一波浪潮并取得了極具競爭力的結果[11]。盡管如此，現有的架構直接在二維特征圖上執行自注意力并得到注意力矩陣，但是關于近鄰豐富的上下文信息卻并未得到充分探索。

CoT模塊是一種能夠充分利用二維特征圖上下文信息的注意力機構，其結構如圖3所示。

圖3 CoT模塊

本文中所提到的CoTNet結構由CoT模塊代替主干網絡中的CSP1模塊而組成。

由圖3可知假設輸入二維特征X∈RH×W×C，而鍵向量K， 輸入特征Q以及值向量V分別定義為：

K=X，Q=X，V=XWv

(1)

其中：Wv是指將X進行了特征的映射得到新的V。CoT模塊首先采用k×k卷積提取上下文信息，所得K1∈RH×W×C自然地可以反應近鄰間的上下文信息，我們將其視作輸入X的靜態上下文表達。將前述所得K1與Q進行拼接并通過兩個連續1×1卷積Wθ和Wδ來計算并得到注意力矩陣A：

A=[K1，Q]WθWδ

(2)

接下來，基于上述所得注意力矩陣A和值向量V，我們生成增強特征K2：

K2=V*A

(3)

上述所得增強特征K2可以捕獲關于輸入的動態特征交互，我們將其稱之為輸入X的動態上下文表達。最后將上述兩種上下文表達通過注意力機制融合即可得到CoT模塊的輸出。

CoT模塊能將上下文信息挖掘與自注意力學習集成到統一架構中，充分探索近鄰間的上下文信息以一種高效方式提升自注意力學習，進而提升輸出特征的表達能力，提升了視覺表達能力。本文在DD-YOLOv5 模型的主干網絡中多次應用該模塊，有利于模型對圖像深淺特征的全局提取，重點信息可以被加強，從而使花色布匹瑕疵中占比較多的瑕疵的全局特征能夠得到加強。

2.3 CBAM注意力機制

在花色布匹瑕疵檢測的過程中，部分瑕疵目標僅占幾個像素點，部分瑕疵與背景極為相似，這些瑕疵的特征信息極易在深層網絡中丟失，很容易出現漏檢、錯檢。而CBAM注意力機制可有效增大小目標在整張特征圖中的權重，使得各種瑕疵信息更容易在網絡中學習到[12]。其結構如圖4所示。

由圖可知，CBAM模塊包括通道注意力模塊和空間注意力模塊兩個子模塊。

首先利用通道注意力模塊來生成通道注意圖，特征圖的每個通道都被認為是一個特征檢測器，因此通道的注意力能夠集中在給定輸入圖像中有意義的部分；在該模塊中，為了有效地計算通道注意力，采用壓縮輸入特征映射的空間維度的方法，即同時使用平均池化和最大池化的方法，這種做法比單獨使用一種池化方法更具有表征力。

此時將通道注意力模塊的輸出作為空間注意力模塊的輸入，然后利用空間注意力模塊去生成空間注意圖；與通道注意模塊不同的是，空間注意模塊更加關注的是信息的位置去作為通道注意模塊的補充；為了計算空間注意力，需要在通道中使用平均池化和最大池化操作，將它們連接起來以生成一個有效的特征描述符，然后使用兩個池化操作聚合一個特征圖的通道信息，生成兩個二維的特征圖，這兩個特征圖分別表示了通道的平均池化特性和最大池化特性，然后利用一個標準的卷積層進行連接和卷積操作，得到最終需要的二維空間注意力圖。

這樣一來CBAM模塊可同時關注空間和通道信息，使得提取到的高層特征更全面更豐富[13-14]。

2.4 α-IoU損失函數

邊界框(Bbox，bounding box)是目標檢測中用于框選出待檢測目標的一個方框，一個目標檢測器通常由邊界框回歸和一個分類回歸組成[15]。

早期的目標檢測工作使用n范數損失函數進行邊界框回歸，這種方法對邊界框的大小極為敏感，交并比 (IoU，intersection over union)損失函數的出現彌補了這一缺陷。與n范數損失函數相比，IoU損失函數對邊界框的尺度是不變的。然而，當預測框與邊界框的真實值不重疊時，IoU損失會出現梯度消失問題，導致收斂速度減慢，進而導致檢測器不準確。這激發了幾種改進的基于IoU的損失函數設計，包括GIoU (generalized IoU)、DIoU (distance IoU)和CIoU (complete IoU)。YOLOv5原本采用的損失函數為Loss_GIoU，當預測的邊界框在真實的邊界框內部時，GIoU無法判斷出正確的最小邊界框[16]。

在花色布匹瑕疵檢測中有部分瑕疵長寬比較為極端，處理不當極容易出現漏檢情況，采用更有效的邊界框損失函數此時顯得尤為重要。為解決該問題，本文引入α-IoU予以改進，在原有的基礎上更加關注高IoU目標，能夠優化所有層次的目標，實現不同水平的檢測框回歸精度[16]。Lossα-IoU的公式如下所示：

(4)

通過對Lossα-IoU中的參數α進行調制，可以推導出現有的大多數IoU。本文中采用目前常用效果最好的LossCIoU改進為Lossα-IoU，其定義如下所示：

(5)

其中：c代表的是能夠同時包含預測框和真實框的最小閉包區域的對角線距離，而v衡量長寬比的一致性，其定義如公式(6)；β是一個正的權衡參數，其數值如式(7)，ρ2α(b，bgt)分別代表了預測框和真實框的中心點的歐式距離。

(6)

(7)

2.5 多尺度檢測頭

本文改進的算法在檢測頭部分增加了一個低維且高分辨率的檢測頭，該檢測頭主要是用來處理難以檢測的小目標部分[18]。

增加的檢測頭由低層高分辨率的特征圖生成，當網絡的輸入圖像尺寸為960*960時，原算法中的3個檢測頭對應的特征圖大小分別為120*120，60*60，30*30，而增加的檢測頭特征圖大小為240*240，該檢測頭能充分利用到淺層特征信息，明顯降低卷積帶來的小目標區域特征信息丟失的影響，雖然在計算量上有所增加，但能明顯改善小目標的檢測精度[19-20]。

3 實驗結果與分析

3.1 數據集及瑕疵介紹

本文選用的數據采集自佛山南海紡織車間，共計2 739張含有瑕疵的圖片，其中2 122張作為訓練集，617張作為測試集。圖片中包括沾污、錯花、水印、花毛、縫頭、縫頭印、蟲粘、破洞、褶子、織疵、漏印、蠟斑、色差、網折共計14種瑕疵類型，圖5為瑕疵數量圖，沾污這種瑕疵的占比超過80%，種類分布極其不均衡。

圖5 瑕疵數量

圖6分別為小目標瑕疵、長寬比極端瑕疵、與背景及其相似的瑕疵展示。

本文主要針對圖6中3種瑕疵檢測中的難點問題搭建檢測平臺，并使用改進后的算法進行檢測。

3.2 實驗環境搭建

本文硬件配置環境如表1所示。

表1 實驗環境

3.3 實驗結果展示

圖7為多種瑕疵實際檢測效果圖的典型瑕疵檢測細節圖的展示。

圖7 部分瑕疵檢測實際效果

通過以上實際檢測效果圖可以發現，在本文的算法下，對布匹瑕疵的檢測效果已經可以達到工業現場級別的要求，且大部分的瑕疵檢測識別率更是在0.9以上。可以充分說明本文算法在針對花色布匹的瑕疵檢測上效果卓然。

3.4 評估標準

本文中引入以下評估標準評估模型性能：

精確率(P，precision)又稱查準率，指正確預測為正占全部預測為正的比例，如式(8)所示：

(8)

召回率(R，recall)又稱查全率，指正確預測為正占全部實際為正的比例，如式(9)所示：

(9)

平均精度(AP，average precision，)由精確率和召回率計算得出，根據召回率值繪出精確率的折線圖，計算出該折線下的面積，如式(10)所示：

(10)

平均精度均值(mAP，mean average precision)是指C個不同缺陷的平均精度AP的平均值，如式(11)所示：

(11)

3.5 消融實驗

為驗證本研究提出的關于 YOLOv5 的4種改進策略，在數據集上展開消融試驗，以判斷每個改進點的有效性，依次在原有模型基礎上加上改進措施，使用改進用“√”表示，未使用改進則表格為空。訓練過程使用相同的參數配置，結果如表 2 所示。

表2 消融實驗結果

消融實驗以原生YOLOv5網絡模型為基準，輸入圖像分辨率均為960*960。

通過表2中第1組和第2組的實驗對比，可以發現當檢測層由三層增加到四層，mAP由71.1%升到了75.6%，結果表明增加的針對小目標的提取淺層信息的檢測頭起到了顯著效果，很明顯的降低了漏檢率。

通過第2組和第3組對比，當網絡中增加了CoT模塊形成CoTNet后，mAP由75.6%提升到77.4%，主要原因是因為CoT模塊能多挖掘網絡中的上下文信息，進而對圖像深淺特征進行全局提取，這一舉動雖然損失了較小的檢測速率，但能顯著提高對目標的檢測準確率。

通過第3組與第4組實驗對比顯示，在頸部網絡增加了CBAM模塊的網絡mAP值從77.4%提升到79.3%，表明CBAM模塊能夠更多地關注有用的信息，提高對重點瑕疵如沾污的識別率。

通過第4組與第5組的實驗數據對比，瑕疵識別的mAP值由79.3%提升到了80.0%，說明在引入了新的邊界框損失函數后，檢測器能更好地進行邊界框的回歸，從而使得長寬比極端的瑕疵的漏檢率下降。

綜合上述可知，在結合了多種針對YOLOv5算法的改進措施后，本文的算法能夠在布匹瑕疵的專項檢測中取得較好的效果，充分說明上述改進措施在實際檢測中是有實際成效的。

3.6 損失函數收斂曲線

圖8和圖9為原生算法和改進后算法的損失函數收斂情況。

圖8 原生網絡損失函數收斂曲線

圖9 改進后網絡損失函數收斂曲線

其中實線為定位損失box_loss，指預測框與標定框之間的誤差，點劃線為置信度損失obj_loss，用于計算網絡的置信度，虛線為分類損失cls_loss，用于計算錨框與對應的標定分類是否正確。

通過兩圖對比可發現定位損失由明顯下降，這是由于算法中使用α-IoU代替原網絡中的G-IoU交并比計算方法，進而使得另外兩種損失也跟著有所下降，網絡整體收斂更快，效果更好。

3.7 對比實驗

為了證明DD-YOLOv5網絡模型在花色布匹表面瑕疵檢測方面的優勢，我們將其與目前幾種主流的目標檢測算法進行了對比，其對比結果如表3所示。

表3 對比實驗結果

從表3中可以得知，Faster-RCNN網絡在精確率方面不高，但召回率卻是最高，這是因為雙階段網絡結構采用候選框機制遍歷特征圖，故能將圖中的目標較齊全的檢測到，但這也同樣會使得二階段網絡計算量較大故而速度較慢，僅能達到22.4幀的速度。而同樣作為單階段目標檢測的SSD網絡雖然在檢測速率上與YOLO系列沒有過大的差距，但是在檢測精度上，無論是精確率還是召回率，比起YOLO系列都差距較大，原因在于SSD的主干網絡為VGG系列網絡，網絡層數較低，深層特征提取不全，針對花色布匹瑕疵的檢測效果較差。

同為YOLO系列的YOLOv4算法，比起YOLOv5系列算法在檢測精度上看來差距不大，僅小幅度落后于YOLOv5系列算法，但YOLOv4算法在檢測速度上比起YOLOv5系列網絡存在一定差距。

改進后的DD-YOLOv5由于增加了針對小目標檢測的檢測頭以及其他的改進措施，使得整個網絡的復雜程度有所提高，相應的在速度上有所損失，檢測速率為73.6 Hz，比原生YOLOv5算法的75.2 Hz降低了2%，但在精度綜合評估標準的mAP值上，本文算法比原生YOLOv5算法有著12.5%的檢測精度提升，故綜合精度和速度兩方面，本文算法在眾多算法中取得了較大的優勢。

總之，本文提出的DD-YOLOv5算法在速度和精度的綜合考慮下獲得了最佳效果，比起經典算法性能更好，相比同系列YOLO其他算法表現也最為優異。

4 結束語

為了解決花色布匹瑕疵檢測問題，進一步提高花色布匹表面瑕疵檢測的準確率和識別速度，本文提出了一種基于YOLOv5的DD-YOLOv5模型，使用COT模塊替代CSP1模塊形成CoTNet并作為主干網絡，利用輸入的上下文信息來指導自注意力機制的學習，能夠對圖像深淺特征進行全局提取，提升目標檢測的準確率，同時在頸部網絡中引入CBAM注意力機制，能同時關注空間和通道信息，促使專注于有用的目標對象，在檢測頭部分還增加了一個關注于小目標的檢測頭，明顯改善了網絡的精度，降低了漏檢率，最后用α-IoU替代原G-IoU交并比計算方法，使得網絡整體收斂更快，檢測效果更好。

通過實驗結果證明，DD-YOLOv5網絡模型在花色布匹瑕疵的數據集上mAP達到了80.0%，檢測速度也達到73.6fps，同時滿足了檢測精度和檢測效率的要求，對花色布匹瑕疵檢測具有重要的現實意義。今后將進一步嘗試不損失精度的前提下繼續減小網絡模型的參數量，使模型得到進一步的輕量化。