基于YOLO v3算法的不同主干網絡對織物瑕疵檢測

謝景洋， 王 巍， 劉 婷

(國合通用(青島)測試評價有限公司，山東 青島 266000)

我國紡織業的總產量超過了世界總產量的一半，企業在高量產的同時也不可避免會產生很多帶瑕疵的布匹，這些布匹會讓企業的利潤損失35%～55%[1]。所以有效實現布匹瑕疵檢測、保證生產布匹質量是企業生存的關鍵。人工檢測方法缺陷明顯，利用機器視覺檢測是目前的趨勢。

傳統的機器視覺織物瑕疵檢測方法中，頻譜分析方法[2]和視覺檢測性方法[3]過于依賴濾波器組的選擇，對復雜織物檢測性能不好，字典學習方法[4]自適應性不強，模型方法[5]的計算量大而不適合小目標檢測。這些機器視覺檢測方法都需要對圖像的特征進行提取，大部分圖像的特征提取需要有專業的計算機視覺知識，并且不同紋理的面料，其圖像的提取特征可能是不同的，常常需要對算法進行重新設計，模型的可遷移性不高。在面對大分辨率的圖片、復雜的背景環境和大小差異懸殊的布匹瑕疵中，需要更具一般性并且訓練成本低的檢測方法。

卷積神經網絡(Convolution Neural Network,CNN)的算法和網絡結構的優化，帶來了圖像識別算法準確率的極大提升[6]。CNN在圖像處理方面有著獨特的優越性，其布局更接近于實際的生物神經網絡，權值共享降低了網絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網絡這一特點，避免了特征提取和分類過程中復雜的數據重建，不需要人為地進行特征提取的操作，實現真正的端到端(End-to-End)的學習。景軍峰等[7]利用微調卷積神經網絡模型Alexnet對織物疵點圖像進行特征提取，實現在兩類織物測試中達到95% 以上的分類準確率，但該方法僅實現了2種織物瑕疵的分類任務，并不涉及位置檢測。劉閃亮[8]在目標檢測模型 SSD 的基礎上，根據織物疵點圖像的特征改進模型，提出的卷積神經網絡對織物疵點圖像有很好的檢測效果，但還是存在檢測率不是太高的問題。趙志勇[9]利用改進的Faster-RCNN 算法與前置的 Inception-ResNet-v2 網絡進行結合，實現了對多種織物瑕疵的檢測，識別率較高，但是Faster-RCNN的識別速度并不快。探索合適的卷積神經網絡算法對織物瑕疵進行檢測，實現精度和檢測速度的平衡，還需要有更多的研究。

在利用卷積神經網絡進行目標檢測的算法中，由 Redmon等[10]在 2015 年提出的YOLO算法是一種快速目標檢測算法，適用于需要快速檢測的工業領域。目前已經發展到了第3代的YOLO v3[11]利用圖像特征金字塔在小目標識別上有了明顯的提升，適用于布匹的瑕疵檢測。

由于部分布匹瑕疵的大小分布懸殊，為提高檢測精度，對輸入神經網絡的圖片分辨率要求較高(416像素×416像素→608像素×608像素)，這也明顯降低了網絡的檢測速度。將YOLO v3的算法結構應用到布匹瑕疵檢測中，對比了Darknet-53、MobileNets和Res2Net三種主干網絡搭建方式對YOLO v3算法在布匹瑕疵檢測中檢測速度、參數量和精度的影響，利用Grad-CAM可視化工具研究了三種主干網絡對不同尺度缺陷的特征提取能力。

1 YOLO v3模型原理和主干網絡修改

YOLO v3在目標檢測過程中，縮放輸入圖片的大小到正方形大小P×P作為輸入圖片，經過卷積神經網絡進行特征提取。根據預測目標的大小，分成3個尺度的輸出，如圖1所示，其中輸出y1、y2和y3分別代表預測大邊框、中邊框和小邊框的物體。網絡結構中紅虛線框內是主干網用來提取圖像的特征，為提高主干網絡的特征提取能力，主干網絡一般會在大型的分類數據上進行預訓練。從主干網絡中分成3個尺度的輸出利用了FPN[12]網絡的特征金字塔結構，其過程是利用網絡最后提取的深層特征信息上采樣后復用在前期特征圖上。在小物體的識別上，需要利用前期特征圖的信息，這時候信息丟失少，小物體的信息也不容易丟失。但是前期特征圖的信息沒有經過多層深度神經網絡的特征提取過程，而特征金字塔結構讓前期特征圖也具備一定后期特征圖的“深度提取”信息，從而提高小物體識別的準確性。圖1中輸出yi(i=1,2,3)的結構為

yi=Si×Si×(3×(4+1+C))

(1)

式中,Si為輸出的單元格個數；數字3為每個單元格的3個anchors；數字4為目標的坐標信息(tx,ty,tw,th)；數字1為置信度tconf；C為所有目標種類的概率值大小，其維度為目標類別的個數。

1.1 主干網絡

對于織物瑕疵的視覺檢測，由于部分缺陷的尺度比較小，這就需要圖片具有足夠的清晰度，這會導致神經網絡輸入的圖片較大，進而降低檢測速度。這時候，如果用一些輕量型的主干網絡，可以提升網絡的速度，并減少參數量。但輕量型的網絡容易出現欠擬合的問題。某些具有較好的特征提取能力的輕量型網絡是值得嘗試的解決方案。選取了相對于原始Darknet-53更輕量的MobileNets和Res2Net作為YOLO v3算法的主干網絡，并研究這些主干網絡在布匹瑕疵檢測中的效果差異。

1.1.1 原始Darknet-53

Darknet-53[11]是Redmon在YOLO v3算法中提出的。相比廣泛使用的ResNet-101或ResNet-152，Darknet-53具有更快的推理速度，但是在ImageNet數據集上準確率和二者相當。其核心是圖1中CBL組件的復用，CBL使用了標準卷積層(CNN)+批標準化(BN)+激活函數(Leaky ReLU)。其中Res_nuit組件中使用了殘差連接，殘差網絡的引入是為了解決網絡深度變深以后的性能退化問題[13]。

1.1.2 輕量化的MobileNets

MobileNets[14]的核心之一是將標準的卷積換成深度可分離卷積的形式。深度可分離卷積(Depthwise Separable Convolution)就是將普通卷積拆分成為一個深度卷積和一個逐點卷積。深度卷積將卷積核拆分成為單通道形式，在不改變輸入特征圖像的深度的情況下，對每一通道單獨進行卷積操作，這樣就得到了和輸入特征圖通道數一致的輸出特征圖。逐點卷積就是1×1卷積，主要作用是進行通道的信息交換和對特征圖進行升維和降維。這樣的計算方式使得深度可分離卷積的參數量和計算量都比一般卷積明顯減少。

圖1 YOLO v3網絡結構

深度可分離卷積可以在不改變網絡結構的條件下，直接替換標準卷積，僅對主干網絡的CBL組件修改為SBL組件，如圖2所示。

圖2 主干網絡CBL組件修改為SBL組件

為突出主干網絡對YOLO v3算法的影響，在替換Darknet為MobileNets時，在主干網絡之外的卷積模塊仍使用標準卷積模塊，并保證整個網絡中每次經過殘差結構之后的特征圖深度和原始YOLO v3算法特征圖深度相同，從而直接對比主干網絡的特征提取能力。

1.1.3 Multi-Scale特性的Res2Net

在多個尺度上表示特征對于許多視覺任務非常重要，YOLO v3中特征金字塔的使用就是為了增加特征圖上多尺度的特征表示。大多數現有方法以分層方式(Layer-Wise)表示多尺度特征。在Res2Net中，Gao等[15]通過在一個單個殘差塊內構造分層的殘差類連接，為CNN提出了一種新的構建模塊。Res2Net 以更細粒度(Granular Level)表示多尺度特征，并增加每個網絡層的感受野(Receptive Fields)范圍。其結構和普通殘差網絡的對比如圖3所示，Res2Net將特征圖根據深度平均分為s等份(s=4)，計算過程如下。

(2)

式中，yi為第i個特征圖分塊的輸出；xi為第i個特征圖分塊的輸入;Ki為第i個3×3小卷積核。

圖3 普通殘差結構和Res2Net結構

利用Res2Net的主干網絡res unit組件替換如圖4所示。其中SP模塊是圖3(b)中藍框標出的分層殘差連接，SP模塊前后兩個CBL中用的都是1×1卷積用來降維和升維。

為突出主干網絡對YOLO v3算法的影響，在替換Darknet為Res2Net時，其替換原則同1.1.2節中MobileNets的替換過程，從而直接對比主干網絡的特征提取能力。

圖4 主干網絡Res unit組件更改為Res2Net組件

1.2 可視化工具Grad-CAM

為對比YOLO v3主干網絡在布匹瑕疵檢測中的特征提取能力，需要關注主干網絡究竟提取了圖片中哪些關鍵信息。如果網絡集中提取了圖片缺陷部分的信息，則認為主干網絡的特征提取能力更強。CAM(Class Activation Mapping)是一個幫助可視化CNN特征提取的工具。使用CAM可以清楚地觀察到網絡所關注的圖片區域[16]。在YOLO v3算法中，不僅關注分類問題，其輸出是一個綜合位置、置信度、分類的結果，本文使用更泛化的Grad-CAM方法[17]研究網格輸出值所關注的區域。在第1節的式(1)中，網絡最后輸出為S×S個網格，假設缺陷的種類C=20，則每個網格輸出的類別得分為

(3)

(4)

最后計算Grad-CAM：

(5)

使用ReLU函數可以更加關注特征圖中對score值有積極影響的部分[17]。

1.3 遷移學習

在實際應用中，訓練一個深度網絡需要大量的數據集，但實際應用中大規模的數據集是很難獲取的。使用的訓練數據集圖片有4000多張，為縮短訓練時間，并提升網絡的泛化性能，神經網絡模型在COCO數據集上預訓練之后，再遷移到布匹瑕疵圖片上進行訓練。遷移學習采用凍結策略+全局訓練的方式，凍結策略中只訓練圖1中y1、y2和y3前的conv層，并凍結其他層不訓練。全局訓練指的是訓練整個YOLO v3網絡。

2 實驗結果與分析

2.1 實驗數據及配置環境

實驗數據來源于阿里云天池數據大賽平臺，一張圖片的分辨率為1000像素×2446像素，同一張圖片中可能同時存在多種缺陷類型，并且缺陷大小差異很大，具有較大的識別難度，典型樣張如圖5所示。

圖5 帶3種缺陷的圖片

樣本數據分為20類，編號依次為1,2,…,20，圖片數量總計為5895張。取圖片的80%作為訓練集，20%作為測試集， 最后用于實驗的訓練數據集為4716張，測試數據集為1179張。本實驗使用的測試樣本瑕疵類型為20種，并保證每種測試集瑕疵樣本量(每種訓練集瑕疵樣本量在1∶4左右)。對訓練數據集采取在訓練過程中進行隨機水平或垂直翻轉、隨機剪裁、隨機仿射變換的數據增強方式。不變形壓縮后輸入神經網絡的圖片大小是608像素×608像素。

實驗運行環境：CPU Intel?CoreTMi7-8750H，16 GB內存，GPU NVIDIA GeForce GTX 1060Ti 6 GB，程序代碼使用Windows下的TensorFlow框架進行編寫和運行。

圖6為訓練樣本與測試樣本的分布情況。

圖6 訓練樣本與測試樣本的分布情況

2.2 實驗結果1

為保證不同主干網絡的實驗結果有對比性，需要保證訓練過程是盡可能相同的。在COCO數據集上充分預訓練到測試集的損失值不再下降后，再遷移訓練到布匹瑕疵數據集上進行訓練，遷移訓練的凍結層描述見1.3節。

選擇warm up的原因是防止網絡在早期訓練過程中發散[18]，特別是遷移學習開始階段，發散是更容易發生的。第33個epoch設置warm up是因為學習率發生了改變。由于輸入的圖片尺寸比較大，容易導致GPU訓練過程中內存不足，所以Batch size取2。為防止Batch size小導致訓練過程中噪聲大的問題[19]，把學習率設置得比較小。遷移訓練過程的參數如表1所示。

表1 訓練參數設置

圖7和圖8分別為3種主干網絡的訓練集損失曲線和測試集損失曲線在接近收斂區的對比，為突出并對比收斂區結果，這里截取了第33個epoch開始到整個訓練結束的損失曲線。

圖7 第33epoch之后訓練損失曲線

圖8 第33epoch之后測試損失曲線

由圖7可以看出，3種主干網絡在訓練集上的損失值是不斷下降的，并且還有繼續下降的趨勢，這說明此時3種主干網絡對于訓練數據集都不是欠擬合的。在訓練損失值上，Res2Net最低，MobileNets最高。沒有繼續訓練是因為此時3種主干網絡的測試損失值都已經不再下降并且出現波動。測試集損失曲線更能表征網絡在全新未知數據上的表現力。Res2Net的訓練損失值雖然最低，但從圖8中可以看出，其測試損失值在訓練后期有明顯震蕩并不斷上升，說明Res2Net結構的網絡已經出現明顯的過擬合。而MobileNets和Darknet-53在訓練后期的測試損失值保持平穩，并保持在基本相同的水平。綜上，Res2Net在訓練損失曲線上有較好的表現力，但是在測試損失曲線上不如MobileNets和Darknet-53。

表2為各主干網絡的參數量和最后的訓練結果，其中測試集mAP取各自主干網絡測試損失值最小的網絡計算獲得。

表2 主干網絡參數和訓練結果對比

從表2中可以看出，MobileNets的檢測速度比Darknet-53和Res2Net快至少30%，而參數量只有Darknet-53的1/3，Res2Net的1/2，Res2Net檢測速度和Darknet-53接近，但是參數量更少。對比三者的mAP值，原始的Darknet-53的檢測精度最高，MobileNets精度和Darknet-53很接近，Res2Net的精度相比于二者都低一些。綜上可以看出，MobileNets在明顯提高檢測速度、減小參數量后，也可以達到和原始YOLO v3主干網絡Darknet-53接近的檢測精度。Res2Net雖然有更精巧的網絡結構，但在布匹缺陷檢測上的優勢并不明顯。

2.3 實驗結果2

為了更深入了解2.2節實驗結果1的3種主干網絡表現力，利用Grad-CAM對特征圖進行觀察，研究卷積層提取的關鍵信息。在本節的討論中，需要指定式(4)和式(5)中的特征圖A。根據YOLO v3的網絡結構及1.2節中的討論，在替換主干網絡時，并沒有改變各部分輸出特征圖的大小和深度，所以，理論上可以對比3種主干網絡任意特征圖的特征提取結果。由于YOLO v3特殊的特征金字塔結構，不同尺寸的輸出結果對應了不同的網絡輸出路線，這里選取了主干網絡中3路直接的輸出結果作為特征圖A，如圖1中紅色箭頭①②③所示。利用Grad-CAM方法的步驟如下。

① 選擇圖片中要觀察的缺陷；

② 根據缺陷大小確定輸出路線，即可確定所研究的特征圖A；

圖9為測試集缺陷在經過3種不同主干網絡之后的Grad-CAM圖，圖中越亮的部分代表網絡越關注的區域。為了更全面地對比分析，這里選取了典型的不同大小和類型缺陷圖片，并且這些缺陷都能在3種主干網絡的YOLO v3中被正確識別。圖中漿斑和軋痕屬于較大的缺陷，結頭和星跳屬于較小的缺陷。對比圖9中較大的缺陷可以發現，Darknet-53和MobileNets相比于Res2Net，提取了更多大缺陷的特征，體現在熱度區域覆蓋了更多缺陷部分并且更亮更集中。其中MobileNets除了更完整覆蓋大缺陷區域，在非缺陷區域受到的干擾也較小，而Darknet-53在軋痕的特征提取上，也顯著關注了圖中右半部分和軋痕相似的區域。這點在小物體的特征提取上更為突出。對比結頭和星跳的Grad-CAM，可以發現Darknet-53在圖片特征提取上，廣泛關注了圖片中的可能區域，而MobileNets可以更專注在小缺陷所在的區域上，這可能和Darknet過強的特征提取能力有關。MobileNets受制于參數少，圖7的訓練損失曲線表明其學習過程比Darknet-53慢，但這里觀察到MobileNets更好地學習了所需要提取的特征。Res2Net也能關注到小物體特征的提取，但是對比MobileNets，其提取能力較弱。綜上，Darknet-53和MobileNets的主干網絡都有較好的特征提取能力，其中Darknet-53特征提取能力強，MobileNets更能專注提取缺陷的特征。Res2Net的分層的殘差類連接雖然提供了多尺度的特征圖，但這種方式在布匹瑕疵檢測中并沒有明顯的優勢。

圖9 3種主干網絡的Grad-CAM可視化結果

3 結束語

在原有YOLO v3算法的基礎上，提出了輕量化的MobileNets、更細粒度多尺度特征的Res2Net兩種不同類型的YOLO v3主干網絡搭建方案，目的是尋找兼具檢測速度和準確度的主干網絡搭建方案。對比了3種主干網絡對YOLO v3算法在布匹瑕疵檢測中的影響，并利用Grad-CAM方法研究主干網絡的特征提取能力。實驗結果表明，搭載MobileNets主干網絡的YOLO v3具備更小參數量和更快的檢測速度，并在布匹瑕疵檢測中具有很接近原始YOLO v3網絡結構的檢測精度，Grad-CAM表明MobileNets主干網絡在特征提取上更專一。