基于改進Faster R-CNN的織物疵點檢測算法

孫 旋，高小淋，曹高帥

(1.桂林理工大學 機械與控制工程學院，廣西 桂林 541004；2.鄭州電力職業(yè)技術(shù)學院 電力工程系，河南 鄭州 451450)

我國是世界上最大的紡織品出口國，紡織行業(yè)是我國的重要產(chǎn)業(yè)[1]。在織物生產(chǎn)過程中，因機器故障、人工操作等因素會造成織物出現(xiàn)疵點或破損。因此，織物疵點檢測是提高織物質(zhì)量的重要環(huán)節(jié)。

隨著社會經(jīng)濟的快速發(fā)展、技術(shù)的更新，深度學習在織物疵點檢測領(lǐng)域中已取得顯著成果。提高織物疵點檢測精度與效率，降低人工成本，是紡織行業(yè)質(zhì)量檢測的研究重點。在織物疵點檢測圖像檢測技術(shù)中，許玉格等[2]、劉洋[3]、孫禹鋒[4]、段春梅等[5]通過建立通道疊加的ResNet50對織物疵點進行特征提取，增強了對疵點特征的表達能力，但疵點種類復雜，檢測效率低。張麗謠等[6]采用SSD網(wǎng)絡對織物疵點進行學習判斷，并通過對參數(shù)的調(diào)整來實現(xiàn)對疵點的分類和識別，然而，疵點檢測準確率只達到80%。車翔玖等[7]、何永貴[8]充分利用織物疵點面積較小的特點，在圖像中產(chǎn)生潛在疵點區(qū)域，然后利用卷積神經(jīng)網(wǎng)絡對潛在區(qū)域內(nèi)的疵點進行預測，并在算法后期將潛在區(qū)域內(nèi)出現(xiàn)疵點的概率合并，從而實現(xiàn)識別織物中存在疵點的概率，但對于疵點區(qū)域小的部分卻無法實現(xiàn)精準檢測。吳志洋等[9]、王生偉[10]設計淺層卷積神經(jīng)網(wǎng)絡，再通過一個大網(wǎng)絡來指導小網(wǎng)絡，實現(xiàn)2種網(wǎng)絡并行模式的訓練。陳宇俊[11]采用Cross Net作為主干網(wǎng)絡，并對殘差結(jié)構(gòu)進行改進，該檢測方法可達到97%以上的檢測精度。郜仲元等[12]利用Pix2PixGAN網(wǎng)絡提高疵點與紋理融合，實現(xiàn)圖像數(shù)據(jù)增強。李宇等[13]將 SPP、FPN+ PAN應用于 Neck層進行特征提取，并利用3種尺度的預測方法進行疵點檢測，然而，對于分辨率小的疵點，漏檢率高。

本文提出一種改進Faster R-CNN的多種織物疵點檢測算法研究，選取精度高的ResNet50作為提取織物疵點的特征網(wǎng)絡，在原ResNet50基礎上通過拓寬殘差結(jié)構(gòu)寬度與優(yōu)化網(wǎng)絡參數(shù)來改進原ResNet50。將改進后的ResNet50作為Faster R-CNN的主干網(wǎng)絡，采用改進的K-means聚類算法生成的預測框取代原Faster R-CNN中人工設計的預測框。與原Faster R-CNN、SSD算法進行實驗對比，結(jié)果表明，改進后的Faster R-CNN算法不僅對織物疵點具有更好的檢測性能與更高的定位精度，并且在難以檢測的走紗與浮紗疵點方面相比于其他算法有顯著的檢測優(yōu)勢。

1 改進ResNet50特征提取網(wǎng)絡

本文在ResNet50特征提取網(wǎng)絡基礎上，拓寬殘差結(jié)構(gòu)寬度與調(diào)整網(wǎng)絡部分層結(jié)構(gòu)來改進ResNet50，從而提高網(wǎng)絡精度。通過優(yōu)化部分層參數(shù)來減少網(wǎng)絡參數(shù)量，提高推理速度。

1.1 拓寬殘差結(jié)構(gòu)寬度改進ResNet50

多種殘差結(jié)構(gòu)見圖1。將ResNet50網(wǎng)絡拓寬殘差結(jié)構(gòu)寬度，使其提取更多特征。如圖1(b)所示，將原深度64層的卷積更改為128層，但增加網(wǎng)絡寬度，相對應網(wǎng)絡計算量也隨之增加，所以引入GoogleNet中的Inception結(jié)構(gòu)，通過多卷積核并行計算，在拓寬網(wǎng)絡寬度的同時減少模型的參數(shù)量。

圖1 多種殘差結(jié)構(gòu)Fig.1 Various residual structures.(a) Initial residual structure;(b) Wider residual structure;(c)Introducing group convolution residual structure

Inception結(jié)構(gòu)是采用3個1×1的卷積進行降維，降低計算的復雜度。如果某個卷積層中輸入較多的特征數(shù)，則對輸入特征數(shù)先進行降維處理，減少特征數(shù)后再做卷積，計算量會顯著減少，Inception結(jié)構(gòu)如圖2所示。

圖2 Inception結(jié)構(gòu)Fig.2 Inception structure

將特征層分成n組進行卷積操作，在輸出相同深度的特征層時，訓練參數(shù)只有普通卷積的n分之一，經(jīng)大量實驗表明，當n為32時，網(wǎng)絡有最佳分類精度，修改后的殘差結(jié)構(gòu)如圖1(c)所示。

為進一步優(yōu)化ResNet50特征提取網(wǎng)絡，調(diào)整各層殘差模塊順序，圖3為調(diào)整各層殘差模塊的順序圖。殘差結(jié)構(gòu)(見圖3(b))是將BN層移到相加操作后，會阻礙信息傳遞；殘差結(jié)構(gòu)(見圖3(c))將BN層與激活層移到卷積層之前，形成一種預激活的方式，更易于網(wǎng)絡優(yōu)化，且BN作為預激活可以提高對模型的正則化。

圖3 調(diào)整各層殘差模塊順序圖Fig.3 Sequence diagram of adjustment of residual modules on each floor.(a) Initial residual structure;(b) Add BN;(c)Add BN and active layer again

將調(diào)整后的網(wǎng)絡在織物數(shù)據(jù)集上進行分類訓練。表1示出為激活層與BN層不同放置位置時對網(wǎng)絡性能影響的實驗結(jié)果。

表1 改進網(wǎng)絡結(jié)構(gòu)的實驗結(jié)果Tab.1 Experimental results of improved network structure

由表1可見，圖3(b)所示殘差結(jié)構(gòu)網(wǎng)絡損耗從初始0.387增加到0.517，準確率顯著下降，因為短路層加入BN后，信息傳播明顯受到影響。圖3(b)所示殘差結(jié)構(gòu)網(wǎng)絡損耗從0.387降低到0.302，準確率沒有顯著變化，因此本文采用圖3(b)所示殘差結(jié)構(gòu)對ResNet50進行改進。

1.2 優(yōu)化網(wǎng)絡參數(shù)改進ResNet50

拓寬殘差結(jié)構(gòu)寬度主要針對網(wǎng)絡精度改進ResNet50，為減少網(wǎng)絡參數(shù)數(shù)量，選擇優(yōu)化部分層參數(shù)。在網(wǎng)絡精度不變的條件下，將原始ResNet50在數(shù)據(jù)進入網(wǎng)絡后經(jīng)過的7×7卷積核拆分成2個3×3卷積，以減少計算量。

網(wǎng)絡改進實驗結(jié)果如表2所示。可見，優(yōu)化后的ResNet50參數(shù)量與計算量更少。改進后的ResNet50網(wǎng)絡架構(gòu)如圖4所示。

表2 網(wǎng)絡改進實驗結(jié)果Tab.2 Network Improvement Experiment Results

圖4 改進ResNet50網(wǎng)絡架構(gòu)Fig.4 Improve ResNet50 network architecture

2 改進的Faster R-CNN算法

2.1 多尺度特征融合

本文研究的織物疵點多為小目標，為提高Faster R-CNN檢測小目標能力，將改進后的ResNet50作為Faster R-CNN的主干網(wǎng)絡，并且在Faster R-CNN網(wǎng)絡中引入FPN網(wǎng)絡進行多尺度預測。

改進后的ResNet50+FPN結(jié)構(gòu)如圖5所示，最終預測分5個特征層進行，將RPN的網(wǎng)絡頭部應用于每一個P層。與初始圖片相比，P層具有不同的尺度信息，因此將預測的多個尺度信息在原始RPN網(wǎng)絡中分離，使每個P層只處理單個尺度信息。

圖5 改進后的ResNet50+FPN結(jié)構(gòu)Fig.5 Improved ResNet50+FPN structure

2.2 改進的K-means算法優(yōu)化預測框尺寸

本文檢測到的織物疵點特征主要分2類：一類是經(jīng)緯脫線形成的條狀或線狀疵點；另一類則是矩形面積較小類疵點。選擇最佳的預測框大小可以使網(wǎng)絡更容易學習并且得到一個好的檢測器。

針對本文織物數(shù)據(jù)集與檢測目標的大小，重新設計RPN網(wǎng)絡中生成預測框的尺寸。采用改進的K-means聚類算法對數(shù)據(jù)集進行訓練，并將得到預測框尺寸應用于RPN網(wǎng)絡，從而加快網(wǎng)絡的收斂性，提高檢測精度。

本文在用改進的K-means聚類算法生成預測框時，采用1-IOU的值表示樣本與蔟中心之間的距離，從而取代傳統(tǒng)的K-means聚類算法采用歐氏距離來計算。每個預測框與對應蔟中心的邊界框所對應的IOU值越大，則距離越近。此外，計算所有邊界框的高與寬和K個預測框的高與寬的比，比值越接近1，則預測框和邊界框的重合度越高。

根據(jù)設定的閾值，由均值計算預測樣本中邊界框與K個預測框的適應度，適應度越高，聚類得到的預測框效果越好。此外。在K個預測框的基礎上引入遺傳算法，將邊界框的高與寬2K個參數(shù)作為隨機變異的DNA，計算和評估突變后的適應度。與傳統(tǒng)K-means聚類算法相對比，改進后的K-means聚類算法更適用于圖片預測框的生成。通過訓練標注后的織物數(shù)據(jù)集，最終得到15個預測框尺寸以及適應度，結(jié)果如表3所示。

表3 改進K-means聚類算法實驗結(jié)果Tab.3 Experimental results of improved K-means clustering algorithm

由表3訓練結(jié)果得知，將初始Faster R-CNN算法中的(128,128)、(256,256)、(512,512) 3種尺度更改為(32,32)、(64,64)、(100,100)、(128,128)、(256,256) 5種。將初始1∶1、1∶2、2∶1比例更改為1∶5、1∶1、5∶1，分別在5個特征層進行預測，每層預測3個預測框。以880 pixel×880 pixel的圖片分辨率為例，表4示出多特征層預測結(jié)果。

此外，在實驗驗證過程中發(fā)現(xiàn)，僅通過增加預測框數(shù)量，用于網(wǎng)絡訓練的時間基本不變，表5示出增加預測框數(shù)量的實驗結(jié)果。

表4 多特征層預測實驗結(jié)果Tab.4 Prediction experimental results of multi-feature layer

表5 增加預測框數(shù)量的實驗結(jié)果Tab.5 Experimental results of increasing number of prediction boxes

3 實驗平臺與結(jié)果分析

3.1 數(shù)據(jù)集采集

本文所研究樣本為某紡織企業(yè)所提供，織物疵點圖片為600 pixel×800 pixel的彩色圖像，根據(jù)疵點的長度面積以及出現(xiàn)的頻率，將織物疵點分為2個大類6個小類，走紗、浮紗、斷紗為一類；結(jié)頭、破洞、污漬為另一類，6類疵點如圖6所示。

圖6 織物疵點樣本Fig.6 Fabric defect sample.(a) Take off the yarn;(b) Belt yarn;(c)Yarn breaking;(d)Knot;(e)Hole;(f)Stain

3.2 實驗環(huán)境

實驗環(huán)境如表6所示，網(wǎng)絡模型的訓練與測試均在CPU中進行。

表6 實驗環(huán)境Tab.6 Experimental environment

3.3 評價指標

針對改進Faster R-CNN檢測多種織物疵點，采用準確率(precision,P)、召回率(recall,R)、平均準確率(average precision，AP)與平均準確率均值(mean average precision，PmA)來評估本文算法的性能，其公式分別如下：

(1)

(2)

(3)

(4)

式中：TP表示正確檢測出的織物疵點數(shù)量；FP表示錯誤檢測出的織物疵點數(shù)量；FN表示漏檢的織物疵點數(shù)量；N表示織物疵點種類。

3.4 改進的Faster R-CNN算法檢測實驗

本次實驗包含引入FPN多尺度預測的Faster R-CNN以及本文進一步改進后的Faster R-CNN檢測算法。在實驗過程中，采用遷移學習進行訓練，根據(jù)數(shù)據(jù)集將織物類型劃分為單色布、格子布、條紋布3種。Batch size取值為4，迭代50次后添加FPN網(wǎng)絡的Faster R-CNN多尺度預測的實驗結(jié)果如圖7所示。

本文基于改進的Faster R-CNN檢測算法除了添加FPN網(wǎng)絡之外，還采用改進的ResNet50特征提取網(wǎng)絡與改進的K-means聚類算法生成預測框。表7示出不同算法模型檢測結(jié)果。將改進后的Faster R-CNN檢測算法進行訓練，其實驗結(jié)果如圖8所示。

表7 不同算法模型檢測實驗結(jié)果Tab.7 Experiment results of different algorithm model detection

圖7 Faster R-CNN多尺度預測實驗結(jié)果Fig.7 Faster R-CNN multiscale prediction results. (a)Average accuracy training chart;(b) Training chart of loss value and learning rate

圖8 不同算法檢測結(jié)果對比Fig.8 Comparison of detection results on different algorithms.(a)Hole;(b)Knot;(c)Stain;(d)Yarnbreaking;(e)Belt yarn;(f)Take off the yarn

從表7可看出，原Faster R-CNN在數(shù)據(jù)集上PmA值為0.802，而改進后的Faster R-CNN算法的平均準確率為0.868，相較于原算法提高了6.6%。在難以檢測的織物疵點，尤其走紗，本文算法相較于SSD、YOLOv4、原Faster R-CNN算法，PA值分別提高了26.0%、31.1%、6.1%；在織物浮紗疵點上，改進的Faster R-CNN相較于SSD、YOLOv4、原Faster R-CNN算法，PA值分別提高25.7%、17.4%、10.8%。

為進一步驗證本文算法相較于原Faster R-CNN、SSD在織物疵點檢測中的優(yōu)勢，選取破洞、污漬、結(jié)頭、斷紗、浮紗、走紗圖片各1張，進行檢測結(jié)果對比，SSD、原Faster R-CNN檢測結(jié)果與本文算法檢測結(jié)果對比如圖8所示。

由圖8得出，這3種算法對于破洞、結(jié)頭類疵點都具有很好的檢測能力；對于織物上的污漬，SSD與原Faster R-CNN算法無法檢測出織物上的所有疵點且在“小目標”疵點中均存在漏檢，而改進的Faster R-CNN算法不僅全部檢測出污漬所在位置，且對于“小目標”污漬疵點檢測精度為95%，相較于SSD與原Faster R-CNN算法檢測精度更高。

對于浮紗類，尤其長度比跨度大的疵點，這類疵點在織物中較難檢測。圖8中，對比3種算法檢測浮紗類疵點可知，經(jīng)過本文改進的K-means聚類算法生成的預測框相比于SSD算法、原Faster R-CNN生成的預測框更精確地定位到疵點，且本文改進的Faster R-CNN算法檢測浮紗類疵點的置信度高達99%，相較于SSD、原Faster R-CNN檢測置信度分別提高15%、5%。

對于走紗類疵點，尤其“細長型”疵點，SSD算法檢測的置信度為62%，原Faster R-CNN算法檢測的置信度為78%，而改進后的Faster R-CNN不僅能準確框住疵點，且置信度高達97%，相較于SSD、原Faster R-CNN檢測置信度分別提高35%、19%，檢測精度最高。

4 結(jié) 論

本文提出一種基于改進Faster R-CNN算法的多種織物疵點檢測算法。針對織物疵點的特征，以Faster R-CNN算法為基礎，對原算法進行了改進。選取ResNet50作為織物疵點特征提取網(wǎng)絡，在ResNet50基礎上拓寬殘差結(jié)構(gòu)寬度，調(diào)整了各層殘差模塊順序并對網(wǎng)絡參數(shù)進行優(yōu)化，從而提高網(wǎng)絡精度與推理速度。實驗結(jié)果表明，改進后的ResNet50網(wǎng)絡總損耗顯著降低，并且在數(shù)據(jù)集相同的條件下，網(wǎng)絡訓練時間明顯減少。

將改進后的ResNet50特征提取網(wǎng)絡引入Faster R-CNN算法中，構(gòu)建特征金字塔網(wǎng)絡融合不同尺度的特征層，使網(wǎng)絡能夠在5個特征層上預測。采用改進K-means聚類算法生成的預測框?qū)υ璅aster R-CNN中人工設計的預測框重新設計。其實驗結(jié)果表明，改進后的Faster R-CNN對織物疵點有更佳的檢測能力，尤其是針對“小目標”與“細長型”疵點，相較于SSD、原Faster R-CNN算法具有更高的定位精度，且模型性能表現(xiàn)更好，檢測效果更佳，置信度更高。