基于CNN網(wǎng)絡(luò)的布料表面缺陷檢測方法

熊昊，石紅瑞

(東華大學(xué)，上海 201600)

0 引言

布料缺陷檢測對紡織品質(zhì)量檢測與控制而言相當(dāng)重要。生成布料瑕疵的物質(zhì)因素很多，面料織造環(huán)節(jié)、紡織技術(shù)因素，以及其他環(huán)境因素都有可能引起布料表面產(chǎn)生瑕疵[1]。在自動化或半自動化生產(chǎn)過程中，必不可少的一個環(huán)節(jié)便是對成品的缺陷檢測，以提高良品率。在紡織行業(yè)，由于出現(xiàn)的故障導(dǎo)致產(chǎn)生量的廢布使得廠家支出更大的成本而苦不堪言。在布料制造過程中，隨著加工層次的增加，發(fā)生缺陷的幾率也就隨之升高，面對種類繁多的缺陷，如何將其高效且準(zhǔn)確地檢測出來是一個難題。

傳統(tǒng)的布料檢測方式大致可以分為兩種：第一種檢測方式是在布料織造的同時由工人檢查是否產(chǎn)生了缺陷；第二種檢測方式是由工人將做已經(jīng)做好的布料送至驗布機進行檢測，對缺陷處進行識別和記錄，并將產(chǎn)生的缺陷記錄下來反饋到有關(guān)部門，以便對織機進行調(diào)整。傳統(tǒng)的人工檢測方式容易受到各種因素的影響，從而產(chǎn)生各種缺點與不足。從學(xué)習(xí)缺陷類別到操作檢測，從生疏到熟練，從新手到熟練工，都需要時間的沉淀。而且即便是進階到了熟練工，也敵不過生理、心理上的疲勞，致使檢測效率大打折扣，人工成本較高的同時往往也無法取得較為理想的檢測結(jié)果。

隨著圖像處理技術(shù)、模式識別技術(shù)和計算機硬件條件的高速發(fā)展，越來越多的企業(yè)選擇用計算機視覺代替人工對產(chǎn)品的尺寸進行測量、產(chǎn)品的質(zhì)量進行檢測。和傳統(tǒng)肉眼檢測相比，通過計算機視覺檢測對產(chǎn)品進行檢測，不僅能夠達到較高的檢測精度，而且具有較快的檢測速度。現(xiàn)在計算機視覺技術(shù)在產(chǎn)品缺陷檢測方面已經(jīng)得到國內(nèi)外專家、學(xué)者的普遍關(guān)注和認(rèn)可。

1 基于計算機視覺的目標(biāo)檢測方法分析

在深度學(xué)習(xí)算法普遍適用之前，視覺算法可以分為五個階段：特征識別、圖像預(yù)處理、特征提取、特征過濾、推理預(yù)測和識別。傳統(tǒng)的計算機視覺識別方法是單獨設(shè)計特征提取和分類器，然后在應(yīng)用時結(jié)合。也就是說，對于輸入圖像，需要先執(zhí)行特征表示或特征提取過程，然后將表示或提取的特征放入學(xué)習(xí)算法中進行分類，如圖1所示。

圖1 傳統(tǒng)計算機視覺算法分類識別過程

上述的傳統(tǒng)檢測算法在一部分特定的應(yīng)用場景中已經(jīng)取得了不錯的效果，但是依然存在著諸多不足之處，包括：圖像預(yù)處理階段步驟繁多，沒有較強的針對性，魯棒性較差、混合多種算法計算量較大，無法較為精確地對表面缺陷的形狀與大小進行檢測。

如今，計算機視覺已經(jīng)成為深度學(xué)習(xí)技術(shù)的一個重要領(lǐng)域，隨著計算資源的不斷加速和成本的降低以及深度學(xué)習(xí)研究人員的不斷努力，它已經(jīng)取得了相當(dāng)顯著的成就。1998年，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)模型[2]被提出。在缺陷檢測算法方面，卷積神經(jīng)網(wǎng)絡(luò)針對傳統(tǒng)算法存在的一部分問題給出了有效的解決方案，該算法具有強大的數(shù)據(jù)表達能力，可用于輸入圖像，其不需要輸入分類特征，而是由圖像數(shù)據(jù)集本身直接驅(qū)動其自身對特征與表達關(guān)系的深度學(xué)習(xí)，同時又具有訓(xùn)練參數(shù)少，模型構(gòu)建過程簡單，分類消耗時間短，準(zhǔn)確性高等優(yōu)點。

目前經(jīng)典的目標(biāo)檢測算法網(wǎng)絡(luò)模型大致可分為兩大類：一類是單階段(one-stage)算法，代表算法有YOLO、SSD等算法；另一類是雙階段(two-stage)算法，代表算法有R-CNN、Fast R-CNN、Faster R-CNN等算法。單階段(one-stage)算法雖然在檢測速度上優(yōu)于雙階段(two-stage)算法，但由于不包含區(qū)域建議的模塊，在檢測的準(zhǔn)確率方面會處于劣勢。

雖然深度學(xué)習(xí)的檢測方法在布料缺陷檢測方面的效果有所提升，但是布料圖像的復(fù)雜程度、缺陷處尺度較小以及缺陷形狀不規(guī)則等因素都會影響模型檢測的準(zhǔn)確率。

2 算法實現(xiàn)

選用性能較為優(yōu)秀的Cascade R-CNN網(wǎng)絡(luò)模型，對布料圖像數(shù)據(jù)集進行深度訓(xùn)練，調(diào)整檢測網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)，經(jīng)過多輪迭代，檢驗?zāi)Ｐ偷男阅埽罱K得出準(zhǔn)確率較高的檢測模型。

2.1 Cascade R-CNN算法簡介

Cascade R-CNN算法[3]是基于Faster R-CNN算法[4]改進的一種目標(biāo)檢測算法，其為了不斷優(yōu)化預(yù)測結(jié)果，級聯(lián)了多個檢測網(wǎng)絡(luò)。Cascade R-CNN的一大亮點在于，其與普通級聯(lián)有所區(qū)別，該算法的幾個檢測網(wǎng)絡(luò)是在根據(jù)不相同的IoU閾值所確定的正負(fù)樣本上訓(xùn)練所得到的。

Faster R-CNN算法在訓(xùn)練階段，RPN網(wǎng)絡(luò)會提出約兩千個的區(qū)域建議，這些區(qū)域建議被送入到Fast R-CNN結(jié)構(gòu)中，在Fast R-CNN結(jié)構(gòu)中，首先計算每個區(qū)域建議和gt之間的IoU，通過人為的設(shè)定一個IoU閾值(通常為0.5)，把這些區(qū)域建議分為正樣本(前景)和負(fù)樣本(背景)，并對這些正負(fù)樣本采樣，使得他們之間的比例盡量滿足1 ∶3，之后這些區(qū)域建議被送入到ROI池中，最后進行分類判別和box回歸。

在推理階段，RPN網(wǎng)絡(luò)提出了約三百個區(qū)域建議，這些區(qū)域建議被送入到Fast R-CNN結(jié)構(gòu)中，和訓(xùn)練階段不同的是，推理階段沒有辦法對這些區(qū)域建議采樣，因此它們直接進入ROI池，之后進行分類判別和box回歸。

為了提高檢測的精確度，換句話說就是要產(chǎn)生更高精度的box，那么我們可以提高產(chǎn)生正樣本的IoU閾值，這樣后面的檢測器接收到了更高精度的建議，自然能產(chǎn)生高精度box。但是這樣就會產(chǎn)生兩個問題：第一，過擬合問題：提高了IoU閾值，滿足這個閾值條件的區(qū)域建議必然比之前少了，容易導(dǎo)致過擬合。第二，更嚴(yán)重的mismatch問題：R-CNN結(jié)構(gòu)自身就存在這個問題，IoU閾值再提的更高，這個問題就會更加嚴(yán)重。

在訓(xùn)練與推理兩個階段中，bbox回歸器的輸入分布是不一樣的，訓(xùn)練階段的輸入建議由于被采樣過，IoU大于所設(shè)閾值，往往質(zhì)量更高，而推理階段的輸入建議由于沒有被采樣過，可能包括很多IoU小于所設(shè)閾值的建議，一般質(zhì)量相對會差一些，這就是上文提到mismatch問題，這個問題是固有存在的，通常閾值取0.5時，mismatch問題還不會很嚴(yán)重。因此，IoU閾值越高，mismatch的問題就越凸顯了，更嚴(yán)重了。

由于單一閾值訓(xùn)練出的檢測器效果有限，因此Cascade R-CNN采用multi-stage的結(jié)構(gòu)，每個階段都有一個不同的IoU閾值，其結(jié)構(gòu)如圖2所示。

圖2 Cascade R-CNN結(jié)構(gòu)圖

大多數(shù)RPN所提出的建議質(zhì)量較低，不能直接用于高閾值檢測器，而該算法的重采樣機制使用Cascade回歸，使每個階段的建議IoU閾值都得到提高，允許在前一階段重新采用該建議，以適應(yīng)更高的閾值。

2.2 FPN特征金字塔

特征圖金字塔網(wǎng)絡(luò)FPN(Feature Pyramid Networks)[5]通過簡單地改變網(wǎng)絡(luò)連接來解決目標(biāo)檢測中的多尺度問題，其大大提升了小目標(biāo)檢測的性能，并且原有模型的計算量基本沒有增加。FPN算法的大體結(jié)構(gòu)是：一條自下而上的線路，一條自上而下的線路，橫向連接(lateral connection)。1×1卷積核的主要作用是減少卷積核的數(shù)量，即在不改變特征圖大小的情況下減少特征圖的數(shù)量。FPN網(wǎng)絡(luò)放入?yún)^(qū)域建議網(wǎng)絡(luò)RPN(Region Proposal Network)中用于生成建議，之前生成建議都是在某一個特征圖中生成。如今在FPN中的每一層都可以生成不同尺度的建議。FPN算法同時利用低層特征高分辨率和高層特征的高語義信息，通過融合這些不同層的特征達到預(yù)測的效果。并且預(yù)測是在每個融合后的特征層上單獨進行的，效果甚佳。

2.3 DCN可變形卷積

目標(biāo)識別領(lǐng)域一直有一個關(guān)鍵性的挑戰(zhàn)，即在識別過程中如何適應(yīng)目標(biāo)尺寸、姿態(tài)和部件變形等幾何變化。而卷積神經(jīng)網(wǎng)絡(luò)模塊固定的幾何結(jié)構(gòu)缺乏處理幾何變換的內(nèi)部機制。可變形卷積DCN(Deformable Convolutional Networks)[6]使用額外的偏移來增強模塊中的空間采樣位置，并在沒有額外監(jiān)督的情況下從目標(biāo)任務(wù)中學(xué)習(xí)該偏移。它對標(biāo)準(zhǔn)的卷積中的感受野中，增加了2D的offsets，使得采樣的grid變形。這個offset通過增加額外的卷積層，從之前的特征圖中學(xué)習(xí)到。offsets是通過在特征圖上增加一個卷積層來得到的。這個卷積核的尺寸與可變形卷積的尺寸一致。輸出的offset fields有著與輸入特征圖一樣的尺寸，通道維度2N與N個2D的offsets相關(guān)聯(lián)。新的模塊可以很容易地取代現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)中的對應(yīng)模塊，并且很容易使用反向傳播端到端訓(xùn)練來形成新的可變形卷積網(wǎng)絡(luò)。

3 實驗

本文使用加入了FPN與DCN的改進Cascade R-CNN算法，主干網(wǎng)絡(luò)為ResNet-50，編程語言為Python，在單卡NVIDIA Tesla V100(32GB顯存)的設(shè)備上進行模型訓(xùn)練，batch size設(shè)置為22，迭代60000輪。與原本的Cascade R-CNN模型相比，改進后的模型在預(yù)測速度上有了明顯的提升。模型訓(xùn)練的loss曲線如圖3。

圖3 模型loss曲線

模型的預(yù)測效果如圖4。

圖4 模型預(yù)測效果

4 結(jié)語

為了提高對于布料表面缺陷的檢測能力，本文以Cascade R-CNN 模型為基礎(chǔ)，提出加入FPN特征金字塔與DCN可變形卷積的改進，大大提高缺陷檢測的精準(zhǔn)度，并且提高了檢測速度，模型綜合性能不錯。利用先進的人工智能之深度學(xué)習(xí)技術(shù)，設(shè)計和實現(xiàn)了一種針對布料表面缺陷檢測的解決方案，可有效提高企業(yè)的生產(chǎn)效率，節(jié)約企業(yè)的用工成本。但是，本文所使用的布料圖像數(shù)據(jù)集背景較為單一，基本均為純色背景，后續(xù)可以使用帶有花紋背景的布料圖像數(shù)據(jù)集進行模型的訓(xùn)練，提高檢測模型的泛化能力，以便更好地適應(yīng)工業(yè)應(yīng)用場景。