基于改進DANN網(wǎng)絡(luò)的織物缺陷檢測

殷鵬 景軍鋒

摘 要：針對傳統(tǒng)的織物缺陷檢測算法普適性不足的問題，提出一種基于改進DANN網(wǎng)絡(luò)的織物缺陷檢測算法。分析了對抗遷移學(xué)習(xí)領(lǐng)域的DANN網(wǎng)絡(luò)存在的僅考慮源域和目標域間特征相似的情況和對于復(fù)雜圖片提取到的特征能力較差的問題。提出了改進的方法，通過在網(wǎng)絡(luò)中加入MMD層，可以對提取到的目標域特征賦予不同的權(quán)重，并使用ResNet50作為特征提取器。將原DANN網(wǎng)絡(luò)和改進的MMD-DANN網(wǎng)絡(luò)在織物缺陷圖庫中進行了測試并對比了二者的缺陷檢測結(jié)果。結(jié)果表明，改進后網(wǎng)絡(luò)相比于原網(wǎng)絡(luò)的準確率平均提高了5%左右，且實時性良好，能滿足實際工業(yè)需求。

關(guān)鍵詞：織物缺陷檢測;對抗遷移學(xué)習(xí);DANN網(wǎng)絡(luò);MMD;ResNet50

中圖分類號：TP391.4

文獻標志碼：A

文章編號：1009-265X（2020）05-0057-07

Fabric Defect Detection Based on Improved DANN Network

YIN Peng， JING Junfeng

（School of Electrics and Information， Xian Polytechnic University， Xian 710048， China）

Abstract：Aiming at the poor general applicability of traditional fabric defect detection algorithm， a fabric defect detection algorithm based on improved DANN network was proposed. Firstly， the shortcomings of the DANN network in the fieldof adversarial transfer learning were analyzed. For example， it only considers the situation of similar features between the source and target domains and cant well exact features of the image with complex information. Next， an improved method was proposed for these deficiencies. By adding the MMD layer to the network， different weights could be assigned to the extracted target domain features， and ResNet50 was used as the feature extractor. Finally， the original DANN network and the improved MMD-DANN network were testedin the fabric defect library， and theirdefect detection results were compared. The test results show that the accuracy of the improved network is about 5% higher than that of the original network， with good timeliness， and it can meet practical industrial needs.

Key words：fabric defect detection;adversarial transfer learning; DANN network; MMD; ResNet50

中國作為一個紡織大國，有著悠久的紡織歷史。紡織品質(zhì)量的好壞直接關(guān)系到企業(yè)的聲譽和經(jīng)濟效益。統(tǒng)計表明，缺陷過多甚至?xí)巩a(chǎn)品的價值下降45%～60%[1-2]。因此，要想獲得高質(zhì)量的織物產(chǎn)品，就必須對織物的表面缺陷進行嚴格的監(jiān)控。早期對織物表面缺陷的檢測是由肉眼來完成，這種檢測方式存在效率低下、精度不高、容易受人為因素影響等缺點，不能滿足現(xiàn)代紡織行業(yè)高速發(fā)展的需求[3]。目前使用機器視覺技術(shù)對織物表面進行缺陷檢測已經(jīng)成為主流趨勢。找到檢測精度高，實時性好的算法是織物缺陷檢測中亟待解決的問題。

目前，對織物缺陷檢測算法的研究共分為3大類：基于傳統(tǒng)圖像處理算法的織物缺陷檢測、基于傳統(tǒng)機器學(xué)習(xí)算法的織物缺陷檢測研究和基于大數(shù)據(jù)集的深度學(xué)習(xí)算法的織物缺陷檢測研究。

傳統(tǒng)的圖像檢測算法主要通過將單個織物圖像中的缺陷部分從織物圖像中精確的分離來達到檢測的目的[4]，包括空間域的統(tǒng)計方法[5-7]和頻率域的譜方法[8-10];機器學(xué)習(xí)對織物缺陷的檢測側(cè)重于類別上的特征，根據(jù)缺陷的類型手動選取相關(guān)特征，包括基于模型的方法[11]和基于學(xué)習(xí)的方法[12-14];應(yīng)用大數(shù)據(jù)集的深度學(xué)習(xí)算法的織物缺陷檢測技術(shù)能夠自動地提取圖像的特征，這種方法主要分為：基于物體分類的方法和基于目標識別的方法。基于物體分類的方法主要思想是通過特征學(xué)習(xí)方法對整個圖像進行全局描述，后采用深度學(xué)習(xí)分類模型對圖像進行預(yù)測，判斷其屬于哪一類別，如基于AlexNet的方法[15]、基于GoogLeNet的方法[16]、基于ResNet的方法[17]等。基于目標識別的方法是在物體分類的思想上，不僅判斷屬于何種類型，而且還標定缺陷的大概位置。這種方法有基于SSD的方法[3]、基于Faster R-CNN的方法[18]等。

對以上3類方法而言，即使在特定的織物種類上適用且表現(xiàn)最佳，也不能直接應(yīng)用于另一種織物。傳統(tǒng)的圖像處理技術(shù)需要對新的織物種類重新選擇合適的檢測算法，且基于機器學(xué)習(xí)和深度學(xué)習(xí)的技術(shù)都需重新收集樣本并花費巨大的人力物力去標注樣本。這些方法都極大地增加了研究成本，尋找一種普適性強的檢測算法勢在必行。為了解決此問題，本研究提出一種基于改進DANN網(wǎng)絡(luò)（Domain-Adversarial Neural Network）的織物缺陷檢測算法。

1 DANN網(wǎng)絡(luò)

DANN網(wǎng)絡(luò)[19]是生成對抗網(wǎng)絡(luò)和遷移學(xué)習(xí)思想的融合。自生成對抗網(wǎng)絡(luò)（GAN）在2014年被Goodfellow等[20]提出后，目前已經(jīng)成為人工智能領(lǐng)域最炙手可熱的概念之一。GAN的目標很明確，即生成訓(xùn)練樣本。這種思想和遷移學(xué)習(xí)的思想似乎有些出入，遷移學(xué)習(xí)研究的目標是如何將源域的知識 遷移到目標域上[21]，其存在一個源領(lǐng)域和一個目標領(lǐng)域，因此，可以免去生成樣本的過程，而直接將其中一個領(lǐng)域的數(shù)據(jù)（通常是目標域）當作是生成的樣本。此時，GAN網(wǎng)絡(luò)的生成器的職能發(fā)生變化，不再是生成新樣本，而是扮演了特征提取的功能，通過不斷學(xué)習(xí)領(lǐng)域數(shù)據(jù)的特征，使得其判別器無法對兩個領(lǐng)域進行分辨。這樣，原來的生成器也可以稱為特征提取器。

Ganin等[19]正是基于上述想法，首次提出對抗遷移學(xué)習(xí)并構(gòu)造DANN網(wǎng)絡(luò)實現(xiàn)了這一想法。整個網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，該網(wǎng)絡(luò)由3大部分構(gòu)成，分別為特征提取網(wǎng)絡(luò)、域判別網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)。對網(wǎng)絡(luò)輸入源域帶標簽樣本和目標域無標簽樣本，特征提取器用于提取特征，域判別器用于區(qū)分源域和目標域的特征，預(yù)測器用于預(yù)測提取到所有特征的類別。整個網(wǎng)絡(luò)的學(xué)習(xí)目標是生成的特征盡可能幫助區(qū)分兩個領(lǐng)域的特征，同時使得判別器無法對兩個領(lǐng)域的差異進行判別。

假定源域數(shù)據(jù)Ds={（xsi，ysi）}Nsi=1，其中Ns表示源域樣本數(shù)，目標域數(shù)據(jù)Dt={xti}Nti=1，其中Nt表示目標域沒有標簽的樣本數(shù)，算法的目標為通過訓(xùn)練該網(wǎng)絡(luò)正確預(yù)測到目標域的標簽yt。由于源域Ds和目標域Dt不再滿足獨立同分布，因此不能再直接將源域訓(xùn)練的模型直接用于目標域的預(yù)測，而需要遷移學(xué)習(xí)的思想。在DANN網(wǎng)絡(luò)中，使用Gf（·;θf）作為該網(wǎng)絡(luò)的特征提取器，θf為特征提取部分的參數(shù);Gy（·;θy）作為該網(wǎng)絡(luò)的類別預(yù)測器，θy為類別預(yù)測部分的參數(shù);Gd（·;θd）作為該網(wǎng)絡(luò)的域判別器，θd為域判別部分的參數(shù)。因此，可以得到式（1）和式（2），其中Liy（θf，θy）和Lid（θf，θd）分別為類別預(yù)測和域判別的損失函數(shù)，Ly（·）和Ld（·）分別為網(wǎng)絡(luò)所選取的損失函數(shù)，yi和di為樣本真實值（源域樣本d的值為0，目標域樣本d得值為1）。

Liy（θf，θy）=Ly（Gy（Gf（xi;θf）;θy），yi）（1）

Lid（θf，θd）=Ld（Gd（Gf（xi;θf）;θd），di）（2）

因此，整個網(wǎng)絡(luò)的優(yōu)化目標為式（3）所示，其中λ為超參數(shù)，整個網(wǎng)絡(luò)使用SGD來更新參數(shù)。

E（θf，θy，θd）=1Ns∑Nsi=1Liy（θf，θy）-

λ1Ns∑Nsi=1Lid（θf，θd）+1Nt∑Nti=1Lid（θf，θd）（3）

2 改進DANN網(wǎng)絡(luò)

盡管相比于早期的遷移學(xué)習(xí)模型，如GFK[22]、DDC[23]、DAN[24]等，DANN網(wǎng)絡(luò)在文檔情感分析、圖像分類和行人重識別等方面取得了不錯的成績[19]，但是該網(wǎng)絡(luò)還是存在以下缺點：

a）該網(wǎng)絡(luò)只能適用在源域和目標域中特征完全相似的情況下，而在大多數(shù)遷移學(xué)習(xí)場合中目標域的特征和源域的特征往往有相同部分和不同部分;

b）在原文中該網(wǎng)絡(luò)僅使用LeNet-5[25]的前兩個卷積層作為特征提取網(wǎng)絡(luò)，而使用此網(wǎng)絡(luò)來對復(fù)雜圖像提取特征，則無法得到更深層次的特征。

考慮到源域的特征和目標域的特征既有相同部分也有不同部分，因此嘗試將網(wǎng)絡(luò)的結(jié)構(gòu)更改為如圖2所示。首先，使用特征提取器Gf（·;θf）分別對輸入的源域數(shù)據(jù)xs和目標域數(shù)據(jù)xt進行特征提取得到Gf（xs;θf）和Gf（xt;θf）;然后，通過MMD層對目標域特征賦予一定的權(quán)重值，將源域的特征和目標域的特征映射到再生希爾伯特空間中，在這個空間中計算這兩個特征之間的距離來度量它們的相似性，權(quán)重值的大小即為MMD的倒數(shù)，如式（4）所示，在這里參考了DAN網(wǎng)絡(luò)的MK-MMD（Multi-kernel maximum mean discrepancy）方法[24]，其計算如式（5）所示，其中φ（·）是映射，用于把原變量映射到再生希爾伯特空間[26]（RKHS）;最后，和DANN網(wǎng)絡(luò)的后面結(jié)構(gòu)相似，使用同樣的類別預(yù)測器Gy（·;θy）和域判別器Gd（·;θd）。

Gnewf（xt;θf）=1MMD（Gf（xs;θf），Gf（xt;θf））Gf（xt;θf）（4）

MMD（Gf（xs;θf），Gf（xt;θf））=

φ（Gf（xs;θf））-φ（Gf（xt;θf））2H（5）

使用ResNet50[27]作為特征提取網(wǎng)絡(luò)。相比于LeNet網(wǎng)絡(luò)，ResNet50具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，對于較復(fù)雜的圖像能夠提取更多高層特征，同時，與傳統(tǒng)的深度卷積網(wǎng)絡(luò)不同的是其特有的Residual的結(jié)構(gòu)，如圖3所示。該網(wǎng)絡(luò)在原有的深度卷積網(wǎng)絡(luò)基礎(chǔ)

上增加了恒等映射（identitymapping），將原始所需要學(xué)的函數(shù)H（x）轉(zhuǎn)換成F（x）+x，盡管這兩種表達的效果相同，但是優(yōu)化的難度卻并不相同，F(xiàn)（x）的優(yōu)化會比H（x）簡單得多。這一想法也是源于圖像處理中的殘差向量編碼，通過一個reformulation，將一個問題分解成多個尺度直接的殘差問題，能夠很好的起到優(yōu)化訓(xùn)練的效果[28]。該結(jié)構(gòu)的加入可以有效地解決深度卷積神經(jīng)網(wǎng)絡(luò)越深，訓(xùn)練錯誤越多的問題。

3 實驗設(shè)計與結(jié)果分析

3.1 實驗準備

參照上文的內(nèi)容在PyTorch深度學(xué)習(xí)框架上分別搭建了DANN網(wǎng)絡(luò)和改進的DANN網(wǎng)絡(luò)，稱改進的DANN網(wǎng)絡(luò)為MMD-DANN網(wǎng)絡(luò)，實驗使用了白坯布缺陷樣本庫、玻璃纖維電子布缺陷樣本庫、色織物缺陷樣本庫作為測試的樣本數(shù)據(jù)集，實驗在單塊GPU型號為GTX 1080Ti上運行。

這3種缺陷樣本庫類別共有5種，分別為正常、污漬、破洞、毛羽、布皺，具體如表1所示。其中白坯布缺陷樣本庫中4 000張訓(xùn)練集、3 000張測試集，在這里將白坯布缺陷樣本庫稱為WF（White Fabric）;玻璃纖維電子布缺陷樣本庫中共有5 000張訓(xùn)練集、3 000張測試集，同樣將玻璃纖維電子布缺陷樣本庫稱為EC（Electronic Cloth）;色織物缺陷樣本庫中共有3 000張訓(xùn)練集、3 000張測試集，將色織物缺陷樣本庫稱為YF（Yarn-dyed Fabric）。

3.2 實驗設(shè)置

在實驗測試前，對所有的實驗樣本作了預(yù)處理，共分為3步：a）為了方便構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)和網(wǎng)絡(luò)訓(xùn)練，將圖片的大小全部resize為256×256像素;b）為了提高訓(xùn)練速度和精度，對樣本數(shù)據(jù)集進行歸一化，使得所有樣本值在0到1之間;c）對數(shù)據(jù)集做數(shù)據(jù)增強處理，數(shù)據(jù)增強可以有效地減小過擬合[29]。

選用了去掉全連接層后的ResNet50網(wǎng)絡(luò)作為特征提取器，預(yù)測器使用了3個全連接層、2個歸一化層、2個激活層和1個Dropout層。激活層使用了Swish激活函數(shù)，計算如式（6）所示。DropOut是指在深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過程中，對于神經(jīng)網(wǎng)絡(luò)單元，按照一定的概率將其暫時從網(wǎng)絡(luò)中丟棄。全連接層在整個卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用，可以將學(xué)到的“分布式特征表示”映射到樣本標記空間。域判別器使用了2個全連接層、1個歸一化層和1個激活層，激活層同樣使用了Swish激活函數(shù)。網(wǎng)絡(luò)的損失函數(shù)使用了交叉熵損失函數(shù)，計算如式（7）所示。

f（x）=x1+e-x（6）

L=∑Ni=0y（i）logy ^（i）+（1-y（i）log（1-y ^（i）））（7）

3.3 結(jié)果分析

表2是使用了ResNet50的特征提取層分別對WF、CE、YF 3個缺陷樣本集中的圖片提取所得到的特征圖，為了方便展示，從樣本數(shù)據(jù)集的每個類別中分別抽出一張圖像顯示出該網(wǎng)絡(luò)中第二個卷積層的輸出特征圖。

圖4是從源域為WF遷移到目標域為EC的訓(xùn)練準確率曲線圖，其中橫坐標表示迭代次數(shù)，縱坐標表示訓(xùn)練準確率（%）。曲線1表示對源域WF的訓(xùn)練準確率，因為使用的模型參數(shù)是提前在源域WF上訓(xùn)練好的，因此，其表現(xiàn)的準確率很高，約為98%;曲線2為使用DANN網(wǎng)絡(luò)在有標簽的WF上對無標簽的EC上的訓(xùn)練準確率，其訓(xùn)練準確率大概為83%;曲線3為使用MMD-DANN網(wǎng)絡(luò)在有標簽的WF上對無標簽的EC上的訓(xùn)練準確率，其訓(xùn)練準確率大概為89%。因此，可以看出MMD-DANN網(wǎng)絡(luò)在訓(xùn)練集上表現(xiàn)要優(yōu)于DANN網(wǎng)絡(luò)。

表3是WF、EC、YF相互作為源域和目標域的情況下，直接對目標域預(yù)測、使用DANN網(wǎng)絡(luò)和使用MMD-DANN網(wǎng)絡(luò)所得到的測試平均正確率比對結(jié)果。通過觀察，可得到對源域和目標域使用DANN網(wǎng)絡(luò)的效果優(yōu)于使用源域所訓(xùn)練的網(wǎng)絡(luò)直接對目標域去預(yù)測的效果，但是DANN網(wǎng)絡(luò)的效果又明顯不及MMD-DANN網(wǎng)絡(luò)。綜上MMD-DANN網(wǎng)絡(luò)的效果對不同種類織物缺陷檢測效果更佳。

在實際工業(yè)應(yīng)用中，不僅要考慮檢測的準確率，還要考慮其檢測的實時性。為了測試，使用了一臺帶有1050ti顯卡的工控機，對每個類別測試了10張圖像共50張圖像，實驗結(jié)果如表4所示。可以看出，單幅圖像的檢測耗時平均為10 ms以下，而根據(jù)要求，檢測算法必須在12 ms以下，才能保證檢測速度達到90 m/min，可以滿足實際工業(yè)需求。

4 結(jié) 論

針對織物種類眾多，當前織物缺陷檢測算法普適性不足的問題，提出一種基于改進DANN網(wǎng)絡(luò)的織物缺陷檢測算法。針對原始DANN網(wǎng)絡(luò)中存在的僅考慮源域和目標域間特征相似的情況以及對于復(fù)雜圖片提取到的特征能力較差的問題，提出了改進的方法，通過在網(wǎng)絡(luò)中加入MMD層，對提取到的目標域特征賦予不同的權(quán)重，并使用ResNet50作為特征提取器。在織物缺陷圖庫上對原DANN網(wǎng)絡(luò)和改進的MMD-DANN網(wǎng)絡(luò)進行測試，結(jié)果表明，改進后的網(wǎng)絡(luò)相比于原DANN網(wǎng)絡(luò)在測試集上的準確率平均提高了5%左右，并且驗證了其檢測的實時性，保證在工業(yè)現(xiàn)場能實時檢測。

參考文獻：

[1] CHO C S， CHUNG B M， PARK M J. Development of real-time vision-based fabric inspection system[J]. IEEE Transactions on Industrial Electronics， 2005，52（4）：1073-1079.

[2] KUMAR A. Computer-vision-based fabric defect detection： A survey[J]. IEEE Transactions on Industrial Electronics，2008，55（1）：348-363.

[3] 董阿梅.基于卷積神經(jīng)網(wǎng)絡(luò)的色織物疵點檢測與分類算法研究[D].西安：西安工程大學(xué)，2018.

[4] ZHANG Y F， BRESEE R R. Fabric defect detection and classification using image analysis[J]. Textile Research Journal， 1995，65（1）：1-9.

[5] 朱丹丹.基于圖像分析的色織物疵點檢測研究[D].無錫：江南大學(xué)，2014.

[6] RAHEJA J L， KUMAR S， CHAUDHARY A. Fabric defect detection based on GLCM and Gabor filter： A comparison[J]. Optik-International Journal for Light and Electron Optics， 2013，124（23）：6469-6474.

[7] 任獲榮.數(shù)學(xué)形態(tài)學(xué)及其應(yīng)用[D].西安：西安電子科技大學(xué)，2004.

[8] MALEK A S， DREAN J Y， BIGUE L， et al. Optimization of automated online fabric inspection by fast Fourier transform （FFT） and cross-correlation[J]. Textile Research Journal， 2013，83（3）：256-268.

[9] MAK K L， PENG P. An automated inspection system for textile fabrics based on Gabor filters[J]. Robotics and Computer-Integrated Manufacturing，2008，24（3）：359-369.

[10] 楊曉波.基于自適應(yīng)離散小波變換的混合特征畸變織物疵點識別[J].紡織學(xué)報，2013，34（1）：133-137.

[11] 景軍鋒，李陽，李鵬飛，等.基于小波域多尺度Markov隨機場的織物印花圖案分割[J].紡織學(xué)報，2014，35（1）：127-133.

[12] WONG W K， YUEN C W M， FAN D D， et al. Stitching defect detection and classification using wavelet transform and BP neural network[J]. Expert Systems with Applications， 2009，36（2）：3845-3856.

[13] FENG T， ZOU L， YAN J， et al. Real-time fabric defect detection using accelerated small-scale over-completed dictionary of sparse coding[J]. International Journal of Advanced Robotic Systems，2016，13（1）：1-9.

[14] 景軍鋒，黨永強，蘇澤斌，等.基于改進SAE網(wǎng)絡(luò)的織物疵點檢測算法[J].電子測量與儀器學(xué)報，2017，31（8）：1321-1329.

[15] JING J， DONG A， LI P， et al. Yarn-dyed fabric defect classification based on convolutional neural network[J]. Optical Engineering， 2017，56（9）：93-104.

[16] 張宏偉，張凌婕，李鵬飛，等.基于GoogLeNet的色織物花型分類[J].紡織科技進展，2017（7）：33-35，52.

[17] SIEGMUND D， PRAJAPATI A， KIRCHBUCHNER F， et al. An integrated deep neural network for defect detection in dynamic textile textures[C]//International Workshop on Artificial Intelligence and Pattern Recognition. Springer， Cham， 2018：77-84.

[18] 李明，景軍鋒，李鵬飛.應(yīng)用GAN和Faster R-CNN的色織物缺陷識別[J].西安工程大學(xué)學(xué)報，2018，32（6）：663-669.

[19] GANIN Y， USTINOVA E， AJAKAN H， et al. Domain-adversarial training of neural networks[J]. The Journal of Machine Learning Research， 2016，17（1）：2096-2030.

[20] GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014：2672-2680.

[21] PAN S J， YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering， 2010，22（10）：1345-1359.

[22] GONG B， SHI Y， SHA F， et al. Geodesic flow kernel for unsupervised domain adaptation[C]//Computer Vision and Pattern Recognition （CVPR）， 2012 IEEE Conference on. IEEE， 2012：2066-2073.

[23] TZENG E， HOFFMAN J， ZHANG N， et al. Simultaneous deep transfer across domains and tasks[C]//Proceedings of the IEEE International Conference on Computer Vision， Piscataway： IEEE， 2015：4068-4076.

[24] LONG M， CAO Y， WANG J， et al.Learning transferable features with deep adaptation networks[C]//Proceedings of the 32nd International Conference on Machine Learning， Lille： PMLR， 2015： 97-105.

[25] LECUN Y， JACKEL L D， BOTTOU L， et al. Comparison of learning algorithms for handwritten digit recognition[C]//International conference on artificial neural networks， 1995，60：53-60.

[26] BORGWARDT K M， GRETTON A， RASCH M J， et al. Integrating structured biological data by kernel maximum mean discrepancy[J]. Bioinformatics， 2006，22（14）：e49-e57.

[27] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition， 2016：770-778.

[28] 彭博.深度卷積網(wǎng)絡(luò)：原理與實踐[M].北京：機械工業(yè)出版社，2018：169-171.

[29] KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural[C]//Neural Information Processing Systems，2014：1-9.