基于生成對抗網絡的色織物缺陷檢測

張宏偉，糜紅敏，陸 帥,陳 霞

(1.西安工程大學 電子信息學院，陜西 西安 710048；2.浙江大學 工業控制技術國家重點實驗室，浙江 杭州 310027；3.北京理工大學 醫工融合研究院，北京 100081;4.西安美術學院 服裝系，陜西 西安 710065)

0 引 言

在紡織品生產過程中，由于機械、紗線和加工等問題，織物表面可能會產生各種各樣的缺陷。據統計，缺陷會導致織物的價格下降45%～65%[1]。因此，織物缺陷檢測是紡織品質量控制的重要環節。傳統的人工目測受限于人的主觀影響、視覺疲勞等因素，準確率只有60%～75%[2]。隨著機器視覺與圖像處理技術的飛速發展，許多研究人員將其應用于紡織品缺陷檢測中[3]。目前，傳統基于機器視覺的織物缺陷自動檢測算法主要分為頻譜法、統計法、模型法等。頻譜法包括傅里葉變換[4]、小波變換[5]、Gabor變換[6]等；統計法有自相關函數[7]、直方圖統計[8]、形態學[9]等；模型法主要有馬爾可夫隨機場[10]、自回歸模型[11]等。對于背景紋理簡單的色織物，上述方法通過構造特征工程能夠達到比較理想的檢測結果。然而，難以實現花型復雜且小批量生產的色織物缺陷檢測。

深度學習[12]是近年來計算機領域一個熱門研究方向，已被廣泛應用于人臉識別[13]、語音識別[14]、圖像識別[15]、運動目標跟蹤與檢測[16]等方面。由于深度學習的方法能夠自動學習圖像深層次的特征[17]，因此可以解決難以人工設計色織物特征的問題。按輸入數據是否帶有標簽信息，深度學習可分為有監督學習與無監督學習。在有監督的織物缺陷檢測算法中，JING等先后提出了基于卷積匹配雙字典的網絡模型結構[18]和基于深度卷積神經網絡的織物疵點自動檢測方法[19]，實現了高準確率的缺陷檢測。但上述方法訓練階段均需要大量帶有標記信息的缺陷數據，而實際生產過程中很難獲得大量缺陷數據，因此有監督的深度學習在對小批量的色織物缺陷檢測時存在一定的局限性。

基于無監督學習的織物缺陷檢測算法已有部分研究者進行了嘗試，其關鍵點在于能否有效提取織物圖像的紋理特征，從而將有缺陷樣本圖像有效重構為無缺陷的圖片。MEI等[20]提出一種基于多尺度卷積去噪自編碼(multiscale convolutional denoising autoencoder，MSCDAE)網絡模型，該模型結合圖像金字塔層次結構思想和卷積去噪自編碼網絡，對織物圖像缺陷進行檢測，但對于紋理復雜的色織物，該方法則容易出現過檢現象。張宏偉等先后提出了基于無監督去噪卷積自編碼器(denoising convolutional autoencoder，DCAE)的色織物缺陷檢測算法[21]和U型卷積去噪自編碼器(U-shape denoising convolutional autoencoder，UDCAE)模型[22]，通過對待測圖像與其重構圖像的殘差圖像進行處理，實現色織物缺陷的檢測及定位。但該方法只適用于背景紋理較為簡單的色織物。為此，本文提出一種基于GAN的無監督色織物缺陷檢測算法，使用無缺陷樣本訓練模型，將待檢測圖像經模型重構與圖像后處理等操作，實現最終的檢測目的。

1 模型的構建

1.1 模型構建

GAN是由Ian Goodfellow等于2014年提出的一種無監督深度學習模型，核心思想是二人零和博弈[23]。模型主要由生成器G和判別器D構成，如圖1所示。生成器通過真實數據的潛在分布生成新的數據樣本，判別器則不斷區分生成的樣本和真實數據。

圖 1 GAN的基本結構Fig.1 The structure of GAN

生成器G的輸入為隨機噪聲z，例如高斯噪聲，通過該噪聲生成圖片，記為G(z)。判別器D的輸入為真實圖片x和生成圖片G(z)，輸出D(G(z))表示生成圖片G(z)與真實圖片相似的概率。如果輸出為1，代表生成圖片100%接近真實圖片；如果輸出為0，則表示生成圖片不可能是真實圖片。訓練過程的目標函數為

Ez～Pz(z)[lg(1-D(G(z)))]

(1)

式中:V(G,D)為損失函數；Pdata(x)為真實數據分布；Pz(z)為隨機噪聲分布；E為數學期望；D(x)為真實數據經判別器后的輸出；D(G(z))為生成的圖片經判別器后的輸出。

1.2 基于GAN的圖像重構模型

本文構建的基于GAN圖像重構模型主要包含生成器和判別器2部分。與原始GAN網絡的輸入相比，所構造模型的輸入為加入高斯噪聲后的圖片，而不是隨機噪聲向量，因此需要對生成器做相應的改進。

為了使生成器G能夠有效地重構輸入的圖片，構造的生成器模型依次由編碼器、殘差塊、解碼器構成，使得模型的輸出與輸入成為相對應的圖片，模型結構如表1所示，其中表身單元格中的空白處表示“不適用”。

表 1 生成器(G)網絡結構

編碼器對輸入的圖片通過卷積操作不斷進行尺寸壓縮與特征提取，以獲取圖像中最主要的特征信息。首先利用卷積核大小為7×7的卷積層來增大感受野，然后依次使用4層卷積核大小為3×3的卷積層進行特征提取，激活函數采用修正線性單元(rectified linear unite，ReLU)。解碼器部分則是利用反卷積操作將提取到的特征信息進行恢復。與編碼器不同的是，解碼器的最后一層使用的激活函數為tanh。此外，在編碼器與解碼器之間加入了9個殘差神經網絡(residual neural netnork,ResNet)[24]，文中每個殘差網絡的結構如表2所示。殘差網絡采用了跳接結構，可以在很大程度上加快網絡的收斂速度，同時還能提高網絡的特征提取能力。

表 2 ResNet結構

判別器的作用是判斷重構圖像與真實圖像之間的差距，并將判斷的結果反饋給生成器G與判別器D，從而指導模型進行對抗訓練。判別器D的網絡結構如表3所示，從上往下依次為6個卷積層，卷積核大小為4×4，激活函數采用的是LeakeyReLU。然后經3層全連接層并通過Sigmoid激活函數輸出最終的判別結果。

表 3 判別器(D)網絡結構

模型訓練時使用的損失函數由內容損失與對抗損失共同組成，內容損失用來約束生成的圖像，對抗損失用來判斷生成的圖像與真實圖像。內容損失采用L1損失函數，對抗損失采用WGAN-GP[25]損失，定義分別如式(2)、(3)所示，總損失函數如式(4)所示：

(2)

(3)

Lt=λL1+Ladv

(4)

1.3 模型訓練

模型訓練階段的示意圖如圖2所示。模型訓練具體過程如下：

圖 2 GAN模型訓練階段Fig.2 Training stage diagram of GAN model

1.4 基于GAN模型的缺陷檢測

訓練完成后的GAN模型即可用于色織物的缺陷檢測。由于訓練完成的生成器能有效重構色織物樣本圖像，因此檢測階段只需要生成器即可，檢測階段的過程示意圖如圖3所示。檢測時，輸入為256×256大小的三通道待測圖像，經生成器重構后輸出與輸入尺寸大小相同的重構圖像。然后對待測圖像與其對應重構圖像均進行灰度化與高斯濾波操作，之后再計算二者的殘差圖。

圖 3 缺陷檢測階段示意圖Fig.3 Diagram of defect detection stage

如果待測圖像中存在缺陷，則重構圖像為相應的無缺陷圖像，經殘差計算后，缺陷區域與重構修復后的區域存在明顯的像素值差異，然后通過殘差分析與數學形態學處理，將缺陷區域進行準確定位；如果待測圖像中無缺陷區域，則待測圖像與對應的重構圖像之間的差異僅為隨機噪聲。具體檢測流程如下：

(5)

然后，計算殘差圖像的均值μ與方差σ，得到自適應分割的閾值T，閾值計算公式如式(6)所示，實驗中k的取值為2。

T=μ+kσ

(6)

接著，對殘差圖進行閾值化處理，得到二值圖Xbinary。如果殘差圖中某一點的像素值大于閾值T，則將該點像素值置為邏輯1，反之則置為邏輯0；最后，為了消除隨機噪聲對檢測結果的影響，采用開運算處理二值圖，得到最終檢測結果R，即

R=(Xbinary?E)⊕E

(7)

式中：?、⊕分別為腐蝕與膨脹操作；E為結構元素。

2 實 驗

2.1 實驗數據集

實驗所用數據集來自于YDFID-1[26]數據集。YDFID-1數據集包括3 501幅織物圖像，其中3 189幅為無缺陷圖像，312幅為缺陷圖像。根據織物圖案的復雜性，可將其分為簡單格子(simple lattices，SL)、條紋圖案(stripe patterns，SP)和復雜格子(complex lattices，CL)3種類型。本文從3種類型的數據集中選取了6個不同花型的數據集進行訓練和測試，分別命名為SL1、SL16、SP3、SP5、CL1、CL2，每個數據集包含2部分：用于訓練的無缺陷樣本和用于檢測的有缺陷樣本，如圖4所示。經整理后的實驗樣本數量分布如表4所示。

圖 4 部分色織物樣本Fig.4 Samples of yarn-dyed fabric

表 4 數據集樣本數量

2.2 實驗平臺

實驗硬件配置為CPU：Intel(R) Core(TM) i7-6850K CPU (3.60 GHz)；GPU：NVIDIA GeForce GTX 1080 Ti (11 GiB)；內存為64 GiB。軟件環境配置：操作系統為Ubuntu 16.04.6 LTS；深度學習框架為Keras 2.1.3、TensorFlow 1.12.0；Anaconda3。

2.3 評價指標

為了評估模型在訓練完成后的去噪重構能力，文中選擇了2種目前廣泛使用的圖像質量評估指標，峰值信號比(peak signal to noise ratio，PSNR)和結構相似性(structural similarity，SSIM)[27]對模型訓練后的去噪重構結果進行定量分析。

對于檢測結果，本文選取了F1-measure(記為F1)、準確率(記為A)、交并比(記為U) 3個缺陷檢測算法中常用的評價指標來定量分析所提方法的檢測效果，其計算公式分別為

(8)

(9)

(10)

式中：TP為正樣本預測為正；TN為負樣本預測為負；FP為負樣本預測為正；FN為正樣本預測為負。

3 結果與討論

3.1 重構效果對比分析

為了定性分析不同模型的重構效果，本文分別從實驗數據集中選取了SL1、SP3、CL2數據集進行展示，比較DCAE、MSCDAE、UDCAE以及本文所提出方法的重構效果，4種模型的重構實驗結果如圖5所示。

圖 5 4種模型重構結果定性分析Fig.5 Qualitative analysis of reconstruction results of four models

從圖5可以看到，在SL1數據集上，傳統的DCAE、MSCDAE、UDCAE模型重構圖像中均有缺陷區域存在，本文所提方法的重構圖像中則沒有缺陷區域的存在。在SP3數據集上，DCAE模型則無法有效重構花型紋理，MSCDAE模型的重構圖中存在背景紋理損壞，UDCAE模型無法完全修復缺陷區域，而本文所提方法則能在修復缺陷區域的同時保證背景紋理的完整。在CL2數據集上，DCAE模型重構圖像在缺陷區域有明顯的紋理上的變形，MSCDAE、UDCAE模型的重構圖像明顯優于DCAE模型，但是也存在一些紋理上的變形，本文所提方法的重構圖像相比于其他幾個模型是最優的。

此外，為評估不同模型對色織物圖像的重構能力，本文分別計算了各個模型下色織物與其對應的重構圖之間的PSNR、SSIM值，結果如表5所示。

表 5 重構結果評價指標值

從表5可以看出，本文所提方法對SL1、SL16、SP3、SP5、CL1這5個數據集都有最高的PSNR與SSIM指標值，只有CL2數據集的PSNR、SSIM指標值低于UDCAE模型。而PSNR與SSIM的值越高，表示重構的圖像與原始圖像越接近。因此，可以認為本文所提方法能夠更好地實現對色織物的重構，而重構效果越好的殘差圖像計算越準確，檢測結果也越準確。

3.2 檢測結果定性分析

依據實驗中色織物數據集的缺陷檢測結果，在6個數據集上對本文所提出的模型與DCAE、MSCDAE、UDCAE等模型進行定性分析，結果如圖6所示。

圖 6 4種模型檢測結果圖Fig.6 Detection results of four models

從圖6可以看出，由于DCAE模型網絡層數較淺，因此對于細小的缺陷檢測效果不佳，例如SL16數據集；且在復雜背景紋理下的檢測結果極易出現過檢現象，例如SP3、CL1、CL2數據集。雖然MSCDAE模型采用了多尺度結構，但是每個尺度上的網絡層數依然比較淺，導致細節保留能力不強，所以同樣存在嚴重的過檢問題，例如SL16、CL1、CL2數據集。由于UDCAE模型使用了跳接結構融合了淺層特征信息，所以重構效果要優于DCAE、MSCDAE模型，從而檢測結果也更好，但對復雜背景紋理的織物同樣存在過檢現象，例如CL1、CL2數據集。相比之下，本文所提方法在缺陷定位準確的前提下，沒有產生多余的噪聲，并且檢測出的缺陷區域連續性也優于其他幾種模型，例如SP5數據集。綜上所述，本文所提方法對色織物缺陷檢測的效果明顯優于DCAE、MSCDAE、UDCAE模型。

3.3 檢測結果定量分析

為了定量評價本文方法的缺陷檢測能力，選取DCAE、MSCDAE、UDCAE等模型，計算了每個模型、每種花型的F1、A以及U值，將其檢測結果進行對比，最高值均用黑色字體標出，結果如表6所示。

從表6可以看出，對于DCAE模型，計算所有實驗數據集的評價指標后，只在SL1數據集的指標A取得最高值；對于MSCDAE模型則均未有最高值；對于UDCAE模型，分別在SL1、SP3數據集的F1與U指標上取得最高值；本文所提方法則在SL16、SP5、CL1、CL2等4個數據集上的所有評價指標取得最高值，在SP3數據集的評價指標A上取得最高值。綜上所述，對于背景紋理相對簡單的格子類型與條紋圖案類型色織物，DCAE、MSCDAE、UDCAE模型，可在部分數據集上取得較為理想的檢測結果，然而當顯著增加背景復雜性時，上述3種模型很難有良好的表現，但是本文所提方法則能很好地完成缺陷檢測任務。因此，相比于DCAE、MSCDAE、UDCAE無監督缺陷檢測模型，本文所提方法在色織物的缺陷檢測上具有明顯的優勢。

表 6 定量分析對比

3.4 消融實驗

為了驗證生成器模型中間層添加殘差塊的數量對重構結果的影響，本文分別設置了0、3、6、9、12個殘差塊，在SL1數據集上進行消融實驗。結果如圖7所示。

圖 7 不同數量殘差塊的重構圖Fig.7 Reconstructed images with different number of residual blocks

從圖7可以看到，隨著殘差塊數量的增加，原圖中大缺陷區域的重構修復效果較好，但網絡層數的增加，模型的參數量以及訓練時間會顯著增加，對硬件的要求也越高，如表7所示。因此，綜合考慮模型的重構效果以及實驗硬件條件，本文最終選擇在生成器模型中間層添加9個殘差塊。

表 7 參數量及訓練時間對比

4 結 語

針對色織物織造工藝流程中缺陷檢測的問題，以及傳統檢測方法與有監督學習的檢測方法存在的局限性，本文提出一種基于GAN的無監督缺陷檢測模型。首先，利用無缺陷色織物樣本訓練模型，使模型具備對色織物圖像的重構能力；然后將待測織物圖像輸入模型，獲得對應的重構圖像；最后計算待測色織物圖像與其重構圖像之間的殘差圖像，通過殘差分析與數學形態學處理，實現對色織物的缺陷檢測與定位。實驗結果表明，本文所提出的方法在檢測精度上可滿足色織物生產時的驗片工藝要求，為色織物的疵點檢測提供了一種易于工程實踐的自動化檢測方案。