應用深度卷積神經網絡的色織物缺陷檢測

景軍鋒， 范曉婷， 李鵬飛， 洪 良

(西安工程大學 電子信息學院， 陜西 西安 710048)

應用深度卷積神經網絡的色織物缺陷檢測

景軍鋒， 范曉婷， 李鵬飛， 洪 良

(西安工程大學 電子信息學院， 陜西 西安 710048)

針對織物缺陷檢測時傳統人工的誤檢率、漏檢率較高問題，提出一種應用深度卷積神經網絡的色織物缺陷檢測算法。因織物圖像采集過程中含有較多噪聲且信噪比較低，先對缺陷織物進行最優尺寸高斯濾波，有效濾除細節噪聲；再根據織物圖像特征建立深度卷積神經網絡，利用徑向基神經網絡的非線性映射能力作用于卷積神經網絡，并通過反向傳播算法調整權值參數，獲取無缺陷樣本與訓練樣本之間的映射函數；最后，利用映射函數及特征字典重構圖像并提取特征，根據Meanshift算法分割缺陷，確定缺陷位置。結果表明：應用深度卷積神經網絡的缺陷檢測算法對色織物圖像庫中的缺陷圖像可實現提高檢測效率、縮短檢測時間，獲取準確缺陷位置的目的。

色織物； 圖像庫； 缺陷檢測； 深度卷積神經網絡； 映射函數

隨著科學技術的迅速發展，我國紡織行業競爭日趨激烈。布匹質量的優劣程度對紡織生產影響相當巨大，各大紡織企業面臨著高標準，嚴要求，低成本的巨大壓力。而傳統的人工目測方法存在明顯缺陷，如織物缺陷大小及出現頻率受主客觀因素的影響較大，勞動強度過大且不利于工人身體健康等，因此，研制并開發自動織物缺陷檢測系統具有廣闊的研究前景。

對于自動織物缺陷檢測系統而言，核心部分是織物缺陷檢測算法，而檢測算法中最重要部分在于圖像特征值的選擇。目前，圖像特征值提取方法主要分為3種[1]：一是在頻域提取特征值的傅里葉變換法、Gabor濾波器法和小波變換法[2]；二是基于空間域的灰度共生矩陣法、直方圖統計法以及數學形態學法[3]；三是基于模型算法的自回歸模型、馬爾科夫隨機場法[4]等。以上3類方法主要針對背景紋理簡單的坯布織物檢測。對于圖案織物的缺陷檢測主要包括：基于結構的紋理結構算法[5]，混合算法，如圖像分解算法[6-7]、Bollinger算法[8]、規則帶法[9]、LBP算法[10]等以及基于圖像基元的移動變量相減的方差與能量算法[11]等。這些算法主要是對灰度圖像進行處理，而對于包含較多顏色信息的彩色織物的缺陷檢測研究相對較少，因此，如何對色織物進行缺陷檢測具有深刻的研究意義。

基于投影序列相似度量的織物缺陷檢測[12]，基于織物能量局部二值模式的缺陷檢測[13]以及基于CIE L*a*b*顏色空間的2-D Gabor濾波器的織物缺陷檢測[14]等是目前存在的幾類針對色織物缺陷進行檢測的算法，但由于幾種算法均采用基于顏色空間及像素本身進行處理的學習模式，導致樣本的細節特征不能完全表達，無法檢測多層色織物內部的缺陷且對外界檢測環境要求較高，因此，本文采取一種基于深度學習模式的深度卷積神經網絡的色織物缺陷檢測算法。其中多隱層的卷積神經網絡模擬了生物神經網絡，降低了網絡模型的復雜度，從而具有更優異的特征學習能力，織物的圖像特征得到了更準確地提取，更有利于后續的圖像特征提取及分類。本文先對缺陷織物進行最優尺寸高斯濾波預處理操作，不僅可以有效濾除細節噪聲，而且不會造成圖像邊緣信息的模糊。圖像缺陷檢測過程包括訓練階段和檢測階段。訓練階段是根據織物樣本圖像特征建立深度卷積神經網絡，即利用徑向基神經網絡較強的非線性映射能力作用于卷積神經網絡，并通過反向傳播算法調整權值參數，獲取無缺陷樣本與訓練樣本之間的映射函數。檢測階段是利用獲取的映射函數及特征字典重構圖像并提取圖像特征，根據Meanshift算法圖像分割出缺陷，并經過雙峰法二值化，確定織物缺陷位置。大量實驗結果表明，該方法對于不同類型，不同顏色的織物的多種缺陷均達到良好的可視效果。

1 色織物缺陷檢測算法

基于深度卷積神經網絡的色織物缺陷檢測過程主要包括3個階段：1)對采集到的色織物進行預處理；2)構建深度卷積神經網絡，獲取特征字典和映射函數；3)利用Meanshift算法進行圖像閾值分割實現缺陷檢測。算法的流程如圖1所示。

1.1 最優尺寸高斯濾波預處理

織物圖像在工業現場采集的過程中，環境因素較為復雜且不穩定以及圖像采集設備的精度和靈敏度等客觀因素的影響，容易造成織物圖像較大程度失真，信噪比降低，這種現象的存在會大大影響后續織物缺陷檢測階段。因此，為了提高織物圖像的信噪比，最大程度地降低圖像失真并去除噪聲，采用基于圖像信噪比選擇優化尺寸的高斯濾波進行織物預處理，該操作不僅可以有效濾除細節噪聲，而且大量保留圖像邊緣信息。該算法首先通過織物圖像信噪比(SNR)評估圖像受噪聲影響的程度，然后根據最小化一階Holder優化準則[15]，確定高斯濾波函數中的最優標準方差，并根據最小二乘法擬合出最終的高斯濾波函數尺度，實現預處理。同時為了使圖像更加清晰，采用自適應直方圖均衡化增強圖像對比度。

圖2示出暗紅色錯色和藏青色帶紗2類色織物缺陷類型在未經過最優尺寸高斯濾波預處理和經過最優尺寸高斯濾波預處理獲取的最終的二值化檢測結果。結果表明最優尺寸高斯濾波操作對檢測結果具有良好的影響，經過預處理的色織物的檢測結果能夠準確顯示出織物缺陷的位置。

圖1 深度卷積神經網絡的色織物缺陷檢測算法流程圖Fig.1 Flowchart of deep-convolutional neural network method for yarn-dyed fabric defect detection. (a) Training phase; (b) Detection phase

圖2 色織物未經過預處理和經過預處理結果Fig.2 Samples of yarn-dyed fabrics without/with preprocessing. (a) Dark red, wrong color; (b) Wrong color with Gauss filter preprocessing; (c) Binary result without Gauss filter preprocessing of wrong color; (d) Binary result with Gauss filter preprocessing of wrong color; (e) Navy blue, belt yarn; (f) Belt yarn with Gauss filter preprocessing; (g) Binary result without Gauss filter preprocessing of belf yarn; (h) Binary result with Gauss filter preprocessing of belf yarn

1.2 深度卷積神經網絡

1.2.1 卷積神經網絡構建

卷積神經網絡(Convolutional Neural Network，CNN)是多層感知器的結構變種。該網絡是由多層卷積層和多層降采樣層重復疊加而成，自底而上，神經網絡的最上層是由多個普通神經網絡構成的全連通層[16]。目前，卷積神經網絡被廣泛應用于人臉識別、語音識別、圖像識別、運動目標跟蹤與檢測等問題中。

卷積神經網絡是從卷積層自底而上分別對節點進行卷積和降采樣提取圖像特征。卷積神經網絡中卷積層的定義以及卷積后輸出的圖像尺寸如下式所示：

(m*h)x=∫m(t)h(x-t)dt

圖像特征映射函數定義如下式所示

式中：gn為卷積層的第n個神經元；卷積層與上一層節點的連接權重為Gn；偏置項為an；i,j分別為神經元在圖像特征平面上的坐標。卷積神經網絡的整體結構如圖3所示。其中，輸入圖像作為輸入層。自底而上，從輸入層到S1是卷積過程，主要是增強原圖像特征，降低噪聲。在Sigmoid函數中，通過可訓練的卷積濾波器，利用偏置函數進行修正，進行卷積獲得卷積特征圖像S1，它包含圖像的輪廓特征。從S1到C1是降采樣過程，主要是降低數據計算量，保留有效信息。該過程即S1中連續的窗口像素進行求和(一般窗口像素取為圖像的紋理周期)，并利用偏置函數修正加權平均值，從而映射到C1的一個窗口上獲取映射特征圖像，C1是降采樣后圖像，包含圖像的邊緣信息。從C1到S2是卷積過程，從S2到C2是降采樣過程，更復雜的圖像特征被準確提取出來，而且通過感受野和權重共享可減少網絡的參數，使得算法訓練速度更快，需要的訓練樣本更少，效率明顯提高。

圖3 卷積神經網絡整體結構圖Fig.3 Structure of convolutional neural network

1.2.2 徑向基神經網絡優化

傳統的卷積神經網絡的輸出層是通過使softmax回歸作為激勵函數用于圖像特征的最后分類[17]；但是降采樣層與輸出層采用全連通的方式，會大大降低輸出層對圖像特征分類的能力，容易造成特征分類的準確度下降等現象，所以，利用徑向基神經網絡(Radial Basis Functions，RBF)[18]中局部指數衰減的非線性函數對卷積神經網絡的非線性輸入輸出進行局部逼近，可以優化傳統的卷積神經網絡的輸出層，提高系統網絡的分類能力。

徑向基神經網絡包含輸入層、隱含層和輸出層，徑向基神經網絡在卷積神經網絡(見圖3)的基礎上構建的深度卷積神經網絡的結構如圖4所示。

圖4 深度卷積神經網絡整體結構圖Fig.4 Structure of deep-convolutional neural network

1.2.3 反向傳播學習算法調整權值參數

卷積神經網絡和徑向基神經網絡構成的深度卷積神經網絡需要進行字典學習，即權值參數調整與字典更新。深度卷積神經網絡的權值參數調整與字典更新包括前向傳播和反向傳播。前向傳播和普通的神經網絡是相似的，均采用由前向后依次傳遞。本文中反向傳播是采用基于反向傳播算法(Back-Propagation)的有監督學習對深度卷積神經網絡進行訓練。反向傳播算法主要是通過前向傳播產生的結果和誤差作用于反向傳播調整權值參數。

假設輸入樣本(x,y)，其前向傳播輸出的誤差代價函數為

(5)

(6)

1.3 二值化閾值

注：A為缺陷圖象；B為二值化結果圖5 部分色織物缺陷樣本檢測結果Fig.5 Some defect detection results of yarn-dyed fabric samples. (a) Warp and Broken of dark red; (b) Knot of dark red; (c) Dropping stitches of red; (d) Hole of red; (e) Hop yarn of gray; (f) Hole of gray; (g) Wrong filling of blue-white; (h) missing filling of blue-white; (i) Belt yarn of navy blue; (j) Thick bar of navy blue; (k) Belt yarn of light blue; (l) Double weft insertion of light blue; (m) Grin of orange; (n) Wrong organization of orange; (o) Rove of pink; (p) Broken yarn of pink;(q) Rust stains of white; (r) Double warp of white; (s) Knot of purple; (t) Belt yarn of purple

檢測過程中對輸入的缺陷樣本進行最優尺寸高斯濾波預處理，并利用訓練階段獲得的映射函數對樣本圖像進行重構，根據深度卷積字典提取重構圖像特征。然而獲取的圖像特征需要進一步分割，才能獲得增強的缺陷部分。考慮到Meanshift算法是一種高效的聚類迭代算法[19]，因此，采用基于Meanshift的圖像分割方法處理圖像。Meanshift圖像分割包括圖像濾波和圖像合并。Meanshift濾波是將圖像像素中的Meanshift向量眾數作為中心引力場，吸引其他像素，從而將圖像分割成小區域，實現平滑濾波過程。然后通過Meanshift合并，將相鄰差異性較小的像素合并，獲取較突出的缺陷區域。最后，對分割出來的缺陷部分進行雙峰法的二值化處理，可以獲取最終的二值化缺陷檢測結果。

2 實驗結果與分析

為了對提出的基于深度卷積神經網絡的色織物缺陷檢測算法性能進行評估，進行了大量實驗。實驗中共選取了500幅無缺陷色織物作為訓練樣本，400幅缺陷色織物作為檢測樣本。織物包括暗紅色、紅色、灰色、藍白色、藏藍色、淺藍色、橙色、粉色、白色、紫色共10種色織物。缺陷包括帶紗、結頭、錯組織、密路、雙脫緯、缺緯、斷經、稀路、污漬、破洞等20種色織物缺陷類型。10種顏色的色織物各包含50幅無缺陷訓練樣本，40幅缺陷檢測樣本。本文實驗是在Matlab R2008a環境下，處理器為Intel(R) Core(TM)i5-2400CPU@3.10GHz的計算機下完成的。色織物的圖像采用PNG格式，尺寸均為256像素×256像素。

圖5示出部分色織物缺陷檢測結果。從第1行到第10行分別為10種顏色的色織物樣本及二值化缺陷檢測結果，每種顏色分別展示2種缺陷類型，共16種缺陷類型。

缺陷檢測結果表明，基于深度卷積神經網絡的色織物缺陷檢測算法對色織物具有較好的檢測性能，包括細節缺陷如斷經、飛花、結頭等類型均能得到較準確的檢測。其中，對于藍白色、藏藍色、淺藍色及橙色4種背景紋理結構相對復雜的色織物缺陷樣本，檢測效果也十分理想，算法的檢測時間較短，達到了高效率與高準確率的目的。

表1示出10種色織物的10種缺陷類型的檢測成功率。對于10種色織物各40幅缺陷檢測樣本，每種顏色的缺陷類型各5種，每種缺陷類型各8幅。根據表1的檢測結果可看出，對于10種缺陷種類平均的檢測成功率能夠達到87.5%以上。個別織物缺陷檢測成功率，由于織物背景紋理相對復雜，缺陷與背景紋理難以辨別導致檢測成功率相對較低。但是對于工業現場經常出現的帶紗、破洞、污漬、結頭等缺陷檢測成功率是較高的，色織物的缺陷位置和形狀可得到較好的可視化效果，檢測效果較理想。

表1 色織物缺陷檢測成功率Tab.1 Defect detection rate yarn-dyed fabric %

3 結束語

本文采用基于深度卷積神經網絡算法對色織物進行缺陷檢測。織物圖像在現場采集過程中會引入噪聲，使得圖像在一定程度上產生失真。因此，首先對缺陷織物進行最優尺寸高斯濾波，可以有效濾除細節噪聲并刻畫圖像邊緣信息。缺陷檢測過程包括訓練階段和檢測階段，其中算法的訓練階段是對無缺陷樣本集進行卷積神經網絡和徑向基神經網絡的構建，并利用反向傳播算法進行參數調整與字典更新，從而獲得深度卷積神經網絡的卷積字典和映射函數。算法的檢測階段包括利用獲取的映射函數對織物圖像進行重構，并根據深度卷積字典提取重構圖像的圖像特征。最后，通過Meanshift算法對圖像特征進行圖像分割，獲取較突出的缺陷區域，并對分割出來的缺陷部分進行雙峰法的二值化處理，得到色織物的二值化缺陷檢測結果。實驗驗證了算法的有效性，對400幅缺陷檢測樣本中20種缺陷類型的識別率較高，且適應性較強，可以實現高效率、高準確率、縮短檢測時間的目的，基本達到工業現場對色織物顏色及缺陷種類在線檢測的要求。

FZXB

[1] KUMAR A. Computer-vision-based fabric defect detection: a survey [J]. IEEE Transactions on Industrial Electronics, 2008,55(1): 348-363.

[2] 張揚，蔣高明，姚君洲，等. 基于MRF層次模型的賈矢經編針織物圖象分割技術[J]. 紡織學報， 2012，33(12):102-106. ZHANG Yang, JIANG Gaoming, YAO Junzhou, et al. Segmentation of jacquard warp-knitted fabric image based on hierarchical Markov random field model[J]. Journal of Textile Research, 2012, 33 (12): 102-106.

[3] 潘如如, 高衛東, 錢欣欣，等. 基于互相關的印花織物疵點檢測[J]. 紡織學報, 2010, 31(12):134-138. PAN Ruru, GAO Weidong, QIAN Xinxin， et al. Defect detection of printed fabrics using normalized cross correlation[J]. Journal of Textile Research, 2010, 31(12):134-138.

[4] NGAN H Y T, PANG G K H, YUNG S P, et al. Wavelet based methods on patterned fabric defect detection[J]. Pattern Recognition, 2005, 38(4): 559-576.

[5] NGAN H Y T, YUNG S P. Automated fabric defect detection: a review[J]. Image and Vision Computing, 2011, 29(7): 442-458.

[6] NG M K, NGAN H Y T, YUAN X, et al. Patterned Fabric inspection and visualization by the method of image decomposition[J]. IEEE Transactions on Automation Science & Engineering, 2014, 11(3): 943-947.

[7] 景軍鋒, 范曉婷, 李鵬飛， 等. 應用Gussian回代交替方向圖像分解算法的色織物疵點檢測[J]. 紡織學報, 2016,37(6):136-141. JING Junfeng, FAN Xiaoting, LI Pengfei, et al. Yarn-dyed fabric defect detection based on Gaussian back substitution image decomposition[J]. Journal of Textile Research, 2016, 37(6):136-141.

[8] NGAN H Y T, PANG G K H. Novel method for patterned fabric inspection using bollinger bands[J]. Optical Engineering, 2006, 45(8): 087202-087217.

[9] NGAN H Y T, PANG G K H. Regularity analysis for patterned texture inspection[J]. IEEE Transactions on Automation Science & Engineering, 2009, 6(1):131-144.

[10] TAJERIPOUR F, KABIR E, SHEIKHI A. Defect detection in patterned fabrics using modified local binary patterns[C]//IEEE International Conference on Computational Intelligence and Multimedia Appli-cations[s.l.]: IEEE, 2007:263-267.

[11] NGAN H Y T, PANG G K H, YUNG N H C. Performance evaluation for motif-based patterned texture defect detection[J]. IEEE Transactions on Automation Science & Engineering, 2010, 7(1):58-72.

[12] 朱丹丹. 基于圖像分析的色織物疵點檢測研究[D]. 無錫：江南大學, 2014: 33-43. ZHU Dandan. Research of defect detection for yarn-dyed fabric based on image analysis[D]. Wuxi: Jiangnan University, 2014: 33-43.

[13] 李文羽. 基于機器視覺和圖像處理的色織物疵點自動檢測研究[D]. 上海：東華大學, 2014: 60-76. LI Wenyu. Research on automatic detection for yarn-dyed fabirc defect based on machine vision and image processing[D]. Shanghai: Donghua University, 2014: 60-76.

[14] JING J, LIU S, LI P, et al. The fabric defect detection based on CIE L* a* b* color space using 2-D Gabor filter[J]. The Journal of The Textile Institute, 2015，107(10): 1-9.

[15] 王文遠. 基于圖像信噪比選擇優化高斯濾波尺度[J]. 電子與信息學報, 2009, 31(10):2483-2487. WANG Wenyuan. Selecting the optimal gaussian filtering scale via the SNR of image[J]. Journal of Electronics & Information Technology, 2009, 31(10): 2483-2487.

[16] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2):1-9.

[17] 余永維, 殷國富, 殷鷹, 等. 基于深度學習網絡的射線圖像缺陷識別方法[J]. 儀器儀表學報, 2014, 35(9): 2012-2019. YU Yongwei, YIN Guofu, YIN Ying, et al. Defect recognition for radiographic image based on deep learning network[J]. Chinese Journal of Scientific Instrument, 2014, 35(9):2012-2019.

[18] WllAMPWSKI B M, CECATUI C, KOLBYSZ J, et al. A novel RBF training algorithm for short-term electric load forecasting and comparative studies[J]. IEEE Transactions on Industrial Electronics, 2015, 62(10):1.

[19] TAO W, JIN H, ZHANG Y. Color image segmentation based on mean shift and normalized cuts[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2007, 37(5): 1382-1389.

Yarn-dyed fabric defect detection based on deep-convolutional neural network

JING Junfeng， FAN Xiaoting， LI Pengfei， HONG Liang

(SchoolofElectronicsandInformation,Xi′anPolytechnicUniversity,Xi′an,Shaanxi710048,China)

Focusing on the problems of high error detection and omission rate of traditional artificial fabric defect detection，this paper presents a yarn-dyed fabric defect detection method, which based on the deep-convolutional neural network. The fabric image contains much noise and has low signal noise ratio(SNR), and optimal dimension Gauss filter as preprocessing is conducted firstly for the sampled images to remove the detailed noise. Secondly, the deep-convolutional neural network is established based on the features of fabric samples, nonlinear mapping ability of radial basis function neural network acts upon convolutional neural network, weight parameters are adjusted via back propagation algorithm, and a mapping function between defect free samples and training samples can be obtained. Finally, the mapping function and features dictionary are used to reconstruct image and extract features, according to the Meanshift algorithm to segment the defects and determine the fabric defect position by two value. The experimental results demonstrate that the method based on the deep-convolutional neural network can achieve the purpose of improving efficiency, shortening the time of measurement, and obtaining an accurate defect image.

yarn-dyed fabric; image library; defect detection; deep-convolutional neural network; mapping funcition

10.13475/j.fzxb.20161001707

2016-10-09

2016-11-10

國家自然科學基金項目(61301276)；陜西省工業科技攻關項目(2015GY034)；西安工程大學研究生創新基金資助項目(CX201602)；陜西省教育廳專項科研計劃項目(16JK1342)；陜西省自然科學基礎研究計劃項目(2015JQ6258)

景軍鋒(1978—)，男，副教授，博士。主要研究方向為機器視覺與圖像處理。E-mail：413066458@qq.com。

TP 391

A

獲獎說明：本文榮獲中國紡織工程學會頒發的第17屆陳維稷優秀論文獎