基于機器視覺的疵點檢測方法的研究進展

王孟濤 李岳陽 杜帥

摘 要：機器視覺在織物疵點檢測方面具有廣泛的應用，對紡織品質量控制具有重要的現實意義。本文通過對近幾年相關文獻的分析，簡要綜述關于疵點檢測各種方法，并按照對織物圖像處理的方法不同可分為：結構方法、統計學方法、頻譜分析方法、基于模型的方法和基于學習的方法。著重闡述了各類方法的優缺點，并總結該領域的發展趨勢。

關鍵詞：圖像處理;紡織品;疵點檢測;機器視覺

中圖分類號：TS186.3

文獻標志碼：A

文章編號：1009-265X（2019）05-0057-05

Abstract：Machine vision is widely applied in the detection of fabric defects， and carries important practical significance for the quality control of textiles. Through the analysis of relevant literatures in recent years， the various methods of defect detection are summarized， and they can be divided into structural method， statistical method， spectrum analysis method， model-based method and learning-based method in accordance with the different methods of fabric image processing. This paper highlights the advantages and disadvantages of various methods and summarizes the development trends of this field.

Key words：image processing; textiles; defect detection; machine vision

織物疵點檢測是紡織品質量控制中必不可少的環節，隨著工業技術的發展，基于機器視覺的織物疵點檢測逐漸成為紡織企業發展的必然趨勢。傳統的織物疵點檢測方法都是由檢驗人員來完成，有數據表明：一個較為熟練的檢驗人員的驗布速度不超過20 m/min，驗布的幅寬在1 m之內，檢驗效率約70%[1-2]。并且，織物疵點可出現在生產過程中的任何階段，疵點的形狀和種類千變萬化，給疵點識別帶來了諸多的困難。因此，以快速和可靠機器視覺來代替低效的人工視覺，實現織物疵點自動化檢測，具有重要的經濟效益和現實意義。

1 織物疵點檢測方法

一般根據對圖像處理的原理不同，織物庛點檢測可以分為如下幾類[3-4]：結構方法、統計學方法、頻譜分析方法、基于模型的方法以及基于學習的方法。本文主要對近幾年檢測算法的最新研究進展進行了分類探究和分析，比較了各種算法的優劣勢，著重分析基于支持向量機和深度學習方法的特性。

1.1 基于結構方法的織物疵點檢測

結構方法將紋理視為紋理基元的組合，紋理分析通過獲取紋理特征并推斷其替換規則來執行。根據這種方法，織物圖案的紋理可以通過簡單紋理結構的組合來實現。結構紋理分析包含兩個順序階段：基本織物紋理的檢測;整體織物紋理圖案的建模。Abouelela等[5]進行了結構疵點的檢測，但是結構方法的可靠性很低，結構化方法只能將織物疵點從非常規整的紋理中分離出來。

1.2 基于統計方法的織物疵點檢測

統計方法使用一階統計量和二階統計量來提取織物紋理的特征，該特征來描述織物紋理之間相異性及織物紋理整體結構的一致性。基于統計方法的疵點檢測主要有[6]：灰度共生矩陣（Gray-leve Cooccurr-ence Matrix）、數學形態學（Mathematical Morphology）、直方圖統計法（Histogram Statistical Appr-oach）等方法。

1.2.1 灰度共生矩陣

灰度共生矩陣（GLCM）統計方法是20世紀70年代初由Haralick首次提出，它是在假定圖像中各像素間的空間分布關系包含了圖像紋理信息的前提下，提出的具有廣泛性的紋理分析方法。由于灰度圖像是由接近的灰度值像素塊構成，因此采用灰度共生矩陣的熵、慣性矩、同質性、角二階距等14個統計特性的特征值，能很好的表征二維織物紋理特性。Zhu等[7]首先利用自相關函數來確定色織物的圖案周期，得到檢測窗口的大小，其次用GLCM計算可以表征原圖像的特征值，然后計算無疵點圖像與模板圖像之間的GLCM的歐氏距離，最后給出合適的閾值以實現織物疵點檢測。Latif等[8]首次提出將小波變換和灰度共生矩陣相結合的疵點檢測算法，算法流程是：首先采用小波變換將原織物圖像分成一定大小的子圖塊，然后選取灰度共生矩陣的（熵、慣性矩、同質性、角二階距）4個統計特性對每一子圖像提取特征值，組成特征向量，最后采用測試樣本中的36幅圖像進行檢測，實驗結果：正確率達到90.78%。但是共生矩陣存在兩個主要劣勢：高分辨率圖像的性能較差;計算成本高。

1.2.2 數學形態學

數學形態學是基于對象幾何的初步信息的特征提取方法，其基本操作是膨脹，侵蝕，開放和關閉[9]。目前，形態學圖像處理已逐步演化成為圖像處理的一個核心研究領域。Mak等[10]利用最佳形態學濾波器對于一些特定種類疵點進行檢測，并且應用到一個實時的檢測系統中，檢測率可達97.4%。

1.2.3 直方圖統計法

直方圖包含圖像灰度像素分布的基本統計數據。常見的直方圖統計特性有平均值、標準差、方差和中值等。劉洲峰等[11]首先將織物原圖像按照要求分割成一定大小的子圖像，然后對每一子圖像利用局部二進制模式（LBP）和灰度直方圖等方法提取子圖像的特征，任意選取一個子圖像塊的特征，與其他n個子圖像塊特征作對比，經對比之后生成視覺顯著圖，最后選取合適的閾值對生成的顯著圖進行閾值分割，達到檢測出疵點結果。但是由于灰度直方圖的計算過程過于簡單和LBP生成的特征向量的維數過高，計算量大等因素，導致這種方法使用較少，可靠性低。

1.3 基于頻譜方法的織物疵點檢測

基于頻譜的織物疵點檢測是利用織物中基本紋理基元高度的周期性類似于頻譜特性的規律，將圖像從空間域（或時域）變換到頻域，來檢測織物疵點。有傅里葉變換法[12]、小波變換[13-14]、Gabor濾波器[15]等。

1.3.1 傅里葉變換

傅里葉變換是一種圖像紋理分析技術，能夠進行從時域到頻域的詳細分析。在圖像處理中，這種技術和紋理圖像的特征是頻率分量，織物圖像的大小在旋轉期間不會改變。

Dorian等[16]提出一種基于傅里葉分析、模糊聚類和模板匹配的疵點檢測算法框架，主要對于機織物的平紋，斜紋和緞紋140種織物圖像進行實驗。結果表明：實驗精度可達到97%。由于傅里葉變換受織物結構變化的影響較大，因此該方法的實時性和通用性都較差。

1.3.2 小波變換

小波變換是一種信號分析技術，它作為傅里葉變換的一種替代方案而被開發，具有多分辨率分析的特點，而且小波變換最主要的優點就是局部的分析。由于織物疵點產生的位置一般不會遍及整個織物表面，因此，小波變換在織物疵點應用也越來越多。

李敏等[17]將小波變換和神經網絡相結合對織物疵點進行檢測和識別：首先采用小波變換對原圖像進行預處理，分解成一定大小的子塊，然后利用Radon小波對每一小塊進行小波變換生成特征曲線圖，最后用神經網絡對特征曲線圖進行分析以達到識別出疵點區域的目的。張國英等[18]首先使用小波變換將原始織物圖像分解成m×n大小的子圖，分別從（0°，45°，90°，135°）方向的子圖像上提取織物紋理的特征值，然后將不同方向的特征值組成特征向量，用于后續的檢測。結果表明：織物疵點檢測的正確率達到84%。但是楊曉波[19]提取小波分解后各通道的方差值作為分類的特征值，通過采用不同的優化方案進行實驗，實驗流程：首先使用標準小波基對前5種方案進行測試，然后再使用自適應小波對余下實驗進行測試。結果表明：分類精確率達95.8%。

1.3.3 Gabor濾波器

Gabor變換是D.Gabor 1946年提出的，可以根據紋理結構定制不同比例和方向的濾波器。在圖像處理中，Gabor濾波器的頻率和方向決定了濾波器的大小和處理圖像的位置，適合對織物紋理結構的描述和分析。

尉苗苗等[20]研究提出通過優化Gabor濾波器中的參數來達到識別經編織物疵點的目的。該方法的優點在于將Gabor濾波器和QPSO優化算法相結合，最終使得檢測率達到96.67%，且具有良好的魯棒性。Jing等[21]設計了一種采用多個Gabor濾波器和核主成分分析方法以檢測織物疵點。此算法首先選取4個方向和6個尺度的Gabor濾波器組對織物圖像進行濾波處理并計算特征向量，通過使用核主成分分析方法降低高維特征向量，相似矩陣由歐式方程計算，并用OTSU進行圖像分割，實驗結果表明：該方法獲得較高的檢測率。

1.4 基于模型方法的織物疵點檢測

常見基于模型的織物疵點檢測方法包括自回歸模型（AutoRegressive，AR）、高斯馬爾可夫模型（Gauss Markoff，GM）以及其他模型。朱俊嶺等[22]在高斯馬爾科夫模型的基礎上作了改進，首先在水平和垂直方向對子窗口的灰度值分別進行方差投影，然后通過GM模型對灰度值的方差投影進行譜估計，通過譜估計后正常和待檢測織物都會有各自的相關系數，通過比較相關系數的不同，以實現檢測出疵點的目的。但是，基于模型的方法計算量大，檢測的織物疵點種類少，實時性和通用性不理想，因此近幾年沒有關于此方法的最新研究。

1.5 基于學習的織物疵點檢測

模式識別問題的一般模式：圖像預處理、提取特征、分析特征和分類器設計。隨著近幾年計算機技術的進展，各個紡織企業都向著智能制造方向轉變，因而基于機器學習的方式也是越來越受歡迎。基于學習的織物疵點檢測方法有人工神經網絡、深度學習和支持向量機等。

1.5.1 神經網絡

神經網絡具有很強的非線性擬合能力，可映射任意復雜的非線性關系，而且學習規則簡單，便于計算機實現。而且它的魯棒性、記憶能力、非線性映射能力都很強。

Wong等[23]提出了一種新的疵點檢測技術，將小波變換和BP神經網絡相結合，首先采用小波變換對原始圖像進行平滑處理，再采用均值濾波對織物紋理背景進行衰減，然后利用閾值處理獲得二值圖像，并用小波變換提取二值圖像的9個特征向量，送入到BP神經網絡進行分類。結果表明：此方法能夠有效識別出常見的5種疵點。槐向兵等[24]采用特征融合的方法來提取常見5類織物疵點的特征值，然后形成特征向量，進而輸入到BP神經網絡進行識別。實驗結果：檢測準確率達98.3%。

1.5.2 深度學習

隨著近幾年深度學習的興起，在織物疵點檢測方面的應用也越來越多。Li等[25]提出一種基于Fisher準則的疊加去噪自動編碼器的算法（FCSDA），首先將原始圖像分成相同大小的塊，利用有疵點和無疵點的樣本訓練FCSDA，然后對測試集的樣本利用已訓練的FCSDA進行疵點分類，最后通過重建圖像和疵點圖像的殘差來確定疵點位置的閾值。結果表明：在具有周期性圖案的提花經編織物上，該方法的檢測效果較好。然而景軍鋒等[26]對深度學習又進一步改進，提出基于Fisher準則的棧式去噪自編碼器算法，首先也是把原始圖像分解成一定大小的塊，采用稀疏自編碼器提取小塊的特征，然后利用該特征訓練卷積自編碼器的參數，提取原圖像的低維特征，最后將該特征輸入到棧式去噪自編碼器網絡進行疵點分類，結果表明：該算法能有效地提取織物圖像的分類特征，又有Fisher準則的加入，疵點檢測準確率又有所提高。

1.5.3 支持向量機

支持向量機是一種常見的分類器，通常在兩分類或者多分類的情況下使用較多。支持向量機SVM在小樣本檢測分類中優勢較為明顯。Basu等[27]將基于子圖像的PCA方法應用于從訓練和測試結構圖像中提取特征，并使用多類SVM分類器來執行分類任務。該方法在織物疵點標準TILDA數據庫上進行測試，成功率達到96.36%。Ding等[28]將原圖像分解成圖像塊，然后將不同的Gabor濾波器組應用到每個圖像塊中，通過將每個圖像塊的不同方向和尺度的所有Gabor特征連接起來生成特征向量，采用PCA來減少Gabor特征向量的維數，最后利用SVM將每個圖像塊分為無疵點和有疵點的類。

[12] SAKHARE K， KULKARNI A， KUMBHAKARN M， et al. Spectral and spatial domain approach for fabric defect detection and classification[C]// Internat-ional Conference on Industrial Instrumentation and Control，2015：640-644.

[13] JASPER W， JOINES J， BRENZOVICH J. Fabric defect detection using a genetic algorithm tuned wavelet filter[J].The Journal of the Textile Institute，2005，96（1）：43-54.

[14] XIA D， JIANG G， LIY， et al. Warp-knitted fabric defect segmentation based on non-subsampled Contourlet transform[J]. The Journal of The Textile Institute， 2017，108（2）：239-245.

[15] JING J. Automatic defect detection of patterned fabric via combining the optimal gabor filter and golden image subtraction[J].Journal of Fiber Bioengineering & Informatics， 2015，8（2）：229-239.

[16] DORIANS， DORIT M. Blind weave detection for woven fabrics[J].Pattern Analysis and Applica-tions，2015，18（3）：725-737.

[17] 李敏，崔樹芹，陳佳.應用視覺顯著性的小提花織物疵點檢測[J].紡織學報，2016（12）：38-42.

[18] 張國英，陳淑蘭，趙君.不同光照下織物瑕疵檢測方法研究[J].計算機科學與應用，2014（9）：181-186.

[19] 楊曉波.基于自適應離散小波變換的混合特征畸變織物疵點識別[J].紡織學報，2013（1）：133-137.

[20] 尉苗苗，李岳陽，蔣高明，等.應用最優Gabor濾波器的經編織物疵點檢測[J].紡織學報，2016，37（11）：48-54.

[21] JING J， FAN X， LI P. Automated fabric defect detection based on multiple gabor filters and KPCA[J]. International Journal of Multimedia & Ubiquitous Engineering，2016，11（6）：93-106.

[22] 朱俊嶺，汪軍，張孝南，等.基于AR模型的機織物線狀疵點研究[J].紡織學報，2012（8）：50-54.

[23] WONG W K， YUEN C W M， FAN D D， et al.Stitching defect detection and classification using wavelet transform and BP neural network[J]. Expert Systems with Appli-cations.2009，36（2）：3845-3856.

[24] 槐向兵，厲征鑫，劉建立，等.基于輪廓波變換的織物疵點分割[J].計算機工程與設計，2014（6）：2153-2158.

[25] LIY D，ZHAOW G，PANJ H.Deformable patterned fabric defect detection with fisher criterion-based deep learning[J]. IEEE，2017，14（2）：1256-1264.

[26] 景軍鋒，黨永強，蘇澤斌，等.基于改進SAE網絡的織物疵點檢測算法[J].電子測量與儀器學報，2017（8）：1321-1329.

[27] BASU A， CHANDRA J K， BANERJEE P K， et al. Sub image based eigen fabrics method using multi-class SVM classifier for the detection and classification of defects in woven fabric[C]//Third International Conference on Computing Communication & NETWORKING Technologies， 2012：1-6.

[28] DINGS M，LIC L，LIUZ F.Fabric defect detection scheme based on gabor filter and PCA[J].Advanced Materials Research， 2012，482-484：159-163.