基于相對總變差模型與自適應形態學的織物瑕疵檢測

張 波， 湯春明(. 天津工業大學 電子與信息工程學院， 天津 300387； 2. 天津師范大學 計算機與信息工程學院， 天津 300387)

基于相對總變差模型與自適應形態學的織物瑕疵檢測

張 波1,2， 湯春明1
(1. 天津工業大學 電子與信息工程學院， 天津 300387； 2. 天津師范大學 計算機與信息工程學院， 天津 300387)

為解決目前基于圖像處理的織物瑕疵檢測算法中，因織物紋理的多樣性與瑕疵形狀尺寸的不確定性所造成的檢測效果差的問題，提出一種基于結構-紋理模型與自適應數學形態學的織物瑕疵檢測算法。首先采用相對總變差模型對織物圖像進行濾波以去除織物紋理，然后在得到的灰度圖像上直接進行基于自適應鄰域的灰度形態學運算，形態學算子采用開運算算子，最終得到織物瑕疵的增強圖像。采用基于相對總變差模型與自適應形態學相結合的方法與2種已知的Gabor算法進行比對，對4類典型織物瑕疵進行檢測實驗和分析。結果表明，本文方法能更好地提取織物瑕疵。

織物瑕疵； 結構-紋理模型； 相對總變差模型； 數學形態學； 自適應鄰域

織物質量是紡織企業在市場競爭中獲勝的核心，而織物瑕疵是影響紡織品質量的重要因素[1]。目前大部分的紡織企業仍采用人工方法檢測織物瑕疵，但人工方法檢測速度低，漏檢率高，并且隨著國內人力成本的不斷升高，其經濟成本不斷增大[2]。

20世紀70年代以來，隨著數字圖像處理技術的不斷發展，機器視覺在工業上開始廣泛地應用，這為織物瑕疵的自動檢測提供了新的方法和手段。基于數字圖像處理技術的織物瑕疵自動檢測分為3個步驟：瑕疵判別、瑕疵分割以及瑕疵分類[3]。本文研究主要關注瑕疵的判別與分割。現有的瑕疵判別與分割算法很多，可以概括分為3類：頻譜法、統計法和模型法。其中應用最為廣泛的是頻譜法[4]，其運用的技術主要包括傅里葉變換[5]、小波變換[6]和Gabor小波變換[7]等。頻譜法的核心是將在空間域內很難去除的織物紋理轉換到變換域內進行濾波，或者以無瑕疵圖像為標本采用最優化方法實現對瑕疵圖像的重建。以Gabor小波變換為例，為實現最優化重建，小波參數的確定算法復雜，計算量大，且需要根據織物紋理的不同不斷調整。

去除織物紋理后的圖像一般采用形態學方法進行增強，現有的形態學方法多采用二值剛性形態學濾波器對圖像進行增強，以提高后續對瑕疵點的分割精度。但該方法存在2個缺點：1)含有織物瑕疵的灰度圖像在二值化過程中對閾值的選取非常敏感，選取不當會丟失圖像中的瑕疵信息；2)剛性形態學濾波器在結構元素的選取上高度依賴于瑕疵的尺寸與形狀，而實際應用中瑕疵的尺寸與形狀是多種多樣的。因此，采用二值剛性形態學濾波器對瑕疵圖像進行增強具有較大的局限性。

針對以上問題，近年來，不斷有學者提出解決方案。MAK等[8-9]提出了基于Gabor小波網絡與最優形態學濾波器的織物瑕疵檢測算法，其中，形態學濾波的結構元素基于Gabor小波提取得到的紗線方向與寬度信息構建。李剛等[10]采用灰度共生矩陣獲得織物紋理的方向和尺度信息，同時結合經驗自適應的構建形態學濾波所用的結構元素，該方法實現了對不同紋理織物的自適應形態學濾波。CHANDRA等[11]提出了基于人工神經網絡的結構元素的選取算法，得到的結構元素用于二值圖像的形態學重建以提取瑕疵特征。上述方法實現了針對不同織物紋理結構元素的自適應性，但是該類方法一旦確定結構元素，其尺寸和形狀依然是不變的。對于一幅圖像中存在多個瑕疵，且瑕疵尺寸存在較大差異的情形，根據形態學運算的原理，體積小于結構元素尺寸的瑕疵基本會被忽略，從而影響檢測的準確度。

基于以上分析，本文提出一種基于相對總變差模型[12]與灰度自適應數學形態學的織物瑕疵檢測算法。采用相對總變差模型用于對織物圖像的紋理去除，將紋理與瑕疵進行分解；在分離出的瑕疵圖像中，采用灰度自適應數學形態學方法對瑕疵實現增強。

1 織物紋理去除

織物紋理是指織物組織中的循環結構，即經線與緯線的有規律交織。結構紋理圖像分解模型的理論基礎是將帶有瑕疵的織物圖像設定為瑕疵(卡通結構)與織物經緯交叉結構(紋理)的疊加，本文采用變差與范數規范化卡通部分與紋理部分。通過公式的最小化過程即可分離卡通結構與紋理結構，實現對于織物紋理的去除。基于織物紋理結構的多樣性，傳統的總變差模型在去除織物紋理時存在較大局限性，因此，本文選用一種改進的相對總變差模型用于對織物紋理的去除。圖1示出本文算法框圖。

圖1 算法框圖Fig.1 Block diagram of proposed algorithm

相對總變差模型是LI等[12]在2012年提出的一種用于提取圖像主結構的方法，本文使用該模型用于織物紋理的去除。其模型為

(1)

式中：(Sp-Ip)2稱為保真項；S代表輸出圖像；I代表輸入圖像；p代表圖像像素的索引號；式中第2項稱為相對總變差；D(p)稱為窗口總變差；L(p)稱為窗口固有變差；ε代表一個微小量，以防止除零；λ>0，稱為調整參數，控制保真項與相對總變差的比例。

Dx(p)及Dy(p)定義為

(2)

Lx(p)及Ly(p)定義為

(3)

式中：R(p)代表以p為中心的矩形區域；?x與?y分別代表2個方向的偏微分；g代表權重參數，其定義為

(4)

式中，σ的作用是控制窗口的空間尺寸。

2 織物瑕疵的數學形態學處理

織物圖像在去除紋理后，一般采用形態學濾波器進行圖像的增強，為最后的圖像分割做準備。采用形態學方法處理織物瑕疵對于瑕疵的尺寸和形狀都非常敏感，所以采用基于軟件算法的形態學處理，在瑕疵的尺寸相對于織物結構較小時會給出很差的結果[13]。

在經典的數學形態學中，結構元素對于圖像區域中的所有像素點都是相同的，本文稱這種非自適應結構元素為剛性的。一個剛性的結構元素用于處理整幅圖片經常是不合適的，因為圖像的結構會隨著形狀、尺寸、方向等變化，這對所有像素點都使用同一個結構元素是一個挑戰[14]。

Johan Debayle等[15]于2006年提出了基于一般自適應鄰域的形態學處理方法，其自適應鄰域的定義為

(5)

式(5)對于自適應鄰域的定義包含2個條件：同質性檢測，像素y與種子像素x在某種度量函數h的作用下，其距離差小于閾值m；連通性檢測，像素y與種子像素x必須是連通的。

本文提出的形態學算法基于式(5)構建結構元素，其中度量函數h采用圖像灰度值，連通性規則采用八鄰域；形態學濾波算法采用自適應開運算，以實現圖像的增強。其中自適應膨脹、腐蝕及開、閉運算為

(6)

3 實驗結果與分析

在實際生產過程中，瑕疵的種類多達50余種，主要分為3類：點瑕疵、線瑕疵和面瑕疵。本文選擇了TILDA數據庫中4種具有代表性的圖片，均為布匹瑕疵中出現頻率較高的樣本，因此，實驗的實際應用價值較高。瑕疵圖像的增強結果如圖2～5所示，同時將實驗結果與2種目前流行的算法進行比較。圖6示出4種瑕疵圖像的分割結果。

圖2 點狀瑕疵及實驗結果Fig.2 Point defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

圖3 線狀瑕疵1及實驗結果Fig.3 First line defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

圖4 線狀瑕疵2及實驗結果Fig.4 Second line defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

圖5 面瑕疵及實驗結果Fig.5 Surface defect and experimental results. (a) Defect image; (b) Reference[4]result; (c) Reference[7]result; (d) Present result

圖6 4種瑕疵分割結果Fig.6 Four segmentation results of defects. (a) Point defect; (b) First line defect; (c) Second line defect; (d) Surface defect

從對4類瑕疵的檢測結果可以看出，本文算法在圖像增強環節對于不同類型的織物都能很好濾除其紋理結構，其中圖2及圖5表現得尤為明顯，而文獻[4]和文獻[7]的算法均不能完全去除紋理；此外，從圖2、3的結果看出，在去除紋理的基礎上，對于前2種算法無法提取到的小尺寸瑕疵，本文算法也能較好地提取且定位其位置。

針對一幅圖像中存在多個瑕疵的特殊情況，本文專門選取3種具有代表性的圖片進行實驗。圖7示出一種典型的多瑕疵織物圖像增強及分割結果。可看出，本文算法在分割出大尺寸瑕疵的同時，小尺寸瑕疵同樣得以保留，且被準確分割。

圖7 多瑕疵織物圖像增強及分割結果Fig.7 Enhancement and segmentation results of multi-defects. (a) Original fabric; (b) Enhancement results using proposed algorithm; (c) Segmentation results

4 結 語

由于織物紋理的多樣性和瑕疵形狀尺寸的不確定性，現有的基于圖像處理的織物瑕疵檢測算法準確率較低。針對這個問題，本文提出一種基于相對總變差模型和自適應數學形態學的織物瑕疵檢測新算法。其中針對織物紋理的去除采用了相對總變差模型，針對瑕疵形狀與尺寸的多樣性采用自適應數學形態學運算進行瑕疵圖像增強，提高了算法針對不同瑕疵提取的通用性。結果表明：本文算法相比于目前已有算法能夠更好地去除各種織物紋理，同時提取不同尺寸形狀的瑕疵，提高了檢測的準確率，具有較強的自適應性和魯棒性。

FZXB

[1] 李文羽, 程隆棣. 基于機器視覺和圖像處理的織物疵點檢測研究新進展[J]. 紡織學報, 2014, 35(3): 158-164. LI Wenyu, CHENG Longdi. New process of fabric defect dection based on computer vision and image processing [J]. Journal of Textile Research, 2014, 35(3):158-164.

[2] KUMAR A. Computer vision-based fabric defect detection: a survey [J]. IEEE Transactions on Industrial Electronics,2008, 55(1):348-363.

[3] 鄒超, 汪秉文, 孫志剛. 基于機器視覺的織物疵點檢測方法綜述[J]. 天津工業大學學報, 2009,28(2): 78-83. ZOU Chao, WANG Bingwen, SUN Zhigang. Survey on fabric defect detection based on machine vision [J]. Journal of Tianjin Polytechnic University, 2009,28(2): 78-83.

[4] BODNAROVA A, BENNAMOUN M, LATHAMS. Optimal gabor filters for textile flaw detection [J]. Pattern Recognition, 2002, 35(12):2973-2991.

[5] CHAN CH, PANG G. Fabric defect detection by Fourier analysis[J].IEEE Transactions on Industry Applications, 2000, 36(5):1267-1276.

[6] SERDAROGLU A, ERTUZUN A, ERCIL A. Defect detection in textile fabric images using wavelet transforms and independent component analysis [J]. Pattern Recognition and Image Analysis, 2006, 16(1):61-64.

[7] JING Junfeng, YANG Panpan, LI Pengfei, et al. Supervised defect detection on textile fabrics via optimal gabor filter [J]. Journal of Industrial Textile, 2013, 44(1):40-57.

[8] MAK K L, PENG P, LAU H Y K. Optimal morphological filter design for fabric defect detection [C]//IEEE International Conference on Industrial Technology. [S.l.]:IEEE, 2005:799-804.

[9] MAK K L, PENG P, YIU K F C. Fabric defect detection using morphological filters [J]. Image and Vision Computing, 2009, 27(10): 1585-1592.

[10] 李剛, 楊欣, 唐庭閣. 基于自適應形態學濾波器的布匹瑕疵檢測算法[J]. 吉林大學學報(信息科學版), 2012, 30(2):157-163. LI Gang, YANG Xin, TANG Tingge. Fabric defect detection based on adaptive morphological filter algor-ithm [J]. Journal of Jilin University (Information Science Edition), 2012, 30(2):157-163.

[11] CHANDRA J K, BANERJEE P K, DATTA A K. Neural network trained morphological processing for the detection of defects in woven fabric [J]. Journal of the Textile Institute, 2010, 101(8):699-706.

[12] LI Xu,QIONG Yan,YANG Xia, et al. Structure extraction from texture via relative total variation [J].ACM Transactions on Graphics, 2012, 31(6):139.

[13] DATTA A K, CHANDRA J K. Detection of Defects in Fabric by Morphological Image Processing[M]. Vienna: Woven Fabric Engineering,2010:217-232.

[14] CURIC V, LANDSTROM A, THURLEY M J, et al. Adaptive mathematical morphology： a survey of the field [J]. Pattern Recognition Letters,2014,47(1):18-28.

[15] DEBAYLE J, PINOLI J C. General adaptive neighborhood image processing [J]. Journal of Mathematical Imaging and Vision, 2006, 25(2):245-266.

Fabric defect detection based on relative total variation model and adaptive mathematical morphology

ZHANG Bo1,2, TANG Chunming1
(1.SchoolofElectronicsandInformationEngineering,TianjinPolytechnicUniversity,Tianjin300387,China;2.SchoolofComputerandInformationEngineering,TianjinNormalUniversity,Tianjin300387,China)

Because of the variety of fabric texture and the uncertainty of the shape and size of defects, the existing fabric defect detection methods based on image processing are low in accuracy. In order to solve this problem, a new method of fabric defect detection based on a structure-texture model and the adaptive mathematical morphology was designed. The fabric texture was firstly filtered based on the relative total variation model, then, the gray morphological operation based on adaptive neighborhood was directly performed on the gray level image, which is morphological opening, finally the enhanced image of fabric defects was obtained. The algorithm based on the relative total variation model and the adaptive mathematical morphology as well as the other two known algorithms based on Gabor filter was carried out on 4 types of fabric defects with high frequency, and the results show that the method can more effectively extract the fabric defects.

fabric defect； structure-texture model； relative total variation model； mathematical morphology； adaptive neighborhood

2016-06-20

2017-02-15

張波(1981—)，男，講師，博士生。主要研究方向為材料檢測技術。E-mail:tjnuzhangbo@163.com。

10.13475/j.fzxb.20160604706

TS 101.9

A