基于圖元分割與Gabor濾波的織物瑕疵檢測方法

狄 嵐， 楊 達， 梁久禎， 馬明寅

(1. 江南大學 人工智能與計算機學院， 江蘇 無錫 214122； 2. 道路交通安全公安部重點實驗室， 江蘇 無錫 214151；3. 常州大學 信息科學與工程學院， 江蘇 常州 213164)

織物圖案和瑕疵的多樣性是瑕疵檢測中的關鍵難題。紡織品瑕疵檢測的方法主要分為3類:統計的方法、光譜和模型的方法。統計法使用像素點的統計特征來對比圖像灰度完成疵點檢測。統計法包括分形法[1-2]、共生矩陣法[3-5]、形態學法[6-7]。該方法雖然簡便快速，但易受到噪聲的影響，對于不規則紋理的織物檢測率較低。其中應用最廣泛的是光譜的方法，所用到的方法主要包括小波變換[8-10]、傅里葉變換[11]、Gabor濾波變換[12-14]。光譜法的核心作用是將在空間域中很難分離的織物紋理轉為變換域進行濾波，或以無瑕圖像為樣本使用最優化理論完成對瑕疵圖像的重建。織物紋理通常由隨機和規則紋理組合而成，織物紋理的結構與分布特性可以使用建模的方法進行表現。一般假設某種模型可以表現該紋理的特點，模型法通過對無瑕圖像訓練得出該模型的參數值，根據計算得到的模型檢查待檢測織物圖像是否符合計算得到的模型，若不符合則其為瑕疵圖像。模型法主要包括自回歸模型[15-17]、Markov隨機場模型[18-19]等。

針對含有較復雜圖案的織物，紀旋等人提出了基于模板校正與低秩分解的紡織品瑕疵檢測方法[20]。Ngan等提出了小波預處理黃金圖像相減的方法(WGIS)[21]。而布林帶法(BB)[22],正則帶法(RB)[23],圖像分解(ID)[24]，棋盤法(ER)[25]等方法都是手工提取子圖像模板，但由于瑕疵類型的多樣性，使得手工確定的模板檢測的準確率難以預測。WGIS、ER等方法對面積較小的紡織品瑕疵檢測效果不佳，ID方法的查全率較低。

本文使用了一種自適應模板提取方法[26]，避免了手動提取模板造成的影響，提出了基于自適應分割與Gabor濾波的織物瑕疵檢測方法。首先將具有周期性質的織物圖像自適應分割成單元格，并使用圖元分割獲取圖像單元晶格，通過Gabor濾波器獲取每個晶格的特征，完成疵點的檢測操作。根據每個濾波器獲取到特征信息的Manhattan距離，建立理想晶格，當做晶格相似關系對比的參考。將織物疵點檢測問題轉化為基于參考晶格的曼哈頓距離表示的格子相似性估計問題。

針對傳統算法通過多個濾波器構成的Gabor濾波器組的局限性，本文采用了只有4個濾波器的小型Gabor濾波器組進行特征提取，并提出了降低尺寸與增強濾波器特征信息的方法。把瑕疵檢測問題轉變成晶格間相似性的對比，提出一種閾值分割方法。根據圖元分割方法，確定單位格子，提升單位格的相關性，解決星形圖和盒形圖瑕疵問題時，體現出優異的檢測結果，提高了檢測的精度。

1 圖元分割與Gabor濾波瑕疵檢測

1.1 單位周期模板確定

由于晶格間鄰域信息的相關性很高，如果可以確定織物圖案的周期，即可利用其鄰域相關性對織物進行檢測。對于具有周期性質的有圖案織物圖像I，通過使用損失函數f來獲取理想晶格圖案尺寸。

(r*,c*)=Argminf(r,c)

(1)

從圖像中選取一個模板尺寸為r×c的晶格，當所有晶格與灰度均值矩陣中相應的像素的灰度值標準差之和最小時，求取理想的晶格圖案尺寸(r*,c*)。f(r,c)定義為

(2)

其中S2(i,j)為晶格內方差，定義為

(3)

(4)

晶格高度標準差取極小值為21,42,63，晶格寬度標準差取極小值為16,33,49。由于圖案具有周期性質，當所求晶格標準差達到最小時，得到理想晶格尺寸為21像素×16像素，如圖1所示。

圖1 獲得圖像單位模板大小Fig.1 Get image unit template size.(a)Sample image; (b)Split image

1.2 圖元分割

紡織品圖案的基本組成單位是lattice。圖2示出星狀圖的圖元分割。如果檢測單元是lattice,塊級算法則會判定全部圖像晶格均是瑕疵，顯然圖2(c)的右半部分和圖2(d)的下半部分是沒有瑕疵的。

針對以上問題，提出了圖形元素進行分割的算法，把m×n大小的lattice分割為4個圖像基礎單元，I定義為

(5)

圖2 星狀圖的圖元分割Fig.2 Segmentation of star images. (a)Upper left primitive;(b)Upper right primitive; (c)Lower left primitive;(d)Lower right primitive

所有單元晶格可分為4個圖元，圖元仍是具有周期性的圖像。

1.3 Gabor濾波器組進行特征提取

圖3 Gabor 濾波器卷積投影Fig.3 Gabor filter convolution project

通過Gabor濾波器的虛部使每個圖元晶格進行卷積，虛部定義為

(6)

(7)

式中：k為Gabor的尺寸,像素；g為g(m,n|s,θ)；mθ與nθ取值均為45°；Gi,j|s,θ=⊕xGi,j(x|s,θ),其中?表示向量進行串聯操作，例如：t1=[3,5],t2=[7,9],t1?t2=[3,5,7,9]。針對特征Gi,j(x|s,θ)量化晶格特征信息間差異的局限性，提出一種基于能量Ei,j和幅值Ai,j的特征向量νi,j。定義如下：

(8)

1.4 用于表示晶格相似性的特征向量距離

圖4 全部晶格卷積后的特征向量Fig.4 Characteristic vector after different latiice convolution

根據一行中的每個晶格，求出其和所在行中剩余晶格的曼哈頓距離來研究Gi,j|s,θ的差異，存儲在距離矩陣Di|s,θ

(9)

式中，M(Gi,j,Gi,j+1)表示Gi,j與Gi,j+1的曼哈頓距離，i,s和θ都是常數

(10)

(11)

i=1,2,…|Sh|}

μd和σd分別表示d的平均值和標準差。

(12)

最終求得所有νi,j與ν*的曼哈頓距離,并將其排列為矩陣D中索引為i和j的元素如下所示

Di,j=M(νi,j,ν*)

(13)

1.5 基于晶格特征向量距離的相似度分析

D中距離的信息反應了晶格的相似度，對于無瑕圖像，D是稀疏的，因此D的極大值d*可用作判定瑕疵晶格的閾值上限。當d*

(14)

D的特征如大于閾值t1或t2，則標記為瑕疵晶格，如果均大于二個閾值，t1作為評估指標，因為t1可以客觀的反映出紋理之間的不同。

1.6 算法描述

本文算法步驟描述如下：

步驟1:對無瑕圖像進行自動分割，并對其進行圖元分割，得到n個圖元Bi(i=1,2,…,n)。

步驟2:將不同尺度和方向的Gabor濾波器和圖元晶格卷積，降維映射為G。

步驟3:基于G的能量和幅值，如式(8)所示,計算晶格的特征向量v。

步驟4:針對每一個晶格中的特征向量，如式(9)所示,求出每行不同格子間的曼哈頓距離，用距離矩陣D來存放，并找到每一行的理想參考晶格。

步驟5:求出每行中所有晶格與理想參考晶格間特征向量的曼哈頓距離，并用特征矩陣D來表示,如式(13)所示。

步驟6:求出特征矩陣D的直方特征圖，由直方特征圖求得t1和t2。

步驟7:特征矩陣D中Di,j>t的晶格判定為瑕疵晶格。

2 實驗結果及其分析

本文實驗使用由香港電氣與電子工程系工業自動化研究實驗室提供的數據庫。該數據庫共包含106幅為256像素×256像素的24位的紡織品圖像和106幅手工標定的瑕疵基準圖。數據庫含有箱形和星形2種類型的織物圖像，箱形圖織物數據庫包含26幅瑕疵圖和30幅無瑕疵圖像。星形圖織物數據庫包含20幅瑕疵圖和20幅無瑕疵圖像。每種圖案包含4種瑕疵類型：斷端、破洞、細條紋、粗條紋。其中斷端疵由于經紗斷裂造成紡織品寬度上缺少經紗，細條紋疵表現為細小帶狀疵點，粗條紋疵表現為寬大帶狀疵點。將本文算法與WGIS(黃金圖像相減法),RB(規則帶法),ER(Elo評分方法),BB(布林帶法)進行對比。定義MTPR為查全率評價指標，表示瑕疵基準圖中的瑕疵像素點被正確識別的比例。MFPR為誤檢率，表示瑕疵基準圖中的瑕疵像素點被錯誤識別的比例。MPPV為查準率，表示算法識別的瑕疵在瑕疵基準圖中所占比例。MNPV為陰性預測指標，表示算法識別的背景在瑕疵基準圖中所占的比例。定義f值為檢測結果分析的參考指標。計算方式如下：

(15)

(16)

(17)

(18)

(19)

式中：MTP為手工標記的瑕疵與檢測結果瑕疵相同的部分；MFP為手工標記的瑕疵而漏檢的部分；MTN表示手工標記的無瑕區域與檢測結果的無瑕區域相同的部分；MFN表示手工標記的無瑕而漏檢的部分；f值表示查準率與查全率的幾何加權平均值；α值為1，表示手工標記為無瑕區域卻被誤檢的部分增加時其檢測結果不同，f值會減少。

2.1 星狀圖不同算法對比

本文算法和BB,RB,WGIS,ER 5種算法對星狀圖中的斷端型、破洞型、細條紋型、粗條紋型共4種不同類型的瑕疵進行了對比實驗，實驗檢測結果數據如表1所示。

表1 不同算法對星狀圖織物瑕疵檢測結果Tab.1 Different algorithms for detection of star-shaped

圖5示出5種方法的誤檢率-查全率(MFPR-MTPR)的散點圖。圖中不同位置同種類型紡織品的散點分別表示不同的瑕疵種類。在MFPR-MTPR的散點圖中，MTPR值與檢測結果精度成正比，MFPR值與檢測結果精度成反比，所以在散點圖中，越靠近左上角的散點，檢測效果精度越高。本文方法的MTPR值均分布在80%左右，且MFPR值分布在0%附近。

圖5 5種方法對星狀圖檢測的MFPR-MTPR圖Fig.5 MFPR-MTPR figures of star-shaped by 5 detection methods

實驗結果檢測圖如圖6所示。對于星狀類型的紡織品來說，本文算法實驗結果在4種類型的星狀圖案紡織品瑕疵數據圖中優于其他4種算法。相比BB、RB、WGIS、ER方法，對于星狀類型的織物本文方法可以準確檢測出瑕疵的具體位置。且誤檢部分較少，說明本文方法對星狀圖的織物具有一定的適應性。

圖6 不同算法的檢測結果Fig.6 Fabric detection results using different algorithms. (a) Original image; (b) Ground-truth； (c)Algorithm of this paper; (d) BB; (e) RB; (f) WGIS; (g) ER

表1列出了星狀圖的檢測結果，RB方法在細條紋型瑕疵圖中MPPV值達到最優值，WGIS方法在粗條紋型瑕疵圖中MTPR值達到最優值，但MFPR值較高。本文算法在斷端型、破洞型、細條紋型瑕疵圖中的MTPR值優于其他4種算法，MTPR值平均在80%以上。在破洞型、斷端型、粗條紋型瑕疵圖中的MPPV值均優于其他4種算法，MPPV值平均在30%左右。ER方法在細條紋型瑕疵中f值達到最優值。本文算法在斷端型、破洞型、粗條紋型瑕疵圖中f值均優于其他4種算法，且在所有類型的檢測結果中MFPR的值都較低。

2.2 盒狀圖不同算法對比

本文算法與BB,RB,WGIS,ER 5種算法對盒狀圖中的斷端型、破洞型、細條紋型、粗條紋型共4種不同類型的瑕疵進行了對比實驗，實驗檢測結果數據如表2所示。可知，BB方法針對盒狀圖的瑕疵圖檢測中檢測效果不佳，僅在細條紋和粗條紋檢測中瑕疵區域可以模糊分辨出，但誤檢部分較在星狀圖類型檢測上有明顯提升。RB方法在BB方法基礎上顯著增強了識別精度。WGIS方法對盒狀圖斷端、細條紋、粗條紋上檢測效果比較突出，可以檢測出大部分瑕疵區域的輪廓部分，但依然存在較大面積的誤檢部分。本文方法對盒狀圖斷端、破洞、網紋、細條紋、粗條紋5種類型的缺陷圖查全率結果為最佳，在所有類型的檢測上均表現較好。查全率在星狀圖斷端、破洞、網紋、粗條紋4種類型瑕疵圖檢測中為最優值。

表2 不同算法對盒狀圖織物瑕疵檢測結果Tab.2 Different algorithms for detection of box-shaped

由圖6可知，對于box類型的紡織品來說，本文算法的檢測結果在4種類型的盒狀紡織品瑕疵數據圖中均優于其他算法。相比BB、RB、WGIS、ER方法，對于box類型的織物本文方法可以準確檢測出瑕疵的具體位置。本文算法在保持較高MTPR值的同時保持著較低的MFPR，說明本文方法對于盒狀圖織物的檢測具有一定的適應性。

圖7為5種方法對盒狀圖的誤檢率-查全率(MFPR-MTPR)散點圖，圖中不同位置的同種類型的紡織品的散點分別表示不同的瑕疵種類。在MFPR-MTPR的散點圖中，MTPR的值與檢測結果精度成正比，MFPR的值與檢測結果的精度成反比，所以在散點圖中，越靠近左上角的散點，檢測效果精度越高。本文方法的MTPR值均分布在80%左右，且MFPR值分布在0%附近。

圖7 5種方法對盒狀圖檢測的MFPR-MTPR圖Fig.7 MFPR-MTPR figures of box-shaped by 5 detection methods

由表2可知盒狀圖的檢測結果，WGIS方法在粗條紋類型紡織品數據中的MTPR值為最優值，RB方法在4種類型的瑕疵圖數據中MPPV值達到最優。本文算法在斷端型、破洞型、細條紋型瑕疵數據中MTPR值達到最優值，MTPR值平均在75%以上，MPPV值平均在30%左右。在斷端型、破洞型、粗條紋型瑕疵圖中f值達到最優值。在斷端型、破洞型、粗條紋型的瑕疵數據圖中MFPR值達到最低。

3 結 論

本文提出了一種基于圖元分割與Gabor濾波的織物瑕疵檢測算法。針對具有復雜周期圖案的紡織品瑕疵檢測問題，將圖像按周期完成分割，然后用Gabor濾波器卷積分割后的每個晶格，為了增強卷積處理的特征，將二維卷積結果映射到一維投影，增強了Gabor濾波器的方向特征。基于投影的比較，找到每行的無瑕疵理想晶格。根據它們的投影能量和幅值來生成理想晶格的特征。這些特征信息的平均值作為評估晶格相似度的對比模板。然后通過分析其特征信息Manhattan距離表示的晶格的差別得到瑕疵晶格。數據和圖像實驗結果表明，本文方法對于含有圖案的織物瑕疵檢測具有最佳的準確率和誤檢率。對于其他樣本，具有先驗知識的RB方法檢測效果較好。實際工作中還要繼續研究優異的特征提取方法。