基于相似性定位和超像素分割的織物疵點檢測

朱 磊， 任夢凡， 潘 楊， 李博濤

(西安工程大學 電子信息學院， 陜西 西安 710048)

織物疵點檢測是紡織行業保值增效的重要手段，但織物圖像紋理具有多樣性和復雜性，是織物疵點檢測領域的研究難點。傳統的織物疵點大都由經驗豐富的員工進行人工檢測，該方法不僅存在效率低、成本高等問題，還會產生由于主觀因素造成的大量誤檢、漏檢等情況[1]。為解決人工檢測帶來的問題，數字圖像處理和機器視覺等現代技術已被應用于織物疵點檢測[2-4]。

現有基于數字圖像處理的織物疵點檢測方法大致可分為以下4類：變換域檢測法、數學統計檢測法、視覺顯著性檢測法和深度學習檢測法。變換域檢測法將圖像由空域轉換到小波域等變換域進行檢測，對周期性簡單紋理織物圖像具有較好的檢測效果，但對復雜紋理織物圖像的檢測效果一般[5-6]；數學統計檢測法通過對圖像灰度、紋理等特征進行統計分析，來引導織物的疵點檢測，此類方法的檢測效果受統計參量與統計方法的選擇影響較大[7-8]；視覺顯著性檢測法利用隨機疵點阻隔織物紋理周期性特征的顯著性變化實現疵點檢測，此類方法對明顯的疵點檢測效果較好，對細微的疵點檢測效果欠佳[9-11]；近年來提出的深度學習檢測法檢測精度較高，但檢測模型和參數的確定需要提供大量的訓練樣本，實現過程較為復雜[12-14]。

為進一步提升織物疵點檢測的準確率并實現疵點輪廓的精確分割，本文將數學統計和視覺顯著性檢測思路相結合，提出了一種基于相似性定位和超像素分割的織物疵點檢測方法。該方法將灰度相似性檢測參量與結構相似性檢測參量相結合，構建了一種能適用于更多類型周期性紋理織物圖像的相似性度量函數，并利用該函數在顯著圖中實現疵點粗定位；以期通過超像素分割和連通域分析，實現對疵點輪廓的準確細分割。

1 幾種常見檢測方法

帶有疵點的周期性紋理織物圖像由周期性紋理背景和不規則隨機疵點所在的前景組成。文獻[7]通過具有噪聲項的魯棒主成分分析模型，提取疵點所在的前景，再通過閾值分割得到檢測結果；文獻[9]通過計算圖像頻譜冗余提取出顯著性區域，而織物圖像中疵點相比周期性背景紋理顯著值更高，以此為依據可獲得帶有疵點的顯著性前景，從而實現疵點檢測；文獻[15]將圖像分成大小相同的圖像分塊，再通過最小二乘回歸獲得1幅灰度圖像，其中灰度級越高的區域，表明其為疵點的可能性更高。總結以上3種方法的大致檢測流程，即：先將待檢測圖像進行濾波、增強等預處理，從而增強疵點和背景紋理之間的對比度；然后，通過進一步分析預處理圖像，提取疵點所在的前景；最后對疵點所在的前景進行閾值分割和數學形態學等后處理，得到檢測結果。

圖1示出以上3種方法對部分周期性紋理織物圖像的疵點檢測效果。可知，文獻[7]方法可準確檢測出第1幅測試圖像中的疵點，但對復雜紋理織物圖像檢測效果欠佳；文獻[9]方法可較好地抑制織物圖像中的背景紋理，但易發生多檢的情況；文獻[15]方法對前2幅織物圖像展現出了較好的檢測效果，但在第3幅織物圖像檢測中出現了較多的錯檢點。同時，3種方法均難以提取疵點的準確輪廓，且對無疵點織物圖像均出現了錯檢。

注：1#為帶疵點簡單紋理織物圖像；2#為帶疵點復雜橫向條紋織物圖像；3#為帶疵點復雜縱向條紋織物圖像；4#為無疵點織物圖像。圖1 測試圖像及各方法的疵點檢測結果Fig.1 Test images(a) and defect detection results by method of reference [7](b), reference [9](c) and reference [15](d)

針對上述3種檢測方法存在的問題，本文將數學統計檢測思路和視覺顯著性檢測思路相結合，提出了一種基于相似性粗定位和超像素細分割的織物疵點檢測方法，可明顯改善織物圖像中的紋理對疵點漏檢與錯檢的影響，且能較為準確地提取出疵點輪廓。

2 織物疵點檢測方法

2.1 檢測思路

本文提出的檢測方法包括基于圖像增強和FT顯著性估計[16]的預處理、基于相似性度量函數的疵點粗定位和基于SLIC[17]的疵點細分割3大步驟，流程框圖如圖2所示。可知：以虛箭頭表示的輔助流程需先計算增強圖像中各圖像分塊之間的相似性測量值，然后在顯著圖中實現疵點粗定位；以實箭頭表示的主流程先對待檢測圖像進行將數增強，然后采用顯著性檢測得到其對應的顯著圖，再借助輔助流程實現疵點粗定位，進而對粗定位圖像分塊進行超像素細分割和二值化處理，并采用連通域分析剔除孤立點，最后得到檢測結果。

圖2 基于相似性定位和超像素分割的織物疵點檢測方法流程框圖Fig.2 Flow chart of fabric defect detection method based on similarity location and superpixel segmentation

2.2 檢測步驟

下面按預處理、疵點粗定位和疵點細分割3個步驟，分別進行闡述。

2.2.1 基于圖像增強和FT顯著性估計的預處理

為抑制織物圖像中噪聲、模糊等問題，需在疵點定位前對其進行濾波、增強等預處理，以降低噪聲干擾，提升疵點和背景之間的對比度。本文方法的預處理包括顏色空間轉換、中值濾波、對數增強及顯著圖估計4步。

由于本文方法在后續處理中圖像亮度信息是重要組成成分，因此首先需將輸入彩色圖像由RGB顏色空間模型轉換到HSV顏色空間模型。設輸入的織物圖像為Ir，則提取的亮度信息Iv可表示為：

(1)

式中，R、G、B分別為輸入圖像Ir的紅、綠、藍分量。

本文方法選擇簡單且具有一定邊緣保護能力的中值濾波來對亮度信息Iv進行平滑，得到的濾波圖像Im可表示為：

Im(x,y)=median(Iv(x±m,y±n))

(2)

式中，(x±m,y±n)∈W，W為中值濾波窗口。

本文方法選擇對數增強算子來提升濾波圖像Im中疵點和背景之間的對比度，得到的增強圖像I可表示為：

I=clg(1+Im)

(3)

式中，c為常數。

為削弱增強圖像I中的周期性紋理對疵點檢測的影響，本文引入FT顯著性檢測算法[16]估計增強圖像I對應的顯著圖Ism。顯著圖Ism可明顯提升疵點的灰度值，進一步提升疵點和背景之間的對比度，其計算公式為：

(4)

2.2.2 基于相似性度量函數的疵點粗定位

為縮小疵點檢測范圍，本文方法將結構相似性檢測參量和灰度相似性檢測參量結合，構建了一種相似性度量函數，利用該函數計算增強圖像分塊之間的相似性測量值，并通過閾值化相似性測量值實現對疵點在顯著圖中的粗定位。

本文選用的結構相似性檢測參量[18]可有效度量2幅圖像塊之間的結構相似性。圖像塊X和Y之間的結構相似性檢測參量SSIM(X,Y)計算公式如下：

SSIM(X,Y)=[l(X,Y)]ω[c(X,Y)]β[s(X,Y)]γ

(5)

(6)

(7)

(8)

式中：l(X,Y)、c(X,Y)和s(X,Y)分別為圖像塊X和Y之間的亮度、對比度及結構對比值；ω、β、γ是用于調整圖像亮度、對比度和結構所占權重的參數；μX和μY分別為圖像塊X和Y的均值；δX和δY分別為圖像塊X、Y的標準差；δXY為圖像塊X、Y之間的協方差；C1、C2、C3為常系數。

本文方法提出了基于歸一化局部均值差分的灰度相似性檢測參量，該參量可有效度量圖像塊之間的灰度相似性。圖像塊X和Y之間的灰度相似性檢測參量GRAY(X,Y)計算公式如下：

(9)

考慮到式(5)所刻畫的結構相似性檢測參量只能對2個圖像塊之間的結構相似性進行有效測量，式(9)所描述的灰度相似性檢測參量只能對2個圖像塊之間的灰度相似性進行有效測量，因此本文方法將結構相似性檢測參量和灰度相似性檢測參量結合，提出了一種可適用于更多類型周期性紋理織物圖像的相似性度量函數，計算公式如下：

S(Pn,Qi)=α×SSIM(Pn,Qi)+

(1-α)×GRAY(Pn,Qi)

(10)

式中：Pn(n=1，2，3，…,N)為將增強圖像I分成H×H像素(本文中，H取30)大小相同且互不重疊的N個圖像分塊；Qi(i=1，2，3，…,M)為將增強圖像I分成H×H像素大小相同且互相重疊的M個圖像分塊(本文中，互相重疊圖像分塊之間的步長取20像素)；S(Pn,Qi)為圖像分塊Pn和Qi之間的相似性測量值，其值越接近1，相似程度越高；SSIM為結構相似性檢測參量；GRAY為灰度相似性檢測參量；α為調節結構相似性檢測參量和灰度相似性檢測參量所占權重的參數。

對于周期性紋理織物圖像中的無疵點圖像分塊，在增強圖像中可找到1個與其高度相似的圖像分塊，但很難找到1個和帶有疵點圖像分塊高度相似的圖像分塊。以此為依據，實現疵點在顯著圖中的粗定位，計算公式如下：

(11)

圖3示出使用SSIM方法和本文提出的相似性度量函數對周期性紋理織物圖像中的疵點進行相似性粗定位結果。可知，2種方法對具有明顯周期性復雜紋理織物圖像中的疵點均表現出了較好的定位效果，而SSIM對灰度信息不敏感，因此難以準確定位出簡單紋理織物圖像中疵點的大致位置，而本文提出的相似性度量函數中由于加入了基于歸一化局部均值差分的灰度相似性檢測參量，可實現對更多類型周期性紋理織物圖像中的疵點進行相似性粗定位。

圖3 SSIM方法和本文方法對疵點的相似性粗定位結果比較Fig.3 Comparison on similarity rough location results of defects using SSIM and proposed method. (a) Test images; (b) Similarity rough location results of SSIM method; (c) Similarity rough location results of proposed method

圖4示出式(10)中α取不同值時本文方法對織物圖像中疵點的相似性粗定位結果。可知，當α取0.8時能更準確地定位出疵點大致位置，因此本文方法中α取0.8。

圖4 α取不同值時對疵點的相似性粗定位檢測Fig.4 Similarity rough location results of defects at different weights α. (a) Test image; (b) α=0.7;(c) α=0.8; (d) α=0.9

2.2.3 基于SLIC的疵點細分割

在對疵點進行相似性粗定位的基礎上，為進一步提取出疵點的準確輪廓，本文采用SLIC算法[17]代替全局閾值分割方法對疵點進行細分割。

SLIC算法按灰度將圖像分成大小均勻的超像素，每個超像素內的灰度值基本相同。對相似性粗定位結果Ic進行超像素分割，設超像素分割結果為L，Ic對應的平均灰度圖VS計算公式如下：

(12)

式中：VS為得到的平均灰度圖，本文預設的超像素個數C為100，j=1,2,…,100。由于周期性紋理織物圖像中的疵點顯著性較高，即在顯著圖中疵點區域的灰度值相比背景中紋理的灰度值較高，對分割得到的超像素進行二值化，可得到疵點的準確輪廓。本文方法在進行二值化處理時，分割閾值取各個超像素灰度值的平均值，將灰度值低于分割閾值的超像素刪除，保留灰度值高于分割閾值的超像素，得到的分割結果圖Bc可表示為：

(13)

對分割結果圖Bc進行連通域分析，剔除孤立點，即可得到疵點檢測結果B。圖5示出使用全局閾值和超像素分割對圖3中相似性粗定位圖像進行分割的結果比較。由圖可知，2種方法均可分割出織物圖像中的疵點，但使用超像素分割處理得到的疵點輪廓更精確，更接近于原圖中的疵點形狀。

圖5 全局閾值與超像素分割對圖3相似性粗定位圖像的分割結果比較Fig.5 Comparison on segmentation results of similarity rough location image in Fig.3 using global threshold(a) and superpixel segmentation(b)

2.3 計算流程

本文方法對織物圖像進行疵點檢測時，先將待檢測圖像進行預處理，然后在顯著圖中實現疵點粗定位，最后對疵點進行超像素細分割，具體計算流程如表1所示。

表1 本文方法的計算流程Tab.1 Calculation process of proposed method

3 實驗結果

為驗證本文方法的有效性，將本文方法與基于魯棒主成分分析模型的文獻[7]方法、基于顯著性檢測的文獻[9]方法和基于最小二乘回歸的文獻[15] 方法檢測結果進行直接視覺和參數性能比較。實驗從德國TILDA織物紋理數據庫和溢達織物裁片庫中選用了140幅具有不同周期性紋理的織物圖像作為測試集，圖像尺度均為256像素×256像素，其中70幅為無疵點織物圖像，70幅為帶疵點織物圖像。實驗中70幅帶疵點測試圖像中包含有扭結、異纖、跳紗、破洞、油污、毛球等多種疵點類型。各檢測方法的程序均在配置為2.3 GHz 酷睿I5-6200U處理器和4 GB RAM內存的計算機上，利用MatLab R2014b軟件運行。實驗中按簡單紋理和復雜紋理織物圖像分類，分別進行各方法的檢測結果直接視覺比較；按有疵點和無疵點織物圖像分類，進行各方法的檢測參數比較。實驗選用了靈敏度TPR、誤檢率FPR、準確率ACC及平均檢測時間T這4個參數進行織物疵點檢測參數比較，其中TPR和ACC的統計值越接近1，FPR的統計值越接近0，而T越小，則說明方法的檢測性能越好。ACC、TPR、FPR的定義如下：

(14)

(15)

(16)

式中：TP為正確檢測的帶疵點樣本個數；FN為錯誤檢測的帶疵點樣本個數；FP為錯誤檢測的無疵點樣本個數；TN為正確檢測的無疵點樣本個數。

為公平展示各方法的最好檢測性能，特選取了各檢測方法在最好檢測效果下的參數設置，具體如下：文獻[7]方法分成的圖像分塊大小為16像素×16像素，步長為8像素，用于平衡疵點部分和噪聲部分的參數n=0.03、ξ=0.2；文獻[9]方法計算均值圖像頻譜時采用原圖和1個3×3的均值算子卷積得到，高斯濾波窗口大小為10像素×10像素；文獻[15]方法中圖像分塊大小為16像素×16像素，步長為8像素，用于平衡疵點部分和無疵點部分的參數λ=0.75，計算平均特征向量時隨機選取的小塊數量b=5，重復次數k=5；本文方法中分成的圖像分塊大小為30像素×30像素，互相重疊圖像分塊的步長取20像素，用于調節結構相似性檢測參量和灰度相似性檢測參量所占權重的參數α取0.8，區分疵點部分和無疵點部分的相似性閾值Ts=0.998 ，預設超像素個數為100。各檢測方法對測試集中的織物圖像進行測試，實驗結果如圖6～7及表2所示。

注：a1，a2，a3為帶有較明顯疵點的織物圖像；b1，b2，b3為帶有細微疵點的織物圖像；c1為無疵點織物圖像。圖6 各方法對簡單紋理織物圖像的疵點檢測結果比較Fig.6 Comparison of defect detection results for simple texture fabric images using different methods. (a) Simple texture fabric images; (b) Defect detection results by method of reference [7]; (c) Defect detection results by method of reference [9]; (d) Defect detection results by method of reference [15]; (e) Defect detection results of proposed method

注：a1，a2，a3為帶有較明顯疵點的織物圖像；b1，b2，b3為帶有細微疵點的織物圖像；c1為無疵點織物圖像。圖7 各方法對復雜紋理織物圖像的疵點檢測結果比較Fig.7 Comparison on defect detection results for complex texture fabric images using different methods. (a) Complex texture fabric images; (b) Defect detection results by method of reference [7]; (c) Defect detection results by method of reference [9]; (d) Defect detection results by method of reference [15]; (e) Defect detection results of proposed method

圖6示出各方法對簡單紋理織物圖像的疵點檢測結果。可知，在對帶疵點簡單紋理織物圖像進行檢測時，文獻[9]方法可檢測到疵點，但易發生多檢，且提取出的疵點輪廓相比原圖中疵點輪廓發生了較大的變化。文獻[7]方法和文獻[15] 方法可正確檢測出前5幅測試圖像中的疵點，其中，文獻[7]方法可較為準確地提取出疵點輪廓，而文獻[15]方法在準確提取疵點輪廓方面效果一般。在對無疵點簡單紋理織物圖像進行檢測時，3種對比方法均發生了錯檢。本文方法可正確檢測出無疵點織物圖像，并準確檢測出帶疵點織物圖像中的疵點，且提取出的疵點輪廓更完整。

圖7示出各方法對復雜紋理織物圖像的疵點檢測結果比較。可知，在對帶疵點的復雜紋理織物圖像進行檢測時：文獻[9]方法雖可較好地抑制織物圖像中的周期性紋理且檢測到疵點，但易將無疵點區域誤判為存在疵點的區域，易發生多檢，且由于后處理中采用了數學形態學處理，故提取出的疵點輪廓不夠精確；文獻[7]方法難以消除周期性復雜紋理織物圖像中的背景紋理，檢測效果一般；文獻[15] 方法對明顯疵點的檢測效果較好，但對細微疵點的檢測效果欠佳。在對無疵點復雜紋理織物圖像進行檢測時，其他3種對比方法均發生了錯檢的情況，將無疵點織物圖像誤判為存在疵點的織物圖像。本文方法可有效檢測出復雜紋理織物圖像中的疵點，對帶疵點和無疵點的復雜紋理織物圖像均表現出了較好的檢測效果，且由于本文方法中使用SLIC超像素分割方法對粗定位圖像分塊進行分割，故提取出的疵點輪廓更加精細。

表2示出各方法對測試集中織物圖像檢測結果的參數比較。可知，從表征檢測效果的TPR、FPR和ACC3個參數比較來看，本文方法均優于其他3種對比方法。4種檢測方法的檢測靈敏度均在77%以上，而本文方法的檢測靈敏度最高，比排名第2的檢測方法高出15%以上。3種對比方法對無疵點織物圖像易發生錯檢，導致其誤檢率較高，而本文方法對誤檢率降低明顯。由于3種對比方法的誤檢率較高，因此拉低了各自的檢測準確率，而本文方法由于具有較高的檢測靈敏度和較低的誤檢率，故檢測準確率相對于3種對比方法有明顯提升。本文方法檢測效果的明顯改善，得益于將基于相似性測量的數學統計檢測與FT顯著性估計相結合，不僅提升了對各類疵點的檢測率，而且明顯改善了紋理對疵點檢測的影響，降低誤檢的發生。從表征檢測速度的T參數比較來看，文獻[9] 方法與文獻[7]方法的檢測速度較快，但檢測效果靠后，本文方法的檢測效果最好，但檢測速度并不占優僅排名第3。本文方法在對疵點進行粗定位時，將每個互不重疊的圖像分塊與互相重疊的各圖像分塊分別進行比較，而這種比較策略既有效地提升了檢測效果，也明顯增加了運算量，導致平均檢測時間較長。

表2 各方法對織物圖像檢測結果的參數比較Tab.2 Comparison of parameters of fabric image detection results by different methods

綜合以上實驗結果可知，文獻[7]方法、文獻[9] 方法及文獻[15]方法均可用于測試集中多種疵點類型的檢測，而其準確率偏低的原因主要有以下2個方面：1)由圖6、7中的直接視覺比較可知，3種對比方法對簡單紋理織物圖像檢測效果較好，但對復雜紋理織物圖像檢測效果一般，故其靈敏度略低于本文方法；2)本文選取的測試集中包含70幅帶疵點織物圖像和70幅無疵點織物圖像，由表2中的參數性能比較可以看出，3種對比方法易將無疵點織物圖像誤判為存在疵點的織物圖像，導致其誤檢率較高，同時也拉低了其檢測準確率。而本文方法采用將每個互不重疊的圖像分塊與互相重疊的各圖像分塊分別進行相似性比較的策略，可實現對不同周期性紋理織物圖像中疵點在顯著圖中的粗定位，從而明顯地改善了織物紋理對疵點檢測的不利影響，故其準確率相比3種對比方法有明顯提升。

綜上所述，本文方法可對更多類型周期性紋理織物圖像進行疵點檢測，且可精確提取出疵點的完整輪廓，與其他3種對比方法相比，檢測準確率更高，且提取出的疵點輪廓更完整。

4 結 論

本文將數學統計和視覺顯著性檢測思路相結合，提出了一種基于相似性粗定位和超像素細分割的織物疵點檢測方法。該方法將結構與灰度相似性測量相融合構建了相似性度量函數，采用將增強圖中大小相同且互不重疊的圖像分塊和互相重疊的各圖像分塊進行相似性測量的統計策略，并利用在FT顯著圖中的疵點定位，有效改善了背景紋理對檢測效果的不利影響，對簡單紋理織物圖像和復雜紋理織物圖像中的疵點都可進行有效的粗定位；另外，利用SLIC超像素分割對粗定位圖像分塊進行處理，實現了對疵點輪廓更精細的提取。