應用上下文視覺顯著性的色織物疵點檢測

周文明， 周 建， 潘如如

(江南大學 紡織科學與工程學院， 江蘇 無錫 214122)

在紡織品的質量控制階段，織物疵點檢測是其中的一個重要環節[1]。目前，國內外對織物疵點檢測算法的研究主要是針對素色織物進行的[2-4]。相較于素色織物，色織物由于顏色等特征的加入，導致檢測難度較大，所以目前對色織物疵點檢測方法的研究較少，且檢測效果大都不理想[5]。其中：Li等[6]提出基于能量局部二值模式的色織物疵點檢測算法，通過對無疵參考樣本進行訓練得出無疵窗格的閾值，最后與待檢測圖像窗格比較進行疵點檢測；Zhu等[7]提出基于自相關函數和局部紋理特征(GLCM) 的色織物疵點檢測算法，該算法通過比較灰度共生矩陣間的歐氏距離來識別疵點；Zhang等[8]提出基于頻域濾波和相似性度量的自動檢測算法，通過使用距離匹配函數測量織物圖案的相似性以識別疵點。

上述方法只能判斷織物是否含有疵點，不能對疵點的位置進行準確定位。文獻[9-10]提出利用視覺顯著性的方法檢測疵點，該方法利用人眼視覺認知機制，在不需要先驗知識的前提下，能迅速搜尋到圖像中的顯著區域或目標[11]。視覺注意機制已在圖像檢索、場景分析、目標檢測與識別等方面取得了很多有價值的研究成果[11]；不僅如此，視覺注意機制還成功解決了其他領域物體表面疵點的檢測問題等[12-13]。基于此，本文選用不同種類的色織物圖像樣本為研究對象，利用色織物紋理背景和疵點的差異性，采用基于上下文視覺顯著性模型的方法對色織物疵點進行檢測，以期生成較優疵點檢測效果圖。

1 圖像采集

本文以大恒相機GigE Vison TL采集的像素密度為300像素的條紋色織物圖像為樣本，將采集的圖像裁剪成尺寸為256像素×256像素的圖像塊。示例圖像如圖1所示。

圖1 色織物樣本圖像Fig.1 Yarn-dyed fabric sample images. (a) Normal image; (b) Defect image

2 基于上下文的視覺顯著性檢測模型

根據視覺顯著性的檢測理念，在進行色織物疵點檢測時，為判斷圖像是否含有疵點，只需要檢測圖像中有無異常區域，因為疵點通常會導致圖像中部分區域出現紋理和顏色異常，異常區域的存在會使該區域具有較高的顯著性，因此，在色織物疵點檢測過程中，疵點部分為高顯著性區域，帶紋理和圖案的織物背景為低顯著性區域。本文以條紋疵點圖像為例，從全局和局部角度并結合上下文特征，通過抑制反復出現的織物紋理背景，突出異常特征從而實現疵點的有效檢測，因此，根據以下原則來定義顯著性區域。

1) 從圖像的局部對比度考慮，在進行顯著性檢測時有顏色異常或者紋理異常的區域應當獲得高顯著值，反復出現的區域應該獲得低顯著值。

2) 從圖像的全局對比度考慮，應當抑制一幅圖中反復出現的特征，強調異常特征。

3) 從圖像空間位置因素考慮，圖像中的疵點區域往往集中在一起，而不會散落在各處，所以顯著性的區域往往比較聚集。

2.1 單一尺度顯著性度量

為保證在檢測精度的前提下有效降低計算量，查閱相關文獻及試驗驗證，本文選用尺寸為7像素×7像素的圖像塊作為圖像處理的基本單位[13]。根據原則1)和2)可知，如果一個像素i是顯著的，那么以像素i為中心的圖像塊應該與其他圖像塊存在較大的差異，所以定義某個像素的顯著性值時應當將其與其他圖像塊的對比度考慮進去。再根據原則3)，圖像塊之間的位置距離也是一個重要的因素，通常顯著區域的圖像塊都聚集在一起，而背景圖像塊分散分布在圖像的各個區域。根據以上分析來定義圖像塊之間的不相似性度量，如式(1)所示。

(1)

式中：dc(pi,qk)為圖像塊pi與圖像塊qk在CIELab顏色空間的歐氏距離；dp(pi,qk)為圖像塊pi與圖像塊qk之間的位置歐氏距離，然后將dc(pi,qk)和dp(pi,qk)歸一化到[0,1]區間；C為控制系數，根據文獻[12]及試驗驗證，此處C取3。

通過式(1)可以看出，該不相似性度量與顏色差異成正比，與位置差異成反比。在進行顯著性檢測時，為提高檢測效率，評估像素i的不相似性度量時不需要將pi與所有圖像塊進行比較，只需考慮在尺度r下與pi最相似的K個圖像塊的差異值之和，用該差異值之和來衡量該像素的顯著性。然后對于在尺度r下的每個像素i，搜索K個與其最相似的圖像塊qk，計算其顯著性值。根據文獻及試驗驗證[13]，當K取64時，檢測效果最好，最終的顯著性值可用式(2)表示。

(2)

用該顯著性方法對條紋疵點圖像進行檢測，檢測結果如圖2所示。可以看出，在該尺度下雖然能夠實現疵點的顯著性檢測，但背景條紋區域的顯著性也比較明顯。

圖2 條紋疵點單一尺度顯著性檢測效果圖Fig.2 Single scale saliency detection of strip defect

2.2 多尺度顯著性增強

通常背景圖像塊在多個尺度上都具有相似的圖像塊，而顯著性圖像塊可能只在某些尺度上才具有相似的圖像塊，因此，可結合多個尺度的顯著性圖進行疵點區域顯著性增強，這樣可進一步降低背景區域的顯著性，增強顯著區域和非顯著區域之間的對比度。

為保證檢測效果的前提下減少算法的處理時間，計算像素i的顯著性時，選用4個尺度R=(r,0.8r,0.5r,0.3r)下的顯著圖來衡量像素i的顯著性值，在這4個尺度中分別找到K個與pi最相似的圖像塊，計算像素i在不同尺度下的顯著性值，如式(3) 所示，其中rk∈R。

(3)

圖3 條紋疵點多尺度顯著性檢測效果圖Fig.3 Multi-scale saliency detection of strip defects. (a) Scale 2; (b) Scale 3; (c) Scale 4

(4)

圖4示出條紋疵點圖像在4個尺度下的顯著性均值檢測結果。可以看出，與單一尺度的顯著性圖相比，4個尺度下顯著性均值檢測在得到較完整疵點區域的同時，背景條紋區域的顯著性有效減弱。

圖4 條紋疵點在4個尺度下的顯著性均值檢測結果Fig.4 Mean of saliency at four scales detection of strip defect

2.3 上下文顯著性修正

(5)

圖5示出最終生成的顯著性檢測效果圖。可以看出，該方法能夠有效地突出疵點區域，抑制背景區域，實現疵點的有效檢測。

圖5 條紋疵點顯著性檢測效果圖Fig.5 Final saliency detection of strip defect

3 試驗結果與分析

3.1 織物疵點顯著性檢測

為驗證本文算法的有效性，選用采集的部分素色、條紋和格子色織物正常圖像和疵點圖像為樣本。疵點類型包括油污、跳花和接頭等常見的區域性疵點，織物圖像尺寸大小均為256像素×256像素。本文試驗中所使用的檢測算法是在MatLab 2014b原型環境下實現的，并在搭載Intel Core i5處理器的Win7操作系統計算機上進行，3組典型色織物疵點檢測結果如圖6所示。

圖6 本文算法視覺顯著性檢測效果圖Fig.6 Saliency maps generated by method of this paper. (a) Yarn-dyed fabric defect images; (b) Visual saliency maps

由圖6(a)可以看出，由于疵點的存在使疵點區域出現紋理或顏色異常，從而使該區域具有更高的顯著性。由圖6(b)采用本文方法生成的視覺顯著性圖可知，該方法從圖像的整體和局部對比度出發，結合了多尺度生成視覺顯著性圖，最后通過對顯著性圖上下文修正突出了疵點的顯著性，同時也抑制了背景的顯著性，實現了對疵點區域的有效檢測，說明了本文方法的有效性。

3.2 檢測準確性測試

采用最大類間方差法(Otsu)對生成的視覺顯著性圖像進行閾值分割，3組典型的二值圖像分割結果如圖7(a)所示。

圖7 疵點定位檢測結果Fig.7 Detection result of defect positioning. (a) Binary images; (b) Positioning results

從分割結果可以看出，本文方法能夠有效地將疵點區域從背景圖像中分離出來，實現了疵點的有效檢測。為驗證該方法檢測的準確性，用二值圖像的邊緣檢測結果與原圖疊加，得到圖7(b)疊加結果，可以看出該方法能夠準確定位到疵點的位置。

3.3 檢測有效性測試

為驗證該方法的有效性，對采集的素色、條紋和格子色織物圖像(45幅疵點圖像和32幅正常圖像)進行驗證。根據視覺顯著性檢測原則，無論是正常圖像還是疵點圖像，在生成的視覺顯著性圖中都會存在顯著性區域。以圖8所示的素色織物正常圖像和疵點圖像為例，從生成的顯著性圖中可看出：疵點圖像生成的顯著性圖中顯著性區域的灰度分布比較集中，只有顯著性區域的灰度值較高，而背景區域的灰度值明顯偏低；正常圖像生成的顯著性圖中，通常存在多個顯著性區域，且背景區域的灰度值也較高，因此可利用此特點來判斷待測圖像是否存在疵點。本文利用全局顯著性關聯值(視覺顯著性圖的灰度平均值，用AvS表示)和背景區域顯著性關聯值(視覺顯著性圖背景區域的灰度平均值，用AvSI表示)進行判斷[14]，計算方法為：

(6)

(7)

式中：nS為顯著性圖的像素總數；S(x,y)為顯著性圖中像素點(x,y)的視覺性顯著性值；nSI為顯著性圖背景區域的像素總數；SI(x,y)為顯著性背景區域中像素點(x,y)的視覺顯著性值。

圖8 視覺顯著性圖Fig.8 Visual saliency maps. (a) Defect image; (b) Normal image; (c) Visual saliency map of defect image; (d) Visual saliency map of normal image

然后結合AvS和AvSI來判定圖像是否存在疵點。通過對多張正常圖像和疵點圖像進行試驗，設定圖像AvS的閾值小于12，且AvSI的閾值小于0.05時為疵點圖像，否則為正常圖像。檢測結果如表1所示。可以看出，檢測準確率為97.4%，說明該方法實現了疵點的有效檢測。

表1 疵點檢測統計結果Tab.1 Statistics for defect detection results

3.4 不同算法檢測效果對比

選取3組典型色織物疵點圖，并將本文算法與其他疵點檢測方法生成的疵點檢測效果圖進行比較，結果如圖9所示。

圖9 不同疵點檢測方法檢測效果對比Fig.9 Comparison of different visual saliency methods. (a) Yarn-dyed fabric defect images; (b) Method of refe-rence[15]; (c) Method of reference [10]; (d) Method of reference [16]; (e) Method of this paper

從圖9可以看出：文獻[15]方法生成的疵點檢測圖由于僅考慮了圖像亮度信息，所以只對紋理背景簡單，疵點與背景在亮度上有較大差別的圖像檢測有效；文獻[10]方法采用綜合3個尺度的特征圖像檢測疵點，檢測出了疵點的位置，但背景區域的顯著性未得到較好地抑制；文獻[16]方法在對圖像進行疵點檢測時僅考慮了織物圖像的整體信息，沒有考慮圖像的局部紋理信息，生成的檢測效果圖中背景噪聲比較明顯；本文針對織物圖像特性，綜合了圖像整體和局部特征，并采用基于上下文修正生成的檢測效果圖，有效地突出了織物疵點區域，檢測效果最好。

4 結 論

本文通過對常見的素色、條紋和格子色織物疵點圖像特征進行研究，提出了基于上下文視覺顯著性的織物疵點檢測方法，根據織物疵點檢測結果可以看出，該方法能夠較好地凸顯素色、條紋和格子色織物的疵點區域，實現了疵點區域的準確檢測。利用全局顯著性關聯值和背景區域顯著性關聯值實現了待測圖像是否存在疵點的準確判斷。將本文方法得到的疵點檢測效果與其他檢測方法生成的疵點檢測效果圖進行比較，通過檢測結果得出本文方法所生成的疵點檢測效果圖最優。試驗結果表明了本文算法的有效性。

FZXB