多紋理分級融合的織物缺陷檢測算法

朱 浩， 丁 輝,2,3， 尚媛園,2,3， 邵珠宏,2,4

(1. 首都師范大學 信息工程學院， 北京 100048； 2. 高可靠嵌入式系統技術北京市工程技術研究中心，北京 100048； 3. 北京成像理論與技術高精尖創新中心， 北京 100048；4. 北京數學與信息交叉科學協同創新中心， 北京 100048)

織物缺陷對紡織品質量和價格產生直接影響，據統計，織物的缺陷致使織物產品價格降低45%～65%[1]。生產過程中，織物的缺陷檢測仍然大量采用傳統的人工檢測方法，存在效率低、結果一致性差、漏檢和誤檢等缺點，不利于大規模工業化生產。隨著計算機技術的發展，利用圖像處理技術進行智能化、自動化檢測成為織物缺陷檢測的研究熱點[2]。

在織物缺陷檢測過程中，常用的檢測方法有：利用傅里葉的功能譜特性、Gabor空域特性提取特征等頻譜法[3]檢測織物缺陷；利用區域的幾何形狀、紋理的自相關性等數理統計法[4-5]檢測織物缺陷；利用不同像素間的線性相關特性等模型法[6]檢測織物缺陷。近年來，國內外學者對織物缺陷檢測進一步做了大量研究：直接利用閾值分割[7]的方法檢測織物缺陷，方法簡單，檢測效率較高，但僅對簡單的、灰度分布均勻的紋理圖案檢測有效；利用頻譜法檢測織物缺陷，例如：小波預處理的黃金圖進行模板匹配[8]、雙樹復小波變換(DTCWT)[9]等，為避免織物缺陷尺度方向不確定帶來的問題，通常提取多個尺度和方向上的檢測結果作為織物紋理的特征向量，但提取紋理特征耗時較多[10]；利用統計的方法檢測織物缺陷，例如：二進制模式(LBP)和灰度共生矩陣(GLCM)[11]、無缺陷圖像構建的濾波器對圖像缺陷檢測[12]等，提取的織物圖像特征具有較好的魯棒性，提取特征的過程中，需要統計鄰域中多個像素值，計算量較大；利用織物紋理建模的方法檢測織物缺陷，在一定程度上會受到模型精度的限制，不易于識別小的缺陷[13]。目前的織物缺陷檢測算法很難實現檢測效率和檢測精度上的兼容，同時，針對某一類具體織物缺陷檢測時，現有的織物缺陷檢測方法具有較好的檢測效果，但是面對織物紋理差異性、缺陷形態復雜多樣性等情況，經常出現漏檢或錯檢的情況，如何提高對不同織物缺陷檢測的通用性仍然是個難題。

本文主要討論具有周期性分布的紋理織物缺陷檢測，將采用TILDA織物紋理數據庫中4種不同的周期性紋理織物進行分析和測試，提出了一種多紋理特征分級融合的由粗到精的物缺陷檢測方法。首先設計固定大小窗口對圖像進行Tamura紋理檢測，初步確定缺陷區域；然后完成對缺陷區域Tamura紋理特征、LPQ紋理特征和經緯向紋理特征的分級融合，使不同織物紋理特征得到有效表達，提高織物缺陷檢測的檢測效率和準確度。

1 相關紋理特征原理

織物圖像紋理是由經、緯向紗線按照組織結構規則和一定密度交織組成，反映了織物表面具有周期性變化的結構組織排列屬性，因此，紋理成為織物缺陷檢測中一種重要的研究線索。

1.1 Tamura紋理特征

織物的紋理特征在織物的缺陷檢測過程中具有重要意義，基于人類對紋理的視覺感知的心理學研究，Tamura等[14]提出了紋理特征表達，對應于心理學角度上紋理特征的6個屬性，即粗糙度、對比度、方向度、線性度、規整度和粗略度。粗糙度是一種紋理特征，是反映紋理中粒度的一個量。粗糙度的計算分為以下3個步驟。

1) 在織物樣本圖像中，計算活動窗口為2k×2k的像素平均灰度值為：

(1)

式中：x表示圖像的寬；y表示圖像的高；g(i,j)表示坐標是(i,j)的像素灰度值，k=0,1,2,…,7，經實驗測試，選取k的最大取值為7。

2) 分別計算每個像素點在水平和垂直方向上不相重疊的窗口之間的平均灰度差:

Ek,h=|Ak(x+2k-1,y)-Ak(x-2k-1,y)|

(2)

Ek,v=|Ak(x,y+2k-1)-Ak(x,y-2k-1)|

(3)

式中：Ek,h表示水平平均灰度差；Ek,v表示垂直平均灰度差。

對于每個像素，設計最佳尺寸Sbest(i,j)=2k，能夠使E值達到最大值,如下式:

Ek=Emax=max(E1,E2,…,Eh)

(4)

式中：E1,E2,…,Eh表示同一坐標位置上不同窗口大小的灰度差。

3) 圖像的粗糙度Rcrs可通過計算整幅圖像中Sbest的平均值來獲取：

(5)

式中：m和n是圖像的長和寬；Sbest為計算的最佳尺寸。

本文主要是利用粗糙度屬性計算織物圖像的粗糙度圖,通過粗糙度圖對織物缺陷區域進行預測。圖1示出同一紋理織物，選取不同窗口大小的粗糙度圖。

圖1 不同窗口大小的粗糙度圖

Fig.1 Roughness image of different window sizes.(a) Original image; (b) A results;(c)B results; (d) C results

為提高織物紋理的分辨能力，將窗口的大小設置成為:(2k-1)×(2k-1)，k=1,2,…,Tmax。通過實驗驗證，當Tmax=5時，效果最好，如圖1中結果圖B所示，能夠將缺陷區域和非缺陷區域區分，降低了非缺陷區域暗點和亮點的干擾。

1.2 局部相位量化

局部相位量化(LPQ)是由Ville Ojansivu等提出的一個具有模糊不變性的紋理特征描述算子，稱為LPQ[15]算子。局部相位量化特征是基于離散的短時傅里葉變換[16]，給定圖像f(x)，在像素點x=(x1,x2),取其M×M鄰域Nx,對鄰域Nx中的局部圖像做二維離散傅里葉變換

F(u,x)=∑y∈Nxf(x-y)e-j2πuTy

(6)

F(x)=[F(u1,x),F(u2,x),F(u3,x),F(u4,x)]

(7)

傅里葉系數相位可通過每個部分的實部和虛部的符號函數來表示，見下式：

(8)

式中：用gj表示向量G(x)=[Re{F(x)},Im{F(x)}]的第j個部分；Re{}和Im{}分別表示F(x)對應的實部和虛部。

對G(x)進行量化之后，得到一個8位的二進制數的向量，在將權系數分配給每一個部分，計算出其對應的LPQ值

(9)

式中：qj對G(x)的二進制編碼；2j-1表示的是權重系數；fLPQ(x)為計算出對應的LPQ值。

1.3 經緯向紋理特征

織物紋理信息主要是集中在經紗和緯紗2個方向，其所產生的多數缺陷也呈現較強的經緯取向性[17-18]。通過將局部織物圖像沿經向(水平)和緯向(垂直)進行投影，對織物經緯向紋理特征進行表達。設I(i,j)為w×h的圖像塊，其在經向和緯向方向投影所得一維向量分別為Pu和Pv:

(10)

(11)

式中：I(i,j)表示圖像塊區域；w和h分別表示圖像塊的寬和高；Pu反映了緯向紋理特征；Pv反映了經向紋理特征。

由于織物圖像的正常紋理圖像投影向量仍具有規則穩定的性質，而缺陷紋理圖像的經、緯向投影向量則呈現出突變的或不規則的情況。計算經向和緯向的投影向量的差分平方和，可以度量瑕疵異常程度[17]。因此，增加經緯向織物紋理特征提取有益于整體瑕疵的檢測。

1.4 紋理特征向量融合

為實現對不同織物紋理特征有效融合，本文設計了一種特征融合方法：分別對織物圖像LPQ和Tamura紋理圖進行分塊，提取塊的直方圖特征，對2種不同紋理塊的直方圖特征進行歸一化處理，根據式(12)對歸一化后的特征進行加權融合，獲取特征相似度融合圖，特征融合公式為:

(12)

式中：Lk、Tt分別為LPQ和Tamura紋理圖分塊圖像的直方圖歸一化特征，w1和w2分別為LPQ和Tamura紋理圖分塊圖像的直方圖特征的方差。Dn為最終的融合結果，作為特征相似度度量向量。

由于不同特征對缺陷響應程度不同，本文對特征相似度融合圖和經緯向特征圖進行加權融合，以保證缺陷區域在融合后被削弱，提高檢測精度，利用文獻[17]提到的融合方法

Slast(i,j)=wwtHL(i,j)+(1-wwt)Mp(i,j)

(13)

式中：HL(i,j)為特征相似度融合圖；Mp(i,j)為經緯向特征圖；wwt為融合權重值，取值范圍(0，1)；Slast為最后結果圖。

2 織物缺陷檢測

利用織物圖像紋理特征，提出一種多紋理特征分級融合的由粗到精的分級檢測算法，本文利用TILDA織物紋理數據庫，篩選數據的主要依據是織物紋理的周期性分布特征,本文研究了4種不同織物紋理圖像，編號記為試樣1#，試樣2#，試樣3#，試樣4#，如圖2所示。在瑕疵檢測過程中包括5個步驟：織物圖像預處理；針對某一類正常織物紋理樣本數據，學習織物紋理分布特征；針對某一類缺陷織物樣本數據，對缺陷區域進行初步定位；提取織物圖像初步定位區域的LPQ紋理、Tamura紋理、經緯向紋理特征；對不同紋理特征進行分級融合，生成多特征融合圖,然后對缺陷進行檢測。

2.1 織物圖像紋理分析

織物圖像紋理最大的特點就是重復的紋理結構成周期性排列，如圖2所示。由于織物在生產過程中織物表面所產生的結頭、毛絮及灰塵等易產生成像噪聲，在一定程度上模糊了織物紋理的特征。因此，單一的紋理特征不能很好地對織物紋理特征進行有效表達，也不適應對不同織物紋理情況進行檢測。采用多特征分級融合的方法，能夠保留LPQ紋理、Tamura紋理和經緯向紋理特征的檢測優勢，具有更好的檢測能力。

圖2 不同紋理、周期分布織物圖像

Fig.2 Fabric images with different textures and cycles

2.2 織物缺陷區域初步定位

在織物缺陷檢測過程中，針對不同的織物紋理圖像，通常利用Tamura、LPQ等單一的紋理特征[17]。用多紋理特征融合的方法全局檢測織物圖像時耗時較高，不利于實際的生產應用，因此，本文提出了缺陷區域初步定位方法，通過降低織物圖像處理的冗余度，提高多特征融合的檢測效率，如圖3所示。

圖3 織物缺陷區域初步定位和自適應生長框圖

Fig.3 Fabric defect area coarse positioning and adaptive growth

首先，對輸入圖像進行預處理；其次，利用Tamura粗糙度屬性，計算圖像粗糙度圖；然后，設定閾值對粗糙度進行增強；最后，設計滑動窗對織物增強圖進行卷積操作，標記最大響應區域所在位置。在缺陷區域擴充過程中,以缺陷區域占據最多的塊為擴充依據，對相鄰鄰域進行擴充。由于缺陷區域大小不一，本文設計了一個自適應的缺陷區域擴充方法，當相鄰2次擴充完成時，缺陷主要分布區域無變化時，擴充結束。

2.3 織物缺陷區域檢測

織物缺陷的初步定位，能初步估計缺陷存在位置，不能精確地對缺陷進行精細化描述和定位，因此，需要結合不同紋理特征，對織物缺陷進行檢測。織物缺陷區域檢測過程，如圖4所示。

圖4 缺陷識別結構圖

Fig.4 Defect identification structure image

將織物缺陷初步定位的區域映射到原始的織物圖像中，根據織物紋理周期性分布特點分塊，提取圖像塊LPQ和Tamura紋理特征，并進行特征融合。利用相同的方法，提取正常圖像塊LPQ和Tamura紋理特征，并進行融合，計算二者融合特征的相似度，形成特征相似度圖。計算織物圖像的經緯向特征圖，根據式(13)提到的融合方法，將其與特征相似度圖融合，形成特征融合圖。不同紋理分級融合結果反映了圖像塊的缺陷分布情況，選取最佳分割閾值，對缺陷區域進行精確識別。

3 實驗結果與分析

本文的實驗環境:Window10操作系統，內存為 4 G，實驗平臺為MatLab2015b，所選用的織物缺陷樣本圖像來源于TILDA織物紋理庫，數量為1 400張。數據庫中含有4種不同織物紋理，每類樣本數據為350張。原始圖像尺寸為768像素×512像素。本文對圖像樣本進行了處理，將原圖像裁剪為4塊384像素×256像素，保留存有缺陷的圖像塊。實驗結果顯示，人眼能觀察到的瑕疵，本文有較好的檢測能力。

3.1 缺陷區域初步定位結果分析

利用缺陷區域初步定位方法，提高了檢測效率。在實驗過程中，濾波器的大小對實驗結果產生重要影響，當使用較小的濾波器時，由于噪聲等影響，可能會導致缺陷區域初步定位錯誤，最終不能對織物缺陷進行有效檢測；當使用較大的濾波器時，導致缺陷初步定位區域中，正常紋理所占區域遠遠大于缺陷區域，會產生較大耗時，不利于檢測效率的提高。

圖5示出缺陷區域初步定位結果。其中：圖5(a)為織物缺陷樣本原圖，圖5(b)為經過Tamura紋理處理之后，缺陷初步定位效果圖，圖5(c) 為經過缺陷區域自適應生長后的圖像。可以看出，織物缺陷初步定位對缺陷存在的中心位置進行了良好的可視化展示，但是，它不能有效描述缺陷的整體分布和缺陷區域的實際大小。因此，需要將初步定位的缺陷區域映射到原始圖像中，利用多特征融合的方法進行有效檢測。

注：圖中2～7列分別對應同一行中織物原圖的檢測結果。圖6 織物缺陷圖檢測結果

Fig.6 Testing results of fabric defect map. (a) Original image; (b) LBP segmentation results; (c) LPQ segmentation results; (d)Longitude and latitude segmentation results; (e) Tamura segmentation results; (f) Literature [17] segmentation results; (g) Paper segmentation results

圖5 缺陷初步定位和自適應生長結果

Fig.5 Coarse positioning and adaptive growth of defect result. (a) Original image; (b) Defect location image; (c) Adaptive growth image

本文利用Tamura紋理增強圖，對缺陷區域進行初步定位，經過實驗驗證，設計濾波器大小為16像素×16像素，缺陷初步定位區域中，正常區域所占比例較小，檢測效果較好。同時，為盡可能能將織物缺陷所存在的區域描繪出，本文對缺陷區域進行自適應生長。首先，對16像素×16像素的區域均分為4塊，根據最近鄰原則進行擴充。最后，將擴充后的缺陷區域映射到原織物圖像中，對織物缺陷進行檢測。

3.2 缺陷檢測結果分析

針對不同紋理和缺陷類型的織物圖像，單一的紋理特征不能擬合缺陷區域的分布，對缺陷檢測效果較差，利用多特征將LPQ、經緯向和Tamura紋理特征進行分級融合策略，能更好的對織物缺陷區域進行有效響應，本文利用上述方法，分別利用LBP、LPQ、Tamura、經緯向紋理特征做了實驗，結果如圖6所示。

根據4種不同紋理的織物圖像缺陷分布，LBP方法對織物細紋理的檢測效果較好；LPQ方法對織物不同紋理都有較好的檢測效果；經緯向紋理特征有效緩解了單一特征在描述圖像時的局限性；Tamura的粗糙度屬性提高了檢測的精確度和通用性。從實驗結果可以看出：多種紋理特征融合提高了織物圖像缺陷檢測的精細度，對缺陷區域響應較好。為進一步驗證在多特征融合過程中，LBP和LPQ對不同織物紋理缺陷檢測效果進一步做了對比實驗，結果如圖7所示。

圖7 實驗對比圖

Fig.7 Experimental comparison image. (a) Sample 1#original image; (b) LTJ segmentation of sample 1#; (c) Paper segmentation of sample 1#; (d) Sample 2#original image; (e) LTJ segmentation of sample 2#; (f) Paper segmentation of sample 2#; (g) Sample 3#original image; (h) LTJ segmentation of sample 3#; (i) Paper segmentation of sample 3#; (j) Sample 4#original image; (k) LTJ segmentation of sample 4#; (l) Paper segmentation of sample 4#

利用LBP、Tamura和經緯向(LTJ)多特征分級融合方法對織物缺陷檢測和本文所用方法LPQ、Tamura和經緯向多特征分級融合方法做了對比。如圖7所示。可見，2種方法對織物細紋理的缺陷有較好的檢測效果，LTJ對織物粗紋理的檢測效果較差，而本文利用的LPQ紋理特征融合對織物粗紋理有較好檢測效果。

3.3 缺陷檢測時間效率和瑕疵檢出率分析

利用圖2中的試樣1#、2#、3#和4#，4種不同織物紋理圖像，分析了不同紋理特征對織物缺陷的檢測效率。在單紋理檢測過程中，用到了LBP、LPQ、經緯向和Tamura紋理特征，檢測方法保持一致；在多紋理融合過程中，用到了文獻[17]的方法：LBP和經緯向2種不同紋理融合和本文的方法(LPQ、Tamura和經緯向紋理特征3種不同紋理融合)，在多特征融合對織物缺陷檢測過程中，紋理特征的提取順序是串行的。

表1示出不同紋理缺陷檢測的平均耗時。可見，在單特征和多特征對比實驗中，利用缺陷區域初步定位的方法，降低了織物缺陷檢測區域，提高了多特征融合對缺陷檢測的運行效率。

表1 不同紋理缺陷檢測平均耗時

Tab.1 Average time of different texturedefect detectionss

織物編號LBPLPQ經緯向TamuraLBP+經緯向本文試樣1#14.9630.976.697.9119.8113.65試樣2#14.7331.126.727.8919.9313.15試樣3#14.6031.046.717.9219.9412.95試樣4#15.1031.266.727.9019.7413.28

通過統計不同的瑕疵檢測算法的誤檢率和檢出率，進一步比較不同算法的優缺點。針對4種不同織物紋理圖像，本文總的實驗數據為864張圖像。其中，每一類織物紋理篩選出216張圖像，包含200張瑕疵圖像，16張正常圖像。篩選的原則是同一類紋理圖像中，具有相似大小的瑕疵圖，在實驗過程中僅保留了1張。利用下式進行檢測準確性分析。

誤檢率Pfr為：

(14)

式中：Swd為瑕疵區域誤判樣本數；Sall為總的樣本數。

檢出率Pdr為

(15)

式中：Srd為瑕疵區域正確判別樣本數；Sall為總的樣本數。

由紋理分割的對比實驗圖6可知，Tamura粗糙度特征在瑕疵檢測過程，檢測結果包括較多織物的非瑕疵區域檢，這里沒有統計檢測率結果。經過對比發現，本文提出的方法，有較高的檢出率和較低的誤檢率，結果如表2所示。

表2 不同紋理缺陷誤檢率和檢出率

Tab.2 Different texture defect detection probability%

織物編號LBP算法LPQ算法經緯向算法LBP+經緯向算法本文算法檢出率誤檢率檢出率誤檢率檢出率誤檢率檢出率誤檢率檢出率誤檢率試樣1#84.7215.2785.6414.3581.9418.0591.668.3393.056.94試樣2#83.3316.6683.7916.2080.5519.4494.445.5593.056.94試樣3#61.1138.8863.8836.1143.0556.9458.3341.6665.2734.72試樣4#54.1645.8356.0143.9841.6658.3369.4430.5572.7727.77

4 結 論

織物的缺陷檢測在工業生成過程中作為一個重要環節，有重要的研究價值。紋理成為了織物缺陷檢測的重要線索，因此，本文采用了多特征分級融合的織物缺陷檢測算法，融合了不同紋理對織物缺陷的表達優勢，降低了缺陷檢測過程中漏檢和誤檢情況發生，提高了織物缺陷檢測的通用性和效率。實驗結果表明：缺陷區域初步定位和自適應生長的方法，大大降低了計算的冗余度，提高了檢測效率和精確度；紋理特征的分級融合對織物紋理表達能力得到增強。本文檢測方法，在一定程度上提高了檢測效率，縮短了檢測時間，為達到實際生產應用高速檢測的要求，需要討論如何在保證算法精度的情況下進一步地提高檢測速度。

FZXB