基于顯著紋理特征的織物疵點(diǎn)檢測方法

石美紅， 張 正， 郭仙草， 陳永當(dāng)

(西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院， 陜西 西安 710048)

基于顯著紋理特征的織物疵點(diǎn)檢測方法

石美紅， 張 正， 郭仙草， 陳永當(dāng)

(西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院， 陜西 西安 710048)

針對顯著紋理背景下織物圖像灰度級有限、對比度不明顯致使目標(biāo)疵點(diǎn)自動檢測難度較大的問題，提出了一種用于顯著紋理背景的織物疵點(diǎn)檢測方法。鑒于Tamura紋理模型具有分辨能力強(qiáng)、旋轉(zhuǎn)不變性以及算法魯棒性強(qiáng)的特點(diǎn)，提出了多尺度度量局部紋理粗糙度的改進(jìn)算法，以增強(qiáng)紋理分辨能力；結(jié)合織物疵點(diǎn)圖像視覺顯著性分析，基于局部紋理最佳窗口，通過提取與融合粗糙度、對比度和方向生成視覺顯著性特征圖，以顯著突出織物疵點(diǎn)區(qū)。經(jīng)TILDA織物紋理圖庫數(shù)據(jù)的實(shí)驗(yàn)測試結(jié)果表明，與其他相關(guān)方法相比，此方法在有效抑制顯著紋理背景的同時(shí)，檢測的目標(biāo)疵點(diǎn)具有較好的一致性和完整性。

紋理顯著性； 局部紋理； 粗糙度； 多尺度度量； 織物疵點(diǎn)檢測

織物疵點(diǎn)檢測是紡織品全質(zhì)量監(jiān)控的重要環(huán)節(jié)之一，其結(jié)果的好壞直接影響后續(xù)的紡織品等級劃分。目前常用的織物疵點(diǎn)檢測方法有[1-3]：數(shù)理統(tǒng)計(jì)法(經(jīng)典的有灰度共生矩陣、形態(tài)學(xué)、自相關(guān)函數(shù)、分形學(xué)等方法[4-7])，這類方法是通過提取織物圖像中像素間的空間分布、區(qū)域的幾何形狀、紋理的自相關(guān)性或自相似性等特征檢測織物疵點(diǎn)；頻譜法(典型的有傅里葉變換、小波變換、Gabor變換等方法[8-10])，分別利用傅里葉的功率譜特性、小波時(shí)頻的多分辨率特性、Gabor的空頻特性提取特征檢測織物疵點(diǎn)；模型法(經(jīng)典的有馬爾科夫隨機(jī)場模型、自回歸模型等方法[11-12])，它們分別通過描述織物圖像中鄰域像素間結(jié)構(gòu)與統(tǒng)計(jì)特征、不同像素間的線性相關(guān)特征檢測織物疵點(diǎn)；人工神經(jīng)網(wǎng)絡(luò)法[13-14]，其中經(jīng)典的BP網(wǎng)、脈沖耦合神經(jīng)網(wǎng)絡(luò)(簡稱為PCNN)等方法，利用神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、自組織的能力實(shí)現(xiàn)織物疵點(diǎn)的自動檢測。近年來，又出現(xiàn)了基于視覺顯著性的疵點(diǎn)檢測方法，文獻(xiàn)[15]針對織物疵點(diǎn)種類繁多難以檢測的問題，利用高斯濾波和Gabor濾波提取區(qū)域級的模糊顯著性特征和像素級的顯著性特征間對比度，定位疵點(diǎn)；文獻(xiàn)[16]利用小波多分辨率濾波構(gòu)造織物圖像的近似特征子圖和細(xì)節(jié)特征子圖，再通過特征差分子圖的融合形成顯著特征圖，以滿足平紋織物疵點(diǎn)的動態(tài)檢測；文獻(xiàn)[17]先基于分塊的圖像計(jì)算測試的圖像塊與隨機(jī)選取的圖像塊間局部二進(jìn)制模式(簡稱為LBP)紋理對比度和灰度統(tǒng)計(jì)直方圖對比度，再基于上下文整體顯著性分析生成視覺顯著圖；文獻(xiàn)[18]針對織物圖像紋理多樣化及疵點(diǎn)類別較多的特點(diǎn)，基于分塊圖像計(jì)算LBP的紋理特征與平均紋理特征間的相似度，生成顯著特征圖。

上述這些方法都有效地改善了疵點(diǎn)檢測的精確度，但是疵點(diǎn)的不確定性、種類的多樣性和形態(tài)的復(fù)雜性，使得織物疵點(diǎn)檢測方法還有待于進(jìn)一步研究開發(fā)[2-3]。為解決灰度級有限、對比度不明顯的顯著紋理背景下目標(biāo)疵點(diǎn)檢測的問題，受文獻(xiàn)[19]的啟示，首先提出了一種基于多尺度度量局部紋理粗糙度的改進(jìn)算法，然后借鑒人類視覺自底向上的注意機(jī)制，給出了一種適用于織物疵點(diǎn)圖像顯著分析的視覺顯著性度量方法。經(jīng)TILDA織物紋理圖庫數(shù)據(jù)及CCD相機(jī)采集到的圖像數(shù)據(jù)的實(shí)驗(yàn)測試，與文獻(xiàn)[15]、[17-18]方法相比，結(jié)果驗(yàn)證了該方法的可行性和有效性。

1 織物疵點(diǎn)圖像視覺顯著性分析

視覺顯著性已被成功地應(yīng)用在目標(biāo)檢測與跟蹤、圖像檢索與識別、場景分析等領(lǐng)域[20-22]。顯著性標(biāo)識了一個場景中具有獨(dú)特性質(zhì)并能夠吸引更多視覺注意力的特定區(qū)域，該區(qū)域被認(rèn)為具有視覺顯著性。盡管它們的紋理背景各不相同，但是視覺感受上能夠快速地將注意力集中在疵點(diǎn)區(qū)域上。這表明，視覺顯著性能夠直接將視覺注意力引向具有顯著屬性的目標(biāo)上，而不需要逐個掃描對象。織物紋理是由經(jīng)向和緯向紗線按組織結(jié)構(gòu)規(guī)則和一定密度交織而成的。圖1示出顯著紋理背景的織物疵點(diǎn)圖像，其中，標(biāo)示的矩形框?yàn)槟繕?biāo)疵點(diǎn)區(qū)域。由圖可看出，織物紋理的最大特點(diǎn)是有序的排列規(guī)則和重復(fù)的紋理模式。盡管織物疵點(diǎn)種類繁多，形態(tài)各異，但是從視覺顯著角度看，因疵點(diǎn)的出現(xiàn)破壞了織物的紋理模式，既使疵點(diǎn)區(qū)域與背景區(qū)域的對比度特征不明顯，但是，其粗糙度或方向存在著明顯差異(見圖1(a)、(b)、(c))。同樣，在圖1(b)、(d) 中，不僅疵點(diǎn)區(qū)域與背景區(qū)域的紋理模式明顯不同，而且它們區(qū)域間的對比度也存在著差異，因此，相對其他低級視覺特征，織物疵點(diǎn)圖像的粗糙度、對比度和方向等特征更具有顯著性。

2 視覺顯著性特征提取

視覺顯著性特征提取方法流程如圖2所示。首先采用改進(jìn)的局部紋理粗糙度算法，計(jì)算每個像素點(diǎn)對應(yīng)的局部紋理最佳窗口，接著基于最佳窗口分別計(jì)算局部紋理的粗糙度、對比度和方向3個特征值，得到對應(yīng)的特征子圖，然后通過歸一化融合特征子圖，生成視覺顯著性特征圖。

2.1 改進(jìn)的局部紋理粗糙度算法

Tamura等提出的一種紋理粗糙度特征不僅有效地克服了粗糙度對對比度的依賴性，保持了與人眼視覺感知的一致性，而且具有良好的紋理分辨力、旋轉(zhuǎn)不變性及其魯棒性[23]，但是，它以整幅圖像的平均粗糙度作為特征，這既不能精確地度量局部紋理的粗糙度，也丟失了局部紋理的分布信息。針對此問題，金左輪等[19]提出了一種局部紋理粗糙度的度量算法，有效地改善了紋理粗糙度的性能。但是，該算法以4k×4k(k=1,2,…n)鄰域區(qū)域提取紋理粗糙度，這種度量方法難免會出現(xiàn)具有不同基元尺寸的局部紋理卻得到相同紋理粗糙度特征值的現(xiàn)象。為提高局部紋理模式的分辨能力，結(jié)合織物紋理的特點(diǎn)，提出了一種基于多尺度度量局部紋理粗糙度算法。

假設(shè)，圖像F的大小為M×N，用n記錄被處理的像素個數(shù)；以(2k+1)×(2k+1)為活動窗口遍歷圖像，k=1,2,…,Lmax，Lmax為最大窗口尺度。那么，度量局部紋理粗糙度算法流程如圖3所示。

其中，計(jì)算局部紋理粗糙度特征的顯著度(fc)：

(1)

式中hn為灰度值n在圖像中出現(xiàn)的頻率。

為驗(yàn)證改進(jìn)算法對紋理模式的分辨能力，構(gòu)建了1組大小為256像素×256像素的西洋跳棋盤模式圖像序列T1，T2，…，T16，如圖4所示。棋盤中的棋格數(shù)目從17×17開始，減1遞減，直至2×2。顯然，如果依據(jù)尺度大小定性描述紋理粗糙度，那么圖像序列T1，T2，…，T16對應(yīng)的紋理粗糙度是線性遞增的。

圖5示出采用文獻(xiàn)[19]算法和本文改進(jìn)算法對圖4的圖像序列計(jì)算得到的局部紋理粗糙度均值的變化曲線，其中文獻(xiàn)[19]算法中Lmax=5，本文改進(jìn)算法中Lmax=9。可看出，隨棋盤尺度的線性遞增，改進(jìn)算法的局部紋理粗糙度均值變化曲線是線性遞增的，而文獻(xiàn)[19]算法的局部紋理粗糙度均值變化曲線是非線性的。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法的局部紋理粗糙度度量的精確度優(yōu)于文獻(xiàn)[19]算法。

2.2 局部紋理對比度提取

盡管疵點(diǎn)與背景間的像素灰度對比度不明顯，但是，它們之間的紋理區(qū)域灰度對比度存在著明顯差異，本文基于局部紋理粗糙度計(jì)算對比度特征(fm)

(2)

式中g(shù)為最佳窗口下的灰度均值。

2.3 局部紋理方向提取

為進(jìn)一步提高局部紋理的顯著性特征，基于最佳窗口計(jì)算方向特征fd：

(3)

(4)

式中：fij表示以位于(i,j)的像素點(diǎn)為中心、以Sbest為窗口大小的子圖像；*為卷積運(yùn)算；Tk為同等窗口大小的算子模板：

2.4 特征子圖歸一化和融合

為消除各特征子圖量化級數(shù)的不一致性，先對每個特征子圖進(jìn)行歸一化處理，然后，按照式(5)加權(quán)融合得到視覺顯著性特征圖FR：

(5)

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法的有效性，在主頻為2.10 GHz的Intel Core(TM)2處理器、內(nèi)存為4 GB、實(shí)驗(yàn)平臺為MatLab R2008a的環(huán)境下，從TILDA織物紋理圖庫及CCD相機(jī)采集的織物圖像數(shù)據(jù)中選擇了灰度級有限、對比度不明顯的具有顯著紋理背景、大小為256像素×256像素的織物圖像進(jìn)行了實(shí)驗(yàn)。圖6～10示出從織物圖像中分別提取粗糙度、對比度、方向的特征子圖像以及三者融合后視覺顯著性特征圖。

由圖可看出，當(dāng)疵點(diǎn)破壞了織物紋理模式時(shí)，既使疵點(diǎn)區(qū)與背景區(qū)間的對比度不明顯，但是，疵點(diǎn)區(qū)域紋理的粗糙度和方向特征都有顯著的標(biāo)記。經(jīng)歸一化融合后生成的視覺顯著性特征圖不僅突顯了目標(biāo)疵點(diǎn)區(qū)域，同時(shí)，也有效地消除或弱化了顯著的紋理背景。這是因?yàn)楦倪M(jìn)局部紋理粗糙度算法是基于多尺度度量局部紋理的最佳窗口，并由此提取粗糙度、對比度和方向特征，可有效地提高局部紋理模式的分辨能力。將本文算法生成的視覺顯著性特征圖與文獻(xiàn)[15]、[17-18]方法生成的視覺顯著性特征圖進(jìn)行了實(shí)驗(yàn)對比，如圖11～15所示。

從提取的顯著性特征圖看，與其他方法相比，本文方法提取的顯著性特征圖不僅凸顯了疵點(diǎn)區(qū)域，而且較好地抑制了顯著紋理背景，這是因?yàn)榇植诙取Ρ榷群头较蛱卣魇腔诰植考y理的最佳窗口提取的，有效地提高了局部紋理模式的分辨能力。文獻(xiàn)[15]是通過高斯濾波和Gabor濾波獲得區(qū)域級的模糊顯著性特征和像素級的顯著性特征間對比度定位疵點(diǎn)的，盡管能夠精細(xì)地定位疵點(diǎn)位置，但同時(shí)也檢測出了背景紋理；文獻(xiàn)[17-18]都是基于分塊圖像計(jì)算局部紋理特征，但是，文獻(xiàn)[17]的圖像分塊因沒有考慮局部紋理的不同基元大小，同時(shí)在特征融合中丟失了局部紋理的分布信息，導(dǎo)致生成的顯著特征圖存在明顯的紋理背景，疵點(diǎn)區(qū)域邊緣也比較模糊；文獻(xiàn)[18]盡管在特征融合中考慮了圖像的整體分布信息，但同樣因圖像分塊采用同一窗口，致使當(dāng)背景紋理基元與疵點(diǎn)區(qū)域的紋理基元相差不大時(shí)，不能有效地將疵點(diǎn)區(qū)域從背景中分離出來。

采用Otsu分割算法對生成的視覺顯著性特征圖進(jìn)行分割，有效地檢測出疵點(diǎn)。圖16～20示出對不同方法生成的視覺顯著性特征圖的疵點(diǎn)檢測結(jié)果。從分割結(jié)果可看出，本文所提出的算法有效地將疵點(diǎn)區(qū)域從顯著的紋理背景中分離出來，并且檢測結(jié)果正確。

表1示出了對不同大小圖像用不同方法生成視覺顯著性特征圖的耗時(shí)。從表1可看出，本文方法計(jì)算時(shí)間復(fù)雜度要低于文獻(xiàn)[17]和文獻(xiàn)[18]方法，但高于文獻(xiàn)[15]方法，這是因?yàn)槲墨I(xiàn)[17]和[18]方法提取的顯著性特征維度分別為256和59，遠(yuǎn)大于本文方法的16維度，而文獻(xiàn)[15]方法是先通過濾波消除紋理背景，然后僅提取對比度特征檢測目標(biāo)疵點(diǎn)，所以耗時(shí)低。

表1 不同方法生成視覺顯著性特征圖的耗時(shí)Tab.1 Time consuming for visual saliency map generated by different methods s

4 結(jié) 論

針對顯著紋理背景下因灰度級有限、對比度不明顯的織物圖像疵點(diǎn)檢測難度較大的問題，借鑒人眼視覺感知機(jī)制，提出了一種用于顯著紋理背景的織物疵點(diǎn)檢測方法。1)鑒于Tamura紋理模型具有分辨能力強(qiáng)、旋轉(zhuǎn)不變性以及算法魯棒性強(qiáng)的優(yōu)勢，結(jié)合織物紋理圖像特點(diǎn)，提出了一種多尺度度量局部紋理粗糙度的自適應(yīng)算法；2)結(jié)合織物圖像的視覺顯著性分析，給出了一種基于局部紋理最佳窗口的視覺顯著性度量方法。與傳統(tǒng)方法相比，本方法的最大特點(diǎn)是在較好地抑制顯著紋理背景的同時(shí)，檢測出的目標(biāo)疵點(diǎn)具有較好的一致性和完整性。本方法可用于具有顯著紋理背景的牛仔布、針織品、麻布品等表面的缺陷檢測，具有廣泛的應(yīng)用前景。

FZXB

[1] KUMAR A. Computer vision-based fabric defect detection: a survey[J]. IEEE Transactions on Industrial Electronics, 2008, 55(1): 348-363.

[2] NGAN H, PANG G, YUNG N. Automated fabric defect detection: a review[J]. Image and Vision Computing, 2011, 29(7): 442-458.

[3] 李文羽, 程隆棣. 基于機(jī)器視覺和圖像處理的織物疵點(diǎn)檢測研究新進(jìn)展[J]. 紡織學(xué)報(bào), 2014, 35(3): 158-164. LI Wenyu, CHENG Longdi. New progress of fabric defect detection based on computer vision and image processing[J]. Journal of Textile Research, 2014, 35(3): 158-164.

[4] TSAI I S, LIN C H, LIN J J. Applying an artificial neural network to pattern recognition in fabric defects[J]. Textile Research Journal, 1995, 65(3): 123-130.

[5] MAK K L, PENG P, YIU K F C. Fabric defect detection using morphological filters[J]. Image and Vision Computing, 2009, 27(10): 1585-1592.

[6] CHETVERIKOV D, HANBURY A. Finding defects in texture using regularity and local orientation[J]. Pattern Recognition, 2002, 35(10): 2165-2180.

[7] BU Honggang, WANG Jun, HUANG Xiubao. Fabric defect detection based on multiple fractal features and support vector data description[J]. Engineering Applications of Artificial Intelligence, 2009, 22(2): 224-235.

[8] CHAN C H, PANG G K H. Fabric defect detection by fourier analysis[J]. IEEE Transactions on Industry Applications, 2000, 36(5): 1267-1276.

[9] 李立輕, 黃秀寶. 用于疵點(diǎn)檢測的織物自適應(yīng)正交小波的實(shí)現(xiàn)[J]. 東華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2002, 28(2): 77-81. LI Liqing, HUANG Xiubao. Adaptive orthogonal wavelet of fabric defect detection[J]. Journal of Donghua University(Natural Science Edition), 2002, 28(2): 77-81.

[10] KUMAR A, PANG G K. Defect detection in textured materials using Gabor filters[J]. IEEE Transactions on Industry Applications, 2002, 38(2): 425-440.

[11] 貢玉南, 華建興, 黃秀寶. 基于高斯-馬爾科夫隨機(jī)場模型的織物紋理特征參數(shù)提取方法[J]. 東華大學(xué)學(xué)報(bào)(自然科學(xué)版), 1999, 25(2): l-4. GONG Yunan, HUA Jianxing, HUANG Xiubao. Feature extraction of fabric texture based on GMRF models[J]. Journal of Donghua University(Natural Science Edition), 1999, 25(2): l-4.

[12] ALATA O, RAMANANJARASOA C. Unsupervised textured image segmentation using 2-d quarter plane autoregressive model with four prediction supports[J]. Pattern Recognition Letters, 2005, 26(8): 1069-1081.[13] KUO C F J, LEE C J. A back-propagation neural network for recognizing fabric defects[J]. Textile Research Journal, 2003, 73(2): 147-151.

[14] SHI Meihong, JIANG Shoushan, WANG Huran, et al. A simplified pulse-coupled neural network for adaptive segmentation of fabric defects[J]. Machine Vision and Applications, 2009, 20(2): 131-138.

[15] 趙波, 鄭力新, 潘旭玲, 等. 新的基于圖像顯著性區(qū)域特征的織物疵點(diǎn)檢測算法[J]. 計(jì)算機(jī)應(yīng)用, 2012, 32(6): 1574-1577. ZHAO Bo, ZHENG Lixin, PAN Xuling, et al. New approach of fabric defects detection based on saliency region feature[J]. Journal of Computer Applications, 2012, 32(6): 1574-1577.

[16] 管聲啟, 高照元, 吳寧, 等. 基于視覺顯著性的平紋織物疵點(diǎn)檢測[J]. 紡織學(xué)報(bào), 2014, 35(4): 56-61. GUAN Shengqi, GAO Zhaoyuan, WU Ning, et al. Defect detection of plain weave based on visual saliency mechanism[J]. Journal of Textile Research, 2014, 35(4): 56-61.

[17] 李春雷, 張兆翔, 劉洲峰, 等. 基于紋理差異視覺顯著性的織物疵點(diǎn)檢測算法[J]. 山東大學(xué)學(xué)報(bào)(工學(xué)版), 2014, 44(4): 1-9. LI Chunlei, ZHANG Zhaoxiang, LIU Zhoufeng, et al. A novel fabric defect detection algorithm based on textural differential visual saliency model[J]. Journal of Shandong University (Engineering Science Editior), 2014, 44(4): 1-9.

[18] 劉洲峰, 趙全軍, 李春雷, 等. 基于局部統(tǒng)計(jì)與整體顯著性的織物疵點(diǎn)檢測算法[J]. 紡織學(xué)報(bào), 2014, 35(11): 62-67. LIU Zhoufeng, ZHAO Quanjun, LI Chunlei, et al. Fabric defect detection algorithm using local statistic features and global saliency analysis[J]. Journal of Textile Research, 2014, 35(11): 62-67.

[19] 金左輪, 韓靜, 張毅, 等. 基于視覺顯著性的微光圖像目標(biāo)檢測[J]. 物理學(xué)報(bào), 2014, 63(6): 1-12. JIN Zuolun, HAN Jing, ZHANG Yi, et al. Low light level image target detection based on texture saliency[J]. Acta Physica Sinica, 2014, 63(6): 1-12.

[20] HOU X, HAREL J, KOCH C. Image signature: highlighting sparse salient regions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1): 194-201.

[21] JUNG C, KIM C. A unified spectral-domain approach for saliency detection and its application to automatic object segmentation[J]. IEEE Transactions on Image Processing, 2012, 21(3): 1272-1283.

[22] KIM W, KIM C. Saliency detection via textural contrast[J]. Optics Letters, 2012, 37(9): 1550-1552.

[23] 趙海英，徐光美，彭宏. 紋理粗糙度度量算法的性能比較[J]. 計(jì)算機(jī)科學(xué), 2011, 38(6): 288-292. ZHAO Haiying, XU Guangmei, PENG Hong. Performance evaluation for algorithms to measure texture coarseness[J]. Computer Science, 2011, 38(6): 288-292.

Fabric defects detection method based on texture saliency features

SHI Meihong, ZHANG Zheng, GUO Xiancao, CHEN Yongdang

(CollegeofComputerScience,Xi′anPolytechnicUniversity,Xi′an,Shaanxi710048,China)

Owing to its low contrast, the defects of fabric images for background texture saliency are not very salient, and they are difficult to detect automatically. Aimed at this problem, a method for fabric defects detection based on texture saliency features is proposed in the paper. Firstly, in view of robustness of Tamura texture features, good discrimination and rotation invariance to texture, we present an improved local texture coarseness algorithm(ILTCA) based on multi-scale calculation in order to further enhance discrimination to local texture. Then on a fabric image, coarseness, contrast and direction are calculated respectively based on optimal scale of local textures in accordance with ILTCA and three characteristic sub-maps are obtained, a salient feature map is formed by normalization and weighted fusion for difference sub-maps. Finally, comparing with the existing methods of fabric defects detection based on visional saliency feature, the comparing experiment results on the TILDA texture databases show that the proposed method can effectively isolate fabric defects from salient background texture and fabric defects detected has good homogeneity and integrality.

texture saliency; local texture; coarseness; multi-scale calculation; fabric defect detection

2015-04-29

2016-04-25

國家科技支撐計(jì)劃基金資助項(xiàng)目(2014BAF07B01)；中國紡織工業(yè)聯(lián)合會科技項(xiàng)目(2014066)；陜西省科技創(chuàng)新工程重大科技專項(xiàng)項(xiàng)目(2008ZDKG-36)

石美紅(1956—)，女，教授。研究方向?yàn)橹悄苄畔⑻幚砼c模式識別。E-mail：meihong_shi@163.com。

10.13475/j.fzxb.20150405608

TP 391.41

A