基于顯著性檢測和超像素分割的本色織物疵點檢測系統(tǒng)

湯 鋒，張團善，黃乾瑋，李樂樂

(西安工程大學(xué) 陜西省智能紡織裝備研究院，陜西 西安 710048)

本色織物作為服飾、醫(yī)用、汽車等行業(yè)基本的原材料，其表面質(zhì)量是影響產(chǎn)品價值、品質(zhì)、外觀和性能的主要因素。在紡織行業(yè)中，仍有很多企業(yè)使用傳統(tǒng)的人工檢布、驗布，檢測效率低、人工成本高且可靠性差，不能滿足先進生產(chǎn)的需求[1]。應(yīng)用機器視覺的自動化檢測方法正在逐步代替?zhèn)鹘y(tǒng)的人工檢測。

傳統(tǒng)的織物缺陷檢測方法大致可分為4種:基于統(tǒng)計信息的方法[2]71、基于頻譜信息的方法[3]、基于模型的方法[4-5]和基于顯著性機制[6-7]的方法，現(xiàn)在主流的檢測方法則是基于機器學(xué)習(xí)[8]663的方法。劉海軍等[2]71-76利用分塊的梯度直方圖進行K-means聚類以構(gòu)建紋理字典，將字典的紋理頻次直方圖作為原圖的特征向量，對特征采用最近鄰分類標(biāo)記出疵點，此方法利用圖像的有用信息進行疵點的分類和標(biāo)記，適合紋理結(jié)構(gòu)清晰，顏色單一的織物。周文明等[9]利用遺傳算法對Gabor濾波器的參數(shù)進行優(yōu)化得到最優(yōu)Gabor濾波器對織物疵點進行檢測，該方法在一定程度上解決了最優(yōu)Gabor濾波器參數(shù)選擇困難問題，此方法對紋理結(jié)構(gòu)復(fù)雜的印花織物以及本色織物的細小疵點的檢測效果不佳。李明等[8]663-669利用生成對抗網(wǎng)絡(luò)對原始織物缺陷樣本進行訓(xùn)練，生成真實的缺陷樣本以擴充數(shù)據(jù)庫，再應(yīng)用Faster R-CNN對擴充后的數(shù)據(jù)庫進行訓(xùn)練，使模型達到實時檢測的目的，此方法很容易受到原始數(shù)據(jù)樣本的影響，檢測的準(zhǔn)確度和實時性都有待提高。

課題組針對本色織物常見的缺陷為研究對象，設(shè)計了一種基于顯著性檢測和超像素分割的缺陷檢測系統(tǒng)，在印制背景紋理的同時采用分塊計算顯著值，再進行超像素細分割，有效提高了檢測精度，縮短了檢測時間。實驗結(jié)果表明：本系統(tǒng)具有實際應(yīng)用價值。

1 檢測系統(tǒng)硬件設(shè)計

硬件：6 500 K的正白LED光源，斜45°對稱布局以消除陰影；邁德威視MV-LD-25-5M-K工業(yè)鏡頭，焦距25 mm；邁德威視MV-GED500C-T彩色面陣傳感器相機，最大分辨率和最大幀率分別為2 448 dpi×2 048 dpi和15 幀/s；大恒MicroEnable 5 marathon VCL圖像采集卡，最大傳輸速度1 800 MiB/s，板載內(nèi)存2 GiB；86HS12步進電機；靈信A4L運動控制卡；傳送裝置。視覺平臺原理如圖1所示。

圖1 視覺平臺原理圖Figure 1 Visual platform schematic

系統(tǒng)的工作流程為：輥子帶動布料正常運轉(zhuǎn)，工業(yè)相機采集到的圖像轉(zhuǎn)為數(shù)字信號交由視覺檢測系統(tǒng)檢測；當(dāng)檢測系統(tǒng)檢測到缺陷時發(fā)送指令到控制模塊使電機停止運轉(zhuǎn)，同時相應(yīng)的噴碼機或貼標(biāo)機獲取上位機的數(shù)據(jù)給布料進行噴碼或貼標(biāo)操作；操作完成，上位機發(fā)送指令使機器繼續(xù)運行，重復(fù)上述步驟。

2 織物缺陷檢測算法

織物缺陷區(qū)域呈點狀、線狀或塊狀分布，與背景呈現(xiàn)出很大的差別。針對此特征，課題組提出顯著性檢測和超像素分割的本色織物疵點檢測算法。算法流程如圖2所示，將CCD相機采集的RGB圖像轉(zhuǎn)到HSI空間，對轉(zhuǎn)換后的圖像進行平滑背景和增強邊緣處理，再對圖像使用基于全局對比度的顯著性檢測(luminance contrast，LC)對疵點區(qū)域粗定位，然后進行超像素的細分割和二值化處理，并采用圖形學(xué)處理剔除孤立點，得到最后的檢測結(jié)果。

圖2 檢測流程Figure 2 Detection flow

2.1 圖像預(yù)處理

為了降低噪聲的干擾，抑制織物的紋理，提升疵點和背景之間的對比度，首先進行顏色空間轉(zhuǎn)換、雙邊濾波增強預(yù)處理。RGB顏色空間各分量之間存在著線性相關(guān)性，是極度不均勻的顏色空間，為了提高檢測的準(zhǔn)確性，先將輸入的RGB彩色圖像轉(zhuǎn)到HSI顏色空間：

(1)

式中：R，G，B為輸入圖像的紅、綠、藍顏色分量；H(θ)，S和I分別為輸出的色調(diào)、飽和度和亮度分量。

普通的高斯濾波和均值濾波會將圖像的邊緣模糊掉，嚴(yán)重丟失圖片的信息。課題組采用非線性的雙邊濾波(bilateral filter，BF)，是一種結(jié)合空間鄰度和像素值相似度的折中處理。普通的濾波采樣時只考慮了像素間的空間距離，使得濾波后的圖像在邊緣處的信息會嚴(yán)重丟失；雙邊濾波的改進之處就在于采樣時不僅考慮像素間的空間距離，同時還考慮了像素值間的相似程度，因而可以保持圖像的大體分塊，進而保持邊緣。

普通的2D高斯濾波對一定鄰域范圍內(nèi)的像素賦予不同的高斯權(quán)重并加權(quán)平均后得到結(jié)果，會比較明顯地模糊圖像的邊緣。高斯權(quán)重因子的生成僅依靠像素間的空間距離，改進后的雙邊濾波的權(quán)重因子取決于空間鄰近度因子，也就是值域模板d(i,j,k,l)與亮度相似度因子，即值域模板系數(shù)r(i,j,k,l)的乘積ω(i,j,k,l)：

ω(i,j,k,l)=d(i,j,k,l)*r(i,j,k,l)=

(2)

式中：(k，l)為模板窗口中心坐標(biāo)；(i，j)為窗口模板的其他數(shù)系的坐標(biāo)；f(k，l)表示圖像在(k，l)處的亮度值；σd為距離空間高斯核函數(shù)的標(biāo)準(zhǔn)差;σr為顏色空間高斯函數(shù)的標(biāo)準(zhǔn)差。

與原圖進行加權(quán)平均得到濾波后的輸出：

(3)

2.2 基于全局對比度的顯著性檢測

目前已有許多顯著性檢測模型，在織物缺陷檢測領(lǐng)域，疵點區(qū)域?qū)?yīng)與其他背景區(qū)域差別較大的高顯著性區(qū)域，紋理結(jié)構(gòu)簡單的背景區(qū)域則定義為低顯著性區(qū)域。為了保證檢測的精準(zhǔn)性，檢測前先將圖像進行n×n等分，經(jīng)過試驗得出，n=5時的檢測效果最佳；然后對每一個圖像塊進行基于全局對比度的顯著性檢測，檢測的原理就是在HIS空間的I(亮度)通道計算某個像素在整個小圖像塊上的全局對比度，即該像素的亮度值與該像素塊所有像素的顏色距離之和作為該像素的顯著值。圖像塊I中的像素Ik的顯著值SalS(Ik)：

(4)

對每個小圖像塊進行全局對比度的顯著性檢測，再將其拼接成一幅完整的圖像。不同的顯著性檢測方法的檢測結(jié)果存在較大的差異。課題組利用4種顯著性檢測模型對有缺陷的2個織物圖像進行檢測，結(jié)果如圖3所示。4種顯著性檢測模型為FT算法(frequency-tuned)顯著性檢測、基于殘差譜(spectral residual,SR)顯著性檢測、基于直方圖對比度(histogram contrast,HC)的顯著性檢測以及課題組提出的檢測模型。

圖3 不同算法的檢測結(jié)果Figure 3 Detection results of different algorithms

如圖3所示，基于FT的顯著性檢測能抹除織物的背景紋理，但同時也抹除細長的缺陷；基于直方圖對比度的顯著性檢測雖然可以很好地標(biāo)記出疵點區(qū)域，但是對背景的去除效果不佳，不利于后期的分割定位；基于殘差譜的顯著性檢測既能很好地去除背景紋理，也能凸顯細長的疵點，但是此方法對忽略了塊狀疵點區(qū)域，會嚴(yán)重影響檢測的結(jié)果；而課題組所用的LC顯著性檢測方法既能很好地抹除背景，又對于各種細長形和塊狀疵點都具有很好的檢測效果。

2.3 超像素分割

為了提取顯著圖中的高顯著性區(qū)域也就是疵點區(qū)域的位置和輪廓，課題組采用Mean-Shift超像素分割方法對顯著圖進行進一步精細分割。均值偏移(mean-shift)超像素分割屬于無參密度估計理論中多模型分割方法的核密度估計法，該分割方法不需要先驗知識，只依靠特征樣本空間的樣本點概率密度函數(shù)的局部最大值來確定樣本的密度模式，并將具有相同密度模式的樣本聚類到相關(guān)的類別中。本質(zhì)上均值偏移超像素分割還是聚類分割，在給定的d維樣本空間Rd中生成N個樣本點xI,其中I=1,…,N，則xI的Mean-Shift向量形式為：

(5)

式中：SK是xI具有一定大小的鄰域;Mh(xI)則為鄰域范圍內(nèi)的樣本點相對xI的平均偏移量，即表示該分布的概率密度增加最快的方向。

根據(jù)鄰域范圍內(nèi)樣本點的像素值不同，因而對Mean-Shift向量的重要性也不一樣，從而引進核函數(shù)計算加權(quán)的Mh(xI)，且有:

(6)

以Mh(xI)的終點為新的鄰域中心，再計算該鄰域的梯度，反復(fù)計算直到Mh(xI)的值小于設(shè)定的閾值時結(jié)束迭代，并且認為在一輪迭代過程中鄰域掃描過的所有像素點屬于同一類，將最終收斂點的像素值代替該類別中所有像素點的值，對所有樣本點都進行此操作得到細分割的顯著圖。將細分割的顯著圖二值化，最后對其進行形態(tài)學(xué)處理，剔除孤立點，合并疵點區(qū)域，得到最終的結(jié)果，結(jié)果如圖4所示。

圖4 像素分割結(jié)果Figure 4 Result of pixel segmentation

3 實驗結(jié)果對比分析

本實驗的軟件開發(fā)工具包括Python3.7，Opencv 3.4.2，MATLAB R2018a，VS Code1.52，基于64位Windows10系統(tǒng)，Inter(R)Core(TM)i5-8265U@1.80 Hz處理器，RAM為8 GiB。用課題組提出檢測方法進行圖像分塊，將織物的疵點檢測轉(zhuǎn)成小區(qū)域內(nèi)的異常檢測。由于小范圍內(nèi)的光照強度的變化是很小的，有效的避免了光照不均以及外界因素對檢測結(jié)果的影響。最后使用超像素分割對疵點位置進行精細分割，極大地提高了本色織物的疵點檢測效率。

為驗證本研究檢測方法的有效性，選取采集的帶缺經(jīng)、缺緯、油污、擦傷和破洞的素色織物圖150張以及50張不帶缺陷的本色織物樣本，圖像大小為844 dpi×845 dpi，將本實驗方法與基于殘差譜的(SR)顯著性模型、基于直方圖對比度的顯著性檢測(HC)和基于FT顯著性檢測結(jié)果進行直接的視覺效果以及性能參數(shù)比較，各檢測方法的檢測結(jié)果如表1及圖5所示。

圖5 各算法的檢測結(jié)果Figure 5 Test results of each algorithm

表1 各算法樣本檢測結(jié)果參數(shù)比較Table 1 Comparison of parameters of sample test results by each algorithm

從表1可看出：基于HC對各類缺陷的檢測都存在明顯的漏檢和誤檢現(xiàn)象；基于SR和FT的檢測則對條形缺陷的漏檢率較高，平均檢測時間較長；而本文方法對有缺陷和無缺陷的織物圖像檢測都有較高的準(zhǔn)確率，且由于在疵點定位和分割上使用Mean-Shift超分割，提取的疵點輪廓更加完整精細，檢測時長也較其它3種方法有明顯優(yōu)勢。

4 結(jié)語

課題組將圖像分塊和視覺顯著性檢測相結(jié)合，提出一種基于顯著性定位和超像素分割的本色織物疵點檢測系統(tǒng)。該方法將增強圖像的小圖像塊進行全局對比度的顯著性檢測，有效的改善了織物背景紋理的變化以及光照強度的變化對檢測結(jié)果的影響，以及使用Mean-Shift超像素分割對疵點輪廓的精細分割。通過不同算法的實驗對比可以看出，課題組提出的算法能夠?qū)崿F(xiàn)對本色織物疵點的更快速高效的檢測，具有實際的應(yīng)用價值。后續(xù)將對更多類型織物的缺陷檢測做深入研究，擴大算法的適用范圍。