基于機(jī)器視覺(jué)的玻璃纖維管紗毛羽檢測(cè)

景軍鋒， 張星星

(西安工程大學(xué) 電子信息學(xué)院， 陜西 西安 710048)

玻璃纖維是一種無(wú)機(jī)非金屬材料，有著較好的物理化學(xué)性能，在各個(gè)領(lǐng)域中有著廣泛的應(yīng)用[1]。玻璃纖維管紗是將玻璃纖維繞制在紗管上所形成的管狀紗線體，是玻璃纖維紗線的一種包裝運(yùn)輸形式，在工業(yè)生產(chǎn)中，需要對(duì)管紗退繞后使用。受到生產(chǎn)工藝以及工業(yè)環(huán)境的影響，制成后的管紗表面會(huì)不可避免地出現(xiàn)纖維斷裂、凸出等情況，即產(chǎn)生毛羽，毛羽缺陷影響著管紗的外觀和質(zhì)量，是判定管紗級(jí)別的重要依據(jù)之一[2]。

目前，大部分企業(yè)仍然依靠人工進(jìn)行管紗毛羽檢測(cè)，隨著科技的發(fā)展，機(jī)器視覺(jué)技術(shù)在工業(yè)品的檢測(cè)中已經(jīng)得到廣泛的應(yīng)用[3-4]。本文應(yīng)用機(jī)器視覺(jué)技術(shù)設(shè)計(jì)了玻璃纖維管紗毛羽檢測(cè)系統(tǒng)，利用線形光源、工業(yè)CMOS相機(jī)、電機(jī)等進(jìn)行硬件平臺(tái)的設(shè)計(jì)，實(shí)現(xiàn)圖像采集。

管紗表面毛羽與紗線毛羽在外形上均為突出的毛刺，紗線毛羽為單根紗線上存在的毛羽，而管紗毛羽為管紗外層表面存在的毛羽，屬于大面積毛羽抽樣檢測(cè)，但是二者的主要檢測(cè)過(guò)程較為類(lèi)似。國(guó)內(nèi)外對(duì)于紗線毛羽檢測(cè)的研究較多。利用閾值分割，形態(tài)學(xué)運(yùn)算等區(qū)域提取方法進(jìn)行紗線毛羽分割[5]，其分割效果不夠理想。使用改進(jìn)的多分辨率馬爾科夫隨機(jī)場(chǎng)模型[6]以及結(jié)合FCM(fuzzy-cluster method)和梯度分析[7]的方法，能夠精確地分割出紗線條干，從而得到毛羽區(qū)域，但是其計(jì)算量較大，不能夠滿(mǎn)足實(shí)時(shí)檢測(cè)需求。本文利用Blob分析法，通過(guò)閾值分割，邊界追蹤，霍夫(Hough)變換等操作以實(shí)現(xiàn)毛羽的快速準(zhǔn)確分割。與紗線毛羽檢測(cè)不同之處為管紗毛羽檢測(cè)增加了毛羽分類(lèi)環(huán)節(jié)，計(jì)算毛羽輪廓的矩特征以及區(qū)域特征，訓(xùn)練支持向量機(jī)分類(lèi)器，對(duì)3種不同類(lèi)型的毛羽進(jìn)行分類(lèi)。統(tǒng)計(jì)線法[5-6]常用于紗線毛羽長(zhǎng)度統(tǒng)計(jì)，但是它對(duì)于部分傾斜或者彎曲的毛羽檢測(cè)結(jié)果不夠準(zhǔn)確。因此，本文根據(jù)毛羽的最小外接矩形，來(lái)計(jì)算管紗毛羽長(zhǎng)度，同時(shí)通過(guò)前后2幀圖像中毛羽位置坐標(biāo)差值進(jìn)行毛羽數(shù)量統(tǒng)計(jì)，并將毛羽分類(lèi)、毛羽長(zhǎng)度測(cè)量、毛羽計(jì)數(shù)結(jié)果與人工檢測(cè)結(jié)果進(jìn)行了對(duì)比，與人工檢測(cè)結(jié)果較為接近，有較好的工程應(yīng)用價(jià)值。

1 系統(tǒng)硬件平臺(tái)

管紗毛羽存在于管紗的斜面和垂直面，且斜面毛羽與垂直面毛羽檢測(cè)過(guò)程相同，故以垂直面毛羽檢測(cè)為例進(jìn)行分析。通過(guò)對(duì)人工檢測(cè)方式的研究，設(shè)計(jì)了管紗毛羽圖像獲取硬件平臺(tái)，如圖1所示。主要包括工業(yè)相機(jī)、光源、步進(jìn)電動(dòng)機(jī)、計(jì)算機(jī)等。為獲取完整且清晰的毛羽圖像，選用相機(jī)型號(hào)為Basler acA2500-14gc，感光芯片類(lèi)型為CMOS，分辨率為2 590像素×1 942像素，鏡頭型號(hào)為Basler lens C125-0618-5 M，6 mm固定焦距，光圈范圍為F1.8～F22，分辨率為500萬(wàn)像素。光源為OPT-LST82高均勻線形光源。相機(jī)采集管紗的切面圖像，光源在管紗側(cè)后方，使其剛好能夠照亮管紗切面，同時(shí)將黑色背景板置于光源后方，增強(qiáng)毛羽與背景的對(duì)比度。通過(guò)上述硬件平臺(tái)采集到的毛羽圖像如圖2所示。為滿(mǎn)足實(shí)際的檢測(cè)速度需要，提高檢測(cè)效率，調(diào)節(jié)電動(dòng)機(jī)轉(zhuǎn)速，使得管紗旋轉(zhuǎn)1周的時(shí)間為4 s，設(shè)置相機(jī)的AOI(area of interest)大小為2 160像素×240像素。為保證毛羽圖像的完整性及連續(xù)性，使前后2幀圖像均有重合部分，設(shè)置幀率為30幀/s。

1─黑色背景板；2─光源控制器；3─線形光源； 4─管紗；5─步進(jìn)電動(dòng)機(jī)；6─工業(yè)相機(jī)；7─計(jì)算機(jī)。圖1 系統(tǒng)示意圖Fig.1 System schematic

圖2 毛羽圖像Fig.2 Hairiness images. (a) End hairiness; (b) Loop hairiness; (c) Cross hairiness

2 毛羽檢測(cè)

管紗毛羽檢測(cè)的主要過(guò)程分為3個(gè)部分：毛羽提取、毛羽分類(lèi)、毛羽統(tǒng)計(jì)。檢測(cè)流程圖如圖3所示。

圖3 毛羽檢測(cè)流程圖Fig.3 Flow chart of hairiness detection

2.1 毛羽提取

毛羽提取主要使用Blob分析法，Blob是指具有相似特征的連通區(qū)域，通過(guò)Blob分析，可以將目標(biāo)與背景分離，得到目標(biāo)ROI(region of interest)，從而對(duì)其進(jìn)行后續(xù)處理[8]，結(jié)果如圖4所示。

圖4 毛羽提取圖像Fig.4 Hairiness extraction image. (a) Original image; (b) Otsu threshold image; (c) Border following image; (d) Hough transform image; (e) Hairiness image

針對(duì)毛羽原始圖像，首先進(jìn)行均值濾波，然后使用大津法閾值二值化圖像，再利用邊界追蹤法[9]提取圖像中存在的邊緣，可以看出，管紗的表面邊緣近似于一條直線，故使用累計(jì)概率Hough變換[10]進(jìn)行直線檢測(cè)，直線以上為待處理區(qū)域，由于不同毛羽灰度值的差別以及背景板噪聲的影響，利用局部動(dòng)態(tài)閾值進(jìn)行毛羽分割，得到毛羽后，設(shè)置面積閾值A(chǔ)，去除噪聲點(diǎn)，最終得到滿(mǎn)足條件的毛羽區(qū)域。

2.2 毛羽分類(lèi)

在實(shí)際的工業(yè)環(huán)境中，不同類(lèi)型的毛羽對(duì)管紗的質(zhì)量和等級(jí)有不同程度的影響，常見(jiàn)的管紗毛羽主要為端毛羽、毛圈和毛夾3種，毛夾對(duì)管紗質(zhì)量的影響程度最大，毛圈次之，端毛羽最小，其圖像分別如圖2所示。端毛羽為玻璃纖維紗線束中單根紗線斷裂所形成的毛刺；毛圈是由于紗線束纏繞不均勻?qū)е碌膯胃喚€凸出；毛夾則為紗線束的大量損傷或斷裂。因此，毛羽分類(lèi)對(duì)于實(shí)際生產(chǎn)具有重要的指導(dǎo)意義。

對(duì)于不同類(lèi)型的毛羽，其顯著性差別在于輪廓形狀，端毛羽輪廓多為直線形，毛圈多為圓弧形，而毛夾為復(fù)雜的不規(guī)則形狀。不變矩特征能夠有效地體現(xiàn)目標(biāo)形狀的幾何特征，且具有旋轉(zhuǎn)、平移、尺度不變性，在圖像處理領(lǐng)域中有著廣泛的應(yīng)用[11-12]。對(duì)圖像F，其特征的(m+n)階幾何矩Mmn定義為

(1)

式中：m，n=0，1，2，…；x為圖像行坐標(biāo)；y為圖像列坐標(biāo)。由式(1)可得其中心矩為

(2)

(3)

其中m+n>1，得到歸一化中心矩對(duì)應(yīng)的二階矩為η02、η20、η11，三階矩為η12、η21、η03、η30，根據(jù)二階矩與三階矩可得Hu不變矩[13]，其分別為T(mén)1～T7。

T1=η20+η02

(4)

(5)

T3=(η30-3η12)2+(3η21-η03)2

(6)

T4=(η30+η12)2+(η21+η03)2

(7)

(8)

T6=(η20-η02)[(η30+η12)2-(η21+η03)2]+

4η11(η30+η12)(η21+η03)

(9)

T7=(η30+η12)2-3(η21+η03)2(3η21-η03)·

(η30+η12)-3(η30+η12)2-(η21+η03)2·

(η30-3η12)(η21+η03)

(10)

通過(guò)式(4)～(10)，得到毛羽輪廓的7個(gè)Hu不變矩特征。同時(shí)，選取毛羽的高度與面積之比、凸度、圓度與Hu不變矩組成特征向量。以支持向量機(jī)為分類(lèi)器，將毛羽圖像的特征向量輸入到支持向量機(jī)進(jìn)行訓(xùn)練，利用離線訓(xùn)練的分類(lèi)器進(jìn)行毛羽在線分類(lèi)。

2.3 毛羽統(tǒng)計(jì)

不同的玻璃纖維企業(yè)對(duì)管紗毛羽數(shù)量、類(lèi)型和長(zhǎng)度有著不同的等級(jí)劃分標(biāo)準(zhǔn)。因此，需要統(tǒng)計(jì)管紗中不同類(lèi)型的毛羽數(shù)量以及長(zhǎng)度，以實(shí)現(xiàn)管紗的評(píng)級(jí)。

2.3.1 毛羽計(jì)數(shù)

在圖像采集過(guò)程中，使前后2幀圖像有所重疊，保證同一根毛羽連續(xù)出現(xiàn)在多幀圖像中，由于管紗圖像呈水平狀態(tài)，故同一根毛羽的位置信息變化會(huì)保持在一定的范圍內(nèi)，根據(jù)毛羽的豎直方向坐標(biāo)來(lái)統(tǒng)計(jì)毛羽數(shù)量，若前后2幀毛羽豎直方向坐標(biāo)差值(差值的絕對(duì)值)小于閾值T，則認(rèn)為前后2幀對(duì)應(yīng)毛羽為同一根，即避免毛羽的重復(fù)計(jì)數(shù)。端毛羽坐標(biāo)為其與管紗表面所在直線交點(diǎn)，毛圈和毛夾均為其與管紗表面直線相交部分的中點(diǎn)坐標(biāo)。毛羽的計(jì)數(shù)過(guò)程為

1)依次讀取圖像，并進(jìn)行毛羽提取，若無(wú)毛羽存在，則繼續(xù)讀取下一幀圖像，直到出現(xiàn)毛羽，記錄其對(duì)應(yīng)的豎直方向坐標(biāo)，并記錄當(dāng)前幀的毛羽數(shù)量為Si。

2)讀取下一幀圖像，記錄毛羽數(shù)量為Si+1，當(dāng)前毛羽總數(shù)為Si+Si+1。

此時(shí)，根據(jù)毛羽的相對(duì)位置可以分為2種情況：

①單幀圖像中的毛羽之間的坐標(biāo)差值(絕對(duì)值)均大于T1時(shí)，計(jì)算前后2幀毛羽坐標(biāo)差值，若存在N個(gè)差值小于閾值T，則毛羽總數(shù)為Si+Si+1-N；

②單幀圖像中的部分毛羽間的坐標(biāo)差值小于閾值T1時(shí)，且小于閾值的差值個(gè)數(shù)為M。則將這M+1個(gè)毛羽視為1個(gè)毛夾，因?yàn)樵陂撝捣秶鷥?nèi)，出現(xiàn)多根毛羽，則其為紗線束的斷裂，將其判定為毛夾。此時(shí)毛羽總數(shù)為Si+Si+1-M，毛夾總數(shù)加1，其余毛羽按照情況①進(jìn)行統(tǒng)計(jì)。

端毛羽和毛圈計(jì)數(shù)與上述過(guò)程相同，在毛夾計(jì)數(shù)中，與上述過(guò)程不同的是情況②，單幀圖像中閾值范圍內(nèi)出現(xiàn)多根毛夾時(shí)，在實(shí)際的生產(chǎn)中，其表現(xiàn)為管紗表面出現(xiàn)大量紗線束斷裂，使得管紗無(wú)法用于后續(xù)的生產(chǎn)應(yīng)用，故直接判定管紗毛羽不合格，停止計(jì)數(shù)。

2.3.2 長(zhǎng)度計(jì)算

在毛羽統(tǒng)計(jì)過(guò)程中，需要記錄每一幀圖像中毛羽的長(zhǎng)度，毛羽重復(fù)出現(xiàn)在連續(xù)的多幀圖像時(shí)，取其最大值作為最終長(zhǎng)度。最小外接矩形法在尺寸測(cè)量中有著廣泛的應(yīng)用[14]。因此，選用最小外接矩形法進(jìn)行毛羽長(zhǎng)度測(cè)量。根據(jù)毛羽的輪廓點(diǎn)坐標(biāo)，可以得到其最小外接矩形，如圖5所示。

圖5 輪廓最小外接矩形圖Fig.5 Minimum bounding rectangle of contour. (a) End hairiness; (b) Loop hairiness; (c) Cross hairiness

對(duì)于毛圈和毛夾，以最小外接矩形的高作為其長(zhǎng)度。而端毛羽利用最小旋轉(zhuǎn)外接矩形的高得到其長(zhǎng)度。通過(guò)最小外接矩形得到的是毛羽在圖像中的像素個(gè)數(shù)，需要將其轉(zhuǎn)換為實(shí)際的毛羽長(zhǎng)度。

相機(jī)到管紗表面的工作距離，即物距為250 mm，視場(chǎng)大小為230 mm×175 mm，相機(jī)分辨率為2 590像素×1 942像素，故圖像中單個(gè)像素對(duì)應(yīng)的實(shí)際物理尺寸P為0.089 mm。假設(shè)圖像中的像素個(gè)數(shù)為Y，則其對(duì)應(yīng)的實(shí)際物理尺寸L為

L=YP

(11)

根據(jù)式(11)，可將最小外接矩形高度對(duì)應(yīng)的像素個(gè)數(shù)轉(zhuǎn)換為實(shí)際的物理長(zhǎng)度。

在實(shí)際應(yīng)用中，根據(jù)毛羽的長(zhǎng)度值可以對(duì)毛羽進(jìn)行篩選，對(duì)部分小于設(shè)定值L的毛羽忽略不計(jì)，因此，對(duì)于不同的生產(chǎn)標(biāo)準(zhǔn)，可以對(duì)L值進(jìn)行相應(yīng)的調(diào)整。

3 實(shí)驗(yàn)結(jié)果與分析

系統(tǒng)軟件測(cè)試平臺(tái)為Visual Studio 2015，利用OpenCV3.3進(jìn)行算法驗(yàn)證，計(jì)算機(jī)配置為Intel core i5-4460，CPU為3.20 GHz。

參數(shù)設(shè)置：系統(tǒng)中可變參數(shù)為毛羽面積閾值A(chǔ)，毛羽坐標(biāo)差值閾值T，毛羽相互之間坐標(biāo)差值T1，毛羽長(zhǎng)度值L。實(shí)驗(yàn)選取參數(shù)A為25像素，坐標(biāo)差值T以及T1為15像素，毛羽長(zhǎng)度下限L為3 mm。

從毛羽圖像中提取出毛羽后，共截取900張毛羽小圖像來(lái)訓(xùn)練支持向量機(jī)分類(lèi)器，其中每類(lèi)毛羽樣本數(shù)量為300張，在離線狀態(tài)下對(duì)訓(xùn)練樣本進(jìn)行特征提取，并將其特征向量輸入支持向量機(jī)進(jìn)行訓(xùn)練。離線訓(xùn)練完成后，對(duì)360幀圖像中的416個(gè)毛羽進(jìn)行實(shí)時(shí)在線分類(lèi)測(cè)試，其統(tǒng)計(jì)結(jié)果如表1所示，平均分類(lèi)準(zhǔn)確率可達(dá)93%。部分準(zhǔn)確分類(lèi)結(jié)果如圖6所示，部分錯(cuò)分類(lèi)結(jié)果如圖7所示。

表1 毛羽分類(lèi)結(jié)果Tab.1 Classification results of hairiness

注：a1～a10為10種端毛羽分類(lèi)結(jié)果圖；b1～b10為10種毛圈分類(lèi)結(jié)果圖；c1～c10為10種毛夾分類(lèi)結(jié)果圖。圖6 分類(lèi)結(jié)果圖Fig.6 Classification results. (a) End hairiness; (b) Loop hairiness; (c) Cross hairiness

注：a1～a3為3種端毛羽錯(cuò)分類(lèi)為毛圈圖像； b1～b3為3種毛圈錯(cuò)分類(lèi)為端毛羽圖像； c1～c3為3種亮度不均勻圖像。圖7 錯(cuò)分類(lèi)圖像Fig.7 Misclassification images. (a) Misclassified as loop hairiness; (b) Misclassified as end hairiness; (c) Uneven brightness

由表1和圖7可以看出，錯(cuò)分類(lèi)的毛羽圖像主要是端毛羽和毛圈。由于生產(chǎn)工藝的影響，部分管紗表面靜電作用較強(qiáng)，在管紗旋轉(zhuǎn)過(guò)程中，部分較長(zhǎng)的端毛羽會(huì)彎曲成圓弧狀，導(dǎo)致其錯(cuò)分為毛圈，如圖7(a)所示。圖7(b)為由于相機(jī)固定在水平方向上，采集的圖像中部分毛圈的起始點(diǎn)和終點(diǎn)在同一直線上，使得毛圈前后高度重合，導(dǎo)致其錯(cuò)分為端毛羽。圖7(c)所示圖像是在管紗的快速旋轉(zhuǎn)過(guò)程中，由于毛羽與相機(jī)相對(duì)位置的變換，少量圖像中毛羽亮度不均勻，從而導(dǎo)致分類(lèi)錯(cuò)誤。

隨機(jī)選取管紗表面的10根毛羽進(jìn)行人工長(zhǎng)度測(cè)量，將其與最小外接矩形法測(cè)量的結(jié)果進(jìn)行對(duì)比，如表2所示。

表2 毛羽長(zhǎng)度測(cè)量結(jié)果Tab.2 Measure results of hairiness length

從表2可以看出，利用最小外接矩形法得到的管紗毛羽長(zhǎng)度與人工檢測(cè)結(jié)果的平均誤差小于0.5 mm，充分說(shuō)明最小外界矩形法在毛羽長(zhǎng)度測(cè)量中是可行的。

最終選取10個(gè)管紗進(jìn)行毛羽檢測(cè)總體驗(yàn)證，每個(gè)管紗采集120張圖像，對(duì)每幀圖像都進(jìn)行毛羽提取及分類(lèi)，并進(jìn)行毛羽計(jì)數(shù)，同時(shí)，統(tǒng)計(jì)單個(gè)管紗檢測(cè)所用時(shí)間，其結(jié)果如表3所示。

表3 毛羽檢測(cè)結(jié)果Tab.3 Detection results of hairiness

從表3中可以看出，系統(tǒng)的檢測(cè)結(jié)果整體上與人工檢測(cè)結(jié)果較為接近。對(duì)于2#，4#和7#管紗，系統(tǒng)所設(shè)計(jì)的方法檢測(cè)結(jié)果均優(yōu)于人工檢測(cè)，原因在于人工檢測(cè)時(shí)，會(huì)漏檢部分較小的毛羽。對(duì)于8#管紗，是將1個(gè)毛圈錯(cuò)分類(lèi)為毛羽。從檢測(cè)時(shí)間上來(lái)看，該算法對(duì)于毛羽數(shù)量較少的管紗，檢測(cè)時(shí)間較短，由于圖像采集時(shí)間為4 s，因此，檢測(cè)最短耗時(shí)為4 s，且總體上單個(gè)管紗的最長(zhǎng)檢測(cè)時(shí)間在10 s以?xún)?nèi)，而人工檢測(cè)單個(gè)管紗平均時(shí)間約為120 s，因此利用該系統(tǒng)可實(shí)現(xiàn)管紗毛羽的高效、快速檢測(cè)，能夠滿(mǎn)足實(shí)際的工業(yè)需要。

4 結(jié)束語(yǔ)

本文應(yīng)用機(jī)器視覺(jué)技術(shù)設(shè)計(jì)了玻璃纖維管紗毛羽自動(dòng)檢測(cè)系統(tǒng)，通過(guò)毛羽提取、毛羽分類(lèi)、毛羽數(shù)量及長(zhǎng)度統(tǒng)計(jì)3個(gè)過(guò)程，對(duì)管紗表面出現(xiàn)的常見(jiàn)毛羽進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)數(shù)據(jù)能夠剔除殘次品，實(shí)現(xiàn)玻璃纖維管紗產(chǎn)品的自動(dòng)快速分級(jí)。通過(guò)實(shí)驗(yàn)測(cè)試，該系統(tǒng)在與人工檢測(cè)精度接近的情況下，可以顯著縮短檢測(cè)時(shí)間，實(shí)現(xiàn)管紗毛羽的快速、自動(dòng)化檢測(cè)，有較好的市場(chǎng)應(yīng)用價(jià)值。

FZXB