一種平板玻璃機(jī)器視覺(jué)檢測(cè)中的斷裂劃痕連接方法

趙飛　李佳　滕云楠　胡佛

摘要：玻璃制品在深加工過(guò)程中易產(chǎn)生劃痕。玻璃視覺(jué)檢測(cè)系統(tǒng)中的閾值分割操作，會(huì)使某些劃痕在檢測(cè)圖像中斷裂，并可能得到錯(cuò)誤的識(shí)別結(jié)果。本文根據(jù)劃痕的傾角和距離，將圖像中斷裂的劃痕連接，并得到了正確的識(shí)別結(jié)果。

關(guān)鍵詞：平板玻璃；機(jī)器視覺(jué)檢測(cè)；圖像；斷裂劃痕；連接

中圖分類(lèi)號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）01-0048-02

0 引言

隨著玻璃在航空、汽車(chē)等領(lǐng)域應(yīng)用的擴(kuò)展，市場(chǎng)對(duì)高質(zhì)量玻璃的需求量日益增加[1]。玻璃制品在深加工過(guò)程中易產(chǎn)生劃痕[2]。利用人工目視對(duì)玻璃表面缺陷進(jìn)行的檢測(cè)，具有速度慢、耗費(fèi)人力大、穩(wěn)定性差、準(zhǔn)確性差及不便保存和檢索檢測(cè)數(shù)據(jù)等缺點(diǎn)[3-4]。基于視覺(jué)的檢測(cè)具有非接觸、客觀、高效等優(yōu)點(diǎn)，已逐步用于玻璃表面缺陷檢測(cè)[2]。

針對(duì)玻璃的劃痕缺陷，文獻(xiàn)[1]提出了一種利用最小外接矩形理論來(lái)獲取二值化圖像劃痕特征參數(shù)的方法。但在實(shí)際圖像處理的過(guò)程中，因?yàn)楦鲌D像灰度值不同，Ostu自動(dòng)閾值分割操作，可能會(huì)使劃痕在二值化圖像中產(chǎn)生斷裂，成了兩條劃痕，如圖1所示。此結(jié)果與實(shí)際不符，因此有必要將類(lèi)似的兩條劃痕連接成一條劃痕。

可以采用先膨脹后腐蝕的方法，將斷裂的劃痕連接。但膨脹腐蝕操作存在以下缺點(diǎn)：

（1）會(huì)對(duì)圖像的數(shù)據(jù)有所改變，進(jìn)而改變劃痕的本身的特征參數(shù)；

（2）膨脹腐蝕操作相對(duì)較慢。

因此，本文先采用一定的判斷準(zhǔn)則對(duì)兩條劃痕進(jìn)行判斷，再對(duì)屬于同一劃痕缺陷的兩條劃痕的最小外接矩形合并成一個(gè)外接矩形，并統(tǒng)一其標(biāo)記值；否則，不做任何處理。這樣，既能不破壞原有圖像，又能得到正確的劃痕特征參數(shù)。本文采用的判斷準(zhǔn)則如下：

（1）兩條劃痕的傾角基本相同；

（2）兩條劃痕的鄰近點(diǎn)距離較近。

1 比較劃痕方向

掃描劃痕在圖像中所占的所有像素，找出相距最遠(yuǎn)的兩像素點(diǎn)，利用它們連線(xiàn)的斜率可確定劃痕的傾角。但此方法需要重新掃描劃痕所在圖像內(nèi)的所有像素，增加了運(yùn)算量。文獻(xiàn)[1]定義并求取了最小外接矩形，并將其用于計(jì)算劃痕的長(zhǎng)度。本文利用最小外接矩形計(jì)算劃痕的斜率及傾角，可提高檢測(cè)效率。

文獻(xiàn)[1]定義的劃痕最小外接矩形，應(yīng)滿(mǎn)足以下3個(gè)條件，如圖2所示：

（1）矩形的四邊應(yīng)分別平行于圖像邊界的四邊；

（2）矩形所覆蓋范圍內(nèi)的像素包含了劃痕缺陷的所有像素；

（3）矩形的長(zhǎng)、寬在滿(mǎn)足以上兩條件的基礎(chǔ)上，應(yīng)分別最小。

圖2中線(xiàn)段AB和CD是與圖像橫向邊界平行的最小外接矩形的邊，稱(chēng)為最小外接矩形的寬，寬度記為w；圖2中線(xiàn)段AC和BD是與圖像縱向邊界平行的最小外接矩形的邊，稱(chēng)為最小外接矩形的高，高度記為h。則劃痕的斜率：

。 （1）

顯然，用最小外接矩形來(lái)計(jì)算劃痕的斜率會(huì)出現(xiàn)以下兩種情況，如圖3所示。

圖3中，兩斜率K的絕對(duì)值相同，正負(fù)符號(hào)相反。可根據(jù)劃痕頂行中點(diǎn)與最小外接矩形的兩頂點(diǎn)A、B間距離的關(guān)系，來(lái)判斷K的正負(fù)。劃痕頂行是指劃痕內(nèi)部的像素中，距離圖像頂部最近且具有相同縱坐標(biāo)值y0的像素集合。劃痕頂行中點(diǎn)，就是以劃痕頂行像素的橫標(biāo)的均值為橫標(biāo)，以劃痕頂行像素的共同縱標(biāo)y0為縱標(biāo)的點(diǎn)E（， y0）。點(diǎn)E可能不屬于劃痕內(nèi)的像素，甚至它可能不與任何像素中心重合，如圖4所示。

由圖3知，如果點(diǎn)E距離點(diǎn)B（xR，y0）更近，即：，則K>0；反之，如果點(diǎn)E距離點(diǎn)A（xL， y0）更近，即：，則K<0。其中，xL和xR分別為劃痕最小外接矩形的左右邊界橫標(biāo)。即：當(dāng)

時(shí)，根據(jù)式（1），有：

。 （2）

根據(jù)式（2），可計(jì)算所有劃痕的斜率，進(jìn)而得到它們的傾角：

。 （3）

將這些傾角按下式兩兩比較，當(dāng)下式成立時(shí)，即可判定對(duì)應(yīng)劃痕的方向相近：

。 （4）

其中，和分別第i條和第j條劃痕的傾角，且i（j，表示兩條劃痕傾斜方向近似的精度。

2 計(jì)算劃痕之間的最小距離

根據(jù)兩條劃痕的最小外接矩形和斜率，可確定其鄰近點(diǎn)的距離。通過(guò)掃描兩條劃痕在圖像中所占的所有所有點(diǎn)，也可確定其鄰近點(diǎn)距離，但此方法計(jì)算量較大。

如圖2所示，屬于同一劃痕缺陷的兩條劃痕（不妨稱(chēng)為第i條劃痕和第j條劃痕）的最小外接矩形（Ri和Rj），其中一個(gè)矩形必位于另一個(gè)矩形的下方；否則，不屬于同一劃痕缺陷。即：一個(gè)矩形的頂點(diǎn)A必位于另一個(gè)矩形的CD 邊的下方。此條件可通過(guò)比較一個(gè)矩形的頂點(diǎn)A縱標(biāo)值與另一個(gè)矩形的頂點(diǎn)C（或頂點(diǎn)D）的縱標(biāo)值來(lái)判斷。

不妨設(shè)，比較頂點(diǎn)A與頂點(diǎn)C縱標(biāo)值的結(jié)果是Ri位于Rj的上方。當(dāng)這兩條劃痕的傾角相近時(shí)，會(huì)出現(xiàn)2種情況，如圖5所示。

若劃痕斜率為正，如圖5（a）所示，兩劃痕鄰近點(diǎn)距離l應(yīng)為線(xiàn)段CiBj的長(zhǎng)度；若劃痕斜率為負(fù)，如圖5（b）所示，l應(yīng)為線(xiàn)段DiAj的長(zhǎng)度。當(dāng)下式成立時(shí)，即可判定對(duì)應(yīng)劃痕的鄰近點(diǎn)距離較近：

l< （5）

其中，表示判定兩條劃痕鄰近點(diǎn)距離的精度。

3 劃痕的連接

當(dāng)兩條劃痕（第i條和第j條劃痕）滿(mǎn)足傾角相近且其鄰近點(diǎn)接近時(shí)，即可判定它們屬于同一劃痕缺陷。應(yīng)將兩條劃痕連接成一條劃痕（即將其中一條劃痕所有像素的標(biāo)記值均改為另一條劃痕的標(biāo)記值），并合并它們的最小外接矩形Ri和Rj。

根據(jù)兩劃痕的斜率和相對(duì)位置，可合并其最小外接矩形為新的矩形R。如圖5所示，Ri位于Rj的上方：

（1）當(dāng)劃痕的斜率為正時(shí)，如圖5（a）所示，Bi（xb，yb）和Cj（xc，yc）為新矩形R的兩個(gè)相對(duì)的頂點(diǎn)，則R的左右兩邊界分別為xc和xb，上下兩邊界分別為yb和yc；

（2）當(dāng)劃痕的斜率為負(fù)時(shí)，如圖5（b）所示，Ai（xa，ya）和Dj（xd，yd）為新矩形R的兩個(gè)相對(duì)的頂點(diǎn)，則R左右兩邊界分別為xa和xd，上下兩邊界分別為ya和yd。

于是，Ri與Rj被合并為R。

4 劃痕連接

在劃痕斜率和最小外接矩形都已知的基礎(chǔ)上，可確定劃痕連接的流程，如圖6所示。

5 結(jié)語(yǔ)

本文利用劃痕的最小外接矩形，計(jì)算了劃痕的斜率；確定了兩條劃痕屬于同一劃痕缺陷的判定條件；針對(duì)屬于同一劃痕缺陷的圖像中的兩條劃痕，給出了劃痕連接的方法和步驟。上述判定方法和連接方法，運(yùn)算速度快，無(wú)誤判，符合大批量玻璃劃痕缺陷的快速檢測(cè)需求。

參考文獻(xiàn)

[1] Jia Li， Fei Zhao， etal. .Research on Robot Vision Detection Method for Scratch Defects of Flat Glass Based on Area Array CCD [A]. 2018 3rd Asia-Pacific Conference on Intelligent Robot Systems（ACIRS）[C]，IEEE，2018：35-39.

[2] 李長(zhǎng)有，劉遵，李帥濤.小型平板玻璃表面缺陷檢測(cè)系統(tǒng)[J].計(jì)算機(jī)應(yīng)用，2017，37（S2）：167-170，182.

[3] 王平順.圖像處理技術(shù)在玻璃缺陷檢測(cè)中的應(yīng)用研究[D].秦皇島：燕山大學(xué)，2005.

[4] 劉遵.基于機(jī)器視覺(jué)的玻璃表面缺陷檢測(cè)技術(shù)研究[D].焦作：河南理工大學(xué)，2017.

Abstract：Glass products are easily scratched in the process of deep processing. The threshold segmentation operation in the glass vision detection system will make some scratches break in the detection image and may get wrong recognition results. In this paper， the broken scratches in the image are connected according to the dips and distances of them， and the recognition results are correct.

Key words：flat glass；machine vision inspection；image；broken scratches；connection