基于最小生成樹和圖像矩的陶瓷過濾器表面缺陷檢測(cè)

周 靜， 劉 旭， 董子昊， 李金屏

(濟(jì)南大學(xué) a. 信息科學(xué)與工程學(xué)院， b. 山東省網(wǎng)絡(luò)環(huán)境智能計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室，c. 山東省“十三五”高校信息處理與認(rèn)知計(jì)算重點(diǎn)實(shí)驗(yàn)室， 山東 濟(jì)南 250022)

隨著我國(guó)經(jīng)濟(jì)快速發(fā)展，工業(yè)化水平日益提高，如何提高生產(chǎn)效率是當(dāng)前制造業(yè)面臨的重要課題。泡沫陶瓷過濾器具有高溫過濾功能，能夠過濾熔融液態(tài)金屬，有效濾除熔渣及其他非金屬夾雜物，凈化金屬熔體，在金屬鑄造領(lǐng)域得到廣泛應(yīng)用[1]。

陶瓷過濾器生產(chǎn)加工過程中難免產(chǎn)生堵孔、裂縫缺陷，這些缺陷將導(dǎo)致熔體過濾不充分，純凈度不達(dá)標(biāo)。目前，陶瓷過濾器檢測(cè)完全采用人工目檢的方式；但是人眼視覺疲勞會(huì)導(dǎo)致誤檢率增大，因此進(jìn)行基于機(jī)器視覺的陶瓷過濾器自動(dòng)化缺陷檢測(cè)研究，即利用攝像頭獲取圖像，輸入到計(jì)算機(jī)中進(jìn)行檢測(cè)，可以減小人力成本，降低誤檢率。

目前，機(jī)器視覺技術(shù)已廣泛應(yīng)用于工業(yè)檢測(cè)、 包裝印刷、 食品工業(yè)等諸多領(lǐng)域， 其中， 在工業(yè)檢測(cè)中的應(yīng)用尤為廣泛[2]， 例如鋼板表面缺陷檢測(cè)[3-5]、 木材表面缺陷檢測(cè)[6-7]、 陶瓷瓦表面裂紋檢測(cè)[8]等。

目前， 基于機(jī)器視覺的陶瓷過濾器缺陷檢測(cè)相關(guān)研究很少。 文獻(xiàn)[9]中的基于傳統(tǒng)的圖像處理算法提出了關(guān)于陶瓷過濾器缺邊、 掉角、 凹坑和裂縫缺陷的檢測(cè)方法。 該算法對(duì)于裂縫、 凹坑缺陷的檢測(cè)的基本步驟是先對(duì)圖像進(jìn)行填充、 取差集、 閉運(yùn)算等處理， 然后使用最小覆蓋圓算法實(shí)現(xiàn)缺陷長(zhǎng)度的計(jì)算， 但不同種類的缺陷應(yīng)分析和提取各自的特征。

為了解決人工檢測(cè)陶瓷過濾器堵孔、裂縫缺陷效率低且誤檢率高的問題，本文中提出一種基于最小生成樹和圖像矩的陶瓷過濾器表面缺陷檢測(cè)算法(簡(jiǎn)稱本文算法)，首先對(duì)圖像進(jìn)行預(yù)處理，并利用大津法分割圖像，然后基于邊界跟蹤算法檢測(cè)最大輪廓提取出感興趣區(qū)域，最后通過分析感興趣區(qū)域來檢測(cè)堵孔和裂縫缺陷。

通過對(duì)大量堵孔缺陷圖像進(jìn)行觀察可知， 這種缺陷基本在某一個(gè)局部區(qū)域內(nèi)出現(xiàn)， 且孔洞空間分布不均勻， 因此可基于滑動(dòng)窗口遍歷圖像， 并結(jié)合最小生成樹和孔洞占空比提取窗口內(nèi)的特征進(jìn)行檢測(cè)。 最小生成樹可用來描述孔洞的空間分布情況， 而占空比用來表示堵孔所帶來的孔洞面積變化。 由于陶瓷過濾器裂縫的灰度值特征和形狀特征與骨架區(qū)域?qū)Ρ让黠@， 因此可基于橢圓描述裂縫的形狀特征， 即利用圖像矩計(jì)算連通區(qū)域的等價(jià)橢圓來進(jìn)行裂縫缺陷檢測(cè)。 驗(yàn)證基于圖像矩的等價(jià)橢圓相較于文獻(xiàn)[9]中最小外接圓方法是否能更準(zhǔn)確地描述裂縫的細(xì)長(zhǎng)形狀， 從而有效提升裂縫檢測(cè)效果。

1 算法原理

合格及有缺陷的陶瓷過濾器圖像如圖1所示。 首先， 利用均值濾波和灰度化方法對(duì)利用相機(jī)采集到的陶瓷過濾器圖像進(jìn)行預(yù)處理； 其次， 利用大津(Otsu)算法[10]求出滿足最大類間方差的分割閾值， 對(duì)圖像進(jìn)行二值化； 然后， 劃分感興趣區(qū)域， 采用取差集等方法提取表面孔洞區(qū)域； 最后， 采用最小生成樹提取孔洞特征檢測(cè)堵孔缺陷， 采用圖像矩算法計(jì)算等價(jià)橢圓檢測(cè)裂縫缺陷。 算法流程及相應(yīng)示例如圖2所示。

(a)正常(b)堵孔(c)裂縫圖1 合格及有缺陷的陶瓷過濾器圖像

1.1 圖像預(yù)處理及分割

通過相機(jī)采集到的圖像難免受到噪聲干擾， 因此本文算法采用均值濾波對(duì)圖像進(jìn)行去噪。 為了減少計(jì)算量和方便后續(xù)處理， 該算法對(duì)圖像進(jìn)行灰度化操作， 將輸入的彩色圖像轉(zhuǎn)化為8位灰度圖像。

閾值分割的方法在圖像分割中應(yīng)用較為廣泛。通過觀察分析陶瓷過濾器圖像的灰度直方圖可知，陶瓷過濾器目標(biāo)區(qū)域與背景的灰度級(jí)存在明顯差異，因此，可采用大津法進(jìn)行分割。大津法是一種自適應(yīng)的閾值分割算法，在[0, 255]區(qū)間內(nèi)找到一個(gè)灰度值使得目標(biāo)和背景區(qū)域的類間方差最大，以此灰度值作為分割的最佳閾值。

陶瓷過濾器圖像處理過程如圖3所示。

圖2 基于最小生成樹和圖像矩的陶瓷過濾器 表面缺陷檢測(cè)算法流程及示例

1.2 堵孔缺陷檢測(cè)

陶瓷過濾器的表面堵孔缺陷具體表現(xiàn)為孔洞堵塞，孔隙率減小使得過濾金屬溶液速度減慢。由于堵孔多存在過濾器表面的局部區(qū)域，因此采用正方形滑動(dòng)窗口的方法遍歷圖像，分析圖像的局部特征。與正常區(qū)域相比，堵孔區(qū)域孔洞面積明顯減小且孔洞分布分散，表現(xiàn)為滑動(dòng)窗口區(qū)域的占空比減小和孔洞分布的稀疏性增大，如圖3(a)所示。本文中選擇用面積特征和空間分布特征來檢測(cè)堵孔缺陷，用占空比描述孔洞面積特征，用最小生成樹描述空間分布特征。設(shè)置占空比閾值和最小生成權(quán)值的閾值，從而實(shí)現(xiàn)對(duì)滑動(dòng)窗口的分類和圖像中缺陷的檢測(cè)。

1.2.1 劃分感興趣區(qū)域和提取孔洞

輸入圖像經(jīng)過分割后，需檢測(cè)框定過濾網(wǎng)在圖像中的所占區(qū)域位置，利用最小外接矩形方法對(duì)目標(biāo)區(qū)域進(jìn)行標(biāo)定。由于分割后的二值圖像存在噪聲點(diǎn)，對(duì)目標(biāo)區(qū)域檢測(cè)產(chǎn)生影響，因此先采用邊界跟蹤法找出圖像中所有連通域的輪廓，然后從各個(gè)輪廓的面積進(jìn)行篩選，從所有連通區(qū)域的輪廓所包圍面積中選出最大的即為目標(biāo)區(qū)域，如圖3(b)所示。將該輪廓填充后的圖像與原圖取差集從而提取出孔洞，如圖3(c)、 (d)所示。

(a)二值圖像(b)目標(biāo)檢測(cè)(c)裁剪(d)孔洞提取圖3 陶瓷過濾器圖像處理過程

1.2.2 滑動(dòng)窗口

在提取圖像的所有孔洞后，需要檢測(cè)出孔洞面積和分布異常的區(qū)域，在過濾網(wǎng)表面區(qū)域存在很多大小相似、分布均勻的孔洞，考慮到孔洞分布的遍布性和規(guī)律性，采用滑動(dòng)窗口的方法，即針對(duì)過濾器表面的孔洞的大小選擇合適的正方形窗口，使其能夠包含有一定數(shù)量的孔洞。利用所選的滑動(dòng)框，對(duì)過濾器表面從左到右、從上到下依次滑動(dòng)。

1.2.3 占空比

結(jié)合堵孔導(dǎo)致孔洞面積減少這一特點(diǎn)，本文算法使用計(jì)算窗口內(nèi)占空比的方法。占空比為前景面積與滑動(dòng)窗口區(qū)域總面積的比值。

1.2.4 圖結(jié)構(gòu)

圖論可用來描述事物及其之間的關(guān)系，利用圖來描述孔洞的空間分布，將利于對(duì)堵孔與孔洞之間關(guān)系進(jìn)行全局分析和操作。本文算法通過分析堵孔缺陷的特點(diǎn)，利用最小生成樹來描述堵孔目標(biāo)點(diǎn)的空間分布稀疏性的特征，實(shí)現(xiàn)對(duì)堵孔區(qū)域的檢測(cè)。

1.2.5 構(gòu)造圖

要分析孔洞之間的空間分布情況，需要借助于坐標(biāo)點(diǎn)來表達(dá)孔洞坐標(biāo)位置信息，先計(jì)算每一個(gè)連通區(qū)域輪廓， 再通過一階矩求得各個(gè)輪廓的重心。本文算法把窗口內(nèi)目標(biāo)點(diǎn)作為集合中的元素，組成一個(gè)目標(biāo)點(diǎn)集。

1.2.6 距離表示

邊的權(quán)值可通過2個(gè)孔洞之間的距離求得，孔洞之間距離可由2種方法表示：一是通過計(jì)算對(duì)孔洞區(qū)域的重心的歐氏距離；二是計(jì)算2個(gè)孔洞的最短距離。由于孔洞形狀和大小具有不規(guī)則性，因此存在重心距離很大而最短距離很小的情況。為了更好地描述孔洞分布的稀疏性， 使用孔洞之間的最短距離作為構(gòu)造圖的邊的權(quán)值。孔洞之間距離的表示如圖4所示。

|AB|為重心之間距離； |CD|為最短距離。圖4 孔洞間最短距離與重心距離示意圖

將陶瓷過濾器正常區(qū)域與堵孔區(qū)域分別進(jìn)行處理，對(duì)比情況如圖5所示。完全圖是一個(gè)簡(jiǎn)單圖，頂點(diǎn)與頂點(diǎn)之間都有一條邊相連。邊的權(quán)值為2個(gè)孔洞之間的最短距離。對(duì)所有目標(biāo)點(diǎn)進(jìn)行編號(hào)，構(gòu)成頂點(diǎn)集合V。邊的集合E由式(1)定義，構(gòu)成完全圖G，

(1)

式中：E是完全圖G邊的集合;d(vi,vj)表示頂點(diǎn)vi到頂點(diǎn)vj之間的歐氏距離即為頂點(diǎn)vi與vj之間的權(quán)值。

1.2.7 最小生成樹

最小生成樹是完全圖的生成樹中權(quán)值總和最小的一棵，能夠描述點(diǎn)集的聚集性，如圖5(d)所示。觀察堵孔區(qū)域和正常區(qū)域可知，堵孔區(qū)域圖像中表現(xiàn)為點(diǎn)集分布稀疏， 而正常區(qū)域圖像的點(diǎn)分布較為密集，因此使用最小生成樹來描述是合理的。

圖5 陶瓷過濾器正常區(qū)域與堵孔區(qū)域構(gòu)造過程對(duì)比

考慮到窗口之間孔洞數(shù)量的差異性，孔洞數(shù)量浮動(dòng)較大，不能簡(jiǎn)單地通過數(shù)量來判斷是否存在堵孔缺陷，因此需要對(duì)求得的最小生成樹所有邊權(quán)重求和取均值，從而得到邊權(quán)重的均值，即

(2)

計(jì)算得到最小生成樹權(quán)重均值和圖像占空比D后，通過設(shè)置最小生成樹權(quán)重均值的閾值和圖像占空比閾值，可將存在堵孔缺陷的過濾網(wǎng)和正常過濾網(wǎng)的圖像進(jìn)行分類和堵孔區(qū)域的檢測(cè)。

1.3 裂縫缺陷檢測(cè)

陶瓷過濾器裂縫在圖像上呈帶狀分布， 具有一定的連續(xù)性和方向性， 且灰度值小于骨架結(jié)構(gòu)區(qū)域的， 因此利用閾值分割、 填充、 取差集等方法實(shí)現(xiàn)過濾網(wǎng)表面的灰度值較低的區(qū)域的提取， 提取到每一個(gè)孔洞后， 利用圖像二階矩算法計(jì)算區(qū)域等價(jià)橢圓的細(xì)長(zhǎng)度和長(zhǎng)軸， 最后根據(jù)區(qū)域的細(xì)長(zhǎng)度和長(zhǎng)軸特征設(shè)置分類規(guī)則完成裂縫缺陷的檢測(cè)， 檢測(cè)流程如圖6所示， 圖像處理過程如圖7所示。

圖6 陶瓷過濾器裂縫缺陷檢測(cè)流程圖

1.3.1 孔洞區(qū)域提取

首先，根據(jù)輪廓跟蹤算法找到目標(biāo)區(qū)域的輪廓，對(duì)其輪廓范圍內(nèi)區(qū)域填充，如圖7(a)、 (b)所示。其次，將填充后圖像與原二值圖像取差集，結(jié)果如圖7(c)所示。裂縫出現(xiàn)在骨架斷裂處，裂縫連接處較為細(xì)微，取差集后會(huì)存在裂縫斷連的現(xiàn)象。閉運(yùn)算能夠填補(bǔ)小孔以及彌合小裂縫。為了增強(qiáng)裂縫線條信息的同時(shí)不增加額外區(qū)域，本文算法采用矩形結(jié)構(gòu)元的閉運(yùn)算。最后，提取孔洞區(qū)域的圖像矩特征，求得細(xì)長(zhǎng)度和長(zhǎng)軸后進(jìn)行篩選。

(a)二值圖像(b)目標(biāo)區(qū)域填充(c)提取孔洞區(qū)域(d)裂縫檢測(cè)及標(biāo)注圖7 陶瓷過濾器裂縫缺陷圖像處理過程

1.3.2 圖像矩

區(qū)域的矩[11]表示把一個(gè)歸一化的灰度圖像函數(shù)表示為一個(gè)二維隨機(jī)變量的概率密度。對(duì)于一個(gè)二值圖像，(p,q)階矩定義為

(3)

式中：mp,q為(p,q)階矩；rp為圖像第r行的p次方；cq為圖像第c列的q次方；R為目標(biāo)區(qū)域。

圖像的二階矩有m11、m02、m20。二階中心矩可以用來確定目標(biāo)的主軸。目標(biāo)的主軸通常有一對(duì)，即長(zhǎng)軸和短軸，分別代表最大、最小二階矩的方向，根據(jù)主軸的方向角θ能夠估計(jì)出感興趣區(qū)域旋轉(zhuǎn)的角度。θ的計(jì)算公式為

(4)

式中μ11、μ02、μ20為二階中心矩。

1.3.3 圖像等價(jià)橢圓

由一階、二階矩可以確定一個(gè)與目標(biāo)幾何矩等價(jià)的橢圓[12]。圖像等價(jià)橢圓是一個(gè)與該連通域的一階矩和二階矩相等的橢圓。若圖像橢圓由其長(zhǎng)半軸r1和短半軸r2表示，則有

(5)

(6)

(7)

式中ε為細(xì)長(zhǎng)度，是橢圓扁平程度的一種度量，可用來描述一個(gè)連通區(qū)域的細(xì)長(zhǎng)程度。當(dāng)ε為1時(shí)，長(zhǎng)軸與短軸相等，構(gòu)成一個(gè)圓形。細(xì)長(zhǎng)度ε越小，橢圓扁平程度越大。

通過實(shí)驗(yàn)設(shè)置細(xì)長(zhǎng)度和長(zhǎng)軸的閾值就能夠?qū)崿F(xiàn)對(duì)裂縫、非裂縫區(qū)域的檢測(cè)。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)

本文中的實(shí)驗(yàn)對(duì)象為某公司提供的陶瓷過濾器樣品采集的圖像數(shù)據(jù)。 數(shù)據(jù)集包含2種常見的陶瓷過濾器缺陷樣本圖像， 分別為堵孔缺陷圖像38幅， 裂縫缺陷圖像50幅。 實(shí)驗(yàn)中所用軟件為Python3.9.0、 OpenCV4.4， 硬件設(shè)備選用存儲(chǔ)器為8 GB、 主頻為3.4 GHz的Intel i5-8250U處理器。

2.2 實(shí)驗(yàn)結(jié)果

過濾器堵孔、裂縫缺陷的實(shí)際檢測(cè)結(jié)果如圖8、9所示，限于篇幅，每種缺陷僅展示1個(gè)樣例。

(a)原圖(b)二值化(c)提取孔洞(d)堵孔檢測(cè)圖8 陶瓷過濾器堵孔缺陷檢測(cè)結(jié)果

(a)原圖(b)二值化(c)提取孔洞(d)裂縫檢測(cè)圖9 陶瓷過濾器裂縫缺陷檢測(cè)結(jié)果

2.3 分類閾值選擇

提取到圖像的特征后，需要設(shè)定分類閾值對(duì)圖像進(jìn)行決策分類，并盡可能使得準(zhǔn)確率高并且誤檢率低。在陶瓷過濾網(wǎng)的樣本數(shù)量較多的情況下，認(rèn)為其特征值近似符合正態(tài)分布。采用3σ(σ為標(biāo)準(zhǔn)差)準(zhǔn)則檢驗(yàn)特征值中的異常值，找出存在缺陷的陶瓷過濾網(wǎng)。選取1 500個(gè)正常滑動(dòng)窗口作為樣本，計(jì)算得出的均值μ和標(biāo)準(zhǔn)差σ如表1所示。通過觀察，近似認(rèn)為占空比和最小生成樹權(quán)值符合正態(tài)分布， 數(shù)值在[μ-3σ,μ+3σ]為正常， 否則存在

表1 占空比和最小生成樹權(quán)重的均值和標(biāo)準(zhǔn)差

缺陷；但是檢驗(yàn)準(zhǔn)則只能給出大致的閾值范圍，不能確定是否能達(dá)到最優(yōu)檢測(cè)效果，因此，通過微調(diào)閾值，最終確定占空比閾值為0.062，最小生成樹權(quán)值閾值為6.8。

裂縫在圖像上表現(xiàn)為帶狀細(xì)長(zhǎng)型區(qū)域，為了能從提取到的所有連通區(qū)域中有效篩選出裂縫區(qū)域，本文中選擇r1與ε作為判斷條件對(duì)提取的孔洞進(jìn)行決策劃分，其中r1表示裂縫區(qū)域的長(zhǎng)短，ε表示裂縫的細(xì)長(zhǎng)程度。通過微調(diào)閾值，最終確定最佳閾值：ε=0.24，r1=31像素。所有的分類閾值見表2。

表2 占空比、權(quán)重等分類閾值

2.4 準(zhǔn)確率測(cè)試

在產(chǎn)品檢驗(yàn)中通常會(huì)發(fā)生正確檢測(cè)和誤檢2種情況，檢測(cè)正確包括合格品檢測(cè)正確和不合格品檢測(cè)正確2類。為了測(cè)試本文算法的精度，本文中采用準(zhǔn)確率A、誤檢率F作為評(píng)判標(biāo)準(zhǔn)，即

式中：TP為將正類檢測(cè)為正類的數(shù)量；TN為將負(fù)類檢測(cè)為負(fù)類的數(shù)量；FP為將負(fù)類檢測(cè)為正類的數(shù)量；FN為將正類檢測(cè)為負(fù)類的數(shù)量。

對(duì)陶瓷過濾器的實(shí)驗(yàn)樣本進(jìn)行堵孔、 裂縫缺陷檢測(cè)實(shí)驗(yàn)。 為了驗(yàn)證本文算法的優(yōu)越性， 設(shè)置2種不同的分類方法進(jìn)行對(duì)比： 一種是通過設(shè)定分類規(guī)則， 將滿足相應(yīng)缺陷分類條件的區(qū)域檢測(cè)出來； 另一種是通過利用帶動(dòng)量項(xiàng)的3層反向傳播(BP)神經(jīng)網(wǎng)絡(luò)構(gòu)造一個(gè)非線性分類器， 將提取到的缺陷特征歸一化后構(gòu)成特征向量輸入到神經(jīng)網(wǎng)絡(luò)中， 然后經(jīng)過反向傳播更新權(quán)重， 最后輸出層輸出分類結(jié)果。 其中激活函數(shù)選用sigmoid函數(shù)， 學(xué)習(xí)率初始值設(shè)為0.1， 動(dòng)量系數(shù)設(shè)為0.9， 隱含層的神經(jīng)元的個(gè)數(shù)為6， 實(shí)驗(yàn)結(jié)果如表3所示。 從實(shí)驗(yàn)結(jié)果來看， 在樣本規(guī)模較小的情況下， 基于本文方法的分類方法的準(zhǔn)確率較高， 而基于BP神經(jīng)網(wǎng)絡(luò)的分類效果表現(xiàn)不佳。

表3 陶瓷過濾器缺陷檢測(cè)實(shí)驗(yàn)結(jié)果

3 結(jié)語(yǔ)

針對(duì)泡沫陶瓷過濾器生產(chǎn)加工中出現(xiàn)的堵孔、裂縫缺陷檢測(cè)依賴人工的難題，本文中通過分析堵孔、裂縫2種缺陷的特征，提出一種基于最小生成樹和圖像矩的陶瓷過濾器缺陷檢測(cè)算法，利用最小生成樹、占空比和圖像矩等描述方法用來檢測(cè)堵孔、裂縫缺陷。

實(shí)驗(yàn)結(jié)果表明，本文算法能夠?qū)μ沾蛇^濾器的堵孔、裂縫缺陷進(jìn)行有效檢測(cè)。自建數(shù)據(jù)集的檢測(cè)準(zhǔn)確率達(dá)到95%以上。由于本文中使用大津法分割圖像，在不均勻光照和對(duì)比度低的情況下采集到的圖像質(zhì)量將會(huì)下降，從而影響檢測(cè)效果，需要進(jìn)一步改進(jìn)圖像分割方法，以適用于更復(fù)雜的應(yīng)用場(chǎng)景。