基于機(jī)器視覺(jué)技術(shù)的玻璃瓶缺陷檢測(cè)研究進(jìn)展

劉曉東

（四川寶晶玻璃有限責(zé)任公司，四川 瀘州 646015）

1 前言

玻璃瓶容器已被廣泛應(yīng)用于食品、化工、醫(yī)療等其他各個(gè)行業(yè)。在制造玻璃瓶容器時(shí)，必須嚴(yán)格控制其完整性，任何微小的缺陷都是不被接受的，這就為玻璃瓶容器的缺陷檢測(cè)提出了更高的要求。然而，目前采用的感官評(píng)測(cè)、簡(jiǎn)單設(shè)備檢測(cè)等傳統(tǒng)玻璃瓶缺陷檢測(cè)方式還較為落后，易受到檢測(cè)人員責(zé)任意識(shí)、疲勞程度、檢測(cè)水平等因素的影響，且存在較多漏檢、誤檢情況[1-2]。因此，傳統(tǒng)的缺陷檢測(cè)方式已不能適應(yīng)針對(duì)玻璃瓶容器敏捷、精準(zhǔn)、客觀、大批量的檢測(cè)需求。

機(jī)器視覺(jué)技術(shù)起源于20 世紀(jì)50 年代，其作為一種先進(jìn)技術(shù)已廣泛應(yīng)用于農(nóng)業(yè)、工業(yè)等多個(gè)細(xì)分領(lǐng)域。機(jī)器視覺(jué)技術(shù)是一門(mén)建立在計(jì)算機(jī)視覺(jué)理論基礎(chǔ)上，研究如何讓機(jī)器看見(jiàn)與理解目標(biāo)場(chǎng)景并作出敏捷決策，包含數(shù)學(xué)、光學(xué)、人工智能、圖像處理與識(shí)別、計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域的交叉學(xué)科，其應(yīng)用計(jì)算機(jī)、人工智能、模式識(shí)別、數(shù)字圖像處理與集成電路等技術(shù)，通過(guò)對(duì)人類視覺(jué)的模擬代替人眼識(shí)別與人腦分析，使用計(jì)算機(jī)、攝像機(jī)感知自然環(huán)境，并在計(jì)算機(jī)上對(duì)得到的圖像數(shù)據(jù)進(jìn)行分析，完成檢測(cè)工作[3-5]。隨著機(jī)器視覺(jué)技術(shù)的不斷發(fā)展，該技術(shù)的研究及應(yīng)用也拓展到了傳統(tǒng)玻璃瓶容器缺陷檢測(cè)領(lǐng)域，它可通過(guò)自動(dòng)化的方式，實(shí)時(shí)自動(dòng)識(shí)別玻璃瓶容器的缺陷，從而大幅提高檢測(cè)效率。

本文就機(jī)器視覺(jué)技術(shù)在玻璃瓶缺陷檢測(cè)方面的研究現(xiàn)狀進(jìn)行梳理，介紹了最新的研究進(jìn)展，并展望了機(jī)器視覺(jué)技術(shù)在玻璃瓶缺陷檢測(cè)方面的研究趨勢(shì)及發(fā)展方向，旨在為助推我國(guó)玻璃瓶制造產(chǎn)業(yè)升級(jí)提供參考。

四川寶晶玻璃有限責(zé)任公司玻璃瓶產(chǎn)品覆蓋國(guó)窖1573 系列、瀘州老窖百年系列、瀘州老窖特曲系列、瀘州老窖頭曲系列、瀘州老窖定制酒系列、瀘州老窖養(yǎng)生酒系列、瀘州老窖三人炫酒系列、茅臺(tái)系列、黃鶴樓系列、習(xí)酒系列、湘窖系列、劍南春系列、其他系列等。圖1 展示了玻璃瓶缺陷檢測(cè)系統(tǒng)及結(jié)構(gòu)圖。

圖1 玻璃瓶缺陷檢測(cè)系統(tǒng)及結(jié)構(gòu)圖

2 機(jī)器視覺(jué)技術(shù)在玻璃瓶缺陷檢測(cè)領(lǐng)域的研究進(jìn)展

2.1 國(guó)外研究現(xiàn)狀

國(guó)外較早開(kāi)展了玻璃瓶缺陷自動(dòng)化檢測(cè)方式方法的研究，且早在20 世紀(jì)90 年代，美國(guó)、英國(guó)、德國(guó)等國(guó)家便開(kāi)始研究將機(jī)器視覺(jué)技術(shù)應(yīng)用于玻璃瓶缺陷檢測(cè)環(huán)節(jié)。1996 年，Raafat 等[6]基于機(jī)器視覺(jué)技術(shù)提出了一種集成的玻璃缺陷檢測(cè)系統(tǒng)，不僅能夠在玻璃生產(chǎn)和處理過(guò)程中對(duì)可能出現(xiàn)的裂紋、劃痕、氣泡等缺陷進(jìn)行檢測(cè)，而且能夠?qū)Σ煌毕葸M(jìn)行分類。進(jìn)入21 世紀(jì)，利用機(jī)器視覺(jué)技術(shù)對(duì)玻璃瓶缺陷檢測(cè)的研究也逐漸增多，Liu[7]提出了一種基于機(jī)器視覺(jué)理論的空玻璃瓶缺陷檢測(cè)方式，該檢測(cè)方式通過(guò)形態(tài)學(xué)、小波變換方法于玻璃瓶圖像中提取出瓶體、瓶口特征，以模糊支持向量機(jī)神經(jīng)網(wǎng)絡(luò)作為特征提取分類器，實(shí)驗(yàn)結(jié)果表明該空玻璃瓶檢測(cè)方法檢測(cè)準(zhǔn)確率高達(dá)97%。Qian 等[8]基于連續(xù)小波變換結(jié)合先驗(yàn)知識(shí)，設(shè)計(jì)了一種玻璃瓶口缺陷檢測(cè)方法，該方法首先通過(guò)日本電子計(jì)算機(jī)相機(jī)獲得完美的玻璃瓶口圖像，并基于灰度直方圖單一閾值法獲取玻璃瓶口的二值圖像，同時(shí)采用移動(dòng)平均濾波器對(duì)原始玻璃瓶口圖像直方圖進(jìn)行平滑處理，然后進(jìn)行連續(xù)小波變換，精準(zhǔn)確定分割閾值，通過(guò)質(zhì)心位置坐標(biāo)、連通區(qū)域數(shù)、環(huán)形區(qū)域面積、內(nèi)環(huán)直徑四個(gè)參數(shù)設(shè)計(jì)針對(duì)玻璃瓶口的檢測(cè)規(guī)則，實(shí)驗(yàn)證明該檢測(cè)方法能夠?qū)崿F(xiàn)玻璃瓶口缺陷的精準(zhǔn)識(shí)別與檢測(cè)。Cui 等[9]通過(guò)搭建透射式照明系統(tǒng)，提出了基于機(jī)器視覺(jué)的工業(yè)生產(chǎn)線玻璃瓶蓋間隙寬度檢測(cè)方法，采用自動(dòng)瓶蓋區(qū)域搜索法進(jìn)行邊緣檢測(cè)，通過(guò)圖像像素物理尺寸標(biāo)定，精確提取上下邊緣線位置并計(jì)算真實(shí)的瓶蓋間隙寬度，實(shí)驗(yàn)結(jié)果表明該檢測(cè)方法能夠?qū)崿F(xiàn)玻璃瓶蓋密封間隙寬度的高精度檢測(cè)，檢測(cè)精度為0.01mm，能夠明顯指導(dǎo)玻璃瓶蓋間隙寬度缺陷的識(shí)別與處理，同時(shí)滿足玻璃瓶蓋檢測(cè)生產(chǎn)線要求。Zhou 等[10]考慮到玻璃瓶瓶口定位是基于機(jī)器視覺(jué)技術(shù)開(kāi)展玻璃瓶口缺陷檢測(cè)的關(guān)鍵環(huán)節(jié)，而在連續(xù)噪聲環(huán)境下又較難檢測(cè)出玻璃瓶瓶口的真實(shí)圓心，因此基于模型擬合、最小二乘法提出了一種新的圓檢測(cè)方法來(lái)提高檢測(cè)精度，實(shí)驗(yàn)結(jié)果表明，提出的檢測(cè)方法具有較強(qiáng)的抗干擾能力，能夠明顯提升針對(duì)玻璃瓶口缺陷的檢測(cè)精度。

2.2 國(guó)內(nèi)研究現(xiàn)狀

相對(duì)美國(guó)、英國(guó)、德國(guó)等西方國(guó)家，機(jī)器視覺(jué)技術(shù)在我國(guó)起步相對(duì)較晚，我國(guó)在21 世紀(jì)初期才開(kāi)始研究機(jī)器視覺(jué)技術(shù)在玻璃瓶缺陷檢測(cè)方面的應(yīng)用。

目前，在我國(guó)玻璃瓶缺陷檢測(cè)產(chǎn)業(yè)發(fā)展過(guò)程中，不同學(xué)者提出的基于機(jī)器視覺(jué)技術(shù)的玻璃瓶缺陷檢測(cè)方法均有所不同，這也大大加快了國(guó)內(nèi)玻璃瓶缺陷檢測(cè)產(chǎn)業(yè)的發(fā)展速度。孫亮東等[11]通過(guò)機(jī)器視覺(jué)技術(shù)與虛擬技術(shù)的結(jié)合，開(kāi)發(fā)了一套智能玻璃瓶缺陷檢測(cè)系統(tǒng)，該系統(tǒng)可利用幾何圓特征確定圓心的位置，利用Sobel 算子、圖像量化函數(shù)、圓度擬合函數(shù)進(jìn)行玻璃瓶瓶身缺陷的邊緣檢測(cè)、瓶身及瓶口的缺陷分析，并結(jié)合單元控制系統(tǒng)、工業(yè)相機(jī)篩選破損玻璃瓶，實(shí)現(xiàn)了玻璃瓶缺陷種類的定性分析、瓶口及瓶身缺陷大小的定量檢測(cè)，在線檢測(cè)精度、效率遠(yuǎn)高于人工。謝澤祺等[12]基于對(duì)玻璃瓶瓶口缺陷圖像的預(yù)處理，利用Canny 算子進(jìn)行缺陷邊緣的提取，并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)模型，構(gòu)建了一種基于ResNet 卷積神經(jīng)網(wǎng)絡(luò)的玻璃瓶缺陷檢測(cè)方法，能夠達(dá)到玻璃瓶瓶口缺陷檢測(cè)與分類的目的，且通過(guò)對(duì)比其他缺陷檢測(cè)模型的實(shí)驗(yàn)驗(yàn)證，應(yīng)用該模型能夠相對(duì)較好地實(shí)現(xiàn)玻璃瓶小缺口、裂紋、斷口、磨損等缺陷的精準(zhǔn)檢測(cè)。張師嘉[13]基于計(jì)算機(jī)視覺(jué)設(shè)備工作原理，搭建了包含工業(yè)相機(jī)檢測(cè)角度選擇、方位設(shè)計(jì)、分辨率選擇等功能的玻璃瓶缺陷圖像采集系統(tǒng)，同時(shí)建立了包含氣泡、黑點(diǎn)、裂紋、模縫及冷斑五種玻璃瓶缺陷類別的數(shù)據(jù)集，并將形變卷積模塊、FPN 結(jié)構(gòu)融入Faster R-CNN 模型，應(yīng)用該模型，能夠較好地提升不同形態(tài)玻璃瓶的小目標(biāo)缺陷檢測(cè)精度。陳雨楊[14]開(kāi)展了玻璃瓶瓶底模號(hào)與瓶口缺陷的圖像集預(yù)處理工作，搭建了卷積網(wǎng)絡(luò)，將通過(guò)相機(jī)獲取的玻璃瓶圖像數(shù)據(jù)輸入至已訓(xùn)練好的模號(hào)、缺陷分類卷積網(wǎng)絡(luò)模型，并將模型分類結(jié)果于數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)，使用Python 提供的Tkinter 庫(kù)、Matplotlib 庫(kù)完成界面設(shè)計(jì)、統(tǒng)計(jì)圖繪制工作，以實(shí)現(xiàn)檢測(cè)圖像、檢測(cè)結(jié)果數(shù)據(jù)的實(shí)時(shí)可視化展示，同時(shí)開(kāi)發(fā)微信小程序，便于移動(dòng)端查看玻璃瓶缺陷檢測(cè)情況。楊丹[15]通過(guò)機(jī)器視覺(jué)技術(shù)設(shè)計(jì)了一種針對(duì)玻璃瓶瓶口定位與缺陷檢測(cè)的在線檢測(cè)系統(tǒng)，該檢測(cè)系統(tǒng)包含圖像的預(yù)處理與分割、瓶口缺陷定位與檢測(cè)等功能，且以青島啤酒空玻璃瓶為檢測(cè)實(shí)驗(yàn)對(duì)象，實(shí)驗(yàn)結(jié)果表明該玻璃瓶缺陷檢測(cè)系統(tǒng)的檢測(cè)性能較高，能夠滿足玻璃瓶生產(chǎn)線的包裝檢測(cè)要求。

3 總結(jié)與展望

目前，在國(guó)外、國(guó)內(nèi)玻璃瓶缺陷檢測(cè)產(chǎn)業(yè)中應(yīng)用機(jī)器視覺(jué)技術(shù)的情況已逐漸增多，對(duì)實(shí)現(xiàn)玻璃瓶缺陷檢測(cè)產(chǎn)業(yè)的智能化、自動(dòng)化具有顯著意義，然而受諸多因素的影響，于玻璃瓶缺陷檢測(cè)環(huán)節(jié)應(yīng)用機(jī)器視覺(jué)技術(shù)的研究仍存在一定不足，總結(jié)如下。

3.1 環(huán)境光線的影響較大

利用機(jī)器視覺(jué)技術(shù)在玻璃瓶圖像采集過(guò)程中，圖像采集環(huán)境的光線不足會(huì)增加相機(jī)對(duì)焦難度，視覺(jué)采集系統(tǒng)難以識(shí)別并收集到準(zhǔn)確的圖像信息，使得玻璃瓶瓶身、瓶口等的二維圖像特征較難提取且相對(duì)模糊，制約玻璃瓶瓶身、瓶口等的定位準(zhǔn)確度，容易產(chǎn)生缺陷誤檢情況。

針對(duì)此不足，可以搭建能夠靈活應(yīng)對(duì)環(huán)境光線變化的更為穩(wěn)定的機(jī)器視覺(jué)系統(tǒng)，并在此基礎(chǔ)上利用雙目視覺(jué)和多目視覺(jué)對(duì)玻璃瓶缺陷圖像信息進(jìn)行補(bǔ)償，進(jìn)而提高缺陷識(shí)別與檢測(cè)的精準(zhǔn)度。

3.2 圖像信息獲取的限制較大

采用機(jī)器視覺(jué)技術(shù)進(jìn)行玻璃瓶缺陷檢測(cè)時(shí)，常常獲取的是二維RGB 圖像，多維玻璃瓶缺陷圖像數(shù)據(jù)集信息收集不足，難以準(zhǔn)確獲取玻璃瓶缺陷參數(shù)，導(dǎo)致較難達(dá)到理想的檢測(cè)效果。

針對(duì)此不足，可以多角度采集同一玻璃瓶的二維圖像，并對(duì)多幅圖像進(jìn)行關(guān)聯(lián)性、差異性的綜合分析，同時(shí)可利用Structure From Motion 等算法建立玻璃瓶缺陷的三維圖像，以增加玻璃瓶缺陷圖像信息的收集維度，進(jìn)一步提升玻璃瓶缺陷識(shí)別、檢測(cè)準(zhǔn)確性。

3.3 檢測(cè)算法的實(shí)時(shí)性較低

基于機(jī)器視覺(jué)的玻璃瓶缺陷檢測(cè)需利用深度學(xué)習(xí)網(wǎng)絡(luò)針對(duì)海量缺陷圖像信息進(jìn)行訓(xùn)練、參數(shù)調(diào)整及優(yōu)化迭代，而R-CNN 等常用雙階段目標(biāo)檢測(cè)算法的檢測(cè)實(shí)時(shí)性相對(duì)較低，檢測(cè)速度相對(duì)較慢，且對(duì)硬件算力的要求較高。針對(duì)此不足，可應(yīng)用YOLO 等單階段檢測(cè)算法替代現(xiàn)有算法，增強(qiáng)玻璃瓶缺陷檢測(cè)算法的檢測(cè)實(shí)時(shí)性，提高檢測(cè)效率，達(dá)到當(dāng)前玻璃瓶缺陷檢測(cè)領(lǐng)域的高敏捷性檢測(cè)要求。