基于機(jī)器視覺(jué)滿箱檢測(cè)方法

崔一峰

（北京信息科技大學(xué)，北京 100192）

基于機(jī)器視覺(jué)滿箱檢測(cè)方法

崔一峰

（北京信息科技大學(xué)，北京 100192）

滿箱檢測(cè)是飲料包裝檢測(cè)的重要環(huán)節(jié)。傳統(tǒng)的基于PLC的檢測(cè)方法的準(zhǔn)確性和快速性已經(jīng)滿足不了實(shí)際生產(chǎn)需求。本文提出的基于機(jī)器視覺(jué)的滿箱檢測(cè)方法利用OpenCV開源視覺(jué)庫(kù)，通過(guò)對(duì)圖片的處理和分析，利用Hough變換的找圓函數(shù)確定是否滿箱。通過(guò)對(duì)處理時(shí)間和準(zhǔn)確率的對(duì)比，基于機(jī)器視覺(jué)滿箱檢測(cè)方法在處理時(shí)間，準(zhǔn)確率和適應(yīng)性等方面均有明顯優(yōu)勢(shì)。

滿箱檢測(cè)；機(jī)器視覺(jué)；OpenCV；Hough 變換

10.16621/j.cnki.issn1001-0599.2017.12.26

0 引言

近年，飲料行業(yè)以前所未有的速度迅速發(fā)展。與之伴隨而生的飲料包裝行業(yè)異軍崛起。許多包裝設(shè)備像裝箱機(jī)、紙箱包裝機(jī)、熱塑膜包裝機(jī)等自動(dòng)化的生產(chǎn)設(shè)備在飲料行業(yè)中得到廣泛應(yīng)用。隨著自動(dòng)化設(shè)備的應(yīng)用，生產(chǎn)線上也出現(xiàn)了許多問(wèn)題。其中最為嚴(yán)重和最為普遍的就是在裝箱過(guò)程中常常出現(xiàn)缺瓶、少瓶現(xiàn)象。隨著國(guó)家對(duì)飲品行業(yè)管控力度的加大，對(duì)不合格產(chǎn)品處罰措施的加重，一旦這類缺瓶的不合格產(chǎn)品流通到市場(chǎng)中，會(huì)對(duì)廠家?guī)?lái)極其消極的影響。因此在產(chǎn)品封箱前對(duì)產(chǎn)品進(jìn)行滿箱檢測(cè)顯得尤為重要。

目前在生產(chǎn)現(xiàn)場(chǎng)中，判斷是否滿箱一般采用的方法是安排專職人員用肉眼觀察。由于人眼長(zhǎng)時(shí)間專注容易導(dǎo)致視覺(jué)疲勞，所以一般是2個(gè)人輪流觀察，每隔0.5 h換一次崗。這種方法存在很大缺陷。首先，這種方法增加了額外的人員投入，增加了生產(chǎn)成本；其次在高速的生產(chǎn)線上，人工檢測(cè)不能準(zhǔn)確的檢測(cè)出是否滿箱。最為重要的是，現(xiàn)在生產(chǎn)線的速度越來(lái)越快，由原來(lái)的每小時(shí)幾千箱增加到每小時(shí)幾萬(wàn)箱，人眼根本無(wú)法檢測(cè)是否滿箱，更別說(shuō)剔除不合格產(chǎn)品。開發(fā)一套自動(dòng)的滿箱檢測(cè)設(shè)備迫在眉睫。

1 滿箱檢測(cè)的應(yīng)用現(xiàn)狀

目前國(guó)內(nèi)飲料行業(yè)的大型生產(chǎn)廠家主要是應(yīng)用國(guó)外公司的檢測(cè)設(shè)備，比如德國(guó)HEUFT公司的LOGIC系列滿箱檢測(cè)機(jī)。國(guó)外設(shè)備的價(jià)格比較高而且操作和維修有一定困難，因此滿箱檢測(cè)設(shè)備在中小企業(yè)內(nèi)的應(yīng)用并不廣泛。為此開發(fā)一套簡(jiǎn)單經(jīng)濟(jì)準(zhǔn)確的滿箱檢測(cè)系統(tǒng)已經(jīng)刻不容緩。

2 基于PLC的滿箱檢測(cè)系統(tǒng)

基于PLC的滿箱檢測(cè)系統(tǒng)主要由PLC、操作面板、觸發(fā)器部分和檢測(cè)傳感器等4個(gè)部分組成。程序通過(guò)從操作面板接受的信息判斷當(dāng)前的箱型，利用觸發(fā)器和光電傳感器讀取的信息判斷當(dāng)前是否滿箱。這種方法雖然在理論上是可以實(shí)現(xiàn)的，但是受生產(chǎn)現(xiàn)場(chǎng)條件的制約，很多情況下基于PLC的滿箱檢測(cè)系統(tǒng)并不能很好的完成滿箱檢測(cè)。在實(shí)際應(yīng)用中，可供安裝設(shè)備的直線段生產(chǎn)線非常短，而基于PLC的滿箱檢測(cè)系統(tǒng)從觸發(fā)到檢測(cè)動(dòng)作的時(shí)間比較長(zhǎng)，剔除設(shè)備需要安裝在離檢測(cè)設(shè)備比較遠(yuǎn)的地方，不適合高速生產(chǎn)線的滿箱檢測(cè)。而且基于PLC的檢測(cè)設(shè)備只能適用于一種或幾種型號(hào)的滿箱檢測(cè)，無(wú)法滿足實(shí)際生產(chǎn)產(chǎn)品包裝多樣化的需求。

3 機(jī)器視覺(jué)在滿箱檢測(cè)中的應(yīng)用

近幾年，機(jī)器視覺(jué)作為人工智能的一個(gè)分支取得了巨大的成就。基于機(jī)器視覺(jué)技術(shù)的各類公司如雨后春筍般應(yīng)運(yùn)而生。機(jī)器視覺(jué)是一項(xiàng)集合了多種技術(shù)的綜合技術(shù)，其中包括圖像處理技術(shù)、機(jī)械工程技術(shù)、控制技術(shù)、電光源照明技術(shù)、光學(xué)成像技術(shù)、傳感器技術(shù)、模擬與數(shù)字視頻技術(shù)和計(jì)算機(jī)軟硬件技術(shù)等。一個(gè)典型的視覺(jué)應(yīng)用系統(tǒng)一般包括成像系統(tǒng)，圖像處理系統(tǒng)，控制執(zhí)行系統(tǒng)等。對(duì)于成像系統(tǒng)而言，最重要的就是光源。好的光源是機(jī)器視覺(jué)系統(tǒng)成敗的關(guān)鍵。選擇合適的光源，可凸顯良好的圖像效果，可以提高檢測(cè)精度、簡(jiǎn)化算法、保證檢測(cè)系統(tǒng)的穩(wěn)定性。常見(jiàn)的光源顏色有白色、藍(lán)色、紅色、綠色、紅外、紫外等。動(dòng)作執(zhí)行系統(tǒng)一般由執(zhí)行動(dòng)作機(jī)構(gòu)，旋轉(zhuǎn)編碼器組成。在視覺(jué)系統(tǒng)中，最為重要的就是圖像處理系統(tǒng)。一個(gè)視覺(jué)系統(tǒng)的優(yōu)劣取決于圖像處理結(jié)果的準(zhǔn)確性。圖像處理結(jié)果越準(zhǔn)確，產(chǎn)生的誤剔越少，視覺(jué)系統(tǒng)也就越優(yōu)質(zhì)。可見(jiàn)圖像處理算法對(duì)視覺(jué)系統(tǒng)的重要性，研究出一個(gè)既高效又準(zhǔn)確的圖像處理算法是目前最重要的技術(shù)難題。在滿箱檢測(cè)系統(tǒng)中，機(jī)器視覺(jué)技術(shù)不但可以解決傳統(tǒng)設(shè)備不適合高速生產(chǎn)線的缺陷，而且可以很容易的實(shí)現(xiàn)對(duì)多種型號(hào)飲品的滿箱檢測(cè)。

4 基于機(jī)器視覺(jué)滿箱檢測(cè)方法

4.1 OpenCV開源視覺(jué)庫(kù)

現(xiàn)在比較流行的視覺(jué)開發(fā)軟件有Halcon，VisionPro和OpenCV等3種。Halcon在歐美國(guó)家中應(yīng)用比較廣泛，在國(guó)內(nèi)并沒(méi)有太大市場(chǎng)。VisionPro雖然在國(guó)內(nèi)占據(jù)了一定的地位，但是它的源碼是不開放的，用戶只能根據(jù)他提供的工具來(lái)實(shí)現(xiàn)自己的視覺(jué)應(yīng)用。這就給實(shí)際應(yīng)用現(xiàn)場(chǎng)帶來(lái)很大的局限性。因?yàn)閷?shí)際應(yīng)用的狀況千變?nèi)f化，VisionPro不可能適用于全部的應(yīng)用場(chǎng)合。雖然VisionPro提供了腳本編程，但是其腳本編程也是基于自身工具的，靈活性并不強(qiáng)。OpenCV一般采用C或者C++語(yǔ)言編寫的，由于它的源碼是完全開放的，用戶可以根據(jù)實(shí)際應(yīng)用，利用OpenCV提供的源碼編寫自己的視覺(jué)應(yīng)用程序，以適應(yīng)千變?nèi)f化的應(yīng)用現(xiàn)場(chǎng)，所以它在國(guó)內(nèi)的應(yīng)用比較廣泛。OpenCV提供了一個(gè)比較簡(jiǎn)單的視覺(jué)框架。在這個(gè)框架下，用戶可以根據(jù)千變?nèi)f化的現(xiàn)場(chǎng)環(huán)境去構(gòu)建更符合實(shí)際應(yīng)用的計(jì)算機(jī)應(yīng)用視覺(jué)程序。最新版本的OpenCV提供了500多個(gè)源函數(shù)，覆蓋了計(jì)算機(jī)視覺(jué)的絕大多數(shù)應(yīng)用領(lǐng)域，已經(jīng)基本滿足實(shí)際工程中的需求。

4.2 圖像的預(yù)處理

4.2.1 判斷圖像是否獲取正確

在后續(xù)圖像處理之前，需要判斷圖像是否獲取正確。如果圖像沒(méi)有獲取正確，那么后續(xù)的處理也就沒(méi)有任何意義了。OpenCV提供的Mat類對(duì)象從圖像源獲取圖片后，利用Mat類的成員函數(shù)empty（）可以實(shí)現(xiàn)這一功能。在條件語(yǔ)句下，判斷圖像是否為空，如果圖像獲取錯(cuò)誤，則empty（）函數(shù)返回真，不然empty（）函數(shù)則返回假。如果載入圖像錯(cuò)誤，則返回-1。這樣通過(guò)函數(shù)的返回值就可以判斷圖像獲取正確。

4.2.2 將采集到的圖像灰度化

為了簡(jiǎn)化運(yùn)算，在判斷圖像獲取正確后，需要對(duì)獲取到的圖像進(jìn)行灰度化。以RGB彩色圖像為例，圖像中每個(gè)像素點(diǎn)的顏色是由紅色分量、綠色分量和藍(lán)色分量組成。每個(gè)分量都可以取0～255中的任何整數(shù)值，全為0時(shí)，圖像為純黑色，全為255時(shí)，圖像為純白色。如果不對(duì)圖像進(jìn)行灰度化，而是直接進(jìn)行后續(xù)的圖像處理，就需要對(duì)3個(gè)通道一一進(jìn)行運(yùn)算，這樣必然增加圖像處理時(shí)間。在高速生產(chǎn)線上，如果圖像處理過(guò)長(zhǎng)，即使檢測(cè)到不合格品，執(zhí)行動(dòng)作機(jī)構(gòu)也沒(méi)有時(shí)間執(zhí)行動(dòng)作。所以對(duì)采集到的圖像進(jìn)行灰度化顯得尤為重要。灰度圖是R，G和B等3個(gè)分量的值相同的一種特殊圖像。所以在圖像處理中，將彩色圖像轉(zhuǎn)換成灰度圖像后會(huì)使后續(xù)的圖像處理的計(jì)算量相對(duì)較少。而且灰度圖和彩色圖在反映圖像的特征方面沒(méi)有什么區(qū)別，完全可以通過(guò)處理灰度圖獲得想要的信息。

OpenCV通過(guò)cvtColor（）函數(shù)完成圖像從一個(gè)顏色空間到另一個(gè)顏色空間的轉(zhuǎn)換，并且在轉(zhuǎn)換的過(guò)程中能夠保證數(shù)據(jù)的類型不變。灰度化后的圖像如圖1所示。

4.2.3 對(duì)灰度化后的圖像進(jìn)行濾波

灰度化后的圖像里摻雜了許多噪聲，如果不加以濾除，會(huì)直接影響后續(xù)對(duì)飲料瓶的計(jì)數(shù)檢測(cè)。OpenCV提供了多種濾波函數(shù)可供選擇，比如中值濾波，高速濾波，均值濾波等。每一種濾波函數(shù)都有各自的特點(diǎn)和使用范圍。中值濾波是對(duì)一定區(qū)域的像素點(diǎn)按照像素的大小從小到大排列，取出中值代替這一區(qū)域的所有像素值。從中值濾波的定義可以了解到，中值濾波可以濾除一定區(qū)域的極值像素點(diǎn)。由此可見(jiàn)，中值濾波對(duì)濾除椒鹽噪聲會(huì)有顯著的功效。因?yàn)榻符}噪聲是最大值或者是最小值點(diǎn)，而求中值的方法一定會(huì)把這些像素點(diǎn)濾除掉。對(duì)于滿箱檢測(cè)而言，局部最大值和最小值點(diǎn)有利于識(shí)別，因此不選擇中值濾波方法。高斯濾波是將高斯函數(shù)進(jìn)行離散化，以離散點(diǎn)上的高斯函數(shù)值作為權(quán)值，對(duì)采集到的灰度矩陣的每個(gè)像素點(diǎn)做一定范圍鄰域內(nèi)的加權(quán)平均，有效的消除高速噪聲。而需要的感興趣區(qū)域的灰度值較高，所以高斯濾波不合適。均值濾波是用某個(gè)區(qū)域的均值來(lái)代替這一區(qū)域的所有像素值，在滿箱檢測(cè)實(shí)驗(yàn)中，用工業(yè)相機(jī)采集到的圖片在采用同樣大小的內(nèi)核情況下，使用均值濾波后的圖像相比使用高斯濾波和方框?yàn)V波兩種濾波方法而言，有效的保留了瓶蓋的邊緣信息，這對(duì)于后續(xù)通過(guò)找圓確定數(shù)量非常有幫助，而且還濾除了很多細(xì)小的雜質(zhì)。圖2是使用孔徑尺寸為5像素的中值濾波函數(shù)濾波后的效果圖，圖3是使用內(nèi)核大小為5像素的高斯濾波函數(shù)濾波后的效果圖，圖4是使用內(nèi)核大小為5像素的均值濾波函數(shù)濾波后的效果圖。

圖1 灰度化后的圖像

4.3 檢測(cè)是否滿箱

如圖1所示，瓶蓋可以作為瓶子計(jì)數(shù)的重要特征。可以通過(guò)查找圖像中圓的個(gè)數(shù)的方法計(jì)算瓶蓋的個(gè)數(shù)，如果能查到20個(gè)圓說(shuō)明滿箱。由于點(diǎn)和線具有對(duì)偶性，Hough變換就是根據(jù)這一性質(zhì)將被測(cè)圖像空間的線條轉(zhuǎn)變?yōu)閰?shù)空間的點(diǎn)，從而判斷圖像中是否具有特定的圖像。OpenCV中的Hough圓變換函數(shù)HoughCircles可以幫助查找圖中圓的個(gè)數(shù)。Hough-Circles中包含9個(gè)參數(shù)，如何選擇好后面6個(gè)參數(shù)將是準(zhǔn)確找出瓶蓋外圓的關(guān)鍵。

第一個(gè)決定參數(shù)是累加器圖像的分辨率。這個(gè)參數(shù)允許創(chuàng)建一個(gè)比輸入圖像分辨率低的累加器。OpenCV允許在1～2為累加器圖像的分辨率賦值，這個(gè)值越高，越容易產(chǎn)生錯(cuò)檢，多檢。例如將累加器圖像的分辨率設(shè)置為1.5，滿箱仍可以正確檢測(cè)正確，但是缺瓶的情況卻出現(xiàn)多的多檢的情況，如圖5所示。通過(guò)實(shí)驗(yàn)測(cè)試，當(dāng)累計(jì)器的分辨率設(shè)置為1.1時(shí)，無(wú)論是滿箱的情況還是缺瓶的情況都能正確檢測(cè)。

圖2 孔徑尺寸5像素、中值濾波函數(shù)

圖3 內(nèi)核大小5像素、高斯濾波函數(shù)

圖4 內(nèi)核大小5像素、均值濾波函數(shù)

圖5 累加器圖像的分辨率為1.5時(shí)滿箱、缺瓶檢測(cè)結(jié)果

第二個(gè)決定參數(shù)是2個(gè)圓之間的最小距離。這個(gè)值如果設(shè)置的太小就會(huì)在一個(gè)瓶蓋上出現(xiàn)多組同心圓，如果太大，就會(huì)出現(xiàn)圓心重疊的現(xiàn)象，出現(xiàn)少檢、錯(cuò)檢的情況。經(jīng)過(guò)試驗(yàn)驗(yàn)證，將2個(gè)圓之間的最小距離設(shè)為60像素時(shí)，檢測(cè)效果最好。第三個(gè)決定參數(shù)是圓的半徑的范圍，通過(guò)實(shí)驗(yàn)驗(yàn)證，將最小半徑設(shè)為22像素，最大半徑設(shè)為37像素時(shí)能夠準(zhǔn)確檢測(cè)出滿瓶箱，但是在檢測(cè)缺瓶箱的時(shí)候會(huì)出現(xiàn)漏檢的情況。這是因?yàn)樵谌逼肯淅铮孔咏诲e(cuò)排列，最小距離可能會(huì)＜60像素，所以要將缺瓶和滿箱分開檢測(cè)。首先假設(shè)為滿箱，用第一種方法檢測(cè)，判斷檢測(cè)出來(lái)的瓶子的數(shù)量是否為20。如果不是20，則按缺瓶算法再檢測(cè)一次。通過(guò)實(shí)驗(yàn)驗(yàn)證，這種方法能夠準(zhǔn)確的檢測(cè)出是否滿箱。提取圓心和半徑信息，將瓶蓋邊緣和圓心位置用紅色圓標(biāo)記，檢測(cè)結(jié)果如圖6所示。

圖6 檢測(cè)結(jié)果

5 結(jié)論

基于機(jī)器視覺(jué)的滿箱檢測(cè)方法與傳統(tǒng)方法相比檢測(cè)速度快，從檢測(cè)到剔除不到500 ms，適應(yīng)高速生產(chǎn)線，而且檢測(cè)結(jié)果準(zhǔn)確。通過(guò)實(shí)驗(yàn)驗(yàn)證，基于機(jī)器視覺(jué)的滿箱檢測(cè)方法準(zhǔn)確率在90%以上。

［1］趙巨峰，高秀敏，崔光茫.結(jié)合生產(chǎn)線的視覺(jué)檢測(cè)實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)［J］.實(shí)驗(yàn)室研究與探索，2016，35（4）：59-62.

［2］王耀東，朱力強(qiáng)，史紅梅，郭保青.高速機(jī)械系統(tǒng)運(yùn)動(dòng)特性的實(shí)時(shí)視覺(jué)檢測(cè)技術(shù)研究［J］.機(jī)械工程學(xué)報(bào)，2016，52（2）：82-90.

［3］葉樹亮，張玉德，張煒.齒輪視覺(jué)檢測(cè)中的尺度與方向相關(guān)性聯(lián)合降噪［J］.光學(xué)精密工程，2014，22（6）：1622-1630.

［4］李小昱，陶海龍，高海龍，李鵬，黃濤，孫金風(fēng).馬鈴薯缺陷透射和反射機(jī)器視覺(jué)檢測(cè)方法分析［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（5）：191-196.

［5］周文舉.基于機(jī)器視覺(jué)的在線高速檢測(cè)與精確控制研究及應(yīng)用［D］.上海：上海大學(xué)，2014.

［6］楊占福.新型滿箱檢測(cè)系統(tǒng)［J］.啤酒科技，2012（12）：61-62.

［7］付偉.食品飲料生產(chǎn)過(guò)程在線檢測(cè)與管理綜合系統(tǒng)的研究［D］.濟(jì)南：山東大學(xué)，2012.

［8］張輝.醫(yī)藥大輸液可見(jiàn)異物的視覺(jué)檢測(cè)機(jī)器人技術(shù)研究［D］.長(zhǎng)沙：湖南大學(xué)，2012.

［9］唐啟敬，田行斌，耿明超，周游，趙鐵石.CCD視覺(jué)檢測(cè)系統(tǒng)的整體標(biāo)定［J］.光學(xué)精密工程，2011，19（8）：1903-1910.

［10］鄭鵬飛.S7-200和TD200在滿箱檢測(cè)系統(tǒng)中的應(yīng)用［J］.伺服控制，2010（6）：94-96.

［11］趙明.啤酒滿箱檢測(cè)裝置［J］.啤酒科技，2009（10）：51，53.

［12］羅兵.SMT產(chǎn)品質(zhì)量機(jī)器視覺(jué)檢測(cè)中的機(jī)器學(xué)習(xí)［J］.電子質(zhì)量，2009（1）：39-41，44.

［13］張強(qiáng).基于機(jī)器視覺(jué)的產(chǎn)品檢測(cè)技術(shù)研究[D].鄭州：中國(guó)人民解放軍信息工程大學(xué)，2005.

［14］楊海濤.機(jī)器視覺(jué)檢測(cè)算法研究及實(shí)現(xiàn)［D］.長(zhǎng)春：吉林大學(xué)，2004.

［15］段峰.基于機(jī)器視覺(jué)的智能空瓶檢測(cè)機(jī)器人研究［D］.長(zhǎng)沙：湖南大學(xué)，2002.

［16］金隼，洪海濤.機(jī)器視覺(jué)檢測(cè)在電子接插件制造工業(yè)中的應(yīng)用［J］.儀表技術(shù)與傳感器，2000（2）：13-16.

TP29

B

〔編輯 凌 瑞〕