基于視覺引導(dǎo)的工業(yè)機器人快速分揀系統(tǒng)研究

黨宏社,張 超,龐 毅

(1.陜西科技大學(xué)電氣與信息工程學(xué)院,西安 710021;2.河北工業(yè)大學(xué)控制科學(xué)與工程學(xué)院,天津 300130)

基于視覺引導(dǎo)的工業(yè)機器人快速分揀系統(tǒng)研究

黨宏社1*,張 超1,龐 毅2

(1.陜西科技大學(xué)電氣與信息工程學(xué)院,西安 710021;2.河北工業(yè)大學(xué)控制科學(xué)與工程學(xué)院,天津 300130)

將三菱RV-13F工業(yè)機器人與視覺引導(dǎo)技術(shù)相結(jié)合應(yīng)用于目標(biāo)分揀。對原始圖像進行濾波處理后再利用ORB算法實現(xiàn)對目標(biāo)物體的快速檢測,并利用最佳匹配特征點計算出目標(biāo)物體的像素坐標(biāo)和旋轉(zhuǎn)角度。實驗結(jié)果表明:計算坐標(biāo)與實際坐標(biāo)在X、Y坐標(biāo)上的誤差在1 mm之內(nèi),可以保證工業(yè)機器人準(zhǔn)確地運動到目標(biāo)物體的上方,Z坐標(biāo)上的誤差在3 mm之內(nèi),可以保證能將目標(biāo)物體抓取到,快速地完成分揀任務(wù)。

視覺引導(dǎo);工業(yè)機器人;ORB算法;快速分揀

視覺引導(dǎo)技術(shù)是指利用攝像機代替人眼、計算機代替大腦[1],通過處理相機獲取的圖像對目標(biāo)物體進行測量、檢測和識別,引導(dǎo)工業(yè)機器人完成對其的抓取、分揀等任務(wù)。傳統(tǒng)的工件分揀方式為人工分揀,這種方式很大程度受人為因素影響,導(dǎo)致工作速度慢、分揀不準(zhǔn)確以及容易發(fā)生事故等。后來將示教工業(yè)機器人應(yīng)用于工件分揀[2],這種方式雖然能夠利用機器代替人工作,但是由于示教模式的固定化,導(dǎo)致無法對任意物體進行分揀抓取,而且外界環(huán)境改變時需對工業(yè)機器人重新示教,否則無法完成工作。因此,將視覺引導(dǎo)技術(shù)應(yīng)用于工業(yè)領(lǐng)域,對增強工業(yè)機器人對外部環(huán)境的適應(yīng)能力與工業(yè)生產(chǎn)線的魯棒性、提高生產(chǎn)過程的自動化水平與勞動生產(chǎn)率有十分重要的意義。Tuong Phuoc Tho等人[3]對番茄按照顏色、形狀等特征分級并進行識別定位,完成農(nóng)產(chǎn)品的自動分揀。金桂根等人[4]利用尺寸、形狀等特征對目標(biāo)物體進行判別,完成物流系統(tǒng)中的物料分揀。唐宇等人[5]利用工件圖像的形狀特征向量匹配的方法實現(xiàn)對工件的自動分揀。

本文將視覺引導(dǎo)技術(shù)應(yīng)用于流水線上對目標(biāo)物體的分揀,對相機獲取的圖像進行濾波處理后再利用ORB算法進行特征點檢測與匹配,實現(xiàn)了對目標(biāo)物體的動態(tài)檢測和快速識別,減少了外界條件變化引起的對同一目標(biāo)的重復(fù)檢測,最終利用工業(yè)機器人完成對目標(biāo)物體的抓取和分揀。

1 系統(tǒng)平臺搭建

本文利用三菱公司的RV-13F 6自由度工業(yè)機器人,搭建出了一個如圖1所示的分揀系統(tǒng)。系統(tǒng)采用維視圖像公司的MV系列工業(yè)數(shù)字相機獲取圖像,采用氣動吸盤來抓取目標(biāo)物體,采用傳送帶來輸入原料和輸出分揀好的物料,通過以太網(wǎng)實現(xiàn)相機、計算機、工業(yè)機器人之間的信息交換。

圖1 基于視覺引導(dǎo)的分揀系統(tǒng)

首先利用相機獲取原料傳送帶上的目標(biāo)圖像并發(fā)送到計算機,然后計算機對圖像進行預(yù)處理、對目標(biāo)物體進行快速地識別和定位,接著根據(jù)標(biāo)定的內(nèi)外參數(shù)和目標(biāo)的像素坐標(biāo)計算出在當(dāng)前工業(yè)機器人坐標(biāo)系下的坐標(biāo),通過以太網(wǎng)將坐標(biāo)信息發(fā)送給工業(yè)機器人,最后工業(yè)機器人根據(jù)坐標(biāo)信息抓取目標(biāo)物體放置到物料輸出傳送帶上。分揀系統(tǒng)整體框圖如圖2所示。

圖2 分揀系統(tǒng)整體框圖

2 相機標(biāo)定

相機標(biāo)定是目標(biāo)識別定位的基礎(chǔ)工作,目的是以相機坐標(biāo)系(XC,YC,ZC)作為橋梁,建立空間物體表面某點的三維世界坐標(biāo)系(XW,YW,ZW)下的幾何位置與二維平面圖像坐標(biāo)系(Xu,Yu)中的對應(yīng)點之間的關(guān)系,主要分為圖像坐標(biāo)到相機坐標(biāo)的內(nèi)部參數(shù)標(biāo)定和相機坐標(biāo)到世界坐標(biāo)的外部參數(shù)標(biāo)定兩部分。本文以小孔成像為相機的基本模型,采用張正友標(biāo)定法進行相機標(biāo)定。

為了提高相機標(biāo)定的準(zhǔn)確度,本文采用9張不同方向的棋盤格圖片作為標(biāo)定模板,每幅圖片的像素為640×480,X方向有8個內(nèi)角點,Y方向有6個內(nèi)角點,棋盤格的實際測量邊長為30 mm,標(biāo)定結(jié)果如圖3(a)所示。

圖3 標(biāo)定模板與結(jié)果

(1)

式中:(u0,v0)為相機鏡頭光心到圖像坐標(biāo)系中的像素坐標(biāo)。

采用如圖3(b)所示的一張平行于相機XY平面的標(biāo)定板對系統(tǒng)進行外參數(shù)標(biāo)定,世界坐標(biāo)原點為圖中左上角內(nèi)角點,外參數(shù)矩陣為:

(2)

式中:R為3×3的正交單位矩陣,T為三維平移向量,O=(0,0,0)T。

由于標(biāo)定出的世界坐標(biāo)系的原點在標(biāo)定板左上角內(nèi)角點處,而實際的工業(yè)機器人坐標(biāo)系的原點在系統(tǒng)中已經(jīng)固定,在工業(yè)機器人的底座處。因此利用示教器將工業(yè)機器人移動到標(biāo)定板左上角內(nèi)角點處,得到當(dāng)前坐標(biāo)E,將計算出的世界坐標(biāo)再平移E之后,得到就是工業(yè)機器人坐標(biāo)系下的坐標(biāo)。

3 目標(biāo)定位與檢測

目標(biāo)的檢測與定位是實現(xiàn)自動抓取分揀的基礎(chǔ)。現(xiàn)有的目標(biāo)檢測算法有基于模板的匹配算法和基于特征的匹配算法[6]。基于模板的匹配算法魯棒性較差,易受外界環(huán)境的影響導(dǎo)致檢測錯誤,而基于特征的匹配算法受外界影響較小,還具有一定的尺度、旋轉(zhuǎn)不變性。在實際的操作環(huán)境中,圖像采集為動態(tài)采集,每一幀的圖像都會進行目標(biāo)匹配檢測。由于外界條件如光照等在實時的發(fā)生變化,計算機可能會對同一圖像的同一目標(biāo)重復(fù)檢測,因此本文提出將相機獲取到的圖像先進行濾波處理,去除掉圖像中的雜質(zhì)點以及光照變化的影響,再利用ORB特征描述子,對特定目標(biāo)實現(xiàn)快速檢測。

3.1 圖像預(yù)處理

首先對采集到的圖像利用圓形模板進行膨脹處理,去除了圖像中的黑色雜質(zhì)點,減少了光照變化引起的對同一目標(biāo)的重復(fù)檢測,然后再進行腐蝕處理,即將目標(biāo)物體圖像擴大,使得目標(biāo)特征更加明顯,利于后續(xù)的特征點檢測。如圖4所示,圖(a)為原始圖像,圖(b)為處理后的圖像。

圖4 預(yù)處理后的目標(biāo)圖像

3.2ORB算法

在工業(yè)環(huán)境中,由于目標(biāo)物體放置位置不固定,拍照位置的不同使得目標(biāo)圖像發(fā)生尺度變化,在許多場景下導(dǎo)致檢測不準(zhǔn)確,因此近些年來局部不變特征常被用來做目標(biāo)匹配和檢測[7-8],其中SIFT(Scale-InvariantFeatureTransform,尺度不變特征變換)和SURF(Speed-UpRobustFeatures,加速魯棒特征)是應(yīng)用最為廣泛的兩種局部不變特征描述子。但是,這兩種描述子的運算速度較慢,為了解決這一問題,EthanRublee等人將FAST角點檢測與BRIEF特征描述綜合改進提出了ORB(ORientedBRIEF)算法[9]。

ORB算法采用FAST角點檢測算子檢測特征點[10],并給特征點添加1個方向信息構(gòu)成oFAST,不僅保證了特征點提取時的速度快,而且解決了FAST算子沒有方向性的問題。然后采用BRIEF描述子對檢測到的特征點進行描述[11],不僅計算簡單、速度快,而且之前添加的方向信息解決了BRIEF沒有旋轉(zhuǎn)不變性的問題[12]。特征點如圖5所示,圖5(a)為模板圖像的特征點,圖5(b)為目標(biāo)圖像的特征點。

圖5 模板和目標(biāo)圖像的特征點

3.3 目標(biāo)定位

在完成目標(biāo)檢測任務(wù)之后,需要確定出目標(biāo)物體在當(dāng)前圖像坐標(biāo)下的像素坐標(biāo),從而變換得到世界坐標(biāo)。在ORB檢測算法中,可以得到目標(biāo)物體的最佳匹配特征點的像素坐標(biāo),通過求這些特征點的中心,可以計算出目標(biāo)物體的中心點坐標(biāo),即可得到其在圖像坐標(biāo)系中的像素坐標(biāo)。并利用距離最遠(yuǎn)的2個最佳匹配特征點的像素坐標(biāo),計算物體的旋轉(zhuǎn)角度θ。公式如下:

(3)

式中:(x1,y1),(x2,y2)為模板圖像中的2個特征點的像素坐標(biāo),(X1,Y1),(X2,Y2)為目標(biāo)圖像中的2個特征點的像素坐標(biāo)。計算出的旋轉(zhuǎn)角度還要根據(jù)2個特征點的方向是否一致來對θ做180°的偏移。

根據(jù)標(biāo)定出的內(nèi)部參數(shù)可將圖像坐標(biāo)轉(zhuǎn)換為相機坐標(biāo),根據(jù)外部參數(shù)可將相機坐標(biāo)轉(zhuǎn)換到世界坐標(biāo),根據(jù)偏移量進行平移可將世界坐標(biāo)轉(zhuǎn)換為工業(yè)機器人坐標(biāo)系(XR,YR,ZR)下的坐標(biāo)。通過3個轉(zhuǎn)換關(guān)系,可將圖像處理得到的目標(biāo)物體的像素坐標(biāo)變換成工業(yè)機器人坐標(biāo)系下的坐標(biāo)。關(guān)系如下所示:

(4)

(5)

(6)

4 實驗結(jié)果與分析

本實驗先對圖像進行濾波處理,然后利用ORB特征對目標(biāo)物體進行特征點檢測,結(jié)果如圖6所示,計算出匹配到的目標(biāo)物體在圖像坐標(biāo)系中的像素坐標(biāo)以及相對于模板的旋轉(zhuǎn)角度,并根據(jù)相機標(biāo)定參數(shù)計算出目標(biāo)物體在工業(yè)機器人坐標(biāo)系下的坐標(biāo),然后利用示教器將工業(yè)機器人末端移動到目標(biāo)物體的位置,得到實際坐標(biāo)與計算出的坐標(biāo)進行對比。最后控制工業(yè)機器人抓取目標(biāo)物體將其放置在物料輸出傳送帶上。

圖6 特征點匹配結(jié)果

表1中給出了檢測出的像素坐標(biāo)、計算出的坐標(biāo)、工業(yè)機器人末端執(zhí)行器的坐標(biāo)與計算出的旋轉(zhuǎn)角度,表2中計算了計算坐標(biāo)與實際坐標(biāo)之間的絕對誤差,可以看出,目標(biāo)檢測計算出的坐標(biāo)與實際的工業(yè)機器人坐標(biāo)系中的坐標(biāo)在X坐標(biāo)上的誤差最大為0.95mm,均方差為0.63mm,在Y坐標(biāo)上的誤差最大為0.93mm,均方差為0.72mm,能保證工業(yè)機器人能精準(zhǔn)的運動到目標(biāo)物體的上方。而Z坐標(biāo)上的誤差最大為2.86mm,均方差為1.78mm,由于工業(yè)機器人末端執(zhí)行器為氣動吸盤,在實驗過程中,工業(yè)機器人在5mm的范圍內(nèi)都可以將目標(biāo)物體吸取到,因此工業(yè)機器人可以準(zhǔn)確得抓取目標(biāo)物體實現(xiàn)快速分揀。同時,利用計算出的旋轉(zhuǎn)角度,可以將目標(biāo)物體按照模板物體的方向放置,達(dá)到整齊擺放的效果。

表1 目標(biāo)定位和實際測量結(jié)果對比

表2 計算坐標(biāo)與實際坐標(biāo)之間的絕對誤差

5 結(jié)束語

本文針對于對工業(yè)流水線上目標(biāo)物體的檢測識別、定位抓取等問題,在VS2013上進行軟件設(shè)計,采用濾波處理后的ORB特征算法實現(xiàn)了對目標(biāo)物體的快速檢測,減少了動態(tài)實時目標(biāo)的重復(fù)檢測,并利用特征點計算出物體的中心以及相對于模板的旋轉(zhuǎn)角度,利用相機標(biāo)定的內(nèi)參和外參計算出物體在工業(yè)機器人坐標(biāo)系下的坐標(biāo),引導(dǎo)工業(yè)機器人完成物體分揀抓取。實驗結(jié)果證明,系統(tǒng)在目標(biāo)檢測和定位時準(zhǔn)確性高、速度快,并且有很好的魯棒性。

[1] Pérez L,Rodríguez í,Rodríguez N,et al. Robot Guidance Using Machine Vision Techniques in Industrial Environments:A Comparative Review[J]. Sensors,2016,16(3):335.

[2] 計時鳴,黃希歡. 工業(yè)機器人技術(shù)的發(fā)展與應(yīng)用綜述[J]. 機電工程,2015(1):1-13.

[3] Tuong Phuoc Tho,Nguyen Truong Thinh. Design and Development of the Sorting System Based on Robot[C]//2015 15th International Onference on Control,Automation and Systems(ICCAS),Busan,Korea:IEEE. 2015:1639-1644.

[4] 金桂根,穆建軍. 視覺識別機器人在物流作業(yè)中的智能應(yīng)用[J]. 制造業(yè)自動化,2013(11):103-105.

[5] 唐宇,吳清瀟,朱楓. 平面工件的識別與定位方法研究[J]. 機械設(shè)計與制造,2015(10):172-175.

[6] 夏群峰,彭勇剛. 基于視覺的機器人抓取系統(tǒng)應(yīng)用研究綜述[J]. 機電工程,2014,31(6):697-701.

[7] Kalaiyarasi C,Karthikeyan S. Enhancing Logo Matching and Recognition Using Local Features[C]//2014 International Conference on Information Communication and Embedded Systems(ICICES),Chennai,India:IEEE,2015:1-6.

[8] 孫浩,王程,王潤生. 局部不變特征綜述[J]. 中國圖象圖形學(xué)報,2011(2):141-151.

[9] Rublee E,Rabaud V,Konolige K,et al. ORB:An Efficient Alternative to SIFT or SURF[C]//International Conference on Computer Vision. Barcelona,Spain:IEEE Computer Society,2011:2564-2571.

[10] Xu J,Chen X,Song X,et al. An Improved Harris-FAST Algorithm for Underwater Object Corner Detection[C]//Control and Decision Conference. Qingdao,Shandong:IEEE,2015:5424-5428.

[11] Calonder M,Lepetit V,Fua P. Brief:Binary Robust Independent Elementary Features[C]//European Conference on Computer Vision,2010:778-792.

[12] Wang G,Tian J. License Plate Localization in Complex Scenes Based on Oriented FAST and Rotated BRIEF Feature[J]. Journal of Electronic Imaging,2015,24(5):053011.

Research of Fast Sorting System Based on Industrial Robot of Visual Guidance

DANGHongshe1*,ZHANGChao1,PANGYi2

(1.College of Electrical and Information Engineering,Shaanxi University of Science and Technology,Xi’an 710021,China;2.School of Control Science and Engineering,Hebei University of Technology,Tianjin 300130,China)

Combined with MELFAF RV-13F industrial robot,vision guiding technique is applied to object sorting. After filtering the source image and ORB feature detection,the best matching feature points can be used to calculate the pixel coordinates and rotation angle to implement fast detection of the object. The results show that the error between calculating and actual coordinates inX,Yis within 1mm and inZis within 3 mm. It ensures that the industrial robot can grasp object precisely to complete object sorting fast.

visual guidance;industrial robot;ORB algorithm;fast sorting

2016-04-28 修改日期:2016-05-30

C:7220

10.3969/j.issn.1005-9490.2017.02.043

TP242.2

A

1005-9490(2017)02-0481-05