搬運(yùn)機(jī)器人多目標(biāo)識(shí)別系統(tǒng)的研究

熊　健, 余　飛， 王　高, 魯夢昆

(湖北工業(yè)大學(xué)機(jī)械工程學(xué)院， 湖北 武漢 430068)

搬運(yùn)機(jī)器人多目標(biāo)識(shí)別系統(tǒng)的研究

熊健, 余飛， 王高, 魯夢昆

(湖北工業(yè)大學(xué)機(jī)械工程學(xué)院， 湖北 武漢 430068)

[摘要]機(jī)器視覺與工業(yè)機(jī)器人相結(jié)合，構(gòu)建用于多種目標(biāo)識(shí)別的搬運(yùn)機(jī)器人系統(tǒng)實(shí)驗(yàn)平臺(tái)。在完成機(jī)器人坐標(biāo)系與相機(jī)坐標(biāo)系轉(zhuǎn)換的基礎(chǔ)上，以4種不同形狀的等高工件為對(duì)象，通過CCD相機(jī)連續(xù)不斷地獲取運(yùn)動(dòng)中的工件圖像信息，對(duì)采集到的圖像進(jìn)行處理，以識(shí)別目標(biāo)工件、提取工件中心坐標(biāo)點(diǎn)，然后將工件中心坐標(biāo)信息傳輸給機(jī)器人，最終實(shí)現(xiàn)機(jī)器人對(duì)工件的定點(diǎn)抓取。實(shí)驗(yàn)表明，該系統(tǒng)具備較好的目標(biāo)識(shí)別和定位效果，有助于改善流水線上輸送工件單一的狀況，提高生產(chǎn)效率。

[關(guān)鍵詞]機(jī)器人；圖像處理；坐標(biāo)系轉(zhuǎn)換；多種目標(biāo)識(shí)別

工業(yè)流水線上的搬運(yùn)作業(yè)是產(chǎn)品生產(chǎn)的一個(gè)關(guān)鍵環(huán)節(jié)。國內(nèi)傳統(tǒng)應(yīng)用于工業(yè)流水線上的機(jī)器人搬運(yùn)控制系統(tǒng)大多采用傳感器觸發(fā)方式，機(jī)器人[1]通過接收傳感器的信號(hào)來確定工件是否已到達(dá)指定的位置，最終實(shí)現(xiàn)搬運(yùn)。此種通過普通傳感器來實(shí)現(xiàn)信號(hào)傳遞的搬運(yùn)作業(yè)只能運(yùn)行事先離線編好的程序，且工件必須為靜止?fàn)顟B(tài)，不利于工業(yè)混裝生產(chǎn)和流水線作業(yè)；另一方面，與機(jī)器視覺相結(jié)合的搬運(yùn)機(jī)器人控制系統(tǒng)雖然可以根據(jù)采集到的圖像信息實(shí)時(shí)調(diào)整機(jī)器人搬運(yùn)策略，但也多用于針對(duì)單一、靜止目標(biāo)工件的抓取搬運(yùn)[2]。為滿足混裝生產(chǎn)的流水線作業(yè)要求，研究多種不同目標(biāo)工件的機(jī)器人搬運(yùn)技術(shù)有著十分重要的意義。

1機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)的構(gòu)成

圖 1　機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)

本文以EPSON六軸機(jī)器人為基礎(chǔ)，設(shè)計(jì)了一個(gè)基于單目視覺的流水線機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)(圖1)。此實(shí)驗(yàn)系統(tǒng)由硬件系統(tǒng)和軟件系統(tǒng)兩部分組成，其中硬件系統(tǒng)的組成為：EPSON機(jī)器人、PC機(jī)、CCD相機(jī)、圖像采集卡、運(yùn)動(dòng)控制卡、編碼器和輸送帶。其中相機(jī)和PC機(jī)、機(jī)器人和PC之間的數(shù)據(jù)傳輸通過RS232串口通信來實(shí)現(xiàn)。系統(tǒng)的軟件部分由自主開發(fā)的基于Visual C++的人機(jī)交互界面[3]和EPSON動(dòng)態(tài)鏈接庫組成。用于多目標(biāo)識(shí)別的機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)的工作過程為：當(dāng)目標(biāo)工件沿著流水線輸送帶不斷進(jìn)入相機(jī)識(shí)別區(qū)域時(shí)，在PC機(jī)程序的控制下，CCD相機(jī)能夠連續(xù)獲取目標(biāo)工件的圖像，之后由視覺軟件對(duì)采集到的工件圖像進(jìn)行圖像預(yù)處理、目標(biāo)工件的識(shí)別、目標(biāo)工件中心點(diǎn)坐標(biāo)獲取以及中心坐標(biāo)獲取后的輸送帶編碼器數(shù)值清零。當(dāng)目標(biāo)工件的中心坐標(biāo)獲取后將信息傳輸?shù)綑C(jī)器人，使機(jī)器人運(yùn)行到輸送帶上的指定位置，此后，當(dāng)輸送帶編碼器數(shù)值達(dá)到指定值后，機(jī)器人執(zhí)行抓取動(dòng)作，將目標(biāo)工件分類抓取并放置到指定位置(圖2)。

圖 2　機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)工作原理

2機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)的硬件系統(tǒng)

多目標(biāo)識(shí)別的機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)由如下部分組成：EPSON六自由度工業(yè)機(jī)器人、CCD相機(jī)、PC機(jī)、圖像采集卡、輸送帶和多目標(biāo)工件。系統(tǒng)布置如圖3所示。

圖 3　機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)的硬件組成

2.1EPSON六自由度機(jī)器人系統(tǒng)

EPSON工業(yè)機(jī)器人系統(tǒng)包括機(jī)器人本體、C3-A600S|RC180機(jī)器人控制器，以及支持與PC機(jī)進(jìn)行通訊的軟件EPSON RC+ 5.0。其中機(jī)器人本體為垂直6軸型機(jī)械手，各軸的運(yùn)動(dòng)由交流伺服電機(jī)驅(qū)動(dòng)，重復(fù)定位精度達(dá)±0．02 mm。機(jī)器人用于抓取目標(biāo)工件的機(jī)構(gòu)為真空吸盤。

2.2系統(tǒng)相機(jī)及鏡頭的設(shè)計(jì)與選用

本實(shí)驗(yàn)系統(tǒng)選擇日本TOSHIBA公司生產(chǎn)的SHIMURA-P64相機(jī)。相機(jī)的垂直掃描頻率為59.9 kHz，水平掃描頻率為15.7 kHz，其中CCD總像素為1280×1024，相機(jī)的信噪比大于48 dB。此CCD相機(jī)的工作電壓為5～ 12 V DC，鏡頭接口為C-mount接口。系統(tǒng)選用的鏡頭是日本COMPUTAR公司的M1614-MP定焦工業(yè)鏡頭，鏡頭參數(shù)如下：焦距f=16.0 mm，光圈值F為1.4～16C。成像適合本實(shí)驗(yàn)系統(tǒng)的要求。

2.3PC機(jī)及圖像采集卡

本實(shí)驗(yàn)系統(tǒng)選擇的PC機(jī)為Intel ICP/iEi B188(Intel Pentium雙核2.80 GHz，2 G內(nèi)存，Windows XP操作系統(tǒng))臺(tái)式機(jī)。選用的圖像采集卡型號(hào)為北京嘉恒中自公司生產(chǎn)的OK_C61A。該型號(hào)的圖像采集卡基于PCI總線，可采集彩色和黑白圖像，所采集的圖像數(shù)據(jù)可達(dá)10 bits，最大分辨率為1280×1024，最大點(diǎn)頻為15 M，支持8 bits數(shù)據(jù)格式RGB32、RGB24、RGB16、RGB15、YUV422、 黑白圖像GRAY8和10 bit數(shù)據(jù)格式RGB30，輸入路數(shù)可選擇六路復(fù)合視頻輸入或二路Y/C(5+6,3+4)輸入，輸入視頻為 12位A/D，有梳狀濾波器，抗混疊濾波器，亮度、對(duì)比度、色度、飽和度軟件可調(diào)，支持LINUX和WINDOWS系統(tǒng)。

2.4輸送帶及目標(biāo)工件

本實(shí)驗(yàn)系統(tǒng)選擇的工業(yè)流水線為皮帶輸送帶，輸送帶實(shí)際長度為0.7 m，可通過運(yùn)動(dòng)制卡設(shè)置運(yùn)動(dòng)速度的大小，目標(biāo)工件為4個(gè)形狀各不相同的等高物塊。

3搬運(yùn)系統(tǒng)相機(jī)軟件工作流程設(shè)計(jì)

本實(shí)驗(yàn)系統(tǒng)的軟件工作流程如圖4所示。其原理為：CCD相機(jī)位于流水線正上方，當(dāng)流水線運(yùn)行時(shí)，相機(jī)實(shí)時(shí)拍照，將拍攝到的圖像經(jīng)過圖像采集卡轉(zhuǎn)化為數(shù)字圖像傳輸給PC機(jī)，然后由自主編寫的視覺檢測軟件實(shí)現(xiàn)對(duì)目標(biāo)工件的識(shí)別并計(jì)算出工件的中心點(diǎn)坐標(biāo)等一系列任務(wù)，通過RS232通訊協(xié)議把信息傳輸給EPSON機(jī)器人控制器，機(jī)器人控制器通過接收到的信息來控制機(jī)器人執(zhí)行相應(yīng)的動(dòng)作。流程中涉及到的相機(jī)標(biāo)定、多目標(biāo)工件的識(shí)別、識(shí)別后工件中心點(diǎn)的提取是自開發(fā)視覺軟件要解決的主要問題，機(jī)器人的運(yùn)動(dòng)控制則是在其自帶編程軟件的基礎(chǔ)上，接收到相機(jī)信號(hào)后執(zhí)行相應(yīng)動(dòng)作。

圖 4　機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)軟件主要流程

3.1CCD相機(jī)的標(biāo)定

相機(jī)標(biāo)定的實(shí)質(zhì)是通過攝像機(jī)坐標(biāo)系把像素坐標(biāo)系轉(zhuǎn)換為機(jī)器人坐標(biāo)系的轉(zhuǎn)化過程[4]。由相機(jī)標(biāo)定求出的數(shù)據(jù)，能夠根據(jù)目標(biāo)工件在像素坐標(biāo)中的位置，通過坐標(biāo)轉(zhuǎn)換，求出工件在世界坐標(biāo)系的坐標(biāo)，從而得出工件在機(jī)器人坐標(biāo)系中的位置[5]。標(biāo)定流程如圖5所示。本實(shí)驗(yàn)系統(tǒng)基于小孔成像原理來實(shí)現(xiàn)系統(tǒng)相機(jī)的標(biāo)定，根據(jù)實(shí)際情況，選用張正友標(biāo)定法[6]來實(shí)現(xiàn)對(duì)相機(jī)的標(biāo)定，并對(duì)結(jié)果進(jìn)行了確認(rèn)。通過相機(jī)的標(biāo)定的實(shí)現(xiàn)，本實(shí)驗(yàn)系統(tǒng)能夠較為精確地對(duì)目標(biāo)工件進(jìn)行定位，并提取出工件的中心點(diǎn)，為后續(xù)的機(jī)器人抓取提供了必要信息。

圖 5　相機(jī)標(biāo)定的作用

3.2多種目標(biāo)工件的識(shí)別

本實(shí)驗(yàn)系統(tǒng)的目標(biāo)工件有4種，所以涉及到多種目標(biāo)的識(shí)別問題。圖像處理分為兩步：其一，確定拍攝到的圖像中哪些是目標(biāo)；其二，確定圖像中的目標(biāo)是哪一種工件。結(jié)合實(shí)際情況，通過對(duì)目標(biāo)識(shí)別方法的研究，選取基于改進(jìn)的Harris算法,采用一種改進(jìn)的角點(diǎn)檢測算法來同時(shí)實(shí)現(xiàn)對(duì)目標(biāo)工件的檢測和識(shí)別[7]。

3.3目標(biāo)工件的實(shí)時(shí)位置確定

為實(shí)現(xiàn)機(jī)器人對(duì)目標(biāo)工件的動(dòng)態(tài)抓取，必須掌握目標(biāo)工件在流水線的實(shí)時(shí)位置坐標(biāo)。為實(shí)現(xiàn)這一目的，實(shí)驗(yàn)系統(tǒng)選用雷賽運(yùn)動(dòng)控制卡與編碼器相結(jié)合來確定工件的實(shí)時(shí)坐標(biāo)。當(dāng)目標(biāo)工件連續(xù)進(jìn)入相機(jī)視場時(shí)，視覺檢測系統(tǒng)對(duì)進(jìn)入視場的工件目標(biāo)識(shí)別后進(jìn)行定位，并由此確定出工件的中心坐標(biāo)，因?yàn)榇藭r(shí)目標(biāo)工件在安裝了編碼器的輸送帶上做勻速直線運(yùn)動(dòng)，視覺檢測系統(tǒng)在確定工件中心坐標(biāo)的同時(shí)發(fā)出一個(gè)信號(hào)使編碼器數(shù)值清零，當(dāng)編碼器數(shù)值達(dá)到某一值后，目標(biāo)工件恰好到達(dá)機(jī)器人抓取吸盤正下方，從而實(shí)現(xiàn)機(jī)器人對(duì)工件的動(dòng)態(tài)抓取。

4EPSON機(jī)器人的運(yùn)動(dòng)控制

經(jīng)過對(duì)CCD相機(jī)與機(jī)器人坐標(biāo)轉(zhuǎn)換關(guān)系的標(biāo)定，通過視覺檢測系統(tǒng)對(duì)目標(biāo)工件實(shí)現(xiàn)目標(biāo)識(shí)別和定位后[8]，確定工件的中心坐標(biāo)，并根據(jù)編碼器的數(shù)值來估計(jì)工件是否正好處于機(jī)器人吸盤正下方，最后完成機(jī)器人對(duì)目標(biāo)工件的抓取。本實(shí)驗(yàn)系統(tǒng)利用EPSON RC+ 5.0軟件來控制機(jī)器人對(duì)目標(biāo)工件的實(shí)時(shí)抓取。

4.1EPSON RC+ 5.0的控制程序設(shè)計(jì)

EPSON RC+ 5.0是日本精工愛普生公司為EPSON RC170/RC180機(jī)器人控制器提供的一款開發(fā)應(yīng)用軟件。該軟件具有以下特點(diǎn)：支持Windows XP，Windows Vista和Windows 7，支持USB和以太網(wǎng)通信，支持易于使用、功能強(qiáng)大的SPEL+編程語言，支持TCP/IP和RS232通訊協(xié)議[9]，自帶本地坐標(biāo)系統(tǒng)能實(shí)時(shí)顯示機(jī)器人的世界坐標(biāo)，支持機(jī)器人自我校準(zhǔn)功能。其工作原理為：通過串口或者以太網(wǎng)，在實(shí)現(xiàn)PC機(jī)上自主開發(fā)的視覺檢測系統(tǒng)和機(jī)器人通訊的基礎(chǔ)上，利用軟件自帶的SPEL+編程語言，機(jī)器人控制器根據(jù)接收到的工件中心坐標(biāo)來實(shí)現(xiàn)機(jī)器人抓取準(zhǔn)備動(dòng)作，然后根據(jù)輸送帶編碼器的值來執(zhí)行抓取。

4.2自開發(fā)視覺檢測系統(tǒng)和機(jī)器人控制器之間的通信設(shè)計(jì)

在機(jī)器人執(zhí)行抓取準(zhǔn)備動(dòng)作之前，需要先建立自開發(fā)視覺檢測系統(tǒng)和機(jī)器人控制器之間的通信。EPSON RC170/RC180機(jī)器人控制器支持RS232和TCP/IP兩種通信協(xié)議，本實(shí)驗(yàn)系統(tǒng)選用的是RS232串口通信模式。說明如下：在軟件窗口選擇“設(shè)置”，點(diǎn)擊“電腦與控制器通信”，選擇連接類型為USB連接，然后點(diǎn)擊軟件左側(cè)的RS232控制面板，設(shè)置通信的波特率，選擇“com”口、數(shù)據(jù)長度、校驗(yàn)位和停止位，最后利用軟件自帶的SPEL+編程語言調(diào)用RS232的特定功能函數(shù)，來實(shí)現(xiàn)信息的傳輸。常見RS232函數(shù)如下：OpenCom打開串口， CloseCom關(guān)閉串口， SetCom設(shè)置串口，Print #從串口發(fā)送字符， Input #從串口接收字符等等。

4.3機(jī)器人接收信息后的運(yùn)動(dòng)控制

EPSON機(jī)器人的運(yùn)動(dòng)控制函數(shù)比較多，常用的有 ExtractObjectInfoFromReceive、GrabObjectAndRelease2Box、IsContinueGrab、JumpShow、PawClose、PawRelease、SetSpeedHigh、SetSpeedLow等。首先，利用ExtractObjectInfoFromReceive函數(shù)從接收的數(shù)據(jù)中提取已定位的零件信息，進(jìn)入下一步調(diào)用GrabObjectAndRelease2Box函數(shù)前，先把機(jī)器人移動(dòng)至抓取點(diǎn)上方，在移動(dòng)過程中針對(duì)不同的移動(dòng)路徑可通過SetSpeedHigh和SetSpeedLow來控制機(jī)器人的移動(dòng)速度，然后根據(jù)不同的工件種類，走不同的釋放路線。當(dāng)目標(biāo)中心點(diǎn)到達(dá)機(jī)器人氣爪下方時(shí)，機(jī)器人移動(dòng)到輸送帶上抓取工件，同時(shí)發(fā)送指令到PC，讓PC控制運(yùn)動(dòng)控制卡去閉合氣爪，完成抓取。抓取完成且把工件搬運(yùn)到指定位置后，發(fā)送指令到PC，讓PC控制運(yùn)動(dòng)控制卡去打開氣爪，放下工件，搬運(yùn)完成。每次工件搬運(yùn)完成后須通過IsContinueGrab函數(shù)查詢是否連續(xù)抓取：是，則繼續(xù)抓取；否，則機(jī)器人返回初始位置。

5機(jī)器人系統(tǒng)的抓取試驗(yàn)

經(jīng)過對(duì)軟、硬件的反復(fù)聯(lián)機(jī)調(diào)試和改進(jìn)，本實(shí)驗(yàn)系統(tǒng)完整實(shí)現(xiàn)了“目標(biāo)工件的識(shí)別—機(jī)器人對(duì)已識(shí)別工件的實(shí)時(shí)抓取—已識(shí)別工件的搬運(yùn)“的實(shí)驗(yàn)。基本達(dá)到預(yù)期效果。本系統(tǒng)的具體實(shí)驗(yàn)過程為：機(jī)器人前方有一由運(yùn)動(dòng)控制卡控制的輸送帶，其速度可調(diào)且安裝了旋轉(zhuǎn)編碼器，相機(jī)位于輸送帶的正上方。當(dāng)系統(tǒng)啟動(dòng)后，機(jī)器人處于準(zhǔn)備狀態(tài)，輸送帶以恒定速度運(yùn)行，此時(shí)工件源源不斷地由輸送帶運(yùn)動(dòng)起始端進(jìn)入相機(jī)視場，當(dāng)工件被識(shí)別定位后，機(jī)器人的末端立刻移動(dòng)到工件后續(xù)運(yùn)動(dòng)軌跡的上方10 mm處等待工件到達(dá)，工件沿輸送帶走過指定脈沖后，機(jī)器人末端氣爪打開并直線下降吸附工件，然后根據(jù)工件種類不同沿不同的路徑運(yùn)動(dòng)至指定位置，斷氣并放下目標(biāo)工件。抓取動(dòng)作完成后，機(jī)器人運(yùn)行至初始位置準(zhǔn)備繼續(xù)抓取工件，按上述步驟重復(fù)之前動(dòng)作。

圖 6　“多目標(biāo)識(shí)別—工件抓取—搬運(yùn)”實(shí)驗(yàn)

6結(jié)束語

基于單目視覺的EPSON機(jī)器人搬運(yùn)實(shí)驗(yàn)系統(tǒng)的構(gòu)建，為現(xiàn)代工廠混裝生產(chǎn)線中同時(shí)對(duì)不同產(chǎn)品實(shí)現(xiàn)分類搬運(yùn)進(jìn)行了實(shí)際探索和研究[10]。經(jīng)實(shí)驗(yàn)證明，本實(shí)驗(yàn)系統(tǒng)具有快速識(shí)別目標(biāo)、運(yùn)行穩(wěn)定、操作簡單等優(yōu)點(diǎn)。

[參考文獻(xiàn)]

[1]李瑞峰.中國工業(yè)機(jī)器人產(chǎn)業(yè)化發(fā)展戰(zhàn)略[J]. 航空制造技術(shù)， 2010 (9):33-34.

[2]焦恩璋，杜榮.工業(yè)機(jī)器人分揀技術(shù)的實(shí)現(xiàn)[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2010(2):84-86.

[3]曹命凱,鄭源,黃渝桂,等.基于VC++技術(shù)面向?qū)ο蟮乃娬痉抡嫦到y(tǒng)界面設(shè)計(jì)[J].水電能源科學(xué),2009,27(2):166-167.

[4]徐德,譚民,李原.機(jī)器人視覺測量與控制[M].北京國防工業(yè)出版社,2011:35-39.

[5]胡小平，左富勇，謝珂.微裝配機(jī)器人手眼標(biāo)定方法研究[J] .儀器儀表學(xué)報(bào)，2012，33(7):1521-1526.

[6]王政，胡志雄.基于張正友標(biāo)定算法的內(nèi)參數(shù)線性與非線性解算[J].鄭州師范教育，2013,2(2):63-65.

[7]龔平,劉相濱,周鵬.一種改進(jìn)的Harris角點(diǎn)檢測算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010，46(11):173-175.

[8]陳立松. 工業(yè)機(jī)器人視覺引導(dǎo)關(guān)鍵技術(shù)的研究 [D].合肥：合肥工業(yè)大學(xué)，2013.

[9]莫?jiǎng)P,何宏, 孫虹,等.基于UC/OS-Ⅱ的串口與網(wǎng)口通信設(shè)計(jì)[J].現(xiàn)代制造工程，2007(12):120-122.

[10] 賀磊盈，武傳宇，倪勇．基于RPPR機(jī)器人智能分揀實(shí)驗(yàn)裝置的研制[J]．工業(yè)儀表與自動(dòng)化裝置，2007(4)：70-72．

[責(zé)任編校： 張眾]

A Multiple Target Recognition System of Work Piece Handling Robots

XIONG Jian, YU Fei, WANG Gao， LU Mengkun

(SchoolofMechanicalEngin.,HubeiUniv.ofTech.,Wuhan430068,China)

Abstract：An experimental platform of multiple target recognition system of work piece handling robots based on machine vision and industrial robot was constructed. On the basis of the complete robot coordinate system and camera coordinate system, the paper studies 4 work pieces of the same height, acquired the work piece images using CCD camera, and then processed the images to achieve the recognition of target artifacts, extract the center coordinate points, and finally transferred the central coordinates of the work pieces to the robot. Experiment results show that the system can obtain better target recognition and location effect, which can improve the single condition of the transmission line and improve the production efficiency.

Keywords：robot; image processing; coordinate system transformation; multiple target recognition

[收稿日期]2015-11-30

[作者簡介]熊健(1988-)， 男， 湖北天門人，湖北工業(yè)大學(xué)碩士研究生，研究方向?yàn)闄z測技術(shù)及自動(dòng)化控制

[文章編號(hào)]1003-4684(2016)02-0035-04

[中圖分類號(hào)]TP242.2

[文獻(xiàn)標(biāo)識(shí)碼]：A