視覺圖像技術(shù)與機器人工件抓取的協(xié)作應(yīng)用

盛華軍，胡國清

（1.廣州科技職業(yè)技術(shù)大學(xué) 自動化工程學(xué)院，廣州510550；2.華南理工大學(xué)機械與汽車工程學(xué)院，廣州510641）

工件抓取是工業(yè)機器人實訓(xùn)功能臺眾多功能中必不可少的一環(huán)，準(zhǔn)確的抓取工件是后續(xù)各種功能順利進行的前提，安裝在機器人上的工業(yè)相機，經(jīng)過計算機的處理和分析，可模擬人眼視覺的功能，依據(jù)視覺結(jié)果控制機器人進行相應(yīng)的動作，實現(xiàn)自動的定位、分類、抓取和擺放工件等操作，工件的準(zhǔn)確抓取，首先用視覺裝置確定機器人工件抓取的周圍環(huán)境[1]，再用圖像處理和分析技術(shù)，最后對相機獲取到的圖像進行特征描述和識別，工業(yè)生產(chǎn)中的產(chǎn)品或零部件的圖像識別和處理技術(shù)已日益成熟，利用圖像技術(shù)既能準(zhǔn)確、快速地抓取工件；又能提高工業(yè)生產(chǎn)效率，營造更安全的操作環(huán)境，拓展更強大功能的機器人功能平臺，機器視覺的應(yīng)用優(yōu)勢有：首先，有良好的靈活性，機器視覺能夠采集制造過程中的多個圖像[2]，并進行科學(xué)合理的處理；其次，有非常高的精度，能夠進行精確的測量和定位，在復(fù)雜的工況中也能夠獲得高質(zhì)量[3]的測量數(shù)據(jù)；最后，具有優(yōu)良的非接觸工作方式，對人員和工件都不會有損傷，可提高機器人工作系統(tǒng)的可靠性。

1 視覺圖像技術(shù)及特點

機器視覺是一種全新的技術(shù)，其視覺系統(tǒng)通常是以計算機為中心，主要有視覺傳感器、圖像采集系統(tǒng)和圖像處理系統(tǒng)等模塊組成[4]，如圖1所示，工業(yè)機器人工件抓取技術(shù)是目前自動化產(chǎn)線中應(yīng)用很普遍的技術(shù)，通過機器視覺與圖像技術(shù)的引導(dǎo)，能使機器人實現(xiàn)較智能化的抓取動作，傳統(tǒng)工業(yè)機器人抓取技術(shù)，多數(shù)情況下是針對特定特征的零件進行抓取，靈活性與準(zhǔn)確性存在不足，機器視覺與圖像技術(shù)應(yīng)用在工件抓取環(huán)節(jié)，利用圖像的定位技術(shù)、圖像處理技術(shù)和自動抓取技術(shù)的相互協(xié)作，可以很好地克服機器人工件抓取[5]時的遲滯現(xiàn)象。

圖1 機器視覺系統(tǒng)的基本構(gòu)成Fig.1 Basic structure of machine vision system

1.1 圖像精確定位技術(shù)簡介

圖像及其特征的精確定位是機器視覺系統(tǒng)的重要功能，定位技術(shù)直接影響抓取時的準(zhǔn)確度，是工業(yè)機器人工件抓取環(huán)節(jié)的重要技術(shù)，目前定位精度較高的是三維定位技術(shù)，用雙目立體視覺系統(tǒng)可實現(xiàn)目的，定位目標(biāo)的三維坐標(biāo)，建設(shè)三維坐標(biāo)系，提高定位的準(zhǔn)確度，機器人抓取環(huán)境較復(fù)雜時，與二維定位技術(shù)相比，三維定位技術(shù)[6]能夠識別三維坐標(biāo)的信息，根據(jù)具體的場景調(diào)整坐標(biāo)系，調(diào)整現(xiàn)實坐標(biāo)系與圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系，對不同規(guī)格或形狀的工件圖像處理和識別，滿足生產(chǎn)線的高精確定位需求，利用現(xiàn)實坐標(biāo)系和圖像坐標(biāo)系的轉(zhuǎn)化，得到目標(biāo)在圖像坐標(biāo)系中的位置信息，可使機器人抓取目標(biāo)的準(zhǔn)確性得到很大提高。

1.2 機器視覺圖像處理及特點

機器視覺系統(tǒng)憑借不同形式的客觀測量獲取圖像，對工件外形的準(zhǔn)確描述和識別[6-7]，有邊緣或特征點提取、曲線分割和分段匹配等常用圖像處理步驟，圖像采集、形狀匹配和位置補正的圖像識別和處理環(huán)節(jié)，常會受到傳感器靈敏度、噪聲干擾、模數(shù)轉(zhuǎn)換的量化問題等影響因素，導(dǎo)致圖像無法識別，催生圖像增強技術(shù)，機器視覺引導(dǎo)下的圖像處理技術(shù)，通常是利用灰度處理技術(shù)、濾波處理技術(shù)和二值化處理技術(shù)等，促使圖像處理質(zhì)量得到極大提升，并且能和工業(yè)機器人軌跡編程很好的協(xié)作，就能實現(xiàn)智能的抓取。

1.3 自動抓取工件技術(shù)

要找準(zhǔn)工件的幾何位置，需利用相機成像的幾何模型，在圖像中建立對應(yīng)點之間的相互關(guān)系，因為大部分工件是由方形或圓形等簡單幾何形狀組合組成，其外邊界邊緣多為規(guī)范的線性與曲線；所以在構(gòu)建工件識別特征集合時，可通過提取圖像中工件的幾何特征量作為識別特征參數(shù)，如工件的形心、邊緣和曲率等特征[7]，是識別和抓取工件的重要信息，通過指定工件并確定其圖像在模板中的具體位置，可使識別算法簡化，在機器視覺與圖像處理系統(tǒng)的指引下，提升工業(yè)機器人抓取工件的自主性，工作效率及工作質(zhì)量得到更大保障，有機器視覺的自動抓取技術(shù)，機器人工作時的過多人工干預(yù)將會減少，產(chǎn)線運轉(zhuǎn)效率得到提高。

2 抓取系統(tǒng)與坐標(biāo)系介紹

2.1 機器人功能實訓(xùn)臺抓取原理

對兩個傳動帶上的工件進行抓取如圖2所示，工業(yè)機器人功能實訓(xùn)臺工件抓取環(huán)節(jié)，按照預(yù)先設(shè)定的模板位置，就是每次抓取一個工件放置的位置；平面上是與工件輪廓相似度最高的位置，高度上是與設(shè)定的模板位置高度一致的位置，按照相同方向抓取并碼放，傳送帶末端設(shè)置有顏色傳感器，按照兩種不同顏色分類放置，碼放在兩個托盤上，該處用單臂機器人取代人工，實現(xiàn)工件的自動碼放功能，視覺系統(tǒng)主要由硬件系統(tǒng)與軟件系統(tǒng)組成，如圖3所示，機器人視覺系統(tǒng)的常見功能有監(jiān)控、檢測、測量、定位和識別等[7]，導(dǎo)入視覺與圖像技術(shù)，可達到精準(zhǔn)定位、穩(wěn)定碼放和可靠運行的目標(biāo)。

圖2 機器人工件抓取實訓(xùn)臺Fig.2 Robot workpiece grabbing training platform

圖3 視覺系統(tǒng)的總體框架圖Fig.3 General frame diagram of visual system

2.2 抓取系統(tǒng)坐標(biāo)系介紹

相機利用成像投影的優(yōu)劣取決于相機成像的精度和圖像處理技術(shù)，視覺坐標(biāo)系如圖4所示。

圖4 抓取系統(tǒng)的坐標(biāo)系關(guān)系Fig.4 Relation of coordinate system of grabbing system

工業(yè)機器人在進行坐標(biāo)轉(zhuǎn)換時，需要有圖像坐標(biāo)系、相機坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換，目的是將圖像中的目標(biāo)工件的圖像坐標(biāo)位置，轉(zhuǎn)換為世界坐標(biāo)中的位置；保證機器人進行抓取的時候操作，參數(shù)環(huán)境的一致，實際的物理坐標(biāo)系，有兩種單位表示方式，用（u，v）和（x，y）表示分別是像素單位和實際物理長度單位，x，y軸分別平行于u，v軸，以工業(yè)相機為中心建立相機坐標(biāo)系（Xc，Yc，Zc），定義相機透鏡的中心稱為光心為坐標(biāo)系原點，設(shè)為Oc點；Xc與Yc的兩條坐標(biāo)軸線平行于圖像平面，另一條軸線Zc，則垂直于圖像平面；與圖像平面的交點為相機的焦點，在圖像坐標(biāo)系上的坐標(biāo)點為（u0，v0）；目標(biāo)點P 在攝像機坐標(biāo)系[8]下的坐標(biāo)點為Pc（Xc，Yc，Zc），世界坐標(biāo)點（Xw，Yw，Zw），是客觀世界的絕對坐標(biāo)，用來描述目標(biāo)物體的實際位置，視覺系統(tǒng)中的相機與世界的坐標(biāo)系之間的轉(zhuǎn)化關(guān)系如下：

3 輪廓圖像技術(shù)的應(yīng)用

3.1 二值化輪廓圖像技術(shù)介紹

二值化的輪廓提取，是對于一幅背景為黑色，目標(biāo)為白色的二值圖像，在圖像中找到一個白色點，將其內(nèi)置為白色，然后保持白色不變，輪廓提取步驟：首先，啟動程序，工業(yè)相機采集一張圖片；通過計算機內(nèi)的圖像處理算法對獲取到的圖片進行圖像特征信息的識別與分析算法，將目標(biāo)工件從圖片中提取出來，借助圖像的矩特征，計算圖像的質(zhì)心坐標(biāo)和旋轉(zhuǎn)角度；提取出的坐標(biāo)、角度和形狀信息等作為參數(shù)，利用局域網(wǎng)總線傳送至試驗臺的控制器[9]中，通過控制器控制機器人執(zhí)行相應(yīng)操作，利用機器人示教將工件放置到托盤上，實現(xiàn)工件的抓取；最后，通過機器人將工件實現(xiàn)分類抓取和擺放后，機器人的控制器送回一個結(jié)束信號，機器人的視覺系統(tǒng)就再一次采集圖像，工件的輪廓框線繪制如圖5所示。

圖5 矩形工件輪廓特征框線的繪制Fig.5 Drawing the outline of rectangular workpiece

3.2 工件在模板上的放置位置

在圖像測量過程和機器視覺作用時，空間的三維景物利用相機成像投影到相機的二維成像平面，需構(gòu)建相機成像的幾何模型，模型參數(shù)均為相機參數(shù)，必須通過實驗與計算才能得到，求解參數(shù)的過程稱作相機標(biāo)定，其作用是讓空間中三維景物坐標(biāo)點與二維圖像像素點之間建立對應(yīng)的關(guān)系[10]，常見的相機標(biāo)定方法有3種：傳統(tǒng)相機標(biāo)定法、主動視覺相機標(biāo)定法和相機自標(biāo)定法，例如建立了工件在世界坐標(biāo)系中的位置，同時也建立了與圖像坐標(biāo)系中的位置對應(yīng)關(guān)系，標(biāo)定是整個系統(tǒng)準(zhǔn)確工作的前提條件，其好壞直接影響抓取的精度，借助攝像機對物體進行全面的圖像采集，再對圖像進行系統(tǒng)的分析，根據(jù)分析結(jié)果傳遞給控制器，機器人就能做出準(zhǔn)確的動作，確保生產(chǎn)工作的順利進行，工業(yè)機器人視覺軟件系統(tǒng)，可以先做模板后標(biāo)定，再做實時拍照識別。工件在P1位置的4個坐標(biāo)點如表1所示，其余3個工件相機標(biāo)定與之類似；實驗功能臺要求每個托盤每層放置4個工件，4個工件的標(biāo)定位置如圖6所示，機器人的標(biāo)定在離線編程技術(shù)環(huán)節(jié)將各規(guī)定設(shè)定好，這里不作過多說明。

3.3 機器人工件抓取的控制流程

圖7表示的是視覺系統(tǒng)與機器人工件抓取過程的控制流程，先將視覺系統(tǒng)內(nèi)外參數(shù)進行正確的標(biāo)定，圖像采集環(huán)節(jié)采用光電傳感器觸發(fā)相機采集傳動帶上的工件圖像，然后對圖像進行預(yù)處理和圖像分割，視覺軟件根據(jù)設(shè)置進行圖像識別獲得像素，判斷得到正確的工件后，標(biāo)定工件需要在托盤上放置的精確位置，抓取動作通過軌跡編程和PLC編程共同實現(xiàn)工件的精確放置。

表1 P1位置的輪廓4坐標(biāo)點Tab.1 Contour 4 coordinate point at P1

圖6 4 工件在模板上的預(yù)設(shè)位置Fig.6 Bottom position of workpiece on formwork

圖7 實訓(xùn)臺機器人與視覺圖像技術(shù)的協(xié)作控制流程Fig.7 Cooperative control flow chart of robot and visual image technology in training station

4 結(jié)語

實際運行的工件抓取控制效果如圖8所示。

圖8 機器人工件抓取后的碼放效果Fig.8 Stacking effect of robot parts after grasping

經(jīng)過反復(fù)工件抓取實驗，工件抓取后放置的位置偏差均在5 mm 左右，配置機器視覺系統(tǒng)的機器人抓取工件有明顯的精確優(yōu)勢；論文中實證了采用視覺圖像技術(shù)與機器人協(xié)作抓取方法，可以達到較高的精度要求，展望未來，工業(yè)機器人要能更便捷的智能抓取，視覺圖像技術(shù)與機器人工件抓取的協(xié)作性方向集中在3個方面：①視覺圖像系統(tǒng)的要有更廣泛的兼容性，才能與眾多的系統(tǒng)集成軟件兼容；②視覺圖像軟件需要有編程和操作方便簡潔、直觀的圖形界面，需具備完善的視覺和圖像工具集；③要拓寬機器視覺圖像系統(tǒng)可應(yīng)用場合，最好能從相機拓展到監(jiān)控系統(tǒng)。