面向數(shù)字孿生的工業(yè)機械臂手眼標定方法的研究

喬峰麗,苗鴻賓,2,紀慧君,張偉,蘇赫朋

(1.中北大學機械工程學院,山西太原 030051； 2.山西省深孔加工工程技術(shù)研究中心， 山西太原 030199)

0 前言

智能制造的出現(xiàn)和發(fā)展使得機械臂成為工業(yè)領(lǐng)域生產(chǎn)制造等自動化生產(chǎn)任務的主力，因此機械臂智能制造相關(guān)技術(shù)的研究具有重要意義。目前機械臂的抓取方式普遍使用離線編程,存在視覺識別準確率低以及自主避障能力弱等問題。人類即使在復雜變化的環(huán)境中也可以本能、準確、穩(wěn)定、快速地執(zhí)行抓取任務，但這對于機械臂來說仍然是一項具有挑戰(zhàn)性的工作[1]。機械臂運動學模型是機械臂本體多關(guān)節(jié)之間的坐標系轉(zhuǎn)換，但機械臂本體無法做到自主檢測到空間中某個物體，因此需要求解世界坐標系與視覺相機所在坐標系的位置關(guān)系，最終實現(xiàn)機械臂在視覺相機的輔助下抓取物體[2-3]。傳統(tǒng)標定方法存在標定誤差大、精度低以及標定過程復雜的問題[4-5]，本文作者針對以上問題提出了一種面向數(shù)字孿生的手眼標定方法，保證了工件抓取的識別精度和抓取精度以及對環(huán)境中障礙物的識別和躲避功能。

1 機械臂手眼標定方法

1.1 機械臂結(jié)構(gòu)參數(shù)

文中研究對象為六自由度串聯(lián)型機械臂。該型機械臂具有外形結(jié)構(gòu)、體積輕巧的優(yōu)良特點，尤其在小單元范圍中能夠保持高精度和高速作業(yè)，最大載質(zhì)量為6 kg，在自動化生產(chǎn)線中具有良好的工作表現(xiàn)。工業(yè)機械臂本體及連桿坐標系如圖1所示。

圖1 JL8工業(yè)機械臂

1.2 手眼標定方法

在進行手眼標定實驗之前，需要確定TCP標定精度。根據(jù)線性空間相鄰坐標系變換原則[6]，機械臂末端相對于基座的坐標變換映射如下：

(1)

當增加工具坐標系用來標定實驗時，上式坐標變換改寫為

(2)

當操作機械臂使末端標定針以不同姿態(tài)與標定臺標定針標定2次時，根據(jù)上式有：

(3)

按照上述模式列出多次標定次數(shù)下的齊次方程組為

(4)

化簡上式有：

(5)

結(jié)合2次標定求解TCP原理，從上式可以看出，當且僅當上式系數(shù)矩陣滿秩的情況下才能保證有唯一解。

根據(jù)曲線擬合中最小二乘法原則[7]，上述擬合非齊次線性方程組問題等價為

(6)

判斷上述精度問題可以用式(7)描述：

(7)

文中機械臂視覺相機的安裝方式是固定在機械臂以外的固定位置，故需確定機械臂坐標系和相機所在坐標系之間的位置關(guān)系。為了便于后續(xù)論述，現(xiàn)規(guī)定世界坐標系為Base，機械臂末端執(zhí)行器相對于基座所在的坐標系為B-end，相機坐標系為Camera，標定臺所在坐標系為Object。各坐標系相對位置如圖2所示。

圖2 機械臂手眼標定相對位置關(guān)系

可以看出，相機和機械臂基座坐標系是固定不變的，同樣標定臺相對于機械臂末端之間的坐標變換也是不變的。故存在以下不變量：

(8)

當機械臂進行2次運動，相機運動2次時有：

TB-end1→BaseTBase→CameraTCamera→Object1=TB-end2→Base·

TBase→CameraTCamera→Object2

(9)

對式(9)化簡后為

(TB-end2→Base)-1TB-end1→BaseTBase→Camera=TBase→Camera·TCamera→Object2(TCamera→Object1)-1

(10)

為了簡化公式，令：

AB=(TB-end2→Base)-1TB-end1→Base

X=TBase→Camera

B=TCamera→Object2(TCamera→Object1)-1

簡化后的式(10)改寫為

ABX=XB

(11)

上述方程為齊次線性方程組的求解，其中具有代表性的解法為李群代數(shù)求解法[8]。文中為了得到唯一解采用取值法，即分別移動機械臂和相機3次進行標定實驗，得到機械臂基座相對于末端執(zhí)行器的3次坐標變換：

(12)

以及3次相機標定相對于初始位置的坐標變換：

(13)

由于上述坐標變換為已知，根據(jù)一一對應關(guān)系可求解TBase→TCamera，即機械臂基座相對于相機的坐標變換。值得注意的是，由于實驗室機械臂的特殊安裝方式和便于簡化計算，此實驗的機械臂世界坐標系和機械臂第2個連桿所在的坐標系重合。

由于通過3D相機掃描出來的點云生成的模型不完整[9]，在抓取過程中只能識別單面，而希望當工件無序擺放時，只有正面朝上工件能被識別抓取，反面朝上則不能抓取工件。所以選擇3D掃描儀生成的模型進行后續(xù)抓取點以及抓取位姿的標定。通過掃描得到的某待抓取物3D點云和3D掃描儀生成的點云如圖3所示。

圖3 點云圖像

2 機械臂數(shù)字孿生模型

文中以JL8工業(yè)機械臂作為研究對象構(gòu)建了針對工件抓取的視覺抓取系統(tǒng)。文中構(gòu)建的數(shù)字孿生數(shù)據(jù)流分為交互層、數(shù)據(jù)處理層和數(shù)據(jù)傳輸層。根據(jù)分層策略規(guī)則各層數(shù)據(jù)遵循向下可見原則[10-11]。交互層包括示教器示教物理空間以及虛擬空間中的機械臂，使它能夠移動、抓取、顯示實時環(huán)境狀況、碰撞檢測等功能，數(shù)據(jù)處理層負責機械臂正逆解求解、路徑生成、最短路徑計算、工件識別、工件抓取點計算、指令生成，數(shù)據(jù)傳輸層負責虛擬孿生環(huán)境和物理空間之間數(shù)據(jù)的交換、傳輸。數(shù)字孿生系統(tǒng)框架如圖4所示。

圖4 機械臂數(shù)字孿生框架Fig.4 Digital twin frame of manipulator

物理機械臂系統(tǒng)是由機械臂實體、視覺相機、各種傳感器、待抓取工件以及控制器組成。物理機械臂抓取過程可以實時映射到虛擬孿生系統(tǒng)中，同時物理機械臂在執(zhí)行任務過程中受到虛擬空間指令的控制。

虛擬機械臂系統(tǒng)是物理抓取系統(tǒng)在虛擬空間中多維度、全要素的鏡像。虛擬抓取系統(tǒng)不僅包含物理系統(tǒng)中的幾何模型、物理模型以及相關(guān)數(shù)據(jù)，還包含系統(tǒng)內(nèi)部的行為約束。通過虛擬系統(tǒng)對抓取任務的仿真、迭代優(yōu)化、實驗驗證以及和物理機械臂系統(tǒng)的實時信息交互、數(shù)據(jù)映射實現(xiàn)對物理機械臂系統(tǒng)的控制、預測。

信息服務平臺用來管理和組織整個抓取系統(tǒng)，通過與物理、孿生系統(tǒng)的數(shù)據(jù)交互實現(xiàn)抓取任務的優(yōu)化。物理機械臂抓取過程中產(chǎn)生的數(shù)據(jù)、虛擬機械臂抓取系統(tǒng)產(chǎn)生的仿真數(shù)據(jù)以及信息服務平臺產(chǎn)生的關(guān)系數(shù)據(jù)通過不斷優(yōu)化完善可以更好地驅(qū)動三者之間的交互。

3 基于數(shù)字孿生的碰撞檢測框架

機械臂碰撞檢測通常與被抓取工件、機械臂本體以及環(huán)境中的其他元素有關(guān)，通過對物理空間機械臂本體的虛擬仿真實現(xiàn)了對真實環(huán)境的實時動態(tài)感知，實現(xiàn)碰撞的實時檢測[12]。包圍盒的重疊思想是通過比對各方向的最大值和最小值來判斷碰撞可能[13-14]。首先需定義2個零部件的在空間中的區(qū)間范圍，若滿足如下條件則可判斷2個物體重疊：

xa-MIN≤xb≤xa-MAX

ya-MIN≤yb≤ya-MAX

za-MIN≤zb≤za-MAX

(14)

基于數(shù)字孿生的碰撞檢測框架如圖5所示。

圖5 基于數(shù)字孿生的機械臂碰撞檢測框架Fig.5 Collision detection framework of manipulator based on digital twinning

4 機械臂抓取實驗

針對上述提出的手眼標定和模板匹配方法引導工業(yè)機械臂進行抓取實驗的驗證。此實驗抓取對象為鑄鐵工件，工件隨意擺放在識別區(qū)域，通過激光線掃描工件的3D點云并與模板庫中的工件模板進行匹配，根據(jù)手眼標定方法計算抓取位姿并發(fā)送給機械臂完成抓取并放置工件的任務。其中的虛實環(huán)境的通信通過PLC協(xié)議使用ControlStudio獲取并發(fā)送關(guān)節(jié)數(shù)據(jù)到CoppeliaSim仿真平臺控制虛擬機械臂的運動。抓取過程中虛擬空間和上位機控制界面如圖6所示。

圖6 抓取過程演示Fig.6 Capture process demonstration：(a)virtual space; (b) control interface

為了增加機械臂系統(tǒng)處理難度,在機械臂工作區(qū)域隨意擺放3個工件，且其中1個為反面放置，另外2個工件傾斜放置。機械臂移動到工件位置、調(diào)整抓取位姿如圖7所示。當機械臂抓取工件后，要求它放置指定工位。由于工位的特殊性，要求機械臂以特定位姿放置。

圖7 機械臂調(diào)整示意Fig.7 Manipulator adjustment signal:(a) grasping position;(b) placement of workpiece

為了驗證文中相機標定方法和模板匹配方法的優(yōu)良性，將待抓取工件放置在工作區(qū)域，機械臂運動到抓取坐標并讀取示教器中的坐標與姿態(tài)。同時控制視覺相機掃描工作區(qū)域并記錄視覺系統(tǒng)中的工件抓取坐標，計算兩者的距離作為誤差。實驗采取了80組數(shù)據(jù)，其中5組數(shù)據(jù)如表1所示。

表1 精度與處理時間Tab.1 Precision and processing time

從實驗結(jié)果可以看出，相較于傳統(tǒng)工業(yè)領(lǐng)域0.1 mm的標定精度，文中提出的手眼標定算法的定位精度在0.01～0.05 mm之間。因此，文中提出的方法具有抓取精度高、效率高、位置誤差小等優(yōu)勢。從視覺相機識別待抓取工件到機械臂開始運動時間在5.2 s左右，為了保證視覺相機的準確掃描，故設(shè)定相機掃描時間為5 s，計算抓取路徑時間為0.2 s左右。無序狀態(tài)下成功抓取工件并正確放置工件的成功率在100%。由于光照情況會影響相機對物體的識別，在不同光照條件下50次實驗中的整體抓取成功率可達92%。

5 結(jié)語

根據(jù)實驗室現(xiàn)有實驗環(huán)境提出新的手眼標定方法，對視覺標定方法進行了系統(tǒng)概述，給出了標定方法的數(shù)學模型及基本原理，基于上述理論方法給出了手眼標定基本操作流程，同時實現(xiàn)了物理空間和虛擬空間的實時交互功能，能夠更直觀地觀察實驗情況，最后通過工件抓取實驗驗證了該方法的正確性。從實驗結(jié)果可以看出：文中提出的手眼標定方法引導機械臂抓取工件的方法精度高，具有良好的抓取性能，可以應用在相關(guān)的精度要求高的工業(yè)領(lǐng)域。