基于圖像的無(wú)標(biāo)定機(jī)器人視覺伺服的研究

羅永超，李石朋，李 迪

（1.華南理工大學(xué)廣州學(xué)院 電氣工程學(xué)院，廣州 5 108002；2.華南理工大學(xué) 機(jī)械工程學(xué)院，廣州 510006）

0 引言

視覺伺服是研究如何將計(jì)算機(jī)視覺數(shù)據(jù)合理高效的運(yùn)用到機(jī)器人的控制過程中的工作[1]。常規(guī)的做法是根據(jù)標(biāo)定后的相機(jī)與機(jī)器人的手眼關(guān)系數(shù)據(jù)，對(duì)目標(biāo)（特征點(diǎn)）位置與當(dāng)前機(jī)器人末端位置的距離進(jìn)行估計(jì)，然后指引機(jī)器人朝向目標(biāo)運(yùn)動(dòng)。在這個(gè)過程中，伺服的效果和效率受到標(biāo)定精度、環(huán)境噪聲及設(shè)備性能（如圖像處理速度）的影響[2]，所以在實(shí)際應(yīng)用過程中，基于標(biāo)定的視覺伺服受到很大的限制，例如受不同因素的影響，即使在控制系統(tǒng)中運(yùn)用的標(biāo)定算法精度很高，但是在實(shí)際中性能所要求的模型也不容易得到，攝像機(jī)鏡頭由于存在畸變等因素，導(dǎo)致攝像機(jī)的標(biāo)定區(qū)域只能被限制在一定區(qū)域內(nèi)，系統(tǒng)的標(biāo)定結(jié)果有效是以滿足標(biāo)定條件為前提，在某些特定環(huán)境下難以對(duì)攝像機(jī)進(jìn)行標(biāo)定[3]。鑒于基于標(biāo)定的視覺伺服存在很多的問題，1994年Hosoda等[4]提出了無(wú)標(biāo)定視覺伺服，由于無(wú)標(biāo)定視覺伺服技術(shù)不需要對(duì)視覺伺服系統(tǒng)的參數(shù)進(jìn)行精確標(biāo)定,這不僅省去了繁瑣的系統(tǒng)標(biāo)定流程，而且使機(jī)器人視覺伺服系統(tǒng)在復(fù)雜工作環(huán)境的適應(yīng)性得到了加強(qiáng)，但是無(wú)標(biāo)定視覺伺服技術(shù)目前還主要局限于基于圖像的視覺伺服控制系統(tǒng)的理論研究，存在路徑規(guī)劃、快速性和抗擾性等方面的固有缺陷。

因此，本文在總結(jié)當(dāng)前機(jī)器人視覺伺服研究的基礎(chǔ)上，通過搭建MATLAB仿真平臺(tái)，對(duì)基于圖像的視覺伺服（IBVS），基于位置的視覺伺服（PBVS）和基于圖像無(wú)標(biāo)定的視覺伺服（UIBVS）三種控制系統(tǒng)就跟蹤目標(biāo)的運(yùn)動(dòng)軌跡，收斂速度和抗擾能力進(jìn)行了仿真對(duì)比分析，為進(jìn)一步提高UIBVS的收斂速度，優(yōu)化其路徑規(guī)劃，增強(qiáng)其控制系統(tǒng)的抗干擾能力提供了思路和理論基礎(chǔ)。

1 基于位置的視覺伺服控制系統(tǒng)

在基于位置的視覺伺服控制結(jié)構(gòu)中，給定的初始三維圖像期望位姿信息和經(jīng)過反饋得到的三維估計(jì)位姿信息都是以笛卡爾空間的形式出現(xiàn)，在笛卡爾空間中，控制系統(tǒng)的伺服任務(wù)是消除機(jī)器人末端執(zhí)行器和目標(biāo)物體間的相對(duì)位姿。利用傳感器對(duì)目標(biāo)物體進(jìn)行圖像信號(hào)采集，進(jìn)而構(gòu)建當(dāng)前的位姿信息，并將當(dāng)前位姿與期望位姿對(duì)比后將二者的差值傳輸給視覺控制器，形成閉環(huán)反饋[5,6]，其控制流程圖可用圖1表示。

圖1 基于位置的視覺伺服控制結(jié)構(gòu)

這種方法有笛卡爾空間軌跡最優(yōu)的特點(diǎn)，但在任務(wù)開始前需要對(duì)多個(gè)參數(shù)進(jìn)行標(biāo)定才能準(zhǔn)確的對(duì)目標(biāo)圖像進(jìn)行位姿構(gòu)建，包括相機(jī)內(nèi)參數(shù)、手眼關(guān)系、機(jī)器人模型、目標(biāo)圖像模型等[7,8]，標(biāo)定工作需要專門的技術(shù)[9]，且隨著任務(wù)的進(jìn)行其精度易受外部環(huán)境影響。

2 基于圖像的視覺伺服控制系統(tǒng)

基于圖像的視覺伺服控制系統(tǒng)，給定圖像特征信息與反饋圖像特征信息均是在圖像特征空間進(jìn)行定義，通過對(duì)系統(tǒng)得到的當(dāng)前圖像的特征與給定的期望圖像相關(guān)特征進(jìn)行比較，得到以上兩種圖像間的特征誤差關(guān)系，并將此誤差關(guān)系作為控制系統(tǒng)的輸入信號(hào)，形成了閉環(huán)反饋控制系統(tǒng)。控制信號(hào)通過對(duì)機(jī)器人進(jìn)行控制，使其末端執(zhí)行器通過不斷移動(dòng)，調(diào)整自己的位置，并實(shí)時(shí)比較當(dāng)前圖像與期望圖像特征誤差，直到檢測(cè)的特征誤差為0，末端執(zhí)行器停止運(yùn)動(dòng)，伺服任務(wù)完成{Piepmeier，2004 #44；Piepmeier,2004 #44；Chaumette,1998 #45}。由于使用這種伺服控制系統(tǒng)進(jìn)行控制時(shí)，圖像特征信息的處理是非常重要的一步，所以準(zhǔn)確完成圖像雅可比矩陣的求解是基于圖像的視覺伺服控制系統(tǒng)的重要任務(wù)[10]。相比于PBVS，IBVS的控制結(jié)構(gòu)更為簡(jiǎn)單，其只使用處理和提取特征后的圖像信息與二維圖像的期望特征進(jìn)行比較，而不需要進(jìn)行三維重構(gòu)，因此IBVS對(duì)于相機(jī)的標(biāo)定誤差有更高的魯棒性，且對(duì)二維信號(hào)的獲取不需要預(yù)先對(duì)相機(jī)及機(jī)器人的系統(tǒng)參數(shù)進(jìn)行標(biāo)定，從原理上IBVS更適合無(wú)標(biāo)定視覺伺服技術(shù)在實(shí)際工作中的應(yīng)用。

3 無(wú)標(biāo)定視覺伺服動(dòng)態(tài)控制系統(tǒng)模型構(gòu)建

本文采用“eye-in-hand”的機(jī)器人手眼關(guān)系[11]，針對(duì)所要跟蹤的目標(biāo)，我們把其相對(duì)于圖像上的實(shí)時(shí)位置定義為s（q，t）=[s1，s2，…，sm]T，它是一個(gè)既與時(shí)間t有關(guān)，又和關(guān)節(jié)q有關(guān)的復(fù)合函數(shù)；把定義為理想位置，則在圖像平面上視覺伺服任務(wù)的控制目標(biāo)可以通過以下目標(biāo)函數(shù)進(jìn)行描述[12,13]：

根據(jù)非線性方差最小化原理，視覺伺服策略推導(dǎo)過程如下：

動(dòng)態(tài)高斯-牛頓法下方差最小化函數(shù)：

將式(2)在（qk，tk）點(diǎn)展開泰勒級(jí)數(shù)：

此時(shí)E（q，t）具有最小值，對(duì)其求極值：

式中o（Δ2）—E（q，t）是關(guān)于時(shí)間和關(guān)節(jié)角增量的二階導(dǎo)數(shù)。

對(duì)上式合并整理后離散化得：

Δt—采樣周期,重新帶入并整理得：

式(6)是目標(biāo)物體的運(yùn)行速度，對(duì)誤差在下一時(shí)間增量時(shí)刻的矢量進(jìn)行線性預(yù)測(cè)。當(dāng)qk+1為0時(shí)，ek只與qk成函數(shù)關(guān)系，此時(shí)偏差速度與時(shí)間增量的乘積項(xiàng)為0。

圖像雅克比矩陣是機(jī)器人關(guān)節(jié)角的函數(shù)，利用“eye-in-hand”系統(tǒng)對(duì)運(yùn)動(dòng)物體進(jìn)行跟蹤時(shí)，當(dāng)機(jī)器手移動(dòng)，相機(jī)就跟隨它一起移動(dòng)，目標(biāo)圖像特征函數(shù)是既與機(jī)器人關(guān)節(jié)角有關(guān)，又和時(shí)間有關(guān)的復(fù)合函數(shù)[14]。由于攝像機(jī)一直在運(yùn)動(dòng)，所以系統(tǒng)所得到的圖像雅克比矩陣也在變化，需要實(shí)時(shí)估計(jì)圖像雅克比矩陣的變化量，因此，針對(duì)“eye-in-hand”系統(tǒng)，攝像機(jī)固定系統(tǒng)的無(wú)標(biāo)定視覺伺服算法已經(jīng)不能滿足系統(tǒng)的要求，需要新的算法。由式(6)，令：

4 仿真結(jié)果與分析

本文的仿真實(shí)驗(yàn)通過MATLAB2018b進(jìn)行，并使用了Peter Corke創(chuàng)建的machine vision toolbox和robotics工具箱[15]。仿真攝像機(jī)焦距為100mm，固定增益λ=0.125，圖像平面大小為640×480，此時(shí)圖像噪聲noise=0。

機(jī)器人與相機(jī)的相對(duì)位置結(jié)構(gòu)為EIH（eye-inhand）。虛擬相機(jī)視野中隨機(jī)目標(biāo)初始位置和期望位置如圖2所示，其中藍(lán)色圈表示相機(jī)初始位置，紅色星表示期望位置。

圖2 伺服任務(wù)中目標(biāo)位置與初始位置

為了研究在不同控制系統(tǒng)中機(jī)器人末端運(yùn)動(dòng)軌跡，收斂速度的優(yōu)化情況，在相同的仿真環(huán)境中，從隨機(jī)目標(biāo)中選取4組相互對(duì)應(yīng)的初始位置和期望位置，通過機(jī)器人末端在三種不同視覺伺服控制系統(tǒng)中從初始位置到期望位置的軌跡變化情況，收斂速度變化情況，進(jìn)行仿真對(duì)比分析。

圖3是在基于圖像、基于位置、基于圖像無(wú)標(biāo)定的視覺伺服控制系統(tǒng)中機(jī)械手末端從初始位置到期望位置的軌跡變化模擬情況。

圖3 機(jī)械手末端從初始位置到期望位置的軌跡變化模擬情況

通過對(duì)比可以發(fā)現(xiàn)，從相同的初始位置到期望位置，IBVS中機(jī)械手末端的軌跡路徑最優(yōu)，PBVS中機(jī)械手末端的軌跡路徑最差，在實(shí)際運(yùn)行環(huán)境中可能出現(xiàn)目標(biāo)超過視野范圍，導(dǎo)致伺服運(yùn)動(dòng)失敗。機(jī)械手末端在UIBVS與IBVS兩種控制系統(tǒng)中基本具備優(yōu)化程度非常相近的運(yùn)行軌跡，由上分析可得，與有標(biāo)定的視覺伺服控制系統(tǒng)相比，UIBVS的路徑規(guī)劃性能也比較好。

圖4是在基于圖像、基于位置、基于圖像無(wú)標(biāo)定的控制系統(tǒng)中機(jī)械手末端速度收斂的模擬情況，其中圖4(a)是PBVS的收斂情況，圖4(b)是IBVS的收斂情況，圖4(c)是UIBVS的收斂情況。

圖4 機(jī)械手末端從初始位置到期望位置的系統(tǒng)收斂模擬情況

通過對(duì)比可以發(fā)現(xiàn)，在不同控制系統(tǒng)中收斂速度差別較大，尤其是在PBVS和IBVS中伺服運(yùn)動(dòng)初始階段振蕩幅度較大，在實(shí)際環(huán)境中進(jìn)行視覺伺服可能會(huì)因目標(biāo)超出視野范圍而失敗。在UIBVS中速度變化方向基本一致，且較快收斂到零點(diǎn)，說(shuō)明UIBVS收斂特性最優(yōu)。

為了研究以上三種視覺伺服控制系統(tǒng)的抗干擾能力，在上述實(shí)驗(yàn)的基礎(chǔ)上，根據(jù)工業(yè)環(huán)境中噪聲特點(diǎn)，增加系統(tǒng)白噪聲noise=1，通過在相同條件下系統(tǒng)圖像誤差變化情況進(jìn)行比較，結(jié)果如圖5所示，其中圖5(a)圖是PBVS圖像誤差變化情況，圖5(b)是IBVS圖像誤差變化情況：圖5(c)是UIBVS圖像誤差變化情況，其中U、V分別表示不同特征點(diǎn)在x、y方向上圖像誤差。

圖5 噪聲環(huán)境中機(jī)械手末端從初始位置到期望位置的系統(tǒng)收斂模擬情況

分析圖中圖像變化情況可知，受噪聲的影響，PBVS在伺服過程中震蕩劇烈，最終伺服失敗，IBVS和UIBVS雖然完成了伺服任務(wù)，但在伺服初期圖像誤差變化起伏明顯，出現(xiàn)了較大的震蕩，如果要使基于圖像無(wú)標(biāo)定的視覺伺服系統(tǒng)得到更好應(yīng)用，需要增強(qiáng)其對(duì)噪聲的抗干擾能力和對(duì)環(huán)境的適應(yīng)性。

5 結(jié)語(yǔ)

本文在總結(jié)當(dāng)前機(jī)器人視覺伺服研究的基礎(chǔ)上，通過搭建MATLAB仿真平臺(tái)，對(duì)IBVS，PBVS和UIBVS三種控制系統(tǒng)就跟蹤目標(biāo)的運(yùn)動(dòng)軌跡，收斂速度和抗擾能力進(jìn)行了仿真對(duì)比分析，從仿真結(jié)果可以看出，基于圖像的無(wú)標(biāo)定視覺伺服系統(tǒng)具有較快的收斂速度，但其在路徑規(guī)劃和抗擾能力方面表現(xiàn)欠佳，需要進(jìn)一步優(yōu)化，這為接下來(lái)對(duì)UIBVS的進(jìn)一步的研究提供了方向，并奠定了一定的理論基礎(chǔ)。