機器人遠程控制中的視覺建模與仿真引導(dǎo)策略研究

郭寧波，張偉軍，蔣如飛

(上海交通大學機械與動力工程學院 ,上海 200240)

0 引言

隨著經(jīng)濟發(fā)展與科技進步，機器人越來越多地應(yīng)用于工業(yè)生產(chǎn)、特種任務(wù)、家庭作業(yè)等諸多場景。特別是在一些危險任務(wù)中，機器人扮演著非常重要的角色，有效地減少了傷亡事故，提高了工作效率，降低了經(jīng)濟損失[1]。但由于機器人的發(fā)展還未達到理想水平，無法具有完全的自主智能，所以由人對機器人實行遠程操控，利用攝像頭等傳感器反饋現(xiàn)場信息，佐以部分的智能算法，是現(xiàn)在的主流控制方法[2]。

但由于攝像頭反饋的現(xiàn)場圖像信息不可避免地具有死角，而且受限于攝像頭的位姿狀態(tài)，影響觀測視角，對遠程操控帶來了諸多不便，甚至還會引發(fā)重大安全事故。

為解決傳統(tǒng)機器人遠程控制方法的弊端，本文研究了利用雙目相機對作業(yè)現(xiàn)場實時仿真建模的控制系統(tǒng)。雙目相機對現(xiàn)場作業(yè)目標進行觀測，反饋深度圖與灰度圖，利用視覺算法，推算出相機與目標的相對位置，實時地在控制軟件中進行虛擬仿真建模。再通過坐標系變換，推算出目標與作業(yè)機器人之間的相對位置，最后在操作界面上做出提示，引導(dǎo)操作者完成對機器人的遠程控制。

1 機器人作業(yè)平臺

機器人作業(yè)平臺包括載體承重平臺，主、從機械臂系統(tǒng)，帶有雙目相機的觀測臂，裝有專用末端工具的支架等。系統(tǒng)整體如圖1所示。

圖1 機器人作業(yè)平臺

作業(yè)任務(wù)是將平臺由載體平臺送至高空中高壓線附近，再遠程控制機械臂，將線夾放置于高壓線的裸露部分。由于載體平臺只能將作業(yè)平臺送至大約位置，即高壓線與作業(yè)平臺的相對位置并不固定，而且基于平臺的平穩(wěn)性需求，載體平臺完成運動后就立即鎖死，無法進一步微調(diào)，所以剩下的作業(yè)無法提前示教完成，需要由人遠程控制主、從機械臂完成任務(wù)，這對操作人員的臨場操作能力有很大的考驗。

為簡化操作流程，降低控制難度，本文使用雙目相機對高壓線進行觀測，解算出高壓線與雙目相機的相對位置關(guān)系，在操作界面上實時仿真顯示出來，并利用運動學規(guī)劃算法推算出作業(yè)目標位姿，引導(dǎo)操作者完成操作。主要流程如圖2所示。

圖2 作業(yè)流程

2 雙目視覺算法

雙目視覺算法是利用2個左右平行放置的相機，模擬人類視覺原理，使用雙目視覺補償合并計算的方法[3-4]。一般視覺算法只是對二維圖像進行算法處理，雙目立體視覺算法是利用雙目相機獲取的2張二維圖像，基于視差原理，計算獲取物體的三維信息，對物體的三維形狀進行建模。

2.1 立體視覺幾何原理

由于左、右相機擺放位置不同，同一目標點在相機中的成像肯定存在差異，和人類視覺原理類似，這部分成像的坐標差，通常被稱為視差，其視覺原理如圖3所示。利用左、右2個相機在同一時刻拍下目標點P(x,y,z)的圖像，設(shè)左相機和右相機上的圖像坐標分別為P左=(x左,y左)，P右=(x右,y右)。假定兩攝像機在同一個平面上，則特征點P的左右圖像的坐標y坐標相同，統(tǒng)一記作y，設(shè)相機焦距為f，基線距為B，則由三角幾何關(guān)系可得

圖3 雙目立體視覺原理

(1)

則視差為

D=x左-x右

(2)

由此可計算出P在雙目相機坐標系下的三維坐標為

(3)

2.2 雙目校正

由于制造、裝配等原因，相機的位置和姿態(tài)存在一定的誤差，而這些誤差會影響立體建模的精度，因此需要對雙目系統(tǒng)參數(shù)進行校正。

相機標定的參數(shù)可以分為內(nèi)參和外參。內(nèi)參包括相機的焦距、像素點大小和相機畸變屬性等，用于像素坐標系和相機坐標系間的轉(zhuǎn)換。外參主要描述相機的空間位置，即相對于世界坐標系的旋轉(zhuǎn)矩陣和平移向量。雙目校正是根據(jù)攝像頭標定后獲得的單目內(nèi)參數(shù)據(jù)和雙目外參數(shù)據(jù)，分別對左右視圖進行消除畸變和行對準，使得左右視圖的成像兩攝像頭光軸平行，原點坐標一致，對極線行對齊、左右成像平面共面，將左右視圖調(diào)整成完全平行對準的理想形式[5]。

雙目立體匹配中，利用極線約束法可限制對應(yīng)點的搜索一定落在對應(yīng)圖像相應(yīng)極線上，可將搜索范圍進行降維，從二維降到一維，并可以進一步限制在一定的范圍內(nèi)，可有效降低匹配的搜索代價，提高算法運行效率。極線定義如圖4所示，其中Ol和Or為兩攝像機光心，Pl和Pr為P在兩成像平面的投影點，對極點el和er為兩相機光心連線與兩成像平面的交點，則OlOrP為對極平面，elPl和erPr為對極線。

圖4 極線定義

而雙目校正可將所有的極線水平并對齊，這樣在沿極線搜索時，只需沿著單個軸進行搜索即可，其沿該坐標軸坐標的差值即為二者的視差，雙目校正后的極線效果如圖5所示。

圖5 規(guī)范化極線機構(gòu)方式示意

本文使用arUco標定板，該標記的外圍都有一組黑色邊框，同時內(nèi)部有確定該標記ID的二維矩陣，黑色的邊框能加速標記在圖像中的檢測速度，內(nèi)部的二維編碼能提供唯一識別該標記，同時進行錯誤檢測和錯誤修復(fù)。標記的大小確定了內(nèi)部矩陣的大小，例如4×4大小的標記有16個bit。其檢測結(jié)果返回圖片中4個角點的位置以及標記的ID號。利用左、右相機粗略平行擺放后對標定板進行拍攝，由于已知兩者成像之差，再微調(diào)相機位置進行校正。

校正后，左右極線水平對準，2條極線即兩光軸相互平行，成像平面共面，兩極點相交于無窮遠處，有效降低誤差，并提高計算效率。

3 仿真與引導(dǎo)系統(tǒng)

3.1 作業(yè)現(xiàn)場仿真

作業(yè)環(huán)境建模分為2部分，第1部分是既定的作業(yè)平臺的虛擬建模，使用3D MAX畫圖軟件對作業(yè)平臺中的載體平臺、機械臂、支架、專用工具進行1∶1的建模，再導(dǎo)出為obj格式，才可以被仿真平臺支持，在導(dǎo)出時需設(shè)定模型的原點和旋轉(zhuǎn)軸，并不可直接設(shè)定為模型的質(zhì)心，而是要根據(jù)現(xiàn)實中物體真實的旋轉(zhuǎn)軸進行設(shè)定，否則導(dǎo)入后實現(xiàn)的旋轉(zhuǎn)與真實旋轉(zhuǎn)相悖。模型導(dǎo)入仿真平臺后，按現(xiàn)實中的相對位置進行組合，還原作業(yè)平臺中物體的擺布，虛擬仿真與現(xiàn)實對照如圖6所示。

圖6 虛擬仿真與現(xiàn)實對照

仿真平臺與機器人實現(xiàn)通信后，利用機器人傳回的各個關(guān)節(jié)角度信息，設(shè)定虛擬機器人對應(yīng)關(guān)節(jié)的角度，實現(xiàn)實時的虛擬仿真同步效果。

第2部分是高壓線的建模，利用雙目視覺算法，對現(xiàn)場采集的深度圖與灰度圖進行處理，運用目標識別技術(shù)，可利用高壓線特征提取目標點位，獲得高壓線與雙目相機的相對位置關(guān)系。再通過一系列的坐標轉(zhuǎn)換，由高壓線點位相對于雙目相機坐標系轉(zhuǎn)換到作業(yè)平臺坐標系，最后轉(zhuǎn)換到虛擬模型全局坐標系，獲得高壓線在虛擬環(huán)境坐標系中的位置信息。

在仿真平臺中，利用點位信息，初始化預(yù)先保存的高壓線模型，實時在操作界面上進行顯示，流程如圖7所示。利用虛擬仿真技術(shù)還原現(xiàn)場信息，經(jīng)測量，誤差在1 cm以內(nèi)，線徑為1.77 cm，精確度滿足要求。

圖7 基于雙目相機的三維重建流程

高壓線實際在高空中并不是完全張緊，由于重力的緣故，出現(xiàn)部分彎曲的情況，所以必須采集多個位置點位，才可以滿足精確性要求。但由于渲染引擎的限制，過多的點位會造成系統(tǒng)資源不足，實時顯示會出現(xiàn)頓卡，影響操作體驗，所以需要調(diào)整返回的點位數(shù)量，尋求最佳解。

當采集的點位過于稀疏時,可能會造成高壓線的虛擬建模不連續(xù)，破壞仿真效果，系統(tǒng)會在線檢測缺失的高壓線部分，用兩邊點位進行插值處理，再重新按上述步驟生成三維模型，使得仿真效果盡可能真實。

虛擬仿真相較于直接相機觀察的優(yōu)勢在于可以實時對場景無死角地進行觀察。通過移動仿真平臺中的虛擬相機，改變虛擬場景在操作界面的投影顯示，實現(xiàn)全方位的觀測。

3.2 在線引導(dǎo)策略

通過事先進行的示教實驗，可以求得機械臂能夠在高壓線上運作的可行操作范圍，并與3.1節(jié)得到高壓線位置關(guān)系進行匹配，得出實際操作范圍，并在仿真模型中進行顯示，利用提示框圈出，實際模型材質(zhì)修改為醒目的紅色，如圖8所示。

圖8 在線引導(dǎo)輔助運行顯示

線夾的放置要求線夾按照固定的位姿才可安全、順利地放置于高壓線之上，所以在虛擬仿真界面要顯示出目標位姿與當前位姿，將抽象的數(shù)據(jù)信息具象化，這是傳統(tǒng)遠程操控利用攝像頭無法獲取的，也是本系統(tǒng)的一大優(yōu)勢。確定位置后，對兩者進行連線，實時顯示在操作界面中，并顯示兩者三維坐標的差值，提示操作者末端移動的正確性。

由于此作業(yè)屬于特種作業(yè)范疇，作業(yè)時高壓線不斷電，所以要求控制系統(tǒng)必須采用遙控方式，并設(shè)定應(yīng)急措施，防止危險情況發(fā)生。操作者操控機械臂末端，在虛擬仿真模型的引導(dǎo)下，將線夾放置于高壓線上的目標位置，完成任務(wù)。

4 實驗驗證

通過實驗，對上述算法應(yīng)用于控制策略設(shè)計進行驗證。首先利用雙目相機獲取目標物體的深度圖與灰度圖，如圖9所示。

圖9 相機獲取灰度圖與深度圖

然后對深度圖進行特征圖像匹配，獲取多段高壓線的空間位置信息，結(jié)果如圖10所示。

圖10 灰度圖特征處理結(jié)果

將反饋得到的點位信息輸入仿真平臺，對其進行仿真建模，根據(jù)顯示的虛擬模型與實物進行對比，發(fā)現(xiàn)虛擬建模共使用28個節(jié)點信息，其中有2個點位發(fā)生明顯偏移，造成連線不光滑，如圖11所示，對其進行忽略處理后，與實物基本保持一致。

圖11 虛擬仿真

5 結(jié)束語

設(shè)計了基于雙目視覺的實時仿真機器人遠程控制系統(tǒng)，經(jīng)過多次實驗，證明該機器人可由操作者順利地完成指定任務(wù)，操作簡便，安全可靠，很好地達到了預(yù)期。雙目視覺精度在1 cm以內(nèi)，實時仿真系統(tǒng)并未出現(xiàn)頓卡，而且可以對作業(yè)現(xiàn)場的虛擬模型進行零死角的觀測，相較于傳統(tǒng)攝像頭觀測更具臨場感。控制策略中的實時引導(dǎo)功能極大地增加了控制系統(tǒng)的交互性，簡化操作流程，提高了工作效率，在傳統(tǒng)機器人遠程控制模式基礎(chǔ)上實現(xiàn)了創(chuàng)新。