機械手的雙目視覺定位抓取研究

摘要：隨著工業機器人應用的日益擴大，要重點關注和探討機器人視覺系統及其應用技術，進行機械手的手眼配置結構設計，通過雙目手眼機械手進行目標工件的定位抓取設計，體現其定位速度快、精準度高、柔性化和環境適應性特點，較好地適應工業智能化的視覺定位應用需求。

關鍵詞：機械手;雙目;視覺定位;抓取

一、引言

隨著工業智能化的發展，傳統機器人無法滿足現代工業智能化的高標準，要借助于雙目圖像處理與特征提取技術、機械手手眼標定技術、立體匹配技術和機械手控制技術，進行雙目手眼機械手的雙目視覺定位抓取設計和應用。

二、基于工業機械手的雙目視覺系統概述

雙目立體視覺是基于圖像視差原理，由兩個攝像機從兩個不同視點和角度獲取兩幅數字圖像，獲取三維場景中景物的三維幾何信息和三維空間立體圖像，重建周圍景物的三維立體形態。工業機械手的雙目視覺系統可以通過成像設備獲取機器人作業空間中物體的三維位置或姿態信息，分析、理解工業機械手的信息，使機械手自動執行特定的任務，成為工業機械手的“眼睛”。其內部構成包括有雙目攝像機圖像采集模塊、攝像機和機械手標定模塊、圖像處理模塊、立體校正和立體匹配模塊、三維信息提取模塊和工業機械手控制模塊。

工業機械手主要包括有機械部分、傳感部分和控制部分，以控制部分的控制器設計為核心，有不同的架構形式，如平面關節型、鏈式坐標型、圓柱坐標型、球坐標型、直角坐標型等，大多采用線性和旋轉型關節，并由伺服電機組成各個關節。文章重點研究六自由度鏈式關節型MOTOMAN-UP6機械手及雙目視覺控制系統。

三、機械手的雙目視覺定位抓取系統設計和應用分析

（一）機械手雙目視覺建模方法

為了更好地實現立體匹配，要進行機械手的雙目視覺系統建模和算法應用，可以根據工業機械手的實際應用特征采用D-H建模方法，確定機械手的位姿，即機械手的空間位置和姿態，需要設定三個位移坐標和三個旋轉坐標。通過機械手末端上固連的坐標系來描述機械手末端執行器在空間的位姿，對此可以采用齊次坐標變換方法，將機械手部位位姿或空間物體位姿轉換為基坐標系，并基于機械手位姿和齊次變換的前提進行速度分析，獲悉機械手工具末端速度與機械手各個關節變化速度之間的微分映射關系，通過機械手雅可比矩陣加以描述和表達。

（二）雙目立體匹配

要基于成像點的視覺差為前提，對雙目攝像機采集到的三維空間中物點的特征在兩個成像平面進行立體匹配，也即在不同的兩個成像平面上找到同一特征點的成像坐標，在確定立體匹配關系之后獲取相應匹配區域的視差圖像，得到三維空間所需物點的三維坐標，實現三維場景的目標視覺定位。

文章采用基于特征點的稀疏匹配和基于極線約束的圖像區域稠密匹配的方法，進行雙目立體匹配和定位抓取實驗。具體內容為：一是基于特征點的稀疏匹配方法。主要是利用特征拐點、圓心、邊緣角點、地標點等稀疏的特征信息為匹配基元，基于強特征點的信息進行對應匹配，體現出較大的不連續性和分散稀疏特征，難以進行三維物體的重建和整幅圖像的深度信息恢復。具體實施步驟為：對雙目圖像進行預處理—分割出左右圖像所需的特征點區域—提取特征點，如：圓心、邊緣角點、拐點、地標點等—進行特征點合集的立體匹配—計算匹配點對的視差—獲取匹配點對應三維物點的深度信息。二是基于圖像區域的稠密匹配方法。基于鄰域的性質在圖像中選取某個像素一定鄰域大小的子窗口，找尋與子窗口圖像相類似的區域，可以設置相應的閾值，提取并保留高于閾值的特征點。三是基于特征點的稀疏匹配和基于極線約束的圖像區域稠密匹配結合方法。先利用具有強特征點的標準圖像進行特征點的稀疏匹配，計算出基礎矩陣，再對其進行極線校正，最后利用基于圖像區域的稠密匹配方法進行匹配。四是雙目圖像極線校正。可以采用基于線性的算法進行雙目立體視覺的極線計算和校正，先利用稀疏匹配方法計算圖像的基礎矩陣，再將其用于待校正的雙目圖像對，使雙目圖像對極限和雙目成像平臺的掃描線相疊合，再以成像點與極線距離最小化為約束條件，進行圖像射影畸變的校正和優化。

（三）機械手的雙目視覺定位抓取系統

文章選取由六個伺服電機組成的六自由度串聯型機械手，包括雙目攝像機標定和機械手手眼標定參數初始化模塊、雙目圖像采集與處理模塊、目標物體相對機械手的坐標計算模塊、機械手定位控制模塊，形成一種開環的鏈式結構，能夠到達機械手所在空間范圍內的任意一點。同時，還要設置一種輔助性的機械臂夾爪，在對機械臂工具坐標系進行標定的前提下，設計機械臂夾爪，將其放置于整個支架和法蘭盤連接部分的中心位置，利用四點法計算求取TCP，在機械手默認的TCP基礎上，在z方向上增加20厘米，以此作為夾抓的TCP坐標。

四、小結

總之，考慮到基于雙目視覺機械手的復雜性，要重點研究機械手的雙目視覺集成與設計，分析機械手雙目視覺極線校正和立體匹配的方法，完成機械手雙目視覺控制系統的設計和應用。

參考文獻：

[1]袁仁輝.基于機械手的雙目視覺定位抓取研究[D].秦皇島：燕山大學，2016.

[2]殷莉甜.水下雙目視覺定位系統開發與應用研究[D].廣州：華南理工大學，2016.

作者簡介： 菅振邦，菲尼克斯亞太電氣（南京）有限公司。