基于雙視覺引導的工業機器人立體定位技術的研究

劉海龍，張蕾，吳海波

(湖南鐵道職業技術學院，湖南 株洲 412001)

0 引 言

在以工業機器人應用為核心的制造生產線中，作業對象的快速定位和三維空間轉換是工業機器人應用的重要技術之一。在當前的工業機器人定位應用中，主要是以預先設定固定點位的方式來告知機器人作業程序，事先設定并達到預定位置和姿態的目的[1]。隨著制造業的不斷發展和進步，生產企業對生產線作業效率的要求也日益嚴格，如自動化流水線常采用倍速鏈進行輸送工裝板，當機械振動導致工裝板位置發生細微變化時，工業機器人很可能無法實現工件的作業加工，或導致不良品，這在一定程度上影響了工業機器人的作業效率和生產良品率，增加運營成本[2]。在較簡單的機器人抓取作業中，有少數應用單機器視覺技術對作業對象進行垂直坐標定位，轉換成X、Y坐標數據引導工業機器人對其定位。但該技術也存在明顯缺陷，當多種工件類型時需要采用不同的視覺定位方案，或者當需要對工件的Z坐標進行定位時無法實現，對于復雜工件的直接定位也有較大難度，難以實現抓取工具和工件在外形上的匹配，因此該解決方案具有較大局限性[3]。

針對以上問題，為增加視覺系統的通用性和作業效率，本文提出基于雙視覺引導的工業機器人三維立體定位系統，在工業機器人的法蘭盤末端安裝兩個機器視覺系統來獲取作業對象的圖像，并通過兩個不同位置相機的差位圖像進行圖片處理和三維空間坐標換算，實現工業機器人對作業對象的立體空間定位，方便進行抓取、加工、切割和噴涂等生產作業。在生產作業中，常需解決機器人工具與工件角度匹配問題，因此在設計工裝板中需要通過開奇數不對稱定位孔來確定工件的角度姿態，以增加系統的普適性。

1 系統組成結構及原理

系統的硬件組成主要由機器視覺單元、工控機單元、機器人執行單元和工件配套單元四部分組成。機器視覺單元是由安裝在工業機器人法蘭盤末端的兩個工業相機組成，跟隨工業機器人運動軌跡，實時觸發獲取工業區域圖像，并將圖像信號通過以太網傳輸給工控機處理單元；工控機單元主要負責機器視覺信號的處理與分析，確定作業對象的空間角度姿態和三維立體位置定位，并向執行單元和工件配套單元輸出控制信號；機器人執行單元是工業機器人控制柜、本體和工具等動作執行設備；工件配套單元主要是工作站周邊設備，如工件工裝、輸送鏈、變位機和傳感器網絡等配套交互設備。系統組成結構及工作原理如圖1所示。

工業機器人在其工作區域由程序啟動，安裝在前端法蘭上的工業相機跟隨移動至拍照位置，分別采集工件區域圖像，圖像基礎處理后通過以太網傳輸給工控機單元。工控機對圖像進行處理與分析，包括工件在工業機器人工件坐標系下的三維空間坐標、工件角度姿態、類型、顏色和形狀等參數，圖像處理完成后進行MODBUS編碼將數據發送給機器人控制柜和工件配套單元，引導工業機器人實現對工件的立體定位并按需求進行加工作業。作業完成后工件配套單元通過傳感器網絡將工件狀態信號發送給機器人，機器人接收解析信號并判斷后續工作流程，如產品合格進行下一步循環，不合格將重加工或丟棄處理等。

圖1 系統組成結構及原理

2 雙視覺系統立體定位

2.1 機器視覺標定

對機器視覺的標定是為了給雙目視覺相機提供一個參考系和圖像畸變矯正參數，也是影響視覺系統判定目標精度的關鍵性步驟[4]。標定方法和實施過程包括機器視覺標定、雙目標定和手眼標定[5]。機器視覺標定的原理是建立機器視覺像素坐標和目標參考點位置之間的轉換關系，即根據目標參考點的位置像素坐標和大地坐標計算出機器視覺系統的模型參數[6]。由孔位圖像模型可知，工件目標參考點在大地坐標系中的坐標為(Xl,Yl,Zl)與其圖像投影點p′的二維投影坐標(u,v)的關系表達式為：

(1)

式中：s為比例因子;M1為常量;dX、dY分別為機器視覺每個像素在X、Y軸上的物理尺寸；(u0,v0)為圖像重心點坐標;f為相機焦距;R1為機器視覺坐標系轉換為大地坐標系的旋轉矩陣式;T1為機器視覺坐標系轉換為大地坐標系的平移矩陣參數。根據式(1)的投影模型，本方案采用2D平面視覺標靶標定法，該方法操作相對簡單、精度較高等優點，廣泛應用于機器視覺的視覺標定[7]。操作過程中雙目相機從不同角度拍攝8張工裝目標板圖像，運用該標定方法求解(1)中的數值完成標定。

2.2 雙目標定

雙目標定主要通過兩個相機的圖像坐標和大地坐標的對應關系來求解兩個工業相機的空間組合參數R2、T2。由工業相機標定求出兩個相機的與大地坐標系的相對位置，分別為左右相機，參數為RlTl/RrTr，對于參考目標點，假設該點在大地坐標系、左右相機坐標系的非齊次坐標分別為xw/xl/xr，則可求得：

(2)

因此得到兩個工業相機的空間組合參數R2、T2可表示為：

R2=Rr/Rl
T2=Tr-RrTl/Rl

(3)

2.3 手眼標定

手眼標定是立體定位的最后一步，目的是求解相機坐標系與工業機器人工件坐標系的對應關系。操作步驟為手動編程工業機器人運動軌跡程序，控制機器人法蘭盤末端上的雙目相機在工件上方不同的角度和位置，對已測量尺寸的工裝參考板進行拍照并將圖像傳送給工控機，工控機通過不同角度方位的外參數與機器人工件坐標系參數得出其相對于關系[8]。原理公式為：

RX=XT

(4)

式中：X為待求參數；R、X、T均為4×4矩陣。因此由式(4)可知，工業相機的空間位置改變三次拍照便可求得X矩陣。在實際的應用中考慮到誤差和精度，綜合作業效率多方面考量，采用拍攝8組圖像進行求解，最后應用最小二乘法取精度最優的一組作為最終X值[9]。

2.4 立體定位坐標的計算

工業機器人的引導原理主要是通過工件坐標系和工具坐標系，基于大地坐標系選取最佳的中心原點而創建的，在對變化的工件進行立體定位時一般是通過創建工件坐標系引導[10]。在雙機器視覺下工件對象中的一個點(孔)在兩個相機中可以確定各自的三維空間坐標，在本文的作業對象工裝中，工裝中設計有6個定位孔位，這樣在雙目相機視覺下將得到6組點位空間位置，由于兩相機空間位置的不同，每組數據的兩個相機點位空間坐標將呈規律性差異[11]。通過式(5)可以計算出該點位相對于機器人大地坐標系的立體定位坐標，進而轉換為工業機器人的工件坐標系下的三維坐標值，引導機器人加工作業。

x=zXl/fl
y=zYl/fl
z=fl(frtx-Xrtz)[XR(r1X1+r2Yl+flr3)]-1

(5)

式中:(x,y,z)為待求目標點在工業機器人工件坐標系下的三維坐標;Xl、Yl和Xr、Yr分別為待求目標點在左右雙目相機相面點的坐標;fl、fr分別為雙目左右工業相機的焦距。在求出6個定位孔在機器人工件坐標系下的三維坐標后，根據最小二乘法求出最優的工裝平面，并以6個點平面x、y的平均值確定機器人工件坐標系的原點。工件坐標系的原點確定后，待求工件相對于工業機器人的所有坐標點為均可以很方便換算出，坐標值可直接供機器人操縱編程人員使用，引導機器人精確的加工作業。

3 運行與調試

工控機和機器人操縱編程人員按步驟及對應的編程方式完成程序的設計，在禮品盒裝配包裝生產線上進行可行性驗證、精度及誤差分析，完成運行與調試。裝配包裝工作站采用埃夫特HR20-1700-C10工業機器人、basler acA2500-14gm型號工業相機、理光FLHC1214-2M型號鏡頭、200 mm×200 mm背光光源、西門子S7-1200 PLC和研華AIIS-1240-00A1E工控機，試驗現場如圖2所示。

圖2 試驗現場圖

系統運行時，需打開背光光源，采用透明工裝板，在機器人的法蘭盤末端設計有專用的多功能機械工具，用于安裝相機和夾爪工具，固定相機為左相機。工件隨工裝板在倍速鏈傳送帶運動至光源位置，由左右工業相機對工件進行拍照，并將圖像初步處理后通過以太網發送給工控機，工控機接收并解析圖像數據后根據事先設計的程序算法進行數據處理，計算出工件對象在機器人工件坐標系下的三維旋轉角度和空間坐標，然后將結果發送給機器人控制柜，編程設計人員使用該數據設計工業機器人作業程序，完成工件的加工作業。本文的核心內容是聚焦于雙視覺的工件立體定位。因此主要記錄視覺對工件的定位結果和工件的實際測量值的比較，計算系統的誤差值，測試結果如表1所示。

在表1中，為工件相對于機器人工件坐標系的旋轉角度。由多次試驗可知，機器人被引導的定位計算數據誤差均在0.5 mm之內，滿足課題設計要求和一般工業通用性要求。

表1 試驗測試結果對比 mm

4 結束語

本文研究了基于雙機器視覺引導的工業機器人三維立體定位系統，核心內容是對雙目工業相機下通過左右相機的相機坐標系推算工件坐標系，確定目標點的三維坐標，引導工業機器人實現精確的立體定位及加工作業。為增加研究內容的普適性，研究目標識別的工裝板采用6對稱定位孔，利用最小二乘法取最優化數據提高精度和通用性，工件對象和工裝板保持固定位置，則可通過雙目視覺方便的識別出該工件的是立體定位、類型數據和角度姿態等關鍵數據，并通過以太網將數據發送給機器人控制器供編程人員使用。通過運行和調試數據分析，工業機器人能夠準確地對不同類型的工件進行識別并實現精確立體定位，有較快的相應速度，大大提高了生產線的生產效率，增加了工作站的應用廣度，具有良好的實用價值。