基于視覺定位的機器人輔助鎖螺絲技術研究

曾 鋒 ，劉祚時，任崇軒，姜鴻雅

ZENG Feng1 ,LIU Zuo-shi1 ,REN Chong-xuan2,JIANG Hong-ya1

（1.江西理工大學 機電工程學院，贛州 341000；2.廣東匯興精工智造股份有限公司，東莞 523000）

0 引言

隨著人工成本上升，對自動化程度的要求越來越高，機器人的應用逐漸廣泛，機器視覺技術也發展的更加成熟，近年來，視覺定位技術已經成為機器人獲取信息的主要手段，并且提高了機器人作業的自主判斷的能力[1,2]，基于視覺定位技術的機器人已應用在各個方面，如Xiong J[3]提出的基于視覺定位技術的荔枝動態簇采摘機器人，對自然環境干擾下的荔枝動態簇進行了視覺定位研究，通過視覺系統計算出拾取點傳輸給機器人末端。Jin J[4]提出了一種基于視覺的機器人檢測障礙物和控制機器人避障的方法。Ding W[5]提出了一種新的delta機器人視覺系統的標定技術，帶視覺系統的Delta機器人可以自動控制末端執行器，準確地抓取輸送帶上的運動物體，建立圖像特征空間與機器人工作空間之間的映射關系，形成機器人坐標、攝像機坐標、輸送帶坐標之間轉換鏈的閉環鏈。在工業方面，如鄭魁敬[6]提出的基于視覺定位的機器人上下料的系統集成技術，主要通過視覺定位技術實現機器人上下料；李金義[7]提出基于視覺定位的搬運系統技術，是對沖壓件的原料進行搬運；還有王京[8]提出的基于視覺定位的焊接系統，通過視覺定位技術實現機器人對汽車零部件的焊接等等。

本文研究的是基于視覺定位的機器人輔助鎖螺絲技術，將視覺定位、機器人、鎖螺絲三者結合起來，實現鎖螺絲工藝的自動化。

1 系統方案

根據鎖螺絲的工藝流程，設計整體的工藝方案，可以分為機器人搬運物料系統、圖像采集和處理系統、鎖螺絲及輸送機構系統以及集成控制系統。機器人搬運物料系統主要包括KUKA機器人、夾具、電磁閥、吸盤以及氣路系統；鎖螺絲機及輸送機構系統包括振動盤、墊片和螺釘輸送機構、以及鎖螺絲機構；圖像采集和處理系統包括MV-12MG-E工業相機、光源和工控機，以及圖像處理VISIONGO軟件。VISIONGO軟件是上海視谷圖像技術有限公司研發的面向終端客戶的機器視覺平臺軟件。

集成控制系統是將PLC作為主控制器，連接鎖螺絲機、機器人和工控機，進行相互之間的通訊。KUKA機器人KRC4控制器與工控機可以通過GENICAM協議，也支持Modbus通訊、DI/O通訊、串口通訊和網口通訊。

首先將攝像頭安裝在鎖螺絲機構框架上，攝像頭朝下固定，光源打開，通過KUKA機器人搬運物料至攝像頭下方，傳輸信號給工控機，由攝像頭對螺絲孔圖像進行采集，將采集到的圖像傳輸到工控機中，由軟件進行圖像的處理，將螺絲孔的中心坐標提取出來，經過轉換后，發送至機器人，再由機器人根據接收到的中心坐標，將工件上的指定螺絲孔對準鎖螺絲機正下方進行鎖螺絲。

系統方案如圖1所示。

圖1 系統方案圖

2 相機標定原理

相機的標定是為了建立相機成像的幾何模型，獲取相機的內參和外參的矩陣，假設相機拍攝的圖片與三維空間物體存在一種簡單的線性關系，可以通過相機拍攝的圖片來還原空間中的物體[8]。通過相機拍攝對螺絲孔的圖片，經過圖片上的坐標來還原世界坐標系下螺絲孔的中心坐標。

建立如圖2所示的坐標系，坐標系總共分為世界坐標系（XW，YW，ZW）、相機坐標系（XC，YC，ZC）、圖像物理坐標系（X，Y）和像素坐標系（U，V）。

圖2 三維坐標系

建立物體從世界坐標系到相機坐標系的關系：

其中，R為旋轉矩陣，t為平移向量。

建立相機坐標系，從相機坐標系到圖像坐標系，點M在相機坐標系中，點P在圖像坐標系下：

圖3 相機坐標系

由圖3相機坐標系可知，f為P點在Z軸的坐標，根據相識三角形原理可得到：

將上式轉化為齊次坐標表示形式為：

從圖像坐標系到像素坐標系。像素坐標系原點在圖像坐標系下的坐標為（u0，v0），每個像素點在圖像坐標系X軸、Y軸的尺寸為dx、dy，像點在圖像坐標系下的坐標為（XC，YC）：

化為齊次坐標表示形式為：

內參矩陣為：

由此可得到相機的內外參數，建立相機成像的幾何模型，為得到螺絲孔的準確中心坐標建立了通道。

3 BLOB算法分析

BLOB算法是用來從背景中分離出目標，并測量任意形狀目標物的形態參數，如輪廓、斑點數量、面積、中心坐標、寬度、高度、長寬比、角度和距離等[10]，通過BLOB算法，可以將工件表面的螺絲孔的準確位置找出來，確定螺絲孔的大小、形狀、面積以及坐標。

在進行BLOB分析之前，必須對圖像進行分割處理，就是把圖像分割成為構成斑點和局部背景的像素集合，將每一像素指定為目標像素或背景像素，目標像素賦值為1，背景像素賦值為0，還有多種技術可以進行圖像分割，如二元閾值、空間量化誤差、軟件二元閾值和像素加權等[11]。在圖像被分割為目標像素和背景像素后，必須進行連通性分析，將目標圖像聚合為目標圖像或斑點的連接體。然后對每個目標進行特征量計算，包括面積、周長、質心坐標等特征，對圖像進行特征提取。

在BLOB分析后，還有后期處理，將特征信息轉換為實際坐標信息，再將像素坐標系轉換為世界坐標系。BLOB分析的主要過程如圖4所示。

圖4 BLOB分析流程圖

4 控制系統的設計

4.1 PLC與鎖螺絲機及輸送系統的控制設計

鎖螺絲機及輸送機構主要包括鎖螺絲機、氣缸、墊片和螺釘的輸送機構以及振動盤，通過PLC來控制信號的輸入輸出，具體的輸入輸出表如表1所示。

表1 PLC與鎖螺絲機及輸送系統的信號表

4.2 PLC與機器人之間的通信設計

機器人與PLC可以通過以太網通訊，也可以通過I/O通訊來傳遞信號，以太網通訊是以字節為單位將數據存儲在寄存器中進行傳輸，I/O是通過輸入輸出信號來進行通信。本文PLC與機器人通信點數較少，采用I/O通信。PLC與機器人之間的信號如表2所示。

表2 PLC與機器人的信號表

在PLC與機器人I/O連接中，通過中間繼電器來進行隔離，PLC的Y輸出信號連接中間繼電器上，通過控制線圈的斷開和吸合來控制機器人的信號輸入；同樣，機器人的輸出信號也通過中間繼電器將信號輸入給PLC。

5 系統調試

首先將工控機與機器人的控制器進行連接，設置TCP/IP通訊，選擇工控機作為客戶端，在工控機視覺軟件和控制器中互相輸入對方的IP地址，在機器人控制器中打開TCP/IP端口，即完成工控機與機器人的通訊。

在VISIONGO軟件中選擇上升沿作為相機的觸發方式，通過PLC發送上升沿脈沖信號進行觸發相機，對圖像進行采集處理，得到各項參數，并在軟件界面中選擇中心點坐標作為輸出的對象。

通過VISIONGO軟件中的BLOB分析來對圖像進行處理分析，如圖5所示為軟件界面圖：

圖5 軟件界面調試圖

機器人可以得到轉換后螺絲孔的中心坐標（x，y），如圖6所示，對Z軸以及角度進行設置并保持不變。

圖6 螺絲孔中心坐標

表3為螺絲孔中心坐標定位數據表，由X、Y坐標組成，將數據表中的中心點坐標傳輸給KUKA機器人控制器，由機器人根據坐標來調整姿態，準確的將工件搬運到鎖螺絲孔的下方，圖7為現場裝配圖。

表3 螺絲孔中心坐標數據表 單位（mm）

圖7 現場裝配圖

6 結語

基于視覺定位的機器人輔助鎖螺絲技術，是將視覺定位技術、機器人技術和鎖螺絲技術三者結合起來，視覺定位為機器人提供了準確的坐標，通過機器人進行輔助鎖螺絲，該技術為提高鎖螺絲自動化程度、加快生產節拍以及減少人工成本具有重要的實際意義。