基于機器視覺的遙控器裝配系統研究與設計

劉曉鵬，劉 波，馬自超，高 琳

（1.中北大學機械與動力工程學院，山西 太原 030051；2.寧波韋爾德斯凱勒智能科技有限公司，浙江 寧波 315000）

基于機器視覺的遙控器裝配系統研究與設計

劉曉鵬1，劉 波1，馬自超2，高 琳1

（1.中北大學機械與動力工程學院，山西 太原 030051；2.寧波韋爾德斯凱勒智能科技有限公司，浙江 寧波 315000）

為實現遙控器按鍵裝配生產線自動化，結合機器視覺技術與SCARA機器人的精確定位與控制，采用Roberts算子進行工件邊緣提取，確定模板匹配方法。在得出圖像坐標與機器人末端抓手坐標的轉換函數關系后，計算模板位置與抓取位置之間的差值，在工件裝配過程中進行差值補償，實現自動裝配。經測試，抓取和裝配精度達到±0.1 mm，完全符合規定的裝配速度和精度要求。系統實現了遙控器按鍵的智能裝配，優化了現場工作流程，提高了工作效率。與其他自動化系統相比，該系統更具智能性和便捷性。系統的設計思路可用于各類自動裝配，能夠有效保證裝配過程的安全性、可靠性及穩定性，是未來智能裝配的發展趨勢。

自動化；機器視覺；Roberts算子；邊緣提取；智能化；差值補償

0 引言

近年來，隨著機器人性能的大幅度提升和成本的直線下降，工業生產迎來了大規模的變革。機器視覺的迅速發展，在保證工作質量的前提下，極大地提高了機器人的靈活性，已成為機器人感知外界的重要手段之一。在自動化生產線中，由于機械裝置的固有偏差和工件擺放位置影響，致使機器人不能準確抓取工件，并放置到要求精度較高的位置。因此，機器視覺系統更多地被用來對生產過程中的工件進行定位。通過機器人的“眼睛”，能準確識別工件的位置，并在放置的過程中進行自我調整，進一步簡化了生產線，縮短了定位時間［1-3］。

本文將SCARA機器人與視覺定位系統進行集成，通過工控機利用以太網實現機器人控制系統與工業相機、圖像處理軟件三者之間的實時通信，從而實現機器人對遙控器按鍵的準確、快速抓取和放置。

1 系統工作原理

系統裝配流程為：首先采用SCARA機器人來替代部分人工進行按鍵裝配作業，后續再實現PCB板、拾音器、彈性片和硅膠的裝配，以及功能測試（functional circuit test，FCT）自動測試和自動包裝等。機器人裝配系統主要由四軸多關節SCARA機器人、Balser CMOS工業相機、工控機和環形光源等相應的圖像處理軟件和通信線組成。圖像處理軟件安裝在工控機上，能與機器人控制進行通信，實現數據交換，觸發環形光源進行補光。同時，相機采集圖形，并傳輸給工控機進行圖像處理。通過一系列的計算，將得到的補償數值傳遞給機器人的控制器；在由相機上方運動到裝配點的過程中，進行調整，達到精確裝配的目的。裝配控制流程如圖1所示。

圖1 裝配控制流程圖Fig.1 Flow chart of assembly control

1.1 機器人選型

YAMAHA公司的RCX340與工控機通信可采用RS-232C、Ethernet，本次采用 EtherNet/IP（以太網）通信的方式進行連接，按照ANSI/TIA/EIA568A協議進行標準化。機器人基本參數如表1所示。左右坐標系統可實時切換［4］。

表1 機器人基本參數Tab.1 Basic parameters of robot

為實現抓取、裝配、拋料等動作，在原有機器人裝置的基礎上加裝帶有相機和環形光源的可調節底座。針對工件的特殊結構，設計專用的吸盤。

1.2 相機選型

根據廠商所提供的資料，裝配件均為圓形或長方圓且具有對稱性的黑色塑料結構件。通過式（1）計算，選用耗電量較小和周邊電路整合性高的COMS相機，其型號為ACA2500-14gm，通過GigE（千兆以太網）與工控機（圖像處理軟件）相連接。為了突出顯示被測物體邊緣和高度的變化，采用環形光源，通過漫反射方式照亮一圖像采集區域，突出原本難以看清的部分。

相機基本參數如表2所示。

表2 相機基本參數Tab.2 Basic parameters of camera

2 工件邊緣特征提取方法

由多次試驗可知，光照條件對圖像的采集有十分重要的影響。為方便圖像特征的提取，突出裝配工件邊緣，選用與工件色差較大的白色底板，同時配以環形光源，在圖像采集的瞬間，提供適合的光照，采用順光拍照。

將采集到的圖像傳遞到工控機中進行處理，圖像經灰度化處理、圖像增強、圖像二值化處理結合邊緣特征提取方法進行邊緣提取，再通過降噪，得到清晰且準確的工件邊緣。利用MATLAB軟件對常用的邊緣提取方法，如 Roberts算子、Sobel算子、Canny算子、Prewitt算子、Gauss-Laplace算子、零交叉法，針對五聯件的特性進行初步選取。理論圖像梯度的函數關系如式（2）所示：

Roberts算子的原理是將任意一對互相垂直方向上的差分看成求梯度的近似，即對角方向相鄰兩像素值之差代替該梯度值。

細化處理計算公式為：

綜合試驗情況，Roberts算子檢測邊緣的結果定位精度比較高，且對于低噪圖像具有較好的檢測效果，故選用 Roberts算法［5-8］。

3 相機標定方法及測試

由于裝配工件需按照要求將其高精度擺放在規定位置，這就給裝配帶來了困難。因此采用機器視覺技術，對機器人抓取到的工件在裝配前進行姿態識別，對機器人末端與目標物體之間的位置誤差進行視覺反饋。與標準姿態進行比對，將差值傳遞給工控機進行計算，得出SCARA機器人的位置調整運動參數。通過通信串口傳遞給機器人控制器，實現工件的位置校正、指導末端抓手對工件進行精確抓取的目的［9］。

3.1 相機參數確定

工件視覺分析及試驗以具有代表性的五聯件作為研究對象。圖像位置變換如圖2所示。工件長40 mm，寬36 mm，為左右對稱結構。在對五聯件進行初步分析后，確定其定位方法。采集工件圖像為二維圖像，即平面圖像。

圖2 圖像位置變換示意圖Fig.2 Schematic diagram of image position transformation

平面上的元素，就是點、線、面。平面上所有的圖形都是由眾多的點和點之間的線段組成的。所以，平面上的圖形變換也就是點坐標位置的變換。

如圖2所示，假設0位為標準位置，1位為檢測位置，由兩者的位置關系可知，1位需經過一次旋轉和一次平移變換到0位。函數關系如（3）所示：

3.2 相機坐標變換及標定

3.2.1 坐標變換

一被測點 P，其三維坐標（世界坐標系）為（xw，yw，zw），相機坐標系為（xc，yc，zc），在經過拍攝后，相機圖像坐標系中的坐標為（x，y），最后得到計算機像面坐標系的坐標（xf，yf）。即空間三維坐標經過三次變換，可得到相應的像素坐標。空間點三維坐標與像素坐標之間的對應關系如式（4）所示：

通過圖像平面不同位置來求解，確定相機的內部參數，然后監測機器人在不同的空間位置對應的空間坐標，即相機坐標系與基坐標系之間對應的旋轉和平移關系。

3.2.2 工件定位方法

本次標定所采取的五點標定法［10］，通過對機器人運動狀態的監測，可獲取機器人末端在任一位置時的坐標，即在世界坐標系中的參數。機器人抓取一個工件（五聯件），并移動到環形光源的上方，對相機、環形光源和機器人Z方向進行初步調整，找到三者較為合適的位置，獲取相機的空間坐標值。然后Z方向固定，設定角五聯件的中心區域為模板區域，即為每次定位的特征匹配區域，選取區域的中心（圖片中畸變小的位置）并獲取當前機器人末端的世界坐標系中的坐標值和標記點在圖像坐標系中像素坐標值。末端抓手帶著五聯件等距離（即等像素）移動四次，軌跡為一個帶中心的正方形，即最小外接矩形法。同時記錄機器人末端在世界坐標系中的坐標值和標記點的像素坐標值，利用上述五點的坐標值，即可求解得到圖像與機器人末端抓手之間的坐標變換函數關系。

3.3 測試

3.3.1 標定測試

根據上述的標定方法，利用自行編寫的標定軟件對五聯件進行標定測試。先選取中心一點的像素坐標為（662.025，468.633），對應的末端世界坐標系位置為（102.549，276.747）；然后進行移動，第二點的像素坐標為（815.025，320.633），對應的末端世界坐標系位置為（92.548，286.747）；第三點的像素坐標為（809.025，622.633），對應的末端世界坐標系位置為（92.548，266.747）。由第二點移動到第三點的過程中，主移動量為Y方向，移動302個像素，對應的世界坐標系移動距離為20 mm，同理移動到第四點、第五點。由標定測試結果可知，副偏差均在允許范圍內。利用上述五點的坐標值，得出圖像中的任意像素坐標對應的機器人末端抓手坐標的關系。

3.3.2 系統測試

在軟硬件準備完成以后，進行現場測試。按照圖1所示的工作流程，先逐步點動，確保每一步單獨動作能夠準確無誤地完成；然后進行多步聯動，最后進行全部動作調試，在整組動作循環調試無誤后，可進行整條生產線調試。

通過現場調試，機器人末端抓手先抓取五聯件，然后在物料盤的整定區進行整定，并移動到環形光源上方，相機進行圖像采集。在由圖像采集區移動到裝配區進行裝配的過程中進行位置校正，確保準確裝配。經調試，可保證設備穩定運行，裝配節拍位10 s/個，對電源及氣源來料精度要求降低后，自動工位來料抓取精度達到±0.1 mm。

4 結束語

本文采用視覺定位的方法和Roberts算子進行工件邊緣提取，確定工件裝配過程中的差值補償，實現自動裝配。經測試，抓取和裝配精度達到±0.1 mm。融合了圖像處理、機械工程、自動控制等視覺定位技術在柔性制造系統也會隨著需求的增加、研究的深入而變得更為完善。

［1］張俊.基于視覺定位的自動上下料機械手系統研究［D］.石家莊：石家莊鐵道大學，2012.

［2］金明華.用于視覺定位的合作目標識別圖像處理方法研究［D］.沈陽：中科院沈陽自動化研究所，2002.

［3］程曉金.機器人上料系統中視覺定位研究［D］.石家莊：燕山大學，2013.

［4］程汀.SCARA機器人的設計及運動學動力學的研究［D］.合肥：合肥工業大學，2008.

［5］ SZELISKIR．ComputerVision：Algorithmsandapplications［M］．Beijing：Tsinghua University Press，2012．

［6］ MA Y，ZHANG Z H．Comparison of several edge detection operators［J］．Industry and Mine Automation，2004（1）：54-56．

［7］范帥，湯綺婷，盧滿懷，等.基于機器視覺的軸承內外圈尺寸檢測及分類［J］.自動化儀表，2016，37（11）：77-80，87.

［8］陸興娟，吳震字.圖像邊緣檢測算法研究［J］.現代電子技術，2010，33（6）：128-130.

［9］ PENG W X，ZHAO G X，WANG Z Q．Reasearch andefficiency analysis of gray algorithm based on image recognition system［J］．Electronic World，2014（7）：105．

［10］ZHANG F Q，WANG G F，ZENG Q N.New algorithmfor minimum enclosing rectangle of the object in the image region based on center-of-gravity principle［J］．Infrared and Laser Engineering，2013（5）：1382-1387.

Research and Design of Remote Control Assembly System Based on Machine Vision

LIU Xiaopeng1，LIU Bo1，MA Zichao2，GAO Lin1
（1.School of Mechanical and Power Engineering，North University of China，Taiyuan 030051，China；2.WILD SC（NINGBO）Intelligent Technology Co.，Ltd.，Ningbo 315000，China）

In order to realize the automation of remote control button assembly line，the technology of machine vision and the accurate positioning and control of SCARA robot are combined，workspace edge is extracted by Roberts operator，and the template matching method is determined;then the conversion function relations of image coordinates and robot end gripper coordinate conversion are obtained，and the difference value between the template position and the grab position is calculated，the compensation of difference is conducted in assembling process of workpiece to realize automatic assembly.From testing，the accuracy of grab and assembly reaches±0.1 mm;the assembling speed and accuracy fully meet the requirements.The intelligent assembly of the key and button of remote control is realized，and the field work flow is optimized，the work efficiency is improved.Compared with other automatic systems，it is more intelligent and convenient.The design concept of this system can be applied to all kinds of automatic assembly，and it can guarantee the safety，reliability and stability of assembly process effectively.It is the development trend of intelligent assembly in the future.

Automation；Machine vision；Roberts operator；Edge extraction；Intelligence；Difference compensation

TH-39；TP24

A

10.16086／j.cnki.issn1000-0380.201711023

修改稿收到日期：2017-07-23

劉曉鵬（1993—），男，在讀碩士研究生，主要從事機械工程、機器視覺等方向的研究。E-mail：a1016353973@qq.com。劉波（通信作者），男，博士，副教授，主要從事機械電子工程、機器視覺等方向的研究。E-mail：124250076@qq.com。