基于視覺六自由度分揀機器人視覺圖像坐標變換的研究

弓 靖，栗俊艷，劉鵬飛，王興華

（航天科技集團九院16所機器人事業部，西安710100）

基于視覺六自由度分揀機器人視覺圖像坐標變換的研究

弓 靖，栗俊艷，劉鵬飛，王興華

（航天科技集團九院16所機器人事業部，西安710100）

針對機器人定位分揀問題，研發了一種基于視覺的六自由度分揀機器人系統，深入研究了視覺圖像坐標引入到機器人控制系統后的坐標變換，并對機器人的分揀動作進行規劃，實際運行結果表明，該系統可以實現機器人的定位分揀問題，并且可靠性高，在分揀搬運領域具有較高的應用價值。

視覺；機器人；分揀；坐標變換

0　引言

工業機器人已廣泛應用于汽車及汽車零部件制造業、機械加工行業、電子電氣行業等領域中［1］。現在工業中應用的機器人的工作方式大都為示教再現，即通過示教編程存儲起來的工作程序可重復進行預期工作［2］，這樣機器人到達目標點的位姿是固定的，每次的動作都是重復進行。但是這種工作方式無法適應物料擺放位置未知的情況，使得機器人的使用受到了限制。由于機器視覺系統可以快速獲取大量信息，而且易于自動處理，也易于同設計信息以及加工控制信息集成；因此，在現代自動化生產過程中，人們將機器視覺系統廣泛地用于工況監視、成品檢驗和質量控制等領域。國外在基于機器視覺的工業機器人的研究上已經做了很多工作，并且已經有很多突破性成果，并在實際生產中得到了很好的應用［3］。因此，引入視覺系統對工件進行位置和類型的判斷是很有必要的。

1　系統結構設計

本文設計一種基于視覺的六自由度關節機器人黑白棋子分揀系統，利用2kg六自由度工業機器人定位分揀20個黑白棋子，并按照要求將黑白棋子分別分揀到不同的容器中。該系統利用智能相機采集圖像，并利用圖像處理技術和模式識別技術準確快速地提取棋子的視覺坐標，根據坐標轉換技術將棋子的視覺坐標轉換到機器人坐標，靈活運用六軸的自由度吸取平面上隨機擺放的棋子并能夠按照顏色區分擺放在指定位置。

圖1　基于視覺的六自由度關節機器人黑白棋子分揀系統組成圖Fig.1 System frame of design of 6-DOF joint robot sorting system of black and white chesses based on vision

其中，圖像采集設備采用維視公司生產的工業相機，型號為MV-VEM120SM；機器人主控系統以工控板為核心，以工控板和轉接板組成的CPU模塊將標準計算機擴展總線擴展于無源底板上，各模塊連于無源底板，從而通過標準計算機擴展總線與工控主板進行數據交換實現相應模塊的功能；工業相機與工控機采用以太網通信，顯示器采用普通顯示器。

2　軟件系統構成及主要功能模塊

軟件系統的功能模塊主要包括圖像處理模塊、坐標轉換模塊和吸取位姿規劃模塊。

2.1圖像處理

圖像采集與處理是整個系統的重要模塊，圖像坐標的準確度直接影響著整個系統的精度。目前，國內外對圖像識別中的圖像分割、特征信號提取、邊緣檢測、紋理識別等的算法提出了一些新方法，取得了一定研究成果［4-6］。

在該實驗中圖像處理主要包括圖像分割、圖像匹配及棋子顏色判斷和棋子圓心定位這三個方面。圖像分割是計算機視覺領域的一個老話題，近年來涌現了不少的分割算法，但該問題至今仍然是瓶頸問題，現有的算法都不能徹底地解決圖像和目標的分割問題，需要根據實際具體圖像進行區分對待。圖像分割的目的是分割出圖像中感興趣的部分，也就是黑白棋子。在眾多的圖像分割方法當中，系統中采用的金字塔圖像分割方法是性能評價最好的方法之一，能夠很好地分割出棋子圖像部分。

圖像匹配功能是在分割的圖像的基礎上提取棋子的輪廓。由于攝像機與棋盤的距離固定，為了縮小搜索區域，提高運算效率，系統手動劃分搜索區域，使該區域能夠包含所有棋子。在該區域內，利用最小外接圓法搜索出所有棋子的輪廓，然后在最小外接正方形區域逐點掃描，并求其平均灰度值，如果是255則判斷為白棋子，否則為黑棋子。提取最小外接正方形的最小內接圓，其圓心即為棋子圓心的坐標。

2.2坐標轉換

該部分功能為將棋子的圖像坐標轉換至機器人坐標系下。本文設計一種先將圖像坐標轉換至用戶坐標，再將用戶坐標轉換為機器人坐標的方法來實現該目的。由于該實驗涉及平面視覺，視覺圖像平面與工作臺平面重合，視覺坐標系和圖像坐標系分別構成了二維空間的一組基，因此視覺圖像坐標和用戶坐標的轉換滿足二維坐標轉換的關系，即基變換與坐標變換的關系。

NE向斷裂組：這組斷裂在區內最為發育，帶內主要發育角礫巖或糜棱巖，該組斷裂被后期斷裂帶切穿，構成網格狀，帶內具有硅化、碳酸鹽化及弱鉀化，平面上呈舒緩波狀，產狀傾向60°～90°，傾角30°～60°。

在工作臺平面確定用戶坐標系的原點、X方向和Y方向上3個點，轉換模型原理如圖2所示。

圖2　二維坐標轉換關系原理圖Fig.2 Planar coordinate transforming principle

其中，

（x0，y0）為用戶坐標系原點，（x1，y1）為用戶坐標系X軸上點，（x2，y2）為用戶坐標系Y軸上點，令考慮到圖像坐標和用戶坐標的尺度不同，需要處理圖像坐標為實際物理坐標，即給圖像坐標乘以一個系數k，表示單位像素的實際物理尺寸，由式（1）可得:

該坐標即為機器人工具末端吸取棋子要達到的用戶坐標。

2.3機器人吸取工件的位姿規劃

本文設計一種姿態和高度值固定的吸取動作。在規劃吸取工件位姿時，在機器人控制系統中記錄全局變量點P，吸取動作的姿態和高度值與全局變量點P保持一致，將X方向值和Y方向值修改為棋子圓心在機器人用戶坐標系下的坐標。機器人工具末端運動到該點時，在機器人主控程序中進行坐標轉換，獲取坐標。

機器人的基坐標系 ｛R｝、法蘭坐標系 ｛H｝、工具坐標系 ｛T｝和用戶坐標系 ｛P｝之間的位姿變換關系類似于空間尺寸鏈，各坐標系如圖3所示。

圖3　機器人坐標轉換關系原理圖Fig.3 Robot coordinate transforming principle

其模型轉換關系如式（3）、式（4）所示:

3　數值驗證

如圖2所示，在工作臺上建立一個用戶坐標系，在坐標原點、X軸、Y軸上分別放1個棋子，啟動相機拍照，獲取3個棋子坐標分別為（325，626），（678，620），（317，354）進行轉換關系計算，轉換關系如下:

單位像素的實際物理尺寸為0.14124294，在視野范圍內放入5個棋子，利用式（2）的結果編程計算，獲得用戶坐標以及通過機器人示教到這些點的坐標，如表1所示。

表1　實驗數據對比Table 1 Compare data of experiment

可以看出算法是正確的，而且誤差小于±1mm。

4　結論

本文在機器人控制程序基礎上結合智能相機的圖像處理技術進行二次開發，成功地實現了黑白棋子的定位分揀任務，該試驗可使機器人很好地適應環境，能夠自主識別工作目標，進行任務操作，從而擴大了機器人在物流、裝備生產線等行業的應用，實現各類物件的定位分揀、異物剔除、物品分級，在實現機器人的柔性化和智能化的前提下，提高機器人的生產效率和可靠性。

［1］ 宋登明.工業機器人在制造業中的運用［C］.中國汽車工業與裝備制造業發展論壇，2008. SONG Deng-ming.The use of industrial robots in manufacturing［C］.China Automobile Industry and Equipment Manufacturing Industry Development Forum，2008.

［2］ 熊友倫.工業機器人技術基礎［M］.武漢：華中科技大學出版社，2008. XIONG You-lun.Technology based on industrial robot ［M］.Wuhan： HuazhongUniversityofScience& Technology Press，2008.

［3］ 董文輝.基于機器視覺的工業機器人抓取技術的研究［D］.華中科技大學，2011. DONG Wen-hui.Research on industrial robots scraping technologies based on machine vision［D］.Huazhong University of Science&Technology，2011.

［4］ 李士林，尹成群，尚秋峰，等.基于圖像識別理論的混沌特性判別方法［J］.中國電機工程學報，2003，23 （10）：47-50. LI Shi-lin，YIN Cheng-qun，SHANG Qiu-feng，et al.

［5］ A method of identifying chaotic nature based on image recognition［J］.Proceedings of the CSEE，2003，23（10）：47-50.

［5］ Anneh H，Schistad Solberge.Contextual data fusion applied to forest map revision［J］.IEEE Transactions on Geosciences and Remote Sensing，1999，37（3）：1234-1343.

［6］ Kim J Y，Kim L S.An advanced contrast-enhancement using partially overlapped sub-block histogram equalization ［J］.IEEE Transactions on Circuits and Video Technology，2001，11（4）：475-484.

Research on Coordinate Transformation of Vision Image Based on 6-DOF Vision Sorting Robot

GONG Jing，LI Jun-yan，LIU Peng-fei，WANG Xing-hua
（The 16thInstitute，China Aerospace Science and Technology Corporation，Xi'an 710100）

According to the robot localization sorting problem，this paper developed a 6-DOF robot sorting system based on vision，and further study the coordinate transformation when visual image coordinates is introduced in the robot control system，and plan the sorting action of the robot.The actual running result shows that the system with high reliability can realize the robot localization sorting problem，and has high application value in the field of sorting and handling.

vision；robot；sorting；coordinate transform

TP391.41

A

1674-5558（2016）01-01118

10.3969/j.issn.1674-5558.2016.03.002

2015-05-05

弓靖，女，碩士，工程師，研究方向為機器人運動學算法。