基于機器視覺的智能抓取系統(tǒng)的設計★

萬松峰， 吳靖明

（東莞職業(yè)技術(shù)學院智能制造學院， 廣東 東莞 523808）

引言

電子信息產(chǎn)業(yè)是廣東支柱產(chǎn)業(yè)中最具創(chuàng)新、最具活力的行業(yè)之一，具有知識高度密集、產(chǎn)業(yè)附加值高和輻射帶動性強等特點，在區(qū)域工業(yè)體系中占有重要地位，也是各國搶占的戰(zhàn)略制高點。3C 電子產(chǎn)品更新?lián)Q代快，零部件眾多，結(jié)構(gòu)、形狀、材質(zhì)差異較大，生產(chǎn)工序復雜，傳統(tǒng)方法很難適應高精度、快節(jié)拍、柔性化的個性化定制產(chǎn)品生產(chǎn)需求。

在電子信息生產(chǎn)制造中，工業(yè)機器人具有可靠性強、重復精度高、適用性好等特點，不僅可以提高生產(chǎn)效率、保證產(chǎn)品一致性、改善生產(chǎn)條件、提升制造企業(yè)競爭力，而且可以帶來巨大經(jīng)濟效益。傳統(tǒng)工業(yè)機器人示教的方式無法實現(xiàn)對未知尺寸、形狀和擺放位置等條件下零件的抓取。基于視覺引導的工業(yè)機器人的智能抓取系統(tǒng)具有較好的應用前景[1]。廖家驥等[2]利用機器人和視覺構(gòu)建分揀系統(tǒng)，提出一種快速手眼標定算法分揀不同形狀的工件。張衛(wèi)芬和湯文成[3]通過多閾值模板匹配算法，實現(xiàn)工業(yè)機器人對不同形狀的立方體進行識別。高斌和費繼友[4]采用機器視覺和傳感器檢測，結(jié)合多關節(jié)機器人實現(xiàn)了對不同工件的自動分揀和抓取。王懷江等[5]提出了一種基于改進遺傳算法求得最優(yōu)工位點坐標，縮短移動機械臂的抓取路徑長度。

在實際3C 產(chǎn)品生產(chǎn)流水線中，產(chǎn)品尺寸、形狀和擺放位置不確定，給工業(yè)機器人抓取帶來挑戰(zhàn)。本文以流水線生產(chǎn)時3C 產(chǎn)品外殼件的組裝為研究背景，搭建“機器視覺+工業(yè)機器人”的智能抓取系統(tǒng)，開展工業(yè)機器人智能抓取的研究和驗證。

1 系統(tǒng)方案

以流水線生產(chǎn)時3C 產(chǎn)品外殼件的組裝為背景搭建“機器視覺+工業(yè)機器人”的智能抓取系統(tǒng)，主要包括工業(yè)機器人、運動控制模塊、圖像處理模塊和通信模塊等。3C 產(chǎn)品外殼在傳送帶上經(jīng)光學成像檢測區(qū)時控制器觸發(fā)相機采集圖片，并將圖像傳遞給工控機，Halcon 視覺軟件進行圖像處理和分割，提取圖像特征獲取產(chǎn)品的外觀尺寸和位置坐標，機器人根據(jù)零件信息實時抓取。智能抓取系統(tǒng)示意圖如圖1 所示。

圖1 智能抓取系統(tǒng)示意圖

智能抓取系統(tǒng)拓撲圖如圖2 所示。工業(yè)機器人、工控機、PLC、分布式IO 和遠程監(jiān)控之間通過交換機連接，通過以太網(wǎng)協(xié)議實現(xiàn)網(wǎng)絡通信和數(shù)據(jù)交換。

圖2 智能抓取系統(tǒng)拓撲圖

2 系統(tǒng)硬件設計

該系統(tǒng)主要包括工業(yè)機器人、運動控制模塊和圖像處理模塊等。

工業(yè)機器人選用ABB 公司生產(chǎn)的全新緊湊型設計IRB1200 型工業(yè)機器人，其工作范圍寬廣，而且能滿足電子信息產(chǎn)業(yè)上下料行業(yè)對柔性、易用性、緊湊性和節(jié)拍的要求，并且自帶以太網(wǎng)接口,方便與常用的工業(yè)網(wǎng)絡通信。

運動控制模塊包括PLC、伺服電機、分布式IO等。PLC 選用西門子 S71200，CPU 1212C DC/DC/DC，8輸入/6 輸出，2 點集成模擬量輸入，2 點脈沖輸出頻率高達 100 kHz，集成以太網(wǎng)接口（TCP/IP native、ISO-on-TCP）。分布式 IO 選用 FR8210+IO 模塊，PROFINET 適配器可以進行快速安全的數(shù)據(jù)交換。伺服電機及驅(qū)動選用三菱HG-KR43B+MR-J4-40。

圖像處理模塊包括工控機、工業(yè)相機和光源、鏡頭等。工業(yè)相機選用海康威視MV-CE120-10UC 的1200 萬像素USB3.0 彩色相機，鏡頭選用焦距為12 mm 的海康威視MVL-MF1628M-8MP 鏡頭，光源選擇環(huán)形白色光源，工業(yè)計算機通過USB 接口與工業(yè)相機連接實現(xiàn)圖像的采集和處理。

3 系統(tǒng)軟件設計

RAPID 編程。RobotStudio 軟件不僅模擬仿真功能強大，還具有自動生成路徑功能、仿真監(jiān)控碰撞功能，能及時對機器人已有程序進行優(yōu)化。針對不同工件的抓取機器人的末端通過選擇不同的種工具實現(xiàn)。ABB工業(yè)機器人的編程語言是RAPID 語言，ABB 程序結(jié)構(gòu)由各模塊組成，模塊包括程序數(shù)據(jù)、主程序、例行程序、中斷等組成。編程前需先建立工具坐標系和工件坐標系，配置標準IO 端口和遠程IO 端口，設置以太網(wǎng)通信等，設置完成后可以在Robotstudio 上編寫RAPID 程序。機器人首先初始化回到原位等待PLC指令，收到指令后發(fā)送命令給視覺系統(tǒng)和夾具庫，通過視覺引導實現(xiàn)夾具快換和零件的智能抓取。考慮機器人關節(jié)的位置和狀態(tài)，采用優(yōu)化算法對軌跡進行補償，采用深度神經(jīng)網(wǎng)絡對工業(yè)機器人進行訓練，獲取端至端的學習深度圖像和最佳抓取位置的映射關聯(lián)性。

4 驗證分析

系統(tǒng)軟件設計主要有機器視覺識別和工業(yè)機器人控制系統(tǒng)設計。

利用VS+Halcon 搭建機器視覺軟件開發(fā)平臺。在VS2019 編譯環(huán)境下編寫MFC 上位機程序，HALCON是德國MVtec 公司開發(fā)的一套完善的標準的機器視覺算法包，擁有機器視覺集成開發(fā)環(huán)境，可以利用其開放式結(jié)構(gòu)快速開發(fā)圖像處理和機器視覺軟件。該軟件由1 000 多個各自獨立的函數(shù)及底層的資料管理核心構(gòu)成，包含各類濾波、色彩及幾何、數(shù)學轉(zhuǎn)換、形態(tài)學計算分析、校正、分類辨識形狀搜尋等基本的幾何及圖像計算功能，其應用范圍涵蓋各類自動化領域。首先通過平移、轉(zhuǎn)置、鏡像、旋轉(zhuǎn)、縮放等對采集的圖像進行處理，提取目標零件的關鍵輪廓特征。利用gauss_filter 算子來實現(xiàn)高斯濾波對圖像去噪，采用sobel_dir 算子對輪廓特征進行提取，利用convol_fft算子求取輪廓點方向，采用Otsu 法提取主體輪廓特征。利用輪廓特征提取方法獲取待測零件的輪廓點及其方向，采用均值法構(gòu)造圖像金字塔搜索策降低模板和待測零件圖像的分辨率，提高識別效率。

利用RobotStudio 實現(xiàn)ABB 工業(yè)機器人的離線

采用基于機器視覺的智能抓取系統(tǒng)，針對物體形狀識別功能，選取A 公司手機外殼進行抓取實驗，結(jié)果表明：該智能抓取系統(tǒng)可以準確實現(xiàn)對手機外殼的識別和抓取，抓取速度為120 次/min，為進一步推廣工業(yè)機器人在3C 產(chǎn)品的抓取提供了參考。

5 結(jié)語

以流水線生產(chǎn)時3C 產(chǎn)品外殼件的組裝為背景搭建“機器視覺+工業(yè)機器人”的智能抓取系統(tǒng)，借助Halcon 實現(xiàn)對零件的識別，通過零件位置信息實現(xiàn)對工業(yè)機器人的控制。