結(jié)合Dalsa工業(yè)相機(jī)和ABB工業(yè)機(jī)器人的碼垛系統(tǒng)

易煥銀 潘偉榮 郝建豹 林子其 詹華廣

摘要：實(shí)現(xiàn)了一種結(jié)合Dalsa工業(yè)相機(jī)和ABB工業(yè)機(jī)器人的碼垛系統(tǒng)。首先利用Dalsa視覺系統(tǒng)軟件檢測到工件的中心點(diǎn)坐標(biāo)和偏轉(zhuǎn)的角度，然后利用Dalsa視覺軟件提供的腳本語言編程通過TCP/IP協(xié)議發(fā)送給系統(tǒng)總控軟件（C#語言開發(fā)），總控軟件收到結(jié)果后將其處理為ABB工業(yè)機(jī)器人方便處理的格式并通過TCP/IP協(xié)議發(fā)送給工業(yè)機(jī)器人，最后由ABB工業(yè)機(jī)器人實(shí)施抓取、碼垛動(dòng)作。系統(tǒng)對(duì)任意擺放位置和任意擺放角度的工件都能成功碼垛，拓展了工業(yè)機(jī)器人實(shí)訓(xùn)平臺(tái)的教學(xué)項(xiàng)目。

關(guān)鍵詞： Dalsa； 工業(yè)相機(jī)； 機(jī)器視覺； 工業(yè)機(jī)器人； 碼垛； 任意擺放； TCP/IP協(xié)議

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）07-0267-03

Abstract：A palletizing system that combines Dalsa industrial cameras with ABB industrial robots is realized. Firstly， the center point coordinates and deflection angle of the workpiece are detected by Dalsa vision system software， and then sent to master control software （C# language development） of the system by TCP/IP protocol using the script language provided by Dalsa vision software. After receiving the result， the master control software processes it into a convenient format for ABB industrial robots and sends it to the industrial robot via TCP/IP protocol. Finally， ABB industrial robots implement the crawling and palletizing operations. The system can successfully palletize workpiece of any position and any angle， and expand the teaching project of the industrial robot training platform.

Key words：Dalsa； industrial camera； machine vision； industrial robot； palletizing； arbitrary placement； TCP/IP protocol

機(jī)器人的制造及應(yīng)用水平，代表了一個(gè)國家的制造業(yè)水平，發(fā)展機(jī)器人產(chǎn)業(yè)應(yīng)上升到國家戰(zhàn)略高度。工業(yè)機(jī)器人是集機(jī)械、電子、控制、計(jì)算機(jī)、傳感器、人工智能等多學(xué)科先進(jìn)技術(shù)于一體的現(xiàn)代制造業(yè)重要的自動(dòng)化裝備。自從1962年美國研制出世界上第一臺(tái)工業(yè)機(jī)器人以來，機(jī)器人技術(shù)及其產(chǎn)品發(fā)展很快，已成為柔性制造系統(tǒng)（FMS）、自動(dòng)化工廠（FA）、計(jì)算機(jī)集成制造系統(tǒng)（CIMS）的自動(dòng)化工具[1]。

隨著工業(yè)自動(dòng)化及工業(yè)機(jī)器人技術(shù)飛速發(fā)展和企業(yè)對(duì)工業(yè)機(jī)器人現(xiàn)場安裝與調(diào)試人才需求量越來越大，目前很多高校都新建了工業(yè)機(jī)器人實(shí)訓(xùn)平臺(tái)。外部信號(hào)的有效獲取是工業(yè)機(jī)器人正確動(dòng)作的前提，而外部信號(hào)的獲得主要依賴于傳感系統(tǒng)。目前各個(gè)高校新建的工業(yè)機(jī)器人實(shí)訓(xùn)平臺(tái)主要配置了光纖傳感器、色標(biāo)傳感器等這些僅能輸出開關(guān)量信號(hào)的簡單傳感設(shè)備（有些雖然配備了工業(yè)相機(jī)但由于缺乏相關(guān)熟悉機(jī)器視覺的師資而沒有應(yīng)用起來），因此限定了機(jī)器人只能做預(yù)設(shè)目標(biāo)對(duì)象、預(yù)設(shè)位置和預(yù)設(shè)路徑的動(dòng)作，使得工業(yè)機(jī)器人的功能沒有得到充分的利用。典型的例子是，廣東交通職業(yè)技術(shù)學(xué)院于2017年新建了“工業(yè)機(jī)器人實(shí)訓(xùn)室”，目前該實(shí)訓(xùn)室擁有6個(gè)以ABB IRB 120工業(yè)機(jī)器人為核心的實(shí)訓(xùn)平臺(tái)，總投資160多萬元，但目前教學(xué)平臺(tái)工業(yè)機(jī)器人可以完成的教學(xué)項(xiàng)目比較有限，主要包括碼垛、模擬沖壓、模擬焊接這幾個(gè)固定路徑動(dòng)作的教學(xué)項(xiàng)目。而基于視覺的圖像處理技術(shù)能獲取設(shè)定場景下的整個(gè)圖片信息，而一些圖像處理算法能有效地利用圖片內(nèi)信息，進(jìn)而讓工業(yè)機(jī)器人的靈活性和整個(gè)系統(tǒng)的柔性大大增強(qiáng)。雖然該教學(xué)平臺(tái)的供應(yīng)商提供了Dalsa工業(yè)相機(jī)和鏡頭，但由于他們?nèi)狈Χ脵C(jī)器視覺的工程師，沒有提供任何視覺與工業(yè)機(jī)器人聯(lián)合動(dòng)作的教學(xué)項(xiàng)目。

關(guān)于視覺引導(dǎo)的工業(yè)機(jī)器人碼垛技術(shù)的研究，國內(nèi)一些研究人員已公開其研究成果。文獻(xiàn)[2]針對(duì)基于平行四連桿機(jī)構(gòu)的碼垛機(jī)器人運(yùn)動(dòng)控制與視覺抓取的問題，進(jìn)行了相關(guān)運(yùn)動(dòng)學(xué)和視覺算法的研究，并且仿真結(jié)果表明，該碼垛機(jī)器人可以有效解生產(chǎn)線上碼垛作業(yè)問題。文獻(xiàn)[3-6]研究并設(shè)計(jì)了不同應(yīng)用場景的視覺引導(dǎo)的碼垛系統(tǒng)。

本文實(shí)現(xiàn)了一種結(jié)合Dalsa工業(yè)相機(jī)和ABB IRB 120工業(yè)機(jī)器人完成的對(duì)任意擺放位置和角度工件的碼垛系統(tǒng)，是視覺引導(dǎo)的工業(yè)機(jī)器人碼垛技術(shù)結(jié)合應(yīng)用廣泛的Dalsa工業(yè)相機(jī)（加拿大品牌）上的實(shí)現(xiàn)。該系統(tǒng)首先利用Dalsa視覺軟件來檢測相機(jī)視野中待碼垛工件的中心點(diǎn)坐標(biāo)和偏轉(zhuǎn)的角度，然后利用Dalsa視覺軟件提供的腳本語言來編寫一個(gè)腳本程序，該腳本程序通過TCP/IP協(xié)議將視覺檢測結(jié)果和工件的中心點(diǎn)坐標(biāo)和偏轉(zhuǎn)角度信息發(fā)送給系統(tǒng)總控軟件（C#語言開發(fā)），總控軟件收到收據(jù)后將其處理為ABB工業(yè)機(jī)器人方便處理的格式，并通過TCP/IP協(xié)議將數(shù)據(jù)發(fā)送給工業(yè)機(jī)器人，最后由ABB工業(yè)機(jī)器人根據(jù)收到的數(shù)據(jù)實(shí)施完成抓取、碼垛動(dòng)作。由于該系統(tǒng)對(duì)任意擺放位置和任意擺放角度的工件都能成功碼垛，因此拓展了工業(yè)機(jī)器人實(shí)訓(xùn)平臺(tái)的教學(xué)項(xiàng)目。

本文實(shí)現(xiàn)的視覺引導(dǎo)的工業(yè)機(jī)器人抓取和碼垛效果已拍攝成短視頻并分享到下面的百度網(wǎng)盤網(wǎng)址（該視頻會(huì)永久共享且觀看時(shí)無須提取碼），可見該系統(tǒng)可以對(duì)視野內(nèi)任意擺放的工件進(jìn)行碼垛。

https：//pan.baidu.com/s/1MNsYT9B_fm7NM2EWwYMb1Q

1 本系統(tǒng)的硬件、功能介紹及實(shí)現(xiàn)效果說明

本文實(shí)驗(yàn)平臺(tái)的硬件整體圖如圖1所示，主要由ABB IRB 120小型工業(yè)機(jī)器人、Dalsa工業(yè)相機(jī)及Computar鏡頭、2個(gè)豎井架（工件倉庫，用于自動(dòng)輸出工件到傳送帶）、2個(gè)傳送帶和2個(gè)工件放置盤構(gòu)成，雖然整個(gè)機(jī)器人實(shí)訓(xùn)臺(tái)還包括一些其他的硬件模塊，如模擬壓鑄模塊、模擬焊接走軌跡模塊、氣泵、上位機(jī)電腦以及做整個(gè)實(shí)訓(xùn)臺(tái)的電氣控制和外圍設(shè)備控制的西門子PLC 1500，由于它們?cè)诒鞠到y(tǒng)的開發(fā)過程中沒有進(jìn)行任何修改，同時(shí)不好在一張圖片中展示且不影響對(duì)系統(tǒng)的理解，因此沒有在圖中標(biāo)出。

其中，ABB IRB 120小型工業(yè)機(jī)器人功能是執(zhí)行碼垛動(dòng)作；Dalsa工業(yè)相機(jī)用于捕獲任意放置在工件放置盤上的工件的圖片并分析出工件的位置信息；2個(gè)豎井架充當(dāng)工件倉庫的角色，收到西門子PLC指令后自動(dòng)通過氣動(dòng)送出一個(gè)工件到傳送帶；2個(gè)傳送帶的功能是將來自豎井架的工件運(yùn)送到靠近機(jī)器人的一端給機(jī)器人碼垛；工件放置盤的功能是作為機(jī)器人碼垛后工件的存放點(diǎn)。

下面通過對(duì)比實(shí)訓(xùn)平臺(tái)原有的無視覺參與的碼垛工作流程和本文開發(fā)的視覺引導(dǎo)的碼垛工作流程來說明本文所開發(fā)系統(tǒng)的功能。

實(shí)訓(xùn)平臺(tái)原有的碼垛流程如圖2所示，實(shí)物說明如圖3所示。可見，無視覺引導(dǎo)的碼垛系統(tǒng)也可以做到一鍵命令后自動(dòng)碼垛，但機(jī)器人碼垛需要工件被運(yùn)送至固定位置后才能碼垛，整個(gè)碼垛動(dòng)作的工件抓取點(diǎn)和放置點(diǎn)都是提前手動(dòng)示教完成的。由于對(duì)抓取起始點(diǎn)處的工件位置非常敏感，如果位置稍有變化就可能導(dǎo)致抓取工件的動(dòng)作失敗，因此實(shí)訓(xùn)室建設(shè)廠家在傳送帶的中間位置的兩邊設(shè)置了兩個(gè)金屬塊，用于糾正工件的位置，確保送到機(jī)器人抓取點(diǎn)的工件位置是固定的。

實(shí)訓(xùn)平臺(tái)原來的無視覺引導(dǎo)的碼垛效果請(qǐng)觀看視頻：https：//pan.baidu.com/s/1sCOZ19hxnQvwKZmeQIDbwg

本文開發(fā)的視覺引導(dǎo)的碼垛工作流程如圖4所示，實(shí)物說明如圖5所示。可見，本文開發(fā)的視覺引導(dǎo)的碼垛系統(tǒng)除了能夠?qū)崿F(xiàn)一鍵自動(dòng)碼垛外，還能自動(dòng)適應(yīng)工件擺放位置和旋轉(zhuǎn)角度的變化，因此提高了碼垛系統(tǒng)的柔性。

視覺引導(dǎo)的碼垛效果請(qǐng)觀看視頻：https：//pan.baidu.com/s/1MNsYT9B_fm7NM2EWwYMb1Q

2 本系統(tǒng)的軟件實(shí)現(xiàn)

本系統(tǒng)的軟件由三部分構(gòu)成：① Dalsa視覺軟件；② 系統(tǒng)總控軟件；③ ABB工業(yè)機(jī)器人端的機(jī)器人程序。

其中，Dalsa視覺軟件主要是在相機(jī)抓拍的照片中搜索工件，并計(jì)算出捕獲到工件的位置信息，包括中心點(diǎn)坐標(biāo)和偏轉(zhuǎn)的角度。系統(tǒng)總控軟件采用C#語言開發(fā)，功能主要是發(fā)送命令觸發(fā)相機(jī)抓拍和將Dalsa軟件發(fā)送過來的數(shù)據(jù)進(jìn)行處理，然后發(fā)送給工業(yè)機(jī)器人。工業(yè)機(jī)器人程序主要根據(jù)從總控軟件接收到的數(shù)據(jù)后完成數(shù)據(jù)的提取，根據(jù)工件偏轉(zhuǎn)的角度值通過機(jī)器人第6軸對(duì)夾具旋轉(zhuǎn)相應(yīng)的角度，然后移動(dòng)到新的工件中心點(diǎn)坐標(biāo)進(jìn)行抓取工件和完成碼垛動(dòng)作。

三者之間的通訊關(guān)系如下：作為服務(wù)器的Dalsa視覺軟件與作為客戶端的系統(tǒng)總控軟件建立TCP/IP連接，作為服務(wù)器的系統(tǒng)總控軟件與作為客戶端的ABB工業(yè)機(jī)器人端的機(jī)器人程序建立TCP/IP連接。

1） Dalsa視覺軟件端的操作與腳本開發(fā)

Step1：使用Dalsa視覺軟件“匹配”工具捕獲任意擺放位置和擺放角度的工件；

使用“匹配”工具的主要過程是，在工件放置盤2上放置一個(gè)工件，放置時(shí)工件的邊緣平行工件放置盤的邊緣，以便于設(shè)置匹配目標(biāo)的模板。打開Dalsa視覺軟件，然后在視覺軟件“工具”中選擇“匹配”工具，設(shè)置搜索空間包括整個(gè)工件放置盤2，設(shè)置匹配目標(biāo)模板為整個(gè)工件，然后設(shè)置匹配相關(guān)參數(shù)，同時(shí)設(shè)置選擇輸出匹配結(jié)果的中心點(diǎn)的X/Y坐標(biāo)和旋轉(zhuǎn)角度。 操作步驟如圖6所示，“匹配”工具的具體操作請(qǐng)參考Dalsa視覺軟件的用戶手冊(cè)中的“設(shè)置工具”部分。

設(shè)置完成后回到軟件開始界面，點(diǎn)擊“運(yùn)行”按鈕，在工件放置盤2上任意改變工件位置，觀察視覺軟件是否可以成功捕獲工件，成功捕獲到的效果如圖7所示。

Step2： 使用腳本將捕獲的工件中心點(diǎn)坐標(biāo)和偏轉(zhuǎn)角度信息發(fā)送給總控軟件；

在視覺軟件“控制”中設(shè)置Dalsa視覺軟件的TCP/IP通信地址，具體細(xì)節(jié)請(qǐng)參考Dalsa視覺軟件的用戶手冊(cè)中的“設(shè)置控制”部分和“PLCs”部分。然后使用Dalsa提供的腳本語言編寫腳本，通過TCP/IP協(xié)議將捕獲的工件中心點(diǎn)坐標(biāo)信息和偏轉(zhuǎn)角度信息發(fā)送給總控軟件。本文系統(tǒng)所編寫的腳本如圖8所示，該腳本編寫方法和功能說明請(qǐng)參考Dalsa視覺軟件的用戶手冊(cè)中的“關(guān)于腳本語言”部分。

2） 系統(tǒng)總控軟件的開發(fā)

系統(tǒng)總控軟件控制著相機(jī)和機(jī)器人的動(dòng)作和通訊，采用C#語言編寫，是本項(xiàng)目開發(fā)過程中工作量較大的地方。功能上，當(dāng)用戶點(diǎn)擊“啟動(dòng)視覺檢測”按鈕后發(fā)送指令命令相機(jī)抓拍，所啟動(dòng)的客戶端收到相機(jī)服務(wù)器處理完成的數(shù)據(jù)后，總控軟件對(duì)數(shù)據(jù)進(jìn)行一些控制判斷和處理，然后作為服務(wù)器發(fā)送給機(jī)器人客戶端程序。

Step1：對(duì)相機(jī)控制、交互部分的開發(fā)；

相機(jī)觸發(fā)功能實(shí)現(xiàn)：給相機(jī)IP的5021端口發(fā)送“gen”軟件觸發(fā)指令（相機(jī)軟件端需設(shè)置為“軟件觸發(fā)模式”）。具體細(xì)節(jié)請(qǐng)參考Dalsa視覺軟件的用戶手冊(cè)中的“網(wǎng)絡(luò)指令”部分。

此部分視覺總控軟件作為TCP/IP的客戶端來開發(fā)，主要包括TCP/IP連接服務(wù)器界面和數(shù)據(jù)收發(fā)顯示、控制界面，放在“TCP Client”選項(xiàng)卡頁面中。交互部分的開發(fā)與普通C#語言的TCP/IP開發(fā)相同，具體細(xì)節(jié)請(qǐng)參考C#語言手冊(cè)。所開發(fā)出的對(duì)相機(jī)服務(wù)器界面如圖9所示。

Step2：與機(jī)器人交互部分的開發(fā)；

此部分視覺總控軟件作為TCP/IP的服務(wù)器來開發(fā)，主要包括對(duì)機(jī)器人的TCP/IP客戶端監(jiān)聽界面和數(shù)據(jù)收發(fā)顯示、控制界面，放在“TCP Server”選項(xiàng)卡頁面中，開發(fā)過程與對(duì)相機(jī)交互部分的開發(fā)過程類似。所開發(fā)出的對(duì)機(jī)器人客戶端界面如圖10所示。

3） ABB工業(yè)機(jī)器人端的設(shè)置與程序開發(fā)

Step1：與總控軟件交互部分的開發(fā)；

這一部分是本系統(tǒng)開發(fā)過程中的一個(gè)難點(diǎn)，所花費(fèi)時(shí)間較長。原思路是總控軟件與西門子PLC通訊，然后西門子PLC與工業(yè)機(jī)器人通訊，在實(shí)現(xiàn)過程中遇到一些難以克服的困難。文獻(xiàn)[7]的方法直接實(shí)現(xiàn)了工業(yè)機(jī)器人的TCP/IP通訊，啟發(fā)了本文系統(tǒng)的開發(fā)，最終工業(yè)機(jī)器人作為TCP/IP客戶端連接總控軟件的服務(wù)器，實(shí)現(xiàn)了工業(yè)機(jī)器人與上位機(jī)軟件的直接通訊，通訊結(jié)果在機(jī)器人示教器界面上的顯示如圖11所示。

Step2：實(shí)現(xiàn)抓取工件和碼垛動(dòng)作部分的開發(fā)；

這部分的開發(fā)與普通工業(yè)機(jī)器人碼垛程序的開發(fā)類似，在此不詳細(xì)敘述，具體請(qǐng)參考ABB官方培訓(xùn)的相關(guān)培訓(xùn)資料的“工業(yè)機(jī)器人入門”部分和“工業(yè)機(jī)器人進(jìn)階”部分，鏈接如下：

http：//www.robotpartner.cn/

3 結(jié)束語

本文實(shí)現(xiàn)了一種由Dalsa工業(yè)相機(jī)引導(dǎo)的ABB工業(yè)機(jī)器人的柔性碼垛系統(tǒng)，由機(jī)器視覺獲取工件的中心點(diǎn)坐標(biāo)和擺放角度信息，通過總控軟件反饋給機(jī)器人，從而完成了機(jī)器人對(duì)任意放置工件的抓取和碼垛動(dòng)作。本文開發(fā)的視覺引導(dǎo)的碼垛對(duì)被抓取工件的擺放位置和擺放角度不敏感，拓展了工業(yè)機(jī)器人教學(xué)平臺(tái)的教學(xué)項(xiàng)目。

參考文獻(xiàn)：

[1] 張紅霞. 國內(nèi)外工業(yè)機(jī)器人發(fā)展現(xiàn)狀與趨勢(shì)研究[J]. 電子世界， 2013（12）：5-7.

[2] 曹成濤，許倫輝，趙雪，等. 四軸工業(yè)機(jī)器人運(yùn)動(dòng)控制與視覺碼垛[J]. 機(jī)械設(shè)計(jì)與制造， 2016，（11）：158-161.

[3] 郭海冰，霍華，封文江. 機(jī)器視覺算法在碼垛機(jī)器人中的應(yīng)用[J]. 沈陽師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2011， 29（2）： 221-225.

[4] 劉振宇，李中生，張濤，等. 基于機(jī)器視覺的碼垛機(jī)器人系統(tǒng)研究[J]. 組合機(jī)床與自動(dòng)化加工技術(shù)， 2014（4）： 9-14， 18.

[5] 程啟良. 智能碼垛裝車工業(yè)機(jī)器人控制系統(tǒng)的研究與應(yīng)用[D]. 山東建筑大學(xué)， 2017.

[6] 胡敏. 視覺系統(tǒng)在異型煙碼垛機(jī)器人系統(tǒng)中的應(yīng)用研究[D]. 重慶大學(xué)， 2017.

[7] 許校軍. 淺談ABB工業(yè)機(jī)器人視覺通訊程序編制[J]. 科技文檔， 2018（27）：218

【通聯(lián)編輯：唐一東】