基于機器視覺的自適應矩陣式吸盤工具設計與應用

蘇建 屠一凡 岳高 孫凡迪 羅緒成

摘要：針對工業機器人利用吸盤工具拾取與搬運過程中存在物料掉落的問題，設計了一個基于機器視覺的自適應矩陣式工業機器人末端吸盤工具。首先設計了該工具的機械結構和控制方案;然后基于機器視覺檢測數據，提出了自適應調整矩陣式吸盤行列間距的原理與算法;再次構建了該工具的控制系統，通過PLC和工業機器人融合編程實現了矩陣式吸盤的自適應調整功能;最后，通過L型零件、包裝箱、棧板和異形玻璃4種物料的測試表明，該工具能夠根據物料的重量計算吸盤的最少數量，根據物料的形狀自適應調整矩陣式吸盤的行列間距，并自動計算出拾取效率，當拾取效率大于0.30時，物料拾取與搬運效果較好，安全性和可靠性較高。

關鍵詞：工業機器人;機器視覺;機器人末端工具;自適應工具

中圖分類號：TH122;TP241

文獻標志碼：A

文章編號：1009-9492（ 2022） 02-0109-04

0 引言

機器視覺作為人工智能技術的一個重要分支，它通過圖像傳感器接收和處理真實物體的圖像，以獲得所需信息或控制機器人運動的技術[1]。隨著工業自動化技術向著數字化、網絡化、智能化方向演進，工業場景對機器視覺的需求不斷增加。工業機器人產業是衡量一個國家制造業水平和科技水平的重要標志，也是重塑我國制造業競爭優勢的重要工具和手段，更是加快工業轉型升級、機器換人的務實之選[2]。機器視覺賦予工業機器人“人眼”的功能，探索與研究機器視覺與工業機器人的交叉應用，有利于加速新一代信息技術與先進制造技術的融合，有利于提高智能制造生產效率和產品質量。

當前，該領域的研究側重工業機器人的控制方案優化[3-5]、視覺分揀應用[6-8]和視覺定位應用[9-12]。對機器視覺、機器人和PLC三者的綜合應用已有一些研究[13-14]，但還不夠深入。針對材質均勻、厚度預知、形狀多樣的較重物料的工業機器人拾取與搬運作業，可能存在無法拾取物料或物料掉落的問題。為了解決如上問題，本文設計了一種基于機器視覺的自適應矩陣式工業機器人末端工具，基于視覺檢測數據該工具能夠根據物料的重量計算吸盤的最少數量，能夠根據物料形狀自適應調整矩陣式吸盤的行列間距，在物料作業前使工業機器人末端工具自動調整至最優拾取或搬運狀態，提高工業機器人作業的安全性和可靠性。

1 方案設計

1.1 機械裝置

如圖1所示，本文設計了一種基于機器視覺的自適應矩陣式工業機器人末端吸盤裝置（工具），該裝置由1個矩陣式吸盤裝置、2個步進電機及傳動裝置、1個工業相機、16個4x4矩陣方式分布的吸盤及其配套機構構成，其中工業相機用于檢測物料的形狀、面積、位置等特征數據，步進電機1和2分別控制吸盤的行列間距。該裝置安裝于工業機器人的末端，配合工業機器人完成物料的吸持、搬運等功能，通過視覺檢測數據，判斷物料的質量（材質均勻、厚度一致），確定吸盤的最少使用個數，通過步進電機調整吸盤的行列間距，達到安全可靠、智能高效搬運較重物料的效果。

1.2 控制方案

自適應矩陣式吸盤工具的控制方案如圖2所示，其中PLC是主控系統，它控制步進電機調整吸盤的行列間距，控制吸盤信號的開關及檢測吸盤的真空信號，PLC還接收相機數據、控制工業機器人的作業和接收機器人的反饋狀態;視覺系統與PLC實現以太網通信，檢測物料的特征數據，并將物料重心位置偏移量、旋轉角度偏移量發送給工業機器人，還將吸盤行列間距和物料面積（換算成質量）發送給PLC，實現吸盤間距的自適應變化;工業機器人與PLC實現以太網通信，PLC控制工業機器人的位置和動作軌跡，接收工業機器人的反饋狀態。

2 原理與算法

2.1 物料取放位置

如式（1）所示，P0為工業機器人示教基準位置，其中X0、Y0、Z0為工業機器人TCP點（末端工具中心點）的位置數據，RX0、RY0、RZ0為機器人TCP點的姿態數據。AX、AY、AZ為視覺檢測處理后發送給PLC的物料偏移位置，分別與X0、Y0、Z0代數和得到機器人實際抓取物料的位置，如式（2）～（4）所示;△θ為視覺檢測后的物料角度數據，與RZ0代數和即可得到機器人實際抓取物料的角度姿態，如式（5）所示。通過△X、△Y、△Z、△θ四個數據的代數和計算，得到當前物料拾取位置（重心位置）為P1，如式（6）所示。放置位置計算同上。

2.2 最少吸盤數量

吸盤最少使用數量依據物料的重量判斷，先測量物料的面積s，根據預知的物料密度p和厚度h計算出物料的重力G，如式（7）所示：

將Q（x，y）與T（x，y）比較即可得到吸盤有效作用的個數k。若滿足k>N0，則行列間距為m1和n2時，機器人可以有效吸持物料。

2.4 拾取效率

如圖3-4所示，物料的拾取效率與有效吸盤數量（黑色圓圈）、吸盤外圍面積（點劃線構成面積）有關。為了衡量工業機器人拾取物料的有效能力，提出了拾取效率t的物理量，該物理量由吸盤使用率k1和吸盤外圍面積率k2的乘積而得，其中吸盤使用率k1為當前有效吸盤與吸盤總數的比值，吸盤外圍面積率k2為吸盤外圍有效的面積與物料面積的比值。

根據式（11） - （13）可得，拾取效率0

3 系統構建與實現

3.1 電氣選型

由于PLC和工業機器人均需要獲取視覺特征數據，本方案選用了西門子PLC、發那科工業機器人和康耐視視覺系統，來實現自適應矩陣式吸盤工具的功能，主要電氣元件及型號如表1所示。

3.2 組態通信

根據上述電氣選型，本系統由PLC、機器人、視覺、HMI、變頻器5個通信設備組成，其中PLC是核心控制設備，機器人用于拾取或搬運物料，視覺用于檢測物料，HMI用于信息的輸入與顯示，變頻器用于驅動物料的輸送，它們各自分配一個相同網段的IP地址，并通過Profi-NET進行通信與連接，系統的組態及IP地址如圖5所示。

PLC、HMI和變頻器均為西門子產品，具有成熟的通信方式和通信協議，PLC和HMI可以實時交互所需的通信數據，PLC與變頻器實現2個字發送和2個字接收，通過報文方式控制變頻器并實時獲取變頻器的運行狀態。PLC與發那科工業機器人實現16個字發送和16個字接收，通過PLC發送數據給機器人，確定機器人抓取與放置位置，同時機器人發送一個狀態字給PLC，實現數據的交互。PLC與變頻器、視覺系統、工業機器人的外圍輸入輸出信號如表2所示。

3.3 PLC與機器人編程

PLC與工業機器人實時交互通信數據，通過“一呼一應”信號實現PLC控制工業機器人正確拾取并放置物料。其中QW23為PLC控制機器人的控制字，QW25、QW27、QW29、QW31分別為PLC發送給機器人的AX、△y、△Z、△θ，QW23=1為復位機器人，QW23=2為控制機器人達到拍照位，QW23=3為控制機器人拾取物料，QW23=4為控制機器人放置物料;IW23為機器人發送給機器人的狀態字，IW23=10為機器人復位完成，IW23=20為機器人達到拍照位完成，IW23=30為機器人拾取物料完成，IW23=40為機器人放置物料完成。機器人與PLC融合編程流程如圖6所示。

4 實驗測試與結果分析

圖7-9所示為對L型零件實驗測試的3種情況，該零件形狀不規則但中間無孔，測試數據如表3所示。圖7使用的吸盤數少、有效面積小，拾取效率僅為0.13;圖8使用全部吸盤、有效面積小，拾取效率為0.24;圖9使用的吸盤數為12、有效面積較大，拾取效率為0.38。圖10所示為包裝箱拾取測試，包裝箱長寬不等，大小可表，由于為矩形形狀，通過自適應調整吸盤間距拾取效率可達0.82，拾取效率較大;圖11所示為棧板拾取測試，棧板雖為矩形形態，但是中間有漏孔，通過自適應調整吸盤間距拾取效率可達0.59;圖12所示為異形玻璃拾取測試，通過白適應調整吸盤間距拾取效率可達0.39。實驗數據可見，當拾取效率大于0.30時，物料拾取與搬運效果較好，安全性和可靠性較高。5結束語

綜上所述，融合機器視覺技術的工業機器人拾取或搬運物料，可以有效識別物料的特征，根據物料的重量計算吸盤的最少數量，根據物料的形狀自適應調整矩陣式吸盤的行列間距，白適應調整工業機器人末端吸盤工具形態，達到安全、可靠、有效拾取并搬運物料，減少工具更換，提高作業效率。

實驗表明，基于機器視覺的自適應矩陣式工業機器人末端吸盤工具，針對材質均勻、厚度預知、形狀多樣的較重物料拾取與搬運，可根據物料的重量和形態，自適應調整吸盤數量和吸盤行列間距，大大提高工業機器人拾取物料的可靠性、安全性，具有較好的應用效果。

參考文獻：

[1]劉翠翠，楊濤.機器視覺在智能制造中的應用與產業發展[J].機床與液壓，2021，49（11）：172-178.

[2]王詩宇.智能化工業機器人視覺系統關鍵技術研[D].北京：中國科學院大學，2021.

[3]邱素貞，李慶年，盧志翔，等，基于機器視覺檢測的碼垛機器人控制系統設計[J].包裝工程，2019，40（3）：207-211.

[4]張業鵬，張明.基于PLC與工業機器人的全自動化碼垛系統設計[J].2015，37（11）：108-110.

[5]李洪濤，張明柱，賈曉敏.基于視覺信息的工業機器人搬運系統研究[J].機床與液壓，2015，43（9）：17-20.

[6]王詩宇，林滸，孫一蘭，基于機器視覺的機器人分揀系統的設計與實王見[J].組合機床與自動化加工技術，2017（3）：125-129.

[7]張衛芬，湯文成.基于機器視覺的物料自動分揀系統研究[J].組合機床與自動化加工技術。2019（6）：34-37。

[8]徐青青.基于機器視覺的工業機器人智能分揀系統設計[J].儀表技術與傳感器，2019（8）：92-95.

[9]周自更，黃修乾，胡昌斌，等.基于長期度量學習和圖像匹配變換的機器人視覺定位研究[J].電子器件，2020，43（6）：1396-1402.

[10]萬國揚，王國峰，李福東，等.基于視覺定位與軌跡規劃的機器人打磨工作站[J].計算機集成制造系統，2021，27（1）：118-127.

[11]項亞南，喻永康，陳亞，等.基于視覺的工件狀態檢測系統[J].儀表技術與傳感器。2016（10）：87-93.

[12]李致金，武鵬，喬治，等.基于機器視覺的機器人工件定位系統[J].組合機床與自動化加工技術，2019（12）：127-130.

[13]韓桂榮，陳緒兵，基于PLC、機器人和視覺系統的汽車輪轂全自動搬運系統設計[J].現代制造工程，2017（9），52-58.

[14]周文婷，孟凡文，王海亮.基于MODBUS-TCP協議的視覺系統、PLC與工業機器人通信設計[J].電子世界，2020（21）：132-134.