基于機器視覺的堆疊貨箱抓取系統設計

摘 要：針對冷鏈運輸領域自動化水平低的問題，設計一套基于機器視覺的堆疊貨箱抓取系統。基于Matlab標定工具完成相機標定，得到坐標系轉換數學模型，使用改進Canny邊緣檢測算法提取圖像中堆疊貨箱的位置信息，通過PLC控制卸貨機器人按照既定程序實現對冷鏈集裝箱中堆疊貨箱的抓取作業。實驗結果表明：圖像處理時間小于2 ms，抓取效率可達5 s/件，抓取位置誤差小于5 mm，完全滿足工業生產要求。

關鍵詞：機器視覺；Canny邊緣檢測；PLC；卸貨機器人；抓取系統；堆疊貨箱

中圖分類號：TP242.3" 文獻標志碼：A" 文章編號：1671-5276（2024）05-0199-04

Design of Grasping System of Stacked Container Based on Machine Vision

Abstract：Aimed at the low automation level of cold chain transportation， a set of stacking container grasping system based on machine vision was designed. Matlab calibration tool was used to complete the camera calibration to obtain the mathematical model of coordinate system transformation. Improved Canny edge detection algorithm was applied to extract the position information of stacked cargo boxes in the image. By PLC， the unloading robot was controlled to grasp stacked cargo boxes in cold chain containers according to the established procedures. The experimental results show that the image processing time is less than 2 ms， the grasping efficiency is up to 5 s/piece， and the grasping position error is less than 5 mm， well meeting the requirements of industrial production.

Keywords：machine vision；Canny edge detection；PLC；unloading robot；grasping system；stacked container

0 引言

我國進口冷鏈產品數量很大，這些產品目前到港后由人工進行卸貨，勞動強度高，工作效率低，而且冷鏈集裝箱內溫度需保持-20℃，工作環境惡劣，卸貨人員需穿著厚重的保溫服進行高強度搬運工作，這些都導致了用工難和用工貴等問題。為了提高掏箱效率、減少工人機械式重復勞動，研發一套全自動化的抓取系統去替代人工進行卸貨操作具有重大意義。

目前大多數自動化程度較高的抓取系統使用機器視覺進行識別定位。屠海斌［1］設計了一套基于機器視覺的搬運抓取機器人系統，首先通過視覺圖像處理識別定位目標物體，然后控制機械臂按照規劃好的路徑進行搬運工作。李雪梅等［2］設計了一套基于視覺引導的閥口袋識別抓取系統，通過對閥口袋的特征提取進行目標定位，PLC控制機械臂實現了對閥口袋的抓取。王天琪［3］設計了一種基于視覺伺服的料庫抓取系統，通過分水嶺算法將各個零件從料庫中分割出來，然后提取圖像距特征求出各個工件的位置，最終實現基于圖像的視覺伺服抓取。但上述識別抓取系統存在識別時間長、抓取成功率不高等問題，不滿足冷鏈卸貨快速、可靠的要求。本文以冷鏈集裝箱中的堆疊貨箱為研究對象，針對其作業空間有限、冷鏈貨箱數量多、難識別及難抓取等問題，提出了一種新型的抓取系統，利用機器視覺對堆疊貨箱進行識別分割定位，上位機做好路徑規劃之后發送給PLC，最后PLC控制卸貨機器人實現抓取卸貨操作。

1 系統總體搭建

1.1 系統硬件構建

基于機器視覺的堆疊貨箱抓取系統主要由自主研發的卸貨機器人、視覺系統以及PLC控制系統3部分組成。

針對冷鏈集裝箱內堆疊貨箱場景，自主研發了一套可自主移動的多模式抓取機器人。其主要由底座小車、各軸運動機構、吸盤架、伸縮托輥以及氣路等組成。其中吸盤架由吸盤托架、可伸縮的上吸盤以及下吸盤組成，可針對貨物位置選擇水平或垂直吸取，卸貨機器人組成如圖1所示。

PLC控制系統由匯川AM403 PLC、IO擴展模塊、各軸伺服驅動器與伺服電機、激光位移傳感器以及各類外部元器件組成。

視覺系統由MV-CS060-10GM海康相機、白色LED開孔面光源以及配有Haclon的計算機組成。

1.2 系統工作原理

基于機器視覺的堆疊貨箱抓取系統的工作原理如圖2所示。在系統準備就緒后，首先在激光位移傳感器的實時反饋下控制小車移動到距離貨箱合適位置，確保全部貨物均在相機有效視場后進行拍照；然后視覺系統進行圖像處理提取每一個貨箱的位置坐標，上位機在獲取到貨箱坐標之后進行抓取路徑規劃并將規劃好的路徑發送給PLC執行；PLC控制各軸伺服驅動器和電機運動到相應的位置進行抓取卸貨操作；每一次抓完之后再進行拍照，確認沒有少抓漏抓等情況，否則返回上一層重新抓取。以此循環直到一面貨箱全部抓取完畢。然后再控制小車移動到拍照位置，重復同樣的步驟，直到集裝箱中的貨物全部抓取完畢。

2 圖像識別檢測及定位

2.1 目標識別檢測

視覺系統中相機的標定是重要環節，它決定視覺系統是否能準確定位目標物體的真實位置［4］。普通相機往往采用小孔成像模型，這涉及到4個坐標系之間的轉換，分別是世界坐標系、相機坐標系、圖像坐標系和像素坐標系［5］。這4個坐標系之間的轉化關系如式（1）所示。

計算得到的內參矩陣為

畸變系數為-0.175%。

此外還需要進行手眼標定以及像素當量標定，通過手眼標定可以求得世界坐標系與相機坐標系的位置轉換關系；通過像素當量標定可以得到尺寸因子，實現不同物距下像素尺寸到實際尺寸的轉換［9］。

2.2 目標識別分割及其定位

針對冷鏈集裝箱內堆疊貨箱的特點，基于Haclon軟件設計了一套堆疊貨箱識別分割及定位的方法。圖像處理流程如圖3所示。

1）圖像預處理

圖像預處理的主要目的是消除圖像中無關的信息，突出目標信息，從而改進特征抽取、圖像分割、匹配和識別的可靠性［10］。相機采集到的原始灰度圖像如圖4（a）所示。由于貨箱與集裝箱環境存在灰度差，可以通過閾值分割將堆疊貨箱與集裝箱背景進行分割，閾值分割后的圖像如圖4（b）所示。可以看出仍然有部分背景干擾存在，這就需要進行腐蝕、膨脹、開運算以及閉運算等一系列形態學操作去消除掉噪聲，從而只保留貨箱區域，經過形態學操作后的圖像如圖4（c）所示。通過區域處理即可獲得貨箱區域位置的圖像，貨箱區域圖像如圖4（d）所示。

2）改進Canny邊緣檢測

Canny邊緣檢測主要分為4步來實現，分別是高斯模糊、計算梯度、非極大值抑制以及雙閾值連接［11］。由于貨箱的邊緣為水平或垂直線條，基于這一特征進行篩選，通過最小二乘法求得線段斜率，只保留水平和垂直方向，減少運算量，縮短了圖像處理時間。基于改進后的Canny算法檢測效果如圖4（e）所示。

3）貨箱分割定位

經過改進Canny邊緣檢測得到的是斷斷續續線段，還需進行線條合并操作以分割出獨立的貨箱，線條合并操作結果如圖4（f）所示。對合并后的線條進行區域化處理即可將每一個貨箱獨立分割出來，得到每一個貨箱的最小外接矩形，貨箱分割結果如圖4（g）所示。對每一個獨立分割出來的貨箱進行最小外接矩形處理，從而得到每一個貨箱的中心點位置坐標與傾斜角度，如圖4（h）所示。

經過上述一系列圖像處理操作之后，得到了每一個貨箱在像素坐標下的位置，然后將每一個貨箱位置的像素坐標代入坐標系，轉化數學模型即可求得每一個貨箱在世界坐標系下的位置坐標與傾斜角度。

3 系統實現

在將視覺系統、PLC控制系統以及卸貨機器人硬件搭建完成之后，還需要進行PLC控制程序設計以及上位機軟件設計。上位機軟件是基于Visual Studio 2019開發環境，采用C#語言編寫。

通過軟硬件的調試，抓取系統工作流程如下：

1）小車自動移動到拍攝位置，拍攝的照片發送給上位機進行圖像處理，然后通過坐標變換得到貨箱的實際位置；

2）在得到貨箱的位置信息之后進行路徑規劃，然后將規劃好的路線發送給PLC，最后PLC控制卸貨機器人進行抓取卸貨操作；

3）在完成一次循環之后，視覺系統再次拍照，從而得到最新的貨箱位置信息，然后再進行抓取卸貨，直到貨箱全部抓取完畢。系統控制流程如圖5所示。

4 工程驗證

為了驗證系統的可行性，在某集團進行了大量的抓取實驗，抓取的堆疊貨箱長寬高尺寸為530mm×300mm×250mm，抓取數量為10 000個。抓取結果表明：視覺圖像處理時間約2ms，識別成功率可達97%以上，可牢固抓取25kg以內的貨箱，貨箱抓取精度在5mm以內，如表1所示，抓取效率可達到5s/件，抓取系統卸貨過程如圖6所示。

5 結語

本文設計了一套基于機器視覺的堆疊貨箱抓取系統，采用機器視覺、改進Canny邊緣檢測以及最小外接矩形的方法得到貨箱的像素坐標；再通過坐標變換得到每一個貨箱的世界坐標位置后進行路徑規劃，最后卸貨機器人在PLC的控制下按照既定路徑實現對堆疊貨箱的抓取卸貨。該系統于2022年11月在某集團進行了大量的抓取實驗。實驗結果表明：該抓取系統圖像處理時間2ms，定位精度5mm，抓取成功率可達97%，能夠很好地滿足工業生產，對實現自動化卸貨提供很高的實用價值。

參考文獻：

［1］ 屠海斌. 基于機器視覺的搬運機器人系統研究與軟件實現［D］. 南京：東南大學，2015.

［2］ 李雪梅，李喆，張鑫，等. 基于機器視覺的閥口袋動態抓取系統設計［J］. 機床與液壓，2022，50（12）：77-82.

［3］ 王天琪. 基于視覺伺服的機器人料庫抓取系統研究［D］. 常州：江蘇理工學院，2020.

［4］ 苗彭. 基于視覺的機械臂工件抓取系統研究［D］. 天津：天津理工大學，2019.

［5］ 李曉曉，吳昊榮，孫付春，等. 基于Halcon的單目相機標定方法與測量實驗［J］. 山東工業技術，2022（5）：8-12.

［6］ 占光潔，丁濤，馬志斌. 一種基于無人機的錢塘江涌潮高度及傳播速度測量方法：CN114396921A［P］. 2022-04-26.

［7］ DUAN Y，YU Y L，LI P，et al. High-precision camera calibration based on a 1D target［J］. Optics Express，2022，30（20）：36873.

［8］ 孫浩然. 大撓性衛星高精度姿態控制技術研究［D］. 哈爾濱：哈爾濱工業大學，2021.

［9］ 丁鶴華，杜坡，段振云. 大直徑零件機器視覺轉角測量標定方法［J］. 機械管理開發，2022，37（7）：64-66.

［10］ 楊正華，朱健. 基于機器視覺的閥芯自動裝配系統［J］. 機械制造與自動化，2021，50（1）：231-234，236.

［11］ VEMURU K V. Implementation of the canny edge detector using a spiking neural network［J］. Future Internet，2022，14（12）：371.