基于OpenCV的物料分揀搬運(yùn)機(jī)器人的設(shè)計(jì)

陳志鵬，徐廣淶，陳顯揚(yáng)，陳韻律，陳西明，李德榮*

(1.廣東海洋大學(xué) 電子與信息工程學(xué)院，廣東 湛江 524088;2.廣東海洋大學(xué) 機(jī)械與動(dòng)力工程學(xué)院，廣東 湛江 524088)

0 引 言

在生產(chǎn)制造業(yè)中，物料分揀機(jī)器人成為了產(chǎn)業(yè)中承擔(dān)物料分揀任務(wù)的重要一環(huán)。機(jī)器人所執(zhí)行的物料分揀任務(wù)是將生產(chǎn)線上傳輸?shù)漠a(chǎn)品或原材料通過機(jī)器視覺或傳感器等方式加以分類或甄別[1]。

該文在2019年廣東省工科大學(xué)生實(shí)驗(yàn)綜合技能競賽的背景下，設(shè)計(jì)出一種基于OpenCV的物料分揀搬運(yùn)機(jī)器人，可通過視覺算法識(shí)別出賽場元素，自主拾取物料并以特定方式投放至儲(chǔ)存區(qū)，任務(wù)執(zhí)行高效而準(zhǔn)確。

1 機(jī)器人設(shè)計(jì)要求

(1)機(jī)器人須有手爪且為整體制作。

(2)機(jī)器人需完全自主運(yùn)行，不得與外界通訊。

(3)比賽場地設(shè)有機(jī)器人出發(fā)區(qū)、物料投放區(qū)、物料儲(chǔ)存區(qū)、物料發(fā)射區(qū)。物料投放區(qū)為地面上白色正方形區(qū)域，物料儲(chǔ)存區(qū)為粉紅色收集筐，物料發(fā)射區(qū)為三個(gè)400 mm大小的圓形區(qū)域，與發(fā)射區(qū)距離相同。場地示意圖及具體尺寸如圖1所示。

(4)物料為紅色或藍(lán)色直徑為40 mm的乒乓球，在比賽開始前從物料投放區(qū)被放出，隨機(jī)滾到場地任意位置。機(jī)器人從出發(fā)區(qū)出發(fā)，在給定時(shí)間內(nèi)進(jìn)行特定顏色的物料抓取，并移動(dòng)至發(fā)射區(qū)將物料投入物料儲(chǔ)存區(qū)中，過程中不得儲(chǔ)存球。其中藍(lán)球與紅球各20個(gè)。

圖1 場地示意圖

2 機(jī)器人結(jié)構(gòu)設(shè)計(jì)

物料分揀搬運(yùn)機(jī)器人的結(jié)構(gòu)設(shè)計(jì)上包含行走結(jié)構(gòu)、圖像采集結(jié)構(gòu)、物料發(fā)射結(jié)構(gòu)、機(jī)械臂。結(jié)構(gòu)各部分協(xié)調(diào)配合，使得機(jī)器人工作穩(wěn)定高效。物料分揀搬運(yùn)機(jī)器人三維建模圖如圖2所示。

1、直流電機(jī); 2、電機(jī)驅(qū)動(dòng); 3、機(jī)械臂 4、樹莓派; 5、集球漏斗;6、攝像頭;7、數(shù)字舵機(jī); 8、摩擦輪; 9、全向輪

(1)行走裝置。

裝有全向輪的電機(jī)在底盤上呈圓周分布，能實(shí)現(xiàn)原地旋轉(zhuǎn)與全方位移動(dòng)，旋轉(zhuǎn)角度控制精度高，能夠完成復(fù)雜的路線。

(2)圖像采集結(jié)構(gòu)。

攝像頭通過3D打印件進(jìn)行開槽限位和壓蓋連接的方式安裝在可兩個(gè)自由度的攝像頭云臺(tái)上，云臺(tái)安裝于由鋁棒作為支撐的亞克力平面上，保證了攝像頭充足的視野以及攝像頭轉(zhuǎn)動(dòng)的流暢性。

(3)物料發(fā)射結(jié)構(gòu)。

采用一對(duì)摩擦輪電機(jī)組與水平面成一定角度，當(dāng)其以不同速度轉(zhuǎn)動(dòng)時(shí)，可將從集球漏斗中滑出的球形物料射出到不同位置。

(4)機(jī)械臂。

由于規(guī)則要求手爪設(shè)計(jì)一體化，基于球形物料形狀，采用包夾式的結(jié)構(gòu)，由齒輪直接與爪子相連構(gòu)成一體化手爪，通過齒輪副轉(zhuǎn)動(dòng)來實(shí)現(xiàn)夾持動(dòng)作。小型大扭矩舵機(jī)連接U型支架，使機(jī)械臂能夠翻轉(zhuǎn)，便于機(jī)器人對(duì)物料進(jìn)行顏色復(fù)查以及將物料放入漏斗進(jìn)行物料發(fā)射。機(jī)械臂設(shè)計(jì)如圖3所示。

圖3 機(jī)械臂設(shè)計(jì)

3 系統(tǒng)設(shè)計(jì)及工作流程

3.1 系統(tǒng)設(shè)計(jì)

選用STM32F407ZGT6芯片及相關(guān)器件構(gòu)成主控制系統(tǒng)，眾多IO口便于驅(qū)動(dòng)機(jī)器人外設(shè)。主控系統(tǒng)支持多種通信接口，便于與樹莓派交互數(shù)據(jù)。

采用樹莓派4B與120 fps攝像頭構(gòu)建識(shí)別系統(tǒng)。樹莓派4B是一款微型單板計(jì)算機(jī)，具有多種通信接口以及豐富的網(wǎng)絡(luò)功能，方便與主控制系統(tǒng)進(jìn)行通信連接；高性能博通A72處理器以及4 GB的運(yùn)行內(nèi)存為基于OpenCV的實(shí)時(shí)圖像識(shí)別功能奠定了基礎(chǔ)；樹莓派一般搭載Linux系統(tǒng)，適合嵌入式開發(fā)[2]。綜合考慮樹莓派的運(yùn)算能力及圖像質(zhì)量，選用幀率為120 fps的USB攝像頭，圖像尺寸480×320像素。

3.2 工作流程

機(jī)器人首先在場地的任意位置自轉(zhuǎn)尋找物料，如果發(fā)現(xiàn)目標(biāo)則靠近并抓取。抓取之后檢驗(yàn)顏色是否正確，若正確則自轉(zhuǎn)尋找物料發(fā)射區(qū)，找到發(fā)射區(qū)并移動(dòng)至發(fā)射區(qū)，此時(shí)再自轉(zhuǎn)尋找物料收集區(qū)，找到并對(duì)準(zhǔn)物料收集區(qū)進(jìn)行物料發(fā)射動(dòng)作。執(zhí)行完以上步驟則為一個(gè)流程，重復(fù)該工作流程直至場地?zé)o物料或既定時(shí)間結(jié)束，則流程結(jié)束。控制程序流程如圖4所示。

圖4 控制程序流程

4 基于OpenCV的識(shí)別系統(tǒng)

OpenCV是Intel公司開發(fā)的開源計(jì)算機(jī)視覺算法庫[3]，擁有豐富的函數(shù)功能以及強(qiáng)大的圖像和矩陣運(yùn)算能力，且具有平臺(tái)無關(guān)性和程序運(yùn)行的實(shí)時(shí)性，因而成為了機(jī)器人實(shí)時(shí)識(shí)別算法庫的最佳選擇[4]。

識(shí)別系統(tǒng)在硬件上包含樹莓派4B與120 fps攝像頭，軟件部分上則為基于OpenCV設(shè)計(jì)面向具體任務(wù)的識(shí)別算法。識(shí)別系統(tǒng)的運(yùn)行受主控制系統(tǒng)控制。

為滿足機(jī)器人的功能要求，識(shí)別任務(wù)有四種，分別是識(shí)別球型物料、識(shí)別物料發(fā)射區(qū)、識(shí)別儲(chǔ)存區(qū)和顏色復(fù)查。由于目標(biāo)的主要特征之一是顏色，所以所有識(shí)別任務(wù)的第一步都是經(jīng)顏色分割生成二值圖。對(duì)于不同的任務(wù)，第二步一般有所不同，但輸入均為二值圖，除了“顏色復(fù)查”外，輸出均為坐標(biāo)值。識(shí)別算法可能的執(zhí)行路徑如圖5所示。

4.1 顏色分割算法

在如今的顏色分割算法的設(shè)計(jì)上，往往將灰度圖像分割方法應(yīng)用于不同的顏色空間,并且可直接應(yīng)用于每個(gè)顏色分量上，其結(jié)果再通過一定的方式進(jìn)行組合,即可獲取最后的分割結(jié)果[5]。

圖5 識(shí)別算法整體流程

采用顏色閾值二值化的方法對(duì)彩色圖像進(jìn)行顏色分割。在三維直角坐標(biāo)系中，由一組顏色閾值上下限包圍的空間是一個(gè)長方體，長方體內(nèi)每個(gè)點(diǎn)的坐標(biāo)對(duì)應(yīng)一組顏色值[6-7]。HSV或Lab顏色空間用于描述人眼對(duì)顏色感受，由閾值上下限形成的長方體中更多地包含了目標(biāo)的顏色，且更少地包含了其他的顏色。相對(duì)于RGB顏色空間，由于在實(shí)際中操作中，RGB顏色表示容易受到強(qiáng)光、弱光、陰影等因素的影響，因而選擇在HSV或Lab顏色空間中進(jìn)行顏色分割[8]。

由于OpenCV默認(rèn)采用BGR顏色空間，所以讀取圖像后先將圖像轉(zhuǎn)換到HSV或Lab顏色空間，并使用inRange函數(shù)將圖像二值化，最后經(jīng)形態(tài)學(xué)操作去除噪聲，完成顏色分割。對(duì)于各識(shí)別任務(wù)，轉(zhuǎn)換到HSV還是Lab空間由實(shí)驗(yàn)效果確定。物料顏色分割效果如圖6所示。

圖6 物料顏色分割效果

4.2 利用輪廓幾何特征識(shí)別目標(biāo)

顏色分割將具有特定顏色的區(qū)域篩選出來，對(duì)于這些區(qū)域，提取輪廓并考察其幾何特征進(jìn)行進(jìn)一步篩選，從而識(shí)別出目標(biāo)。

輪廓檢測是基于在區(qū)域邊緣上的像素灰度變化比較劇烈,試圖通過檢測不同區(qū)域的邊緣來解決圖像分割問題[9]。

利用findContours()函數(shù)提取出二值圖中的所有輪廓，然后用相關(guān)函數(shù)求出輪廓的幾何參數(shù)[10]。二值圖中尺寸最大的區(qū)域往往就是目標(biāo)，則輪廓的最小外接圓半徑最大的區(qū)域就是目標(biāo)。對(duì)于球型物料來說，由于近大遠(yuǎn)小，輪廓的最小外接圓半徑最大的區(qū)域往往是最近的球型物料。于是，利用輪廓的幾何特征即可將目標(biāo)識(shí)別出來。如果識(shí)別到目標(biāo)，輸出的坐標(biāo)為目標(biāo)最小外接圓的圓心坐標(biāo)，如果沒有識(shí)別到目標(biāo)，輸出的坐標(biāo)為(-1,-1)。

4.3 目標(biāo)跟蹤算法

對(duì)于識(shí)別球型物料的任務(wù)，由于場地上存在多個(gè)目標(biāo)，所以一經(jīng)識(shí)別立即通過CAMshift跟蹤算法將其“鎖定”，直到物料跟蹤任務(wù)完成；若跟蹤過程中目標(biāo)“丟失”，便重復(fù)識(shí)別到跟蹤的步驟。

mean-shift算法的思想是，任意給定一個(gè)初始窗口，使目標(biāo)的部分區(qū)域落在窗口內(nèi)，然后逐步移動(dòng)窗口，直到窗口中心與目標(biāo)的質(zhì)心重合(在給定精度內(nèi))[11]。由于運(yùn)動(dòng)可能導(dǎo)致物體大小的改變，因此衍生出CAMshift算法[12]，該算法在mean-shift的基礎(chǔ)上，可以自動(dòng)更新窗口的大小和朝向以適應(yīng)物體的變化[13]。

圖7 窗口尺寸對(duì)跟蹤效果的影響

為達(dá)到更好的目標(biāo)跟蹤效果，需要進(jìn)一步調(diào)整窗口的尺寸。為了說明這個(gè)問題，考察如圖7所示的運(yùn)動(dòng)。第一幀中，物料位置如圖(a)所示，使用CAMshift算法計(jì)算左側(cè)物料所在的窗口，將其在圖中畫出，可知窗口尺寸正好貼合目標(biāo)。將第一幀得到的窗口作為第二幀輸入跟蹤算法的初始窗口。第二幀的情形如圖(b)所示，如果運(yùn)動(dòng)速度過快，則物料可能運(yùn)動(dòng)到窗口之外，導(dǎo)致目標(biāo)跟蹤失敗。而如果將第一幀得到的窗口尺寸擴(kuò)大為原來的1.6倍，再作為第二幀的初始窗口，則第二幀中左側(cè)物料仍有一部分落入其中，如圖(c)所示。畫出第二幀中擴(kuò)大后的初始窗口和CAMshift算法給出的新窗口，可看到，實(shí)現(xiàn)了良好的跟蹤效果。若目標(biāo)附近存在其他物體，過大的窗口尺寸又容易導(dǎo)致最終窗口中心與二者共同的質(zhì)心重合，造成“連體”現(xiàn)象。如圖(d)所示，第二幀中，初始窗口尺寸擴(kuò)大為原來的2.1倍，結(jié)果附近的物料也有部分落入其中，導(dǎo)致計(jì)算出的新窗口將兩個(gè)物料都包含在內(nèi)。經(jīng)過試驗(yàn)，窗口尺寸擴(kuò)大為原來的1.2至1.5倍為宜，同時(shí)限制窗口的最大尺寸。

4.4 顏色復(fù)查算法

為了判斷是否抓取到正確的物料，由主控制系統(tǒng)發(fā)送一條指令和物料的坐標(biāo)，識(shí)別系統(tǒng)檢查該坐標(biāo)附近的顏色。采用前一識(shí)別任務(wù)的閾值作顏色分割，因此對(duì)于正確顏色的物料，二值圖中該坐標(biāo)附近的像素應(yīng)為白色。實(shí)際做法是計(jì)算給定坐標(biāo)周圍一定區(qū)間內(nèi)，白色像素點(diǎn)所占的比例，以應(yīng)對(duì)因二值圖質(zhì)量不佳的情況。

5 機(jī)器人通訊系統(tǒng)

機(jī)器人通過網(wǎng)頁實(shí)時(shí)顯示機(jī)器人在工作時(shí)對(duì)目標(biāo)的識(shí)別效果以及實(shí)時(shí)參數(shù)信息，方便在調(diào)試時(shí)進(jìn)行參數(shù)的調(diào)節(jié)；機(jī)器人的主從通信即為以STM32為核心的主控制系統(tǒng)與作為從設(shè)備的樹莓派之間的通信[14]，主要為指令以及坐標(biāo)的收發(fā)。

5.1 網(wǎng)頁顯示

在OpenCV項(xiàng)目開發(fā)中，將圖片用imwrite()函數(shù)保存，經(jīng)服務(wù)器程序可在網(wǎng)頁上顯示出該圖片。

采用Flask框架編寫服務(wù)器程序[15]，響應(yīng)靜態(tài)頁面。利用HTML和JavaScript構(gòu)建網(wǎng)頁，每隔20 ms至50 ms向服務(wù)器請(qǐng)求圖片并顯示。局域網(wǎng)內(nèi)的設(shè)備均可通過瀏覽器看到實(shí)時(shí)圖像。

實(shí)際運(yùn)行時(shí)，樹莓派與手機(jī)或電腦通過連接同一Wi-Fi而處于同一局域網(wǎng)，啟動(dòng)服務(wù)器程序后，使用手機(jī)或電腦的瀏覽器內(nèi)訪問微型網(wǎng)站，即可看到實(shí)時(shí)圖像。。

5.2 主從通信

機(jī)器人識(shí)別系統(tǒng)與主控制系統(tǒng)通過串口交互[16]。基于分層的思想，設(shè)計(jì)了兩層通信協(xié)議。底層采用串口通信協(xié)議，用于收發(fā)ASCII字符。在ASCII可見字符的基礎(chǔ)上，約定數(shù)據(jù)幀的格式為：，這可視為第二層協(xié)議。該層協(xié)議要求每幀首尾的尖括號(hào)必須完整且對(duì)應(yīng)，否則視為數(shù)據(jù)損壞，將其丟棄。其中command表示指令，val表示對(duì)應(yīng)的數(shù)據(jù)，等號(hào)和逗號(hào)為分界符。一幀必須有一個(gè)command，可以有任意數(shù)量個(gè)val。實(shí)踐表明，上述簡單的協(xié)議完全滿足需求。

6 實(shí)驗(yàn)結(jié)果與分析

在實(shí)驗(yàn)場地模擬實(shí)際比賽環(huán)境，機(jī)器人在場地內(nèi)分揀與搬運(yùn)隨機(jī)灑落在場地的紅色與藍(lán)色物料，并定時(shí)2分鐘，計(jì)算機(jī)器人在此時(shí)間內(nèi)分揀并投入的到物料收集筐中的物料數(shù)目。首先對(duì)藍(lán)色物料進(jìn)行分揀搬運(yùn)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 藍(lán)色物料識(shí)別搬運(yùn)數(shù)目情況

同樣，在相同環(huán)境下，對(duì)紅色物料進(jìn)行同樣的分揀搬運(yùn)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 紅色物料識(shí)別搬運(yùn)數(shù)目情況

從以上的實(shí)驗(yàn)記錄可以觀察出經(jīng)過多次實(shí)驗(yàn)并針對(duì)機(jī)器人自身痛點(diǎn)進(jìn)行不斷優(yōu)化，機(jī)器人識(shí)別精度達(dá)到97%，在效率上平均每個(gè)球形物料分揀搬運(yùn)時(shí)間為7.64秒，足以滿足比賽精度及效率需求。機(jī)器人實(shí)物如圖8所示。

圖8 機(jī)器人實(shí)物

7 結(jié)束語

文章以大學(xué)生學(xué)科競賽為背景，提出了一款基于OpenCV的物料分揀搬運(yùn)機(jī)器人的設(shè)計(jì)。該機(jī)器人的主要核心技術(shù)是對(duì)物料以及場地環(huán)境的識(shí)別。在識(shí)別算法開發(fā)上，花費(fèi)的時(shí)間最多,從簡單的物料分揀到物料發(fā)射，整個(gè)識(shí)別流程的算法改進(jìn)許多遍，從光流跟蹤到CAMshift算法，經(jīng)過了許許多多科學(xué)的計(jì)算，深刻明白了機(jī)器人自動(dòng)化一切源自數(shù)學(xué)物理方法。該機(jī)器人在物料分揀搬運(yùn)的任務(wù)中，準(zhǔn)確率較高，在特定場合下加以改造，便可應(yīng)用于各種工作環(huán)境的各種物料分揀與甄別工作。所設(shè)計(jì)的基于OpenCV的物料分揀搬運(yùn)機(jī)器人在2019年工科大學(xué)生實(shí)驗(yàn)綜合技能競賽中，榮獲一等獎(jiǎng)。