基于AR技術(shù)機械臂物料抓取系統(tǒng)設(shè)計

張青春，姚 勝，郭振久，何孝慈

（淮陰工學院自動化學院，江蘇 淮安 223003）

0 引 言

隨著工業(yè)生產(chǎn)越來越自動化、智能化，工業(yè)機器人的應(yīng)用也越來越普遍。機械臂作為機器人的分支之一，在工業(yè)生產(chǎn)中發(fā)揮著重要的作用，機械臂與機器視覺的結(jié)合使機械臂得到更廣泛的應(yīng)用，機械臂抓取物料的速度和精度問題一直都是研究的焦點。在圖像處理方面，對目標識別和定位時間的快慢直接影響機械臂的工作效率[1-3]。

機械臂在抓取物料的過程中，對物料的識別和定位是機械臂抓取系統(tǒng)的關(guān)鍵問題。在實際物料抓取時，系統(tǒng)會面臨一些結(jié)構(gòu)化的和復(fù)雜的外部環(huán)境，為使系統(tǒng)具有從未知環(huán)境中獲取信息的能力，需要給機械臂配備攝像頭模塊，單目和雙目攝像頭模塊作為機械臂的眼睛，單目視覺建立全局空間定位模型，實現(xiàn)目標的定位和障礙物的識別，同時將攝取的環(huán)境信息上傳至上位機[4]。雙目視覺攝取的左右圖像經(jīng)過極線校正，使圖像的每一行像素處于同一水平線上，然后基于改進的BM立體匹配算法，完成目標的空間定位，然后將目標的三維信息傳轉(zhuǎn)換為驅(qū)動參數(shù)遞給機械臂，驅(qū)動機械臂抓取目標。

1 系統(tǒng)設(shè)計方案

1.1 系統(tǒng)整體結(jié)構(gòu)

基于AR技術(shù)機械臂物料抓取系統(tǒng)的硬件主要包括機械臂、單目攝像頭模塊、雙目攝像頭模塊、WiFi模塊等。系統(tǒng)硬件框圖如圖1所示，系統(tǒng)實驗硬件搭建圖如圖2所示。

圖1 整體硬件架構(gòu)圖

圖2 系統(tǒng)實驗硬件搭建圖

1.2 機械臂

機械臂由支架和舵機組成。采用6個型號為ZX361D的總線舵機，其供電范圍為5～8.4 V，舵機準確度為0.24°，具有四種舵機模式和四種馬達模式，舵機模式為180°/270°順逆轉(zhuǎn)動四種，馬達模式為定圈/定時順逆轉(zhuǎn)動四種，擁有15 kg/cm扭矩，滿足系統(tǒng)實驗需求。在夾爪的止推軸承處安裝壓力傳感器，通過壓力傳感器調(diào)節(jié)夾爪的抓力。

1.3 攝像頭模塊

系統(tǒng)中有兩個攝像頭模塊，分別為單目攝像頭模塊和雙目攝像頭模塊。其中，單目攝像頭獲取目標及目標周圍空間信息，建立全局空間模型，實現(xiàn)目標物粗定位與障礙物識別并將攝取的環(huán)境信息上傳至上位機；雙目攝像頭模塊根據(jù)雙目測距原理計算出目標的深度信息，將目標的位置信息轉(zhuǎn)化為世界坐標[5]。

1.4 主控模塊

系統(tǒng)采用飛凌RK3399嵌入式計算機，其核心板基于瑞芯微公司的RK3399處理器設(shè)計。具備2個ARMCortex-A72內(nèi)核，主頻1.8GHz；4個ARM Cortex-A53內(nèi)核，主頻1.4GHz；GPU采用Mali-T864，支持 OpenGL ES 1.1/2.0/3.0/3.1，OpenVG1.1，OpenCL，DX11；板載2 GB LPDDR3 RAM，16 GB eM-MCROM。在主板上裝有2.4 GHz和5 GHz雙頻WiFi模塊，傳輸速度在433 MB/s以上，滿足系統(tǒng)需求。

2 軟件設(shè)計方案

2.1 總體結(jié)構(gòu)設(shè)計

系統(tǒng)的軟件部分的設(shè)計包括單目視覺程序，雙目視覺程序和機械臂控制程序。系統(tǒng)收到開始指令后，開始工作，首先進行軟硬件初始化，接著，啟動單目視覺程序，首先對單目攝像頭進行標定，接著獲取環(huán)境信息，建立全局空間定位模型，實現(xiàn)障礙物的識別和基于顏色特征檢測對目標的粗定位，同時將環(huán)境信息上傳至上位機，上位機界面如圖3所示；雙目視覺程序啟動，雙目攝像頭開始采集圖像，采集后的圖像經(jīng)過極線校正操作得到在同一水平線上的左右視圖，縮小匹配的區(qū)域，接著進行BM立體匹配，通過三維重建獲得目標的三維坐標，并將目標位置三維坐標轉(zhuǎn)化為世界坐標系坐標，完成對目標定位。獲取目標位置信息以后，將目標信息傳遞給嵌入式計算機，輸出對應(yīng)的控制參數(shù)，并通過USB串口將數(shù)據(jù)傳輸給機械臂系統(tǒng)，驅(qū)動機械臂系統(tǒng)的執(zhí)行機構(gòu)動作，從而完成對目標的抓取，再將目標放到設(shè)定好的區(qū)域。圖4為系統(tǒng)流程圖。

圖4 系統(tǒng)流程圖

2.2 單目視覺定位

目標物在一個平面內(nèi)活動，將這個平面定義為世界坐標系中Zw=0的平面。此時，通過以下變換將像素坐標系轉(zhuǎn)換到世界坐標系：

2.3 雙目視覺定位

2.3.1 雙目測距原理

如圖5所示，將目標P看做質(zhì)點且P在相機視線范圍內(nèi)，分別將左右兩個相機的光心標記為OL與OR，p和p'為點P在左右相機感光器上的成像點，相機的焦距為f，兩個相機的中心距為B，點P在左右相機成像的圖像坐標的XL和XR，目標P到兩個相機光心連線的距離Z為需要計算的深度信息[6-7]。設(shè)點p'到點p的距離為dis，則：

圖5 雙目測距原理圖

根據(jù)相似三角形原理可得：

2.3.2 極線校正

在雙目視覺中，存在一個重要的幾何關(guān)系即極線幾何，如圖6所示，將左右相機的光心記為OL與OR，OL與OR之間的連線為基線，記為B，空間中的一點M與兩光心構(gòu)成的平面為極面π，極面π與左右圖像所在平面之間交線稱為極線。點M向點P處移動，點P在左右視圖上的極線與點M的極線的交點為極點el、er。同時，el和er也是基線與左右各自成像平面相交的點[8]。

圖6 極線約束原理圖

系統(tǒng)采用bouguet算法進行校正，經(jīng)計算得到R1，T1與R2，T2，R為旋轉(zhuǎn)矩陣，T為平移矩陣。左右圖像經(jīng)過分解得到的旋轉(zhuǎn)和平移矩陣變換后，重投影共同面積最大，使圖像的失真率在可控范圍內(nèi)。具體步驟如下：

首先旋轉(zhuǎn)左右相機，使左右相機的光軸平行。公式如下：

構(gòu)造 e1。其方向與左右相機投影中心的平移向量方向相同，所以：

e2為圖像平面方向的向量，方向與主光軸方向正交，沿圖像方向，與e1垂直，則通過e1與主光軸方向的叉積并歸一化獲得：

最后，整體旋轉(zhuǎn)變換矩陣為各自的旋轉(zhuǎn)矩陣與變換矩陣乘積。經(jīng)過整體旋轉(zhuǎn)變換矩陣變換，左右相機光軸平行，基線與成像平面也平行。公式如下：

2.3.3 BM立體匹配算法

根據(jù)極線約束原理，校正后的左右圖像的對應(yīng)極線在同一水平線上，因此，可以在左視圖中選取模式目標，在同一水平線上的右視圖中尋找匹配點。立體匹配算法根據(jù)算法特點可以分為局部、全局、半全局和基于深度學習的立體匹配算法。其中局部立體匹配速度快，根據(jù)系統(tǒng)的功能需求選用屬于局部立體匹配的BM匹配算法[9]。

1）BM匹配算法原理

壞像素規(guī)則：若發(fā)現(xiàn)尾位的像素值不相等，則按如下兩種情況討論：

a.若末位的像素值在模式P中沒有出現(xiàn)，則將模式P向右移動m位；

b.若末位的像素值在模式P中出現(xiàn)，則將在模式P中出現(xiàn)的最右位置與該像素值對齊。

好后綴規(guī)則：若尾部已有兩個或兩個以上的像素已匹配，則按如下兩種情況討論：

a.若在P中t至m處的像素值已匹配，已匹配部分記為P'，且P'在1至t中也出現(xiàn)，t–1處的像素點不匹配，則將P右移到1至t中出現(xiàn)的P'與待匹配像素組中出現(xiàn)的位置；

b.若P中沒有出現(xiàn)P'，在P'之前搜索與P'最長的子后綴P″相同的像素組X，向右移動P，使X的首位與方才P″的首位對齊[10]。

2）改進的BM匹配算法

在匹配過程中需要儲存兩個右移位置值d1和d2，d1為當像素不匹配時，首先計算模式串最右端像素對應(yīng)的像素T[i]的下一次右移位置，d2為計算T[i+1]確定的下一次右移位置。d1和d2的計算規(guī)則如下：

首先，考察模式串P的末像素P[m]與對應(yīng)的待匹配像素組T[m]是否匹配。若不匹配，則考慮T[m]的下一像素T[m+i]，且利用壞像素規(guī)則，求得d1的值；

其次，考察像素T[i+m+d1–1]，計算d2的值。

若像素T[i+m+d1–1]不在模式串中，則考察其下一像素T[i+m+d1]是否與P[1]相同。若相同，則將模式串P右移m+d1位，否則移動m+d1+1位。

若像素T[i+m+d1–1]在模式串中，則計算d2的值是否為1。

a.d2≠1時，將模式串右移d1+d2–1位；

b.當d2=1時，考察像素T[i+m+d1–1]是否與P[1]相同。若不同，則將模式右移，使得T[i+m+d1–1]與T[i+m+d1–1]像素的前一位對齊，否則按d2≠1時右移。

2.3.4 立體匹配

在實際匹配中，由于受到光線，左右相機參數(shù)等因素的影響，模式串P不能在待匹配像素組T中出現(xiàn)，無法達到每一個像素一一對應(yīng)，只能通過尋找T中與模式串P最相近的像素，因此，實際匹配需要進行匹配代價計算、代價聚合和視差優(yōu)化三個步驟。

2.3.5 目標三維重建

三維重建需要獲取目標的深度信息Z，根據(jù)雙目測距原理，由已知的焦距，視差和光心距離即可求得。若需獲得目標物在世界坐標系中的的橫縱坐標X、Y，則需要知道cx和cy。令左視圖中的目標點為（x,y），視差為d，在以左相機坐標系下的目標點世界坐標為（X,Y,Z），用Q來表示目標點的物理坐標與世界坐標間的關(guān)系：

將圖像坐標映射到相機三維空間中，通過Q按下式進行變換：

2.4 機械臂運動規(guī)劃

3 實驗結(jié)果與分析

3.1 立體匹配實驗

實驗采用Windows10操作系統(tǒng)，AMD2600 3.4 GHz，16 GB內(nèi)存的臺式電腦，在 Visual Studio2013編程平臺和OpenCV3.0圖像處理庫協(xié)同編程實現(xiàn)改進BM匹配算法。實驗使用Middlebury公開數(shù)據(jù)集中的Cones、Teddy、Tsukuba、Venus四組圖片，同時與BM算法、SGBM算法比較算法的的運行時間。實驗結(jié)果如表1所示。

表1 立體匹配時間表 s

從實驗數(shù)據(jù)可以看出，BM算法和改進的BM算法運行時間皆低于SGBM算法，原因是SGBM算法的復(fù)雜度比BM算法的高[12]。從表中還可以看出，改進的BM匹配算法經(jīng)過對模式串P移動規(guī)則的調(diào)整，確實能加快匹配速度。

3.2 目標抓取實驗

在相同的打光、相機曝光情況下，抓取小木塊60次，記錄每次立體匹配時間和抓取時間，最終取平均值，結(jié)果如表2所示。

表2 實驗結(jié)果

在60次的抓取實驗中，均能成功抓取，其抓取的平均時間為12.358 s，平均立體匹配時間為5.167 s。滿足系統(tǒng)需求。由于標定的方法、機械臂裝配以及電機精度等原因，機械臂產(chǎn)生的誤差如表3所示。

表3 機械臂誤差 mm

其中絕對誤差為實際坐標和機械臂末端到達坐標之間的距離，最大絕對誤差為60次中的絕對誤差最大值；平均誤差（x,y,z）中x,y,z分別為在x,y,z方向上的平均絕對誤差。

4 結(jié)束語

為快速識別運動中的目標，縮短反應(yīng)時間，提高抓取的速度，設(shè)計了基于AR技術(shù)機械臂物料抓取系統(tǒng)。在研究雙目視覺立體匹配時，使用了一種改進的BM匹配算法，在不影響誤匹配率的前提下，比傳統(tǒng)的BM匹配算法速度快，且結(jié)合了機械臂系統(tǒng)、視覺系統(tǒng)、計算機系統(tǒng)完成了機械臂物料抓取系統(tǒng)總體方案的設(shè)計。根據(jù)系統(tǒng)的功能需求，進行了硬件系統(tǒng)的各模塊設(shè)計，完成了系統(tǒng)軟件的流程設(shè)計，最后進行了立體匹配算法和目標抓取的實驗。實驗表明：改進的BM匹配算法在不影響誤匹配率的前提下，有效的縮短了匹配時間，因此，降低了機械臂抓取物料的時間，在要求實時性高的領(lǐng)域，具有很好的使用價值。