基于雙目視覺(jué)的并聯(lián)機(jī)械臂控制系統(tǒng)

劉富成 黃俊華

摘 要：本文提出一種基于雙目視覺(jué)的并聯(lián)機(jī)械臂控制系統(tǒng)，并聯(lián)機(jī)械臂為用于果實(shí)采摘的四桿型三自由度并聯(lián)機(jī)構(gòu)，其執(zhí)行末端為采摘口，通過(guò)固定在采摘口旁邊的雙目視覺(jué)來(lái)追蹤被采摘果實(shí)，采用深度學(xué)習(xí)的辦法精準(zhǔn)識(shí)別果實(shí)，將果實(shí)坐標(biāo)實(shí)時(shí)反饋至控制系統(tǒng)，通過(guò)將果實(shí)坐標(biāo)到機(jī)械臂轉(zhuǎn)角的解算，并聯(lián)機(jī)械臂可將采摘口逐漸靠近被采摘果實(shí)，最終完成工作。

關(guān)鍵詞：雙目視覺(jué);并聯(lián)機(jī)械臂;深度學(xué)習(xí)

DOI：10.16640/j.cnki.37-1222/t.2019.20.110

0 引言

并聯(lián)機(jī)構(gòu)在機(jī)械領(lǐng)域有著廣泛的應(yīng)用，而農(nóng)業(yè)機(jī)械也是重要的發(fā)展分支，本文介紹了一種四桿型三自由度并聯(lián)機(jī)構(gòu)，在其控制中，被采摘果實(shí)的笛卡爾坐標(biāo)是控制并聯(lián)機(jī)械臂所需的重要參數(shù)，精準(zhǔn)識(shí)別果實(shí)并反饋笛卡爾坐標(biāo)有利于實(shí)現(xiàn)并聯(lián)機(jī)械臂的高性能控制。雙目視覺(jué)模仿人的雙眼，通過(guò)視差建立特征間的對(duì)應(yīng)關(guān)系，最終匹配還原出目標(biāo)空間三維立體信息，將其反饋至控制系統(tǒng)。

1 視覺(jué)識(shí)別系統(tǒng)

因?yàn)樘O(píng)果形狀和顏色的不規(guī)則性，僅通過(guò)簡(jiǎn)單的單目彩色識(shí)別來(lái)識(shí)別的，識(shí)別精準(zhǔn)度和識(shí)別效率是遠(yuǎn)遠(yuǎn)不夠的;為提高蘋(píng)果采摘的效率和識(shí)別精準(zhǔn)度，我們采用深度學(xué)習(xí)的辦法利用卷積神經(jīng)網(wǎng)絡(luò)（cnn）來(lái)進(jìn)行對(duì)蘋(píng)果的精準(zhǔn)識(shí)別，卷積神經(jīng)網(wǎng)絡(luò)受視覺(jué)神經(jīng)機(jī)制的啟發(fā)而設(shè)計(jì)，是為識(shí)別二維或三維信號(hào)而設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、縮放、傾斜等變形具有高度不變性。

CNN可以用來(lái)識(shí)別位移、縮放及其他形式扭曲不變性的二維或三維圖像。CNN的特征提取層參數(shù)是通過(guò)訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到的，所以其避免了人工特征抽取，而是從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí);其次同一特征圖的神經(jīng)元共享權(quán)值，減少了網(wǎng)絡(luò)參數(shù)，這也是卷積網(wǎng)絡(luò)相對(duì)于全連接網(wǎng)絡(luò)的一大優(yōu)勢(shì)。

利用tensorflow搭建訓(xùn)練好的蘋(píng)果卷積神經(jīng)網(wǎng)絡(luò)后，然后利用opencv將圖像中的蘋(píng)果輪廓的重心坐標(biāo)Cx，Cy提取出來(lái)進(jìn)行下一步的空間定位。

2 雙目立體視覺(jué)空間定位

2.1 雙目立體視覺(jué)測(cè)量介紹

雙目成像的模型可看作是由兩個(gè)單目成像模型組合而成。在一般情況下，透鏡物距U>>焦距f，可得像距v近似為f，所以實(shí)用中可以用小孔成像模型來(lái)代替透鏡成像模型，利用雙目系統(tǒng)可以確定具有像平面坐標(biāo)點(diǎn)（Cx， Cy ）和（X2， Y2）的世界點(diǎn)W的坐標(biāo) （X， Y， Z），所以利用視覺(jué)識(shí)別系統(tǒng)得出來(lái)的蘋(píng)果得平面坐標(biāo)（Cx，Cy），然后利用雙目立體視覺(jué)便可得出蘋(píng)果的空間坐標(biāo)，然后并聯(lián)機(jī)器人實(shí)施吸取。

2.2 立體視覺(jué)測(cè)量方法

首先利用matlab雙目攝像頭標(biāo)定工具包，得到雙目攝像頭參數(shù)，并且有了旋轉(zhuǎn)矩陣R和平移向量T后，立體矯正Bouguet算法就能簡(jiǎn)單地使左右圖像中的每幅重投影次數(shù)最小且重投影畸變最大，所以使立體匹配更加準(zhǔn)確和快速。立體匹配，即完成左右攝像機(jī)視圖相同特征的匹配，并得到視差圖即深度圖，Open CV提供了BM和SGBM等雙目匹配的多種算法。

人用兩只眼睛觀察景物時(shí)會(huì)有遠(yuǎn)近的感覺(jué)，用兩個(gè)攝像機(jī)模仿人類(lèi)的眼睛以獲得果實(shí)目標(biāo)的深度信息。如圖1當(dāng)用兩個(gè)攝像機(jī)同時(shí)觀察同一空間點(diǎn)P時(shí)，這一點(diǎn)在兩個(gè)攝像機(jī)的圖像平面上分別有投影點(diǎn)P1和P2，兩條直線O1P1與O2P2的交點(diǎn)即為P點(diǎn)的三維空間位置。

3 并聯(lián)機(jī)械臂控制系統(tǒng)

四桿型三自由度并聯(lián)機(jī)械臂結(jié)構(gòu)如圖2，工作過(guò)程中，雙目首先建立絕對(duì)坐標(biāo)系，然后識(shí)別在坐標(biāo)系中的蘋(píng)果，將已識(shí)別出的蘋(píng)果的絕對(duì)坐標(biāo)傳送至控制系統(tǒng);控制系統(tǒng)將坐標(biāo)值解算為相對(duì)應(yīng)的機(jī)械臂所轉(zhuǎn)動(dòng)的角度;并聯(lián)機(jī)械結(jié)構(gòu)根據(jù)解算出的角度和規(guī)劃出的電機(jī)轉(zhuǎn)速最優(yōu)變化規(guī)律進(jìn)行運(yùn)動(dòng)，將采摘口移動(dòng)至蘋(píng)果的正下方;柔性采摘系統(tǒng)將果實(shí)吸入管道，傳送至收集箱，完成整個(gè)采摘過(guò)程。

4 并聯(lián)機(jī)械臂運(yùn)動(dòng)學(xué)分析

利用蒙特卡洛方法完成對(duì)并聯(lián)機(jī)械臂的運(yùn)動(dòng)學(xué)正解、反解所得到的并聯(lián)機(jī)械臂解析式，模擬出其工作空間，利用matlab仿真優(yōu)化出并聯(lián)機(jī)械臂空間運(yùn)動(dòng)的最優(yōu)解。測(cè)量電機(jī)調(diào)速產(chǎn)生的誤差，完成電機(jī)算法的誤差矯正，并進(jìn)行調(diào)參，進(jìn)一步精細(xì)化采摘系統(tǒng)。

5 結(jié)語(yǔ)

雙目視覺(jué)利用雙目視差形成深度圖，解析出算法，將目標(biāo)位置解算為以攝像頭為坐標(biāo)原點(diǎn)的三維坐標(biāo)，并訓(xùn)練多層卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)大量計(jì)算得到準(zhǔn)確度達(dá)到90%以上、能夠在目標(biāo)存在遮擋的不完全圖像中識(shí)別目標(biāo)的機(jī)器學(xué)習(xí)算法。為并聯(lián)機(jī)械臂的準(zhǔn)確控制和采摘口的穩(wěn)定追蹤果實(shí)提供了精確的笛卡爾坐標(biāo)數(shù)據(jù)，通過(guò)雙目視覺(jué)和控制系統(tǒng)的協(xié)調(diào)工作，可準(zhǔn)確、高效地采摘果實(shí)，具有較強(qiáng)推廣意義。

參考文獻(xiàn)：

[1]李強(qiáng).蘋(píng)果采摘機(jī)器人視覺(jué)系統(tǒng)研究[D].碩士學(xué)位論文，2017.

[2]白曉寧.空中目標(biāo)的雙目立體視覺(jué)測(cè)距[D].碩士學(xué)位論文，2004.

[3]周雁豐，丁晉，喬文剛.三自由度并聯(lián)機(jī)器人運(yùn)動(dòng)學(xué)分析及軌跡研究[J].工具技術(shù)，2016，50（06）：31-34.