基于雙目視覺的并聯(lián)機械臂控制系統(tǒng)

劉富成 黃俊華

摘 要：本文提出一種基于雙目視覺的并聯(lián)機械臂控制系統(tǒng)，并聯(lián)機械臂為用于果實采摘的四桿型三自由度并聯(lián)機構，其執(zhí)行末端為采摘口，通過固定在采摘口旁邊的雙目視覺來追蹤被采摘果實，采用深度學習的辦法精準識別果實，將果實坐標實時反饋至控制系統(tǒng)，通過將果實坐標到機械臂轉角的解算，并聯(lián)機械臂可將采摘口逐漸靠近被采摘果實，最終完成工作。

關鍵詞：雙目視覺;并聯(lián)機械臂;深度學習

DOI：10.16640/j.cnki.37-1222/t.2019.20.110

0 引言

并聯(lián)機構在機械領域有著廣泛的應用，而農(nóng)業(yè)機械也是重要的發(fā)展分支，本文介紹了一種四桿型三自由度并聯(lián)機構，在其控制中，被采摘果實的笛卡爾坐標是控制并聯(lián)機械臂所需的重要參數(shù)，精準識別果實并反饋笛卡爾坐標有利于實現(xiàn)并聯(lián)機械臂的高性能控制。雙目視覺模仿人的雙眼，通過視差建立特征間的對應關系，最終匹配還原出目標空間三維立體信息，將其反饋至控制系統(tǒng)。

1 視覺識別系統(tǒng)

因為蘋果形狀和顏色的不規(guī)則性，僅通過簡單的單目彩色識別來識別的，識別精準度和識別效率是遠遠不夠的;為提高蘋果采摘的效率和識別精準度，我們采用深度學習的辦法利用卷積神經(jīng)網(wǎng)絡（cnn）來進行對蘋果的精準識別，卷積神經(jīng)網(wǎng)絡受視覺神經(jīng)機制的啟發(fā)而設計，是為識別二維或三維信號而設計的一個多層感知器，這種網(wǎng)絡結構對平移、縮放、傾斜等變形具有高度不變性。

CNN可以用來識別位移、縮放及其他形式扭曲不變性的二維或三維圖像。CNN的特征提取層參數(shù)是通過訓練數(shù)據(jù)學習得到的，所以其避免了人工特征抽取，而是從訓練數(shù)據(jù)中進行學習;其次同一特征圖的神經(jīng)元共享權值，減少了網(wǎng)絡參數(shù)，這也是卷積網(wǎng)絡相對于全連接網(wǎng)絡的一大優(yōu)勢。

利用tensorflow搭建訓練好的蘋果卷積神經(jīng)網(wǎng)絡后，然后利用opencv將圖像中的蘋果輪廓的重心坐標Cx，Cy提取出來進行下一步的空間定位。

2 雙目立體視覺空間定位

2.1 雙目立體視覺測量介紹

雙目成像的模型可看作是由兩個單目成像模型組合而成。在一般情況下，透鏡物距U>>焦距f，可得像距v近似為f，所以實用中可以用小孔成像模型來代替透鏡成像模型，利用雙目系統(tǒng)可以確定具有像平面坐標點（Cx， Cy ）和（X2， Y2）的世界點W的坐標 （X， Y， Z），所以利用視覺識別系統(tǒng)得出來的蘋果得平面坐標（Cx，Cy），然后利用雙目立體視覺便可得出蘋果的空間坐標，然后并聯(lián)機器人實施吸取。

2.2 立體視覺測量方法

首先利用matlab雙目攝像頭標定工具包，得到雙目攝像頭參數(shù)，并且有了旋轉矩陣R和平移向量T后，立體矯正Bouguet算法就能簡單地使左右圖像中的每幅重投影次數(shù)最小且重投影畸變最大，所以使立體匹配更加準確和快速。立體匹配，即完成左右攝像機視圖相同特征的匹配，并得到視差圖即深度圖，Open CV提供了BM和SGBM等雙目匹配的多種算法。

人用兩只眼睛觀察景物時會有遠近的感覺，用兩個攝像機模仿人類的眼睛以獲得果實目標的深度信息。如圖1當用兩個攝像機同時觀察同一空間點P時，這一點在兩個攝像機的圖像平面上分別有投影點P1和P2，兩條直線O1P1與O2P2的交點即為P點的三維空間位置。

3 并聯(lián)機械臂控制系統(tǒng)

四桿型三自由度并聯(lián)機械臂結構如圖2，工作過程中，雙目首先建立絕對坐標系，然后識別在坐標系中的蘋果，將已識別出的蘋果的絕對坐標傳送至控制系統(tǒng);控制系統(tǒng)將坐標值解算為相對應的機械臂所轉動的角度;并聯(lián)機械結構根據(jù)解算出的角度和規(guī)劃出的電機轉速最優(yōu)變化規(guī)律進行運動，將采摘口移動至蘋果的正下方;柔性采摘系統(tǒng)將果實吸入管道，傳送至收集箱，完成整個采摘過程。

4 并聯(lián)機械臂運動學分析

利用蒙特卡洛方法完成對并聯(lián)機械臂的運動學正解、反解所得到的并聯(lián)機械臂解析式，模擬出其工作空間，利用matlab仿真優(yōu)化出并聯(lián)機械臂空間運動的最優(yōu)解。測量電機調(diào)速產(chǎn)生的誤差，完成電機算法的誤差矯正，并進行調(diào)參，進一步精細化采摘系統(tǒng)。

5 結語

雙目視覺利用雙目視差形成深度圖，解析出算法，將目標位置解算為以攝像頭為坐標原點的三維坐標，并訓練多層卷積神經(jīng)網(wǎng)絡，經(jīng)過大量計算得到準確度達到90%以上、能夠在目標存在遮擋的不完全圖像中識別目標的機器學習算法。為并聯(lián)機械臂的準確控制和采摘口的穩(wěn)定追蹤果實提供了精確的笛卡爾坐標數(shù)據(jù)，通過雙目視覺和控制系統(tǒng)的協(xié)調(diào)工作，可準確、高效地采摘果實，具有較強推廣意義。

參考文獻：

[1]李強.蘋果采摘機器人視覺系統(tǒng)研究[D].碩士學位論文，2017.

[2]白曉寧.空中目標的雙目立體視覺測距[D].碩士學位論文，2004.

[3]周雁豐，丁晉，喬文剛.三自由度并聯(lián)機器人運動學分析及軌跡研究[J].工具技術，2016，50（06）：31-34.