基于雙目視覺的并聯機械臂控制系統

劉富成 黃俊華

摘 要：本文提出一種基于雙目視覺的并聯機械臂控制系統，并聯機械臂為用于果實采摘的四桿型三自由度并聯機構，其執行末端為采摘口，通過固定在采摘口旁邊的雙目視覺來追蹤被采摘果實，采用深度學習的辦法精準識別果實，將果實坐標實時反饋至控制系統，通過將果實坐標到機械臂轉角的解算，并聯機械臂可將采摘口逐漸靠近被采摘果實，最終完成工作。

關鍵詞：雙目視覺;并聯機械臂;深度學習

DOI：10.16640/j.cnki.37-1222/t.2019.20.110

0 引言

并聯機構在機械領域有著廣泛的應用，而農業機械也是重要的發展分支，本文介紹了一種四桿型三自由度并聯機構，在其控制中，被采摘果實的笛卡爾坐標是控制并聯機械臂所需的重要參數，精準識別果實并反饋笛卡爾坐標有利于實現并聯機械臂的高性能控制。雙目視覺模仿人的雙眼，通過視差建立特征間的對應關系，最終匹配還原出目標空間三維立體信息，將其反饋至控制系統。

1 視覺識別系統

因為蘋果形狀和顏色的不規則性，僅通過簡單的單目彩色識別來識別的，識別精準度和識別效率是遠遠不夠的;為提高蘋果采摘的效率和識別精準度，我們采用深度學習的辦法利用卷積神經網絡（cnn）來進行對蘋果的精準識別，卷積神經網絡受視覺神經機制的啟發而設計，是為識別二維或三維信號而設計的一個多層感知器，這種網絡結構對平移、縮放、傾斜等變形具有高度不變性。

CNN可以用來識別位移、縮放及其他形式扭曲不變性的二維或三維圖像。CNN的特征提取層參數是通過訓練數據學習得到的，所以其避免了人工特征抽取，而是從訓練數據中進行學習;其次同一特征圖的神經元共享權值，減少了網絡參數，這也是卷積網絡相對于全連接網絡的一大優勢。

利用tensorflow搭建訓練好的蘋果卷積神經網絡后，然后利用opencv將圖像中的蘋果輪廓的重心坐標Cx，Cy提取出來進行下一步的空間定位。

2 雙目立體視覺空間定位

2.1 雙目立體視覺測量介紹

雙目成像的模型可看作是由兩個單目成像模型組合而成。在一般情況下，透鏡物距U>>焦距f，可得像距v近似為f，所以實用中可以用小孔成像模型來代替透鏡成像模型，利用雙目系統可以確定具有像平面坐標點（Cx， Cy ）和（X2， Y2）的世界點W的坐標 （X， Y， Z），所以利用視覺識別系統得出來的蘋果得平面坐標（Cx，Cy），然后利用雙目立體視覺便可得出蘋果的空間坐標，然后并聯機器人實施吸取。

2.2 立體視覺測量方法

首先利用matlab雙目攝像頭標定工具包，得到雙目攝像頭參數，并且有了旋轉矩陣R和平移向量T后，立體矯正Bouguet算法就能簡單地使左右圖像中的每幅重投影次數最小且重投影畸變最大，所以使立體匹配更加準確和快速。立體匹配，即完成左右攝像機視圖相同特征的匹配，并得到視差圖即深度圖，Open CV提供了BM和SGBM等雙目匹配的多種算法。

人用兩只眼睛觀察景物時會有遠近的感覺，用兩個攝像機模仿人類的眼睛以獲得果實目標的深度信息。如圖1當用兩個攝像機同時觀察同一空間點P時，這一點在兩個攝像機的圖像平面上分別有投影點P1和P2，兩條直線O1P1與O2P2的交點即為P點的三維空間位置。

3 并聯機械臂控制系統

四桿型三自由度并聯機械臂結構如圖2，工作過程中，雙目首先建立絕對坐標系，然后識別在坐標系中的蘋果，將已識別出的蘋果的絕對坐標傳送至控制系統;控制系統將坐標值解算為相對應的機械臂所轉動的角度;并聯機械結構根據解算出的角度和規劃出的電機轉速最優變化規律進行運動，將采摘口移動至蘋果的正下方;柔性采摘系統將果實吸入管道，傳送至收集箱，完成整個采摘過程。

4 并聯機械臂運動學分析

利用蒙特卡洛方法完成對并聯機械臂的運動學正解、反解所得到的并聯機械臂解析式，模擬出其工作空間，利用matlab仿真優化出并聯機械臂空間運動的最優解。測量電機調速產生的誤差，完成電機算法的誤差矯正，并進行調參，進一步精細化采摘系統。

5 結語

雙目視覺利用雙目視差形成深度圖，解析出算法，將目標位置解算為以攝像頭為坐標原點的三維坐標，并訓練多層卷積神經網絡，經過大量計算得到準確度達到90%以上、能夠在目標存在遮擋的不完全圖像中識別目標的機器學習算法。為并聯機械臂的準確控制和采摘口的穩定追蹤果實提供了精確的笛卡爾坐標數據，通過雙目視覺和控制系統的協調工作，可準確、高效地采摘果實，具有較強推廣意義。

參考文獻：

[1]李強.蘋果采摘機器人視覺系統研究[D].碩士學位論文，2017.

[2]白曉寧.空中目標的雙目立體視覺測距[D].碩士學位論文，2004.

[3]周雁豐，丁晉，喬文剛.三自由度并聯機器人運動學分析及軌跡研究[J].工具技術，2016，50（06）：31-34.