視覺驅動機械臂自主作業技術綜述

楊學文 王楠

1 中國海洋大學 信息科學與工程學院,青島,266100

0 引言

1973 年,經典科幻電影《西部世界》向我們展示了一個科幻迷離的世界,近50 年來,機器人已經從一個似乎遙不可及的科幻主題發展成了當今社會不可或缺的一部分．機器人已經出現在我們生活的各個角落,近到家庭掃地機器人、工廠焊接裝配機器人、醫療機器人,遠到深海開發探測機器人、外太空探測機器人等,它們在危險、苛刻的條件下作業,并幫助人們從繁重的工作中解放出來,在許多領域都彰顯出了巨大的潛力．2015 年5月,國務院正式印發《中國制造 2025》,將機器人產業的發展提升到戰略層面,由此,我國全面展開了在機器人產業領域的建設與布局．

機械臂是機器人與環境進行交互的重要部分[1],甚至很多機器人本身只表現為一個機械臂,如美國加利福尼亞大學開發的Dex-Net 2.0[2]、丹麥Universal Robots 公司的 UR5 機器人、德國 KUKA 公司開發的LBR iiwa機器人[3]等．機械臂的控制水平是機器人技術發展的重要衡量標準．從控制策略的角度來看,可以將機械臂的控制分為示教控制、遙操作控制、半自主控制和全自主控制等．示教控制指通過人工設定軌跡對機械臂進行控制,該方法對處理器要求不高,已廣泛應用于流水的生產線任務,如汽車組裝生產線[4]．但是這種控制方法無法通過對外界感知自適應地控制機械臂．遙操作的控制最早出現在 20 世紀四五十年代,其目的在于保護在放射性環境中的工作人員．遙操作控制包括人與機器人的交互以及機器人與環境的交互．人與機器人的交互中,人通過通信接口進行決策規劃,而機器人與環境的交互中,機器人代替人類在惡劣的環境中進行工作[5]．該方法在很大程度上促進了空間技術、海洋探索以及遠程醫療等危險或惡劣環境下的探索發展需求,如達芬奇機器人的使用不僅使得遠程醫療成為現實,還可以幫助醫生實現更為精細、微創的操作．然而在很多領域,仍然需要機械臂自主控制,如在海洋開發與探索領域中,機械臂采集到的信息無法實時地反饋到人機界面,工作人員無法實時地操作,同時深海環境是不斷變化的,這種決策上的延遲極大地影響了機械臂作業的精度與效率,因此實現機械臂的自主控制對海洋開發與探索等眾多領域具有重要意義．

視覺是對周邊環境進行感知的重要方式之一．視覺控制機械臂自主作業很早就被提出,它的發展主要是從基于分析的方法[6]到基于

數據驅動的方法[7]．日本琉球大學的Shirai等[8]最早研究基于視覺的機器人,他們在1973 年提出了一種基于開環的視覺機器人控制系統,先通過視覺獲取目標位置,然后基于位置來控制機器人,形成了早期的視覺機器人系統,限于當時的硬件水平,它對于目標的定位和抓取并不精確．隨著成像系統及計算機技術的不斷發展,視覺伺服控制成為有效的控制方法之一,該方法通過圖像反饋的信息實現閉環控制．對于簡單場景下的抓取操作,視覺伺服的控制已經取得了顯著成效,如在分揀、搬運等流水作業上．但是視覺伺服控制難以應對復雜場景和非結構化環境下的自主作業,如水下復雜動態場景下目標的抓取．近年來,隨著硬件水平的提高,尤其是 GPU 等高速并行模塊的開發,以及深度學習在機器視覺領域的快速發展,基于數據驅動的方法得到廣泛關注．基于數據驅動的方法包括監督學習的方法和無監督學習的方法．監督學習的方法重點在于對環境的感知,一般通過目標檢測或語義分割[9]等技術得到最佳的抓取位姿[10-11],然后采用逆運動學變換的方法控制機械臂抓取．但是這種方法一般采用的是開環控制,難以滿足動態變化場景下的自主作業需求．無監督學習的方法將機械臂自身與環境進行交互,通過經驗進行學習,為機械臂訓練一個像人一樣的大腦來對外界環境進行感知并決策出最合適的動作完成既定任務．這一類方法一般對抓取任務進行順序上的推理,在復雜動態場景中展現出巨大的潛力．近年來,基于視覺驅動機械臂自主作業在各個領域的研究成果斐然,有必要對該研究歷程以及發展趨勢進行分析與討論,因此本文對國內外視覺驅動機械臂自主作業的研究現狀以及面臨的問題與挑戰進行梳理和討論．

本文從基于幾何驅動的控制和數據驅動的控制兩個大的方向展開介紹,如圖 1所示．首先,在第1節對基于幾何驅動的視覺伺服控制進行介紹,包括視覺伺服的原理以及國內外相關工作,進而對視覺伺服控制方法存在的問題進行討論;第2節對基于數據驅動的機械臂自主控制進行了介紹,首先介紹了基于數據驅動的控制原理,然后從監督學習與無監督學習兩個方向的相關工作進行介紹,并對數據驅動的機械臂自主控制存在的問題進行分析;第3節對視覺驅動機械臂自主作業在深海開發與探測領域仍存在的問題與挑戰進行分析;第4節對本文內容進行總結．

圖1 視覺驅動機械臂自主作業研究框Fig.1 Framework of review on autonomous operation technology of vision-based manipulator

1 基于幾何驅動的機械臂自主作業

1.1 幾何驅動機械臂控制介紹

幾何驅動是通過幾何學、運動學等進行解析從而規劃出最合理的抓取的姿態．這一類方法主要處理數據庫中已知物體的抓取,需要事先將待抓取物體的模型存入數據庫中,通常與傳統的視覺伺服相結合．

視覺伺服的概念[12]于 1979 年被提出,指的是利用計算機視覺控制機器人的運動[13],是一種閉環控制方式．它通過傳感器不斷采集到圖像信息作為反饋信號,對機器做進一步控制或自適應調整的行為．Hutchinson 等[14]在 1996 年編寫的視覺伺服的教程中將視覺伺服分為基于位置的視覺伺服(Position-Based Visual Servo,PBVS)和基于圖像的視覺伺服(Image-Based Visual Servo,IBVS)．1999 年,Malis 等[15]提出了混合視覺伺服(Hybrid Visual Servoing,HVS)的概念．

基于位置的視覺伺服(PBVS)控制方法的反饋信號以笛卡爾坐標系的形式給出,輸入的誤差信號為期望位姿與當前位姿的差值,如圖 2所示．首先將傳感器采集到的圖像信息進行處理,提取特征點,根據相機標定求取目標物位置處的期望位姿與機械臂末端執行器位姿的差值,然后利用逆運動學求解關節轉動角度進而實現對機械臂的控制．其核心任務為根據提取的物體特征等實現對物體的位姿估計.針對位姿估計有多種方法,如解析法[16]、迭代法[17]、基于濾波的方法[18]等．文獻[19]使用了雙目相機視覺得到目標位姿,文獻[20]通過擴展卡爾曼濾波器對目標位姿進行實時估計．類似地,還有文獻[21]等．隨著 Intel RealSense、Kinect 等高性能 RGB-D 相機的出現,越來越多的人通過深度相機預測目標位姿,李樹春等[22]針對非結構化環境,使用 Kinect 獲取目標點云,然后通過提取快速點特征直方圖描述子結合奇異值分解算法來估計目標位姿．

圖2 基于位置的視覺伺服Fig.2 Schematic diagram of position-based visual servo

基于圖像的視覺伺服(IBVS)實現了在圖像空間的閉環控制,如圖 3所示．該控制方法的反饋信號為圖像特征的期望值與當前值的差,將測量得到的圖像信號與目標位置的圖像信號進行比較,利用所獲得的圖像的誤差進行控制．該方法提取出圖像中的特征點,但無需進行位姿估計計算,而是將機器人的運動與圖像特征點的運動通過雅可比矩陣建立起一個動態的控制模型,然后根據該動態控制模型得到計算機的控制指令．其核心為找到穩定的特征點建立起視覺空間和機器人運動空間之間的非線性映射關系,常見的幾何特征如點、線特征,或者基于圖像矩的特征[23].另外,也有將整幅圖像作為特征建立目標函數來描述圖像特征的運動模型．如基于點的特征,設特征點相對于相機坐標系的空間坐標記為(x,y,z),映射至成像平面的像素點坐標記為(X,Y,1),其中,X=x/z,Y=y/z．可得,相機運動引起目標點(x,y,z)的變化,從而引起(X,Y,1)的變化．平面像素點特征的雅可比矩陣Lp描述了相機運動速率和像素點坐標變化速率之間的轉化關系,即:

圖3 基于圖像的視覺伺服示意Fig.3 Schematic diagram of image-based visual servo

(1)

其中,νcam=[νx,νy,νz]T,ωcam=[ωx,ωy,ωz]T分別為相機的線速度向量和角速度向量,

(2)

在基于圖像的視覺伺服系統中模型主要是指圖像雅可比矩陣與機械臂運動學模型,如何快速地求取圖像雅可比矩陣是一個關鍵的問題．文獻[24]將圖像雅可比矩陣的計算轉換為最小二乘問題,利用 Broyden 方法估計圖像雅可比矩陣;文獻[25]在每一時刻添加試探性的動作監測圖像特征變化,再使用最小二乘法估計當前的圖像雅可比矩陣,實現 2D 平面上的插孔任務;文獻[26]采用遞歸高斯-牛頓的方法估計動態場景下的圖像雅可比矩陣．

基于混合視覺伺服(HVS)包含了笛卡爾坐標空間的閉環控制和圖像空間的閉環控制,又被稱為 2.5D 視覺伺服[27]．該控制方法的反饋信號為期望圖像與當前圖像之間的單應性矩陣,通過對單應性矩陣的分解獲取姿態控制分量．該方法融合了 PBVS 和 IBVS 的優勢,增強了算法的魯棒性,但其計算量較大,實時性也較差．也有的研究人員通過在不同的視覺伺服控制方式間切換實現機械臂的控制,如2020年Haviland等[28]提出了PBVS 和IBVS 進行切換的方法實現非靜止目標的抓取,先采用 PBVS 的視覺伺服從遠處接近目標,然后切換到IBVS 繼續接近目標,實現了由粗到精的視覺伺服策略．

1.2 基于視覺伺服控制的問題與挑戰

經過幾十年的發展,視覺伺服機器人控制已經取得了很大的進展,并在多個領域都具有廣泛的應用前景．通常來說,基于位置的視覺伺服的優點是可以直接根據機械臂末端與目標位姿的誤差控制機械臂,缺點是位姿和運動估計容易受到攝像機標定誤差、目標模型精度和圖像測量噪聲的影響．基于圖像的視覺伺服對相機標定精度不太敏感,更適合于實際機器人的控制任務,但是缺乏目標的深度信息．盡管基于混合視覺伺服的控制較為有效,但在實際使用中通常比基于位置的或基于圖像的視覺伺服更為復雜．

總體來說,視覺伺服的過程往往難以滿足實時性的需求,無論是基于位置的視覺伺服中目標位姿的估計還是基于圖像的視覺伺服中圖像雅可比矩陣的估計都需要有效的算法來提升實時性．為了擴展視覺伺服的應用領域,提升算法效率是一個關鍵的問題．另外,目前大多數的視覺伺服系統往往針對的是靜態、簡單的環境,而對于復雜動態的環境中存在的遮擋等問題可能會導致機械臂控制失敗．

2 基于數據驅動的控制

2.1 數據驅動機械臂控制原理

隨著深度學習的快速發展,研究人員將該領域運用到視覺驅動機械臂自主作業中,形成數據驅動的控制方法．數據驅動的控制方法包括監督學習的方法和無監督學習的方法．

基于監督學習的機械臂自主抓取的研究主要集中在抓取位姿的估計上．基于深度學習的自主控制大致流程和幾何驅動的控制一致,相比于幾何驅動的方法,基于深度學習的數據驅動借助于神經網絡這一強有力的特征提取架構在雜亂、有遮擋的作業場景中更具有魯棒性,可實現對已知、相似、未知物體的抓取．

強化學習也是機器學習的一個領域,屬于無監督學習的方法．如圖4所示,強化學習是一種通過智能體與環境進行互動,對外界環境進行感知,然后根據感知到的狀態進行決策,進而得到環境反饋的評價,根據與環境交互所得到的信息不斷調整策略以獲得最大獎勵的機器學習的方法．由于其具有自主學習能力且能夠模擬人類和動物的學習過程而被認為是一種能有效解決控制與決策問題的機器學習方法．強化學習主要算法包含基于價值的方法、基于策略的方法以及兩者相結合的方法[29]．基于價值的方法估計某一狀態或某一狀態-動作對的期望回報,并通過最大化這個期望回報得到最佳的策略,通常用于處理離散的動作空間.基于價值的方法有 Q-learning[30-31]、Sarsa[32-33]等．為了能夠處理連續的動作空間,基于策略搜索的方法采用參數化的策略,并對這個參數化的策略進行優化得到最優策略,如Policy gradient的方法[34]．但是基于策略搜索的方法存在高方差的問題,因此將基于價值的思想與基于策略的思想相結合,即actor-critic的方法,如DDPG[35]等．

圖4 強化學習示意Fig.4 Schematic diagram of reinforcement learning

2.2 基于監督學習的機械臂控制

基于監督學習的機械臂自主作業的研究將外界感知與運動控制分離．通過深度神經網絡實現外界的感知,得到抓取位姿,然后通過逆運動學變換等實現控制機械臂．基于深度學習的機械臂控制研究主要集中在抓取檢測上,根據抓取環境的不同,主要分為 2D 平面的抓取和 6個自由度(6 Degrees of Freedom,6DOF)的抓取,本文分別從這兩個方面展開介紹．

2.2.1 2D 平面抓取

在2D平面的抓取研究中,6D的抓取位姿可以簡化為3D表示,即2D平面的坐標位置以及1D旋轉角度,因此抓取檢測可以轉化為與目標檢測相類似的問題．2D平面的抓取主要包括基于抓取矩形估計的方法和基于抓取點估計的方法．

1) 基于抓取矩形估計的抓取位姿估計

在 2D 平面的抓取檢測方法中,較為廣泛的是對抓取矩形進行估計,其方法大致可以分為基于分類的方法、基于回歸的方法和基于檢測的方法．其中大多數的方法都采用文獻[36]中的5D 的抓取表示,即(x,y,θ,h,w),其中(x,y)表示抓取矩形中心點的坐標,θ表示矩形的旋轉量,h和w表示抓取矩形的大小．

基于分類的方法訓練分類器對候選的抓取框進行評估,選取最佳的抓取框．文獻[36]首次將深度學習應用于機械臂的抓取中,文中基于滑動窗口法,提出了兩個階段的級聯系統,使用較小的神經網絡搜索潛在的矩形,然后利用較大的神經網絡對潛在的矩形進行排序,找到靠前的矩形,該方法在康奈爾數據集上取得了良好的效果．類似地,還有文獻[11,37]等．

基于回歸的方法中第一類是直接回歸的方法,即直接得到抓取框的位置參數，如文獻[38-39]的工作．另外,文獻[40]基于像素點的回歸,利用全卷積網絡對圖像的每個像素點都得到一個以該像素點為中心的抓取矩形估計．

目標檢測算法在目標抓取檢測中應用也較為廣泛．一種是利用基于目標檢測的方法得到感興趣域,進而對感興趣域進行抓取檢測,如文獻[41]利用區域生成網絡得到目標區域,然后利用基于分類的方法預測最佳的抓取角度,類似地還有文獻[42]等．另外，文獻[43-44]則基于 Faster RCNN 的思想,針對 Faster RCNN 目標檢測算法中沒有考慮目標框角度的問題,在邊界框回歸時添加抓取角度的信息．

2) 基于抓取點估計的抓取位姿估計

在2D平面的抓取中,抓取點也可以唯一地確定抓取姿態． 一種是基于采樣的方法,即對點云進行采樣得到候選的抓取點,進而通過神經網絡對候選抓取點抓取成功的可能性進行評估．如Mahler 等[2]提出了GQ-CNN 模型用以對抓取點的抓取成功可能性進行估計．另外，文獻[45-46]則針對像素級的抓取點進行檢測,采用全卷積網絡對每一個像素點進行密集估計得到抓取成功的概率圖,進而根據概率圖執行動作．

2.2.2 6DOF抓取

6DOF 的抓取位姿估計包含基于模型的方法和不基于模型的方法．其中,基于模型的方法的重點是尋找觀測模型與模型數據庫中模型的相關性,而不基于模型的方法是直接根據點云數據估計抓取位姿．

1) 基于模型方法

對于數據庫中已知目標的抓取可以通過匹配的方法是將局部點云與已知模型庫中模型進行匹配,進而得到 6DOF 抓取位姿,不需要對位姿進行估計．對于相似目標的抓取,也不需要估計其 6D 姿態,但是由于當前目標對象與數據庫中的對象并不完全相同,所以可以通過學習觀測目標與數據庫中模型的對應關系得到抓取位姿[47-48]．

2) 不基于模型方法

在很多情況下并沒有合適的模型數據庫,基于模型的方法會失效,而不基于模型的方法可以直接得到抓取位姿,是一種更為通用的方法,因而備受關注．不基于模型的方法可以通過局部點云或者是目標姿態估計的方法得到抓取位姿．

局部點云分析法是指僅僅根據輸入的局部點云數據來估計 6DOF 抓取姿態．一種方法是基于局部點云通過采樣的方法生成抓取的候選,然后對抓取候選進行分類或評分得到最佳的抓取位姿[1,49-50]．另外,也有的工作中直接根據輸入的局部點云生成抓取位姿,如文獻[51]利用變分自編碼器生成最佳的抓取位姿．

精確的 6D 物體位姿可以有效地提升抓取的成功率,一些研究人員對目標位姿進行估計以提升抓取的準確率[10,52-53]．此外,完整的目標幾何形狀也使抓取位姿估計更加精確．基于此,有的研究人員研究從局部點云[54-58]或 RGB-D圖像[59-61]中重構目標的幾何形狀,進而對抓取位姿進行估計．

2.3 基于無監督學習的機械臂控制

無監督的強化學習方法使機械臂在與環境進行交互的過程中自主學習,不需要對環境進行建模,因而得到廣泛關注．目前使用強化學習算法進行機械臂自主作業控制的研究主要處于實驗階段．近年來有各種相關的技術和算法不斷被提出,新的研究成果不斷涌現．很多機械臂的訓練環境直接將機械臂位姿參數或是目標位姿參數作為強化學習狀態輸入實現機械臂控制[62-64],這種方法訓練速度快且效果較好,但是實際使用中直接使用機械臂或目標位姿參數訓練是不現實的,圖像輸入是更為通用可行的方式．

2.3.1 感知與控制分離的方法

得益于深度學習對環境的感知能力,很多研究人員將深度學習的感知結果與強化學習進行結合實現自主控制．

第一種方法是將位姿估計與強化學習參數訓練相結合．首先通過目標位姿估計或機械臂位姿估計等方法得到機械臂和待抓取目標的位姿信息,然后采用位姿參數進行強化學習訓練．如Zuo等[65]首先通過Encoder-Decoder 網絡對機械臂的位姿進行估計,進而使用強化學習的方法進行規劃．這種方法中無監督的強化學習過程體現在機械臂的控制上．第二種方法是將特征表示學習與強化學習參數訓練相結合．通過對圖像進行低維的特征表示,如文獻[66-67],首先利用目標檢測算法得到目標在圖像中的位置,然后對目標附近的圖像塊進行特征描述得到特征向量,進而采用強化學習的方法將特征向量映射為機械臂的動作,類似地,還有文獻[68]．同樣地,第二種方法中強化學習的過程體現在機械臂的控制環節．

還有的研究人員采用的是圖像到圖像的映射,即采用全卷積神經網絡將采集的圖像映射為抓取的熱力圖,根據熱力圖選擇抓取位置,然后采用逆運動學變換的方法進行控制．如 Zeng等[69]在仿真環境與實物環境中利用Q網絡聯合訓練抓取和推動的動作,其直接將 RGB-D相機的觀測作為輸入,利用Q網絡得到抓取以及推動位置的熱力圖,并選擇一個最優的位置作為執行的動作,類似的方法還有文獻[70-73]．這一類方法中強化學習的過程體現在圖像層面上的抓取姿態或推動姿態的預測．其與基于深度學習的方法從圖像中進行抓取點檢測的工作類似,但又有所提升．但是上述方法是開環的控制,不是基于任務的順序推理,只是在圖像層面上進行感知,而距離信息直接由深度相機得到,成功的效率依賴于相機的標定,在一些不能直接得到準確的深度信息或者動態變化的場景下并不適用．

2.3.2 端到端的控制方法

端到端的控制方法是圖像到動作的直接映射,即直接將環境中采集到的圖像作為狀態,將當前圖像映射為機械臂的下一步的動作,實現自主控制．近幾年,基于這一思想的機械臂的控制方法[74-76]逐漸被提出,其中具有代表性的是文獻[76]中的QT-Opt算法．Kalashnikov 等[76]在實物平臺上做了機械臂對物體的抓取實驗,結合隨機優化的方法對DQN進行改進,提出了DQN對連續動作空間的處理方法．這種圖像到動作的直接映射的控制方法是動態、閉環的控制,在每一步中感知與控制緊密交織．相比于開環的控制方法,這種動態閉環的控制方法在未知物體、傳感器信息不精確以及動態場景下具有更大的潛力．

2.4 基于數據驅動機械臂的問題與挑戰

得益于硬件水平的不斷提升以及計算機視覺領域的不斷進步,基于數據驅動的機械臂自主控制取得了極大的進展,并展現出了巨大的潛力．

基于監督學習的控制從原始圖像或深度圖像中得到最魯棒的抓取位姿進行抓取,借助于深度神經網絡的特征提取能力,可以對已知、相似，甚至未知的目標進行操作,然而這一類方法中良好的泛化能力的前提是需要龐大的、標定的訓練數據集來支撐的．目前較為常用的數據集如康奈爾大學的康奈爾抓取數據集[36]．當然也有的數據集通過機械臂與環境進行交互,根據任務的實際完成情況確定標簽,避免了人工標定的過程,如Pinto等[11]在單臺機械臂上花費 700 h完成50 000次抓取嘗試．谷歌數據集采用8臺機械臂花費2個月的時間采集800 000次抓取嘗試[77]．但是這種大規模的數據采集是非常昂貴的．

基于無監督學習的控制依賴的是機械臂自身與環境進行交互,從環境給出的經驗中學習,為機械臂訓練一個像人一樣的“大腦”,這種方法可以實現在非結構化的環境中自適應地進行控制,使機械臂更好地適應新的環境．雖然這種方法在非結構化的場景中的控制展現出了巨大的潛力,但其自身發展仍存在一些挑戰．比如,控制模型自主作業往往是在仿真環境中進行訓練的,如 Gazebo、V-rep 等.一個原因是采用真實的機械臂直接與環境進行互動難以掌控,容易對人或機械臂自身造成損害,另外一個原因是機械臂的制造成本往往比較高．但是仿真環境與真實環境是不同的,在仿真環境中訓練的模型不一定能直接應用于真實的場景,從仿真環境到真實環境的遷移是一個關鍵的問題．此外,在與環境的交互過程中,獎勵機制的設計是至關重要的部分,直接影響到機械臂“大腦”學習的好壞．在機械臂的自主作業控制中,獎勵往往是稀疏的,如何在稀疏的獎勵中得到滿意的訓練仍需要深入的研究．

3 在深海開發與探測領域中面臨的挑戰

視覺驅動機械臂自主作業的研究對很多尖端的領域都具有重要、長遠的實際意義,如工業生產領域、航空航天領域以及海洋開發與探測領域等,因而受到國內外學者的廣泛關注,也需要來自相關學科的學者從不同角度進行研究．視覺驅動機械臂自主作業在工業界和物流行業應用較為廣泛,主要還是集中在視覺伺服對簡單、結構化場景的控制．雖然目前的關于視覺驅動機械臂自主作業的優秀成果層出不窮,取得了令人矚目的成績,但是仍然沒有形成普遍使用的理論和方法,在一些領域中有其自身發展的局限性,需要針對具體場景進行具體分析,并采取相應的策略．

由于筆者團隊重點研究的是水下復雜動態場景下視覺驅動機械臂自主作業,因此這里著重對該領域發展的挑戰進行分析．海洋環境不同于陸地環境,它包含著大量的人類目前無法掌握的未知因素,對海洋資源的開發與利用面臨著嚴峻的挑戰,也影響了水下自主作業機械臂的研究與發展.下面對關鍵的幾點進行分析:

1) 針對視覺驅動機械臂的自主作業的研究往往是在理想的靜態環境下進行的,對于這種固定的場景中,視覺驅動機械臂自主作業可以取得較好的結果,但是在水下這種非結構化的真實場景下,由于外在環境的復雜性、多變性、動態性以及未知性,視覺驅動機械臂自主作業仍然面臨著巨大挑戰．

2) 目前很多技術是在仿真環境中進行實驗或訓練的,如何有效地遷移到水下真實的機械臂中進行自主作業仍需進一步研究．

3) 水下真實的場景中,深度信息的獲得仍然是一個具有挑戰性的問題.水下場景由于其自身環境的特殊性,陸地上的一些設備或技術不能直接應用于水下環境,如深度相機等,這也成為水下場景中距離信息獲取的一大障礙．

4) 傳感器信息質量問題.視覺驅動機械臂自主作業研究中，視覺是一個關鍵因素,然而由于水的吸收以及散射等因素的影響,采集到的水下圖像質量往往不高,這也就影響了自主作業的精確度．

5) 面對復雜的外界環境與抓取目標的多樣性,單一傳感器難以實現對環境顯式的表達,就需要多種傳感器協同作用以增強對外界環境的感知,如視覺感知、觸覺感知以及力覺感知等,如何對多種傳感器的感知信息進行有效融合也是研究的重點．

4 總結

本文從基于幾何驅動的控制和基于數據驅動的控制兩個方向介紹視覺驅動自主作業機械臂的相關研究內容．首先介紹了不同方向的控制原理,進而總結了兩種機械臂控制方法中的最新研究進展,并分析討論了不同控制方法中存在的問題．最后針對深海開發與探測領域中存在的關鍵問題與挑戰進行分析與討論．