面向采摘機器人的視覺伺服控制技術研究進展

賴穎杰， 張世昂， 朱立學

（仲愷農業工程學院機電工程學院，廣東 廣州 510225）

0 引言

傳統的果實采摘是一個煩瑣且極其耗費勞動力的過程，為了更好地提高勞動生產效率、降低勞動強度，采摘機器人的研究應用已成為當下農業生產的迫切需要，并且具有重要的實用價值和廣闊的應用前景。采摘機器人面對的作業環境不確定性強，因此視覺伺服控制技術成為采摘機器人系統的重要控制手段，為了更精準地識別果實并高效完成采摘，選用適應性強的視覺伺服控制方法顯得格外重要。

視覺伺服控制系統主要包括視覺系統、機器人控制器和機器人結構系統。視覺伺服控制是把相機采集到的圖像信息作為反饋信號，圖像信息經過處理后可用作感知機器人當前位置與目標物體之間的相對位置，將計算得到的控制信號傳入機器人控制器用來規劃機器人的運動軌跡，引導機器人到達指定的位姿，完成相應的動作。目前視覺伺服控制主要研究基于位置的視覺伺服、基于圖像的視覺伺服及混合視覺伺服，國內外學者對視覺伺服控制技術已經做了較為深入的研究，但該技術在農業機器人領域的研究應用不多，且存在一些問題難以解決[1-7]。如基于位置的視覺伺服受結構模型的參數誤差影響大，基于圖像的視覺伺服處理算法較為復雜等。本文結合經典視覺伺服控制方法研究進展和原理，對比總結各種控制方法的優缺點和研究重點，對關鍵問題分析解決方法，同時提出對采摘機器人適應性強的視覺伺服控制技術，并對技術發展趨勢進行展望。

1 視覺伺服控制技術研究進展

機器人視覺伺服控制的概念最早于20 世紀80 年代被提出，之后逐漸成為機器人研究領域中的一項關鍵技術。視覺伺服控制技術包含計算機視覺、運動學和機器人控制等多個知識領域，國內外學者對此已經進行了廣泛的研究。1973 年，SHIRAI Y 等[1]首次提出研發利用視覺反饋來完成裝配工作的機器人。美國斯坦福研究所在20 世紀80 年代研究出一種典型的手眼系統機器人Shakey（圖1a），其通過不斷的迭代信息來完成相應的動作規劃[2]。20 世紀90 年代，由于計算機硬件和相關算法的不斷升級，視覺伺服控制技術得到高效且快速發展。周堯[3]提出一種以Jaguar 移動機器人平臺為基礎，基于RGB-D 相機的eye-in-hand 采摘機器人視覺伺服控制系統（圖1b）。CHAUMETTE F 等[4-5]提出的視覺伺服控制相關方法對有關視覺伺服控制的研究提供了重要的指導作用。楊軍莉[6]完成了基于遺傳神經網絡的6 關節工業機器人視覺伺服系統的設計。張德偉等[7]提出基于圖像單應性矩陣的混合視覺伺服控制方法，使機器人在深度信息不足的情況下仍可精準到達指定位姿，完成相應操作。

圖1 視覺伺服機器人Fig. 1 Visual servo robot

目前，視覺伺服控制技術主要應用在易操作的制造業領域和工業領域，在復雜的農業生產環境下，面向采摘機器人的視覺伺服控制技術研究較少且實用性不強。

2 基于位置的視覺伺服控制方法

基于位置的視覺伺服控制方法（position based visual servoing，PBVS），首先需要對機器人視覺系統進行標定，將相機得到的目標二維圖像信息轉化成相對于相機的三維位置信息，實現二維到三維空間的信息轉化，即把得到的圖像信息表達在三維笛卡爾坐標中。通過將反饋得到的實時目標位姿信息與給定的目標期望位姿信息相對比得到的誤差信號傳入視覺伺服控制器，機器人關節控制器利用處理后得到的控制信號來驅動機器人，實現機器人對目標的定位或跟蹤，形成系統的閉環控制，其結構如圖2 所示。該方法的最大優點是系統的誤差信號和控制信號都是定義在三維空間的位姿信息，機器人可以在笛卡爾空間里找到最優的動作軌跡。

圖2 基于位置的視覺伺服控制結構Fig. 2 Structure of PBVS

因為目標的位姿信息是根據圖像信息轉化得到的，因此PBVS 的控制精度跟機器人的結構模型和相機系統標定有關，且對標定參數誤差敏感。LIU Y C 等[8]提出的線性模型相機標定法是傳統的三維空間標定方法，類似經典的標定方法對標定環境要求較高且需要高精度的標定板，其信息轉化計算過程也較困難。近年來，隨著相關視覺技術的不斷升級，國內外學者對相機標定技術的研究也取得了一定的成果。鄒朋朋等[9]提出一種基于畸變矯正與平面單應性矩陣結合，可同步求解相機內外參的雙目相機標定方法。LUIS R 等[10]提出利用最小二乘法對圖像數字化和鏡頭畸變引起的誤差進行建模，從而獲得特定點三維坐標的標定方法。陳文藝等[11]提出基于雙神經網絡的相機標定方法，既遵循了成像模型又提高了相機標定精度。目前應用較普遍的標定方法為張正友標定法，其標定精度高且操作過程相對容易[12]。

因為PBVS 是用期望位姿和實時估計位姿的差值作為視覺伺服控制器的輸入量，因此機器人的位姿估計和機械臂的控制是PBVS 的關鍵技術。

在位姿估計方面，ZHAO Chunhui 等[13]利用卡爾曼濾波獲取和跟蹤圖像特征點運動，從而可實現對多相機視覺系統的實時位姿估計。ZHANG Lijun 等[14]在分析了圖像特征點信息容易丟失的情況下，提出了利用擴展卡爾曼濾波的位姿估計方法。RUPP M 等[15]在擴展卡爾曼濾波的原有基礎上加入了自適應和迭代環節，極大提高了位姿估計精度及系統魯棒性。劉安東等[16]提出了利用滾動時域估計的機械臂位姿估計方法，克服了機械臂作業的運動空間約束。

在機械臂控制方面，研究者已經提出了許多有效的控制算法，如PID 控制、自適應控制、魯棒控制和神經 網 絡 控 制 等[17]。MARUTHUPANDI A 等[18]利 用 視 覺反饋的PID 控制方法對機械臂實現了位置跟蹤。KEIGHOBADI J 等[19]在基于位置的視覺伺服系統的基礎上加入了自適應控制算法，保證了機械臂視覺伺服系統的魯棒性及穩定性。BURGER W 等[20]設計了基于PBVS 的二階滑模控制器，實現了對7 自由度機械臂的位姿控制。REZA R A 等[21]提出一種基于多目標粒子群優化算法的最優分數階模糊PID 方法，通過模糊控制器來控制雙連桿機械臂末端到達期望的位置。周孚成[22]提出基于狀態空間方程的H∞魯棒性控制方法，有效降低了系統結構模型和外部擾動的不確定性所帶來的影響。

基于位置的視覺伺服控制技術在采摘機器人上的研究應用并不多。金玉成等[23]提出基于RealSense 深度視覺的手眼協調策略來完成采摘機器人的視覺伺服控制。宋家慧等[24]提出基于回歸數據的采摘機器人視覺伺服策略研究，可以準確得到果實中心位置坐標，從而穩定地控制末端執行器完成采摘作業。PBVS 在農業生產的非結構環境下，每次應用環境的改變都需要對系統進行重新標定，且該方法無法時刻保證機器人或者目標始終處于相機的視野范圍之內，對采摘機器人的適應性不強。

3 基于圖像的視覺伺服控制方法

基于圖像的視覺伺服控制方法（image based visual servoing，IBVS）是直接在圖像信息中計算誤差，將得到的實時圖像特征與給定的期望圖像特征作對比，得到的誤差信號傳入視覺伺服控制器，機器人控制器利用得到的控制信號對機器人進行動作規劃，使末端不斷調整自己的位姿，實現機器人對目標的定位或跟蹤，其結構如圖3 所示。

圖3 基于圖像的視覺伺服控制結構Fig. 3 Structure of IBVS

這種控制方法可以省去煩瑣的相機標定及三維重構過程，有更好的伺服控制魯棒性。但因為誤差信號是定義在二維空間的，而機器人控制器的輸入信號是定義在三維空間，因此需要找出目標圖像特征參數變化率與機器人關節位姿變化率的映射關系，即圖像雅可比矩陣，但該矩陣求解計算量大且易存在奇異點和局部發散性，因此IBVS 控制精度和控制器的設計有很強關聯性。

雅克比矩陣是對多元函數一階求導后按照一定順序排列組成的矩陣，它可以達到讓多元非線性函數在期望點線性逼近的目的。機器人末端位姿的變化率和目標圖像特征參數變化率的關系、機器人關節位姿變化率和機器人末端位姿的變化率關系為

J即為目標圖像特征參數變化率和機器人關節位姿變化率的對應關系，研究者們常把J稱為圖像雅克比矩陣或特征敏感矩陣。由此可以看出，圖像雅克比矩陣是隨著機器人位姿變化而變化的，并且在IBVS 中還需要求其逆矩陣，因此IBVS 的一大難點就是求解圖像雅克比矩陣。

求解雅克比矩陣常用的方法有解析法、在線估計法和學習法。解析法是通過已知結構模型計算得到圖像空間特征關于機械臂末端位姿的表達式。在線估計法適用于結構模型模糊或較復雜時，利用算法處理獲得的數據使得到的雅克比矩陣不斷估計調整，因此該方法初始值的選擇非常關鍵。學習法主要是利用人工神經網絡不斷訓練學習，從而更簡便地得到雅克比矩陣。

近些年來，劉廣瑞等[25]提出基于Kalman 濾波的方法對系統的雅克比矩陣進行在線估計。王博等[26]提出基于迭代最小二乘法的動態擬牛頓法對圖像雅克比矩陣進行估計。周孚成[22]提出基于H∞的粒子濾波估計算法，對圖像雅克比矩陣進行估計。梁喜鳳等[27]提出基于自適應無跡卡爾曼濾波的圖像雅克比矩陣估計方法，有效減少了系統噪聲對圖像雅克比矩陣估計精度的影響。

為解決圖像雅可比矩陣奇異性問題，JIANG P 等[28]提出了一種基于奇異值分解的權值修正策略，可實現目標精確跟蹤。谷雨等[29]提出一種基于圖像矩陣的視覺伺服控制方法，有效解決了由于圖像局部特征改變從而導致圖像雅可比矩陣結構改變和奇異性等難點。陽建峰[30]提出一種基于遺傳優化RBF 神經網絡的無標定視覺伺服控制方法，不需要求解圖像逆雅克比矩陣。

國內IBVS 在采摘機器人上的研究應用正處于初步階段。宋健[31]提出基于圖像的采摘機器人模糊視覺伺服控制系統研究，具有較好的時效性和魯棒性。趙慶波等[32]提出采用基于圖像的視覺伺服控制方法對采摘機器人進行控制，并引入模糊PID 控制方法，提高了系統的動、靜態性能。因為采摘機器人作業環境復雜多變，影響系統的噪聲更多，圖像特征信息更難確定且穩定性不高，因此在復雜作業環境下IBVS 的控制器設計和實際應用難度更大。

4 混合視覺伺服控制方法

混合視覺伺服控制方法（homography based visual servoing，HBVS）結合了基于位置和基于圖像兩種視覺伺服控制方法各自的優點，以獲取的目標圖像特征的圖像坐標誤差和相機旋轉誤差作為機器人控制器的輸入信號，從而控制機器人到達指定的位姿，該方法不需要計算圖像雅可比矩陣，也保證了對于系統結構模型和標定參數誤差的魯棒性。

MALIS 等[33]提出了首個基于位置和基于圖像的混合視覺伺服控制系統（2-1/2-D 視覺伺服系統），其中基于位置的視覺伺服和基于圖像的視覺伺服分別對機器人末端的旋轉和平移進行控制，其結構如圖4 所示。2-1/2-D 視覺伺服方法，需要在事先獲取相機內參的條件下，計算當前圖像與理想圖像對應的單應性矩陣，將單應性矩陣分解為旋轉分量和平移分量反饋回控制器，對應控制機器人末端的旋轉和平移，控制器輸入的誤差信號e 定義為

圖4 混合視覺伺服控制結構Fig. 4 Structure of HBVS

這種伺服控制方法雖然不需要計算圖像雅可比矩陣，但是目標圖像對應特征間的單應性矩陣需要實時計算并且對其進行分解，其計算量大且復雜。除此之外，該方法還可能出現目標不在相機視野范圍內的情況。在計算單應性矩陣時，傳統的解法是采用線性最小二乘法估計。李嘉惠等[34]提出一種基于改進RANSAC 算法的單應性矩陣估計方法，有效增加了正確匹配率，相對提高了單應性矩陣的精度。吳柔莞等[35]提出一種基于具有修正功能的無監督級聯單應性估計算法，相比傳統方法，該方法具有更準確的估計能力。

國內外都極少有學者研究混合視覺伺服的控制方法在采摘機器人上的應用。徐同慶[36]提出基于圖像的視覺伺服控制和改進模糊神經網絡的滑模控制算法相結合的策略，有效提高了系統穩定性和采摘機器人的工作效率。HBVS 結合了IBVS 和PBVS 的優點，可以較大程度減小作業環境對采摘機器人的影響，總體對采摘機器人有更強的適應性，因此該方法有更廣的應用范圍和更好的應用前景。

5 各視覺伺服控制方法對比

從當前視覺伺服控制的研究現狀看，常見的3 種視覺伺服控制方法各有優缺點，對比如表1 所示。

表1 視覺伺服控制方法的優缺點Tab. 1 Advantages and disadvantages of visual servo control methods

6 結束語

采摘機器人使用視覺伺服控制的目的是為了讓機器人末端執行器能夠根據視覺系統提供的控制信息，按照最優的軌跡精準運動到目標點，并利用采摘末端精確順利地摘下果實。而果樹種植地貌類型復雜多樣，因此采摘機器人開展工作的難度較大，受到的干擾也更多。相比之下，混合視覺伺服控制的方法更適合采摘機器人，其減弱了平移自由度與旋轉自由度之間的相互影響，從圖像空間與笛卡兒空間雙方面考慮問題，可以較大程度地降低復雜環境對機器人伺服控制系統的影響，有效改善了非結構因素對機器人系統的干擾性和全局穩定性，但當下該方法在采摘機器人上的研究應用還不夠成熟，結合采摘對象的精確定位需求，視覺伺服控制技術在以下4 個方面還有待開展深入研究。

（1）為了使采摘機器人順利進行視覺伺服控制，必須保證目標時刻處于相機視野范圍內，否則將直接導致伺服作業失敗。未來可以有針對性地研究使用多相機視覺系統來完成視覺伺服控制，這有助于拓寬機器人的活動空間和增強系統穩定性。

（2）為了高效引導采摘機器人執行采摘任務，在使用視覺伺服控制時必須考慮實時性問題，即需要快速、魯棒地處理獲得的圖像特征信息以控制機器人流暢地做出相應的動作，因此除了提高硬件條件外，根據實際工作場景選擇適用性強的視覺算法和控制算法顯得尤為重要。

（3）采摘機器人視覺伺服控制的性能很大程度上取決于所選的圖像特征，不當的特征選擇可能將直接導致視覺伺服的失敗。因此，如何通過人工或自動選擇性能最優且適量的特征，后續如何進行特征處理，以及如何把全局特征與局部特征有效結合起來并加以應用，這些都需要進一步的研究。

（4）采摘機器人的工作環境復雜且多變，而傳統的采摘機器人視覺伺服控制系統主要都是基于視覺傳感器的伺服控制，視覺傳感器很容易受到環境突變的影響，需要處理的數據量大且工作范圍有限。為了使采摘機器人能更全面地感知工作環境且高效地完成作業，機器人系統有必要融合其他外部傳感器協同作業，實現多信息交互，從而擴展機器人的有效工作空間，提高控制性能。