雙臂機器人的協調控制算法綜述

王 琪，閔華松

武漢科技大學 機器人與智能系統研究院，武漢430080

盡管傳統的單臂機器人已經在工業領域的各個方面得到了越來越廣泛的應用。但是，隨著機器人應用范圍的不斷擴大，各種新的操作任務和工作環境對機器人的性能提出了更高的要求。單臂機器人在操作能力、控制等方面的不足限制了其應用。與之相比，擁有協調操作能力的雙臂機器人具有巨大的優越性和更廣泛的應用場合。尤其面對一些復雜的操作任務，例如搬運重物、柔性裝配等，雙臂機器人的優勢更加明顯。雙臂機器人不是兩個單臂機器人簡單疊加，而是在同一系統中相互配合，雙臂操作相對于單臂操作擴展了兩臂之間的配合作用，因此對雙臂操作的規劃和控制的研究受到了越來越多的關注。

在人類環境中，通常需要雙手之間進行各種類型的運動協調，根據生物力學的研究（如圖1所示），Park等[1]提出擴展-協作-任務空間（Extended-Cooperative-Task Space，ECTS）的概念，通過指定兩個運動變量（絕對和相對速度變量）和兩個ECTS 系數（協調系數β 和平衡系數α）以達到指定目標的期望運動，其中β 系數用于雙臂之間的協調，α系數用來修改協調運動過程中相對運動任務的分布。雙手操作運動大致可分為非協調運動和協調運動，協調運動包括對稱運動（如搬運物體[2]）和非對稱協調運動（如孔內組裝[3]）。

圖1 雙臂操作分類

雙臂機器人的協調操作任務也可如此劃分，其中非協調操作指機器人雙臂在同一操作空間內分別執行各自無關的任務，協調操作則指機器人雙臂在同一操作空間內執行同一或多項相關操作任務。與非協調操作相比，協調操作任務中機械臂之間存在更加嚴格的運動約束和力約束，可進一步劃分為對稱協調操作和非對稱協調操作[4]。

（1）非協調操作，雙臂獨立進行規劃操作，相當于兩個單臂操作，不考慮雙臂之間的運動和力的約束關系，僅考慮運動規劃中雙臂之間的避障問題。

（2）協調操作，需要雙臂同步運動，由于雙臂與物體之間的空間關系，這些操作可進一步劃分為：對稱協調操作，動約束關系，且雙臂末端執行器之間是相對運動的關系。非對稱協調操作，為雙臂操作不同的雙臂操作同一物體，雙臂與被操作物體之間構成一個封閉的運動鏈，協調運動過程中雙臂與被操作物體之間始終保持一定的運物體。雙臂末端執行器不相互接觸，僅存在運動約束，例如倒水操作；或有瞬時的碰撞接觸，雙臂末端執行器之間存在相對運動和力約束關系，例如軸孔裝配操作。

從控制方式的角度分析，雙臂機器人協調控制可以分為運動學與動力學控制，基于運動學的協調控制集中在機械臂冗余特性的研究，基于動力學的協調控制集中在機械臂末端力控制的研究。協調運動主要包括運動學動力學模型、雙臂機器人運動中的約束關系分析、運動規劃策略研究。運動學逆解的求解由于雙臂系統的冗余自由度與單臂運動學有較大差異，雙臂構型不同也決定了逆解求解方法的差異性，逆解的不確定性也影響了動力學模型的建立方式，雙臂運動速度、加速度的變化與末端相對力的差異，因此對雙臂系統運動學和動力學模型建立方式的不同，雙臂協調運動控制的方式也不同。力控制方式主要包括主從控制、位置/力控制、阻抗控制以及自適應控制方法等。在非結構化環境下，雙臂機器人系統無法獲取運動學、動力學的全部信息，機器人如何感知外部環境，包括操作對象的位置、速度、接觸力等參數，以及外部環境信息如何參與雙臂協調控制成為新的研究熱點。正是由于傳感器研究的進步，發現不僅外部環境信息可以獲得，人類雙手操作也可以作為參考應用到雙臂協調控制中，即模仿學習，這種學習方式極大地提高了雙臂操作的擬人性。人類不斷參與到雙臂協調控制過程中，以交互的方式進行技能傳遞，人/機器人根據交互反饋信息對其運動進行修正，以滿足不同的任務要求。

本文針對近年來雙臂機器人協調控制算法的主要研究展開討論，整體框架如圖2 所示，分別從協調運動的控制方式、感知傳感器的集成，特別是視覺傳感器在雙臂研究中的應用，模仿學習中如何體現雙臂操作的擬人性，人機交互協作控制，最后總結全文研究內容，并闡述目前研究的不足以及未來展望方向。

圖2 整體框架圖

1 協調運動方式

1.1 運動學和動力學研究現狀

冗余自由度給機器人運動學逆解求解帶來了不確定性，即末端位姿確定時，雙臂各關節的位姿具有不唯一性。逆運動學求解問題，可以使用數值法或解析法來解決。利用冗余自由度優化機械臂的運動即數值求解法，在雅克比矩陣的零空間中考慮子任務，常見的優化目標函數有增強可操作度、避關節極限和避奇異位形。Zheng等[5]提出了一種基于位置的閉環逆運動學（CLIK）算法，利用偽逆矩陣求解數值解，采用位置+速度方案，同時考慮了期望的姿態限制，能避免奇異點的影響。

解析求解法，對冗余自由度進行參數化，基于該參數建立額外的任務約束，從而消除冗余性，保證運動的唯一解。一種是直接指定一個冗余關節角作為冗余變量，推導剩余關節的封閉解法，另一種是通過引用其他變量來反映冗余特性，推導各關節角相對于引用變量的封閉解法。對擬人機械臂的冗余自由度的參數化一般考慮機械臂的生理特性，從宏觀上描述擬人臂的臂形。Oh等[6]通過臂角限制冗余度，考慮聯合極限、自碰撞、奇異性等子任務的冗余問題的求解方法，即通過引入臂角的單變量優化問題求解。從各子任務可行臂角中選擇能量消耗最小的最優解，只考慮臂角這個變量。基于對偶臂角參數化的解析解法，Yan 等[7]利用兩個正交向量作為兩個參考向量，定義兩個絕對參考平面，得到了滿足一定條件的兩個臂角，由于腕部點不能同時位于兩個參考矢量上，所以至少存在一個合理的參考平面和一個對應的臂角，可以作為冗余參數，算法避免了奇異性問題。Zou等[8]通過定義臂角為附加約束參數來控制關節空間中的雙臂，能夠保證擬人雙臂機器人執行同一目標時運動的一致性。為了得到冗余機器人的最優解，需要添加附加約束，Jin等[9]將解析法與數值法結合的思想應用于機器人的逆運動學求解，提高算法效率，通過優化算法確定肘關節的運動方向。

采用傳統的數值法或解析法存在耗時較長、通用性較差等缺點，啟發式算法用于不同機械手的逆運動學求解優化問題，如神經網絡算法[10]、差分進化算法[11]、人工蜂群算法[12]、粒子群優化[13]、螢火蟲算法[14]等，這種算法不需要對雅可比矩陣進行求逆，避免了奇異點構型。

Almusawi 等[10]提出了基于人工神經網絡（ANN）的逆運動學控制方案，將機械臂當前關節角度配置的反饋以及所需的位置和定向包含到神經網絡的輸入模式中，可以提高ANN 在估算關節角度輸出的準確性。Antonio-Gopar 等[11]基于差分進化算法（DE），找到冗余臂的最優構型，解決了末端執行器姿態的估計問題。Dereli等[12]提出基于人工蜂群算法（ABC）計算運動學逆解，得到最優關節角。Alkayyali 等[13]利用粒子群算法（PSO）通過搜索六維空間來生成運動學逆解，利用正運動學來構造末端執行器姿態，目標是找到最優的關節角。利用多目標適應度函數來測量所生成解的位置和方向誤差，該算法能有效地解決末端執行器位姿誤差最小的逆運動學問題。為了找到一個以上的解，可以將逆運動學作為多模態約束優化問題，找到全局最優和多個局部最優，這些多重解代表了逆運動學解的多重無碰撞關節構型，Hernandez 等[14]基于螢火蟲算法（FA）為逆運動學問題提供一個或多個解。

雙臂協調動力學模型[15]主要有兩種：一是兩臂捕捉目標物體形成閉鏈系統的研究。利用目標物體與機械臂之間相互作用力形成閉環約束關系，建立目標物體與機械臂的聯系，主要分析夾持物體運動的作用力和夾持內力。二是兩機械臂末端相對力的研究。將雙臂末端的相對運動視為單機械臂的運動，基于單機械臂動力學模型求解兩機械臂末端絕對運動參數，主要分析兩臂末端接觸瞬間作用力與操作物體裝配時接觸碰撞力，目前相關研究較少，建立的模型不完善。

1.2 雙臂約束關系

當單臂系統的自由度n（關節數目）大于執行給定任務所需的變量m（任務的維數）時，被定義為運動學冗余，即n＞m。由于雙臂系統是兩個單臂系統操縱一個剛性物體形成一個閉環的運動鏈，雙臂系統的自由度變為2n，因此雙臂系統被認為是冗余的，其中任務的維數通常為操作物的運動變量維數（位置和姿態，6DOF）。但雙臂機器人相比于單臂機器人在本質上的區別是雙臂具有其固有的協調特性，即雙臂之間存在一定的約束關系，如圖3所示。

圖3 閉鏈系統

根據坐標變換關系可得兩臂末端執行器和操作物質心相對于坐標原點的變換矩陣為：

由于不考慮兩臂之間的相對運動，雙臂末端速度相等，由式（3）（4）可以得到兩臂末端的速度約束關系：

式中，J(qL)、J(qR)分別表示左臂和右臂的雅可比矩陣，Jv(q)、Jw(q)分別表示機械臂的位置雅可比矩陣和姿態雅可比矩陣。

保持雙臂系統的協調操作中的一種常用方法是相對雅克比矩陣[16]，該方法允許將雙臂系統考慮為唯一的冗余機械手，其關節數量等于每個機械手相對關節的總和。此外，用相對雅可比矩陣建模的雙臂系統可以用與單臂系統相同的算法進行控制。然后，將相對雅可比矩陣推廣到雅克比零空間保護中，以實現協同任務。

雙臂機器人非對稱協調示意圖如圖4所示，在非對稱協調操作任務中，需要實現兩個末端執行器的位姿協調，在接觸力的作用下調節兩個末端執行器的相對跟蹤誤差[17]，以實現目標期望軌跡的跟蹤。假設左右臂分別夾住物體，運動過程中末端執行器與各自物體之間沒有相對運動，從而整個系統形成閉環運動學。其中所需位置顯示為虛線，實際位置顯示為實線，ΔeR和ΔeL表示雙臂末端在Y-Z平面上跟蹤誤差（期望軌跡與實際軌跡之差）的控制域，Δe表示雙臂末端在Y-Z平面上的最大相對誤差域（主臂實際軌跡根據雙臂間約束關系得到的從臂期望軌跡與從臂實際軌跡之差），Δe=ΔeR+ΔeL。

圖4 雙臂非對稱協調坐標圖

非對稱協調操作任務需要在工作空間進行任務分解，每個手臂在任務空間中執行各自的子任務，而雙臂運動受到協調約束，即兩個末端執行器按照期望軌跡控制兩個操作物實現位置和姿態對齊。從運動規劃的角度看，非對稱協調的關鍵問題是如何分解單臂和雙臂的運動約束，然后根據約束條件，左右臂按照各自規劃的運動軌跡達到期望位姿。

1.3 雙臂協調運動規劃方法

雙臂的運動規劃是雙臂控制的基礎，目前的雙臂協作運動規劃方法主要有主從式運動規劃、基于避障策略的運動規劃、多優先級運動規劃以及其他規劃方法。

Wang等[18]將機器人和被操作對象視為閉合運動學鏈，提出了任務的運動和力的統一動態控制方法，分為獨立模式、從屬模式和半從屬模式三種。

申浩宇等[19]引入用于描述協調操作任務的絕對位姿變量和相對位姿變量，構造雅克比矩陣，根據實時最小距離的變化實現雙臂末端的軌跡跟蹤和避障運動之間的主從任務優先級轉換。王巍等[20]基于虛擬力的改進方法，采用修改引力場函數方法調整雙機械臂運動規劃中的位置，完成避障運動規劃。王安琪等[21]利用構形平面的方法，通過空間矢量引導、避障路徑的比較，實現多目標冗余機械臂空間軌跡規劃方法。

Hu等[22]基于任務層優先級關系之間的協調提出了一種相對雅可比矩陣方法，將兩個機械臂等價成一個高冗余度的機械臂，通過相對雅可比矩陣和末端相對速度分量，求出兩條機械臂的關節角。

Tang 等[23]采用深度確定性策略梯度（DDPG）算法通過誤差訓練模型來優化其規劃策略以得到最優路徑，并能保證優化策略的規劃效率。Wang等[24]提出基于約束粒子群優化（PSO）算法，解決了在自由漂浮模式下雙臂空間機器人的協調軌跡規劃問題，避免了動態奇點。魏源鑫[25]采用神經網絡算法更新障礙物信息，獲得目標點與障礙物關系，分離各關節變量，使用混合交叉粒子群算法規劃局部路徑，得到局部最優解。熊志金等[26]采用RBF神經網絡算法對滑模控制器輸出誤差進行逼近，用于控制冗余機械臂運動軌跡。Wu等[27]提出了一種具有兩個隱藏層的前饋神經網絡的無模型強化學習策略，通過模擬環境中的在線軌跡規劃實驗將狀態映射到動作，應用于空間機器人快速調度和執行動作。

2 控制方式

移動雙臂機器人為了實現更為靈活的操作，其雙臂系統一般有14 個以上自由度，是一個高維度高冗余的系統，雙臂系統具有其固有的協調特性，即雙臂之間存在一定的運動約束關系，因此其運動學逆解計算較為復雜。有兩種思路用來解決雙臂的控制問題，一種思路是將雙臂建立為完整統一的封閉運動鏈，另一種思路是采用主從控制的方式，將其中一條臂作為主臂，另一條臂作為從臂進行分別控制。

統一封閉運動鏈的控制方式，基本采用基于概率的搜索方法來進行處理。Yang 等[28]基于近似雅可比矩陣（AJM）和自適應模糊邏輯系統（FLS）方案，使得雙臂機器人在動態不確定性環境下可以得到很好控制。這類方法比較好沿用單機械臂基于采樣的搜索算法，但是缺點也較為明顯，高維度高冗余運動鏈的計算過程十分復雜，而且容易出現運動奇點[29]。

2.1 主從控制

對于雙臂協調操作，更常用的方法是主從控制方式[1]，這種方法的原理是將一條機械臂設為主臂（Master），另一條機械臂設為從臂（Slaver）。根據控制目標預先規劃主臂的運動軌跡，從臂跟隨主臂運動，主從臂滿足一定的約束關系，根據運動約束關系推導從臂運動軌跡。

Gharbi等[30]根據雙臂末端約束條件，在初始位置和目標位置之間構成多個流形，使用概率路線圖算法（Probabilistic Road Map，PRM）在這些流形中搜索一條連續的軌跡，缺點就是規劃時間較長，生成的末端軌跡不光滑。Liu 等[31]以雙臂搬運方塊為研究對象，在雙臂末端與物體之間分別設置位置約束、速度約束和加速度約束進行優化，以減小在運動過程中雙臂與物體之間產生的內力，實現了雙臂協調運動分解，實時補償了運動誤差，這種方法由于較強的約束導致雙臂運動范圍極其有限。

Cohen 等[32-33]在高維度空間采用啟發式搜索算法，利用雙臂構造搜索空間后，采用Anytime Repairing A*算法進行搜索得到雙臂協調的軌跡。該方法雖然解決了雙臂末端軌跡光滑問題，但雙臂關節運動軌跡仍不太光滑，有時會產生抖動現象。

對于孔內裝配任務，Huang 等[3]受人類在組裝過程中協調行為的啟發，提出基于機器人左右臂交替移動的主從協調控制方案，固定臂和移動臂分別為從動臂和主動臂。

主從式控制方法，其從臂是通過傳感器或根據主從臂約束關系來跟蹤、輔助主臂的運動規律，這就要求從臂能夠具有快速的響應速度。在機器人運動速度較低、操作對象不易變形的情況下控制效果較好，適合于復雜度較低的工作，但是沒有直接采用雙臂同時從被操作物體的目標運動軌跡，結合逆運動學封閉算法進行運動規劃來得直觀和有效。此外該方法是基于運動學模型的控制方法，沒有考慮機器人質量、慣性參量等對機器人實際運動的影響。容易因為算法處理速度、效率不高等問題帶來從臂獲取信息延遲現象，控制不當會導致雙臂系統不穩定。因此對主臂僅采用位置控制難以完成雙臂協調操作任務，雙臂協調操作需要雙臂末端執行器都進行作用力控制，力控制可以用來解決在運動過程中從臂可能滯后主臂的問題。

2.2 位置/力控制

混合位置/力控制改善了主從控制方法的不足，同時考慮位置和力控制的雙重特性。位置/力控制方法是基于末端執行器的坐標空間（任務空間），按其是否被環境約束而分為位置控制子空間和力控制子空間，兩個子空間獨立控制，雙臂均采用位置/力控制，在自由空間采用位置控制，在約束空間采用力控制。并根據不同的任務要求，通過實時切換控制律使機械臂在兩個子空間內進行切換，使得運動時實現位置控制，在接觸物體時實現力控制。由于機械臂末端執行器與操作對象之間的作用力屬于整個操作系統的內力，只要末端執行器的位置不變，內力的大小并不能改變被操作物體的位置。位置/力控制方法通過控制末端執行器在位置子空間的位置和在力子空間的力來實現順應控制，這種方法的優點是可以分別設計雙臂協調操作系統的位置控制環和力控制環，較好地控制末端執行器的位置和物體間的相互作用力，使得機器人能勝任零件裝配等復雜作業。

經典的位置/力協調控制策略框圖如圖5所示，其中引入“選擇矩陣”將任務空間正交解耦為位置自由子空間和力約束子空間，設S 為位置自由子空間選擇矩陣，I-S 為力約束子空間選擇矩陣，系統的輸入為被操作對象的期望位置和期望力。

圖5 位置/力協調控制框圖

王美玲[34]將雙臂協調操作分為雙臂獨立、雙臂部分約束和雙臂全約束這三種情況，分別給出了雙臂之間、雙臂與被操作物體之間的相對位姿約束關系和動力學約束關系。這種主從控制方式，將物體設為Master，雙臂設為Slaver，在雙臂末端安裝六維力矩傳感器，針對雙臂協調系統組成的動力學耦合問題，根據任務使用最小范數和加權偽逆對雙臂內力進行分配，在動力學層面上可以提高雙臂協調的效果。力分配后，采用阻抗控制進行力控制，這種控制方法屬于主動控制方法，控制效果依賴于精確的檢測。如果采用關節扭矩傳感器，會極大增加成本，而僅采用末端六維力矩傳感器，會存在模型不精確和非線性等問題難以解決，尋找一種低成高檢測精度的機械臂力控制方法尤為重要。

段晉軍等[35]將任務空間正交解耦為外環的位置自由子空間和內環的力約束子空間，對位置子空間中的外部干擾采用阻抗模型進行軌跡跟蹤，對于力約束空間中的內力約束采用變阻抗模型進行力跟蹤，有效地解決了雙臂協調搬運過程中同時存在外部干擾和內力約束的問題。

該控制方式在協調任務中需要不斷地在不同的控制空間中進行切換，在自由空間向約束空間過渡過程中不能保證系統的柔順性，難以在高效的場合中使用。而且，控制過程中所選矩陣的切換會導致系統穩定性問題，且對外部干擾的抑制能力較差。另外該控制方式適用于力矩接口控制的機器人，而大部分工業機器人并沒有提供力矩接口，因此并不適用于現有的控制系統。

2.3 阻抗控制

結合環境約束對雙臂機器人協調操作帶來的影響，阻抗控制方法可以被應用到雙臂機器人協調控制中[36-37]，通過雙臂末端點位置和力的變換關系實現期望的運動控制。阻抗控制將機械臂等效為一個阻抗控制約束模型，即通過調節末端執行器的位置和接觸力以及力矩之間的動態關系[38]來描述當前的控制模型，深層次實現雙臂的順應控制。這種方法實現了軌跡跟蹤控制和力控制中的動態統一關系，適用于在線規劃，對系統擾動和環境不確定性有很好的魯棒性，能實現系統由無約束到有約束運動的穩定轉換，因此被認為更適合裝配工作。

機器人末端接觸力偏差與位置偏差之間的關系稱為期望阻抗模型，設e,e˙,e¨ ∈Rm表示末端執行器的實際軌跡與期望軌跡之間的位置、速度和加速度的跟蹤誤差，Md表示笛卡爾空間中機械臂阻抗系統的目標慣性矩，Bd表示阻抗系統的阻尼矩陣，Kd表示阻抗系統的剛度系數矩陣，F是環境對末端執行器施加的力/末端的期望接觸力和實際接觸力之差，一般采用式（7）的線性二階微分方程，可以得到阻抗關系。

由此可得位置偏差與力偏差之間的對應關系為：

阻抗控制根據任務空間的不同分為關節空間阻抗控制以及笛卡爾空間阻抗控制。按照控制系統內環回路的不同可以分為基于力矩的阻抗控制（TBIC）和基于位置的阻抗控制（PBIC）[39]，又可分別簡稱為阻抗控制和導納控制。基于力的阻抗控制是通過控制關節驅動力矩來實現對末端接觸力與位移之間動態關系的調整，其本質是基于位置反饋的力控制器；而基于位置的阻抗控制是根據機器人與環境的接觸力偏差調整機器人末端的位置/速度偏差來實現，其本質是基于力反饋的位置控制器。

2.3.1 基于力的阻抗控制方法

基于力的阻抗控制由力控制內環和阻抗控制外環組成，其基本框架如圖6 所示，力指末端與環境的接觸力，力矩指關節中可控的力矩輸入。這種方法實時檢測機器人末端位置和接觸力，控制系統外環為阻抗計算環節，根據機器人實際位置x和期望位置xr之間偏差e通過期望阻抗特性Gd(s)計算出期望力，末端與環境之間的接觸力通過力控制內環使得實際作用力跟蹤期望力，從而實現期望阻抗動力學特性。其中使用機器人動力學模型作為前饋輸入，實現的是前向阻抗方程，這種控制策略基于精確的機器人動力學模型，以實現期望的阻抗模型和接觸力精確控制。

圖6 基于力矩的阻抗控制框圖

2.3.2 基于位置的阻抗控制方法

基于位置的阻抗控制由位置控制內環和阻抗控制外環組成，其基本框架如圖7 所示，通過機械臂末端力傳感器檢測機器人末端與環境的實際交互力F，并對比期望力Fr得到力偏差，阻抗控制外環通過期望阻抗特性計算出位置偏差的修正量Δx，將期望位置xr、實際位置x和位置修正量Δx同時輸入到位置控制內環，使得末端的實際位置跟蹤期望位置，從而實現期望的軌跡跟蹤柔順控制。

圖7 基于位置的阻抗控制框圖

這種方法不依賴于動力學模型。由于位置控制器的大增益會帶來關節的高剛度，這種方法的缺點是當機器人的實際位置和模型理想位置矢量不同時將帶來大的阻抗誤差，從而將這種方法限制在簡單任務中。

阻抗控制方法是通過調解阻抗參數以維持機器人末端的位置與環境接觸力之間的動態關系來實現雙臂協調控制。這種方法需要精確的機械臂動力學模型和復雜的動力學計算，末端接觸力的大小取決于末端執行器的參考軌跡、環境的位置和剛度等參數，而這些參數在實際中難以準確獲得且隨著環境變化需要實時修正，從而無法準確實現位置和力的控制。所以阻抗控制方法實現的困難在于需要精確的了解環境信息，如果在機械臂末端安裝力傳感器，控制器能檢測出末端執行器和被操作物體的接觸狀態，可以使得機器人在不確定的環境下實行與環境相應的控制，這稱為柔順（compliance）控制。

2.3.3 基于改進阻抗控制方法

傳統的阻抗控制與其他智能方法[38-42]結合，如阻抗控制與自適應控制、神經網絡、學習控制等方法結合。

阻抗控制調節機器人與環境之間的相互作用力，為了減少阻抗控制參數對未知環境阻抗模型和機器人動力學模型的依賴，提出了自適應阻抗控制方法。Li等[40]考慮了人機協作過程中的接觸力，基于強化學習提出自適應阻抗控制策略，通過線性二次調節（LQR），最小化運動跟蹤誤差并獲得最佳的人體阻抗模型，最優阻抗參數在不同的人機交互任務中根據不同的交互作用力變化，從而以最佳性能和接觸力輔助操作員執行人機協作任務。Duan 等[41]采用面向對象的雙臂合作機器人運動規劃方法，通過閉環約束計算系統中單臂的運動。將物體上的力分解為外力和內力，通過負載分配策略將力轉換到末端執行器，為了跟蹤所期望的位置和力，提出基于跟蹤誤差在線調整導納參數來補償未知軌跡偏差的雙臂協調對稱自適應導納控制。基于阻抗控制的自適應控制方法優勢在于能夠在控制對象參數或自身工作狀態變化時自動修改系統參數來適應這種變化，在一定程度上實現了機器人與環境的高效交互，但這種自適應能力并不是交互控制最優的解決方案，在高復雜度、強耦合、非線性時變系統中計算復雜，比較難以滿足實時性要求。

神經網絡無需建立精確模型，其強魯棒性能夠有效地逼近未知量和非線性函數，可用于解決機器人與環境交互過程中的不確定因素。He等[42]提出了自適應模糊神經網絡學習算法來識別不確定參數，引入了阻抗學習實現機器人與環境的期望交互目標。

與阻抗控制相結合的學習控制方法有迭代學習和強化學習等。人機物理交互中的阻抗控制，阻抗參數需要根據人類的動態行為調整，Li等[43]采用迭代學習控制（ILC）進行阻抗參數的學習，并采用一種新的迭代長度一致的方法來處理迭代長度的變化。李超等[44]提出強化學習算法用于變阻抗控制最優調節策略，使用高斯過程模型作為系統的動力學模型，允許概率化的推理與規劃，減少了交互次數與時間。

2.3.4 雙臂協調阻抗控制方法

在雙臂阻抗控制中，雙臂間由于約束關系會產生雙臂間的相對誤差，e*,e˙*,e¨*∈Rm表示兩個末端執行器之間位置、速度和加速度的相對誤差，空間并聯彈簧和一端執行器阻尼的模型如圖8所示[45]，Bd*、Kd*表示左臂（右臂）的相對阻尼-剛度系數，雙臂間的阻抗關系式為：

圖8 空間并聯彈簧和阻尼模型

齊春麗等[46]引入變加權矩陣求得最優抓取矩陣，設計基于雙臂廣義動量的擾動觀測器觀測外部擾動力矩，以合理分配載荷，減小協調操作時操作物的跟蹤誤差。Zhang等[45]將雙臂非對稱協調控制分為主要任務和次要任務，主要任務在笛卡爾空間末端執行器位置/力控制（末端執行器的跟蹤誤差、兩個物體之間的相對誤差和兩個末端執行器的接觸力之間的阻抗關系），次要任務在零空間冗余關節運動的控制（建立零跟蹤誤差與零接觸力之間的阻抗關系），雙臂間協調阻抗關系圖如圖9所示。在笛卡爾位置誤差和笛卡爾力之間建立質量-阻尼-彈簧關系，然后通過阻抗關系[47]和機器人動力學模型，將笛卡爾力轉化為所需的關節扭矩，從而得到機器人關節電機的目標轉矩。在兩臂與物體之間建立虛擬空間彈簧與阻尼模型[48]，通過阻抗模型將力偏差轉化為運動偏差，在雙臂協調阻抗中引入多優先級控制，實現基于位置的相對力/阻抗控制。類似方法也有在雙臂外骨骼方面的研究，Li等[49]提出在交互過程中反映的肌肉力量被用來檢測人體操作者動作的意圖，提出阻抗參數近似的方法，通過瞬時測量力和雙臂末端執行器的位置來估計可變剛度，考慮位置和速度約束，實現了一種雙臂阻抗參數自適應在線估計控制方法。

圖9 雙臂協調阻抗關系圖

Huang等[50]提出人體阻抗轉移控制與自適應控制結合來控制雙臂康復外骨骼機器人的魯棒協調控制方案，主臂提取阻抗剛度和位置輪廓，優勢對抗性肌肉對的肌肉活動被用來解決手臂端點僵硬行為的有效計算模型。Shiratot 等[51]通過檢測操作員手部運動的時間序列變化來估計操作員的任務類型，基于阻抗控制執行相應的輔助控制。Yan等[52]為雙臂機器人開發了一種協調控制方法，利用阻抗控制實現所需軌跡和內力的精確跟蹤。該控制器不僅考慮了末端執行器與目標的阻抗關系，還考慮了目標與環境的阻抗關系，實現了兩種順應控制方法：主從力控制策略與共享力控制策略。Yang等[53]充分考慮了人的阻抗特性，監測人體的上肢肌肉活動，實時提取可變剛度，并將估計的人體手臂端點剛度映射到機器人阻抗控制器中，使技能更像人，既考慮了機器人的位置軌跡，又考慮了機器人的剛度軌跡，實現了更完整的技能轉移過程。Han 等[54]基于動量觀測器的無力/力矩傳感器，通過每個手臂和物體的阻抗控制來實現雙臂機器人碰撞檢測與協調順從控制方法，充分考慮了雙臂機器人與人、環境和被操縱對象之間的相互作用。

2.4 自適應控制

由于機械臂系統的動力學模型是一個高復雜度、強耦合、非線性的時變系統。因此，機械臂在建模過程中總會存在一些誤差，包括外界的擾動以及某些未知參數帶來的不確定性。自適應控制方法指根據當前系統的運行狀態，通過一定的在線估計方法和策略對系統中未知的參數進行估計，然后按照期望的閉環控制系統的性能指標，根據所得到的估計值即時修正系統。自適應控制方法的優勢在于能夠在控制對象參數或自身工作狀態變化時自動修改系統參數來適應這種變化，以提高控制器的性能。

Kyrarini 等[55]提出一種實時的自適應算法，能夠識別在新環境中需要執行的動作序列，以適應人為因素導致的環境變化，如演示對象的位置和方向與實際操作不同。Yi 等[56]基于自適應混合力/位控制器，結合了被抓物體質心的自收斂參數估計和接觸力估計。通過將具有適當的零空間投影和旋轉變換的位置跟蹤公式并入位置跟蹤公式，可以同時實現內力和接觸力跟蹤目標。Benali 等[57]提出了將混合力/位置控制和自適應主/從控制方法相結合，根據目標期望軌跡進行協調操作，用于抓取倉庫中不同尺寸的箱子。

Chen等[58]融合力/位置誤差和迭代學習控制用于機械手基于力/位置的附加補償，進行雙臂目標操作（抓取和移動）的混合控制策略。王勇等[59]基于三流聯合深度卷積神經網絡模型的多模態融合方法，其中每個流分別處理其對應的輸入模態，利用改進的單極回歸算法進行抓取位置預測。

2.5 控制方式對比

GB/T 38559-2020 工業機器人力控制技術規范對被動柔順機構、主動柔順控制、力控制策略、自適應力控制、基于末端力/力矩傳感器的力控制技術等術語定義進行了明確的界定，并按照力控制策略、傳感方式對機器人力控制進行分類，詳細介紹了動態力控制技術、恒力控制技術、零力控制技術、碰撞保護技術4 種力控制應用技術及其應用條件。面對機器人應用場景多樣化、復雜性的挑戰，以視覺、力反饋為依托的機器人控制方法具有更多的應用空間，目前應用于機械臂的控制方式主要有主從控制方式和阻抗控制方式，表1是目前控制方式在控制過程中的優缺點以及應用場合對比。

表1 控制方式對比

3 感知傳感器

針對雙臂協調操作的環境感知問題，研究人員將感知傳感器引入到機器人系統的應用中，機器人系統可以利用外部環境感知的結果，以適應動作規劃和操作任務要求。Clark等[60]使用觸覺設備在力反饋中提高平均交互作用力，用于提高雙臂機器人遙操作盒子放置任務的成功率。視覺傳感器應用于農業中采摘水果[61]、雙臂自主執行裝配任務[62]等。利用外部傳感器對目標物體進行測量，實現機器人半自主控制的方法。

視覺傳感器被廣泛應用于機器人感知環境信息，運用視覺控制雙臂協調工作。Shirato 等[51]利用機器人的傳感器對目標物體進行測量，實現從機器人半自主控制的方法，只考慮到達動作，不考慮其他操作。視覺信息不參與的機器人閉環控制中，對機械臂末端位姿進行一次觀察，此時機械臂是“盲”運動，不做任何的修正。視覺信息不反饋給機器人閉環控制器，只觀察一次機械臂末端位姿，此時機械臂是“無反饋”運動，不做任何的修正。視覺信息反饋到機器人的閉環控制器中，可以在未知環境下自動地校正位置，稱為機器人視覺伺服，其控制目標是使目標誤差最小化，其數學表達式：

e(t)=s(m(t))-s*（10）其中，m(t)表示圖像數據，s稱作視覺特征量，是一系列可被量化的視覺特征值，而s*則是這些視覺特征量的目標值。

雙臂機器人的視覺伺服通常是單臂機器人視覺伺服控制方法的擴展，通常分為三類：基于圖像（如圖10）、基于位置（如圖11）和混合方法。

圖10 基于圖像的視覺伺服控制結構框圖

圖11 基于位置的視覺伺服控制結構框圖

基于圖像的視覺伺服（2D 視覺伺服，IBVS）利用了在二維圖像平面上選擇特征位置，其觀測值和期望值之間的差異。在不進行姿態估計的情況下，運行速度快。利用圖像的雅克比矩陣來控制雙手操作，Cruciani 等[63]基于分析物體形狀信息獲得正確的手推操作順序，改變抓取配置而不釋放物體。Qu等[64]建立兩個對象的位置和方向之間的視覺約束，利用多任務IBVS 方法對兩個對象進行了排序子任務以實現姿態對齊。Wang等[65]通過將笛卡爾空間中的控制任務轉換為圖像空間來選擇基于圖像的視覺伺服（IBVS），然后基于分散控制策略設計了雙目視覺軌跡跟蹤控制器。Chang等[66]將立體視覺相機固定機械臂末端附近構成雙目EIH 視覺系統測量目標點的3D坐標信息，并采用IBVS控制機械臂完成裝配任務。Lippiello等[67]提出基于圖像的視覺阻抗控制律，可以根據視覺信息用于調節手眼攝像機相對于操作任務的臂運動，另一只裝有力/力矩傳感器的機械臂與環境進行物理交互和釘入孔操作的協調。

基于位置的視覺伺服（PBVS）利用跟蹤對象在三維空間相對于攝像機的觀測姿態和期望姿態之間的差異。基于所提取的特征重建物體的三維模型，利用預先捕獲的模型信息（用于單目視覺系統）或考慮深度信息（用于提供深度的視覺傳感器）計算物體在笛卡爾空間中的位姿。Gan等[68]提出一種用于高精度抓取和協同任務的PBVS 方法，將視覺系統的傳感器數據流、力/力矩傳感器和聯合編碼器融合在一起，可以得到機械手的關節速度值和在線運動軌跡，從而對固定目標的抓取和在線跟蹤有較好的效果。Peng等[69]提出了一種雙臂空間機器人系統的虛擬立體視覺建模和位姿測量方法，每只手臂只攜帶一個單目攝像機來觀察不同物體，被映射到一個立體測量范圍，分別識別的幾何特征被轉換成一個等效的“虛擬共同特征”，進一步確定非協作目標的位姿。

為了測量操作物的位姿信息，通常采用兩種類型的視覺傳感器：（1）RGB-D相機，Medjram等[70]采用RGB-D相機獲取視覺信息進行處理以估計物體的位置；Kinect帶有深度傳感器以及紅外傳感器可以直接獲得目標的深度信息，在人機運動直接示教研究中，王朝陽等[71]利用Kinect獲取人臂特征點在笛卡爾空間的運動信息，即各關節在相機坐標系中的空間位置坐標；Abadianzadeh等[72]采用Kinect 傳感器對目標點的3D 坐標進行測量，通過模糊混合控制器控制機械臂趨近期望目標。（2）基于視差原理的雙目視覺定位：雙目立體攝像機，通過兩臺平行放置的單目相機，利用視差原理來測量目標位置信息，Ling等[61]結合了雙目立體視覺傳感器和雙臂用于番茄采摘系統，集成了番茄檢測、目標定位、運動計劃和用于雙臂運動的實時控制，應用于機器人水果采摘的雙臂協作；Fan 等[73]基于雙目視覺的多自由度機械臂自主操作方法，提取目標特征點并結合雙目定位原理獲得目標對象的空間位置，在關節空間采用遺傳算法規劃機械臂的運動軌跡。

根據機械臂伺服任務的目的，從視覺定位和視覺跟蹤兩方面分析雙臂的操作任務。雙臂視覺跟蹤任務中，目標在圖像空間的期望狀態是運動的，即圖像空間的期望路徑是一條隨時間變化的軌跡，如雙臂搬運類的協調任務，采用基于圖像的視覺伺服方法。這種方法不需要姿態估計，減少了機器人控制信號的計算。雙臂視覺定位任務中，目標在圖像空間的期望狀態是靜止的或是相對靜止的，需要控制機械臂末端位姿使得目標圖像特征到達期望特征，如雙臂裝配類的協調任務，采用基于位置的視覺伺服方法。

場景與手眼攝像機組合視覺系統，屬于雙目相機，但無法使用視差原理，只能通過對位姿特征進行解耦，在各自的圖像空間實現各方向測量。手眼攝像機被剛性固定在機器人末端執行器附近，場景攝像機固定于機器人工作空間附近用來觀測機器人操作，多攝像機的組合配置可以允許機器人接受互補傳感器信息源來完成任務。Lippiello等[74]通過場景和手眼攝像機的組合視覺系統實時觀測和估計操作物位姿信息，并采用3D 視覺伺服和卡爾曼濾波方法實現雙臂機器人操作。Shauri等[75]通過位置伺服控制和安裝在末端執行器上的攝像機實現螺栓與螺母擰緊的雙臂裝配任務。Kruse等[76]通過兩臺手眼攝像機實時觀測操作物的2D 特征，兩個機械臂被同時控制來抓取一個體積較大的物體。PR2 的兩個機械臂采用場景和手眼的混合視覺系統，Fleurmond 等[77]采用2D 視覺伺服控制來實現筆和筆帽的位姿對齊任務。Wang等[65]提出了一種基于視覺感知的雙臂機器人裝配環境狀態感知方法，將三維點云處理、模型數據庫、知識表示與物體識別、姿態估計相結合。首先生成裝配場景的原始數據庫，將裝配工作空間中的對象與數據庫中的對應模型進行匹配，工作完成后，利用獲得的所有信息生成環境狀態圖，用于雙手手動裝配行為自動生成。Nicolis等[78]一個采用遙操作控制方式，另一個自主配備了手眼攝像頭傳感器，通過自主調整攝像頭以執行無遮擋任務。

4 模仿學習

為了實現雙臂機器人在非結構化環境中自主操作的目標，有必要讓機器人具備適應周圍環境的能力。在這種環境中僅依靠外部傳感器控制，手動規劃機器人運動的所有方面是無法適應動態環境的。為了使雙臂機器人具備適應環境的能力，模仿學習（Imitation Learning，IL），基于對人類演示的真實運動作為參考，通過離線對人類運動過程進行觀測并分析，通過學習模型分析并獲得運動特征或操作特征，以便在規劃階段后期應用，減少運動規劃的復雜性以及實現機器人的擬人化操作。

劉乃軍等[79]將機器人操作技能學習方法按照對訓練數據的使用方式分為強化學習、模仿學習和小數據學習。有許多研究人員對模仿學習進行不同的分類，李帥龍等[80]按照學習策略的不同分為行為克隆（Behavioral Cloning，BC）和逆強化學習（Inverse Reinforcement Learning，IRL）。Fang 等[81]按照操作示教方式的不同分為間接示教和直接示教。殷聰聰等[82]按照傳感器的類型不同分為：動覺模仿、視覺模仿、遙操作模仿，或者按照其學習信息的邏輯層次可以分為基于運動的模仿學習和基于任務的模仿學習。

在多數文獻中，將機械臂通過分析人類操作數據所學到的知識稱為技能獲取。這些方法大多是針對單一機械手的，在某些情況下，可以將這些方法簡單地擴展到兩個手臂，只需對每個手臂重復該過程，但雙臂操作的一些特性需要進行修改。相關的問題包括運動的認知、姿態估計、姿態跟蹤、身體的一致性、從外部空間到自身空間的坐標轉換。

從技能學習的角度，通過視覺傳感器等獲得人臂運動數據，如動作模擬任務，可以稱為運動技能的學習；機械臂末端與環境之間或者被操作物體與環境之間存在物理交互作用，需要采用力傳感器獲得機械臂與環境之間的接觸信息，可以稱為操作技能的學習。技能學習通常分為三個部分：數據獲取、技能學習和任務再現，如圖12所示，其中雙臂協調操作模型包括位置/力協調參數。常見的基本建模方法包括動態運動原語（Dynamical Movement Primitives，DMP）、高斯混合模型（Gaussian Mixture Model，GMM）和隱馬爾可夫模型（Hidden Markov Model，HMM）等。

圖12 機械臂協作技能學習策略

Batinica等[83]演示了順應性運動原語（CMP）如何結合期望的關節運動軌跡和相應的關節轉矩信號，從需要順應性的人類演示雙臂運動中學習，應用于重復完全相同的任務。Nemec等[84]通過演示學習，底層的協同任務使用速度縮放的動態運動原語表示，提出了一種在路徑操作空間中實現剛度自適應的方法，考慮了多次執行的運動方差和當前速度。Yang等[53]擴展了DMPs模型，實現了運動（位置）軌跡和剛度分布的同步編碼，實現了更完整的技能轉移過程。Silverio 等[85]將任務參數化高斯混合模型（Task Parameterized Gaussian Mixture Model，TP-GMM）擴展到雅可比矩陣和零空間結構，從不同坐標系角度對末端執行器運動進行概率編碼，同時學習操作空間和配置空間的約束，解決雙臂操作潛在沖突任務之間的優先級問題。

Suarez 等[86]計算擬人雙臂機器人構形空間的協同效應，將協同作用的概念擴展到速度空間（即構型軌跡的一階導數空間），分析自由度速度之間的相關性，通過姿勢捕捉進行雙臂機器人的訓練學習。Garcia等[87]利用人類演示在解決不同任務時獲得的協同效應來定義兩個任務之間的相似性指數，根據人類操作者手臂解決任務的動作來評估兩個任務之間的相似性，允許將任務分類或集群到子集中，從而進一步改進規劃過程，并且提出了一種基于采樣的規劃器[88]，考慮不同類型的抓取，描述人類抓取動作中存在的協同效應，識別抓取運動中的不同階段，獲得一個通用的預抓取協同集和一個針對每種抓取類型的抓取協同集。

Shin等[89]在雙臂操作中使用模仿學習的方法，利用主成分分析方法（Principal Component Analysis，PCA）采集人體運動數據來生成與人類相似的運動達到臂形控制的效果，這種方法在每次執行新任務時需要重新學習。Qu等[90]通過學習人類手臂操作過程中雙手的相對位置和方向之間的關系，即手臂間的協調特性，可以得到兩臂間的可變協調約束，使得機器人雙臂操作更加順暢。利用人體手臂教學數據中特征點的笛卡爾坐標求出人體手臂運動的關節數據，求出關節角度。利用PCA方法從教學數據集中去除不相關的維度，將數據映射到潛在空間。關節數據的平均相關值表示人體手臂各關節之間的臂內協調特征，推導出類人協調運動方程，采用高斯混合回歸模型（GMR）方法對編碼軌跡進行泛化。

Zhu等[91]總結了模仿學習在機器人裝配操作中的應用。Kyrarini等[55]通過多次人類演示學習裝配任務的動作順序（高級學習），根據對象操作的需要學習每條路徑（低級學習），基于高斯混合模型的修改算法能夠適應學習的路徑，能夠完成工業裝配任務中的人機協作。Duque 等[92]使用TP-GMM 和Petri 網進行零件裝配操作，任務演示由Kinect 運動傳感器識別場景中的對象，Petri網根據工作空間上的可用對象自動生成工作計劃。Suomalainen 等[93]將阻抗控制和模仿學習結合，從人類演示中學習順應性的接觸運動，通過同時測量運動方向和作用在末端執行器上的力可以為運動方向構造一組約束，來自多次演示的約束被投影到二維角坐標系中，其中的交點即可行的期望運動方向。Suomalainen 等[94]之后提出在存在方向誤差的情況下如何從人類演示中學習遵從性參數（阻抗控制器的運動參數和柔度參數）用于裝配任務。觀察柔順的滑動運動中，總是有一定的方向扇區，機器人可以從其中施加力來執行觀察到的運動。通過一個或多個演示，在三維運動中獲取這些扇區的交點，從而學習動態線性柔順運動的參數。

由于回報函數設計困難和示教質量不佳兩種情況，單純的強化和模仿學習都難以應用，因此提出新的機制。（1）借助示教的強化學習（RLfD）。（2）借助專家偏好的模仿學習。Yang 等[95]提出超越模仿學習的不同方面和應用，Caccavale等[96]提出將模仿學習和注意監督結合來學習一組運動原語和相關的任務結構，用于雙臂結構化任務。Ficuciello等[97]將模仿學習與強化學習相結合，用擬人化手臂機器人系統抓取物體。

5 人機交互

人機協作任務，主要解決四類問題：（1）需要根據不同的任務參數，例如操作物相對于抓取，障礙物在工作空間中的位置等，對人類示教數據進行編碼。（2）在協作行為重建階段中的機器人期望狀態提取。（3）隨著時間變化的不同柔順級別估計。（4）與人類安全的交互。曾超等[98]根據不同的交互接口，將人機技能傳遞方式歸納為四種形式：基于視覺（vision-based）、基于遙操作（teleoperation-based）、人機物理接觸交互（physical Human-Robot Interaction，pHRI）、多模態。

（1）基于視覺的人機交互

此過程與模仿學習類似，這種交互方式只能獲取運動信息，而無法獲取示教者的動作信息。Rozo等[99]從動覺演示數據中提取任務的位置、速度和力約束，建立任務參數的函數，并提出模型結合最優控制器，來利用演示中所觀察的變化，進而不斷適應一個反饋控制律。機器人系統在非結構化環境中面對更復雜的任務，Sepulveda 等[100]提出智能感知系統，由高分辨率RGB 相機和飛行時間相機組成。Cruciani等[63]通過深度相機提高物體形狀和姿態的部分信息來實現雙手操作規劃，利用雙臂機器人的冗余性來執行對物體的非纏繞推力，并調整其在夾具內的姿態，適用于需要交互感知的操作任務。

（2）基于遙操作的人機交互

示教過程與基于視覺的人機交互類似，但不再直接記錄示教者肢體的運動信息，而是記錄主端操作桿或從端機器人的運動狀態。由于操作桿與機器人的機理結構不同，在示教過程中需要對工作空間進行匹配。Rozo等[72]提出了基于高斯混合模型和高斯混合回歸的概率框架，分別對機器人協作行為進行編碼和重建。在人機協作的抬舉任務中人類通過遙操作設備控制機械臂來實現演示。Peternel 等[101]提出一種在線學習策略，人類通過遙操作機器人進行循環運動。

（3）基于物理接觸的人機交互

Cohen等[33]將基于搜索的啟發式算法應用于人機交互的運動規劃，使機器人能夠針對人類行為及周圍環境做出安全交互。Roveda等[102]使用神經網絡優化機器人協作優化控制參數的基礎上，采用內笛卡爾阻抗控制器實現機器人的順從行為，限制人機交互中力/速度以加強安全性。Duan等[103]同時在笛卡爾空間和關節空間中同時學習技能的模仿學習中避免障礙的問題，設計適當的勢場以繞過障礙物，在避開障礙物的過程中調整軌跡時，要遵守關節極限，以及確定適當的機器人控制命令，以潛在的人機交互安全問題。

雙臂示教是一種較為特別的物理交互示教方法，即利用雙臂機器人的特點，以其中一機械臂為主端，以另一機械臂為從端。示教者操作主端引導從端機械臂完成作業任務，這種示教方式可以使得示教者直接操作機械臂，有物理交互的特點。Ureche等[104]從人類演示中提取非對稱任務的參數化，應用于三種執行案例：雙手保持身體接觸同時自主協調；一只手臂執行輔助功能，另一只手臂進行主動操作；人類協作執行輔助或主動角色的單個機械臂協作執行。Yang等[105]為了提高示教的質量，可以在雙臂示教系統中的主從兩端引入基于虛擬阻抗的觸覺反饋機制，同時在觸覺和視覺反饋的幫助下，以提高人機交互的臨場感。Mario等[106]將觸覺引導與共享控制算法相結合，用于自主方向控制和避碰，進一步提高了抓取任務的性能。

（4）多模態人機交互

隨著智能機器人可裝配的傳感器種類越來越多，融合不同類型傳感器數據的多模態交互方法可以進一步提高機器人的感知與交互能力。Behrens等[107]針對一類集成任務和運動規劃（ITAMP）問題，提出了基于自然語言和演示的多模態輸入法，使用所有相關約束描述要調度的任務并演示其相對位置。Pavlichenko 等[108]提出自動完成雙臂拾取任務的集成方法，包括目標識別和語義分割、目標姿態估計、可變形模型配準、抓取規劃和手臂軌跡規劃和優化。Kitagawa 等[109]將雙臂抓取作為另一種可能的策略，并提出一種利用卷積神經網絡（CNN）進行抓取點預測和語義分割的多階段選擇性雙臂抓取學習方法。Amor等[110]提出基于DMP的概率編碼方法，基于部分觀測的人類意圖預測，來適應和機器人交互。根據人類動作，使用動態時間規整來構造預測動作。Matsuzaka等[111]提出了基于預測操作者在特定任務中的運動的半自主控制（聯合操作控制和自主控制），通過眼動跟蹤和預測人類行為的手眼協調的輔助系統，人機協作中，將分析的模式應用于實際的操作輔助和操作預測的研究中。

6 總結與展望

隨著機器人應用場景多樣化和操作任務復雜化，雙臂機器人會得到越來越多的應用及研究，由于其冗余特性，運動學逆解求解方法趨向與智能啟發式算法結合來尋找最優構型，傳統的主從控制和位置/力控制不能滿足雙臂機器人柔順控制的要求，阻抗控制和自適應控制更適應動態環境中的協調控制。視覺伺服控制通過位置或圖像等信息傳遞給雙臂系統，實現機器人半自主控制。隨著擬人機械臂的發展，模仿學習通過分析人類操作數據使雙臂機器人也具有擬人協調特性。在人類環境中工作的雙臂機器人，人機協作將大幅增加，其更關注安全問題以及與環境之間的交互協作。

機器人操作技能學習得到了越來越多地重視[112]，人工智能技術的發展為機器人操作技能的學習提供了新的方法，開拓了新的思路[79，98]。

（1）擬人雙臂逆解考慮其生理特性，通過引入臂角變量，避免奇異性；或者結合啟發式算法求解最優構型。另一種獲得雙臂逆解的方法是通過學習人類手臂運動的關節數據，再生成與人類相似的運動，這種臂形控制的方法適合雙臂協調性較高的操作，通過臂角變量如何使雙臂協調操作更穩定是值得研究的問題。

（2）傳統工業機器人由于缺少力反饋等信息容易造成任務失敗，機械臂末端與物體之間接觸產生作用力，由于機器人剛度很大，需要對機器人進行柔順控制，系統是采用被動柔順方法進行控制，還是通過力傳感器實時反饋的接觸力的信息進行控制，或是采用自適應力控制策略，對于在力控制中出現的動態力、恒力、零力以及碰撞等情況，雙臂協調控制方法需要不同的控制策略。

（3）基于視覺、觸覺或其他傳感器的信息分析人類行為的方法，以及推理系統，確定任務的哪些方面是相關的，并傳達給機器人系統，需要有效的控制系統來實現這些目標。將人類的操作任務映射到不同的機械手，需要不同的控制策略確定任務的目標。

（4）模仿學習方法雖然解決了機器人學習控制的效率問題，但其控制方式不總是最優策略，一方面示教者與機器人的運動學和動力學在機理模型上不完全相同，從外部空間到自身空間需要進行數據信息的分析變換以適應任務的需求。對機器人演示運動進行分析以動態預測機器人姿態，或從機器人姿態運動軌跡來推測機器人的姿態，可以構造基本運動集或抓取集，用于先驗模型應用于運動規劃和姿態估計中。這種控制方式在動態環境中需要聯合學習，從感知傳感器學習應用到操作中，動作會反饋給感知傳感器，以適應非結構化環境。

（5）人機交互方式過于單一、感知信息不足，人機融合程度不高，示教者缺乏臨場感，從而影響示教性能。針對這一問題，未來會集中在尋找更加直觀、自然、友好的示教方式。首先，多種交互方式相結合是發展趨勢，將先進的交互技術引入到機器人技能示教學習領域是確實可行的辦法。多模態信息融合也將是改善人機交互性能的發展方向。通過將物理的或者生理的多種形式的信號（如空間位置、交互力、觸覺、視覺、肌電信號等）在更高層次上融合，納入到人機技能傳遞過程中，可以更直觀地表達出人的技能特征。

在高級協作控制任務中，所有這些問題都需要解決，然后機器人才能在非結構化環境中具有高協調性和智能化。