帶力反饋的星球探測機器人遙操作虛擬訓練系統

邵斌澄， 宋愛國*， 譚麗芬， 李會軍

(1.東南大學儀器科學與工程學院， 南京 210096；2.中國航天員科研訓練中心人因工程國防科技重點實驗室， 北京 100094)

1 引言

外星球惡劣環境，無人駕駛的星球車已成為深空探測領域的研究熱點[1]。 輪腿復合式移動機器人兼具輪式機器人運行平穩和腿式機器人越障能力強的優點，適用于外星球崎嶇的地表情況[2]。

魏宏明等研制的一款星球探測機器人[3]，采用五星型輪腿式的結構，運動速度快，越障能力出色，且具有較強攀爬坡道的能力。 為完成星球探測取樣任務，機體搭載有一個4 自由度的機械臂和機械手爪。 該機器人由單人使用一個緊湊型控制箱進行遙操作控制，機器人本體與機械臂的控制具有17 個控制操作，還有10 余個功能性操作按鈕，控制流程復雜，為提高任務成功率，操作員需要經過大量訓練。 同時，操作員在遙操作時需要靠攝像頭實時回傳的圖像來判斷機器人所處的環境和位姿狀態等，如在攀爬坡道時需防止機器人傾角過大發生傾覆，在復雜環境中躲避障礙物等。 此外，機械臂的誤操作也會導致抓取任務的失敗，例如未控制好機械爪與目標物體的距離，導致碰撞。

利用真實的機器人和環境進行研究和技能訓練有諸多限制，如成本高、環境不可復制和過長時間的實驗，因此基于虛擬現實技術的仿真訓練方案受到國內外學者歡迎。 Chen[4]面向自主研發的OCTOPUS 機器人開發出一套虛擬現實模擬器，可以再現機器人和環境，用于模擬操作；Covaciu 等[5]虛擬構建了用于空間探索的移動機器人，具有真實的模型和較準確的物理性能，使用帶有4 軸的羅技手柄進行操作，但都為動畫效果，沒有力反饋；Piovano 等[6]根據NASA 對火星的照片使用了三維重建技術構建了虛擬環境，同時導入了移動車進行簡單的探索；Kamezaki 等[7]開發了包括VR 環境、操作輸入和視頻輸出組件的模擬器，可操控虛擬的拆卸機和具有偏航、俯仰和變焦功能的環境攝像機，通過虛擬訓練有效提高操作任務的效率；Manawadu 等[8]實現了虛擬駕駛系統以研究人為駕駛與智能駕駛的特性及駕駛員的駕駛傾向。 國內學者通過搭建移動機器人虛擬仿真平臺[9-11]，利用其低成本、高可重復性并且沒有物理限制的優勢，在人機交互、物理仿真等領域取得一定進展。

作為視覺、聽覺等感知技術的延伸，近年來力反饋技術得到了廣泛的關注和研究。 在遙操作環節中力反饋可以提高虛擬環境中的觸覺感受，增加對機器人操作的可靠性[12-13]。 將虛擬場景中的觸碰信息轉換成直接作用于人手的力或力矩，使操作者產生被操作對象的受力感覺，從而能夠及時調整控制策略，以便更好地完成操作任務[14]。 但目前將力反饋技術與虛擬訓練結合時存在反饋力較小、虛擬環境力建模不真實、力反饋設備操作空間有限等問題[15]。

本文為解決上述問題，提出一種帶力覺反饋的星球探測機器人遙操作虛擬系統，通過較大的力覺反饋和帶有碰撞力解算模型的虛擬現實場景進行遙操作的仿真訓練，增強訓練的沉浸感。

2 星球探測機器人系統

星球探測機器人系統由機器人本體及遙操作控制箱構成，控制指令及視頻由數傳與圖傳電臺傳輸。

2.1 機器人本體結構

機器人本體為2 組對稱的輪腿結構，本體平臺分為前后兩部分，前機體主要包括電機驅動模塊、主控模塊；后機體主要為電源模塊；前后機體間采用柔性關節相連接。 機器人平臺上搭載小型4 自由度機械臂，裝配有4 路攝像頭，可以實時地將周圍的環境反饋給操作者，便于對機器人所處的環境進行判斷。 實物圖如圖1 所示。

圖1 星球探測機器人實物圖Fig.1 Photo of the planet detection robot

2.2 遙操作控制箱

操作者借助遠程控制箱實現對機器人的遠程操控，并且需要依靠控制箱感知機器人周邊的環境狀況。 實物如圖2 所示，使用碳纖維面板安裝固定顯示屏幕和操控機械面板，完整覆蓋了機器人速度擋位控制，前進、后退、旋轉控制和機械臂各個關節的運動控制。 能夠切換攝像頭圖像，并在顯示屏呈現。

圖2 遙操作控制箱實物圖Fig.2 Photo of the remote control box

3 系統設計

系統設計目標如下:

1)研制一款具備多個自由度的力反饋手控器裝置，能滿足虛擬遙操作任務所需的工作空間并能提供準確的力反饋。

2)構建逼真的地面虛擬系統，操作員通過手控器控制虛擬代理，虛擬代理與虛擬控制箱的面板、按鈕及搖桿產生交互，有碰撞事件發生時，程序能自動解算出碰撞力的大小及方向，通過手控器電機輸出扭矩，讓操作員手部感覺到反饋力，增強訓練真實性。

3)產生操作面板交互動作時，能模擬真實控制箱發出控制指令，虛擬機器人根據指令做出動作并完成指定任務，虛擬攝像頭回傳圖像，在虛擬控制箱的屏幕上顯示。

據此設計系統架構如圖3 所示。 力反饋手控器作為人機輸入端，編碼器采集各關節運動角度，經MCU 解算后傳輸到遙操作虛擬場景，同時在虛擬環境中的交互力被實時計算，通過電機產生扭矩，為操作員提供力覺信息的反饋。 遙操作場景中虛擬代理由操作員直接控制，虛擬控制箱和虛擬機器人的狀態通過UI 界面，以視覺及聽覺的形式反饋給操作員。

圖3 力反饋虛擬訓練系統框圖Fig.3 Block diagram of the force feedback virtual tr aining system

4 力反饋手控器設計

4.1 力反饋機械

力反饋手控器裝置設計為并聯連桿結構、菱形拉伸結構與手部轉動機構串聯，實物圖如圖4所示。 此結構能提供沿xyz3 個軸的平動自由度和繞xyz三軸的旋轉自由度，末端手指有一個彎曲自由度。 手控器每個自由度安裝有MAXON 電機及光電編碼器，用以提供力矩和反饋關節角度。此結構的優勢體現在整個結構末端工作范圍大，且可實現平動和轉動的機械解耦，實現力與力矩的輸出解耦。

圖4 力反饋手控器實物圖Fig.4 Photo of the force feedback hand controller

4.2 正運動學解算

2 種機構串聯之后的力反饋設備平動結構原理如圖5 所示。 由圖可知，并聯連桿結構和菱形拉伸結構主要運動關節有3 個，分別繞軸1、軸2與軸3 轉動，由于并聯連桿機構和菱形結構可以保證圖中3 個平面永遠保持平行，并且不會耦合多余的轉動自由度，所以力反饋設備末端位置的求解過程就是在已知繞3 個軸轉動角度的情況下，求解點Q在空間中位置的過程。

圖5 力反饋平動結構原理圖Fig.5 Schematic diagram of the force feedback translational structure

以固定面的點O為基準點，則有公式(1):

由于并聯連桿結構末端點P的運動軌跡是在以原點O為圓心、連桿長度L1為半徑的球形弧面上，所以向量OP與結構繞軸1 和軸2 轉動的角度α和β的關系可以利用球面坐標系與直角坐標系之間的轉換解出，計算如式(2):

平動機構末端點Q相對于點P的位置向量僅與連桿長度L2和機構繞軸3 旋轉的角度γ有關，公式如式(3)所示:

將式(2)及式(3)相加即可得到最終求解結果，如式(4)所示:

力反饋設備三維轉動及手指彎曲結構的原理如圖6 所示。 根據該設計可知，3 個自由度的轉軸相互垂直且相交于一點，電機輸出的反饋力矩也相互垂直，不會發生耦合，因此力反饋設備末端的3 自由度轉動力矩可以和3 個力反饋執行器的輸出一一對應。 手指彎曲自由度單獨存在，設置在抓握手柄的前側。

圖6 力反饋轉動及手指彎曲結構原理圖Fig.6 Schematic diagram of the force feedback rotation and finger bending structure

5 虛擬訓練系統設計

虛擬訓練系統必須能夠準確構建機器人及虛擬環境，方便地進行各種實驗，并對實驗結果進行定量分析，有效地提高操作員技能水平。

5.1 虛擬系統構建

采用Unity3D 軟件進行開發，地面虛擬系統整體環境如圖7 所示，包含虛擬的輪腿移動機器人、攝像機系統、虛擬機器人控制箱及4 個任務場地。

圖7 虛擬系統整體環境圖Fig.7 Overall environment of the virtual system

為進行充分的實驗、分析和訓練，虛擬現實環境中的機器人應該具備真實機器人的相關屬性。本文基于已有的機器人三維圖，使用3Dmax 軟件進行了機器人的簡化及美化工作并導出成FBX格式的模型。 將機器人每個部件導入Unity3D后，使用關節創建功能，重新對機器人進行裝配，形成完整的輪腿機器人，保證其外觀、尺寸、重量、關節角度和扭矩限制等與實際相同，如圖8 所示。機器人運動及機械臂轉動時，將同步播放音效，增強臨場感。

圖8 虛擬星球探測機器人構建圖Fig.8 Construction diagram of the virtual planet detection robot

軟件設置了4 個車載攝像頭和1 個第一視角攝像頭。 4 路車載攝像頭提供了機器人前面和后方的環境信息及機械手爪轉動及抓取圖像。 4 個車載攝像頭對應的畫面顯示在虛擬控制箱的四分屏屏幕上。 為了模擬真實遙操作場景，在虛擬機器人控制箱前設置了第一視角攝像頭，操作員進行虛擬訓練時依據控制箱屏幕上的視覺信息來進行控制及調整，有利于擺脫對機器人本體運行狀態的依賴。

機器人控制箱是遙操作的人機輸入設備，本文構建出一臺虛擬控制箱，如圖9 所示。 操作面板上布置有1 個二自由度的運動搖桿、5 個單自由度機械臂操作桿、1 個速度擋位旋鈕及其他按鍵開關。 場景中使用一個小球作為人手的虛擬代理，操作員使用力反饋手控器直接對虛擬代理進行控制，虛擬代理可與控制箱上的按鍵開關產生與實際相對應的交互動作，并實時計算碰撞力，產生相應的力覺反饋。

圖9 虛擬遙操作控制箱構建圖Fig.9 Construction diagram of the virtual teleoperation control box

使用Unity3D 自建模型，設計了30°和45°坡道各1 個、30°和45°樓梯各1 個、帶有障礙物的路面及倉庫、1 個啞鈴形抓取物。 它們位于虛擬場景中的不同位置，并組成4 個任務場景。

5.2 交互控制方法設計

操作員使用力反饋手控器對虛擬代理進行控制并與虛擬控制箱產生交互，如圖10 所示。

圖10 遙操作虛擬訓練系統實物圖Fig.10 Photo of the teleoperation virtual training system

虛擬代理的位姿控制方式及力反饋的解算在本系統中最為重要，直接影響遙操作的真實性及臨場感效果。 前文公式(4)中已解算出手控器末端的三維坐標，若直接將此坐標賦給虛擬代理則容易出現穿模的問題。 本文在虛擬代理小球上添加了剛體屬性，利用其動力學屬性改變物體實時速度來移動到目標位置，速度向量如式(5)所示:

其中Ptarget為手控器末端的實時坐標，Pact為虛擬代理的實際坐標，系數k2用于調節真實坐標映射到Unity3D 坐標的比例，系數k1調節虛擬代理跟蹤目標位置的速度。

為進行虛擬環境中碰撞力的解算，調用碰撞事件函數，當碰撞事件發生時，獲取碰撞點所處物體表面的法向量，作為手控器輸出力的方向向量，輸出力的大小計算使用God-object 算法[16]，即力的大小與虛擬代理坐標和目標位置差值向量的長度成正比，因此最終力向量如式(6)所示:

其中系數kf調整輸出力大小的基數，N為碰撞點所處物體表面的法向量。 為模擬人手與操作面板的交互，虛擬控制箱上的開關按鈕都添加了物理屬性，并使用邊緣高亮來提示操作狀態。 默認無交互時，所有按鈕紅色高亮，當虛擬代理與某個按鍵產生接觸時變為黃色高亮，此時使用手指彎曲來控制可交互狀態，當手指內屈，按鈕顯示綠色高亮時，可進行實際遙操作效交互，控制虛擬機器人完成任務，手指外伸可結束交互狀態，按鈕恢復紅色高亮。 圖11 顯示了操作機器人運動搖桿的不同狀態。

圖11 虛擬代理與操控面板交互示意圖Fig.11 Schematic diagram of interaction between virtual agent and control panel

6 試驗及分析

為驗證力反饋手控器的有效性，進行對虛擬代理的位姿控制實驗及反饋力輸出試驗。 為驗證設計的遙操作虛擬系統對輪腿移動機器人的有用性，進行了4 個機器人遙操作任務的試驗。

6.1 基本操控及反饋力試驗

為提升遙操作的真實性，進行虛擬代理與虛擬環境的碰撞并測試虛擬環境實時解算的力。 力反饋解算曲線與位置誤差如圖12 所示。由圖可知，碰撞時同時產生了x與y軸2 個方向的力，其中x軸反饋力最大達15 N。 在輸出力不為0 時，輸出力與嵌入深度成正比，滿足前文公式(6)。 使用推拉力計測量實際輸出力，計算出實際輸出力與理論值的誤差，曲線如圖13 所示。 兩軸反饋力的誤差均小于±0.4 N，滿足設計要求。

圖12 力反饋解算與位置誤差曲線Fig.12 Curve of force feedback calculation and position error

圖13 反饋力輸出誤差曲線Fig.13 Output error of feedback force

6.2 遙操作任務試驗

6.2.1 試驗設置

設計了4 個不考慮時延影響的地面遙操作任務，包括翻越坡道(任務1)、攀爬樓梯(任務2)、避障進庫(任務3)和機械臂抓取(任務4)。 其中任務1～3 為機器人運動控制，分別以低、中、高3個速度擋位進行試驗，輪腿的轉速分別為36°/s、72°/s、144°/s，與實際機器人控制保持一致。 任務4 為機械臂關節控制及抓取，以驗證機器人的工作性能。

任務1:機器人在水泥路面上移動，先后攀爬30°坡道及45°坡道，直到越過終點。

任務2:機器人在水泥路面上移動，先后攀爬30°樓梯及45°樓梯，直到越過終點。

任務3:機器人避過路面設置的障礙物，經曲線運動，直到進入倉庫。

任務4:操控機器人機械臂多個關節，使機械臂接近物體，直到成功抓取物體并從地面抬起。

選取4 位試驗者，進行15 分鐘的基本訓練，包括對輪腿機器人構造的認知，力反饋手控器的控制方式及虛擬訓練場景的任務要求等。 訓練之后試驗者依次連續完成4 項任務，記錄任務完成情況、所用時間及機器人相關數據，每人重復5 次試驗。

6.2.2 結果分析

4 個任務的完成過程如圖14 所示。 試驗者可以通過研制的力反饋手控器完成虛擬遙操作任務，驗證了設計的系統可靠有效。

圖14 遙操作任務完成過程圖Fig.14 Diagram of teleoperation task completion process

所有任務成功完成的耗時情況如圖15 所示，成功率如圖16 所示。

圖15 遙操作任務完成時間圖Fig.15 Completion time of teleoperation tasks

圖16 遙操作任務成功率圖Fig.16 Success rate of teleoperation tasks

由圖可知，對于任務1 至任務3，隨著機器人運動速度的提升，完成任務的時間隨之降低，同時任務成功率也有所下降，如任務2 中，低、中、高速度下平均完成時間分別為118.24 s、97.53 s、59.85 s，任務成功率分別為0.9、0.7、0.55。 由于速度過快，試驗者會出現操作不當和反應不及時的情況，機器人易發生側翻傾覆，導致任務失敗。 因此，為了提高任務效率兼顧成功率，在攀爬坡道樓梯時，盡量應選擇中速擋位進行遙操作。 由圖中完成時間及成功率綜合來看，任務4 最為困難，完成時間為103.46±24.86 s，波動較大，任務成功率也僅有0.6。 該任務需要操作員高度集中并小心操控，如果未把握好機械爪與物體之間的距離，容易發生碰撞，而若機械爪抓取太緊也會導致物體變形脫落，使任務失敗。 任務4 中成功完成的機械臂關節角度控制跟蹤曲線及誤差曲線見圖17。

圖17 機械臂關節角度控制及誤差圖Fig.17 Diagram of manipulator joint angle control and error

由圖可知，機械臂各關節都可以較好地跟隨目標角度。 整體控制過程為:先調節關節1 和2，使機械手靠近目標物體，之后調節關節3，使機械爪與物體保持垂直，便于抓取，再進行微調使機械爪能夠抓到物體，最后收緊手爪，控制好速度并將物體抬起，完成任務。 整體上關節跟隨誤差均小于±1.5°，誤差呈一定震蕩趨勢，主要由于機械臂各關節有一定慣性，控制過程中有輕微顫動。

以上試驗結果表明:本文開發的虛擬訓練系統可以有效完成這4 個地面遙操作任務，起到訓練效果，并且試驗結果可以揭示如何改進輪腿機器人控制策略以應對探測工作。

7 結論

1) 本文開發了具有力覺反饋的星球探測機器人遙操作虛擬訓練系統，包括力反饋裝置及虛擬系統。 研制的力反饋手控器可作為訓練的人機輸入并有反饋力輸出，使訓練具有真實性及臨場感。 虛擬系統重構了星球探測機器人、遙操作控制箱、攝像機和任務場景，引入了碰撞、反饋力計算和聲音等技術，提高了虛擬訓練的效果。

2) 設計了虛擬代理的動力學位姿控制方法及虛擬力反饋的實時解算方法。 設計了虛擬代理與控制箱的交互方式，并模擬真實的遙操作過程，對虛擬機器人進行操控。

3) 試驗表明，設計的力反饋手控器輸出力準確，力反饋誤差小于±0.4 N。 通過虛擬訓練系統遙操作機器人，具備完成地面翻越坡道、攀爬樓梯、避障進庫和機械臂抓取4 個任務的能力。