一種面向在軌服務的空間遙操作人機交互方法

程瑞洲，黃攀峰，劉正雄，鹿振宇

(1. 西北工業大學航天學院智能機器人研究中心，西安 710072；2. 西北工業大學航天飛行動力學技術重點實驗室，西安 710072)

0 引 言

目前，機器人技術廣泛應用于深海潛行、高輻射核環境、遠程醫療和深空探測[1]等領域，替代人類完成巡視、搬運和組裝等任務，實現復雜環境下的操作任務。尤其在空間操作方面，文獻[2]在國內較早地介紹了空間機器人的特點和發展，將空間操作分為行星表面、在軌艙外服務和空間站艙內科學載荷機器人的操作。針對航天員無法長時間在艙外行走、巡視和完成相關的維修任務，利用空間機器人技術可以將航天員暴露的風險降到最低，減少太空環境對人的傷害，并且降低空間站艙外維護成本。然而，受限于空間機器人傳感器、機械結構和控制策略等因素，現有的空間機器人還缺乏較大的智能性，無法完全自主地完成設定任務，更不能解決突發的問題，因此，需要引入人員的操作，即人的智能性，通過“人在回路”的遙操作技術，實現人與遠端環境的交互，完成既定的操作任務。王永等[3]、黃攀峰等[4]對國內外空間遙操作大時延技術進行了綜述和分析，以空間工程實際應用為背景，解決了天地大時延、任務規劃、預測仿真和人機交互等空間遙操作的關鍵技術。劉冬雨等[5]利用機械臂手眼相機標定，提出一種路徑規劃策略，完成空間機械臂在軌維修實驗。前期的研究工作表明，空間遙操作技術雖然引入人的決策后可以提高操作的智能性和靈活性，但是空間遙操作技術仍面臨諸多問題，例如，遙操作系統造成的空間機器人主從端位置跟蹤不一致[6]、操作精度不高和天地回路大時延等問題；由于操作者人手抖顫、精神心理壓力大和缺乏訓練，導致操作不連續和不流暢[7]。

通常，大部分地軌衛星的服務時間是有限的，其本身攜帶的燃料主要用在機動變軌和姿態控制上，一旦此衛星發生故障，本身并無自我修復的能力。如圖1所示為NASA Restore-L計劃概念圖，采用帶有雙臂空間機器人的服務平臺，抵近故障航天器，利用攜帶的機械臂完成巡視、抓捕、維修和消旋等在軌服務任務[8]。然而，目前主要有三個潛在的問題會影響空間在軌服務性能： 1)地面主端操作者與服務平臺從端機械臂之間的通信帶寬不夠； 2)在軌環境和目標航天器狀態難以精確獲得，給操作者的可視化數據有限； 3)天地回路的大時延造成位置跟蹤難、操作不穩定和操作精度降低。

圖1 Restore-L計劃概念圖(左側為服務平臺，右側為故障航天器)Fig.1 Artist concept of Restore-L (Left is a servicing platform, right is a fault spacecraft)

由于天地回路大時延會嚴重影響操作的流暢性和降低遙操作系統的性能，早期，Ferrell提出了“運動-等待”的方法[9]，但是該方法具有很大的局限性。之后，利用預測顯示技術[10]，預測和顯示出從端機器人的位置，將時延后的相機畫面疊加在增強現實之上。后來，人們提出監督控制[11]的方法，給予機器人一定的自主能力，地面操作人員只起監督和制止的功能，但是該方法只能應用于簡單的往復任務。文獻[12]提出一種基于中間模型的遙操作策略，利用從端傳感器獲取的數據設計相關模型，該模型可以讓操作者感受到一個沒有時延的力觸覺，同時，從端機器人僅接受位置/力的指令。此外，文獻[13]還提出一種共享雙臂協同遙操作的方法，通過調節優勢因子，實現雙人操作的的目的。

為了解決主端操作者與從端環境之間的交互問題，Rosenberg[14]提出了虛擬夾具(Virtual fixture，VF)技術，虛擬夾具是一種計算機主端生成的幾何約束，預設一個禁止區域，對從端機器人末端進行限制或導引，給主端操作者一個明顯的力反饋，輔助操作者按照既定的路線進行運動。虛擬夾具經過幾何設計形成虛擬管道或安全通道，末端機構可在其內部運動，引導操作者的動作，可用來減輕操作人員的心理壓力、減少操作時間和降低操作誤差。張斌等[15]采用虛擬夾具的方法，對操作者的動作進行限制和引導，提高了操作準確性。田志宇等[16]采用虛擬管道作為虛擬夾具技術的一種形式，輔助操作人員進行操作，設計了一種基于路徑點的光滑虛擬管道生成算法，提高了操作的靈活性和效率。文獻[17]將虛擬夾具設計成一種安全通道，將其應用到侵入式的手術中，通過位置和夾具形態自適應策略，采用基于無源能量池的控制方法保證了系統穩定性。文獻[18]針對操作者和機器人同時抓持工具進行手術任務時，在手術器械末端設置虛擬夾具，提出了兩種虛擬力的計算方法，提高了操作的有效性，但是沒有對從端運動軌跡進行具體分析。

大多數文獻中的虛擬夾具或安全通道在引導過程中，管道內部力場并沒有被加以區分，即操作者所感受到的力反饋在內部各處都一樣，虛擬管道僅起到了引導從機器人的末端點從起始位置到期望位置的作用。但在實際操作過程中，隨著任務進行，主端的操作者需要感受到不同的力，才能更加靈活地進行操作；此外，以往主端畫面多采用虛擬現實等手段將從端視景顯示出來，但都存在建模精度不足和缺少對人的反饋問題[19]。

因此，本文針對空間機器人在軌服務任務需求，提出一種基于安全通道的分層力觸覺輔助遙操作方法，采用增強虛擬(Augmented virtuality)的手段將從端視頻信息顯示給主端操作者。該方法一方面采用“虛實結合”的手段，在主端將虛擬管道與實際操作環境顯示給操作者，提供視覺輔助信息；另一方面，在安全通道內劃分不同的區域，設置不同的虛擬引導力和禁止力，輔助操作者將機器人末端運動至期望位置，同時保證人操作的穩定性和流暢性，減輕人手抖動等不安的心理壓力，滿足任務需求。

1 增強虛擬輔助遙操作系統

1.1 系統描述

一個典型的增強虛擬輔助遙操作系統如圖2所示，主要包括五個部分：主端操作者、人機交互設備(如手控器、示教器、數據手套或虛擬現實的頭盔及手柄等)、通信鏈路、從端機器人和從端操作環境。基于增強虛擬的安全通道輔助遙操作系統整體流程為：在主端，操作者通過手控器等人機交互設備向從端機器人發送位置xm、關節角θm或力fm信息，經過信息處理和通信鏈路的時延后，從端機器人將在位置xs、關節角θs或力fs信息的作用下運動，同時，將力等信息通過通信鏈路反饋給主端操作設備，這樣操作者就可以感受到力反饋。此外，從端的環境視頻信息通過攝像頭獲取后傳輸到主端顯示設備上，主端顯示設備一方面將從端畫面顯示出來，另一方面，設置的具有虛擬力反饋的安全通道也將在主端顯示設備上展示出來。

圖2 增強虛擬輔助遙操作系統構成圖Fig.2 Structure chart of augmented virtuality assistance teleoperation system

1.2 機器人虛擬力控制模型

在人機交互過程中，一方面，環境會對從端機器人的末端產生影響，另一方面，設置的虛擬力也會對機器人末端產生位置和力約束。不考慮靜摩擦力的情況下，n自由度非線性機器人關節空間動力學方程為

(1)

該非線性機器人系統，具有如下結構特性：

2)D∈Rn×n是正定有界的對角矩陣，H(q)∈Rn×n是正定且有界的矩陣；

3)g(q)∈Rn是有界的。

(2)

2 增強虛擬可視化設計

位于主端的增強虛擬可視化系統主要用來顯示安全通道和從端環境的視頻信息，利用計算機軟件技術，將兩個畫面合并顯示，達到增強虛擬的人機操作交互效果。此處的增強虛擬指的是，將軟件生成的具有虛擬力反饋的安全通道與從端的真實操作環境畫面疊加，這樣設計的目的是既可以看見真實的從端情況，又可以通過設置的虛擬力，輔助操作者進行操控，減輕了操作人員的心理壓力，緩解了操作手抖動的狀況，提高了操作的穩定性和流暢性。

本小節以空間在軌研究背景,主要任務是操作空間機械臂末端進入衛星帆板折疊區域,巡視帆板內的環境。通過文獻[20]中的基于虛擬力的安全通道構型,設計一種增強虛擬安全通道,并與徒手操作進行對比,驗證增強虛擬輔助遙操作系統的可行性和有效性。

在地面搭建一個簡單的實驗平臺，采用CHAI 3d力觸覺渲染引擎和Falcon手控器力反饋設備，操作人員在顯示屏上可以看到一個被力渲染的實體小球，用來表示空間機器人的末端點(End-effector)，稱為末端小球。在操作過程中，操作人員利用Falcon手控器發送位置指令，控制小球運動至期望位置，同時，該小球具有碰撞檢測算法，可將碰撞力反饋給操作者。

2.1 徒手操作

操作人員利用Falcon手控器將CHAI 3d畫面中的末端小球，徒手從左移動到右，如圖3所示，CHAI 3d渲染場景為操作者提供實時操作效果的視覺反饋，畫面中的白色直線為參考線。

圖3 徒手操作實驗圖Fig.3 Experiment system of unarmed teleoperation

如圖4所示，徒手操作在Z方向的軌跡變化，可以看出，抖動變化比較大，操作時間較長，軌跡不平滑。根據操作者的體驗，盡管有一條白色的參考直線，但是僅依靠徒手將末端小球從A點運動至B點，很難平穩地移動。根據操作者的感受，為了使操作任務快速完成，就會導致操作穩定性差,為了操作穩定度，就需要更長的操作時間，需要克服心理壓力和操作抖動，對于完成相應的任務都是不利的。

圖4 末端小球Z方向位置變化圖(徒手)Fig.4 Z-axis position tendency chart of end-effector (unarmed)

2.2 組合體增強虛擬安全通道

通過對操作任務的分析，要使機械臂末端進入帆板內，需要設計兩種幾何構型的組合體安全通道，錐形體和直線體通道組合使用。一方面，錐形體一端開口較大，便于導引機械臂進入通道；另一方面，帆板內部空間狹小，直線體通道符合實際操作情況。通過組合體安全通道，可順利安全地將機械臂末端引導至期望位置。

根據錐型和直線體通道的特點，一般將錐型通道放置在直線通道之前，錐型頂點采用開口設計，其半徑大小與其連接的直線通道的半徑相同，這樣即可實現兩個管道的拼接。

如圖5所示，從起點A到期望位置B點，通過一個錐形體和一個直線體的組合體安全通道進行導引操作，錐形體通道的開口較大，適合機器人末端進入內部，進入通道后，隨著錐形通道半徑的減小，機器人末端受到的力約束也加強，之后進入直線體通道內，錐形與直線體通道的拼接使得整個通道完整流暢。

圖5 組合體增強虛擬操作視景圖Fig.5 Operation visual chart of composite unit augmented virtuality

如圖6所示為末端小球在Z方向上的位置變化，從大約3.7 s進入組合體通道開始，操作人員基本能控制末端點在通道內順利平穩地運動，整體抖動變化不大，滿足操作要求。

圖6 末端小球Z方向位置變化圖(組合體)Fig.6 Z-axis position tendency chart of end-effector (composite unit)

圖7表示末端小球在Z方向上的碰撞力，大約在3.7 s時刻，有一個較大的碰撞力，此時末端小球即將進入通道，與通道邊緣發生了碰撞。12～20 s，隨著末端小球進入錐型通道的后端(小口端)，本身操作人員的控制使得末端小球與通道發生碰撞,另外末端小球在通道銜接處也會產生碰撞力。從整體上看，碰撞力較小，產生的范圍較窄，操作人員可以平穩快速安全地在組合體通道的引導下到達期望的位置。

圖7 末端小球Z方向碰撞力的變化圖(組合體)Fig.7 Z-axis collision force tendency chart of end-effector (composite unit)

綜上所述，在驗證該增強虛擬安全通道輔助遙操作系統中，通過在空間機器人末端設置的安全通道、給操作人員施加相應的虛擬力來控制末端的運動。利用這種策略具有的優點：1)相比較僅依靠主端虛擬模型的徒手操作，操作人員在安全通道的約束下，提高了操作穩定性和控制精度，減少了操作時間；2)在整個遙操作回路中，增加了人的智能性，優化了天地遠程遙操作中操作人員與空間環境物理上的聯系，增強了操作的臨場感；3)可根據任務需求，將不同類型幾何體的通道組合使用，靈活快速完成任務。

3 分層輔助遙操作

采用增強虛擬的安全通道可以有效地輔助操作者進行操控，其虛擬力反饋不僅增強了臨場感，也作為一種約束，限制或引導從端的運動。當面對一個環境復雜的任務時，前述單一力反饋的安全通道局限性較大，因此，根據空間機器人末端在通道內所處的位置，設置不同的虛擬力反饋給操作人員，可以增強操作者的靈活性。

針對從端機器人末端由起始點運動至期望位置的操作任務，預先設定一條期望軌跡，該軌跡即為安全通道的幾何構型，根據末端點所處通道內的位置，設定相應的的禁止區域、引導區域和自由運動區域，實現在不同區域使用不同類型虛擬力進行引導或禁止的目的。

具體算法步驟為：

1)建立從端機器人末端點的期望運動軌跡。采用三次樣條插值的方法，規劃一條期望軌跡，路徑函數如下：

Υi(l)=S0+S1(l-xi)+S2(l-xi)2+S3(l-xi)

(3)

(4)

獲得路徑函數之后，一方面，可以得到任意時刻軌跡上的路徑點坐標，為之后的求取機器人末端實際位置與軌跡上的最近點及計算從端機器人末端與軌跡之間的距離做準備；另一方面，期望軌跡也與增強虛擬安全通道的生成有關，路徑的軌跡決定了通道的管徑大小、長度和旋轉角度。

2)計算最近點和最小距離。最近點是指，通過計算從端機器人末端實際位置與設定的期望軌跡上軌跡點的位置差值，求取位置差值最小的那個點，該點即為最近點。

最小距離是指，當操作人員利用手控器進行操作的時候，根據得到的最近點坐標值，所控制的從端機器人末端與期望軌跡之間最近點的距離。

首先，根據第一步三次樣條插值法獲取的期望軌跡，可以得到該軌跡上的一系列路徑點P=(xp,yp,zp)，通過手控器獲取主端操作者的位置為Q=(xq,yq,zq)，計算兩點的距離

(5)

式中:σ表示兩點之間的距離，(xp,yp,zp)表示設定的期望軌跡上的點，(xq,yq,zq)表示機器人末端點的實際位置。

其次，求取最近點。將計算得到的每一個兩點之間的距離存入一個1×n的數組H中，n表示兩點之間距離差的個數，利用“冒泡法”求取最小值的位置nmin，該位置處的點即為最小點。

最后，求取最小距離。根據數組H中最小值的位置，得到機器人末端距離期望軌跡上的最近點為Pmin=(xp_min,yp_min,zp_min)，計算從端機器人末端點與最近的期望軌跡上的點的距離為

(6)

式中:σmin為最小距離值，(xp_min,yp_min,zp_min)為期望軌跡上距離從端機器人末端最近的點，(xq,yq,zq)表示機器人末端點的實際位置。

根據獲取的最近點，可以知道機器人末端與期望軌跡上哪個點最近，進而根據機器人末端點所處的位置，依據下一步驟劃分的區域，設置不同大小和方向的虛擬力，將該虛擬力反饋給主端操作者，使用安全通道內力場約束主端人手的運動。

3)區域劃分。將安全通道的內、外進行區域劃分，根據從端機器人末端所處的位置，劃分為禁止區域、引導區域和自由運動區域，如圖8所示。通過劃分出的不同區域，對從端機器人末端點施加不同大小和方向的虛擬力，將該虛擬力反饋給操作人員，輔助人的操作。

圖8 安全通道區域劃分圖Fig.8 Partition area chart of security channel

首先，劃分禁止區域。禁止區域為整個安全通道的外部，即從端機器人末端只能在通道內部運動，從通道的一端運動至通道的另一端，不允許從通道內部穿越通道壁進入通道外部區域，同時，也不允許在非入口處從通道外部進入通道內部。因此，在該區域設置的虛擬力為斥力FFRVF，即

FFRVF=-K·

-Kσmin

(7)

式中:負號表示斥力的方向，K表示斥力系數。

其次，劃分引導區域。當從端機器人末端進入安全通道后，我們希望能夠沿著期望軌跡運動至期望點，但是操作人員會發生手抖動等情況，導致末端點無法完全沿著期望軌跡運動，甚至偏離軌跡，或試圖穿越通道內壁到通道外側的禁止區域，這是絕對不允許發生的。因此，根據前一步的最近點和最小距離的求取結果，設置一個非線性力給末端點，讓其越靠近期望軌跡受力越小，越靠近通道內壁受力越大，選取的非線性函數表示從端機器人末端點與期望軌跡上插值點的關系，設計引導力FGVF為

FGVF=exp(x-d)σmin

(8)

式中:exp(x-d)表示末端點與軌跡最近點之間的非線性關系，x表示從端機器人末端位置，d為設定的常數。

最后，劃分自由運動區域。當從端機器人末端點稍微偏離期望軌跡的時候，并不需要對其施加引導力，這樣做的目的是保證操作的流暢性和靈活性。因此，從端機器人末端點在該區域內運動時將不受引導力的影響。

4 仿真校驗

為了驗證增強虛擬分層輔助遙操作系統，搭建了一個地面演示平臺，由五部分構成：操作者、主端控制系統、通信鏈路、從端控制系統和環境。操作者通過手控器將位置信息經過通信鏈路傳送給從端機器人，從端機器人將環境力信息再反饋給主端操作者。主端是一個三自由度的Falcon手控器，從端是一個ABB14000雙臂工業機器人(地面演示系統只控制該機器人的一個臂)，如圖9所示，在從端環境上方加裝一個攝像頭，利用CHAI 3d力觸覺渲染引擎，將從端獲取的視頻畫面信息導入CHAI 3d中，作為增強虛擬通道的背景，將從端環境畫面顯示在主端可視化操作界面上。

圖9 實驗平臺示意圖Fig.9 Sketch map of experiment plant

在從端,有障礙物1(三階魔方)和障礙物2(圓錐體),機器人需要從起始點,繞過兩個障礙物到達期望位置。在主端,利用CHAI 3d軟件中cCreatePipe函數,構造一個虛擬通道,該通道由63個空心圓柱體拼接而成,每個圓柱體的外徑是0.2 cm、內徑是0.19 cm。通過畫面疊加技術,操作員既可以看到并感覺到被力/觸覺渲染的虛擬安全通道,又可以實時觀察到從端的操作狀態。畫面中的白色小球表示手控器的末端位置，整個操作過程如圖10所示。

圖10 增強虛擬分層輔助遙操作演示圖Fig.10 Experiment process chart of augmented virtuality layered assisted teleoperation

操作人員利用手控器，控制機器人末端機構從A點運動至B點，從操作過程可以看出，一方面，將從端攝像頭傳回的環境信息畫面，顯示在主端視景窗口中，作為操作的背景畫面信息，虛擬的安全通道與實際的從端畫面的疊加，增強了操作者的臨場感；另一方面，當機器人末端在增強虛擬安全通道內外不同區域運動時，不同大小和方向的虛擬力通過手控器反饋給主端操作者，操作者在虛擬引導力的作用下，控制機器人末端快速、準確和安全地抵達期望位置，提高了操作流暢度。

在CHAI 3d可視化界面中，末端小球是一個半徑0.5 cm的小球，因此，當σmin<0.8 cm時，從端機器人末端點在自由運動區，不受虛擬力影響；當1.1 cm<σmin<1.4 cm時，從端機器人末端點在引導區域，施加給主端操作人員的力為引導力FGVF；當σmin≥2.5 cm時，從端機器人末端點在禁止區域，施加給主端操作人員的力為斥力FFRVF。

圖11為操作軌跡與期望軌跡之間的對比圖，虛線表示實際操作軌跡曲線，實線表示期望軌跡曲線，可以看出，代表機器人末端執行機構的末端小球，進入通道內后，運動整體平穩流暢，操作最大誤差出現在右側通道內，選取偏離期望軌跡最遠的點，得到最大操作誤差為0.63%，滿足操作精度，表明在虛擬引導力的作用下，既沒有與障礙物發生碰撞，也可以較快地沿期望軌跡將機器人末端操作至期望位置。

圖11 操作軌跡對比圖Fig.11 Comparison chart of operation trajectory

圖12為從端機器人末端在設定的安全通道內受到的虛擬力(X、Y和Z方向)，可以看出，在2.3 s前，機器人末端還在通道外運動，操作者感受到較大的斥力；之后進入通道，受到朝向期望軌跡方向的虛擬引導力，根據式(8)設置的引導力FGVF，當操作者控制末端小球靠近中線時，操作者感受到的虛擬力為0，一方面，體現了操作的靈活性，另一方面，說明操作比較平穩，利于相關任務的完成；直至運動到期望位置，在14 s，末端小球從通道中出去后，與通道有碰撞，虛擬力立馬變為斥力，禁止通過出口處再進入通道內。

圖12 操作者感受到的虛擬力Fig.12 Virtual force by operator during an experiment

5 結 論

在以往的在軌服務遙操作系統中，依靠從端力傳感器的力反饋信息是很重要的一種交互手段，然而因為天地回路大時延的存在，力反饋信息往往滯后人的操作，尤其在需要操作者快速反應、控制機器人避障和需要安全操作環境時，從端機器人很有可能發生非期望的碰撞事故。為了提高空間在軌輔助遙操作系統的安全性和操作穩定性，給主端的操作者提供虛擬力反饋，采用增強虛擬分層輔助導引技術完成既定的遙操作任務。通過組合體增強虛擬通道與徒手操作對比，說明利用安全通道可以有效提高操作精度和減少操作時間。將從端機器人末端點在通道內所處的區域進行劃分，根據不同的位置給主端操作者施加不同大小和方向的虛擬力，可以更靈活地進行操作。地面演示實驗表明，采用增強虛擬安全通道提供的可視化視景和分層力觸覺輔助遙操作系統，可以增強操作者的臨場感，平穩且順利地操作機器人運動，提高了操作安全性。