基于虛擬現實的無時延感空間機器人遙控操作研究
2008-12-31 00:00:00李華忠梁永生洪炳熔
計算機應用研究 2008年11期
（1.深圳信息職業技術學院 軟件工程系， 廣東 深圳 518029；2.哈爾濱工業大學 計算機科學與工程系， 哈爾濱 150006)
摘要：主要研究了克服空間機器人遙控操作時延問題的虛擬建模和仿真技術。首先概述了遙操作時延問題的研究現狀；然后提出了一種基于虛擬現實預顯示技術解決時延問題的方案；最后開發了基于虛擬現實的無時延感的遙控操作系統，并進行了仿真實驗研究。仿真結果表明，虛擬現實技術在有效克服空間機器人遙控操作大時延中發揮了重要作用。
關鍵詞：遙控操作；虛擬現實；無時延；空間機器人；仿真實驗
中圖分類號：TP24文獻標志碼：A
文章編號：1001-3695(2008)11-3404-04
Research on teleoperation without time delay based on virtual reality for space robots
LI Hua-zhong1，LIANG Yong-sheng1，HONG Bing-rong2
(1.Dept. of Software Engineering， Shenzhen Institute of Information Technology， Shenzhen Guangdong 518029， China；2.Dept. of Computer， Harbin Institute of Technology， Harbin 150006， China）
Abstract:This papermainly researched virtual modelling and simulation technology about teleoperation without time delay for space robots.First，described research present summary on teleoperation delay problem.Second， presented solution to solve time delay based on virtual reality(VR) predictive display technology. Finally，developed teleoperation system without time delay based on VR and carried on simulation experiment.The simulation results show that VR technology has taken very much importment play in overcoming effectively teleoperation time delay for space robots.
Key words:teleoperation；virtual reality(VR)；without time delay；space robots；simulation experiment0引言
人類即將面臨世界性能源危機的挑戰，如何開發和利用海底資源、宇宙空間資源以及原子能應用技術已經成為各國關注的焦點[1，2]。由于操作員無法在海底和宇宙等特殊性環境下正常工作，為了使操作員避免有害作業環境傷害而完成指定的作業任務，一種遠距離控制的遙控操作技術應運而生[3]。近年來，隨著世界主要空間大國相繼展開探月工程，對空間機器人遙控操作的研究也日益成為關注的熱點之一。
空間機器人遙控操作系統一般由操作員、空間機器人以及連接兩者的通信系統三大部分組成。其中最基礎的關鍵部分之一就是與操作員相關的人—機接口技術。至今空間機器人遙控操作系統存在著四個方面的問題[4~6]:a)操作員處于控制回路之中，負擔重，容易疲勞；b)操作員看不到三維逼真的操作對象，缺乏真實感，不能沉浸到遙環境之中產生臨場感；c)大的通信、控制時間延遲造成系統工作不穩定，受控對象容易失控；d)缺乏訓練遙操作員的有效方法。
近年來，虛擬現實技術與空間機器人技術的有機結合越來越成為空間機器人研究關注的焦點。部分研究已經表明，基于虛擬現實的遙機器人和遙科學是減輕宇航員倉內/外工作量的基礎技術。
虛擬現實(VR)[7~9]是一種可以創建和體驗虛擬世界的多傳感融合與多媒體集成的計算機系統。人們可以利用該計算機系統生成某種虛擬環境(如宇宙空間、水下等作業環境)， 借助各種傳感設備使操作者“投入”到該環境中，實現操作者與該環境的直接自然交互。虛擬環境是指由計算機生成的具有真實感的立體圖形，它可以是某種特定現實世界的真實體現，也可以是純粹構想的世界，通過視、聽、觸覺作用于操作者，使之產生身臨其境的交互式視景。概略地說，VR具有四大主要特征，即多感知性、存在性、交互性和自主性。可以說VR是一種自然的人機接口，其技術本質可用三個“I”來描述：immersion(沉浸)、interaction(交互)、imagination(構想)。
目前，虛擬現實技術在遙控機器人領域的應用主要表現在以下幾個方面：a)用于地面遙控維修機器人領域，如在危險核電站代替維修員進行維修工作。b)用于遙控水下機器人領域，在危險深海代替潛水員進行探險、維修等作業。c)用于機器人遙控手術，在地球上的醫生可以在離地球遙遠的空間站進行手術。d)用于空間站遙控機器人，在危險的宇宙代替宇航員進行艙外作業。其中在遙控機器人領域，尤其需要虛擬現實技術。
基于虛擬現實的遙操作研究的主要目的在于提高仿真系統的逼真性和虛擬性，探索解決遙操作具有時延環境的預顯示問題。涉及的關鍵技術包括：a)虛擬現實動態建模技術；b)解決通信容量和時延問題的技術；c)基于虛擬現實的自主控制、遙控制和共享自主控制技術及系統集成技術；d)人機交互界面。本文重點研究了預顯示技術中的空間機器人虛擬環境的建模、算法研究和仿真實驗技術[10~13]。
1遙操作時延問題的研究現狀
時間延遲是空間機器人控制的基本問題之一[14~17]。這是因為地面站與空間機器人之間遙遠的距離使得信號傳輸的時間成了影響整個系統穩定性的重要因素。
空間機器人控制中的時延問題已困擾人們長達三十多年。早在1962年，人們就認識到在地面對空間機器人的遙控中存在時延問題。Ferrel首先提出了一種發信/等待的控制策略。其基本思想是采用離散的運動控制方法，發出一個命令后就等待，直到收到遠地機器人的反饋信息后才再發下一個命令。這種方法的控制效率很低，且時延超過一定限制系統就會失去穩定性。Held的研究表明當時延大于0.3 s時傳輸馬達的校準就難以實現。Blacke等人也進行了類似研究。為了解決時延問題，Hoyes等人提出了基于視覺反饋的預顯示方法，即給定空間機器人的當前位置和起始條件及當前的控制命令，就能夠預測將要發生的情況。Noyes建立了世界上第一個遠程機械手的預顯示裝置，用實線圖形顯示遠地返回的視頻信息，用虛線顯示預測信息。Bejczy和Kim也作了類似的實驗研究。他們的研究結果表明預顯示方法能極大地減少任務執行的時間。但該方法對空間機器人模型、任務模型和環境模型的完備性有較嚴格的要求。隨后Noyes和Sheridan的研究表明預顯示中的計算機仿真不必是連續的，它無須與正在執行的動態任務保持同步關系，仿真器完全可以在沒有同步關系的情況下記錄控制命令，然后發送給遠地機器人。Convey等人進一步發展了預顯示的思想，提出了基于時間開關和空間開關的時間解同步和空間解同步方法。以上的所有研究主要是針對視覺反饋時延問題進行的。另外，不少學者進行了力反饋的時延研究。Ferrel發現把分解力連續地反饋給操作控制的同一個機械手是不能接受的。Buzan和Sheridan提出了一種直接力反饋技術。解決時延的另一種方法是采用監控系統。因為監控系統采用批處理方式，人在任務執行后只起一個旁觀者的角色，而不能參與到控制過程中去，從而大大限制了執行效率，且這種控制方法無法處理意外情況。當從地面或其他遠離中繼衛星的空間站上遙控機器人時，時延是遙控操作中關鍵的問題。最近的研究表明預顯示技術是克服該問題的一種有效方法。
2基于VR的預顯示系統模型
本文提出一種基于虛擬現實的預顯示技術來解決遙控操作中時間延遲問題的系統模型，如圖1所示。空間機器人模型采用雙臂型自由飛行空間機器人(DFFSR)。
該模型包含動力學預測的觀點，疊加在延時視頻上的3D立體圖形既可由運動學模型驅動，也可由動力學模型驅動，由作用在相應延時命令的A和B的與、或構成。預顯示3D立體圖形建模仿真是空間遙控機器人成功的一項關鍵技術。典型往返時延為5~7 s。在空間站上要實現與地面站相同的控制結構和路徑規劃器，同時要在地面虛擬環境中實現機器人的自由運動及傳感器感知和反饋的仿真。在基于圖像預顯示的遙控操作時，操作員先通過預顯示機械手圖形模型處理DFFSR控制器，然后該控制命令被立即送到機器人仿真器，并經存在時延傳輸線發送給遙控機器人。另外，仿真預覽地面站計算機和仿真系統，包括有時延的衛星上/下行線路模型、真實機器人狀態及其環境的模型，特別是運動物體。實際衛星下行電路傳感器信息和關節數據與從仿真器傳來的下行數據誤差用觀察器或估計器修正模型校準。重疊圖形前，要將生成場景和實時視頻圖像進行標定，以確保計算視點與真實視點一致，使虛擬世界能重現真實世界。在已知微重力環境下浮游物體的動力學時，在地面可利用手部相機提供遙控機器人的位姿信息，采用動態視覺方法進行捕捉目標操作。
21虛擬環境預測模型
本系統使用的雙臂型空間機器人(DFFSR)由機器人本體、對稱的左臂和右臂組成，每一臂又包括三個轉動關節。機器人的本體包括一個固定臂，它不具有自由度[18~20]。
根據線動量和角動量守恒方程，可以推導出DFFSR的運動學建模方法，并推廣到多臂型空間機器人系統。其中最關鍵的是推導多臂型空間機器人系統的廣義雅可比(GJM)。多臂型空間機器人的GJM推導如下：
通常，用雅可比矩陣J*M∈Rm×n表示機械手末端效應器速度υE∈Rm與關節速度θ·M=[θ·1θ·2…θ·n]T∈Rn之間的關系：
υE=J*Mθ·M+hE(1)
其中：n表示系統的總自由度(DOF)。在式(1)中，hE表示當θ·=0時末端效應器速度，該項僅當系統具有非零動量時出現。雅可比的第i列對應當hE=0和除θ·的第i個元素單位值θ·i=1的所有關節速度為零時的末端效應器速度。
假設多臂型空間機器人系統有N個臂，其中每個臂依次由n1，n2，…，nN個關節組成(如第i個臂有ni個關節)，第i個臂的第j個鏈桿記為link(i， j)；第i個臂的第j關節記為joint(i， j)，其關節角記為θ(i， j)，機械臂1~N的末端效應器速度分別記為υE1，υE2，…，υEN∈R6。其中n(=Ni=1ni)是系統的總自由度。定義如下符號：
Σ(i， j) 定義在link(i， j)處，其z軸與joint(i， j)軸一致的坐標系。
z(i， j)沿Σ(i， j) 的z軸單位矢量。
C(i， j)由link(i， j)到link(i，ni)組成的復合子系統質心(link(i，ni)是第i個臂有末端效應器Ei的末端鏈桿)。
m*(i， j)上述復合子系統的總質量。
I*(i， j)上述復合子系統相對C(i， j)的總慣性矩陣。
a*i， j從Σ(i， j)原點到C(i， j)的位置矢量。
lEi，(i， j)從Σ(i， j)原點到C(i， j)的位置矢量。
rEi從C到Ei的位置矢量。
p(i， j)從C到C(i， j)的位置矢量。
l(i， j)∈R3從Σ(i， j)原點到Σ(i， j+1)原點的位置矢量。
l(i，0)∈R3從Σ0原點到Σ(i， 1)原點的位置矢量。
α(i， j)∈R3從Σ(i， j)原點到link(i， j)質心的位置矢量。
m(i， j)鏈桿link(i， j)的質量。
I(i， j)∈R3×3link(i， j)相對其質心的慣性矩陣。
AR(i， j)∈R3×3從Σ(i， j)到ΣA的坐標變換矩陣。
AR0∈R3×3衛星本體相對ΣA的姿態矩陣。
(i， j)R(i， j)∈R3×3從Σ（i， j）到Σ（i， j-1）的變換矩陣。
對多臂型空間機器人系統，關節速度與末端效應器速度間關系可表示為
其中：n(=Ni=1ni)是系統的關節總數。在式(5)中，列元素Jij∈R6N×1表示關節速度θ·(i， j)對各末端效應器速度的貢獻。
Jij=[JTij1JTij2…JTijN](8)
其中：Jijk∈R6×1表示θ·(i， j)對第k個臂末端效應器的貢獻。根據式(5)~(8)即可推導出多臂型空間機器人系統的廣義雅可比矩陣。
用相同方式可導出參考點不在每個臂末端效應器上但在衛星本體C0上的其他形式的GJM。該雅可比矩陣可表示為
J0=[J110…J1n10…JN10…JNnN0]∈R6×n(9)
Jij0=z(i， j)×(-m*(i， j)/mC)a*(i， j)+-*0I-1C(i， j)z(i， j)-I-1C(i， j)z(i， j)(10)
22遞推算法
根據上面推導的公式，可導出多臂型空間機器人的GJM的有效遞推算法。
a)當joint(i， j)是旋轉關節時，變換矩陣 (i， j-1)R(i， j)包含關節變量θ(i， j)，從衛星本體到每個臂鏈桿末端的變換矩陣(或旋轉矩陣)可按如下遞推計算獲得：
AR(i， j)=AR(i， j-1)(i， j-1)R(i， j)(i=1，…，n；j=1，…，ni)(11)
b)從每個鏈桿到衛星本體用遞推法可獲得每個關節到每個臂末端的位置矢量：
3仿真實驗
31系統框圖
根據以上研究，本節設計了一種基于虛擬現實的無時延感的空間機器人遙操作仿真系統，如圖2所示。其軟硬件配置主要包括雙臂型自由飛行空間機器人(DFFSR)、關節力/力矩傳感器、視覺子系統、監控臺。
1)空間機器人具有雙臂型自由飛行空間機器人。其手爪裝有多種傳感器，特別包括兩個3軸力/力矩腕力傳感器、觸覺矩陣、捕捉力控制器、激光測距儀，以及一個手部小型立體相機、固定全局頭部立體攝像機。每個關節控制器控制結構相似，均由一個帶1 MB RAM的處理器、I/O板、電源板、DC電機驅動板組成。
2)3軸力/力矩腕力傳感器(FTT)安裝在機械手末端，測量作用在工具平面的力/力矩，產生兩組三個差分模擬信號，對應于力/力矩矢量的三個獨立部分。兩個獨立控制器進行模/數轉換，并產生代表FTT力/力矩矢量的數字信號。
3)視覺子系統包括兩個CCD攝像機，即一個是安裝在腕部的手眼相機，另一個是安裝在本體的全局相機。手眼相機為操作員提供手爪的立體圖像，允許執行復雜任務及已完成工作的詳細檢查；固定全局相機能縮放、聚焦、手動控制以及提供DFFSR工作空間立體圖像。規劃子系統利用視覺子系統提供的信息進行機器人的路徑規劃及軌跡規劃。
4)監控臺涉及在遙控操作、自主及共享控制等操作模式下測試遙控機器人能力的多種任務。操作員借助DFFSR虛擬模型的預顯示完成空間機器人的遙控操作，并采用立體攝像機監視DFFSR執行情況，以克服時延對系統穩定性的影響。
32仿真結果
對本文針對一種雙臂型自由飛行空間機器人(DFFSR)進行了基于虛擬現實的預顯示遙控操作仿真研究。當N=2，n1=3，n2=3，vC=0時，則可得如下關系：
vE=J*MM(20)
其中：J*M∈R4×6是雙臂六自由度空間機器人的廣義雅可比矩陣，它描述了機械手末端運動速度與各關節角速度之間的關系，可根據以上遞推算法計算獲得；M∈R6×1為關節角速度矩陣。設(J*M)+為J*M的廣義逆，則
M=(J*M)+vE(21)
式(21)將末端運動速度分解成各關節角速度，根據M與vE之間存在的對應關系，可以將地面機器人的控制算法應用在空間機器人中。
根據DFFSR的上述虛擬環境運動模型，當從視覺反饋獲得某一時刻DFFSR的運動狀態時，即可預測出Δt時刻后DFFSR的運動狀態，并在監視器上預顯示，為操作員提供直觀的視覺反饋信息。 設時間延時為4 s，捕捉目標的遙操作步驟如下：
a)在初始時刻，將左邊窗口的DFFSR的虛擬環境模型與右邊窗口的實際圖像進行校準，使虛擬模型與實際圖像重合。
b)遙操作控制DFFSR接近目標，用左臂手爪與目標左手把對接；利用虛擬模型提供的可視VR環境進行遙控操作，然后將位移/速度量轉換成遙控命令控制實際DFFSR進行運動；由于存在時間延遲，實際圖像較虛擬模型滯后。
c)遙操作控制DFFSR的右臂手爪與目標右手把對接。
d)遙控操作控制DFFSR的本體與目標的固定手把對接，然后進行搬運，從而完成捕捉目標的遙控操作任務。
圖3是時間延遲為4 s時基于虛擬現實預顯示的遙操作仿真結果（左圖為虛擬模型，右圖為實際圖像）。在時間延遲為2和3 s時也進行了類似遙操作仿真。仿真結果都表明該方法能有效地克服時延影響，使操作員實現無明顯時延感地完成遙操作任務。
4結束語
本文探討了基于虛擬現實技術克服空間機器人遙控操作時間延長的問題。研究表明，通過建立有效的預顯示操作模型，減輕了操作員的疲勞感，增強了操作的臨場感和沉浸感，提供了遙操作系統的穩定性和可靠性；虛擬現實技術在克服空間機器人遙控操作大時延問題上體現了有效性和可行性。基于虛擬建模的預顯示技術在空間機器人遙控操作領域具有廣闊的發展潛力。
參考文獻：
［1］HAYATI S，LEE T，TSO K，et al.A testbed for a unified teleoperated-autonomous dual-arm robotic system[C]//Proc ofIEEE Conference on Robotics and Automation.1990：1090-1095.
［2］LUMELSKY V，CHEUNG E.Toward safe real-time robot teleoperation:automatic whole-sensitive arm collision avoidance frees the operator for global control[C]//Proc ofIEEE International Conference on Robotics Automation.Sacramento，California:[s.n.]，1991：797-802.
［3］EDWIN P K，EDMUND A.The JPL telerobot teleoperation system[J].International Journal of Robotics and Automation，1990，5(1):27-31.
［4］洪炳熔，李華忠.基于VR的空間站地面實驗綜合平臺仿真系統研究[J].計算機應用研究，1999，16(6):51-54.
［5］洪炳熔，李華忠.基于增擴虛擬現實的空間機器人遙控系統及其仿真[J].計算機應用研究，1999，16(6):48-50.
［6］BACKES P G，TSO K S.UMI：an interactive supervisory and shared control system for telerobotics[C]//Proc of IEEE Conference on Robotic and Automation.1990：1096-1101.
［7］汪成為，高文，王行仁.靈境(虛擬現實)技術理論、實現及其應用[M].北京：清華大學出版社，1996.
［8］黃小虎，李維，鄭南寧.面向機器人應用的桌面虛擬環境生成與顯示技術[J].機器人，1998，20(3)：198-206.
［9］楊磊，何克忠，郭木河，等.虛擬現實技術在機器人技術中的應用與展望[J].機器人，1998，20(1)：76-80.
［10］CARLSSON C，HAGSAND O.DIVE：a multi-user virtual reality system[C]//Proc of IEEE Annual International Symposium on Virtual Reality.Washington DC:[s.n.]，1993：394-400.
［11］GREEHALGH C，BENFORD S D.MASSIVE：a virtual reality system for tele-conferencing[J].ACM Trans on Computer Human Interfaces，1995，2(3)：239-261.
［12］BRUTZMAN D P，MACEDONIA M R，ZYDA M J.Internetwork infrastructure requirements for virtual environments[C]//Proc of Virtual Reality Modeling Language Symposium.New York:ACM Press，1995：95-104.
［13］FIGUEIREDO M，BOHM K，TEIXEIRA J.Advanced interaction techniques in virtual environments[J].Comput Graphics，1993，17(6)：655-661.
［14］SHERIDAN T B.Space teleoperation through time delay:review and prognosis[J].IEEE Trans on Robotics and Automation，1993，9(5)：592-606.
［15］PAUL R，LINDSAY T，SAYERS C.Time delay insensitive teleoperation[C]//Proc ofIEEE/RSJ Int Conf on Robots and Systems. Raleigh:[s.n.]，1992：247-254.
［16］LEE S.Modeling， design， and evaluation of advanced teleoperator control systems with short time delay[J].IEEE Trans on RA，1993，9（5）：607-622.
［17］KOTOKU T.A predictive display with force feedback and its application to remote manipulation system with transmission time delay[C]//Proc of IEEE/RSJ Int Conf on Intelligent Robots and Systems.Raleigh NC:[s.n.]，1992：239-246.
［18］李華忠，洪炳熔.基于VR的自由飛行空間機器人自主運動規劃仿真系統[J].計算機工程與應用，1999，35(5):1-4.
［19］洪炳熔，劉宏，王述一.空間自由飛行機器人自治控制系統地面實驗模型研究[C]//第一屆華人智能控制與智能自動化大會論文集.北京：科學出版社，1993：1480-1486.
［20］李華忠.基于虛擬現實的空間機器人共享控制系統[D].哈爾濱：哈爾濱工業大學，1999.
［21］張再興，余新耀.遙現——一種重要的虛擬現實技術[J].機器人，1995，17(6)：374-380.
