基于頭戴設備和手柄的機械系統遠程控制方法

陳 瓊,吳武豪,陳少尉

(中電海康集團有限公司,杭州 311100)

0 引言

隨著科學技術的發展，機器人技術在空間探索、深海開發、應急偵查等領域的應用越來越廣泛。當前，雖然自主式智能機器人已有較大發展，但受限于現有技術，在較為復雜環境下作業時，由人工控制的交互式遠程操作仍然是當前機器人遠程作業的主要技術手段[1]。

在使用交互式遠程控制過程中，實現對機械系統所在實地環境的實時感知，使得操作者在本地有“臨場感”，遠程作業的效率可以得到很大提高[2]。另一方面，人機交互是實現操作者與計算機之間信息交互的界面，從鍵盤鼠標、到觸摸屏、語音，再到體感、手勢等，人機交互一直是研究的熱門課題[3]。隨著計算機運算性能提升和計算機圖形學的發展，虛擬現實[4]和增強現實[5]作為獲得操作者“臨場感”的關鍵技術被應用到機器人及機械系統的遠程操作中[6]。

目前在以機器人為代表的機械系統運動遠程操作控制中，主要通過手柄等單一操作方式操控機械系統的運動行為。單一的手柄操作方式不僅體驗感不強，而且存在多個手柄同時操作給用戶帶來操作難度的問題。通過虛擬現實技術，可以在主端模擬一個與從端環境類似的虛擬世界。為了進一步增強用戶在操作機械系統時的體驗感、降低操作難度,使用虛擬現實/增強現實技術，并結合操作手柄的方式操控機械系統運動,可以同時讓用戶擁有第一人稱的操作視角和身臨其境的感覺。本文針對現有VR/AR系統遠程操作機械系統的缺點，提出一種使用操作手柄的位姿信息遠程控制機械系統的運動，并通過計算頭戴式設備與操作手柄的之間相對位姿來控制機械系統上的圖像采集設備的方法,從而提高用戶的操作體驗和“臨產感”。然后通過AR眼鏡工程樣機，及與其聯結并充當手柄的普通智能手機，來對作為機械系統兩種案例的四足機器人和四輪小車，及其上的圖像采集設備進行遠程控制實驗，來驗證本方法的可行性和實用性。

1 概念和相關工作

1.1 交互式遠程操作的系統組成

交互式遠程操作系統主要由5個部分構成[7]，包括操作者、主端控制回路、通信鏈路、從端控制回路及機械系統(機器人)。在機械系統的遠程作業過程中，操作者從主端控制回路，通過通訊鏈路，向從端控制回路發出控制命令。接收命令后，從端控制回路控制機械系統完成命令，并將機械系統與現場環境的交互信息通過通訊鏈路反饋給主端，使得操作者能夠根據反饋信息做出下一步動作。

基于虛擬現實或者增強現實的交互式遠程操作系統的主要組成如圖1所示[8]，包括操作者、人機交互設備、虛擬現實/增強現實環境、通信鏈路、從端控制器、從端機械系統(機器人)、機械系統搭載的各類傳感器、和遠端實際環境。其中，虛擬現實、增強現實為操作者提供人機交互設備，模擬構建與現場類似的環境。操作者通過人機交互界面發出控制命令并獲得視覺、觸覺、聽覺、味覺等現場實時反饋。處于從端環境的機械系統，通過從端控制器獲得來自主端的控制命令并完成命令作業。在機械系統上可安裝視覺、聽覺、觸覺傳感器等，采集環境感知信號和交互信息，通過通信鏈路反饋給主端。由于成本和技術等方面的原因，通過聲視頻回傳現場視覺和聽覺信息是當前最為常見的技術方案。

圖1 基于虛擬現實環境的遠程操作系統基本組成

1.2 研究現狀

基于虛擬/增強現實的機械系統遠程操作已經在各個領域得到廣泛應用。早在1993 年，德國研制了由人機交互裝置、空間機器人和三維環境組成的系統，并在航天飛機上完成了空間遙操作試驗[9]。加拿大研究人員開發的遙控排爆裝置[10]，在機械臂上安裝6個攝像頭構建多視角深度信息，操作者可以通過觸屏控制調整場景視角并使用 Oculus眼鏡感知深度信息，從而對兩個機械臂操控進行排爆作業。Steven J.Levine 提出了基于手勢識別的交互方式[11]，先將操作者動作映射到虛擬機器人上，然后使用虛擬機器人對虛擬目標物進行抓取等動作并確認，最后真實機器人重復虛擬機器人動作完成對實際目標物的作業。波恩大學和卡內基梅隆大學研發的博物館導游機器人[12]，通過 Web網站對導游機器人進行遠程操控，來引導游客參觀。日本研究者設計的遠程機械臂[13]，通過安裝在機械臂上的立體相機來測量前者與目標物的距離，然后操作者手動或者通過視覺伺服系統，實現對機械臂的遠程控制。

在國內，相關研究和應用也廣泛展開。巍青[14]等人使用Oculus虛擬現實頭盔，設計了一個空間機器人預測仿真系統，通過實驗證實可以提高工作效率。徐效農、宋愛國[15]搭建了基于虛擬視覺和力覺反饋的空間遙操作實驗平臺，通過KINECT相機采集三維點云信息重建虛擬機械臂及其作業環境，并在此重建環境中獲得實時視覺及力覺反饋，然后在Schunk機械臂中進行實際操作。應駿[16]等結合了體感與增強現實技術，構建了體感控制機器人，通過攝像頭獲得現場全息視角并采用眼鏡進行視覺反饋，采用體感來控制機器人位姿。魏焱[17]設計了一種基于VR的變電站智能巡檢系統，首先對變電站進行精細化三維建模，然后利用虛擬現實技術，將變電站相關的各種數據信息以三維模型為載體進行了綜合展現。王成業[18]等人在虛擬環境中構建模擬機器人，然后通過模擬機器人來操控實際機器人。邵欣欣等[19]構建了一個基于虛擬現實的物聯網水環境檢測系統，將傳感器采集到的水量、水質和污染物等水環境信息，在其構建的虛擬現實環境中實時展示，并對傳感器實時獲取的數據和實際水量調度方案進行一致性監測。趙靜[20]等人設計了一款基于虛擬現實環境監測機器人，使用VR手柄對機器人進行遠程控制，佩戴VR頭顯查看農田環境可視化數據，并利用機器人現場回傳田間實時視頻獲得沉浸式體驗。薛彩龍[21]研究了基于VR技術的井下可視化監測系統，構建由多種傳感器組成的多個監測分站，將采集到的速度、壓力等數據展現在煤礦井下排水系統及其結構分布圖的三維模型中。張可征[22]等提出一種 VR 遠程醫療服務機器人，由機器人搭載紅外攝像頭和可見光攝像頭，實現人臉檢測、多人同時測溫、識別抓取多種物品目標等功能，并回傳相關信息。

前述的各種通過VR/AR及其手柄控制機械系統的方法，或者只是單獨遠程控制機械系統,或者單獨控制從端的圖像采集設備，都無法控制機械系統與其上圖像采集設備的相對運動。如果只是分別獨立控制機械系統的運動，和其上圖像采集設備的運動，而不顧兩者的相對位置，則操作者的沉浸式臨場感會有較大降低。而且在使用AR/VR設備時，一般使用微軟KINECT、HTC VIVE等設備。這些設備的局限在于，為了得到操作人員的位姿信息，需要部署外置的姿態捕捉設備，成本較高，也需要部署時間，從而難以在室外等較為復雜的環境下隨時隨地使用。

2 系統的設計和實現

本文描述的基于頭戴式設備和操作手柄的機械系統控制方法，融合計算頭部和手部的運動體態，通過交互式遠程控制系統，可控制位于從端環境的機械系統的運動，并控制位于機械系統上的圖像采集設備相對于機械系統的運動，給操作者以臨場感。并且本文所述的方法也無需部署外置的姿態捕捉設備，成本較低，無部署環境要求，可以在室外環境下隨時隨地的使用。

2.1 整體架構及控制方法設計

本文所述的控制方法，其整體架構如圖2所示。

圖2 整體架構圖

位于主端的頭戴式設備位姿感知模塊和操作手柄位姿感知模塊，將實時采集的位姿信息輸入到位姿轉換與計算模塊，其計算得到的控制信息通過傳輸模塊傳送到處于從端的控制模塊，分別控制機械系統和圖像采集設備的運動。

同時，圖像采集設備采集的圖像信息(經常也包括音頻信息)通過傳輸模塊實時回傳到主端，并通過頭戴式設備圖像投射模塊，對使用者進行視覺(經常也包括聽覺)反饋。這一圖像回傳過程本文不再贅述。

如圖3所示，本基于頭戴式AR/VR設備和操作手柄的機器人控制方法，包括：

1)獲取操作手柄的空間姿態數據，并根據操作手柄的空間姿態數據控制機械系統運動。

2)獲取頭戴式AR/VR設備的空間姿態數據(該空間姿態數據根據佩戴者的頭部移動進行變化)，并根據頭戴式AR/VR設備和操作手柄的相對空間姿態數據控制圖像采集設備轉動。

圖3 本方法的流程圖

控制機械系統運動以及控制圖像采集設備轉動為兩個互相獨立的控制，兩者在執行順序上無先后關系。應該理解的是，雖然圖3的流程圖中的a),b)兩個步驟按照箭頭的指示依次顯示，但是這兩個步驟并不是必然按照箭頭指示的順序依次執行。兩個步驟的執行并沒有嚴格的順序限制，而是可以獨立進行控制。

本方法提供的控制方法邏輯簡單，控制時效性高，并且控制參數多，能夠滿足機械系統的多方位運動。

2.2 操作手柄控制機械系統的運動方向算法

本方法中操作手柄的參考坐標系Q(即地球參考系)在無空間旋轉時，y軸在水平面上指向地磁北極，z軸垂直于水平面向上，其x軸垂直于y軸和z軸的交平面指向東。操作手柄的本地坐標系P固定，當手柄屏幕水平朝上，頭部朝北放置時，本地坐標系P的y軸在水平面上指向地磁北極，z軸垂直于屏幕向上，x軸垂直于y軸和z軸的交平面指向東。

如圖3步驟a)的控制機械運動流程所示，基于操作手柄空間姿態的機械系統運動控制方法，步驟如下。

步驟1：讀取操作手柄的空間姿態數據。在本例中讀取其空間旋轉相關的3個自由度的數據，即俯仰角、偏航角和翻轉角。也可直接獲取其空間姿態的四元數、旋轉矩陣或旋轉向量，獲取后可以使用相應的轉換方法將四元數、旋轉矩陣或旋轉向量轉換為俯仰角、偏航角和翻轉角；

步驟2：提取俯仰角和翻轉角；

步驟3：將俯仰角和翻轉角輸入到機械系統運動控制程序中，控制程序根據輸入數據來操控機械系統前進、后退、轉向和運動速度。具體地，本例中使用翻轉角的角度來控制機械系統的轉向，使用俯仰角來控制機械系統的前進、后退以及運動速度，俯仰角為正，機械系統前進，俯仰角為負，機械系統后退，俯仰角越大，車速則越快。容易理解的是，這僅是其中一種可行的控制方式，基于翻轉角還可以演變出其他許多控制方式，例如機械系統旋轉的角度與翻轉角成倍數關系、機械系統旋轉的方向與翻轉角的正負關系變化等等。

步驟4：循環，即返回步驟1循環執行程序，從而實現機械系統運動的連續控制。

2.3 頭戴式設備控制機械系統圖像采集設備算法

本方法中頭戴式設備使用和操作手柄相同的IMU傳感器來跟蹤頭戴式設備的空間姿態，因此頭戴式設備的參考坐標系W和控制手柄的參考坐標系Q重合，是同一個坐標系。頭戴式設備的本地坐標系E固定，當操作員佩戴好頭戴式設備并面朝地磁北極時，本地坐標系E的y軸在水平面上指向地磁北極，z軸垂直水平面向上，x軸垂直于y軸和z軸交平面指向東。

如圖3步驟b)的控制圖像采集設備流程所示，頭戴式設備控制機械系統上成像設備的轉動控制方法，步驟如下。

步驟1：讀取操作手柄的空間姿態數據。在本例中讀取其空間旋轉相關的3個自由度的數據，即俯仰角、偏航角和翻轉角數據。

步驟2：令操作手柄的參考坐標系為Q，將參考坐標系Q繞其z軸旋轉θ角后得到參考坐標系V，初始狀態下參考坐標系V和參考坐標系Q重合，其中θ角等于操作手柄的偏航角，即旋轉坐標系V跟隨操作手柄的y軸正方向的朝向旋轉，則參考坐標系Q到參考坐標系V的轉換矩陣Tqv如下：

步驟3：讀取頭戴式設備的空間姿態數據。本例中讀取頭戴式設備其3個自由度的數據，即俯仰角、偏轉角和翻轉角數據。本例中頭戴式設備的空間姿態使用9軸IMU傳感器測量，從傳感器上讀取陀螺儀、加速度計和磁力計的數據，使用姿態解算算法計算得到表示操作手柄空間姿態的四元數。

步驟4：計算轉換矩陣Tew和Tev。如圖4所示，轉換矩陣Tew為坐標系E到坐標系W的轉換矩陣，轉換矩陣Tev為坐標系E到坐標系V的轉換矩陣。具體地，本實施例中Tew和Tev的計算方法如下：

圖4 坐標轉換示意圖

令頭戴式設備的本地坐標系為E，參考坐標系為W，特殊地，在本例中E與W的坐標原點重合，則E相對于W的空間旋轉關系為Rew，Rew可以直接通過步驟3中得到的頭戴式設備的四元數計算得到。若四元數為q=w+xi+yj+zk，其中i,j,k為四元數的3個虛數單位，w,x,y,z為4個實數，則空間旋轉矩陣Rew如下：

復用步驟1從操作手柄上讀取的空間姿態數據：3個自由度數據，其中θ角等于操作手柄的偏航角。

本例中頭戴式設備的本地坐標系E到虛擬參考坐標系V的轉換關系不能直接得到，但是可以通過中間坐標系轉換得到，即：Tev=TqvTwqTew，也就是坐標系E先轉換到坐標系W，W再到Q，最后Q轉換到V。特殊地，本例中坐標系W和坐標系Q重合，即Twq為單位矩陣，則轉換關系可以簡化為：Tev=TqvTew，其中Tqv和Tew的計算方法已知。

步驟5：將Tew進行矩陣分解，得到旋轉矩陣Rew。將得到的Tev進行矩陣分解，獲得旋轉矩陣Rev。特殊地，本例中無坐標平移、縮放變化，所以旋轉矩陣Rev的計算可以簡化為Rev=RqvRew。

步驟6：將矩陣Rew和Rev輸入到機械系統上的成像設備控制程序中，控制程序根據旋轉矩陣Rew來控制攝像頭的俯仰角，根據旋轉矩陣Rev來操控攝像頭的偏航角。

本例中使用頭戴式設備的俯仰角pitch控制成像設備的俯仰角，使用公式pitch=arcsin(Rew[3][2])*180/π計算頭戴式設備的俯仰角pitch的角度值，其中Rew[3][2]是矩陣Rew的第3行第2列的值。

本例中使用頭戴式設備相對于操作手柄的偏航角yaw來控制成像設備的偏航角，使用公式yaw=atan2(Rev[1][2],Rev[2][2])*180/π 計算偏航角yaw的角度值，其中Rev[1][2]是矩陣Rev的第1行第2列的值，Rev[2][2]是矩陣Rev第2行第2列的值。

步驟7：循環，從而實現機械系統上成像設備的連續控制。

3 實驗應用

在前述方法中的機械系統可以是監控機器人、機器狗、巡邏機器人等各種形式的機器人，即可以理解為具有運動結構的系統，包括但不限于無人機、飛行器、足式機械系統、輪式機械系統等；機械系統上的圖像采集設備包括但不限于RGB攝像頭、紅外成像儀等。

在前述方法中的頭戴式設備包括但不限于AR/VR眼鏡、AR/VR頭盔等。圖像采集設備將采集的圖像畫面實時回傳到頭戴式設備上進行同步顯示。在頭戴式設備回傳顯示前端圖像采集設備的視頻/圖像為成熟的技術，頭戴式設備與圖像采集設備之間可以采用有線或無線通信進行圖像畫面的實時回傳。

在前述方法中的操作手柄不限制其具體形式，可以是智能手機、平板電腦、游戲手柄等。為了豐富控制方式，頭戴式設備支持9Dof，操作手柄同樣支持9Dof，即能夠進行9個自由度的空間姿態數據的測量。

本控制方法可以運行在用于控制機械系統和圖像采集設備控制器上，該控制器設置在機械系統內部，且與頭戴式設備和操作手柄無線連接；也可以是運行在獨立的計算機或服務器，與頭戴式設備、操作手柄、機械系統以及圖像采集設備之間均采用無線連接；還可是運行在集成于頭戴式設備或操作手柄的微處理器上。

3.1 實驗配置環境

當前視頻透視式(video see-through)和光學透視式(optical see-through)[23-24]是增強現實在物理上的兩種主要實現方法。光學透視式是將虛擬信息投影到位于眼前的一層半透明鏡片上, 這樣虛擬信息和現實場景可以同時出現在用戶的視線中。視頻透視式技術是先使用攝像頭將現實場景輸入, 經過計算模塊與虛擬信息整合后統一呈現。智能手機等手持設備一般采用視頻透視式，AR眼鏡、AR頭盔等常見可穿戴設備較多使用光學透視式。

在對本方法進行的實驗中，頭戴式設備是一個AR眼鏡工程樣機，如圖5左圖所示。該工程樣機采用分體式設計，即其計算單元和電源不放在眼鏡上，而放在與其通過USB-C線連接的移動設備上，其可以是普通智能手機，在實驗中使用華為P20Pro，如圖5右圖所示。AR眼鏡的顯示裝置為兩片采用陣列光波導的AR顯示模組，其可以識別并獲取佩戴者的頭部空間姿態。操作手柄是普通的智能手機，也就是通過USB-C線與AR眼鏡連接的手機，其可識別并獲取其自身空間姿態。

圖5 AR眼睛工程樣機

實驗中的機械系統采用了兩種設備做對比驗證。一種設備是安裝RGB圖像采集設備的四足機器人。一種設備是安裝有RGB圖像采集設備的四輪小車。四足機器人是基于MIT Mini Cheetah開源項目研制，機器人人具備行走、跑、跳能力，能夠抵抗一定的外力干擾并實現自平衡，其具體參數如表1所示。四輪小車采用RoboMaster M2006直流無刷電機搭建，其控制器集成了IMU，每個電機都可以反饋轉速，其具體參數如表2所示。實驗中可以通過手柄(即智能手機)的姿態控制四足機器人和四輪小車前進、后退、轉彎運動。四足機器人和四輪小車上都搭載了螢石C6TC云臺攝像，其具體參數如表3所示。實驗中可以通過AR眼鏡控制云臺攝像頭的轉動，實現攝像頭視角跟隨AR眼鏡視角的效果。

表1 四足機器人參數

表2 四輪小車參數

表3 云臺攝像頭參數

3.2 對比實驗和效果

在實驗中，從端控制器與AR眼鏡工程樣機和智能手機之間為無線連接通信，從端控制器與四輪小車或者四足機器人及圖像采集設備之間通過有線連接通信，并被安裝在四輪小車或者四足狗上。從端控制器通過通訊連接獲取AR眼鏡和智能手機的空間姿態數據，從而控制四輪小車或者四足機器人運動和RGB攝像機轉動。其結構如圖6所示。

圖6 實驗系統結構示意圖

在實際工程使用中，有兩種控制圖像采集設備的方法。第一種控制方法為，將所述圖像采集設備的俯仰角設置為和計算得到的俯仰角pitch的角度值相等，效果是頭戴式眼鏡和圖像采集設備在垂直方向上轉動的角度一樣；將所述圖像采集設備的偏航角設置為和計算得到的偏航角yaw的角度值相等，效果是頭戴式設備和圖像采集設備在水平方向上轉動的角度一樣。

第二種控制方法為，使用計算得到的俯仰角pitch角度值控制圖像采集設備俯仰角，當pitch大于Ap(例如Ap=10°)時，控制圖像采集設備向上轉動，當pitch小于-Ap時，控制圖像采集設備向下轉動，否則圖像采集設備在垂直方向停止不動；使用計算得到的偏航角yaw角度值控制圖像采集設備的偏航角，當yaw大于By(例如By=10°)時，控制圖像采集設備水平向左轉動，當yaw小于-By時，控制圖像采集設備向右轉動，否則圖像采集設備在水平方向上停止不動。

在本實驗中，由于采用的云臺攝像頭不具備按角度精確控制功能，因此采用了第二種控制方法。表4是采用本方法，對圖像采集設備的控制準確率。這里Ap和By都設為20°，表中俯仰角pitch和偏航角yaw的每個角度都進行20次測試。20°是設置的臨界角度，此角度下準確率不高可以理解。由于俯仰角pitch直接來自頭戴式設備，因此控制準確率較高，而偏航角yaw需計算頭戴式設備和控制手柄之間的相對角度，所以控制正確率要比前者低。

表4 圖像采集設備的控制準確率

經過對四足機器人和四輪小車的對比實驗，驗證了通過本方法，可以較好地遠程控制機械系統和安裝在它上面的圖像采集設備。圖7左圖是操作人員通過AR眼鏡工程樣機及連接的智能手機觀察視頻回傳信息并控制四足機器人的運動和其上云臺攝像頭，圖7右圖是正在被遠程控制運動中的四輪小車。

圖7 實驗效果

本文前述引用的現有方法，一般通過VR/AR眼鏡來觀察遠程回傳的視頻，從而觀察周邊環境。有的使用手柄控制遠程機器系統本身，如控制機械臂。還有的通過VR/AR設備來控制遠程圖像采集設備。但現有方法或者單獨遠程控制機械系統，或者單獨控制從端圖像采集設備，都沒有考慮機械系統和其上圖像采集設備的相對位置，無法控制兩者之間的相對運動。在選用VR系統時，通常都使用微軟KINECT、HTC VIVE等現有成套VR系統，這些系統都需要部署外置的姿態捕捉設備，并通過專用手柄來控制遠程機械設備。這種方法成本較高，部署有時間和環境要求，難以在室外等較為復雜的環境下隨時隨地的使用。本文所述的方法通過AR眼鏡及充當手柄的普通智能手機，能夠同時控制機械系統運動和其上圖像采集設備相對機械系統的運動，讓使用者更有身臨其境的沉浸式現場感。同時，無需部署外置的姿態捕捉設備，對使用場地環境也沒有要求，可以在室內外環境下使用。表5選取了幾種前訴文獻中描述的VR/AR遠程控制應用系統與本文的所述方法和實驗系統的對比情況。

表5 幾種遠程控制系統的對比

4 結束語

本文設計了一種基于頭戴式設備和操作手柄的機械系統遠程控制方法，該方法使用操作手柄的位姿信息遠程控制機械系統的運動，并計算頭戴式設備與操作手柄的相對位姿來控制機械系統上的圖像采集設備。通過AR眼鏡工程樣機及其連接的智能手機，本方法在四足機器人和四輪小車兩種機械系統上進行了實驗驗證。由于本文采用的云臺攝像機不具備按角度精確控制功能，所以本文的AR眼鏡樣機相對智能手機位姿的計算結果，無法用來精確控制圖像采集設備相對于機器狗或者四足機器人的位置，從而較大得影響了操作者的控制體驗。實驗后繼準備更換為具有按角度精確控制的云臺設備，從而達到對圖像采集設備相對機械系統角度的精確控制，提高操作者的控制體驗。總得來說，本方法對計算資源要求不高，無部署時間和環境要求，可以隨時隨地開展使用，可應用在對機器人、無人機等各類機械系統的遠程操控上，在應急偵查、空間探索、工業控制等領域都有較好的應用前景。