基于虛擬現實交互的機械臂協同控制

龍勇 朱留存 朱宇

【摘要】? ? 虛擬現實（Virtual Reality）是一種利用計算機硬件和軟件集成的技術，對計算機圖形學、人機交互、多媒體、網絡通信等多種技術進行綜合應用，從而為用戶提供虛擬三維世界體驗的一種技術。傳統機械臂遠程控制普遍采用的是手柄和鍵盤控制方式，而且今后方式普遍是攝像頭圖像顯示在監控器上，和現場操作差別很大。協同控制機械臂將人的主觀能動性與機械臂精確作業結合起來，可以實現在人類不能到達的特定環境下，利用遠端機器人進行作業，同時通過VR系統模擬真實環境為用戶提供身臨其境的體驗。

本文主要以Unity3d引擎為支撐，頭戴式顯示設備HTC VIVE作為虛擬現實硬件設備，通過Steam VR設計與實現一個具備通用交互行為功能的VR交互場景，利用Socket通信將VR系統與機械臂進行連接，從而實現與機械臂的交互協同控制。

【關鍵詞】? ? 虛擬現實? ? 人機交互? ? 機械臂? ? 協同控制

Abstract：Virtual Reality is a technology that uses computer hardware and software integration to comprehensively apply multiple technologies such as computer graphics， human-computer interaction， multimedia， and network communications， so as to provide users with a virtual three-dimensional world experience. The traditional remote control of the mechanical arm generally uses the handle and keyboard control method， and in the future， the camera image is generally displayed on the monitor， which is very different from the on-site operation. The cooperative control mechanical arm combines the subjective activity of human beings with the precise operation of the mechanical arm， which can realize the use of remote robots to perform operations in a specific environment where human beings cannot reach. At the same time， the VR system simulates the real environment to provide users with immersive experience.

引言：

虛擬現實技術的發展，為人機交互和遠程控制技術注入了新的技術元素，提供了一種面向虛擬環境的三維交互方式?；趥鹘y技術的人機交互和遠程控制已經不能滿足當下人們的需求。人們需要構建一個具有逼真可視化效果，能夠與虛擬場景進行自然交互，在虛擬現實環境中對設備進行遠程操控的系統?；谔摂M現實交互的機械臂協同控制將虛擬現實技術與機器人系統有機結合起來，利用虛擬現實技術的良好交互性與沉浸感，協同機械臂高精度、高速點、操作靈活等特性，從而建立一種更符合人類日常習慣的遠程控制方式，更能充分發揮人類固有的技能。

一、系統控制平臺架構設計

本文采用ZED深度相機，用于捕獲實時畫面，并通過Unity3d引擎將其加載到虛擬環境中。將PC端與VR設備進行連接，從而將捕獲的實時畫面顯示到VR頭盔顯示器中。

為了使深度相機與頭盔顯示器姿態一致，本文在ZED深度相機上搭載了一個二自由度舵機云臺。以藍牙串口的方式，將頭盔顯示器中陀螺儀的位置姿態傳輸到舵機云臺控制板中，從而控制舵機與頭盔顯示器的運動姿態一致。

通過VR設備的定位技術，捕獲出手部（手柄）的運動軌跡，并將其映射為虛擬空間中虛擬目標點的運動。然后利用機械臂逆向運動學使虛擬機械臂跟隨虛擬目標點運動，將各關節轉動角度封裝為控制命令，通過Socket通信將其傳輸給現實機械臂控制柜。機械臂端解析出控制指令，用其控制機械臂運動，從而達到精準控制的目的。

二、基于HTC VIVE的顯示系統搭建

本文采用HTC VIVE作為虛擬現實體驗平臺，如圖2所示，其硬件設備包括一個頭盔顯示器、兩個操縱手柄、兩個激光傳感定位器。

定位器定義一個虛擬空間，通過發射紅外激光束，照射到頭盔顯示器和操縱手柄上的傳感器，根據光束的角度計算出自身在空間中的位置，并通過頭盔顯示器反饋給操作者。手柄上的扳機、按鍵則提供了與虛擬場景進行人機交互的接口。

本文使用Unity3d引擎作為HTC VIVE的開發平臺，Unity3d中的Steam VR庫是連接HTC VIVE與Unity3d的橋梁。通過Steam VR設計與實現一個具備通用交互行為功能的 VR交互場景，從而實現Unity3d與HTC VIVE硬件的連接。

Steam VR安裝設置完成后，需要為Unity3d導入Steam VR Plugin插件。

Steam VR Plugin是一個虛擬現實開發工具包，所有的開發都是面向這個接口進行的，以此作為控制腳本通過手柄和頭盔顯示器控制場景物體。

三、機械臂運動學分析

機械臂逆運動學求解相對困難，其原理為根據給定的機械臂末端位置和姿態，求出與該位姿對應的六個關節軸轉過的角度，但有時候無法求得解析解。

為了使算法程序能夠具有健壯性和解的高精度，本文采用迭代數值求解法來進行求解。逆運動學求解大部分都是對非線性方程求解，非線性工程求解有多種迭代方法，本文在綜合考慮后決定采用牛頓-拉普森算法和奇異值分解算法進行求解。

四、機械臂與PC間Socket通信

套接字（Socket）是支持TCP/IP協議的網絡通信的基本操作單元，通過3個參數（目的IP地址、使用的傳輸層協議（TCP或UDP）及使用的端口號）區分來自不同應用程序進程或網絡連接的通信，實現數據傳輸的并發服務。

本文設定機械臂連接服務端，PC連接客戶端，采用Socket 套接字通信，將虛擬機械臂各個關節的角度信息封裝到數據包中傳送到服務端，服務端根據約定協議解析客戶端的數據，控制機械臂運動，從而保證現實機械臂與虛擬場景中的機械臂位姿一致，實現對機械臂的控制。

五、結束語

本文的創新點在于提出了一種新型的機械臂遠程操作控制方式，在傳統機械臂控制方式的基礎上建立虛擬現實交互式仿真平臺，以其操作簡便、沉浸感強、更符合人類習慣的優越性，實現了在虛擬現實環境中可交互的機械臂協同控制，從而給操作者帶來更直觀、身臨其境的體驗效果。

然而，本文只是初步建立了虛擬現實環境下的人機交互和設備遠程控制系統，所搭建的協同控制只有基于操作者的視覺反饋，機械臂運動過程中的力覺、觸覺等信息無法反饋給操作者，這也是該領域目前存在的局限性。

在后續開發中，我們將系統投入到具體的應用環境中進行實際測試，根據實際需求建立更加精密的參照坐標系和模型，設立更準確的運動鏈，從而提高虛擬現實中人機交互的機械臂協同控制精度。

參? 考? 文? 獻

[1]徐雅微，韓暢，趙子航，姚圣.基于VIVE的虛擬現實交互式機械臂仿真運動平臺搭建[J].現代計算機，2019（14）：68-72.

[2]蔡路政，李慶黨，徐龍坤，張東陽.基于虛擬現實技術的機械臂人機交互系統[J].機械制造，2019，57（03）：1-3+15.

[3]劉根.虛擬現實環境下人機交互與設備遠程操控關鍵技術研究與應用[D].鄭州輕工業大學，2020.

[4]Investigations on collaborative remote control of virtual robotic manipulators by using a Kinect v2 sensor. Banda M，Ciupe V，Moldovan C，et al. ITM Web of Conferences . 2019

[5]曹丙花，劉夢溪，陳月榮，趙亞威，李冰清.基于陀螺儀控制的無線智能小車設計[J].電氣電子教學學報，2018，40（03）：72-76.

[6]羅迎，曹金玲.基于虛擬現實的遙機器人控制系統仿真研究[J].新技術新工藝，2010（07）：44-46.

[7]賀文人，劉霞，任磊.工業機器人遙操作系統的空間映射與控制策略[J].計算機應用研究. 2020（11）

[8]朱齊丹，王欣璐.六自由度機械臂逆運動學算法[J].機器人技術與應用，2014（02）：12-18.

[9]劉正雄，司繼康，陳剛，黃攀峰.面向遙操作手眼協調的虛擬仿真交互控制方法[J].系統工程與電子技術，2020，42（05）：1146-1151.

[10]劉謀玉，汪地，姜海龍.基于Unity3D的機器人仿真和遙操作系統研究[J].工業控制計算機. 2016（09）

[11]林木，張永春，單麗君.基于強化學習和虛擬現實技術的機械仿真教學系統研究[J].中國設備工程，2020（22）：228-229.

[12]陳琳，戴駿，馮俊杰，黃炳瓊，付兵，潘海鴻.基于Open GL的多機器人仿真環境[J].組合機床與自動化加工技術，2014（09）：10-13.

[13]趙海英，陳洪，穆曉峰.基于定位與姿態感知的虛實漫游方法應用研究[J].圖學學報，2016，37（01）：110-114.