6自由度機械臂遠程控制系統研究

劉明磊 李捍東 龐愛平 劉曉燕 陳進軍

摘 ?要： 機器人控制技術在全球范圍內飛速發展，人與機器人之間的交互方式正朝著方便、直觀的方向發展。通過體感表征操作人員的骨骼和腕部信息，可以為機器人的遠程操控提供必要的控制信息。該文融合視覺和可穿戴體感，研究了交互式6自由度機械手臂控制系統，使用人體肩、肘的旋轉角度和握拳動作，來分別控制機械手臂的6個關節和抓取;并構建了分布式遠程操控實驗平臺，數據和指令通過無線方式進行傳輸。實驗結果表明，采用融合視覺和可穿戴體感的交互式機器人能有效直觀地控制機械臂進行物體抓取。

關鍵詞： 遠程控制系統; 6自由度機械臂; 機器人控制; 體感融合; 數據傳輸; 系統測試

中圖分類號： TN876?34; TM45 ? ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）02?0037?05

Research on remote control system for 6?DOF robot arm

LIU Minglei， LI Handong， PANG Aiping， LIU Xiaoyan， CHEN Jinjun

Abstract： With the rapid development of robot control technology in the world， the interaction between human and robot is developing in the direction of convenience and intuitionistic. The skeleton and wrist information of the operator is represented by the somatosensory， which can provide the necessary control information for remote control of robot. The interactive 6?DOF robot arm control system is researched in combination with the vision and wearable somatosensory. The rotation angle and clenching action of human shoulder and elbow are used to control the 6 joints and grabs of the robot arm， respectively. A distributed remote control experiment platform is constructed， and the data and instructions are transmitted wirelessly. The experimental results show that the interactive robot with fusion vision and wearable somatosensory can effectively control the robot arm to grab objects.

Keywords： remote control system; 6?DOF robot ram; robot control; somatosensory fusion; data transmission; system testing

0 ?引 ?言

隨著智能化技術的飛速發展，機器人應用不斷擴展和深化。基于虛擬技術的交互式控制系統使得機器人能在惡劣環境下，代替操作人員進行遠程操控，友好的人機界面用于特殊環境下人類的感官和控制，能創造機器人作業環境的第一視覺，而不需要有人在現場[1?3]。

近年來，視覺傳感器和可穿戴體感發展十分迅速，已廣泛應用于醫療、教育培訓、動畫娛樂業、游戲、展覽展會等行業[4?6]。視覺傳感器能采集人體深度圖像，而可穿戴傳感器能獲取人體肌肉電勢[7]。

本文將機器視覺和可穿戴體感技術結合，將用戶的自然運動與機器人動作相結合，通過提取人體手臂骨骼和腕部動作信息，模擬用戶動作，進行機械臂控制。

1 ?機械臂控制系統結構

本文研究的6自由度機械手臂控制系統由體感信息獲取和解析部分、機械臂控制部分構成。骨骼傳感器、臂章、計算機完成體感信息獲取和解析，機械臂控制部分則由嵌入式處理器和6自由度機械手組成，如圖1所示。

圖中，視覺傳感器、可穿戴式傳感器和計算機構成體感信息獲取和解析系統，機械臂控制系統包含控制器和機械臂。

圖1中，上半部分的體感信息獲取和解析系統與下半部分的機械臂控制系統之間可通過有線或者無線方式連接，構成遠程分布式控制系統。系統可包含多個機械臂，接收同一體感系統的信息，實現單一操作員對多個機械臂的控制，如圖2所示。

2 ?傳感器及控制器

2.1 ?視覺傳感器

視覺傳感器主要用來獲取手臂的深度和紅外信息，可得到人體的25個骨骼數據。型號為微軟公司的Kinect Xbox One（下文統一稱為Kinect），其主要由1 080P 彩色攝像頭、深度攝像頭、紅外發射器、紅外攝像頭和麥克風矩陣組成。Kinect外形如圖3 所示，其主要技術指標如表1所示。

2.2 ?可穿戴傳感器

可穿戴體感傳感器使用的是Thalmic Labs公司的Myo臂章。臂章由微處理器（ARM Cortex M4）、醫用級不銹鋼肌電傳感器（EMG）、高靈敏度九軸慣性測試單元（IMU）組成，內置三軸陀螺儀、三軸加速度計、三軸磁力計;Myo手勢檢測原理基于肌肉電信號，工作時緊貼小臂，具有8個肌肉脈沖探測模塊，內側為金屬觸點，用來貼近手臂探測肌肉脈沖。Myo外形如圖4所示。

2.3 ?機械臂控制器

機器人及控制系統通常位于工業現場或者需要進行操作的現場，一般使用嵌入式控制平臺作為其控制器。本文選用的樹莓派是一款基于ARM的控制器，內置操作系統，使用Python作為開發平臺，如圖5所示。

3 ?體感信息解析及關節角計算

3.1 ?手臂關節數據采樣

Kinect傳感器的數據包括彩色圖像、景深數據流、骨骼數據流和紅外數據流。

首先對Kinect傳感器進行標定，步驟如下：

1） 根據系統提示，使人體在Kinect傳感器正前方移動，設定最佳采集距離和視角;

2） 根據系統提示，使人體右（左）手臂分別處于水平伸展狀態和水平彎曲狀態，以便傳感器記錄數據。

上述步驟使Kinect傳感器記錄了人體的大小臂長度等基本信息。

通過內置的采集程序動態獲取人體大小臂活動圖像，內部解析和運算出三維空間內大小臂關節點分別在二維坐標系x?y，y?z，x?z內投影，如圖6所示。

3.2 ?人體關節旋轉角度計算

根據前述的大小臂關節點在x?y，x?z，y?z內投影即可求解：

1） 大臂相對于人體軀干的水平旋轉和相對于人體軀干的垂直旋轉;

2） 小臂的垂直于大臂的旋轉。

[α1]在x?y平面方向向量的定義范圍是0°～180°。二維矢量由腕點x?y坐標和肘點x?y坐標的差來定義。在方向矢量定義后，可用式（1）得出角度：

[α1=57.2arctanyx， ? ? ? ? ? ? ? ? ?0°<α1<90°180-57.2arctanyx， ? ? ?90°<α1<180°] （1）

根據圖6，分別使用三角度表示的[α1]，[α2]和[α3]。用于計算[α1]的方法是矢量分析，對于[α2]和[α3]，用二維逆運動學來計算角度。

通過求解[α1]，將問題轉化為二維平面，可以用二維逆運動學的方法求解[α2]和[α3]。由于其復雜性，忽略了詳細的分析方法。該方法的一般建模如圖7所示。圖中的[θ1]對應[α2]， [θ2]對應[α3]。

3.3 ?通過臂章獲取手抓控制角度

Myo臂章通過采集手臂不同動作下的肌肉釋放的電流信號，通過藍牙4.0傳輸至計算機進行分析處理，識別出圖8所示的位移、雙擊、握拳、手指伸展、手腕左擺、手腕右擺和手臂旋轉7種手勢狀態。

圖8e）手勢 “手腕左擺”狀態使角[α5] 累加;圖8f）手勢“手腕右擺”狀態使角[α5]依次遞減;圖8b）手勢“雙擊”狀態暫停角[α5]至當前位置 ;圖8c）手勢“握拳”讓夾持器握緊;圖8d）手勢“手指伸展”讓夾持器張開。

4 ?機械臂控制系統

將視覺傳感器（Kinect）采樣計算得出的角度和Myo臂章獲取的數據通過WiFi遠程傳輸，通過主控制器反解求得PWM數據來驅動機械臂上的伺服電機。該算法應用逆運動學原理，由于該算法以人體手臂姿態為導向，伺服電機的實際角度并不一定等于或接近于人體大臂與小臂之間的真實角度。這表明，Kinect計算得出的角度決定末端執行器的位置，而不是人體手臂的實際位置。通過安裝在執行器末端的地磁傳感器，檢測返回6個關節點的三維空間數據進行優化校準機械臂的最終姿態。

控制系統軟件流程：首先對所有對象進行初始化，然后獲取視覺傳感器和Myo臂章數據，通過PC進行處理，在GUI面板上描繪骨骼點和顯示相關數據。同時，傳輸數據到主控制器內進行驗證解析，以驅動整個機械臂動作。按下鍵盤“Ctrl+C”即終止程序。

此控制系統采用C++編程語言編寫，編寫工具為 Visual Studio 2017，編寫環境為NetFrameWork 4.5以及 Kinect sdk 2.0工具包，控制系統軟件的UI 界面如圖9所示。

5 ?系統測試

本文系統測試分為視覺傳感系統和可穿戴體感系統。兩個子系統分別經過近100次測試，狀態穩定，誤差為5%，在允許范圍內。圖10為視覺傳感系統的部分優秀測試結果。可穿戴傳感子系統測試圖11為小臂轉動的數據測試，圖12為手腕左擺測試，圖13為握拳測試。

為保證兩個子系統融合后的整機系統穩定運行，通過測試延遲指標能判斷負載是否可以正常運行，其中延遲測試曲線如圖14所示，可見系統潛在的延遲很低，可確保整個系統正常運行。整機系統測試效果如圖15所示。

6 ?結 ?論

通過對視覺傳感器采集計算人體骨骼的關節坐標數據[α1～α3]，和可穿戴體感傳感器獲取小臂及手腕的動作信息，最終實現對6 自由度機械手臂進行控制。從而實現了對體感控制這種自然人機互動方式來進行人與機器人之間的交互方式的改良。通過實驗數據可以看出使用視覺傳感器和可穿戴式體感傳感器的GUI交互方式能實現精準控制機械臂，大大提高人機交互的效率，極大地簡化了人與機器人之間的交互;而且實現方式簡單，對于以后醫學康復、拆彈、航天遠程操控領域都有非常重要的意義。

注：本文通訊作者為李捍東。

參考文獻

[1] 鐘君，曹建樹.基于Kinect V2. 0的6自由度機械臂控制系統的實現[J].機床與液壓，2018（5）：88?92.

[2] 王松林.基于Kinect的手勢識別與機器人控制技術研究[D].北京：北京交通大學，2014.

[3] 陳杰，方浩，辛斌.多智能體系統的協同群集運動控制[M].北京：科學出版社，2017.

[4] 李紅波，李雙生，孫舶源.基于Kinect骨骼數據的人體動作姿勢識別方法[J].計算機工程與設計，2016（4）：969?975.

[5] 辛義忠，邢志飛.基于Kinect的人體動作識別方法[J]. 計算機工程與設計，2016，37（4）：224?229.

[6] 辛菁，茍蛟龍，馬曉敏，等.基于Kinect的移動機器人大視角3維V?SLAM[J].機器人，2014（5）：560?568.

[7] 潘溯源.現場交互藝術的交互系統與控制行為設計：以Myo腕帶為例[J].中國傳媒科技，2018（3）：14?17.

[8] 吳國斌.Kinect人機交互開發實踐[M].北京：人民郵電出版社，2013.

[9] 韓崢，劉華平，黃文炳，等.基于Kinect的機械臂目標抓取[J].智能系統學報，2013，8（2）：1?9.

[10] 余濤.Kinect應用開發實戰：用最自然的方式與機器對話[M].北京：機械工業出版社，2013.

[11] GORDON McComb.Arduino機器人制作指南[M].唐樂，譯.北京：科學出版社，2014.

[12] WAHED M A， GABER A， TAHER M F. Automated grading of facial paralysis using the Kinect v2： a proof of concept study [C]// International Conference on Virtual Rehabilitation. Valencia： IEEE， 2015： 258?264.

[13] IFR. IFR forecast： 1.7 million new robots to transform the world′s factories by 2020 [R]. Frankfurt， 2017.

作者簡介：劉明磊（1993—），男，碩士，研究方向為控制工程。

李捍東（1966—），男，貴州遵義人，碩士，教授，研究方向為計算機控制、機器人控制。