基于3D虛擬引擎的無線數據觸覺手套系統*

蔡奕松　鄢武　孫克爭　孫永永

開發設計

基于3D虛擬引擎的無線數據觸覺手套系統*

蔡奕松1鄢武1孫克爭1孫永永2

（1.廣東省科學院智能制造研究所 廣東省現代控制技術重點實驗室，廣東 廣州 510070 2.佛山樹客智能機器人科技有限公司，廣東 佛山 528315）

開發基于3D虛擬引擎的無線數據觸覺手套系統，實現人手位姿可視化重現，增強沉浸式可視化觸覺體驗。該系統采用柔性線路的分布式IMU網絡組采集人手位姿數據，并在3D虛擬引擎中重現人手的位姿和接觸力。實驗結果證明：該系統實現了對不同形狀物體的穩定抓取、推移和放置等功能，對VR場景的實際開發應用、虛擬教學和技能培訓以及人工智能數據采集訓練具有重要意義。

可視化重現；分布式IMU網絡組；3D虛擬引擎；數據采集訓練

0　引言

隨著虛擬現實技術的不斷發展，通過融入人體更多感官的刺激，可豐富使用者對虛擬世界體驗的沉浸感[1]。特別在虛擬零件裝配和虛擬數據訓練過程中手部精細動作的捕捉，對虛擬手可視化重現的靈活性和精確性都具有重要意義。

傳統的外骨骼力反饋手套雖然可以捕捉人手位姿，但結構笨重，不便于手部的精細操作。為進一步提高沉浸式體驗，本文開發一款輕便型無線數據觸覺手套，利用分布式的IMU網絡組在VR虛擬場景中重現手的位姿和接觸力，實現對不同形狀物體的穩定抓取、推移和放置等功能，可廣泛應用于虛擬現實教學和數據訓練等。

1　系統總體架構

基于3D虛擬引擎的無線數據觸覺手套系統可捕獲每個手指關節位置姿態[2]，結合虛擬場景，為用戶提供觸覺和視覺反饋。該系統主要包含無線數據觸覺手套、3D虛擬引擎和3D頭戴式顯示器3部分，結構組成如圖1所示。

圖1 基于3D虛擬引擎的無線數據觸覺手套系統結構組成

1.1 無線數據觸覺手套

無線數據觸覺手套可實時檢測人手的位姿和接觸力，為用戶提供觸覺反饋，并與3D虛擬引擎進行交互。無線數據觸覺手套主要包含：

1） IMU網絡組，由15個IMU模塊組成，用于手指位置和姿態捕獲，并經卡爾曼濾波處理后通過I2C總線連接到信號調理器；

2）位置跟蹤器，用于手部位置的定位，并在3D虛擬引擎中重現手部位姿；

3）振動模塊，由6個扁平振動電機組成，給人手提供不同頻率的振動觸覺反饋；

4）信號調理器，提供IMU網絡組I2C總線的復用處理和振動模塊的驅動電路；

5）主控制單元，在無線數據觸覺手套和3D虛擬引擎之間傳輸數據，處理信號調理器傳輸的IMU網絡組；基于手指結構模型參數利用IMU網絡組和位置跟蹤器的信號，通過正運動學變換解算出每個手指關節的位姿；提供振動模塊的驅動信號。

另外，無線數據主要通過WiFi或藍牙，將主控制器解算的每個手指關節的位姿和觸覺信息打包發送到3D虛擬引擎。無線數據觸覺手套如圖2所示。

圖2 無線數據觸覺手套

1.2 3D虛擬引擎

3D虛擬引擎主要包括手部位姿虛擬重現和接觸檢測及反饋等模塊。手部位姿虛擬重現模塊主要通過無線網絡利用主控制單元采集分布式IMU網絡組的數據信號，包括每個手指關節和手掌的位置和姿態數據，在3D虛擬引擎中完成重現手部動作功能。接觸檢測及反饋模塊主要提供手部每個指關節包括手掌與虛擬物體的接觸和顏色標注功能，再通過無線數據為主控制單元提供觸覺反饋信號。

1.3 3D頭戴式顯示器

3D頭戴式顯示器主要有HTC，Oculus，華為VR Glass等。3D頭戴式顯示器為用戶提供虛擬場景的實時顯示及虛擬場景的聲音反饋。用戶佩戴無線數據觸覺手套后，可在3D虛擬引擎引導下與虛擬場景的物體進行交互體驗，還原用戶在虛擬場景的真實視覺和聲覺[5]。

2　系統功能實現

基于3D虛擬引擎的無線數據觸覺手套主要由15個IMU和1個位置跟蹤器組成的網絡組，通過手部位姿虛擬重現模塊在VR虛擬場景中重現手的位姿和接觸力。

分布式IMU網絡組通過柔性電路連接，并和振動模塊一起連接到信號調理器；信號調理器與主控制單元通過柔性電路連接控制；位置跟蹤器通過無線方式連接到主控制單元。

當用戶佩戴3D頭戴式顯示器看到虛擬場景中的虛擬手與虛擬物體發生接觸時，3D虛擬引擎調用接觸檢測及反饋模塊并通過無線網絡反饋信號給主控制單元；主控制單元驅動振動模塊為用戶提供振動反饋，模擬用戶的真實觸感，這是人機交互過程；當接觸的點在幾何上形成穩定抓取物體時，虛擬物體可跟隨手的運動，同時3D虛擬引擎會觸發每個手指的振動模塊為用戶提供穩定抓取的振動反饋。

3　實驗驗證

為驗證人手位姿和接觸力可視化重現的可行性，測試捕獲人手精細的抓取動作。實驗在3D虛擬引擎中設計具有實際重量的虛擬杯子模型，通過對虛擬杯子的抓取任務來驗證系統的可行性。實驗證明：通過無線數據觸覺手套的位姿捕捉，用虛擬手任意抓取、移動放在桌上的虛擬物體，并且無線數據觸覺手套可反饋真實觸覺。具體地，系統可通過無線數據觸覺手套實現用戶手部位姿包括手臂動作的實時捕捉和觸覺反饋，可通過手部位姿虛擬重現模塊和接觸檢測及反饋模塊在3D虛擬引擎中三維動態重現出來。當虛擬手接觸虛擬物體時，手部接觸指關節顯示紅色并通過手套上的振動模塊給用戶真實的觸覺。當抓取穩定時，手套振動提示用戶，增強用戶的沉浸式體驗效果，從而實現對人手的位姿和接觸力情況的可視化重現。人手位姿和接觸力情況可視化重現如圖3所示。

圖3 人手位姿和接觸力情況可視化重現

4　結語

基于3D虛擬引擎的無線數據觸覺手套系統可實時捕獲手部的位姿和接觸力，并通過無線網絡在3D虛擬引擎中可視化重現全手掌的位姿和接觸力；實現對虛擬物體的抓取、放置和推移等任務；通過振動模塊將用戶與虛擬場景中虛擬物體交互的感覺實時模擬反饋給用戶，給用戶帶來豐富的觸覺體驗，具有廣泛的應用前景，如職業學校機床零件組裝等虛擬裝配環境的人機交互技術培訓教學[3]；采集制造業熟練工人手部動作，然后用于指導培訓新手[4]；采集運動員手部精細動作數據用于人工智能數據訓練[5]等。

[1] 余世政,楊冕清,李德狀,等.應用于VR場景的力反饋外骨骼手套設計[J].機電信息,2019(8):43-45.

[2] 刁梁.面向虛擬現實應用的數據手套研制[D].南京:東南大學,2016.

[3] 包依勤,陶圣杰,宋萬里,等.基于HTC Vive的虛擬校園系統的研究與設計[J].物聯網技術,2020,10(11):57-60.

[4] 鄭軼,寧汝新,唐承統,等.虛擬裝配環境中的人機交互技術研究[J].北京理工大學學報,2006(1):19-22.

[5] 王萍.人工智能與大數據對運動訓練的促進作用研究[J].飲食科學,2018(8):243.

Wireless Data Tactile Glove System Based on 3D Virtual Engine

Cai Yisong1Yan Wu1Sun Kezheng1Sun Yongyong2

(1.Institute of Intelligent Manufacturing, Guangdong Academy of Sciences, Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 2.Foshan Shuke Intelligent Robot Technology Co. Ltd, Foshan 528315, China)

The wireless data tactile glove system based on 3D virtual engine is developed to realize the visual reproduction of human position and posture and enhance the immersive visual tactile experience. The system uses the distributed IMU network group of flexible circuit to collect the position and posture data of human hand, and the position and contact force of the human hand are reproduced in 3D virtual engine. The practice shows that the system can grasp, move and place different shape objects stably, which is of great significance to the actual development and application of VR scene, virtual teaching and skill training and artificial intelligence data acquisition training.

visualization reproduction; distributed IMU network group; 3D virtual engine; data acquisition training

TP249

A

1674-2605(2021)02-0006-03

10.3969/j.issn.1674-2605.2021.02.006

廣東省重點領域研發計劃項目（2020B090925001）；佛山市科技創新團隊項目（2018IT100173）。

蔡奕松，男，1992年生，本科，助理工程師，主要研究方向：虛擬現實技術，力控制技術。E-mail: ys.cai@giim.ac.cn

鄢武，男，1991年生，碩士，工程師，主要研究方向：計算機圖形學、深度學習。

孫克爭，男，1988年生，碩士，助理研究員，主要研究方向：機器人運動規劃。

孫永永，男，1984年生，本科，主要研究方向：VR教育機器人。