航天員虛擬交互操作訓練多體感融合驅動方法研究

鄒 俞，晁建剛，楊 進

?

航天員虛擬交互操作訓練多體感融合驅動方法研究

鄒 俞，晁建剛，楊 進

(中國航天員科研訓練中心，北京 100094)

針對航天員虛擬訓練中的人機自然交互問題，基于體態/手勢識別和人體運動特性，提出一種多通道數據融合的虛擬驅動與交互方法。結合Kinect設備能夠完整識別人體姿態特點及LeapMotion設備能精確識別手勢姿態的優勢，提出了基于判斷的數據傳遞方法，在人體關節識別的基礎上對手部關節進行識別與數據處理計算，采用多通道體感識別融合方法將二者結合，并進行了實驗。結果表明，通過采用LeapMotion和Kinect對手部識別的判別，當手勢在LeapMotion識別范圍內，能夠在實現人體體感識別的基礎上增加較為精確的手勢識別。此方法成功實現了人體姿態識別和手勢精確識別的結合，可應用于航天員虛擬訓練中的人機自然交互中去。

航天員；虛擬訓練；體感識別；數據融合；交互

近年來，隨著虛擬現實(virtual reality, VR)技術工程應用的逐步成熟，利用數字仿真，構建虛擬空間和交互環境的方法也逐漸發展，為航天員訓練提供了一種新的方式。通常模式下，航天員虛擬交互選用數據手套，實際訓練中無形增加了操作的非自然性和干涉性，工程實用性欠佳。基于視覺體感交互的虛擬訓練方式的引入，使航天員在虛擬環境中的自然交互操作訓練成為可能[1]。

目前，市場上成熟的視覺體感交互設備主要分為兩種：一種是以Kinect為代表的采集全身姿態的體感設備，用以驅動全身虛擬交互；另一種是以LeapMotion為代表的采集手部姿態的體感設備，用以驅動手部虛擬交互。但在實際工程應用中，前者很難精確采集到交互主體手部的精細化動作，后者又無法采集人體整體姿態。單一設備使用無法構建實際訓練中以手部操作為主體、以全身姿態為基礎的整個人在回路中的虛擬自然交互環境。

針對上述工程應用問題，本文基于體態/手勢識別和人體運動特性，在航天員訓練中提出一種多通道數據融合的虛擬驅動與交互方法。在交互識別上發揮Kinect識別范圍大，能夠對整個人體的三維深度圖像進行追蹤和姿態識別的優勢，結合LeapMotion對手部的三維深度圖像進行精確地追蹤和手勢識別的特點，采用多通道體感識別融合的方法在人體關節識別基礎上，對手部關節進行識別與數據處理計算，形成了逼真的人在回路中的虛擬自然交互訓練系統[2]。

1 研究現狀與基本原理

1.1 國內外研究現狀

美國宇航局(National Aeronautics and Space Administration，NASA)以及美國國防部自上世紀80年代開始進行了航天員虛擬訓練仿真研究。隨著VR技術的日益成熟，航天員虛擬訓練仿真研究取得令人矚目的成果。美國國家航空航天局虛擬手套(NASA Virtual GloveboX，簡稱VGX)系統[3-5]利用數據手套和力反饋設備采集輸入手姿態信息，通過立體顯示和計算機實時仿真實現一種桌面半沉浸式仿真訓練系統，如圖1所示，利用該設備可以進行航天員虛擬操作仿真實驗。如圖2所示，歐洲空間局的航天員訓練虛擬環境技術(Virtual Environment Technology for Astronaut Training, VETAT)測試系統利用連接外骨骼的數據手套實現手勢識別，采用頭戴式顯示器進行立體顯示，該系統已經廣泛地運用到航天員訓練中。

圖1 VGX虛擬手套箱設備

圖2 VETAT測試系統

國內也已將VR技術引入到航天員訓練中，并取得初步成果。如圖3所示，中國航天員中心研制的數字組合體采用立體顯示技術將空間站等場景展示給航天員，能夠實現控制航天員在虛擬太空場景進行漫游。

圖3 數字組合體操作展示

中國航天員中心在航天員虛擬訓練中已開展了基于視覺手勢識別的研究[6]，并建立了一套航天員虛擬操作訓練系統，來解決虛擬訓練中航天員手勢操作問題。主要包括抓持、點按等手勢操作，如圖4、5所示。

圖4 航天虛擬操作系統儀表操作

圖5 航天虛擬訓練系統虛擬手抓持研究

在VR體感識別研究中，以Kinect為代表的人體姿態體感識別設備具有追蹤人體姿態的特點，是目前國內外研究開發的熱點。同樣以LeapMotion為代表的手部識別設備對手勢的精確識別也得到了國內外開發者的一致認可。但目前在工程應用上，還沒有一種設備能同時精確采集人體姿態和手部典型操作姿態。而在航天員虛擬訓練中，如圖6所示，在航天員多人協同操作中，大場景的運動需要對航天員人體姿態的整體進行識別，同時在交互操作中也需對航天員的手部動作進行精確識別，從而在協同操作中能看到交互完整的人體姿態以及精確的手勢操作姿態，實現更好地配合操作[7]。針對航天員虛擬訓練，本文提出將Kinect對完整人體姿態的識別，與LeapMotion精確的手勢識別二者融合的方法。其優勢在于：①保留了Kinect對人體姿態的識別，保證了其識別精度和識別范圍；②利用LeapMotion實現手勢的精確識別，為驅動VR訓練系統中的航天員模型在虛擬場景中完成多種手勢操作提供了可能；③采用計算機視覺的方式進行識別，避免了數據手套對訓練產生的影響，可以更加逼真地模擬訓練。結合二者的優勢，可以實現更好的體感交互體驗[8]，為航天員在虛擬場景中完成人體姿態交互和更加精確的手勢操作提供可能[9]。

圖6 多人協同操作

1.2 體感識別原理

體感技術是一種VR技術，人們可以直接地使用肢體動作，與周邊的裝置或環境互動，而無需使用任何復雜的控制設備，便可讓人們身歷其境地與內容做互動。

依照體感方式與原理的不同，目前市場上體感交互設備主要分為3種：光學感測、慣性感測和慣性及光學聯合感測。本文選用光學感測的體感交互設備，一是其不需要手持設備，便能更好地實現仿真訓練的效果；二是隨著傳感器等硬件的發展，其識別精度可滿足仿真訓練的需求[10]。

光學感測類體感設備的基本原理是利用攝像頭，采用類似“動作捕捉”方式來識別用戶的姿勢動作。首先通過計算機圖形視覺技術，包括邊緣檢測、噪聲閾值處理、對目標特征點的分類等，將識別目標從背景環境中區分出來得到識別圖像；然后識別圖像的每一個像素并傳送到一個辨別人體部位的機器學習系統中，系統給出某個特定像素屬于哪個身體部位的可能性；再將捕捉到的影像與內部存有的模型匹配，每一個符合內部已存模型的物體就會被創建成相關的骨骼模型；最后系統將該模型轉換成虛擬角色，并通過識別該骨骼模型的關鍵部位進行動作觸發，從而實現體感操作。其中手部動作數據采集和識別后，可以進一步通過碰撞檢測達到虛擬交互的目的。

1.3 人體姿態識別建模

航天員虛擬交互訓練中，需要對人體進行幾何建模渲染，以表達虛擬人運動最基礎的方式，但實際中不可能對人體進行全部建模。人體建模通常采用主要運動關節點建模的方法進行簡化建模，其足以驅動人體的運動。

Kienct的人體建模采用了如圖7所示的人體骨骼簡化模型。其包含了人體主要的20個關節節點及19個骨骼段。按照人體構造結構，任意2個關節之間建立Kinect關節點父子關系，形成一個簡化的人體骨骼模型。其中，臀部中心關節點是整個人體骨骼模型的根節點，其三維坐標數據完全能決定人體模型的移動軌跡。臀部中心關節點有6個自由度，分別為3個平移自由度與3個旋轉自由度，其他節點僅僅包括3個旋轉自由度[11]。

圖7 Kinect骨骼模型

1.4 手部姿態識別建模

虛擬交互訓練中，手部是最重要的操作數據采集對象。采集目的一是為了顯示手部的虛擬渲染；二是通過主要手部關節的采集，滿足對手部的抓握等進行包圍盒檢測[12]。最終在滿足精確顯示、定位的同時，也要滿足實時計算需要，在實時計算和顯示渲染、檢測之間達到折衷。

圖8為右手部骨骼模型，圖8(a)LeapMotion手部模型中，手指存在4個關節，以中指1，2，3和4為例，4個關節點的旋轉角分別決定了指尖關節、遠指關節、近指關節和指掌關節骨骼的旋轉。在圖8(b) Kinect手部模型中，手指存在3個關節，以中指的1，2和3為例，其旋轉角分別決定了指尖關節，遠指關節和近指關節骨骼的旋轉。在二者的結合中，驅動姿態識別和手勢識別融合的數據主要是關節點的旋轉角。

(a) LeapMotion手部骨骼模型

(b) Kinect手部骨骼模型

圖8 LeapMotion與Kinect手部骨骼模型

2 總體設計與關鍵技術

2.1 體感融合的虛擬訓練設計

航天員虛擬訓練系統一般由數字仿真計算、虛擬場景渲染、虛擬顯示、虛擬操作采集與交互等部分組成。通常采用數字仿真進行飛行器的動力學和運動學仿真、太空場景物理學仿真、船載設備功能邏輯狀態等的數學仿真；虛擬場景渲染通過計算圖形學生成飛行器、太空以及航天員在回路中的場景；VR通過虛擬頭盔將生成的場景投射到訓練者視覺系統中；虛擬操作采集與交互部分進行訓練系統回路中的航天員與虛擬場景人機交互的動作采集和計算[13]。本文著重關注航天員在回路中的運動，采集航天員的運動數據處理后驅動虛擬人，帶入生成的預設場景如太空，船艙等，實現虛擬人與場景的交互，再反饋到顯示器中，從而實現航天員虛擬訓練。

如圖9所示，虛擬動作采集通過體感設備來完成，Kinect置于訓練航天員前面，用于人體動作的采集。在頭盔顯示器前部配置LeapMotion，用于交互手部動作的采集。采用本文融合方法實現兩種體感識別技術的結合，將Kinect獲取的人體姿態識別數據和LeapMotion采集的手部姿態識別數據進行處理、融合，與模型匹配后生成動作。結合訓練場景設計，生成人被識別后在虛擬訓練環境下的圖像。生成圖像傳輸到顯示器和頭盔顯示器。通過此設計方案，滿足航天員在虛擬訓練中，大場景的運動對人體姿態整體識別的需求，以及交互操作中對手部動作識別的需求，當手部在LeapMotion識別范圍內，同時也是在“眼前”，能夠在人體姿態識別的基礎上添加手勢識別。

圖9 虛擬訓練設計

2.2 體感融合關鍵技術

本文設計的場景是通過Kinect進行人體姿態的識別，并通過LeapMotion獲取精確的手勢識別數據。進行人體姿態識別時，Kinect遠距離可以對整個人體20個關節點進識別，其中包括手掌節點；當需要精準識別手部動作時，近距離可以對手部15個關節點進行識別。但手部和身體姿態是不能同時獲得的。Kinect手臂和手部的姿態信息是獲取關節點旋轉角數據驅動人體模型。而LeapMotion實現精確的手勢識別，也是獲取手部及腕部關節點的旋轉角數據驅動手部模型。二者均為數據融合提供了可能。

為了精確識別航天員的運動動作，既要保證手部運動和全身運動姿態采集的準確性，又要保證采集后的節點融合后整體姿態不失真[14]。本文對兩者采集的數據進行融合，提出了基于判斷的數據傳遞方法，即實時判斷手部是否在LeapMotion范圍內，當手部在其識別范圍內，將LeapMotion采集的手部關節點數據處理后傳到Kinect的手部關節點中，Kinect同時識別人體大姿態；當不在LeapMotion識別范圍內，選擇Kinect驅動包括手部在內的完整人體姿態，此時不包含手指的操作[15]。

2.2.1 判斷選擇

如圖10所示，實際人在虛擬交互系統中，Kinect始終在采集人體姿態信息。當手在“眼前”(LeapMotion粘貼在頭盔顯示器前面)時，此時手在LeapMotion識別范圍內，手部姿態信息被采集。此時判斷機制獲取到LeapMotion已采集手部姿態信息的信號，終止Kinect對虛擬人手部姿態的驅動，從而實現LeapMotion驅動虛擬人手部姿態。當手不在LeapMotion識別范圍內，重新初始化Kinect驅動中的手部姿態信息。二者通過上述原理實現融合的關鍵點如下：

圖10 原理示意圖

(1) 識別交接處選取。要考慮的是兩種傳感器識別交接處的處理。實際人在做手部動作時，對腕部及肘部關節點旋轉之間的影響很小，所以將腕部關節點和肘部關節點作為LeapMotion與Kinect識別的劃分。由于LeapMotion識別包括手指、手掌及腕部關節，所以在其識別范圍內時，上述關節點的識別驅動交由LeapMotion實現，此時肘部的關節點依然由Kinect識別。通過這種關節點識別劃定，肘部和腕部分別由Kinect和LeapMotion識別，由中間的小臂作為識別過渡。從而在交接處小臂虛擬渲染顯示時，最大程度地減少了兩種傳感器識別帶來的仿真效果不佳的影響。

(2) 識別交接時更新。在Kinect和LeapMotion交替識別的過程中，假設識別到第幀，此時手部在LeapMotion識別范圍內，進行了精確的手勢識別，且在第+1幀時手部不在其識別范圍內，此時手部姿態數據得不到更新，識別的手勢會保持在第幀的姿態直至手部再次出現在LeapMotion識別范圍內。這是不符合預期的。所以需要實現Kinect手指關節點旋轉角初始化的重新寫入，以保證當手部不在LeapMotion識別范圍內時，手勢識別可正常進行。以中指和腕部為例，通過局部坐標系旋轉角賦值進行初始化，如圖11所示，參考人體模型自然狀態下手指關節點旋轉角數據，如式(1)~(3)。

圖11 正常手姿

左手中指初始化，即

右手中指初始化

雙手腕部

2.2.2 數據處理

如圖12所示，由于只簡單地基于判斷選擇，并直接傳遞數據，會因為Kinect及LeapMotion驅動中手部關節點的世界坐標系定義不同，導致手勢數據傳遞后識別錯誤，出現手指朝手背抓握甚至平行于手掌抓握等畸變現象，所以需要對數據進行處理。

圖12 手勢畸變

數據處理需在局部坐標系下進行，將LeapMotion獲取的數據處理后傳遞給Kinect實現精確的手勢識別。其原理如下：在三維坐標系中，有和兩條線段，已知∠，旋轉角∠。求取旋轉到''的旋轉效果，如圖13所示。

圖13 二維骨骼旋轉演示圖

世界坐標系下，由相似三角形可以證明∠=∠'，求取旋轉后'的位置，再求取旋轉后''的位置。在局部坐標系下，因為∠的大小沒有改變，即相對于的位置和旋轉角均沒有改變。所以只需旋轉已知的∠，便能獲取旋轉后的效果。由此可知局部坐標系進行旋轉的轉換更利于簡化運算[16-17]。

圖14是手部每個關節對應的局部坐標系，其中根據人體模型設計了對應、、坐標軸及其方向的、、3個軸[18]。手指關節的旋轉主要是圍繞軸進行的，而繞、軸的相對而言非常少。所以提出只求取繞軸旋轉角實現手指運動。并以中指的近指關節和相對于指掌關節的旋轉為例，分兩步實現：

(2) 相對旋轉角賦值。將求取的21視作繞軸的旋轉角，繞、軸旋的轉角賦值為零。本文選用的手部模型中軸對應軸，故得21=(0,0,21)。同理，可求取遠指關節相對于近指關節的旋轉角32和指間關節相對于遠指關節的旋轉角43。

在Kinect模型中手指的關節點有3個，如 圖8(a)所示，同樣以中指為例，將上文求取的相對旋轉角21，32，43分別進行賦值，有1=21，2=32和3=43。由此獲得Kinect的中指關節點在局部坐標系下的旋轉角。

通過上述過程對LeapMotion獲取的手勢識別數據進行處理，傳遞給Kinect驅動虛擬人手部動作，便能在Kinect人體姿態識別基礎上實現手勢識別。

3 實驗與分析

3.1 實驗設計

針對傳統視覺體感識別這一問題，通過多通道融合的方法，實現了在識別人體大姿態的基礎上添加對手勢的識別，并搭建基于該融合方法的體感識別實驗平臺。定義兩種測試姿態：人體姿態測試，人體姿態與手勢姿態結合測試對該方法進行驗證。人體姿態測試取舉手姿態，目的在于驗證Kinect對人體姿態的識別；人體姿態與手勢姿態結合測試取人體舉手姿態與典型手勢姿態：手部自然伸直、手部握拳、手部OK姿勢，是為了驗證二者結合后，在保證Kinect對人體姿態正常識別的同時，添加的手勢識別的效果。在此基礎上通過抓取簡單物體，點按靶標的測試，進一步驗證融合后的手姿態識別精度能否滿足抓取和點按為代表的虛擬訓練操作。

按照總體設計，在建立的虛擬交互系統中，真實的人穿戴好放置了LeapMotion虛擬頭盔，其前方放置Kinect。選取10名實驗者，讓每人按照上述定義的4組測試姿態以及2種測試方式分別進行測試。通過對比實際人和模型人的動作對實驗結果進行分析。同時取其中自然伸直手勢和握拳手勢的數據進行分析驗證。

3.2 結果分析

通過實驗，驗證基于判斷的數據傳遞方法對人體姿態和手勢識別結合的有效性。通過以下4組測試姿態對實驗結果進行說明。如圖15所示，僅取人體舉手姿態，以確定Kinect對人體姿態的識別。圖16~18為人體姿態與手勢姿態結合測試分別取人體舉手姿態動作加上手部伸直(自然狀態)、握拳(抓取等操作的基礎手勢)和OK(復雜的手部姿勢)姿勢測試。其中，圖(a)是實際人操作圖，圖(b)是融合識別驅動的虛擬圖。

圖15 人體姿態識別測試

圖16 人體姿態動作加上手部伸直姿勢測試

圖17 人體姿態動作加上手部握拳姿勢測試

圖18 人體姿態動作加上手部OK姿勢測試

手指的狀態大致可分為兩種：自然伸直和彎曲狀態。而手部自然伸直和握拳這兩種手勢姿態最能直觀體現手指自然伸直和彎曲的狀態。表1、2是將LeapMotion識別手部自然伸直狀態和手部彎曲狀態采集并處理后，傳遞給Kinect進行驅動的數據。結合識別結果，如圖19、20所示，對局部傳遞法融合后的手勢姿態識別結果進行說明。

結果分析：如圖15所示，對比實際人和虛擬人的手臂舉起的整體姿態，確定Kinect能準確識別人體姿態；如圖16~18通過對比實際人和虛擬人的人體姿態和手勢姿態，可以看到人體姿態在準確識別的同時，手部自然伸直、握拳和OK姿勢的識別效果很好，虛擬人準確地反應了實際人的手部自然伸直和手部握拳姿勢。結合表1、2中LeapMotion處理后的數據，對識別結果進一步說明。

表1是手部抓取動作識別，取5組LeapMotion處理后傳遞給Kinect 的食指數據，每組數據取200個數據(Leapmotio更新頻率200 Hz)的平均值，再對5組數據取平均值得到近指關節點旋轉角數據為–74.450 83°。圖19(a)為抓取姿態下實際手食指的近指關節點的旋轉角∠，并對該角進行測量估計，與求取的近指關節點旋轉角對比，近指關節點–74.450 83°的大小是符合手部握拳姿態的。手勢識別效果如圖19(b)所示，較為精確地實現手部抓取的識別。

圖19 手部抓取識別

圖20 手部自然伸直識別

表1 手部抓取識別——食指近指關節點旋轉角數據

表2 手部自然伸直識別——食指近指關節點旋轉角數據

表2是手部自然伸直動作識別處理后的數據：近指關節點旋轉角–12.286 94°。如圖20(a)所示，其描述的是自然伸直姿態下實際手食指的近指關節點的旋轉角∠，并將其與求取的近指關節點旋轉角–12.286 94°對比，結果是符合的。手勢識別效果如圖20(b)所示，較為精確地實現了手部伸直的識別。

實驗通過多組典型手勢姿態反復測試及結果驗證，證實二者結合后方法，既保留了Kinect對人體姿態的識別，也發揮了LeapMotion對手勢的識別能力，達到了預期目的。

圖21為融合后的手姿態抓持操作，通過方塊抓取驗證了融合后能實現虛擬訓練中抓持操作訓練；圖22為融合后的手姿態點按操作，通過食指點按目標物中心的紅點，能實現虛擬訓練中儀表操作等點按操作訓練。

圖21 抓持操作

圖22 點按操作

訓練場景，圖23是在太空艙中的仿真訓練的模擬，圖24是VR模式下參訓人員在頭盔顯示器中看到的場景。在LeapMotion沒有識別手部時，人體姿態由Kinect識別，當Leap識別到左/右/雙手時，手勢以及腕部識別由LeapMotion識別并將數據處理后傳遞給Kinect實現；頭盔顯示器視野也符合VR模式下人的實際視野；在VR模式下，實際人物的位移與模型人物的位移符合，保證了VR模式下視覺位移符合實際位移。

圖23 場景填充后的結合姿態識別

圖24 VR模式下的效果

實驗結果符合預期。通過判斷，選擇手部姿態驅動來源，實現將手勢識別和人體姿態識別的結合。實現人體姿態識別的同時，能夠實現抓取、握拳及OK姿勢等手勢，以及抓持物體，點按靶標等測試，足以滿足目前航天員虛擬訓練對手勢識別的要求。

4 結束語

本文實現了LeapMotion與Kinect的結合。基于判斷、判別選擇，成功將兩種體感設備的優勢發揮了出來，即保留了Kinect對人體整體的識別，也發揮了LeapMotion對手勢精確識別的作用。

通過二者的結合，保證人體姿態識別的同時，實現了對手部姿態的識別。結合后的這種體感交互方法，可以應用到更為廣闊的訓練平臺。針對航天員訓練的更多設備、更多操作設計訓練實例，例如對儀器儀表的虛擬操作訓練，對在軌設備的組裝、維護、維修訓練，對遙控設備的遠程遙操作訓練等。進一步考慮引入增強現實技術，通過虛實結合的訓練來提高訓練效果，服務于航天員訓練。

[1] 晁建剛, 陳善廣, 薛亮, 等. 航天飛行訓練模擬器技術研究與工程實施[J]. 航天醫學與醫學工程, 2008, 21(3): 233-239.

[2] 陳學文, 晁建剛, 安明, 等. 基于體態識別的航天員虛擬訓練仿真技術研究[J]. 載人航天, 2015, 21(3): 217-223.

[3] TWOMBLY I A, SMITH J, BRUYNS C, et al. NASA virtual glovebox: an immersive virtual desktop environment for training astronauts in life science experiments [EB/OL]. [2018-08-02]. https://ntrs.nasa. gov/search. jsp?R=20040012669.

[4] SMITH J D, GORE B F, DALAL K M, et al. Optimizing biology research tasks in space using human performance modeling and virtual reality simulation systems here on earth [EB/OL]. [2018-08-02]. https:// doi.org/10.4271/2002-01-2500.8.

[5] SMITH J, TWOMBLY I A, MAESE C, et al. The virtual glovebox: emerging simulation technology for space station experiment design, development, training and troubleshooting [EB/OL]. [2018-08-02]. https://arc. aiaa.org/doi/abs/10.2514/6.2003-6341.

[6] HU H, CHAO J G, ZHAO Z Q. Study of vision-based hand gesture recognition system for astronaut virtual training [J]. Advanced Materials Research, 2014, 998-999: 1062-1065.

[7] 康金蘭, 晁建剛, 林萬洪, 等. 視覺手勢識別技術在航天虛擬訓練中的應用研究[J]. 載人航天, 2014(3): 219-222.

[8] ALBRECHT I, HABER J, SEIDEL H P. Construction and animation of anatomically based human hand models [C]//ACM Siggraph/eurographics Symposium on Computer Animation. Goslar: Eurographics Association Press, 2003: 98-109.

[9] XIA L, CHEN C C, AGGARWAL J K. Human detection using depth information by Kinect [C]//Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2011: 15-22.

[10] 馮志全, 蔣彥. 手勢識別研究綜述[J]. 濟南大學學報: 自然科學版, 2013(4): 336-341.

[11] 李紅波, 冉光勇, 吳渝, 等. 一種基于Kinect的角色骨骼動畫方法[J]. 重慶郵電大學學報: 自然科學版, 2014, 26(4): 530-535

[12] 胡弘, 晁建剛, 林萬洪, 等. Leap Motion虛擬手構建方法及其在航天訓練中的應用[J]. 載人航天, 2015, 21(3): 257-262.

[13] 胡弘, 晁建剛, 楊進, 等. Leap Motion關鍵點模型手姿態估計方法[J]. 計算機輔助設計與圖形學學報, 2015(7): 1211-1216.

[14] MARIN G, DOMINIO F, ZANUTTIGH P. Hand gesture recognition with leap motion and kinect devices [C]// IEEE International Conference on Image Processing. New York: IEEE Press, 2015: 1565-1569.

[15] MARIN G, DOMINIO F, ZANUTTIGH P. Hand gesture recognition with jointly calibrated Leap Motion and depth sensor [J]. Multimedia Tools & Applications, 2016, 75(22): 1-25.

[16] 談家譜, 徐文勝. 基于Kinect的指尖檢測與手勢識別方法[J]. 計算機應用, 2015, 35(6): 1795-1800.

[17] 徐崇斌, 周明全, 沈俊辰, 等. 一種基于Leap Motion的直觀體交互技術[J]. 電子與信息學報, 2015, 37(2): 353-359.

[18] GOUTSU Y, KOBAYASHI T, OBARA J, et al. Multi-modal gesture recognition using integrated model of motion, audio and video [EB/OL]. [2018-08-10]. https://doi. org/10.3901/CJME.2015.0202.053.

On Multi-Somatosensory Driven Method for Virtual Interactive Operation Training of Astronaut

ZOU Yu, CHAO Jiangang, YANG Jin

(Astronaut Centre of China, Beijing 100094, China)

To solve the problem of human-computer natural interaction in the virtual training of astronauts, a multi-somatosensory driven method is proposed based on posture / gesture recognition and human motion characteristics. With the the advantages of Kinect device which can completely recognize human posture characteristics and LeapMotion device which can accurately identify gestures, the method of data transfer based on judgement is put forward. Hand joints are recognized and the related data are processed and calculated on the basis of the recognition of joints of the whole body. These two are combined by using the multi-somatosensory driven method, and the experiment is carried out. The results show that by using LeapMotion and Kinect to recognize hand joints, when the gesture is within the range of LeapMotion recognition, we can add more precise gesture recognition to the realization of human somatosensory recognition. This method has successfully realized the combination of human posture recognition and precise gesture recognition, and can be applied to the human-computer natural interaction in the virtual training of astronauts.

astronaut; virtual training; somatosensory recognition; data fusion; interaction

TP 301.9

10.11996/JG.j.2095-302X.2018040742

A

2095-302X(2018)04-0742-10

2017-08-27；

2017-12-04

國家重點實驗室基金項目(SYFD160051807)

鄒 俞(1995-)，男，安徽合肥人，碩士研究生。主要研究方向為人機與環境工程、計算機視覺等。E-mail：1134188239@qq.com

晁建剛(1972-)，男，北京人，研究員，博士，碩士生導師。主要研究方向為人機與環境工程、計算機仿真等。E-mail：1518037307@qq.com