基于Leap Motion的三維手勢識別方法

李映輝，史卓，安亞磊（桂林電子科技大學，桂林　541004）

?

基于Leap Motion的三維手勢識別方法

李映輝，史卓，安亞磊
（桂林電子科技大學，桂林541004）

摘要：

關鍵詞：

0　引言

隨著微軟Kinect的發展和普及，深度攝像頭吸引了越來越多人的注意，同時各類3D應用也層出不窮。盡管Kinect價廉普及廣，但它相對于人體手部信息的識別和處理太復雜，必須經過繁雜的圖像處理等識別過程，難以保證快速的估計手部姿態[1]。而其他更高性能的深度攝像頭價格昂貴，無法普及。Leap Motion的出現解決了這一問題。它是由美國的Leap公司出品的一款廉價的專門捕獲手部運動信息的體感控制器，它提供了一種專門識別手并能進行手勢交互的解決方案。相較于傳統的三維手勢識別基本上都是通過轉換為二維圖像來處理[2-4]，Leap Motion利用雙目紅外成像的原理重建出手的三維空間運動信息，能檢測并跟蹤手、手指和類似手指的工具，實時獲取它們的位置、方向和部分手勢信息。基于Leap Motion的高精度和實時性，并且價格低廉易于普及，在本文系統中采用Leap Motion作為三維手勢獲取和識別的設備。

1　三維手勢的數據結構

在Leap Motion中，一個Frame類對象代表一個數據幀，Frame類的成員函數hands（）返回一個容器-HandList類對象，它包含了若干個Hand類的對象，每個Hand類對象包含了Leap Motion檢測到的一只手的全部信息[5]。

Hans類主要描述了三維手勢的手指屬性和手掌屬性。其中手指屬性Hand：：fingers（）具體包括手指的個數FingerList：：count（）、每根手指尖的位置pointable.tip-Position（）和指向方向pointable.direction（）。本文中為了進行識別添加手指的狀態有兩種：張開狀態和閉合狀態，可以通過公式（1）計算得到每根手指向量分別于手掌心向量的夾角來判斷該手指是張開還是閉合；添加夾角屬性，即計算并記錄張開狀態下的相鄰手指間的夾角。手掌屬性則具體包括左右手屬性，手掌心在三維坐標下的位置hand.palmPosition（），手掌心的6個朝向（上、下、內、外、前、后），其中手掌心朝向由兩個向量給出：一個是從手掌中心指向手指的方向hand.direction（）；一個是垂直于手的平面，指向手掌的外側hand.palmNormal（），如圖1所示。手指的指向如圖2所示。

2　三維手勢的識別

以單手手勢圖4中的手勢“Okay”為例，三維手勢識別過程具體細分到下面幾個主要步驟：

（1）拍攝用戶做出的手勢動作。

在這里，在體感設備有效范圍內檢測到用戶的手勢信息，持續兩秒的拍攝，對于靜態三維手勢，兩秒時間內的手勢保持不動對用戶無論生理上或心理上都是在可忍耐時間內；

（2）對用戶手勢信息進行初步判斷。

根據拍攝到的手心點的三維坐標個數及初步判定出現在Leap Motion有效范圍內手掌個數，由此判斷出現在用戶輸入的是單手還是雙手。單手靜態三維手勢和動態三維手勢在拍攝時間段只有一只手出現在攝像頭可視范圍內，雙手靜態三維手勢要求兩只手在拍攝時間段同時出現在攝像頭可視范圍內。

（3）用T1-T5表示一只手的五根手指，其中T1表示大拇指，T5表示小拇指。分析圖5手勢特點：

①結合圖4的Leap Motion的空間三維坐標系[6]易判斷出T1和T2在X軸和Y軸上的坐標絕對值是小于T3、T4和T5，而Z軸上T1和T2絕對值是大于T3、T4和T5；

②T1和T2指尖是相觸的，所以它們指尖的歐氏距離必須小于閾值d；

③T3和T4之間的夾角α34以及T4和T5之間的夾角α45必須大于一定角度α'；

④T3、T4和T5是張開狀態，故它們與手掌的垂直向量hand.palmNormal（）呈一定大小的夾角β'；

通過公式（2）計算T1和T2指尖三維空間位置坐標的歐氏距離d。隨后分別計算出T3和T4之間的夾角α34以及T4和T5之間的夾角α45。用分別表示兩根相鄰手指的指向，那么兩指間的夾角α可以通過公式（1）計算得出。相應的手指與手掌的垂直向量夾角β也可通過式（1）求得。

圖1　手掌心朝向示意圖

圖2　手指朝向示意圖

圖3　Leap Motion空間三維坐標系

由于Leap Motion的高精度（0.01mm），經過試驗調整，在本文中設置的歐氏距離閾值d=0.3，α'=15°，β'= 60°。

圖4　三維手勢Okay手指指向與手掌心垂直向量示意圖

3　手勢庫的建立

在本系統中，定義的三維手勢主要包括為單手靜態三維手勢和雙手靜態三維手勢。通過本文方法，可以有效識別不同姿態的三維手勢，因此可以建立一個基于單手和雙手靜態三維手勢庫。結合傳統的簡單的靜態手語，我們的三維手勢庫中的手勢包含的單手靜態三維手勢如圖6所示：數字0-9，通用手語，如OK（食指尖與拇指尖相觸，其他手指豎起），棒（豎大拇指），差（握拳狀后大拇指朝下豎起），我愛你（豎起大拇指、食指和小指）等。

對于雙手靜態三維手勢，分為兩類：一類可以是簡單的單手靜態三維手勢的組合，即一只手可以表達14中不同姿態，雙手組合起來的三維手勢就可以多達196種（14×14）；另一類就是簡單的、盡可能少遮擋或無遮擋的三維手勢，如圖5所示。

圖5　單手靜態三維手勢

圖6　雙手靜態三維手勢

通過不同單手靜態三維手勢的組合以及雙手靜態三維手勢，本文所能建立的三維手勢庫可以包含200多種不同的三維手勢。

4　結語

借力于三維體感技術和新型體感設備的快速發展和普及，本文提出了一種非接觸式的、基于視覺感知的三維手勢識別方法，并使用雙手的不同手勢組合建立了一個簡單三維手勢庫，可以應用于手語識別等領域。鑒于Leap Motion設備識別范圍有限，不能精確識別人上肢動作，并且手語手勢的遮擋和細節微小差別，都是目前的難點問題，希望在未來的新一代設備上加以解決。

參考文獻：

[1]Shi Zhuo，Li Ying-hui，Yu Ke，ChengYuan-quan，Zhou Chang-shao．Research of Hand Gesture using Kinect based on Finger Recognition[J]．Computer Modelling and New Technologies，2014，VOL.18，P158-162

[2]范保玲.基于Hough變換和神經網絡的中國靜態手語識別[D].西安建筑科技大學，2008

[3]郭彩龍.中國近代手語識別的研究[D].西安建筑科技大學，2009

[4]翁漢良，戰蔭偉.基于視覺的多特征手勢識別[J].計算機工程與科學.2012（2）

[5]龐啟超.面向人機交互的三維手勢數據處理技術研究[D]．華南理工大學，2015

[6]胡弘，晁建剛，楊進，趙再騫，林萬洪.Leap Motion關鍵點模型手姿態估計方法[J]．計算機輔助圖形設計與圖形學學報，20015（1）：1211-1216

3D Gesture Recognition Based on Leap Motion

SHI Zhuo，LI Ying-hui，AN Ya-lei
（Guilin University of Electronic Technology，Guilin 541004）

Abstract：

Studies 3D gesture recognition with Leap Motion，and establishes a static 3D gesture library in single hand and two hands.By reading the document of palm and finger in Leap Motion API，looks for the feature of certain 3D gesture and presents a novel method of 3D gesture recognition.With the establishing of 3D gesture library，the more research on 3D gesture recognition or the large-scale gesture library will be in progress.

Keywords：

研究基于體感設備Leap Motion的三維手勢識別方法，并建立單手和雙手靜態三維手勢庫。通過研究Leap Motion API中關于手掌和手指的數據結構描述，尋找特定三維手勢特征，進而提出一種三維手勢識別方法。結合靜態手勢的特征，建立一組關于單手靜態和雙手靜態的三維手勢庫。對今后基于體感設備的三維手勢識別和建立大型的三維手勢庫等一系列研究有一定的參考價值。

人機交互；三維手勢；手勢識別

基金項目：

廣西可信軟件重點實驗室開發課題（No.KX201304）、廣西信息科學實驗中心開放課題（No.YB1506）

文章編號：1007-1423（2016）14-0074-04

DOI：10.3969/j.issn.1007-1423.2016.14.016

作者簡介：

史卓（1978-），男，江蘇常州人，副教授，研究方向為圖形圖像處理、數字媒體、移動軟件開發技術

李映輝（1988～），男，湖北黃岡人，在讀碩士研究生，研究方向為計算機圖形學

收稿日期：2016-03-15修稿日期：2016-04-30

Human-Computer Interaction；3D Hand Gesture；Gesture Recognition