基于數(shù)據(jù)手套的動作承接式手勢識別

勞志輝 吳煥斌 張文山

基于數(shù)據(jù)手套的動作承接式手勢識別

勞志輝 吳煥斌 張文山

隨著計算機科學的發(fā)展，人與計算機之間的交互已成為人們?nèi)粘Ｉ詈凸ぷ髦胁豢苫蛉钡囊徊糠郑謩葑R別技術(shù)是人機交互領(lǐng)域中的一個研究熱點。本文提出基于數(shù)據(jù)手套的動作承接式手勢識別方案，促進了動態(tài)手勢識別技術(shù)的應用和發(fā)展。

隨著計算機科學和技術(shù)水平的不斷提高，用戶與計算機的交互方式日漸受到重視，而人機交互技術(shù)作為研究人和計算機信息交換過程以及二者之間的相互影響的技術(shù)成為了科研領(lǐng)域的重要方向。而虛擬現(xiàn)實技術(shù)的出現(xiàn)更是為人們提供了一種全新的人機交互方式，用戶可以利用語音、眼神、手勢等人類本能的方式與計算機信息打交道。傳統(tǒng)的鼠標、鍵盤等交互工具已經(jīng)不能適應在虛擬環(huán)境中進行交互的需要，而手勢作為一種更自然、更高效的交互通道，逐漸成為國內(nèi)外研究的熱點。

手勢識別技術(shù)研究現(xiàn)狀

以不同的標準和目標為基礎(chǔ)，手勢識別技術(shù)可以被分成很多不同的類別。如果從采集的基礎(chǔ)設備上劃分可以分為佩戴式手勢識別技術(shù)和非佩戴式手勢識別技術(shù)；如果從手勢信號獲取的方法上劃分可以分為：基于觸摸屏的手勢識別，基于加速度傳感器的手勢識別，基于紅外距離傳感器手勢識別，基于視覺手勢識別和基于數(shù)據(jù)手套手勢識別等幾類。

基于觸摸屏的手勢識別

觸摸屏是一種可接受觸頭等輸入信號的感應式液晶顯示裝置，現(xiàn)已被廣泛用于各類電子產(chǎn)品中，是最為通用的手勢傳感技術(shù)。基于觸摸屏的手勢識別技術(shù)從早期的單點觸摸發(fā)展到如今的多點觸摸，已經(jīng)可以完成更為繁瑣的手勢動作。雖然這種識別方式非常直觀簡單，但是觸摸屏是該技術(shù)必不可少的一環(huán)，導致了這種識別方式無法為用戶提供更為便利舒暢的交互。

基于加速度傳感器的手勢識別

加速度傳感器可以采集人手的運動信息，并將信息通過設備傳輸?shù)浇馕瞿K實現(xiàn)手勢識別的目的。如今這種技術(shù)的主要應用是在手機的動作感知上，用戶通過揮動、搖動、滾動手機來實現(xiàn)瀏覽圖片、播放音樂和進行游戲操作，無法真正實現(xiàn)手部動作的手勢識別。

基于紅外距離傳感器的手勢識別

紅外距離傳感器是一種利用紅外反射原理對障礙物距離進行測量的裝置。2008年，微軟公司利用紅外距離傳感器為手機開發(fā)了一個手勢控制接口。Celluon公司利用紅外測距的原理實現(xiàn)了虛擬鍵盤。然而這種手勢識別的方式容易受環(huán)境影響，而且最終的效果較為單一。

基于視覺的手勢識別

基于視覺的手勢識別系統(tǒng)通常利用攝像頭采集手部數(shù)據(jù)，然后通過圖像處理和特征提取等方法進行手勢識別。然而由于在數(shù)據(jù)采集時容易受到背景干擾，往往要求背景顏色和手的顏色有較好的區(qū)分度。2008年，Lichtenauer等人通過改進的動態(tài)時間規(guī)整算法對120個手語進行識別。就目前而言，基于視覺的手勢識別技術(shù)相對成熟。然而這種方法在實時性方面表現(xiàn)不如基于數(shù)據(jù)手套的方法。

基于數(shù)據(jù)手套的動作承接式手勢識別

基于數(shù)據(jù)手套的動作承接式手勢識別是通過數(shù)據(jù)手套收集用戶的手部信息，對手部動作數(shù)據(jù)進行算法處理，轉(zhuǎn)換成手部動作矢量數(shù)據(jù)陣列，然后從預先建立的以動作承接關(guān)系為基礎(chǔ)的手勢識別庫中進行模板匹配，對動作進行估計并輸出結(jié)果。

手部姿勢檢測

數(shù)據(jù)手套采用三軸加速度傳感器檢測捕捉手部的傾斜、翻轉(zhuǎn)動作，當加速度傳感器從D0運動到D1位置時，空間坐標（x，y，z）到（x1，y1，z1）這個過程中間，每個加速度傳感器連續(xù)偵測的x，y，z三個方向矢量運動加速度。

以重力方向作為參考方向，根據(jù)加速度與角度關(guān)系公式，以X軸為例如下：

AngleX =（arctan（sqrt（DataY_G *DataY_G + DataZ_G * DataZ_G）/ DataX_G））* 180 / PI

Y軸、Z軸類似，可以分別計算出三軸加速度傳感器x、y、z三軸與運動方向的夾角。

圖1 數(shù)據(jù)存儲結(jié)構(gòu)示意圖

手指運動檢測

數(shù)據(jù)手套采用電壓式彎曲傳感器來捕捉手指的彎曲伸展動作，隨著彎曲角度的增加，彎曲傳感器的電阻值也相應改變。通過對比預先從大量的實驗測試中得到電壓式彎曲傳感器的彎曲特性曲線，得到手指的彎曲程度。

手勢識別庫

基于數(shù)據(jù)手套的動作承接式手勢識別根據(jù)動作承續(xù)關(guān)系建立金字塔形式的數(shù)據(jù)存儲結(jié)構(gòu)。如圖1所示，如果動作順序為動作a、動作b、動作e那么可以識別為結(jié)果1，相應不同順序的動作可以識別為不同的結(jié)果。而以多個圖1所示的數(shù)據(jù)存儲結(jié)構(gòu)組成了以動作承接關(guān)系為基礎(chǔ)的手勢識別庫。

動作承接匹配

傳統(tǒng)的基于時間幀手勢識別時，由于時間超時或間斷而引起的語句歧義，多字，漏字等不足等問題。為了解決這些問題，基于數(shù)據(jù)手套的動作承接式手勢識別采用以動作的前后承啟為依據(jù)，前一個單元動作和后續(xù)單元動作作為構(gòu)成語句的基本要素，每一個句子都由單元動作來識別的方法。并且基于動作的前后承啟減少了基于時間片段輪詢的時間幀動態(tài)手勢計算單元的資源消耗，降低系統(tǒng)的開銷需求，提高了動態(tài)手勢識別效率。算法的優(yōu)勢還在于，可以隨時指定，增加或修改句子每一個動作單元的特征，大大提高了數(shù)據(jù)庫的可操作性和靈活性，便于推廣和應用。

結(jié)語

基于數(shù)據(jù)手套的手勢識別技術(shù)是人機交互領(lǐng)域中的熱點問題，相比于其他手勢技術(shù)它具有簡單、快捷、受環(huán)境影響小等特點。本文提出的基于數(shù)據(jù)手套的動作承接式手勢識別方法可以廣泛應用于人機交互科普展項設計、聾啞人群與正常人之間的交流等場合，有力促進動態(tài)手勢識別技術(shù)的應用和發(fā)展。

DOI：10.3969/j.issn.1001-8972.2016.06.012