基于穿戴式加速度傳感器的手勢識別系統

陳陽黃海鵬許望

（1.廣東省科技基礎條件平臺中心 2.華南理工大學電子與信息學院）

基于穿戴式加速度傳感器的手勢識別系統

陳陽1黃海鵬2許望2

（1.廣東省科技基礎條件平臺中心 2.華南理工大學電子與信息學院）

采用ez430-chronos智能手表作為開發平臺，利用其內置功能，讀取手部運動產生的加速度數據，并將其傳送至處理器。對目標手勢采集一定量的數據，同時采集同樣量的負樣本—人手的自然動作，比較二者不同之處，確定目標手勢的特征，并利用該特征識別目標手勢。實驗結果表明：該系統對目標手勢有較高識別率，而對負樣本有較高的誤識別率，但可以通過設定更詳細的識別特征進行改善。

穿戴式設備；加速度傳感器；手勢識別

0 引言

近年來，可穿戴式計算機（又稱可穿戴設備）越來越引起人們的重視，它帶來了一種新的人機交互方式。目前已有Fitbit Flex表帶、谷歌眼鏡和三星智能手表Gear等設備面世。未來幾年，可穿戴式電子產品將市場化，并影響或改變人們的日常生活。

手勢交互是近幾年人機交互領域的研究熱點，與傳統人機交互模式相比，基于手勢的人機交互更自然便捷。目前，主流的手勢識別方式為基于視覺的手勢識別，但由于人手是復雜形變體，手勢具有多樣性、多義性以及時間和空間上的差異性等特點，因此基于視覺的手勢識別難以取得突破性進展。同時，微型化、低功耗電子器件技術的飛速發展極大地推動了可穿戴設備的研究，基于加速度傳感器的慣性測量單元幾乎能嵌入到任何界面或設備中，直接測量手勢動作信息。并且，移動計算技術的發展和普及也為實時手勢識別提供了支撐環境。基于可穿戴傳感器的手勢交互逐步引起人們的重視[1]。

穿戴設備采用的智能傳感技術涉及慣性傳感、生物傳感和環境傳感等技術，能夠實現運動跟蹤、數據收集、信息傳輸等基本功能，使“人—設備—環境”間完成信息互動[2]。隨著傳感器集成性、功能性和智能化的提升，各種傳感功能的融合將成為智能傳感技術的研發方向。

1 基于加速度傳感器的手勢識別

加速度傳感器是一種可測量加速力的電子器件，而加速度是空間矢量，在不能預知物體運動方向時，需用三軸加速度傳感器來檢測物體的加速度信號。同時三軸加速度傳感器可以內置于大部分便攜設備中，具有體積小、重量輕等特點。且通過攜帶加速度傳感器的方式，可以更穩定地捕捉到人手動作，對手勢的識別有更穩定的識別率[2]。

本文利用ez430-chronos智能手表內置的三軸加速度傳感器，獲取人手加速度信息，并基于軟件平臺CCS編輯與調試相關代碼，實現對目標手勢的識別。

2 系統設計

2.1 手勢識別系統結構

基于穿戴式加速度傳感器的手勢識別系統結構如圖1所示。可穿戴數據采集模塊佩戴在主手腕上，ez430-chronos內置的三軸加速度傳感器采集手勢動作信號。

圖1 基于穿戴式加速度傳感器的手勢識別系統結構

當加速度傳感器感知到手部的三維活動時，獲取的加速度信號通過RF傳輸至處理終端，經過活動窗口檢測、特征提取和手勢動作識別轉換為手勢信息，再變化為終端命令[3]。

2.2 手勢選取

人的手勢多種多樣，而實驗需選取一種能讓系統識別出的手勢，該種手勢應具有一定規律且不能過于簡單，否則易與人體自然動作混淆。為此，本文將圓圈、三角形、直線作為手勢軌跡候選。

圓圈，作為曲線運動的軌跡，雖能夠較好地區別于其他自然動作，但根據采集的數據并未發現其固定的特征。

三角形軌跡，全由直線軌跡構成，雖然比圓的曲線更易于分辨，但實際操作時，軌跡可能有較大的分離，導致軌跡并非正確的三角形，因此這一類手勢也難以識別。

圖2(a) 向右手勢x軸加速度值變化

圖2(b) 向右手勢y軸加速度值變化

圖2(c) 向右手勢z軸加速度值變化

直線軌跡，相對于圓圈、三角形等復雜組合的軌跡，直線僅在一條線上運動，其特征十分鮮明，唯一的缺點是該動作在自然活動中也容易產生，不易區分。然而綜合考慮其優點，最終選用直線軌跡作為目標手勢，并嘗試用更大的動作將其與自然動作區別開來。

2.3 數據采集

ez430-chronos提供電腦接口，使用Matlab對加速度數據進行讀取。首先，人手做一個快速向右甩動的動作，并采集該動作的加速度數據，進行觀察，結果如圖2(a)～圖2(c)所示；然后再做出向左甩動手部的手勢，再次進行數據采集，其結果如圖3(a)～圖3(c)所示。

圖3(a) 向左手勢x軸加速度值變化

圖3(b) 向左手勢y軸加速度值變化

圖3(c) 向左手勢z軸加速度值變化

通過對兩組數據的比較，可發現它們在y軸和z軸上有相似的加速度數據，且在x軸上呈現完全相反的數據值，故可直接通過x軸上的數據特征區分手勢動作的左右方向。不難發現，向右甩手，x軸先后產生1個正的加速度數值與1個負的數值，負的數值是手勢完成后手往回拉所致，且回拉在手勢中是必然生成的且十分自然。于是，將先1個正脈沖而后1個負脈沖作為這一手勢的特征，向左的手勢特征則正好相反，為先1個負脈沖而后1個正脈沖。

隨后，讓手部進行隨意擺動，采集負樣本，并觀察其加速度值變化的圖像，結果如圖4(a)～圖4(c)所示

圖4(a) 負樣本x軸加速度值變化

圖4(b) 負樣本y軸加速度值變化

圖4(c) 負樣本z軸加速度值變化

對比數據可發現，在自然狀態下做出的動作，因無故意的發力，加速度數值較小，很少超過100，幾乎都不超過120。而在有意識使力狀態下，產生的加速度數值基本在120以上，因此選擇120的數值作為區分目標手勢和其他隨意手勢的閾值。

2.4 算法設定

將讀取到的加速度數據存入一個1000×3的數組中，并逐個讀取其中的數值，這里選取120作為識別橫向甩手動作的閾值。當x軸上加速度值大于閾值時，判斷目標手勢已出現，并根據數值本身的正負判斷其方向，即可對目標手勢做出識別。

3 系統整體測試

3.1 取樣與處理

為檢測系統能否實現設計的功能，需對手表進行手勢數據分析，在手上佩戴智能手表，進行一定次數的手勢動作并記錄每次的加速度數據，該套動作包含方向向左、向右的目標手勢以及非目標手勢，各個動作均采集100個樣本。

系統對數據進行處理，并記錄各個數據處理的結果，將結果與原手勢進行比較，看是否相符。若不符合，則將其記錄下來。最終通過出錯的樣本數除以總樣本數，得出系統的誤識別率，分析可能造成系統誤識別的原因，并對系統進行改進以降低誤識別率。

3.2 結果分析

本次實驗采集的向左、向右的目標手勢以及負樣本的數據各100組，共計300組，系統分別進行識別，并記錄識別錯誤的樣本，得到結果如表1所示。

表1 實驗一手勢識別情況

方向向右目標手勢組：經過系統的分析處理，100組樣本中，有7組被錯誤識別，誤識別率為7%。分析錯誤的樣本數據發現，錯誤原因可能是向右揮手時動作過慢，導致未能識別出向右的加速度，而收手時加速度超出閾值導致系統誤認為手勢為向左邊揮動；或是手勢揮動力度不足，導致加速度值不夠大，未被系統識別。要防止此類錯誤，還需加強判定條件，以識別出更明確的手勢特征，提高識別率。

方向向左目標手勢組：經過系統的分析處理，100組樣本中，有11組被錯誤識別，誤識別率為11%。分析錯誤樣本數據發現，錯誤原因基本同上，而錯誤樣本較向右目標手勢組多的原因，可能是使用右手作向右目標手勢和作向左目標手勢動作的差異造成，實驗中智能手表佩戴于右手腕，這使手向右甩時能比向左甩更為有力平穩。

負樣本組：經過系統的分析處理，100組樣本中，有15組被錯誤識別，誤識別率為15%，相對較高。分析錯誤的樣本數據發現，錯誤的樣本數據中都有一瞬間加速度值超過了閾值，所以被系統識別為目標手勢，原因可能是負樣本所代表的手勢無固定軌跡。為使結果更全面，采集的數據包括了大幅度、小幅度和靜止動作。而在大幅度動作中，手臂與胳膊均參與動作，雖無使勁，但處于手部末端的手腕仍能獲得較大的線速度，從而在判定區間產生超過閾值的加速度值，被系統誤識別為目標手勢。

要提高系統對負樣本的識別率，需使用更嚴謹的條件。通過觀察手勢的加速度值變化圖像可以發現，目標手勢圖像除了在做出手勢時會產生一個高峰值，收回時也會反向生成一個高峰值，根據這點將篩選條件增加為識別到超出閾值的加速度，在另一方向設置閾值檢測反向加速度值，當都檢測到后，則判斷為目標手勢。使用這種方法，對300組樣本再次進行處理與記錄，結果如表2所示。

表2 實驗二手勢識別情況

負樣本100組中，只有3組被誤識別，誤識別率3%，誤識別率有明顯下降。

方向向右目標手勢100組中，共有14組數據被錯誤識別，誤識別率14%。

方向向左目標手勢100組中，共有17組數據被錯誤識別，誤識別率17%。

比較2次結果可以發現：當識別手勢的條件更加嚴格后，雖能大量篩去負樣本，即一些自然的、無意識的手勢動作，但目標手勢卻更難以被系統識別。因為目標手勢的回收動作并非下意識的，較之揮出不容易產生足以超出閾值的反向加速度。

對此，再次進行改進，對反向加速度的檢測取更小的閾值，這里取100，并進行再一次的處理與記錄，結果如表3所示。

表3 實驗三手勢識別情況

方向向右目標手勢100組中，共有10組數據被錯誤識別，誤識別率10%。

方向向左目標手勢100組中，共有11組數據被錯誤識別，誤識別率11%。

負樣本100組中，有5組被誤識別，誤識別率為5%，維持在較低水平。

改進方法后，負樣本識別率雖略有升高，但系統對目標手勢的識別率有著更為明顯的改善。

4 結論

基于加速度傳感器的手勢識別較基于圖像處理的手勢識別方法，具有更穩定、更便攜的特點。本文利用ez430-chronos智能手表內置的三軸傳感器進行手勢加速度的采集，通過對采集的數據進行比較、觀察，分析出各種不同手勢之間的特征差別，并以此決定分辨手勢的方法。實驗結果表明：該系統對目標手勢有較高識別率；而對負樣本有較高的誤識別率，但可以通過設定更詳細的識別特征進行改善。

[1] 劉蓉,劉明.基于三軸加速度傳感器的手勢識別[J].計算機工程,2011,37(24):141-143.

[2] 李揚.新一代智能終端—可穿戴設備[J].高科技與產業化,2013,12(10):33-36.

[3] 周誼成,尤樹華,王輝.基于三維加速度的連續手勢識別[J].計算機與數字工程,2012,40(10):133-136.

Gesture Recognition System Based on Wearable Accelerometer

Chen Yang1Huang Haipeng1Xu Wang2

(1. Guangdong Science & Technology Infrastructure Center 2.School of Electronic and Information Engineering, South China University of Technology)

The ez430-chronos of Texas Instrument is used for the ez430-chronos has acceleration sensor and RF access point itself. The data of gesture can be simply read and send to the computer. A number of data made from both the gestures which makes sense and just is done naturally can be collected. The difference between those gestures can be found out, and the gestures we need and associate them with some commands can be recognized. It is proved that this system can recognize aim gesture with higher accuracy, the gestures without related causes more mistakes. The system can be improved by changing the way in recognition.

Wearable Devices; Acceleration Sensor; Gesture Recognition

陳陽，男，1984年生，本科生，研究方向：計算機、電子信息技術應用研究。E-mail: gdcc_chenyang@foxmail.com

黃海鵬，男，1992年生，研究方向：信號與信息處理。

許望，女，1994年生，在讀本科生，研究方向：信號與信息處理。