基于Kinect傳感器的家電手勢控制應用研究

吳志勇，杜 振

(1. 山東理工大學 計算機科學與技術學院，山東 淄博 255049； 2. 中國海洋大學 信息科學與工程學院，山東 青島 266100)

基于Kinect傳感器的家電手勢控制應用研究

吳志勇1，2，杜 振2

(1. 山東理工大學 計算機科學與技術學院，山東 淄博 255049； 2. 中國海洋大學 信息科學與工程學院，山東 青島 266100)

為提高智能家電的人機交互性，研究實現了一種基于Kinect傳感器的手勢識別系統，用戶通過該系統可手勢控制電視的多種操作功能。對常見的3種動態手勢識別算法進行分析對比后，結合應用需求，重點研究了動態手勢識別DTW算法?；贙inect for Windows SDK獲取的手勢深度圖像和骨骼圖像數據，采用DTW算法進行識別，最后給出了程序實現。實驗表明，該方法可實現多種電視控制功能，而且具有較好的實時性和準確性。

Kinect；手勢識別；DTW算法；家電控制

隨著人機交互技術的發展，人與機器設備之間的交互體驗越發簡單和自然。現今，不論是小小的智能手機終端還是大屏幕設備都可采用觸屏技術，使人們擺脫了繁瑣的鍵盤輸入和鼠標控制。未來，人機交互的理想狀態可通過語言、手勢、表情等自然操作設備[1]，而這些功能已在多種領域嘗試和應用，其功能優化和發展依賴于語音識別、手勢識別、人臉識別技術的發展。

另外，隨著物聯網智能家居產業的發展，智能家電設備將是智能家庭空間的重要應用，如何使家庭用戶與智能家電設備更自然地交互，是各大家電廠商技術競爭的動力。目前，采用較廣泛的技術是在智能家電設備中嵌入無線模塊，通過無線感知、遠程控制、服務的方式為家庭用戶提供操作功能，而這仍需要家庭用戶通過各種終端進行操作?，F今，手勢識別技術取得較大發展，相對傳統手勢識別技術易受光照、背景等外部因素影響，手勢識別準確率具有較大提高[2]。本文研究一種基于Kinect傳感器的智能電視手勢控制系統，通過Kinect采集圖像深度數據和骨骼數據，采用DTW算法識別手勢動作，完成智能電視控制功能。實驗表明，該方法可實現多種智能電視控制功能，而且具有較好的實時性和準確性。

1 Kinect傳感器

Kinect是微軟發布的一款體感外設，設備擁有3個攝像頭，可同時獲取RGB彩色圖像、深度圖像和人體骨骼圖像，是研究基于計算機視覺的手勢識別技術的理想設備[3]。其外觀如圖1所示，中間一個是RGB攝像頭，圖像采集速度可達30 f/s(幀/秒)；兩邊分別是紅外線發射器和紅外線接收器，用于深度圖像的獲??；兩側是一組四元傳聲器陣列，用于聲源定位和語音識別。

圖1 Kinect外觀圖

2 手勢識別技術

手勢通?？煞譃殪o態手勢和動態手勢，靜態手勢是指手在不動的情況下，手指和手掌做出不同的姿勢和形狀；動態手勢是指手隨時間的變化，手的位置和形狀發生變化的手勢，而動態手勢更能表達操作者的豐富意圖[4]。結合應用需求，本文重點研究動態手勢識別，動態手勢識別算法包括3種，即基于語義識別、基于統計識別和基于模板識別，表1對各種識別方法進行了比較。

表1 手勢識別技術比較

識別算法算法、模型優點缺點語法識別上下文無關句法分析、語法推理，較少使用易于理解準確率低、魯棒性差統計識別隱馬爾科夫模型HMM準確率高計算過程復雜模板識別動態時間規整DTW算法簡單、效率高易受外界影響

從比較來看，動態手勢識別算法主要應用HMM和DTW兩種，針對簡單孤立的手勢識別，兩種算法識別效果不大，但因HMM模型建立過程復雜，所以本文選擇較為簡單有效的DTW算法進行手勢識別。

3 基于DTW的動態手勢識別

3.1 DTW算法思想

DTW算法采用動態規劃的思想，可以很好地解決時間軸畸變問題，被廣泛應用于語音識別系統[5]。而語音識別和手勢識別相類似，起決定作用的不是語言和手勢移動的速度，而是音調和手勢移動軌跡。

設模板特征向量時間序列A={a1,a2,…，ai}和待識別特征向量時間序列B={b1,b2,…，bj}，其中i不一定等于j。通過DTW算法可構建一個時間規整函數，使序列B的時間軸j映射到序列A的時間軸i的總誤差最小。設F={f(1),f(2),…，f(n)}為時間規整函數，其中f(n)=(i(n),j(n))表示第n個匹配點，i(n)和j(n)分別是序列A和B的特征矢量，其匹配距離可表示為d(ai(n),bj(n))。按照DTW動態規劃先局部后整體的算法原理，即獲得使所有匹配點的特征向量之間的加權距離和D最小

(1)

為保證手勢識別的準確率提高，需對規整函數F加入限制條件[6]：

1)連續性限制：對規整函數中的所有匹配點f(n)嚴格按序計算匹配距離。

2)單調性限制：結合手勢動作的時間有序性，要求規整函數F中的匹配點f(n)不違背時間順序，即ft+1≥ft。

根據上述限制條件，添加相應的約束條件后，利用下列遞歸公式獲得累積距離，即可得到最優路徑，確定匹配手勢模板

D(ai(n),bj(n))=d(ai(n),bj(n))+min(D(ai(n),bj(n)),

(ai(n),bj(n)),(ai(n),bj(n)))

(2)

3.2 基于Kinect的手勢識別

以Kinect SDK提供的人體骨骼模型為基礎，通過Kinect傳感器可實時獲取人體骨骼中的20個節點的三維坐標信息[7]。根據智能電視手勢控制需求，分左右手臂兩組選擇20個骨骼節點中的4個節點提取動態手勢特征，即左手節點、左手腕節點、左手肘節點和左手臂節點；右手節點、右手腕節點、右手肘節點和右手臂節點，如圖2所示。

圖2 人體骨骼節點

結合智能電視控制操作，本文設計了如表2所示的動態手勢。

表2 手勢操作類型

序號動作控制含義1左手握拳，右手握拳手勢識別開始2左手向右，右手向右順向頻道切換3左手向左，右手向左逆向頻道切換4左手向上，右手向上音量增大5左手向下，右手向下音量減小

由于基于DTW的手勢識別是一種基于模板匹配的方法，因此需要建立手勢模板庫。將錄制好的手勢數據存入模板庫，然后利于DTW算法對控制手勢與模板庫匹配，識別出手勢?；贒TW的識別流程如圖3所示。

圖3 基于DTW算法的手勢識別流程

4 手勢識別實現

智能電視手勢控制系統以實現對智能電視的節目切換、音量調節、靜音開關等控制功能為目標，模擬系統由智能電視、Kinect傳感器、無線視頻機頂盒、便攜式計算機組成，如圖4所示。

圖4 系統組成結構

系統中的無線視頻機頂盒連接智能電視，并通過無線方式接收便攜式計算機發送的手勢識別信號。Kinect傳感器與便攜式計算機連接。傳統情況下，視頻機頂盒是通過遙控器操作控制，而接入Kinect體感傳感器后，通過手勢識別軟件，視頻機頂盒接收筆記本電腦發送的用戶手勢控制功能，完成對視頻設備的手勢控制。

本文通過Kinect攝像頭獲取手勢深度圖像和骨骼圖像，需要用到的開發工具包括Visual Studio .Net 2010,Kinect SDK for Windows 1.0和OpenCV。Kinect SDK for Windows是微軟發布的基于Kinect的開發套件[8]，為驅動Kinect設備提供API接口，但該SDK并沒有提供手勢識別引擎，因此需要自己實現手勢識別功能，安裝SDK后，設備管理器內顯示如圖5所示的設備信息。OpenCV是開源的計算機圖像處理開發包，可用于對獲取手勢圖像的處理。

圖5 Kinect設備信息

為獲取深度圖像和骨骼圖像，Kinect SDK提供了一個傳感器對象和兩個獲取深度數據、骨骼數據的重要方法。KinectSensor對象表示Kinect硬件設備，是獲取彩色影像數據，深度數據和骨骼追蹤數據的源頭。

kinectSensor_DepthFrameReady方法可打開深度圖像幀來提取深度幀數據，kinectSensor_ SkeletonFrameReady方法打開骨骼圖像幀來提取骨骼幀數據，獲取骨骼數據方法使用如下：

private void kinectSensor_SkeletonFrameReady(object sender， SkeletonFrameReadyEventArgs e) {

using (SkeletonFrame skeletonFrame = e.OpenSkeletonFrame()) { if (skeletonFrame != null) {

Skeleton[] skeletonData = new Skeleton[ks.SkeletonStream.FrameSkeletonArrayLength]；

skeletonFrame.CopySkeletonDataTo(skeletonData)；

its.ProcessSkeleton(skeletonData， ks.AccelerometerGetCurrentReading()， skeletonFrame.Timestamp)；

}

}

}

獲取深度圖像和骨骼圖像后，通過調用已封裝的手勢識別方法gestureRecongniation()進行手勢識別，演示程序如圖6所示。

圖6 手勢識別演示程序(截圖)

通過測試，手勢識別響應時間在0.3 s以內，正確率達95%，通過與其他手勢識別系統比較，該系統具有明顯優勢，如表3所示。

表3 手勢識別系統比較

手勢識別系統比較項方便性受環境影響度擴展性精確度響應時間基于手環差較高差較高慢基于RGB圖像好高較好一般快基于Kinect深度圖好低好高快

5 結束語

現今，基于大數據、云計算、智能穿戴推動下的人機交互技術發展迅速，智能家居、智能汽車等與大眾息息相關的技術已不再陌生，人類與機器之間的交互和溝通趨向自然化、簡單化。本文以微軟Kinect傳感器為基礎，研究實現了手勢識別系統在智能家電控制中的應用，通過本系統的實現對手勢識別技術和家電人機交互發展具有應用指導意義。

[1] 楊碧玲.手勢和語音識別_智能家電人機交互新趨勢[J].集成電路應用，2013(3)：32-35.

[2] 陳艷麗，金紀東.手部姿勢與揮動速度識別的人機交互[J].電子測量與儀器學報，2014(1)：56-61.

[3] 方華，劉詩雄.基于Kinect骨骼系統的手勢識別研究[J].計算機工光盤軟件與應用，2014(2)：65-68.

[4] 陳靜. 基于Kinect的手勢識別技術及其在教學中的應用[D].上海：上海交通大學，2013.

[5] SU C J，CHIANG C Y，HUANG J Y. Kinect-enabled home-based rehabilitation system using dynamic time warping and fuzzy logic[J]. Applied Soft Computing，2014(22)：652-666.

[6] 鄒洪.實時動態手勢識別關鍵技術研究[D].廣州：華南理工大學，2011.

[7] 張毅，張爍.基于Kinect深度圖像信息的手勢軌跡識別及應用[J].計算機應用研究，2012(9)：3547-3549.

[8] 吳秦，陳智.基于Kinect骨骼跟蹤技術的人機交互[J].常州大學學報，2014(3)：6-11.

Research on Gesture Control System Applied on Home Appliance by Kinect Sensor

WU Zhiyong1，2，DU Zhen2

(1.SchoolofComputerScienceandTechnology，ShandongUniversityofTechnology，ShandongZibo255049，China； 2.SchoolofInformationScienceandEngineering，OceanUniversityofChina，ShandongQingdao266100,China)

To improve human-computer interaction of the intelligent home appliances， a gesture recognition system based on Kinect sensor is implemented. Smart TV with a variety of operating functions is controlled by the gesture recognition system. According the application needs the DTW gesture recognition algorithm is focused after analysis and comparison of three kinds of dynamic hand gesture recognition algorithm. The gesture is recognized with DTW algorithm after obtained the data of depth gesture image and skeleton gesture image by the Kinect SDK for Windows. Finally， the program demo is given. The tests show this method can achieve a variety of TV control function and has better real-time performance and veracity.

Kinect；gesture recognition；DTW algorithm；appliance control

山東省高等學?？萍加媱濏椖?J10LG80)

TP216.2

B

10.16280/j.videoe.2015.16.014

2015-07-02

【本文獻信息】吳志勇，杜振.基于Kinect傳感器的家電手勢控制應用研究[J].電視技術,2015，39(16).

吳志勇(1978— )，講師，博士生，主要研究領域為嵌入式系統、模式識別。

責任編輯：時 雯