基于Kinect的人體骨骼信息提取與手勢識別

陳燕軍

(江西現代職業技術學院 機械學院,江西 南昌 330095)

0 引言

Kinect for Windows SDK是微軟專為開發Kinect傳感器而設計的一套軟件開發包，它賦予了電腦調用自己的“眼睛”和“耳朵”(即紅外投影器、RGB攝像頭及麥克風陣列等)來實現視聽的功能。

微軟公司發布了Kinect.NET接口，這使得開發人員可以在現有的LabVIEW平臺上使用.NET技術來實現Kinect傳感器的開發。Kinesthesia Toolkit for Microsft Kinect是一個基于LabVIEW平臺的第三方開發工具包，它將Kinect的.NET控件的功能都封裝成LabVIEW的子VI，從而大大提高了Kinect的開發效率。

Kinect for Windows SDK的核心包括圖像數據API、深度數據API和骨骼數據API，通過調用這些API函數實現了體感交互軟件功能的開發，例如姿勢識別、動作識別、手勢識別和聲音識別等[1]。

1 人體骨骼信息的提取

1.1 Kinect骨骼追蹤原理

Kinect骨骼追蹤是通過紅外投影器來感知外部環境的，因此，無論外部環境光照條件如何，都可以完成骨骼追蹤的功能。Kinect利用黑白光譜的方式來感知外部環境，即：純黑代表無窮遠，純白代表無窮近，黑白的灰色地帶對應物體到傳感器的物理距離。Kinect收集視野范圍內的每一點，并形成一幅代表周圍環境的景深圖像。傳感器以每秒30幀的速度生成景深圖像數據流，實時地再現周圍外部環境[2-4]。

Kinect人體骨骼信息獲取的具體過程為：首先Kinect發射紅外線并接收紅外光的反射，從而可以計算出視場范圍內每一個像素的深度值，即可獲得深度圖像，從深度圖像中可以提取物體的形狀；然后利用這些形狀信息來匹配人體的各部分；最后計算出人體各關節的位置[5]。

1.2 深度圖像獲取與人體骨骼關節點識別

在Kinect人體骨骼識別中，人體的骨骼結構是由20個骨骼關節點來表示的。全身20個骨骼關節點分別為：Head(頭部)、ShoulderCenter(雙肩中央)、ShoulderLeft(左肩)、ShoulderRight(右肩)、WristLeft(左腕關節)、WristRight(右腕關節)、AnkleLeft(左踝關節)、AnkleRight(右踝關節)、HandLeft(左手)、HandRight(右手)、Spine(脊柱中段)、HipCenter(臀部中央)、HipLeft(左臀)、HipRight(右臀)、KneeLeft(左膝蓋)、KneeRight(右膝蓋)、ElbowLeft(左肘關節)、ElbowRight(右肘關節)、FootLeft(左腳)、FootRight(右腳)[6]。Kinect骨骼跟蹤的空間坐標系采用笛卡爾坐標系，其中X、Y、Z是深度傳感器的機身坐標軸，遵循右手坐標系規則。人體骨骼關節點可以用空間坐標(x,y,z)來表示(單位為m)。Kinect傳感器的位置放置會影響骨骼空間坐標系。為了保證提取到的人體骨骼圖像是豎直站立的，在提取人體骨骼數據時應該注意保持Kinect傳感器水平放置。如果Kinect放置在非水平的表面上或者通過傳動馬達調整有效視角范圍都會導致Y軸不垂直于水平面，那么計算得到的坐標系將不再是標準形式，這將會導致圖像中的人體骨骼圖像發生傾斜[7]。

1.3 LabVIEW平臺下Kinect人體骨骼數據提取的實現

在LabVIEW平臺下對骨骼數據的提取是利用其功能子VI來實現的，基于功能子VI實現人體骨骼數據提取的LabVIEW程序流程如圖1所示。

圖1 人體骨骼數據提取的LabVIEW程序流程

由于外界環境的影響，Kinect深度攝像頭所獲取的深度圖像不是很穩定，存在一定的噪聲和空洞，如果直接從中提取骨骼信息，會對提取的結果產生一定的影響，因此需要預先對深度圖像做進一步的噪聲濾波來消除空洞和邊緣模糊現象對深度信息的影響。

在Kinect中，其自身采用了泊松方程來對噪聲進行濾波，通過這種方法可以判斷人體表面特征點是真實的點還是噪聲。其具體實現過程如下：先抓取特征點周邊表面的角度和朝向，從而判斷該點可能存在的空間位置；同時根據朝向進行判斷，這樣可以利用泊松方程在特征點周圍形成一個虛擬的距離場。通過泊松方程建立這個距離場之后，根據采樣特征點的位置，盡可能地評估它對周圍的影響，估計周圍表面距離場情況。每個特征點的最終狀態和特征并不僅僅取決于它本身，還取決于周圍的很多點。如果在采樣面中有一個凸起點，這個點周圍的點在朝向特性上都沒有表現出有凸起的趨勢，則這個點將被判斷成噪聲去除掉，反之則保留[8]。

此外，還需要對Kinect采集到的深度信息進行濾波，本文采用中值濾波法。中值濾波的具體方法是采用特定結構的二維滑動模板，按照像素值大小對模板內的像素進行排序，生成單調上升或下降的二維數據序列。中值濾波算法流程如圖2所示。

通過實驗可以獲取人體的視頻圖像及骨骼數據，圖3顯示的實驗結果是不同姿勢的二維圖像和骨骼數據。

2 人體手勢識別

2.1 手勢識別的概念

如前所述，體感控制包括人體姿勢控制和手勢控制，姿勢可以由手產生，也可以由整個身體產生，而手勢只能通過人手產生。姿勢和手勢的區別在于手勢更強調手的運動，而姿勢則更強調整個身體的形態。

在人機交互領域，可以根據手勢所表達的意義對其進行如下分類：一類為無意義的動作，另一類為用戶意圖手勢。用戶意圖手勢可以分為操作手勢和交流手勢。操作手勢是用來操控環境中的物體，例如旋轉、平移等；交流手勢本質上是為了傳遞某種信息，它可以分為動作手勢和符號手勢。符號手勢分為指示手勢和語氣手勢，其具有語言描述的作用；動作手勢分為模仿手勢和指向手勢，在人機交互領域中經常使用動作手勢來實現控制功能[9]。手勢識別過程是指把模型參數中的點或者軌跡劃分到該空間里某個子集的過程，靜態手勢對應的是空間子集里的一個點，動態手勢對應的是空間子集里的一條運動軌跡。基于計算機視覺的手勢識別過程分為動態手勢識別過程和靜態手勢識別過程，其具體流程分別如圖4和5所示。

圖2 中值濾波算法流程

圖3 人體骨骼數據采集與顯示

圖4 靜態手勢識別流程 圖5 動態手勢識別流程

2.2 基于Kinect的手勢識別

Kinect手勢識別實質是基于視覺的手勢識別，主要是通過提取手部運動特征來實現。常見的手部運動特征主要包括左右手的向前、向左、向右、向上伸展等手勢。利用Kinect獲取的人體骨骼信息來識別手勢動作，并通過計算不同骨骼關節之間的夾角來識別人體的特定姿勢，其具體的流程如圖6所示。

圖6 手勢特征識別與處理流程

首先通過Kinect RGB傳感器獲取人體彩色圖，通過獲取的人體骨骼數據來構建人體骨架，然后再對手臂骨骼數據進行分析并與已定義的手勢進行分析比較，最后根據比較得出的信息對手勢進行識別并輸出控制信息。

在手勢識別的過程中，首先需要對手勢進行定義，其次是根據骨骼信息來識別已定義的手勢。在具體實現中，本文是利用手臂的關節組成的向量與X、Y、Z軸方向向量之間的夾角來進行條件判定的。當手臂關節組成的向量與方向向量的夾角在一定的范圍內，則認為實際手勢與已定義的手勢是相匹配的，從而得出控制指令信息并用來驅動相應的應用程序。

3 結束語

通過分析Kinect骨骼追蹤的原理、人體手勢識別的原理，以及在LabVIEW平臺下對Kinect進行開發的具體流程，提取并顯示人體二維圖像及三維骨骼信息，并利用人體骨骼三維信息求解人體關節角度的空間向量法，實現通過Kinect來對人體骨骼信息及人體手勢的識別，從而進一步拓寬了體感控制的應用范圍。