基于Kinect的實時手勢識別方法

田 元，王學(xué)璠，王志鋒，陳 加，姚 璜

(華中師范大學(xué) 教育信息技術(shù)學(xué)院，湖北 武漢 430079)

0 引 言

在人機(jī)交互中，手勢能生動表達(dá)大量交互信息。目前，手勢識別主要有依靠穿戴設(shè)備的方法[1,2]和利用RGB攝像頭的方法[3-8]。依靠穿戴設(shè)備能準(zhǔn)確提取手勢且有較高辨識度，如MAZUMDAR D提出的基于顏色手套的識別方法[1]，用戶穿戴特殊紅色手套進(jìn)行手勢識別，但這對手部活動造成不便，無法識別用戶指尖。利用RGB攝像頭的識別方法主要有：基于膚色模型和基于分類學(xué)習(xí)的識別方法。基于膚色模型的手識別方法通過皮膚顏色分割手部進(jìn)行識別，如張文清等提出的一種基于手勢識別的智能輸入[5]，雖然識別率較高但易把與膚色相近部位判斷為手部；俞博等提出的基于手指角度的方法[6]，該方法依賴光照，易受背景影響。基于分類學(xué)習(xí)的識別方法主要運(yùn)用HMM、Adaboost學(xué)習(xí)等算法結(jié)合SIFT等特征進(jìn)行識別，識別率高，如李東潔等提出的BP神經(jīng)網(wǎng)絡(luò)和PSO算法相結(jié)合的識別方法[7]，這種方法需采集大量樣本、訓(xùn)練時間長、效率較低。

許多研究者利用深度信息研究手勢識別[9-12]，如劉鑫辰等提出的用RGB-D攝像頭獲取3D空間分析指尖數(shù)量[9]，但當(dāng)不同手勢指尖點數(shù)量相同時無法進(jìn)行區(qū)分；談家譜等利用Kinect獲取骨骼信息跟蹤手部位置，結(jié)合膚色分割提取手部[10]，這種方法受膚色分割法局限，難以保證手勢的旋轉(zhuǎn)、平移和縮放不變性，實時性不高。

為克服上述問題，本文提出一種基于Kinect的實時手勢識別方法，可以準(zhǔn)確識別常用的10種計數(shù)手勢。首先利用Kinect獲取人體深度數(shù)據(jù)與骨骼位置，記錄手掌中心和手肘中心關(guān)節(jié)的坐標(biāo)；然后根據(jù)關(guān)節(jié)點位置分析深度圖像快速得出人體手部區(qū)域，根據(jù)手部區(qū)域中閉合曲線的包圍面積篩選出準(zhǔn)確的手部輪廓，并分析手部輪廓和手掌中心關(guān)節(jié)點位置修正手掌中心點；再根據(jù)手部輪廓查找手指指尖位置，判斷是否存在彎曲手指，確定手部特征點；最后通過特征點匹配進(jìn)行手勢識別。該方法能夠在復(fù)雜背景下準(zhǔn)確、高效地識別操控者的手勢，能夠克服光照變化和膚色差異的影響，并且算法簡便、具有良好的實時性，能夠識別彎曲手指，并保證手勢的旋轉(zhuǎn)、平移以及縮放不變性，可以適應(yīng)體感交互的需求。

1 手部輪廓提取

1.1 分割手部區(qū)域

微軟的Kinect體感設(shè)備可實時獲取RGB彩色圖像、深度圖像以及人體關(guān)節(jié)點的三維坐標(biāo)。本文利用Kinect獲取圖像的深度信息后，若檢測到人體，則分析深度圖像直方圖，根據(jù)閾值T，將圖像分為人體和背景兩部分，用白色區(qū)域表示人體，黑色區(qū)域表示背景。然后利用提取的人體骨骼中手掌中心t、手肘中心r、頭部中心點h和脖子中心點n的位置，計算頭部中心點h和脖子中心點n之間的歐式距離c。以手掌中心點t為中心在圖像中取一個半徑為0.8×c的圓形區(qū)域。剔除圓形區(qū)域外的人體信息以及區(qū)域內(nèi)與手掌中心深度值相差0.1 m的人體信息，得到人體手部信息。將手部像素點填充白色，其余像素點填充黑色，獲得一幅只包含人體手部區(qū)域的二值圖I1。

1.2 獲取手部輪廓

提取I1中以t為中心、c為半徑的圓形鄰域，在鄰域內(nèi)進(jìn)行中值濾波，快速消除手部區(qū)域附近的噪聲，過濾部分非手部像素，平滑圖像邊緣，得到圖像I2。然后用Canny算法對圖像I2進(jìn)行邊緣檢測，得到近似手形的曲線點集，即圖像邊緣曲線頂點序列。對所得的曲線頂點序列進(jìn)行過濾，計算每條曲線所包圍的連通區(qū)域的面積，排除面積小的干擾區(qū)域，篩選出面積最大且頂點數(shù)大于等于3的曲線，即為手部輪廓。按以下步驟對手部輪廓進(jìn)行多邊形逼近，得到一個多邊形的頂點序列pi(i為頂點序列號且i≥3)。

步驟1 連接輪廓上首尾兩點S和E，形成一條線段SE，即輪廓的弦；

步驟2 計算輪廓上到線段SE距離最大的點M，并求距離d；

步驟3 比較d與給定的閾值thr，若d≤thr，則SE就是輪廓的近似。

步驟4 若d≥thr，則將SE分為SM和EM兩條線段，然后分別對SM和EM重復(fù)進(jìn)行步驟1～步驟3。

步驟5 重復(fù)上述步驟，直到所有線段分割完，依次連接每個M點，得到輪廓的近似多邊形。

多邊形逼近過程如圖1所示，圖1(a)為進(jìn)行多邊形逼近前的手部輪廓，圖1(b)～圖1(d)為分割過程，圖1(e)為獲得的近似多邊形。從圖1(a)和圖1(e)的對比可以看出，該近似多邊形和手部輪廓形狀相似度高，但頂點數(shù)量較少，消耗的存儲空間更少，更平滑。

圖1 多邊形逼近過程

2 手部特征提取

手部特征是手勢識別的依據(jù)與關(guān)鍵，特征提取算法的好壞直接影響著手勢識別的效率。根據(jù)人體手部形態(tài)特征，手指定位可以準(zhǔn)確地描述手勢。目前有些研究者選取指尖點作為特征點，雖然能在一定程度上描述手勢，但難以在保證手勢旋轉(zhuǎn)、平移、縮放不變性的同時也能檢測到彎曲的手指。本文提出一種手部特征提取方法，首先求取手掌中心和手掌大小；然后逆時針掃描近似多邊形的頂點序列，檢測出近似多邊形的凸包點；再根據(jù)手掌大小和凸包點到手掌中心點的距離，計算比例閾值，查找出伸直的手指指尖和指根位置；最后結(jié)合手肘關(guān)節(jié)點位置，計算手掌中心點t到手肘中心點r的方向，由這個方向可以檢測到非伸直手指的特征點。具體方法如下：

(1)在多邊形的頂點序列中查找凸包點與凹陷點

首先，建立一個堆棧S，將多邊形頂點p0、p1壓入堆棧S。從i=2開始逆時針遍歷多邊形的頂點序列pi(2≤i<多邊形的頂點個數(shù))，根據(jù)由Sj-1指向Sj的向量判斷頂點pi的方向，方向判斷的方法如圖2所示，圖2(a)中pi的方向為向右轉(zhuǎn)，圖2(b)中pi的方向為向左轉(zhuǎn)。若方向向左轉(zhuǎn)，則將頂點pi壓入堆棧；若方向向右轉(zhuǎn)，則將Sj彈出堆棧。當(dāng)算法終止時，堆棧S中僅包含多邊形凸包點中的頂點，其順序為個各頂點在邊界上出現(xiàn)的逆時針方向排列的順序。

然后，逆時針依次計算多邊形頂點序列上的兩個相鄰?fù)拱c之間的每個點到兩個凸包點的歐氏距離，將距離最大的點存儲到凹陷點集中，得到多邊形的每個凸包點對應(yīng)的凹陷點序列，如圖2(c)所示，圖中每一條實線段對應(yīng)一對凸包點和凹陷點，其中距離手心較遠(yuǎn)的點表示凸包點，距離手心較近點表示凹陷點。

圖2 查找凸包和計算指尖

(2)計算手掌中心點g和手掌大小maxdist

掃描圖像所有像素點，位于多邊形內(nèi)并且與多邊形距離最大的點為最大內(nèi)切圓圓心g，到多邊形的歐氏距離為內(nèi)切圓的半徑maxdist。半徑為maxdist的圓大小近似等于手掌心的區(qū)域。

(3)修正手掌中心點t

由于人體體態(tài)差異和測量存在誤差，直接用Kinect獲取到的手掌關(guān)節(jié)點t不穩(wěn)定也不準(zhǔn)確，尤其在手指彎曲或者握拳的情況下對手掌中心的定位誤差很大。所以要利用前面計算得到的g來修正手掌中心點t，引入權(quán)重系數(shù)ω。計算方法如下

(1)

(4)計算指尖與指根

濾除手掌下部(如圖3(a)中矩形范圍內(nèi))的凸包點和凹陷點，并剔除圖2(c)中實線段長度過短或過長的凸包點和凹陷點。方法如下。

圖3 手掌下部和計算指尖

設(shè)向量A由手掌中心t指向凸包點f，向量B由手掌中心t指向手肘中心r。若向量A和向量B之間的夾角為銳角，即向量的點乘為正數(shù)，則剔除此手掌下部的凸包點f和它對應(yīng)的凹陷點b(如圖3(a)中實心點f、b)。根據(jù)人體生理學(xué)，以手心面的視角看手掌占整個手部長度的3/5，以手背的視角看手指與四指比例相等。計算手掌上部的凸包點f與手掌中心點t的歐氏距離dis1和手掌上部的凹陷點b與手掌中心點t的歐氏距離dis2(如圖3(a)中空心點f、b)，若滿足dis1>1.8×maxdist且dis2>maxdist，就將該凸包點與對應(yīng)的凹陷點構(gòu)成的線段記錄為手指，凸包點對應(yīng)指尖部分，凹陷點對應(yīng)指根部分，如圖3(b)所示。并計算手指個數(shù)N。此方法可以保持旋轉(zhuǎn)、平移和縮放不變性。

(5)獲取多邊形的包圍特征點

沿手掌中心點t到手肘中心點r的方向掃描圖像，計算多邊形的最高點坐標(biāo)o、最內(nèi)點坐標(biāo)e。如圖4所示，虛線表示掃描線，空心點表示最高點o，實心點表示最內(nèi)點e。

圖4 獲取包圍特征點

3 手勢匹配

本文所提出的方法可以識別如圖5所示的10種傳統(tǒng)計數(shù)手勢。手勢一到六以及手勢八都是伸直手指的手勢，手勢七和手勢九是半伸直手指的手勢，而且手勢九存在彎曲手指的特征，手勢十沒有伸出手指。根據(jù)以上描述結(jié)合提取的特征數(shù)據(jù)N、f、b、t、r、e、o、maxdist，可以將其量化為以下六級分類標(biāo)準(zhǔn)。

圖5 本文識別的傳統(tǒng)計數(shù)手勢

第一級分類標(biāo)準(zhǔn)是手指個數(shù)N(0≤N≤5)。

第二級分類標(biāo)準(zhǔn)是圖像坐標(biāo)系中每個手指對應(yīng)的指尖點f與手掌中心點t和手肘中心點r連線的垂直距離Distance，如圖6所示。計算方法如下

(2)

(3)

圖6 Distance

第三級分類標(biāo)準(zhǔn)是每個指尖間的歐式距離Fingdis。

第四級分類標(biāo)準(zhǔn)是每個手指的指根點和手掌中心t的相對位置dotZ。設(shè)向量A由手掌中心t指向指根點b，向量B由手掌中心t指向手肘中心r。計算方法如下

dotZ=(bx-rx)×(rx-tx)+(by-ry)×(ry-ty)

(4)

第五級分類標(biāo)準(zhǔn)是多邊形的包圍特征點e、o和多邊形最大內(nèi)接圓maxdist的關(guān)系rEO。判斷方法如下

(5)

第六級分類標(biāo)準(zhǔn)是凹洞檢測，方法如下：掃描多邊形的包圍特征點o和e之間的點，若全部位于多邊形內(nèi)部，則判定為無凹洞；否則，判定有凹洞，如圖7所示，白色粗線表示被掃描的像素，空心點表示o，實心點表示e，圖7(a)和圖7(c)為左右手手勢七且無凹洞的情況，圖7(b)和圖7(d)為左右手手勢九且有凹洞的情況。

圖7 凹洞檢測

手勢識別方法如下：

步驟1 若N=0且rEO=1，則判定手勢為十；若N=0且rEO≠1，進(jìn)行凹洞檢測。若有凹洞，則判定為手勢九；若無凹洞，則判定為手勢七；否則執(zhí)行步驟9；

步驟2 若N=1，且滿足以下條件：-25

步驟3 若N=2，且兩個手指都滿足條件：-20

步驟4 若N=2，且其中一個手指滿足以下條件條件：-50

步驟5 若N=2，且其中一個手指滿足以下條件：-500，則判定為手勢六；否則執(zhí)行步驟9；

步驟6 若N=3，且3個手指都滿足以下條件：-30

步驟7 若N=4，且4個手指都滿足以下條件：-30

步驟8 若N=5，則判定為手勢五；否則執(zhí)行步驟9；

步驟9 獲取下一幀圖像數(shù)據(jù)，重復(fù)步驟1到步驟8。

4 實驗結(jié)果分析

本文實驗的硬件設(shè)備為一臺二代Kinect體感設(shè)備XBOX ONE，計算機(jī)處理器為Intel Core i5-5200U@2.20 GHz，4 GB內(nèi)存。實驗的軟件環(huán)境為：Windows 10操作系統(tǒng)、Microsoft Visual Studio2013和OpenCV以及Kinect for Windows SDK 2.0軟件開發(fā)包。實驗中所有圖像分辨率為512×424。

本文隨機(jī)選取了10個人進(jìn)行測試，測試者需要將手心方向正對攝像頭，站在距離體感設(shè)備0.5m-1m的范圍內(nèi)，每人左右手各測試10種手勢10次，每個手勢共測試100次。測試結(jié)果見表1。

表1 實驗結(jié)果

從表1可以看出，此方法對手勢二、三、四、八、九的識別率較高，接近100%，對手勢一、五、六、七、十的識別率也能達(dá)到95%以上，所有手勢的平均識別率為98.7%。

文獻(xiàn)[6]提出構(gòu)造手指尖到手掌中心的線段作為手部骨架，計算手部骨架間的角度；以角度的大小和檢查指尖數(shù)量進(jìn)行分類的方法。可以識別手勢一到九，但手勢七和九定義為伸直手指的手勢。文獻(xiàn)[10]提出利用Kinect獲取手部位置，結(jié)合膚色分割法提取手部。然后利用行像素變化次數(shù)獲取掌心，并通過分析輪廓與掌心間的距離曲線來提取指尖點，通過靜態(tài)手勢特征分析識別手勢。

將本文方法與文獻(xiàn)[6]和文獻(xiàn)[10]提出的方法進(jìn)行對比，結(jié)果見表2。由表2可以得出，文獻(xiàn)[6]的平均識別率為96.78%，文獻(xiàn)[10]對手勢一到九的平均識別率為98.43%，本文方法的平均識別率為98.83%。而且，文獻(xiàn)[6]中的手勢七和八以及九都定義為伸直手指的手勢，并不是日常約定俗成的手勢，雖然容易識別但降低了實用性與舒適感，不能滿足自然人機(jī)交互方式的要求。文獻(xiàn)[10]雖然能識別彎曲手指，但不能保證手勢的旋轉(zhuǎn)，影響了操縱者的交互體驗，帶來很大不便。本文方法克服了以上不足，能夠在手勢旋轉(zhuǎn)的情況下得到正確的識別結(jié)果。

表2 3種識別方法對比

為了證明本文方法的旋轉(zhuǎn)、平移、縮放不變性，分別在操縱者手部旋轉(zhuǎn)、平移以及前進(jìn)后退的情況下進(jìn)行了實驗。實驗結(jié)果如圖8所示。由圖8可以看出，手勢在發(fā)生平移、旋轉(zhuǎn)、縮放的情況下，也能獲得正確的識別結(jié)果。

圖8 平移、旋轉(zhuǎn)、縮放測試

為了證明本文方法在光照發(fā)生明顯變化條件下的魯棒性，在實驗過程中使光線由明到暗發(fā)生變化，實驗結(jié)果如圖9(a)所示，第一行為真實的測試場景，第二行為對應(yīng)的識別結(jié)果。從圖中可以看出，當(dāng)光線由正常光照變化到嚴(yán)重不足時，本文方法也能正確識別手勢。

圖9 光照條件變化和復(fù)雜背景測試

為了證明本文方法在復(fù)雜背景環(huán)境下的魯棒性，本文在復(fù)雜環(huán)境下進(jìn)行了實驗。實驗結(jié)果如圖9(b)所示，測試者在實驗過程中不斷有其他人出現(xiàn)甚至有其他的人手進(jìn)行干擾，在這種情況下，本文方法也能準(zhǔn)確的識別手勢。

在實驗的過程中，本文讓測試者戴上白色的棉布手套，如圖10所示。在這種情況下，若采用基于膚色模型的手勢識別方法，識別正確率會受到手套顏色的影響而大大降低，而采用本文的方法能夠準(zhǔn)確的識別手勢。

圖10 戴白布手套測試

在實時性方面，本文方法的平均處理速度為每秒20～30幀，具有良好的實時性，各個步驟的平均處理時間見表3。

表3 各個步驟平均處理時間

5 結(jié)束語

本文主要研究了一種基于Kinect的實時手勢識別方法。主要通過運(yùn)用Kinect體感設(shè)備獲取深度信息和骨骼位置信息，然后提取人體手部信息并分析手部輪廓，再提取手掌中心點和指尖、指根以及包圍特征，并結(jié)合手肘關(guān)節(jié)點的位置進(jìn)行分析與手勢匹配，能夠準(zhǔn)確實時的識別10種常用的計數(shù)手勢。通過實驗結(jié)果可以得出，手勢二、三、四、八、九的平均識別率為99.7%，手勢一、五、六、七、十的平均識別率為97.7%。除此之外，本文方法還能消除復(fù)雜背景和顏色差異以及光照變化的干擾，允許手勢發(fā)生旋轉(zhuǎn)、平移以及縮放，具有良好魯棒性。本文的手勢方法識別可以應(yīng)用在很多領(lǐng)域中，如數(shù)字教學(xué)、虛擬游戲、智能家庭等。在未來的工作中，可以與動作識別相結(jié)合，實現(xiàn)更豐富的手勢識別。

參考文獻(xiàn)：

[1]Zhu Y,Yang Z,Yuan B.Vision based hand gesture recognition[C]//Proceedings of the International Conferenceon Ser-vice Sciences.Washington:IEEE Computer Society,2013:260-265.

[2]Mubashira Zaman,Soweba Rahman,Tooba Rafique,et al.Hand gesture recognition using color markers[C]//Procee-dings of the 16th International Conference on Hybrid Intelligent Systems.New York:Springer-Verlag New York Inc,2017:1-10.

[3]Jeong J,Jang Y.Max-min hand cropping method for robust hand region extraction in the image-based hand gesture recognition[J].Soft Computing,2015,19(4):815-818.

[4]Nasri S,Behrad A,Razzazi F.Spatio-temporal 3D surface matching for hand gesture recognition using ICP algorithm[J].Signal Image & Video Processing,2015,9(5):1205-1220.

[5]ZHANG Wenqing,LI Fenlan,OU Haiyan.Intelligent input with gesture recognition[J].Computer Systems & Applications,2014,23(10):167-171(in Chinese) [張文清,李芬蘭,歐海燕.基于手勢識別的智能輸入[J].計算機(jī)系統(tǒng)應(yīng)用,2014,23(10):167-171.]

[6]YU Bo,CHEN Yongqiang,WANG Shuangyi,et al.Static gesture recognition algorithm based on characteristics of finger angle[J].Journal of Xihua University Natural Science,2014,33(1):69-71(in Chinese).[俞博,陳永強(qiáng),王雙一,等.基于手指角度特征的靜態(tài)手勢識別算法[J].西華大學(xué)學(xué)報(自然科學(xué)版),2014,33(1):69-71.]

[7]LI Dongjie,LI Junxiang,ZHANG Yue,et al.Gesture recognition of data glove based on PSO-improved BP neural network[J].Electric Machines and Control,2014,18(8):87-93(in Chinese).[李東潔,李君祥,張越,等.基于PSO改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)手套手勢識別[J].電機(jī)與控制學(xué)報,2014,18(8):87-93.]

[8]CHEN Qijun,ZHU Zhenjiao,GU Shuang.Hand gesture re-cognition based on Fourier description and HMM[J].Control Engineering of China,2012,19(4):634-638(in Chinese).[陳啟軍,朱振嬌,顧爽.基于傅立葉描述子和HMM的手勢識別[J].控制工程,2012,19(4):634-638.]

[9]LIU Xinchen,FU Huiyuan,MA Huadong.Real-time fingertip tracking and gesture recognition using RGB-D camera[J].Computer Science,2014,41(10):50-52(in Chinese).[劉鑫辰,傅慧源,馬華東.基于RGB-D攝像頭的實時手指跟蹤與手勢識別[J].計算機(jī)科學(xué),2014,41(10):50-52.]

[10]TAN Jiapu,XU Wensheng.Fingertip detection and gesture recognition method based on Kinect[J].Journal of Computer Applications,2015,35(6):1795-1800(in Chinese).[談家譜,徐文勝.基于Kinect的指尖檢測與手勢識別方法[J].計算機(jī)應(yīng)用,2015,35(6):1795-1800.]

[11]FU Qian,SHEN Junchen,ZHANG Qianying,et al.Gesture recognition with Kinect for automated sign language translation[J].Journal of Beijing Normal University(Natural Science),2013,49(6):586-592(in Chinese).[付倩,沈俊辰,張茜穎,等.面向手語自動翻譯的基于Kinect的手勢識別[J].北京師范大學(xué)學(xué)報(自然科學(xué)版),2013,49(6):586-592.]

[12]ZHAO Aifang,PEI Dong,WANG Quanzhou,et al.Gesture recognition fused with multi-information in complex environment[J].Computer Engineering and Applications,2014,50(5):180-184(in Chinese).[趙愛芳,裴東,王全州,等.復(fù)雜環(huán)境中多信息融合的手勢識別[J].計算機(jī)工程與應(yīng)用,2014,50(5):180-184.]