基于指尖角度集核密度估計(jì)手勢(shì)特征提取

林海波　周　庭　張　毅

(重慶郵電大學(xué)信息無(wú)障礙工程研發(fā)中心　重慶 400065)

?

基于指尖角度集核密度估計(jì)手勢(shì)特征提取

林海波周庭張毅

(重慶郵電大學(xué)信息無(wú)障礙工程研發(fā)中心重慶 400065)

針對(duì)手勢(shì)識(shí)別實(shí)時(shí)性和魯棒性不足的問(wèn)題，提出基于指尖角度集核密度估計(jì)的特征提取方法。通過(guò)對(duì)一般手勢(shì)定義指尖角度集并提取指尖角度集核密度估計(jì)特征。為解決形狀匹配的相位漂移問(wèn)題和進(jìn)一步提高實(shí)時(shí)性，對(duì)該特征集有效區(qū)間歸一化和均勻采樣得到指尖角度集核密度估計(jì)序列。基于互相關(guān)系數(shù)形狀匹配算法進(jìn)行手勢(shì)識(shí)別。實(shí)驗(yàn)分析表明，采用該特征提取方法的任意手勢(shì)識(shí)別實(shí)時(shí)性和魯棒性比現(xiàn)有方法有顯著提高。

手勢(shì)特征提取指尖角度集核密度估計(jì)形狀匹配實(shí)時(shí)性和魯棒性

0　引　言

基于機(jī)器視覺(jué)的手勢(shì)交互是智能人機(jī)交互HCI(Human Computer Interaction)的關(guān)鍵技術(shù)之一[1-5]，旨在提供更方便快捷的人機(jī)視覺(jué)接口。在靜態(tài)手勢(shì)識(shí)別中，主要解決三個(gè)問(wèn)題[2,3,5-7]：手勢(shì)分割、手勢(shì)特征提取與分析和手勢(shì)識(shí)別。文獻(xiàn)[1,5]等的方法能很好地分割出精確手勢(shì)區(qū)域，為手勢(shì)特征提取和識(shí)別提供了良好的基礎(chǔ)。手勢(shì)識(shí)別廣泛采用實(shí)時(shí)性較好的模版匹配算法[1,5]獲得魯棒的識(shí)別結(jié)果。

不同手勢(shì)類(lèi)型主要由不同手指數(shù)量和組合表示，手指部分代表了手勢(shì)的關(guān)鍵[1,5]。在手勢(shì)特征提取與分析中，文獻(xiàn)[8]通過(guò)“U”特征分析手勢(shì)類(lèi)型，但并非每個(gè)手勢(shì)都有平滑的“U”特征，魯棒性較差，手勢(shì)類(lèi)型數(shù)也受到限制。文獻(xiàn)[1]通過(guò)提取手勢(shì)邊緣與掌心的相對(duì)距離曲線特征并引入FEMD的概念，通過(guò)模版匹配可靠地判斷出手勢(shì)類(lèi)型。文獻(xiàn)[6]通過(guò)計(jì)算手勢(shì)邊緣梯度分解特征，得到了較好的識(shí)別效果。文獻(xiàn)[5]使用的基于半徑的凸包分解算法，經(jīng)過(guò)多次計(jì)算形狀凹度和復(fù)雜的手勢(shì)骨架提取算法，最后進(jìn)行模版匹配，較好地判斷出手勢(shì)類(lèi)型。然而，文獻(xiàn)[1,5,6]的方法計(jì)算復(fù)雜度均較高，不利于實(shí)時(shí)識(shí)別。為提高手勢(shì)識(shí)別實(shí)時(shí)性并同時(shí)保持健壯的魯棒性，本文提出并證明了任意手勢(shì)基于指尖角度集核密度估計(jì)序列KDES-FAS(Kernel Density Estimation Sequence of Fingertip Angle Set)特征提取方法的有效性。

1　手勢(shì)分割

采用文獻(xiàn)[1]的結(jié)合有標(biāo)記的RGB圖像和Kinect深度數(shù)據(jù)[9]方法，容易獲得精確的手勢(shì)分割效果，如圖1所示。

圖1　文獻(xiàn)[1]的手勢(shì)分割效果

2　指尖角度集核密度估計(jì)序列特征提取

2.1指尖角度集

圖2　手腕切割向量定義

通常手勢(shì)類(lèi)型，如圖2所示，l1表示手小臂所在直線(本文采用圖1(c)手勢(shì)圖像長(zhǎng)軸所在的直線)，l2表示圖1(a)中標(biāo)記手環(huán)所在的直線，l1⊥l2。總可以有一個(gè)沿直線l2向右的單位向量e，此時(shí)<90°。本文定義向量e為手腕切割向量。

圖3是精確分割后的手勢(shì)模型，向量e為手腕切割向量，點(diǎn)O為將精確分割的手勢(shì)圖像距離變換[1]取距離灰度圖像最大灰度值點(diǎn)所得的手勢(shì)中心點(diǎn)，R2為手勢(shì)以O(shè)為圓心的手勢(shì)外接圓半徑。

圖3　指尖角度集的定義

(1)

式中α1、α2值的選取需滿足對(duì)任意手勢(shì)指尖區(qū)域(陰影部分)互不連通。向量Mi表示從點(diǎn)O指向指尖區(qū)域每個(gè)像素點(diǎn)的向量，稱(chēng)Mi為指尖向量。

以下定義指尖角度集：有這樣一個(gè)角度集合S：

0<θi<π,0

(2)

其中N1為指尖區(qū)域像素點(diǎn)數(shù)。稱(chēng)集合S為手勢(shì)指尖角度集。

2.2核密度估計(jì)

核密度估計(jì)[10]在概率論中用來(lái)估計(jì)未知的密度函數(shù)，屬于非參數(shù)檢驗(yàn)方法之一，由Rosenblatt和Emanuel Parzen提出，又名Parzen窗。對(duì)于數(shù)據(jù)x1,x2,…,xN，核密度估計(jì)的形式為：

(3)

其中h>0。

2.3指尖角度集核密度估計(jì)序列

精確的手腕切割向量e在實(shí)際中不易取得，而傳統(tǒng)的基于互相關(guān)系數(shù)的形狀匹配算法需要相位漂移參數(shù)[11]，這給后文手勢(shì)特征形狀匹配帶來(lái)困難。為此，先將集合S在有效角度區(qū)間[θmin,θmax]內(nèi)歸一化處理，即：

(4)

式中，Nangle表示一個(gè)指尖角度集樣本的元素?cái)?shù)，與式(2)中相應(yīng)樣本的N1相等。

鑒于指尖角度集的性質(zhì)，選取高斯核作為核函數(shù)K(·)，即：

(5)

推導(dǎo)得核密度估計(jì)：

(6)

其中i=1,2,…,Nangle,h>0。

式中，帶寬h的選取本文在第4節(jié)詳細(xì)討論。

其中:

(7)

式中，Nsam為均勻采樣點(diǎn)數(shù)。

對(duì)于拓?fù)浣Y(jié)構(gòu)[5]相同的不同手勢(shì)類(lèi)型，由于指尖區(qū)域間距離和各指尖所占的比重不同，這給KDES-FAS特征帶來(lái)明顯差異。本文方法僅選取指尖區(qū)域進(jìn)行特征提取，這也有效解決了文獻(xiàn)[1]中手指相互靠得過(guò)近所帶來(lái)的識(shí)別困難。另外，KDES-FAS特征完全滿足手勢(shì)平移，縮放和旋轉(zhuǎn)不變性。

3　手勢(shì)識(shí)別

采用基于KDES-FAS互相關(guān)系數(shù)形狀匹配[11]的方法識(shí)別手勢(shì)類(lèi)型，KDES-FAS平均互相關(guān)系數(shù)：

c=1,2,…,N

(8)

式中，c表示手勢(shì)類(lèi)型，N表示手勢(shì)類(lèi)型數(shù)，n表示每種手勢(shì)類(lèi)型的模版數(shù)，Hinput表示輸入手勢(shì)，T表示模版手勢(shì)，手勢(shì)識(shí)別匹配算法如下：

{

Houtput=″Shapec″;

}

else

Houtput=″Unrecognized″;

其中，Γmat為匹配閾值，Γmat∈(-1,1)，Houtput表示輸出手勢(shì)類(lèi)型。

4　實(shí)驗(yàn)分析與比較

4.1帶寬h的選取

圖4　手勢(shì)距離變換和關(guān)鍵位置獲取

圖5　不同帶寬h下的KDES-FAS特征

圖6　6種一般手勢(shì)類(lèi)型

圖7　不同帶寬h下的內(nèi)部手勢(shì)平均相關(guān)系數(shù)

4.2特征提取的比較

對(duì)圖6中6種一般手勢(shì)，分別采用文獻(xiàn)[1]和本文的方法對(duì)其特征提取，相對(duì)距離特征和KDES-FAS特征如圖8所示。由圖像可知，本文提取了一般手勢(shì)的概率特征KDES-FAS，而不是精確表征手勢(shì)的手勢(shì)特征。KDES-FAS特征比精確表征手勢(shì)類(lèi)型的一般特征更穩(wěn)定光滑，可以采用計(jì)算量較小且魯棒性好的相關(guān)系數(shù)形狀匹配算法進(jìn)行匹配識(shí)別，而不需要文獻(xiàn)[1]計(jì)算量巨大的FEMD算法，這有利于手勢(shì)識(shí)別的魯棒性和實(shí)時(shí)性。

圖8　相對(duì)距離和KDES-FAS特征

4.3魯棒性與實(shí)時(shí)性實(shí)驗(yàn)驗(yàn)證與比較

本文實(shí)驗(yàn)硬件環(huán)境包括臺(tái)式計(jì)算機(jī)一臺(tái)(Win7系統(tǒng)，Core(TM)i3處理器，2 GB內(nèi)存)，Microsoft公司的XBOX 360一臺(tái)。軟件環(huán)境為Visual Studio 2010，所有代碼基于Kinect for Windows SDK v1.7采用C#語(yǔ)言編寫(xiě)完成。

一般地，取匹配閾值Γmat=0.75，式(8)中n=5，可以很好地識(shí)別出待識(shí)別手勢(shì)和區(qū)分出未采樣手勢(shì)。在相同硬件和軟件環(huán)境條件下，將600個(gè)手勢(shì)樣本(分別來(lái)自10位實(shí)驗(yàn)者，每位實(shí)驗(yàn)者分別采集正常和較暗光照條件下各30個(gè)樣本。實(shí)驗(yàn)背景均為如圖1(a)所示實(shí)驗(yàn)室一般復(fù)雜背景條件)。分別連續(xù)采用文獻(xiàn)[1]和本文方法統(tǒng)計(jì)識(shí)別率和耗時(shí)，實(shí)驗(yàn)結(jié)果如表1所示。由表可知，本文方法平均識(shí)別率比文獻(xiàn)[1]提高4.23%，平均耗時(shí)僅為文獻(xiàn)[1]閾值分解+FEMD方法的7.7%。實(shí)驗(yàn)表明，該特征提取方法的手勢(shì)識(shí)別魯棒性強(qiáng)，實(shí)時(shí)性有顯著提高。

表1　魯棒性和實(shí)時(shí)性實(shí)驗(yàn)結(jié)果

5　結(jié)　語(yǔ)

本文通過(guò)對(duì)一般手勢(shì)定義指尖角度集和引入核密度估計(jì)理論，對(duì)任意手勢(shì)進(jìn)行指尖角度集核密度估計(jì)序列特征提取并采用形狀匹配算法進(jìn)行識(shí)別。對(duì)不同狀態(tài)下的一般手勢(shì)識(shí)別率達(dá)到93.6%，單幅識(shí)別平均耗時(shí)僅為0.0367 s。顯著提高了任意手勢(shì)識(shí)別的魯棒性和實(shí)時(shí)性，對(duì)手勢(shì)的實(shí)時(shí)識(shí)別人機(jī)交互具有理論意義和實(shí)際應(yīng)用價(jià)值。

[1] Ren Z,Yuan J,Meng J,et al.Robust part-based hand gesture recognition using kinect sensor[J].Multimedia,IEEE Transactions on,2013,15(5):1110-1120.

[2] Suarez J,Murphy R R.Hand gesture recognition with depth images:A review[C]//RO-MAN,2012 IEEE,2012:411-417.

[3] Yao Y,Zhang F,Fu Y.Real-Time Hand Gesture Recognition Using RGB-D Sensor[M].Computer Vision and Machine Learning with RGB-D Sensors.Springer International Publishing,2014:289-313.

[4] Kao C Y,Fahn C S.A human-machine interaction technique:hand gesture recognition based on hidden Markov models with trajectory of hand motion[J].Procedia Engineering,2011,15(1):3739-3743.

[5] Qin S,Zhu X,Yang Y,et al.Real-time hand gesture recognition from depth images using convex shape decomposition method[J].Journal of Signal Processing Systems,2014,74(1):47-58.

[6] ElSaadany O S,Abdelwahab M M.Real-Time 2DHoG-2DPCA Algorithm for Hand Gesture Recognition[M]//Image Analysis and Processing-ICIAP 2013.Springer Berlin Heidelberg,2013:601-610.

[7] 包加桐,宋愛(ài)國(guó),郭晏,等.基于SURF特征跟蹤的動(dòng)態(tài)手勢(shì)識(shí)別算法[J].機(jī)器人,2011,33(4):482-489.

[8] Lahamy H,Lichti D.Real-time hand gesture recognition using range cameras[C]//Proceedings of the Canadian Geomatics Conference,Calgary,Canada,2010,38(5):357-362.

[9] Zhang Z.Microsoft kinect sensor and its effect[J].MultiMedia,IEEE,2012,19(2):4-10.

[10] Luo N,Qian F.Multi-objective evolutionary of Distribution Algorithm using kernel density estimation model[C]//Intelligent Control and Automation (WCICA),2010 8th World Congress on.IEEE,2010:2843-2848.

[11] Lv L,Liu Y,Zhang W,et al.Shape Profile Matching and Its Applications[J].Journal of Software,2009,4(5):413-421.

GESTURE FEATURE EXTRACTION BASED ON KERNEL DENSITY ESTIMATION OF FINGERTIP ANGLE SET

Lin HaiboZhou TingZhang Yi

(Engineering Research and Development Center of Information Accessibility,Chongqing University of Posts and Telecommunications,Chongqing 400065,China)

We propose the hand gesture feature extraction method, which is based on kernel density estimation of fingertip angle set, for the problems of gesture recognition in lacking robustness and real-time property. For common gestures, the method extracts kernel density estimation of fingertip angle set by defining fingertip angle set. In order to solve the phase shift of shape matching and to further increase the real-time property, the method normalises the effective range of feature set and samples uniformly so as to obtain the estimation sequence of kernel density of fingertip angle set. The hand gesture recognition is achieved based on the shape matching of cross-correlation coefficient. It is demonstrate by the experiments that the real-time performance and robustness in arbitrary gesture recognition using the proposed feature extraction method are significantly improved compared with current method.

Hand gesture extractionFingertip angle setKernel density estimationShape matchingReal-time property and robustness

2015-05-06。科技部國(guó)際科技合作項(xiàng)目(2010DFA12 160)。林海波，副教授，主研領(lǐng)域：智能系統(tǒng)與機(jī)器人。周庭，碩士生。張毅，教授。

TP391

A

10.3969/j.issn.1000-386x.2016.09.046