基于表觀特征分析的手勢識別及其應用*

屈燕琴，李 昕，盧夏衍

(上海大學機電工程與自動化學院，上海 200072)

基于表觀特征分析的手勢識別及其應用*

屈燕琴，李 昕，盧夏衍

(上海大學機電工程與自動化學院，上海 200072)

針對復雜背景下的手勢識別容易受到環境干擾造成的識別困難問題，通過分析手勢的表觀特征，提出并實現了一種可用于自然人機交互的手勢識別算法。該算法基于Kinect深度圖像實現手勢區域分割，然后提取手勢手指弧度、指間弧度、手指數目等具有旋轉縮放不變性的表觀特征，運用最小距離法實現快速分類。并將該算法成功運用于實驗室三指靈巧手平臺，達到了理想的控制效果。實驗表明該算法具有良好的魯棒性，針對九種常用手勢，平均識別率達到94.3%。

計算機視覺;深度圖像;手指弧度;表觀特征;手勢識別

1 引言

近年來自然人機交互技術NHCI(Natural Human Computer Interaction)越來越多地受到人們的重視，取得了快速的發展進步。相比于傳統的人機交互輸入工具，如鍵盤、鼠標、游戲桿等，人的姿態、手勢、語音等是更加自然、直觀的交流方式。所以，近年來人臉識別、表情識別、手勢識別以及體勢識別等由于符合人際交流習慣，均成為NHCI的重要課題并取得重大進展。其中手勢無論是日常生活中還是虛擬現實中，都是一種常用的自然而直觀的交流方式，符合人類交流一般行為習慣，是很受親睞的交互方式之一。

手勢識別是自然人機交互技術的一個重要課題，但由于手勢本身的多樣性、多義性以及視覺本身的不確定性，使得基于視覺的手勢識別成為一個極富挑戰的和多學科交叉的研究課題。一般基于視覺的手勢識別過程可分為三個階段：手勢分割、手勢特征提取和手勢分類。本文按照上述三個階段，提出一種利用深度圖像實現復雜背景下的手勢識別的方法，具體做法是：首先，在手勢分割階段，設定動態分割閾值實現手勢分割，在深度圖像中像素是以物體距離攝像機物理距離為度量的，所以分割時設定動態距離作為分割閾值，得到粗略手勢分割圖像；其次，在特征提取階段，利用數學形態學、邊緣提取算法求得手勢重心和手勢輪廓，計算手指弧度、手指數目等表觀特征用于識別；然后，在手勢識別階段，利用少量的已有樣本建立樣本庫，利用最小距離法實現快速分類識別。最后，將該手勢識別算法成功地運用于三指靈巧手控制系統。實驗結果表明，該方法取得了較高的識別率。

2 相關工作

手勢識別是根據人手的姿態及其變化過程來解釋說明其高層次的含義的過程。根據手勢識別的一般過程，建立一個完整的視覺手勢識別系統需解決手勢識別三個階段分別面臨的問題。由于三個階段面臨的問題各不相同，因此其研究還存在著一定的障礙，具體實現時根據實際需要進行取舍。

目前，基于視覺的手勢識別研究主要偏重于基于皮膚顏色建模，利用膚色信息和運動信息等分割得到手部區域，提取圖像屬性參數如輪廓、圖像矩、區域直方圖等手勢特征，運用HMM、SVW、BP、DTW等算法進行識別[1～4]。如1991年富士通實驗室完成了46個手勢符號的識別[5]。Lee J和Kunii T L[6]利用攝像機獲得手的運動圖像數據來自動分析三維手勢,并提取輪廓邊界特征進行識別, 成功地提取了27 個交互手參數,實現了三維手勢重構。任海兵等人[7]利用膚色信息和人手運動信息結合人手區域的形狀特征,采用獨立分布的多狀態高斯概率模型, 實現了12種手勢的識別。Francke H等人[8]運用Boost 分類器和自主學習算法搭建一個實時手勢偵測識別系統。楊波等人[9]根據手勢圖像的區域形狀特征，經過膚色分割，提取包括空間相對密度特征和指節相對間距特征的手勢空間分布特征, 通過綜合手勢的兩個手勢特征向量計算總的相似性來識別手勢。 Peng Sheng-yu等人[10]運用顏色信息檢測人手，運用Camshift進行人手跟蹤，通過PCA檢測和識別六種手勢。

利用膚色建模的手勢識別方法實現手部有效區域與環境無效區域的分離很困難[11]，光照、人臉膚色區域、類膚色區域對手勢分割的影響難以消除。故實際實現時通常使用加以限定的方式，如強調前景弱化背景，或要求環境簡單等。但是，外部環境不可預知，加以限制的手勢交互不利于自然的人機交互。針對上述諸多問題，本文提出了一種基于深度圖像表觀特征的手勢識別方法，可以有效地區分手部與背景，達到有效實時的識別效果，并成功地運用于靈巧手平臺。

3 手勢識別

本文選用微軟公司的Kinect傳感器作為視頻輸入，Kinect共有三個鏡頭，中間的鏡頭是RGB彩色攝像機，左右兩邊鏡頭分別為紅外線發射器和紅外線CMOS攝像機，共同構成3D 深度感應器，可以生成具有深度的灰度圖像。其深度圖像像素以物體離傳感器的距離度量，距離越遠像素值越大，黑色代表無窮近，白色代表無窮遠。其實際可探測的距離為0～4 096 mm，其中1 200～3 600 mm誤差較小,為5 mm左右。

3.1 手勢分割

由Kinect采集的深度圖像，當采樣大小為640×480時,采樣速度可以達到30 f/s。每一幀深度圖像其像素均為12 bit，0～4 096的數據。為更好地分割出手部區域，本文將圖像逐像素進行灰度直方圖統計，轉換為256灰度階，同時可以去除圖像重影?；叶戎狈綀D統計圖像中具有每種灰度級的像素個數，反映出圖像中每種灰度出現的頻率。

經過灰度直方圖量化處理后，通過OpenNI HandDetect得到粗略手部區域質心點PHand Center(x,y,z)。將區域質心PHand Center深度像素值Z轉換為空間實際距離dHand Center，以此距離作為手部動態分割的閾值。分割公式如下:

其中,Dhand(x,y)為分割的手勢區域，d(x,y)為深度圖像中(x，y)處實際深度值。

以上述方法進行手部區域分割，得到初步分割二值圖，但該二值圖序列存在明顯的邊緣噪聲及少量非手部區域噪聲、同距離噪聲等，對其做形態學濾波并填充孔洞，同時利用PHand Center(x,y,z)的(x，y)濾除二值圖序列中與手勢區域不連通區及小面積區域,得到精確分割序列。形態學濾波流程如圖1所示。

Figure 1 Morphological filtering

實驗所得部分分割結果如圖2所示。

Figure 2 Part of the segment binary image圖2 部分分割二值圖

3.2 手勢表觀特征分析及提取

3.2.1 手勢表觀特征分析

從手勢識別的建模方法來講，主要有基于3D手(臂)模型的手勢建模和基于表觀的手勢建模。本文采用表觀建模的方式。一般基于圖像表觀的手勢識別方法是直接從圖像中提取表觀特征，如輪廓矩、區域矩、直方圖等參數，而人手是一個關節式的復雜變形體, 隨著關節的運動,手的形狀不斷變化，所以手勢特征參數構造應具有一定的相對不變性，在旋轉與縮放情況下要能有效實時識別。

為實現旋轉與縮放條件下快速有效識別，本文提取具有旋轉縮放不變性的手指弧度、指間弧度和手指弧度數目分別作為手勢的識別特征。如圖3所示，定義相鄰點A1、A2間弧段對應弧度為手指弧度，點A2、A3間弧段對應為手指弧度，手指弧段的數目為手指弧度個數。

Figure 3 Hierarchical view of gesture finger radians

根據人手特征，人手為手掌連接五根手指，通過關節和手掌的變動產生不同手勢，如圖3為以手勢質心A0為圓心，以手勢邊界輪廓距質心最大值為半徑將手勢區域n等分，圖中僅顯示最外四層劃分區域。通過圖3可知，不同手勢其手指弧度個數是不同的，且手指弧度和指間弧度也不相同，并且同種手勢在不同層區域手指弧度的個數是不同的；同種手勢的手指弧度取決于人的手指粗細，不受其他環境影響；同種手勢其指間弧度取決于手指分開的角度，但當其中某個手指間弧度較大時其他手指間弧度減小，本文均綜合單層手指弧度、指間弧度和弧度個數的總和予以考慮。

定義特征向量HDR=(α1,α2,…,αn;β1,β2,…,βn;N1,N2,…,Nn)描述手勢，其中，αi表示每一個區域劃分層上的手指弧度，βi表示每一個區域劃分層上的指間弧度，Ni表示每一層上手指弧度的個數。

3.2.2 手勢特征提取

手勢識別中使用何種手勢特征對識別結果的好壞具有極其重要的影響。本文提取具有旋轉、平移、縮放不變性的手指弧度、指間弧度、手指數目作為識別特征。

手勢特征提取步驟如下：

(1)針對分割的二值圖像，運用cvMoments結構求取距參數得到手勢重心點。

坐標軸為x、y的二維圖像坐標系中, 區域D的二維p、q階中心矩M及質心坐標如下:

(2)計算手勢邊緣距離手部區域重心點最大值L，以重心點為圓心,以L值為半徑做外接圓，對當前手勢的最大外接圓區域由內而外進行等距離劃分;本文將其10等分，即以d=L/10，以手勢區域中心為圓心做同心圓，同心圓半徑每次遞加d直到最大圓半徑為L；定義i=1,2,…，10為分層層數，Oi為第i層的圓軌跡。

(3)計算第i層(5≤i<10)圓軌跡Oi上手指弧度和指間弧度。以人手質心為極坐標極點，以極坐標方式遍歷圓軌跡上像素發生變化的點，分別為白色像素變化為黑色像素的點和黑色像素變化為白色像素的點，記錄像素發生變化的像素點的角度，進而計算手指弧度和指間弧度。

(4)弧度的數目即是手指手腕與手掌連接的分支總和，根據手腕處寬度遠大于手指處寬度，計算各個分支寬度平均值，以寬度最大值對應手腕處分支，其他為手指分支，則手指的數目為N-1。但是，手指長度不一，根據劃分情況外層的手指數目將會減少，故分層記錄手指數目用于識別。

(5)分層記錄統計手指弧度αi,j和指間弧度βi,j、手指弧度數目Ni，作為特征用于識別。

3.3 分類識別

靜態手勢識別就是在某特定時刻的輸入圖像中，識別用戶做出的是何種手形，目前有很多手勢識別的分類算法，如HMM分類方法、模板匹配和查表的方法、貝葉斯分類器、神經網絡、支持向量機等。其中模板匹配是圖像識別中最具代表性的方法之一，其算法實現容易、匹配速度快。算法的核心是將從待識別的圖像提取的若干特征量與模板對應的特征量進行比較，計算圖像和模板特征量之間的距離，用最小距離法判定所屬類。本文所述即運用最小距離法達到快速識別的目的。常用的九種手勢如圖4所示，每種手勢設定五個模板建立模板庫。

Figure 4 Nine kinds of commonly used gestures

具體識別過程如下：輸入一幅手勢圖像，運用前述算法提取手勢圖像的特征向量Mx[αi,j,βi,j,Ni]，其中αi,j為手指弧度，βi,j為指間弧度，Ni為弧度個數(也為單層手指個數)；i為特征提取層，本文為5層,即i≤5;j為單層手指弧度的個數,j≤5。求取待識別手勢特征向量Mx[αi,j,βi,j,Ni]與模板庫標準手勢向量M0[α0(i,j),β0(i,j),N0]的均方誤差(其中隱含關系Ni=j)：

(β(i,j)-β0(i,j))2];m,n=5

以均方誤差E(Mx,M0)作為識別分類標準，以其最小值作為識別結果輸出。

4 手勢識別實驗

4.1 旋轉不變性驗證

為驗證上述算法所提取的特征具有旋轉不變性，邀請實驗者在Kinect前做手勢，識別時并不限定左右手，不限定手勢的方向。實驗識別的Four、Eight圖像如圖5和圖6所示，圖5a、圖5b分別為手勢Four的左右手手勢，圖6a、圖6b分別為手勢Eight的左右手手勢。界面上顯示的圖像左邊為實時采集的深度灰度圖，右邊為手勢分割二值圖，并在二值圖上顯示識別的結果。

Figure 5 Chinese number gesture for 4 by two hands respectively

Figure 6 Chinese number gesture for 8 by two hands respectively

由圖5a和圖5b可以看出，當手勢旋轉一定角度時，該識別系統可以完成識別；由圖6a和圖6b可以看出，當從左手手勢變換為右手手勢時，該手勢識別系統亦可以完成識別。同時，亦可以看出圖5和圖6變換了四種不同背景，該系統均能完成識別工作。

4.2 實驗結果

為驗證上述算法實際性能，邀請實驗者在不同背景不同光線下在攝像機前做手勢，對圖4中九種常用手勢每種手勢打100遍，這樣共計采集900幅圖像用于實驗，圖像采樣大小為640×480，采集圖像時并不限定左右手，每個手勢采集樣本時左右手手勢各占一定數量。這樣組成一共有900幅樣本的手勢樣本庫，實驗結果如表1所示。

表1顯示出對于九種常用手勢本系統均能達到很好的識別效果，整體上的平均識別率達到94.3%，這驗證了本文算法的有效性和可行性。同時，針對傳統的膚色分割存在人手與人臉重疊而造成的分割難題，本文采用深度圖像分割較好地解決了該難題，即人手與人臉通常處于不同距離區域，采用動態距離閾值進行分割，可以完整地提取到手部區域。同時，本文提取的手指弧度、指間弧度和手指數目手勢特征用于識別，均具有旋轉不變性。實驗表明本文提取的手勢特征可良好地運用于手勢識別。

5 手勢識別系統在三指靈巧手上的應用

實驗平臺三指靈巧手模型及結構如圖7所示，

該靈巧手由手掌、一個拇指和兩根食指四個部分組成，每根手指皆可獨立控制。食指和拇指的結構相同，各有三個關節，其中拇指多一個關節，即向掌心彎曲的關節。這樣該靈巧手共10個自由度。使用三個電機和一個舵機來驅動。舵機用來控制拇指向掌心的轉動。當要抓取物體時，各手指的彎曲則通過電機正傳拉線牽引的方式來驅動，當要釋放物體時，電機反轉配合手指背上的彈簧片將手指繃直。采取這樣的欠驅動方式以降低控制的復雜度，并節約成本。

Figure 7 Platform of three-finger dexterous hand

本文將本手勢識別系統應用于該三指靈巧手上，圖8為手勢靈巧手控制系統原理圖。

當實驗者對著攝像頭做出手勢時，系統首先利用前述手勢識別方法得到識別結果，轉變為控制指令，通過串口傳遞給下位機，控制靈巧手指做出相應動作?？紤]到該靈巧手為三指的限制，設計九種手勢動作如圖9所示，分別對應圖4中的九種手勢。

Table 1 Experimental results

Figure 8 Schematic of dexterous hand gestures control system

Figure 9 Three-finger dexterous hand gestures

實驗時，當實驗者在攝像頭之前做出圖4中的手勢時，三指靈巧手相應地做出圖9中的手勢，部分實驗結果如圖10所示，圖10a表示實驗者做出手勢One時，三指靈巧手做出的相應手勢動作，圖10b表示實驗者做出手勢Two時，該靈巧手亦能做出對應手勢。實驗表明，本文手勢識別方法可良好地應用于靈巧手平臺，滿足靈巧手實時控制需求。

Figure 10 Gestures one and gestures two

6 結束語

本文搭建了一個手勢識別系統，具有系統穩定、識別效果好、實時應用的特點。結合Kinect深度圖像提取手勢中具有旋轉不變性的角度特征和手指數目作為手勢特征用于識別。解決了通常手勢識別過程中受環境背景復雜、光照強弱、膚色重合等影響造成的分割難題。實驗結果表明，本文系統穩定，實時性好、識別率高。同時，將本文手勢識別方法成功應用在三指靈巧手平臺，取到了較好的人機交互效果。

[1] Tang Zhi-yan，Feng Zhe．A gesture recognition system used on robot vision[J]．Computer Engineering and Applications，2005，41(6)：51-54．(in Chinese)

[2] Chen Yi-min, Zhang Yun-hua. Research on human-robot interaction technique based on hand gesture recognition[J]. ROBOT, 2009, 31(4):353-356. (in Chinese)

[3] Tan Chang, Xiao Nan-feng. Static hand gesture recognition based on improved RCE neural network and RBF neural network[J]. Computer Engineering and Applications, 2011, 47(7):172-176. (in Chinese)

[4] Dardas N H，Georganas N D．Real-time hand gesture detection and recognition[J]．Computer Vision and Image Understanding，2011，60(11)：3592-3607．

[5] Takahashi T，Shino F K．Hand gesture coding based on experiments using a hand gesture interface device[J]．SIGCHI Bulletin，1991，23(2)：67-73．

[6] Lee J, Kunii T L. Model based analysis of hand posture[J]. Computer Graphics and Applications, 1995, 5(5):77-86.

[7] Ren Hai-bing，Zhu Yuan-xin，Xu Guang-you, et al．Hand gesture segmentation and recognition with complex backgrounds[J]．ACTA Automatica SINICA，2002，28(2)：118-121．(in Chinese)

[8] Francke H,Ruiz-del-Solar J,Verschae R.Real-time hand gesture detection and recognition using boosted classifiers and active learning[C]∥Proc of PSIVT’07,2007:533-547.

[9] Yang Bo, Song Xiao-na, Feng Zhi-quan, et al. Gesture recognition in complex background based on distribution features of hand[J]. Journal of Computer-Aided Design & Computer Graphics, 2010, 22(10):1841-1848. (in Chinese)

[10] Peng Sheng-yu, Wattanachote K, Lin Hwei-jen, et al. A real-time hand gesture recognition system for daily information retrieval from Internet[C]∥Proc of IEEE the 4th International Conference on Ubi-Media Computing, 2011:146-151.

[11] Chen Duan-sheng,Liu Zheng-kai.A survey of skin color detection[J]. Chinese Journal of Computers, 2006, 29(2):194-207. (in Chinese)

附中文參考文獻：

[1] 湯志彥，馮哲．適用于機器人視覺的手勢識別系統[J]．計算機工程與應用，2005，41(16)：51-54．

[2] 陳一民，張云華．基于手勢識別的機器人人機交互技術研究[J]．機器人，2009，31(4)：353-356．

[3] 譚昶，肖南峰．基于改進的RCE和RBF神經網絡的靜態手勢識別[J]．計算機工程與應用，2011，47(7)：172-176．

[7] 任海兵, 祝遠新, 徐光祐, 等. 復雜背景下的手勢分割與識別[J]. 自動化學報, 2002, 28(2):118-121.

[9] 楊波，宋曉娜，馮志全．復雜背景下基于空間分布特征的手勢識別算法[J]．計算機輔助設計與圖形學學報，2010，22(10)：1841-1848．

[11] 陳鍛生，劉政凱．膚色檢測技術綜述[J]．計算機學報，2006，29(2)：194-207．

QU Yan-qin,born in 1989,MS candidate,her research interests include gesture recognition based on vision, image recognition, and human-computer interaction.

李昕(1970-),男，江蘇鹽城人，博士，副研究員，研究方向為語音識別和智能機器人。E-mail:xli@staff.shu.edu.cn

LI Xin,born in 1970,PhD,associate research fellow,his research interests include speech recognition, and intelligent robot.

Hand gesture recognition based on analysis of appearance features and its application

QU Yan-qin，LI Xin，LU Xia-yan

(School of Mechatronic Engineering and Automation，Shanghai University，Shanghai 200072,China)

Hand gesture recognition in complex background is susceptible to environmental interference, thus leading to recognition difficulty. According to this recognition problem, by analyzing the appearance features of hand gesture, a hand gesture recognition algorithm for natural human computer interaction is proposed and implemented. By using depth images which obtain from Kinect, we extract features like gesture finger radians, radians between fingers and the number of fingers, and properly utilize minimum distance algorithm for achieving fast and efficient classification. Experimental results show that the algorithm is robust and real-time with an average recognition rate of 94.3% for nine frequently-used gestures.

computer vision；depth image；finger radian；appearance features；gesture recognition

1007-130X(2015)01-0139-07

2013-04-15;

2013-07-24

TP391.4

A

10.3969/j.issn.1007-130X.2015.01.021

屈燕琴(1989-),女,河南信陽人，碩士生，研究方向為基于視覺的手勢識別、圖像識別與人機交互。E-mail:qyq1212@126.com

通信地址：200072 上海市閘北區廣延路140號西部自動化樓311

Address:Room 311，West Automation Building,140 Guangyan Rd,Zhabei District,Shanghai 200072,P.R.China