一種結合曲率與平行向量的實時指尖檢測方法

汪 云， 甘 泉， 李 琳

（合肥工業大學計算機與信息學院，安徽 合肥 230009）

一種結合曲率與平行向量的實時指尖檢測方法

汪 云， 甘 泉， 李 琳

（合肥工業大學計算機與信息學院，安徽 合肥 230009）

根據手指幾何形狀大致平行的特性，本文提出一種基于曲率和平行向量來進行手指檢測的新方法。該方法首先利用深度圖像信息從復雜背景環境中迅速分割出手部；然后依據形態學操作和中值濾波進行平滑處理后提取邊緣，再根據曲率定位擬指尖點；最后采用平行向量特性排除誤檢點。實驗結果表明，該方法在不同手指運動狀態，不同光照強度，以及復雜環境背景下均能實時定位指尖位置，指尖位置識別率可達98.64%。

指尖檢測；深度圖像；曲率；平行向量

在人機交互系統中，手是用戶模型中十分重要的動作與感知關系模型，是人的行為特征[1]。近年來，手勢作為一種自然直觀的人機交互方式，在虛擬現實，視頻監控，機器人控制，媒體廣播，遠程會議等領域都得到了廣泛認可。目前的手勢識別研究中，根據手部區域的幾何特征[2]（如手指、指尖、手指方向、手的輪廓等）進行手勢識別常能取得高識別率[3-7]，因此幾何特征對于手勢識別具有重大價值。由此可見指尖特征作為手勢識別中最常用的特征，對手勢研究有著重大的意義，因此出現了一批專門針對手部特征跟蹤檢測的研究。

在早期的系統中，指尖檢測主要依賴于特定的輸入設備。如讓用戶戴上專門制作的數據手套[8]，或特定顏色的指套[9]，但是這些特定的輸入設備往往價格昂貴，不宜廣泛使用。因此，近年來，對裸手指尖檢測愈來愈流行。在基于視頻流的數據采集下，Lee等[10]提出一種通過提取膚色區域輪廓，并在該輪廓上根據曲率來檢測擬指尖點，最后使用過濾算法過濾出誤判指尖點來進行指尖檢測的算法，但該算法并不能過濾出手臂誤判點。李博男和林凡[11]在此基礎上，通過不斷計算手向量先區分開手臂和手指，然后借助物理學中“場”和“勢”的概念，計算每類指尖點的勢，最后將勢太低的點判定為手臂點去除。雖然以上算法都能達到實時檢測指尖的效果，但是由于單視頻流中只能獲得2D信息，因此該算法要求輸入的視頻流中的手部區域必須與其他膚色區域分離。

微軟2010年發布的Kinect[12]能成功地利用深度圖像提取手部信息從而克服這個弊端。基于此，一些研究者如 Liang等[13]提出一種結合Kinect獲得深度圖像信息和粒子濾波器追蹤連續幀中指尖位置的新方法，最后結果表明在合成深度序列中，該方法能實時追蹤指尖，但是該方法計算過程復雜，效率不高。與上述不同的另一類研究者則十分重視手部直觀的幾何形狀信息，此類算法較簡單高效。如文獻[14]通過結合 Kinect和計算掌心與輪廓邊緣的距離的方法檢測指尖，但是這種方法只適用于一般情況，而在各手指間距較小時，對大拇指的檢測并不是很準確，對拳頭手勢亦不能正確檢測。而文獻[15]則利用手指的徑向對稱特性來檢測各個指尖，但是在該方法下，當各手指間距較大時，會把指根節點也錯誤判斷成指尖節點。由此可知，以上的這些方法只針對特定系統適用，但并不通用。

綜上所述，手勢識別研究中，由于背景的復雜性，系統的實時性等要求，指尖的定位在精確性方面還存在一些問題。本文提出一種快速魯棒的指尖檢測方法。該方法先通過深度圖像進行手勢分割，然后對手部信息進行預處理，繼而采用曲率和平行線特征優化指尖檢測算法，最后對在各種復雜背景和光線環境下，進行動態手勢測試，得到了準確的實時檢測效果。

1 手勢分割和預處理

1.1 復雜背景下的手勢分割

復雜背景下手部信息的提取[10-11]一般使用膚色模型的方法，但此種方法在實際應用中會由于復雜背景的干擾產生嚴重噪聲?；谶@一缺陷，本文采用微軟公司的Kinect進行深度信息的提取，來獲得深度信息值。本文先由Kinect獲得掌心點位置，接著為了滿足計算量小以及手部區域包含在內兩個要求，本文通過試驗選取200×200的鄰域，最后通過深度信息分割出手部區域，二值化后得到粗糙的手部二值圖像（圖1）。

1.2 手部信息預處理

觀察圖1，可以發現提取出的手部區域不可避免地會帶有一些噪聲。而形態學中的腐蝕操作可去除邊緣毛刺噪聲和斑點噪聲，膨脹操作對去除孔洞噪聲有較明顯的效果，所以我們先利用其對噪聲進行處理。

研究發現，通過腐蝕和膨脹操作后所得到的手部邊緣仍然會有鋸齒和凹凸（圖2），因而需進一步對邊緣進行擬合和平滑。為了保證算法的高效性，本文使用中值濾波算法[16]對手部圖像進行平滑處理。平滑的圖像如圖3。

圖2 腐蝕膨脹處理后的手

圖3 中值濾波處理后的手

2 指尖定位

2.1 基于曲率的擬指尖點定位

本研究中將曲率處理后所得到的候選點統稱為擬指尖點。通過平滑后的圖2可看出，該手部指尖點具有明顯的曲率特征，則本文先采用曲率特征提取出擬指尖點。該手部輪廓像素點采用逆時針遍歷存儲。首先給出常數步長10（若取太小則輪廓邊緣的變化對計算結果影響較大；若取太大，計算結果將失去準確性），然后遍歷輪廓，對輪廓上每一點 mi，取距其步長為10的前驅點mi+1和后繼點 mi-1，size為手輪廓像素點總個數，使用和向量的余弦值代表mi點曲率：

由公式可知，cosθi在區間[-1,1]內。經過實驗反復測試，曲率選擇在閾值 0.6～0.8之間，都可以準確地檢測出擬指尖點。通過曲率處理后，可以得到檢測效果（圖4）。

圖4 紅色為曲率處理后的點

從圖3中可以看出，曲率算法可以很好地檢測出擬指尖點，但基于曲率的算法會出現一些誤檢點。通過反復實驗，可發現這些誤檢點主要存在于指根節點，即手指指尖的凹槽之處，以及手腕處。接下來，主要解決將這些誤檢點從擬指尖點排除的問題。

2.2 凹陷點過濾

向量叉積可解決將指根節點從擬指尖點中排除的問題。在保證邊緣輪廓總是按逆時針方向排列時，同樣以 10個像素點為步長，隨機選取擬指尖點 ti與 ti點前驅點 ti+1和后繼點 ti-1，接著計算向量 ti+1ti和 titi-1的叉積a：

經計算可知，擬指尖點為指尖點的叉積符號和其為凹陷點叉積符號不同。由此，可以過濾出凹陷節點，得圖5。

2.3 平行向量過濾擬指尖點

由1.2節的算法描述可知，主要集中在指根處的擬指尖點已經排除，但是手腕處的擬指尖點尚且存在。而關于手腕處的擬指尖點的排除算法是本文所研究的重點內容。下述算法中需注意邊緣輪廓總是按逆時針方向排列。

圖5 藍色為凹陷過濾點

本研究中將兩向量夾角小于閾值 30°的向量統稱為平行向量。一般情況下，手指的不同狀態都可以看作是一組平行線和一段曲線的基元的組合[17]。本文中為了排除手腕處的擬指尖點將會采用此特性，即每根手指兩側形狀近似平行的特性，如圖5所示。具體算法如下：

Step 1：記錄 ti在容器中的下標i以及前驅坐標 i+1和后繼坐標 i-1，接著通過對應關系分別找到這些點在手部輪廓序列中的對應下標I， Ip， Iq；

Step 2：通過試驗可先設定一個閾值為20，若 Ip- I＞ 20，則該擬指尖點為每簇擬指尖點中最左邊的擬指尖點，將其存入集合 Sl中；同理，將最右邊的擬指尖點存入集合 Sr中；

Step 3：依次取出 Sl中擬指尖點 ml，計算它和 Sr中每個擬指尖點 Ir的距離，比較得出最小距離 dmin，則該擬指尖點即為 ml對應的 mr，重復上述步驟找到左右對應的各對擬指尖點；

Step 4：設定步長閾值為15（步長不能超過大拇指長度），在size中計算出 mi的第15個后繼像素點 mi+15以及第15個前驅像素點 mi+15，得到向量 mimi+15和向量 mimi-15，并根據式(2)求出夾角α；

Step 5：根據夾角α是否小于閾值30°來判斷該向量是否是擬平行向量，若是，則該擬指尖點屬于指尖點，若不是，則予以過濾。

手腕處向量處理后的效果如圖6所示。至此，經過上述算法后，剩余的擬指尖點即可判定為指尖點。

圖6 淺藍色為手腕過濾點

3 實驗及分析

為了驗證本文改進方法的性能，本文采用VS2010的編譯環境，利用C++和OpenCV進行算法設計，通過Kinect進行圖像采集，視頻圖像分辨率為 640×480，選擇配置 CPU為 Intel(R) Core(TM) i5-2450M CPU @ 2.50GHz, 內存為2G的筆記本上進行實驗，實驗過程中光照不穩定且背景復雜。

3.1 實驗過程及結果

實驗針對常見的6類指尖數目的手勢[15]進行指尖檢測，得到一系列的效果，如圖7所示。然后針對每類手勢的視頻序列，記錄1100幀，每隔5幀提取一幀，則可提取220幀（實驗中手在鏡頭前左右晃動和旋轉，但對每類手勢檢測時，手指數目不發生變化）。指尖檢測結果如表1所示。

圖7 指尖檢測效果圖

表1 指尖檢測結果

表2為本文算法同國內外一些主流的指尖檢測算法進行了比較。文獻[10]是利用曲率和距離的特性來進行指尖檢測，但是該算法對于小拇指和大拇指等長度較短的手指指尖經常會出現判斷錯誤，該檢測率源于文獻[10]。而文獻[15]則是利用手指的徑向對稱特性來檢測各個指尖，但是在該方法下，當背景為深色時，各手指間距較大時，會把指根節點也錯誤判斷成指尖節點，該檢測率源于文獻[15]。而本文算法采用基于曲率和平行線相結合的方法，由于考慮了單獨使用時的弊端，則在不同手指數目，不同光照強度下，復雜環境背景下都能有效地檢測出該指尖位置，該檢測率由表1計算所得，其中某些幀未被檢測成功則是由于在手部運動過程中出現了圖7最右側手指重疊的情況。實驗證明該方法具有很好的魯棒性。

表2 算法性能比較

3.2 不同條件下的指尖檢測

環境中光線強度以及復雜的背景都是影響指尖檢測的常見問題。本文綜合利用深度圖像信息，曲率特征以及手部的幾何特征，解決了在光照以及復雜背景條件下的指尖檢測。實驗結果表明，本文方法有很好的魯棒性和穩定性，如圖8、圖9所示。

圖8 不同光照強度下的指尖檢測效果圖

圖9 復雜背景下的指尖檢測效果圖

4 總 結

本文綜合利用深度圖像信息，曲率特征以及平行向量特性，解決了不同手指運動狀態，不同光照強度，復雜環境背景下指尖檢測存在的難點，其中最難識別的拳頭也能通過檢測識別。實驗結果表明該方法得到的指尖檢測結果十分準確。但是本文算法若在手指重疊情況下，檢測并不是很準確，下一步將考慮采用徑向對稱變化來探討此特殊情況。另外，本文在跟蹤算法上還需要進一步的改進和完善。

[1] Carroll J M. Human-computer interaction: psychology as a science of design [J]. Annual Review of Psychology, 1997, 48(1): 61-83.

[2] 張良國, 吳江琴, 高 文, 姚鴻勛. 基于 Hausdorff距離的手勢識別[J]. 中國圖象圖形學報 (A 版), 2002, 7(11): 1144-1150.

[3] Hasan M M, Mishra P K. Real time fingers and palm locating using dynamic circle templates [J]. International Journal of Computer Applications, 2012, 41(6): 33-43.

[4] Ren Zhou, Yuan Junsong, Zhang Zhengyou. Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera [C]// Proceedings of the 19th ACM International Conference on Multimedia. ACM, 2011: 1093-1096.

[5] Chen Weijing, Fujiki R, Arita D, Taniguchi R I. Realtime 3D hand shape estimation based on image feature analysis and inverse kinematics [C]//Image Analysis and Processing 2007, ICIAP 2007 14th International Conference on IEEE, 2007: 247-252.

[6] Caglar M B, Lobo N. Open hand detection in a cluttered single image using finger primitives [C]// Computer Vision and Pattern Recognition Workshop 2006, CVPRW'06 Conference on IEEE, 2006: 148-148.

[7] Lee D, Lee S G. Vision-based finger action recognition by angle detection and contour analysis [J]. ETRI Journal, 2011, 33(3): 415-422.

[8] 吳江琴, 高 文, 陳熙霖. 基于數據手套輸入的漢語手指字母識別[J]. 模式識別與人工智能, 1999, 12(1): 74-78.

[9] Iwai Y, Watanabe K, Yagi Y, Yachida M. Gesture recognition using colored gloves [C]//Pattern Recognition 1996, Proceedings of the 13th International Conference on IEEE, 1996, 1: 662-666.

[10] Lee D, Lee S G. Vision-based finger action recognition by angle detection and contour analysis [J]. ETRI Journal, 2011, 33(3): 415-422.

[11] 李博男, 林 凡. 基于曲率的指尖檢測方法[J]. 南京航空航天大學學報, 2012, 44(4): 587-591.

[12] 鄧 瑞, 周玲玲, 應忍冬. 基于 Kinect 深度信息的手勢提取與識別研究[J]. 計算機應用研究, 2013, 30(4): 1263-1265.

[13] Liang Hui, Yuan Junsong, Thalmann D. 3D fingertip and palm tracking in depth image sequences [C]// Proceedings of the 20th ACM International Conference on Multimedia. ACM, 2012: 785-788.

[14] 曹雛清, 李瑞峰, 趙立軍. 基于深度圖像技術的手勢識別方法[J].計算機工程, 2012, 38(8): 16-21

[15] 梅萍華, 李 斌, 朱中的, 汪郭橋. 基于徑向對稱變換的實時指尖檢測算法[J]. 中國科學技術大學學報, 2011, 41(2): 101-107.

[16] 王曉凱, 李 鋒. 改進的自適應中值濾波[J]. 計算機工程與應用, 2010, 46(3): 175-176, 218.

[17] Caglar M B, Lobo N. Open hand detection in a cluttered single image using finger primitives [C]// Computer Vision and Pattern Recognition Workshop 2006, CVPRW'06 Conference on IEEE, 2006: 148-148.

A Real Time Fingertip Detection Method Combining Curvature and Paralleled-Vector

Wang Yun, Gan Quan, Li Lin
(College of Computer Science and Technology, Hefei University of Technology, Hefei Anhui 230009, China)

According to the feature of the fingers' geometry being roughly parallel, this paper proposes a new method based on curvature and paralleled-vector for fingertip detection. This method first uses depth image information from complex background environment to segment hand quickly, and then based on morphological operations and median filter for smoothing, edges can be extracted. Subsequently, we can use curvature to locate the position of the virtual fingertips. Finally the paralleled-vector feature is adopted to rule out error detection points. The experimental results show that the method in different finger motions, different light intensities, and complex environment can locate the position of the fingertips. Besides, the fingertips detection rate can reach 98.64%.

fingertip detection; depth image; curvature; paralleled-vector

TP 391

A

2095-302X (2014)02-0285-05

2013-06-21；定稿日期：2013-08-26

青年國家自然科學基金資助項目（61305093）；高等學校博士學科點專項科研基金資助項目（20120111110003）

汪 云（1990-），女，安徽黃山人，碩士研究生。主要研究方向為虛擬現實與人機交互。E-mail：984145687@qq.com

李 琳（1977-），女，安徽合肥人，講師，博士。主要研究方向為虛擬現實與人機交互。E-mail：24306317@qq.com