一種快速自適應(yīng)的指尖檢測方法的實現(xiàn)

摘 要：為了滿足基于視覺的人機(jī)互動系統(tǒng)中手指的識別與理解的需要，提出了一種快速、自適應(yīng)的指尖檢測方法。該方法首先將輸入圖像基于膚色空間進(jìn)行二值化，利用手指輪廓的平行特性，分離出感興趣的手指部分。在此基礎(chǔ)上，通過手指輪廓邊緣曲率特征結(jié)合指尖的邊界特征，實現(xiàn)指尖的快速精確檢測。實驗結(jié)果表明，該方法能有效的檢測出指尖，并為進(jìn)一步在人機(jī)互動系統(tǒng)中的應(yīng)用打下基礎(chǔ)。

關(guān)鍵詞：單目視覺；聚類；指尖檢測

DOI：10.16640/j.cnki.37-1222/t.2018.11.110

1 引言

手部識別作為視覺識別的熱點己經(jīng)應(yīng)用于很多領(lǐng)域，例如：人機(jī)互動、機(jī)器人控制、手語識別、虛擬現(xiàn)實、投影互動等領(lǐng)域，有著廣泛的應(yīng)用前景。指尖檢測算法作為整個手部識別最重要的部分決定了手部識別的優(yōu)劣，這是因為指尖位置包含了絕大部分手的信息。

基于單目的指尖檢測算法需要利用手部圖像的一些二維信息，形成手部特征。常見的手部特征有膚色特征、輪廓特征，識別出手部區(qū)域后進(jìn)一步完成對指尖位置的檢測和提取。Oka and Sato [1]開發(fā)出了EnhancedDesk人機(jī)交互系統(tǒng)，他們把手指看作是一個矩形和半圓形的組合，然后利用模板匹配來定位指尖。Argyros and Lourakis[2]首先利用貝葉斯分類器和自適應(yīng)的顏色概率分布來檢測和跟蹤人手，對輪廓數(shù)據(jù)進(jìn)行曲率計算并確定指尖位置。基于輪廓分析法和基于模板匹配法都需要依賴良好的手部圖像，獲得較好的指尖輪廓特征。

本文提出一種快速、自適應(yīng)的基于曲率的指尖檢測方法。該方法首先將輸入圖像基于膚色空間進(jìn)行二值化；然后采用邊緣檢測算法提取膚色區(qū)域的輪廓；再根據(jù)手指輪廓的曲率定位類指尖的點，再根據(jù)手指特殊的邊界標(biāo)志來排除非指尖點。

2 手部膚色區(qū)域提取

在機(jī)器視覺中，圖像色彩空間主要有RGB、HSV、YCbCr等。其中YCbCr顏色空間受亮度變化的影響較小，較適合作為膚色分布統(tǒng)計的映射空間[7]，并且Cb，Cr分布獨立，能較好地聚類膚色區(qū)域，對姿態(tài)的變化不敏感，具備旋轉(zhuǎn)不變、不受表情等變化的影響，具有較強(qiáng)的魯棒性。但在實用中，通過用膚色色彩范圍來提取膚色區(qū)域卻很困難，因為在圖片中膚色會隨設(shè)備和環(huán)境光照強(qiáng)度的不同而變化，如果樣本過大會使膚色聚類效果不好。

研究表明：在YCbCr空間，除去亮度分量后的Cb，Cr分量的聯(lián)合分布服從二維高斯分布[4]。

其中是顏色在Cb，Cr空間的向量，u1，u2和，分別是訓(xùn)練樣本集中所有樣本的均值向量和協(xié)方差矩陣：

可以利用對膚色進(jìn)行分類，通過訓(xùn)練樣本集，估計膚色閾值。

實際情況中，由于受光照的影響，膚色數(shù)據(jù)的多樣性，用一個高斯模型往往自適應(yīng)性較差，不能很好地表達(dá)數(shù)據(jù)分布。可通過多個高斯模型一起來表達(dá)數(shù)據(jù)分布 [5]，但往往計算量過大。

本算法通過高斯模型估計膚色閾值，再通過8聯(lián)通區(qū)域生長法填充邊界點，平滑手部邊緣。在光照較好，且背景中類似膚色區(qū)域與手部區(qū)域有明顯間隔的情況下有較好的效果。

本文還采用了中值濾波和保留最大聯(lián)通區(qū)域等預(yù)處理方法濾除干擾。但是由于閾值條件限制的緣故，提取出的膚色邊緣部分非常粗糙，這是由于膚色區(qū)域提取算法閾值范圍造成的。粗糙的邊緣對于邊緣曲率計算會帶來較大的干擾，本文采用腐蝕膨脹算法平滑圖像的邊緣。

3 指尖檢測

3.1 自適應(yīng)K值的K-COS指尖檢測

手部輪廓的曲率特征對圖像的縮放和旋轉(zhuǎn)都具有很好的穩(wěn)定性，選擇其作為特征量算法簡單可靠。求邊緣輪廓的曲率，為了算法簡單，可用向量夾角的余弦值表示，即K-COS算法[6]。取輪廓與點的前面第K個點，和后面第K個點，則使用向量與向量夾角的余弦值作為點的曲率。計算時采用向量夾角公式，即：

由于陰影的影響，手部輪廓提取后并不是一條光滑的曲線，在邊緣上很可能出現(xiàn)凹凸不平的情況。這時選擇合適的k值尤為重要，k值過小或過大都會因余弦值太小而被漏檢或帶來過多干擾點。為了適應(yīng)不同大小的目標(biāo)手區(qū)域自適應(yīng)的找出最優(yōu)的k值是基于曲率的指尖檢測算法關(guān)鍵因素。具體實現(xiàn)過程，根據(jù)手部區(qū)域的最小外接矩形的長寬比反應(yīng)手指的數(shù)量，設(shè)置一個合適的K的區(qū)間。的曲率選擇在這個區(qū)內(nèi)所得余弦值的最大值。

求手部區(qū)域邊緣輪廓上每隔2-3個像素點的曲率，過濾一部分邊緣干擾。再通過設(shè)定閾值T，將大于T的點篩選出來。

從圖2中可以看出，曲率算法將所有指尖均檢測到。但是同時可以發(fā)現(xiàn)，該算法出現(xiàn)了一些誤判點。一部分因手部輪廓存在的凹凸不平的情況產(chǎn)生干擾，一部分主要是那些位于兩個手指之間的凹槽的輪廓點。

3.2 非指尖點的排除

從圖2中可看出滿足曲率閾值的輪廓點，不僅出現(xiàn)在指尖部分，還會出現(xiàn)在兩指之間的凹槽。要去除非指尖點，可根據(jù)手部的指尖位置有著明顯的邊界特征。圖3為一邊界的1-D表達(dá)，沿著邊界輪廓（始終沿著同一個方向）計算各個像素與掌心的距離r。所得到的曲線，對平移不變，旋轉(zhuǎn)不變，尺度也將同趨勢變化。故而可通過邊界標(biāo)志排除非指尖點。在每個類指尖點有明顯的聚類效果。按K均值聚類找出n個聚類中心，即每個指尖位置。

4 結(jié)論

本文的核心是基于曲率的類指尖點檢測。此算法對手部區(qū)域輪廓特征特別敏感，所以在實現(xiàn)曲率特征提取前，對手部區(qū)域的預(yù)處理對檢測結(jié)果有著非常重要的影響。預(yù)處理主要包括平滑處理，膚色提取，輪廓提取。本文對指尖位置的檢測基于多種篩選方法，實現(xiàn)快速、魯棒的檢測方法，但仍無法完全避免干擾。為了提高自適應(yīng)性，各個步驟的閾值均采用區(qū)間選擇最優(yōu)的方法實現(xiàn)。此外，實驗還沒考慮到手臂的干擾（需要增加手勢的方向解決）。對于背景中類似膚色的干擾也不能完全濾除，適用于背景較單一的情況。

參考文獻(xiàn)：

[1]Oka K，Sato Y，Koike H，Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems， Proceedings of International Conference on Automatic Face and Gesture Recognition，2002：429-434.

[2]Argyros A A，Lourakis M I A，Vision-based interpretation of hand gestures for remote control of a computer mouse， International Conference on Human-Computer Interaction，LNCS 3979，2006，40-51.

[3]高雅萍.基于單目攝像頭的手勢識別方法研究[D].廈門大學(xué)，2014.

[4]Yang J，Lu W，Waibel A，Skin-color modeling and adaptation，Proceedings of Asian Conference on Computer Vision，1998（02）：687-694.

[5]Yang M H， Ahuja N， Gaussian mixture model for human skin color and its application in image and video databases， Proceedings of SPIE： Conference on Storage and Retrieval for Image and Video Databases，1999，4_58-466.

[6]D.Lee， analy sis，“S. Lee：“Vision-based ETRI Journa1，2011 ，volfinger action recognition by angle detection and contour 33，415-422.

[7]Yang J，Waibel A，A real-time face tracker，Proceedings of the third IEEE Workshop on Applications of Computer Vision，1996：142-147.

[8]張國家，左敦穩(wěn).基于圓形梯度的手勢分割算法的設(shè)計與實現(xiàn)[J].機(jī)械設(shè)計與制造工程，2013（09）：1-6.

作者簡介：楊雪婷（1982-），女，福建泉州人，碩士研究生，講師，工程技術(shù)學(xué)院電氣與電子信息系系主任，主要研究方向：信號與信息處理。