改進(jìn)型高精度實(shí)時(shí)視頻多指尖檢測(cè)方法的研究

黃阿云，郭太良，林志賢，姚劍敏

（1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州350002；2.TCL 集團(tuán)工業(yè)研究院 新型顯示技術(shù)與系統(tǒng)項(xiàng)目組，廣東 深圳518052）

1 引 言

鍵盤與鼠標(biāo)長(zhǎng)久以來作為人與計(jì)算機(jī)之間的交互技術(shù)，使用起來方便簡(jiǎn)單，但同時(shí)人們?nèi)栽诓粩嗟貙で笸黄迫藱C(jī)交互設(shè)備的局限性。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展和攝像頭在電子產(chǎn)品中的廣泛應(yīng)用，很多基于視覺技術(shù)的人機(jī)交互從理論變成了現(xiàn)實(shí)，自然、直觀的人機(jī)交互技術(shù)研究成為國內(nèi)外科研工作的熱點(diǎn)，比如基于人臉識(shí)別以及人手移動(dòng)的游戲等［1－10］。其中基于視頻的手勢(shì)識(shí)別與跟蹤成了基于視頻人機(jī)交互系統(tǒng)的重要組成部分，通過手指運(yùn)動(dòng)及跟蹤和人手形態(tài)檢測(cè)來實(shí)現(xiàn)非接觸式的人機(jī)交互，既方便有效，又簡(jiǎn)單易操作［11－12］。

現(xiàn)有的人機(jī)交互的指尖識(shí)別與跟蹤技術(shù)主要有佩戴特殊的數(shù)據(jù)手套和計(jì)算機(jī)視覺識(shí)別等方法。通過佩戴數(shù)據(jù)手套可以降低指尖檢測(cè)的難度，而且為了達(dá)到實(shí)時(shí)性的要求，還可以在手指上貼上特殊標(biāo)記或者顏色，這種方法雖然降低了識(shí)別難度，但是給用戶增加了額外的負(fù)擔(dān)，使用不便［13］。也有采用紅外攝像頭或多目視覺的方式提高手指檢測(cè)的精度，但是設(shè)備成本較高，且增加了三維重構(gòu)所帶來的計(jì)算復(fù)雜問題。目前有很多識(shí)別手勢(shì)和指尖檢測(cè)的方法都局限于單指檢測(cè)，應(yīng)用局限性比較高，且對(duì)于彎曲手指存在誤檢問題。

針對(duì)以上問題，本文提出了一種基于改進(jìn)曲率法的指尖檢測(cè)方法，該方法通過膚色識(shí)別法跟蹤識(shí)別手勢(shì)圖像，然后通過各種預(yù)處理方法分割出手勢(shì)圖像，得到指尖位置的候選區(qū)域，然后通過改進(jìn)的曲率計(jì)算法得到指尖大概位置，再通過橢圓擬合法聚類指尖位置，同時(shí)根據(jù)本文提出的一種重心測(cè)距法排除誤檢測(cè)的類指尖點(diǎn)。此指尖檢測(cè)方法能夠精確地檢測(cè)出多指尖，同時(shí)實(shí)時(shí)性好，魯棒性強(qiáng)，處理速度可達(dá)到30frame／s。

2 視頻圖像輸入與預(yù)處理

2.1 基于膚色模板的跟蹤

手勢(shì)分割是整個(gè)識(shí)別分析的關(guān)鍵和前提，它的好壞直接影響系統(tǒng)的識(shí)別率［6－8］。對(duì)于彩色圖像，皮膚的色彩是一個(gè)有效的特征。相對(duì)于其他的幾何特征來講，皮膚的色彩具有不受形狀、大小、姿態(tài)等因素的變化所影響，而且對(duì)于手勢(shì)的旋轉(zhuǎn)、手勢(shì)的變化以及手勢(shì)被遮擋等情況都能適用，具有相對(duì)的穩(wěn)定性。大量的試驗(yàn)證明，不同膚色的人手的區(qū)別主要在于灰度，而不是色調(diào)，即不同膚色的人手對(duì)應(yīng)的色調(diào)是比較一致的［14］。一般說來，色調(diào)和飽和度相對(duì)亮度來說，是相互獨(dú)立的。在不同的光照條件下，雖然物體顏色的亮度會(huì)產(chǎn)生很大的差異，但是它的色度在大的顏色分布范圍內(nèi)具有恒常性。HSV 顏色空間采用了近似人眼視覺的認(rèn)知表示，用色調(diào)、飽和度和亮度3個(gè)相關(guān)性比較弱的維度來表示顏色。因此，我們可以將圖像由RGB色彩空間轉(zhuǎn)換到HSV 顏色空間后進(jìn)行分割［15］。主要轉(zhuǎn)換公式如式（1）所示。

色彩空間轉(zhuǎn)換后經(jīng)過直方圖計(jì)算等操作等到直方圖反向投影圖，根據(jù)所等到的膚色模板進(jìn)行camshift跟蹤［9］，此過程中增加了亮度和對(duì)比度的變換，通過將相鄰像素灰度值之差放大增強(qiáng)對(duì)比度提高圖像的細(xì)節(jié)鑒別能力，使得跟蹤效果更加準(zhǔn)確。

2.2 輸入的每幀圖像的預(yù)處理

將得到的跟蹤圖像進(jìn)行各項(xiàng)預(yù)處理，首先對(duì)圖像進(jìn)行平滑處理，去除多余的噪聲干擾，進(jìn)行二值化處理通常有Ostu自閾值法［16－17］和普通閾值法等，由于Ostu自閾值法可根據(jù)圖像的灰度特性，自動(dòng)選擇閾值來分割圖像，閾值效果較好，但由于其增加了迭代過程，使得程序效率大大降低。為提高系統(tǒng)運(yùn)行效率，本文采用普通閾值法，快速有效，且滿足系統(tǒng)要求。對(duì)圖像進(jìn)行開閉運(yùn)算，消除小噪聲和小空洞。本文使用漫水填充法進(jìn)行連通域判斷，去除小面積無效連通域，與傳統(tǒng)逐行逐列數(shù)組標(biāo)記法相比，明顯提高了程序的運(yùn)行效率。經(jīng)預(yù)處理后得到的圖像效果如圖1所示。

圖1 圖像預(yù)處理Fig.1 Image preprocessing results

3 手勢(shì)圖像凹凸點(diǎn)提取

3.1 用曲率法手勢(shì)凹凸點(diǎn)

通過圖像開閉運(yùn)算、保留手部連通域之后，開始尋找指尖點(diǎn)。目前有些文獻(xiàn)使用多邊形擬合法來突出手勢(shì)特征，雖然可以大致擬合出手的多邊形特性，但通過擬合識(shí)別出的指尖點(diǎn)誤差大。還有些直接采用凸包缺陷的方法估算指尖點(diǎn)的位置，但由于二值化之后的手勢(shì)圖像邊緣并不非常完整，造成較大的誤判現(xiàn)象。本文通過曲率法［13］，對(duì)邊緣點(diǎn)進(jìn)行曲率計(jì)算，將較大曲率點(diǎn)標(biāo)記出來，將其定為可能的指尖點(diǎn)位置，再通過各種方法篩選出指尖點(diǎn)，提高了檢測(cè)精度。

提取手勢(shì)輪廓點(diǎn)序列有很多方法，如cvFind－Contours函數(shù)和傳統(tǒng)邊緣檢測(cè)法等。cvFind－Contours雖然使用起來簡(jiǎn)單方便，但其檢測(cè)的邊緣點(diǎn)序列有很多冗余信息，邊緣粗糙，造成后期計(jì)算量增大。本文通過將待提取邊緣的圖像進(jìn)行3×3元素腐蝕一次，然后將未腐蝕圖減去腐蝕后的圖像保留一個(gè)完整的四連通的手勢(shì)邊緣，再通過逐個(gè)遍歷法將邊緣點(diǎn)保存下來，此法減少了邊緣冗余信息，提取的邊緣較光滑。B（x）代表結(jié)構(gòu)元素，對(duì)于工作空間E 中的每一點(diǎn)x，腐蝕公式如（2）所示。

有些文獻(xiàn)中將圖像邊緣序列點(diǎn)進(jìn)行了插值，減少后期計(jì)算量，但此方法降低了指尖檢測(cè)的精度，造成指尖點(diǎn)的偏離。本文保留了所有邊緣序列點(diǎn)，設(shè)置一個(gè)根據(jù)手離攝像頭的距離遠(yuǎn)近可自動(dòng)調(diào)整數(shù)值的整形數(shù)k，對(duì)輪廓上某點(diǎn)Pi求曲率，則對(duì)取序列點(diǎn)中與Pi等距的兩點(diǎn)Pi－k和Pi＋k。計(jì)算向量Pi－kPi與向量PiPi＋k夾角的余弦值為Pi點(diǎn)的近似曲率，向量夾角余弦值公式如公式（3）所示。

將邊緣序列中的每一點(diǎn)的曲率計(jì)算出來后，根據(jù)手離攝像頭的距離遠(yuǎn)近設(shè)定一個(gè)可自動(dòng)調(diào)節(jié)的閾值T，手離攝像頭的距離可根據(jù)手勢(shì)連通域面積占圖像總面積的比例來確定，將曲率大于此閾值的邊緣序列點(diǎn)標(biāo)記并保存下來。經(jīng)過曲率法檢測(cè)到的手勢(shì)凹凸點(diǎn)如圖2所示。從圖中可以看出，曲率法檢測(cè)到的手勢(shì)凹凸點(diǎn)效果很好，但此檢測(cè)方法在檢測(cè)到凸點(diǎn)的同時(shí)并沒有辦法排除凹點(diǎn)，則無法直接標(biāo)定指尖點(diǎn)，且半彎手指也被檢測(cè)為凸點(diǎn)，所以還需對(duì)這些點(diǎn)進(jìn)行篩選。

圖2 曲率法檢測(cè)手勢(shì)凹凸點(diǎn)Fig.2 Detection results of gesture concave and convex points by curvature method

3.2 手指凹槽的去除

由圖2可以看出，手勢(shì)圖像中曲率較大的點(diǎn)除了真正的指尖點(diǎn)外，還有手指與手指間的凹槽，想要得到正確的指尖點(diǎn)，必須將這些凹槽點(diǎn)去除。有文獻(xiàn)中去除凹槽點(diǎn)采用的方法是通過判斷計(jì)算曲率的兩向量之間的向量積符號(hào)正負(fù)。此方法有一定的可行性，但其局限性比較大，如圖3（a）所示。若手勢(shì)邊緣不夠平滑，有多余的凸包如p 點(diǎn)被檢測(cè)到，用判斷向量積符號(hào)的辦法便無法排除非指尖點(diǎn)凸點(diǎn)。由于經(jīng)過處理的手勢(shì)圖像為二值圖像，手勢(shì)部分像素值為255，非手部分像素值為0，本文采用一種有效的方法，如有曲率大于T 的某點(diǎn)Pi，取邊緣序列中與它等距的點(diǎn)Pi－k和Pi＋k，判 斷Pi－kPi＋k線 段 中 點(diǎn) 的 像 素 值 是 否 為255，若該點(diǎn)像素值為255 則判斷為有效的指尖點(diǎn)，否則排除。如圖3（b）所示，此方法很好地去除了非指尖的其他凹凸點(diǎn)。

3.3 指尖點(diǎn)標(biāo)記

圖3 去除手指凹槽效果Fig.3 Results of wiping out the finger grooves

圖4 指尖點(diǎn)聚類標(biāo)記Fig.4 Results of sign the fingertips

通過計(jì)算手勢(shì)圖像邊緣點(diǎn)曲率法得到了大于曲率閾值的新的點(diǎn)序列后，再通過判斷像素值法排除了非指尖的凹凸點(diǎn)后，得到了較為準(zhǔn)確的指尖點(diǎn)序列集合。如圖3（b）所示，要得到精確的指尖點(diǎn)，則需要對(duì)這些序列點(diǎn)進(jìn)行進(jìn)一步的提取，將每個(gè)指尖點(diǎn)用一個(gè)最合適的點(diǎn)標(biāo)記出來。

本文將每個(gè)指尖點(diǎn)處的凸點(diǎn)序列獨(dú)立分割成新的點(diǎn)集，對(duì)這些新的點(diǎn)集進(jìn)行聚類，取每個(gè)點(diǎn)集合中曲率最大的點(diǎn)Pmax。采用橢圓擬合的方法，計(jì)算擬合后的橢圓外接矩陣四邊中點(diǎn)離Pmax最近的點(diǎn)，確定該點(diǎn)為指尖點(diǎn)。指尖點(diǎn)標(biāo)記如圖4所示。

4 指尖檢測(cè)精度的提高

4.1 非規(guī)則手勢(shì)的檢測(cè)

上文中給出的方法可以很好地檢測(cè)出多手指來，可以適用于一般的指尖檢測(cè)，但若需更加精細(xì)的指尖應(yīng)用中，則還需要對(duì)一些特殊情況進(jìn)行改善。

圖5 過濾握拳時(shí)類指尖點(diǎn)誤判Fig.5 Results of wiping out the error detections of fist

圖6 過濾半彎類指尖點(diǎn)誤判Fig.6 Results of wiping out the error detections of bending fingers

比如握拳時(shí)，由于膚色識(shí)別邊緣不夠平滑或者是手指緊握度不夠，造成一些小凸點(diǎn)被誤判為指尖的情況，如圖5（a）所示。這時(shí)就需要找到新的方法過濾掉這些誤判點(diǎn)的干擾。本文提出手掌重心法和手掌外接圓法排除這些誤判點(diǎn)。為了達(dá)到系統(tǒng)的高效性，本文將有效像素最集中部分當(dāng)做手掌部分，通過多次腐蝕，可去除手指等細(xì)像素區(qū)域，對(duì)腐蝕過后的像素區(qū)域提取重心O，O 點(diǎn)即定位掌心，同時(shí)對(duì)該區(qū)域作外接圓，得到外接圓的半徑R。當(dāng)檢測(cè)到類指尖點(diǎn)時(shí)，計(jì)算初步判斷的類指尖點(diǎn)與掌心O 點(diǎn)的距離d，若距離d 與外接圓半徑R 的比小于某閾值t1，則判定該類指尖點(diǎn)為誤判點(diǎn)，若大于該閾值，則認(rèn)為該指尖點(diǎn)為非誤判點(diǎn)。經(jīng)過濾后的檢測(cè)效果如圖5（b）所示。

當(dāng)有手指伸出時(shí)，半彎手指的誤檢測(cè)也會(huì)大大的降低指尖檢測(cè)的精度，如圖6（a）所示。本文提出一種掌心測(cè)距法來有效地排除非指尖點(diǎn)。由前面所述方法找到掌心O，計(jì)算出所有檢測(cè)到的類指尖點(diǎn)與掌心O 點(diǎn)的距離df，將其中距離最大的點(diǎn)認(rèn)定為正確判斷的指尖點(diǎn)，則該最大距離為df＿max，若其他點(diǎn)離掌心O 點(diǎn)的距離與df＿max的比值小于某個(gè)閾值t2，則該點(diǎn)定為誤判點(diǎn)，經(jīng)過誤判點(diǎn)排除后的效果如圖6（b）所示。

4.2 檢測(cè)速率對(duì)比與精度對(duì)比

本文用C＋＋和OpenCV 在VS2010編譯環(huán)境下進(jìn)行算法設(shè)計(jì)，視頻圖像分辨率為320×240。在曲率計(jì)算過程中，當(dāng)手離攝像頭距離大概15cm 處時(shí)，取所需的k值為50，即每個(gè)點(diǎn)序列取離間隔它50的兩個(gè)點(diǎn)進(jìn)行曲率計(jì)算，計(jì)算得到的向量夾角的余弦值閾值為－0.5。當(dāng)提高指尖精度時(shí)使用的掌心法判斷是否為握拳時(shí)的距離d與半徑R 的比值的閾值t1為1.5。判斷有手指伸出時(shí)，半彎手指無檢測(cè)排除時(shí)的其他點(diǎn)到掌心O的距離與df＿max的比值的閾值為0.55。

為了驗(yàn)證算法的有效性和本文指尖檢測(cè)算法的準(zhǔn)確性及系統(tǒng)效率，進(jìn)行了一般曲率法指尖檢測(cè)算法及本文改進(jìn)的指尖檢測(cè)方法進(jìn)行了對(duì)比，具體的實(shí)驗(yàn)圖如圖7所示。

從圖7中可以看出，一般曲率法檢測(cè)的指尖會(huì)相對(duì)飄離真正的指尖點(diǎn)，并且各種誤判問題比較多，而本文改進(jìn)后的檢測(cè)方法檢測(cè)到的指尖準(zhǔn)確度很高，而且對(duì)于各種情況下的誤判可以有效地排除。兩種指尖檢測(cè)方法的性能參數(shù)對(duì)比如表1所示。從表中可以看出，本文改進(jìn)的方法不僅在準(zhǔn)確度上有所提升，而且在系統(tǒng)效率方面有很好的改善。

表1 實(shí)驗(yàn)準(zhǔn)確率及性能對(duì)比Tab.1 Comparison of experiment accuracy and performance in defferent method

圖7 指尖檢測(cè)對(duì)比圖Fig.7 Comparison of fingertip detection in defferent methods

5 結(jié) 論

本文根據(jù)手勢(shì)圖像的膚色特征進(jìn)行有效跟蹤的同時(shí)，根據(jù)手勢(shì)圖像輪廓特點(diǎn)，進(jìn)行了曲率計(jì)算方法進(jìn)行判斷，在輪廓提取前需對(duì)圖像進(jìn)行開閉預(yù)算，平滑處理，連通域判斷等，這些操作為后期的檢測(cè)提供了較為平滑的手勢(shì)邊緣，再通過四連通域邊緣的遍歷，得到有效的手勢(shì)輪廓邊緣。在計(jì)算曲率時(shí)根據(jù)手與攝像頭距離調(diào)整各閾值等參數(shù)，使得系統(tǒng)適用的空間范圍擴(kuò)大，同時(shí)采取了像素值判斷法來排除手指凹槽的干擾。在提高指尖檢測(cè)精度方面，提出了掌心測(cè)距法和外接圓半徑比較法，有效地排除了握拳時(shí)和手指半彎情況下的誤檢測(cè)指尖點(diǎn)。同時(shí)在系統(tǒng)效率方面有了很大的提升，可達(dá)到30frame／s的速度，滿足了視頻實(shí)時(shí)性處理的需要。

該算法易受光照及類膚色的干擾，這是由于膚色特征在光照下變換及前景提取難度高，針對(duì)一個(gè)問題，可考慮用紅外攝像頭獲取紅外前景信息，或者用多攝像頭獲取深度信息，排除背景干擾。

［1］ De Dios J J，Gareia N.Face detcection based on a new color space YCgCr［C］.Proceedings of International Conference on Image Processing，2003：909－912.

［2］ 蔡祖洪.復(fù)雜背景及復(fù)雜運(yùn)動(dòng)背景下的指尖檢測(cè)方法［J］.杭州電子科技大學(xué)學(xué)報(bào).2012，32（1）：60－63.Cai Z H.Fingertip detection approach from cluttered background and moving foreground［J］.Journal of Hangzhou Dianzi University，2012，32（1）：60－63.（in Chinese）

［3］ 于蘊(yùn)杰，管業(yè)鵬，熊會(huì)軍.指勢(shì)識(shí)別的實(shí)時(shí)指尖提取［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47（6）：219－222.Yu Y J，Guan Y P，Xiong H J.Real－time extraction of fingertip for pointing gesture recognition［J］.Computer Engineering and Applications，2011，47（6）：219－222.（in Chinese）

［4］ Cristina M，Javier V，Ramon M，et al.Real－time hand tracking and gesture recognition for human computer interaction［C］.Electronic Letters on Computer Vision and Image Analysis，Spain：cvc press，2000：1－7.

［5］ Le D，Mizukawa M.Fast fingertips positioning based on distance－based feature pixels［C］.Third International Conference of Communication and Electronics，UK：IEEE，2010：184－189.

［6］ Wen X T，Niu Y Y.A method for hand gesture recognition based on morphology and fingertip－angle［C］.The 2nd International Conference of Computer and Automation Engineering（ICCAE），UK：IEEE，2010：688－691.

［7］ 苑瑋琦，朱春艷，柯麗.基于手指相對(duì)長(zhǎng)度的手形識(shí)別方法［J］.光電子·激光，2009（5）：685－689.Yuan W Q，Zhu C Y，Ke L.Hand shape identification method based on finger relative length［J］.Journal of Optoelectronics·Laser，2009（5）：685－689.（in Chinese）

［8］ Kenii O，Yoichi S.Hideki K.Real－time tracking of multiple fingertips and gesture recognition for augmented desk interface systems［J］.IEEE Computer Graphics and Applications，2002，22（6）：64－71.

［9］ 何東健.數(shù)字圖像處理［M］.2版.西安：西安電子科技大學(xué)出版社，2008：186－188.He D J.Digital Image Processing［M］.2nd ed.Xi’an：Xi’an University of Electronic Science and Technology Press，2008：186－188.（in Chinese）

［10］ Zhang X，Li D L，Yang W Z，et al.An improved morphological edge detection method for color images of cotton foreign fibers［J］.Sensor Letters，2011，9（3）：1020－1023.

［11］ Wang Y，Yuan J H，Chang S J，et al.Gesture labelingbased on gaze direction recognition for human－machine interaction［J］.Optical Engineering，2002，41（8）：1840－1844.

［12］ 磨少清，劉正光，張軍，等.基于圖像自身的圖像邊緣檢測(cè)閾值自動(dòng)設(shè)定方法［J］.光電子· 激光，2011，22（8）：1246－1250.MO S Q，Liu Z G，Zhang J，et al.An unsupervised threshold selection method for edge detection based on image self－information［J］.Journal of Optoelectronics·Laser，2011，22（8）：1246－1250.（in Chinese）

［13］ 李博男，林凡.基于曲率的指尖檢測(cè)方法［J］.南京航空航天大學(xué)學(xué)報(bào)，2012，44（4）：587－591.Li B N，Lin F.Fingertip detection method based on curvature［J］.Journal of Nanjing University of Aeronautics＆Astronautics，2012，44（4）：587－591.（in Chinese）

［14］ Oka K，Sato Y，Koike H.Real－time tracking of multiple fingertips and gesture recognition for augumented desk interface system［C］.Proceeding of the 5th IEEE Intl Conf on Automatic Face and Gesture Recognition，UK：IEEE，2002：411－416.

［15］ 楊端端，金連文，尹俊勛.手指書寫漢字識(shí)別系統(tǒng)中的指尖檢測(cè)方法［J］.華南理工大學(xué)學(xué)報(bào)，2007，35（1）：58－63.Yang D D，Jin L W，Yin J X.Fingertip detection approach for finger writing Chinese character recognition system［J］.Journal of South China University of Technology，2007，35（1）：58－63.（in Chinese）

［16］ Weissmann J，Salomon R.Gesture recognition for virtual reality applications using data gloves and neural networks［J］.International Joint Conference on Neural Networks（IJCNN’99），1999，（3）：2043－2046.

［17］ Hyung－O K，Kim S，Sung－Kee.Pointing gesture－based unknown object extraction for learning objects with robot［C］.Proceedings of International Conference on Control Automation and Systems，UK：IEEE，2008：2156－2161.