一種基于深度圖像的DAG—SVMs數(shù)字手勢(shì)識(shí)別方法

李孟歆 林佰鳳 劉方卉竹

摘要

基于深度圖像當(dāng)然DAG-SVMs數(shù)字手勢(shì)識(shí)別方法采用Kinect的骨骼追蹤技術(shù)對(duì)人體手部關(guān)節(jié)進(jìn)行跟蹤，獲取手部關(guān)節(jié)的深度坐標(biāo)，將深度骨骼信息融合彩色信息進(jìn)行手部分割。結(jié)合邊緣長(zhǎng)度矩與Hu不變矩作為數(shù)字手勢(shì)的新特征。通過(guò)構(gòu)建與優(yōu)化DAG-SVMs分類器，實(shí)現(xiàn)了對(duì)數(shù)字手勢(shì)的分類識(shí)別，仿真實(shí)驗(yàn)結(jié)果表明，采用基于深度圖像的DAG-SVMs數(shù)字手勢(shì)識(shí)別方法可以有效降低光照強(qiáng)度干擾，且平均識(shí)別率達(dá)到98%。

【關(guān)鍵詞】骨骼追蹤 深度圖像 DAG-SVMs 多類分類器 手勢(shì)識(shí)別

1 引言

本文從Kinect傳感器采集圖像，自行構(gòu)建數(shù)字手勢(shì)樣本庫(kù)，調(diào)用Kinect傳感器的骨骼關(guān)鍵點(diǎn)信息，并基于深度閾值與膚色分割法將手勢(shì)區(qū)域從背景中提取出來(lái)。計(jì)算數(shù)字手勢(shì)參數(shù)特征，調(diào)用參數(shù)對(duì)多個(gè)分類器進(jìn)行訓(xùn)練，從而對(duì)靜態(tài)手勢(shì)所表達(dá)數(shù)字進(jìn)行識(shí)別，最后輸入待測(cè)樣本，輸出識(shí)別率。

2 融合深度信息與膚色信息的手部分割

本文將深度骨骼信息與彩色信息進(jìn)行融合，通過(guò)將骨骼節(jié)點(diǎn)圖像與彩色圖像進(jìn)行重疊獲得圖像結(jié)果，然后根據(jù)獲取的手部節(jié)點(diǎn)空間坐標(biāo)設(shè)定深度閾值。經(jīng)過(guò)深度閾值分割后的圖像仍保留了大量背景、服飾、手臂等冗余信息，為了保證之后手勢(shì)識(shí)別的精度，對(duì)上述圖像在YCrCb顏色空間下進(jìn)行二次膚色分割，去除非膚色的背景信息。最終得到手勢(shì)分割圖像

3 數(shù)字手勢(shì)的特征提取

3.1 Sobel算子邊緣輪廓檢測(cè)

通過(guò)對(duì)分割后的圖像進(jìn)行邊緣檢測(cè)，可以最大程度的保留圖像目標(biāo)信息，去除非目標(biāo)區(qū)域，有效降低運(yùn)算量。圖像在邊緣區(qū)域附近灰度的值有明顯的跳變，所得灰度差值很大，而在非邊緣的區(qū)域內(nèi)，灰度值無(wú)明顯變化，這樣就過(guò)濾掉圖像的非極值點(diǎn)，保留圖像邊界。

3.2 基于手勢(shì)輪廓的特征向量提取

3.2.1 邊緣不變矩

邊緣矩是一種圖像邊緣區(qū)域特征，該特征可由這7個(gè)幾何矩構(gòu)成一組特征量來(lái)表示。這些幾何不變量是由圖像一階、二階等低階導(dǎo)數(shù)的中心距構(gòu)成的非線性組合，是能夠用來(lái)描述圖像邊緣區(qū)域特征的算子。，加入具有特定物理意義的邊緣長(zhǎng)度矩，對(duì)圖像邊緣區(qū)域的周長(zhǎng)進(jìn)行統(tǒng)計(jì)，來(lái)提高手勢(shì)圖像識(shí)別的準(zhǔn)確率。

3.2.2 邊緣長(zhǎng)度矩

邊緣長(zhǎng)度是指數(shù)字手勢(shì)輪廓的周長(zhǎng)即手勢(shì)的邊緣檢測(cè)后的整個(gè)連通區(qū)域長(zhǎng)度。在二維坐標(biāo)下，設(shè)定整個(gè)手部連通域的輪廓曲線為H（x，y），在目標(biāo)輪廓邊緣上，把像素看作一個(gè)獨(dú)立的點(diǎn)，邊界像素鏈碼的長(zhǎng)度之和就是本文所求的邊緣長(zhǎng)度矩，當(dāng)鏈碼No為奇數(shù)時(shí)，其長(zhǎng)度記為“1”；當(dāng)鏈碼Ne值為偶數(shù)時(shí)其長(zhǎng)度記為“2”；邊緣周長(zhǎng)矩H就表為：

H=Ne+2No （1）

4 DAG-SVMs數(shù)字手勢(shì)識(shí)別

DAG-SVMs（有向無(wú)環(huán)分類器）簡(jiǎn)稱層次分類，對(duì)于k類問(wèn)題，構(gòu)造

k（k-l）/2個(gè)支持向量機(jī)，分布于k層結(jié)構(gòu)中。每個(gè)內(nèi)部節(jié)點(diǎn)都是一個(gè)二分類器，底層節(jié)點(diǎn)為最終的分類類別。改進(jìn)算法的基本思想就是在每次生成有向無(wú)環(huán)圖內(nèi)節(jié)點(diǎn)時(shí)，選擇最易分離的情況來(lái)構(gòu)造當(dāng)前節(jié)點(diǎn)SVM。在訓(xùn)練階段，采用一對(duì)一SVM（OVO-SVM）多類構(gòu)建模式，通過(guò)根據(jù)計(jì)算的識(shí)別精度值大小，依次進(jìn)行排序劃分，最終構(gòu)建一個(gè)五類分類器。

5 實(shí)驗(yàn)結(jié)果及分析

本文通過(guò)Kinect傳感器共采集500張手勢(shì)圖片，自行創(chuàng)建手勢(shì)樣本圖庫(kù)，同時(shí)參考文獻(xiàn)[5]中改進(jìn)hu矩手勢(shì)識(shí)別算法，分別采用這兩種算法對(duì)數(shù)字手勢(shì)待測(cè)樣本進(jìn)行識(shí)別，將兩種算法得到識(shí)別準(zhǔn)確率，與算法識(shí)別各類手勢(shì)的平均速率進(jìn)行比較，實(shí)驗(yàn)結(jié)果仿真圖像如圖1所示。

本文提出方法的平均識(shí)別率達(dá)到了97.96%，比文獻(xiàn)[5]提高了1.78%。由于增加了特征參數(shù)，系統(tǒng)運(yùn)行時(shí)間延長(zhǎng)了1.3ms，不會(huì)影響系統(tǒng)的實(shí)時(shí)性。

6 結(jié)論

結(jié)合深度信息色圖像分割方法可以準(zhǔn)確的保留圖邊緣信息，較好地實(shí)現(xiàn)了數(shù)字手勢(shì)圖像分割，并且與將單一的Hu矩作為圖像特征的識(shí)別算法相比，結(jié)合邊緣長(zhǎng)度矩與Hu矩作為新的圖像特征的識(shí)別算法，識(shí)別率達(dá)到了97.96%，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出方法的有效性。

參考文獻(xiàn)

[1] Tubman R，Arif K M.Efficient people search and gesture recognition using a Kinect interfaced mobile robot [C]. IEEE， International Workshop on Advanced Motion Control.IEEE， 2016： 220-226.

[2] Jiang S， Wang Y， Zhang Y，et al. Real Time Gait Recognition System Based on Kinect Skeleton Feature [M]. Computer Vision - ACCV 2014 Workshops. Springer International Publishing，2014： 46-57.

[3]黃國(guó)范，李英.基于改進(jìn)Hu矩的字母手勢(shì)識(shí)別[J].赤峰學(xué)院學(xué)報(bào)（自然版），2013（05）：23-21

[4]Hu M K. Hu，M.K. ：Visua 1 Pattern Recognition by Moment Invariants. IRE Transaction of Information Theory IT-8[J]. Inf ormat ion Theory Ire Transactions on，1962， 8 （02）： 179-187.