基于深度圖像信息的指尖跟蹤與軌跡識別

李 哲 彭四偉

基于深度圖像信息的指尖跟蹤與軌跡識別

李 哲 彭四偉

(北京化工大學信息科學與技術學院 北京 100029)

針對基于傳統攝像頭獲取的二維圖像難以準確區分復雜環境下目標和背景的問題，提出一種利用Kinect攝像頭對復雜背景下手指指尖的跟蹤算法，并對指尖跟蹤的軌跡進行識別。首先利用Kinect獲取的深度圖像信息對手部進行分割和指尖檢測；然后利用壓縮感知方法對跟蹤目標進行特征提取，通過樸素貝葉斯(NB)分類器分類跟蹤目標和背景；最后，通過支持向量機(SVM)方法對跟蹤的軌跡進行識別。實驗結果表明，提出的方法能夠成功地跟蹤手指指尖的位置，同時能夠準確識別出指尖跟蹤的軌跡。

Kinect 指尖跟蹤 深度圖像 壓縮感知 手勢軌跡識別 支持向量機

0 引 言

在人機交互和虛擬現實系統中，實時和穩定的手勢跟蹤不僅給用戶帶來良好的交互體驗，還能為手勢的識別提供準確的運動軌跡[1]，從而大大提高人機交互和虛擬現實的沉浸感。

Kinect是微軟發布的革命性的攝像頭，通過Kinect可以同時獲得圖像的彩色信息和深度信息，并且支持人體骨骼關節點的實時跟蹤[2]。Kinect廉價和高效的特性使其在三維重構和手勢跟蹤識別中被廣泛地應用[3-5]。Kinect提供的深度信息為人機交互和虛擬現實提供了新的研究方法。

由于虛擬現實的廣泛應用前景，手勢的檢測跟蹤與識別得到了廣泛的關注。大量文獻從二維圖像或三維空間對目標特征進行了研究。目前對于二維圖像中目標的檢測跟蹤，很多文獻利用了皮膚顏色信息[6]和圖形學算子[7]對目標進行檢測和分割。其中，Thangali等[8]利用方向梯度直方圖算子來描述手部形狀特征，然后應用支持向量機對特征進行分類識別。Alon等[9]利用相鄰幀間人手運動誤差和膚色信息進行手部的檢測，然而對于復雜背景下運動目標的檢測，效果并不理想。對于三維空間，Elmezain等[10]使用配準的深度信息和顏色空間上高斯混合模型得到的膚色信息對手部進行檢測，但是配準的深度信息易受攝像頭計算誤差的影響。Oka等[11]利用紅外相機來分隔手部區域，然后利用模板匹配找到指尖位置，最后通過卡爾曼濾波器來跟蹤手指指尖的運動軌跡，但是由于缺乏深度值信息，只是對二維圖像進行指尖跟蹤。Ren等[12]利用Kinect獲得的深度信息和彩色圖像信息對手部進行了檢測和分割。對于手勢軌跡的識別，Chen等[13]人提出了采用Harr特征和AdaBoost算法識別基本的英文手語；Zhang[14]提出使用HMM算法進行中文視頻檢索。然而以上基于視覺的手勢運動軌跡分析方法容易受光照、背景、攝像頭等因素的影響，識別準確率不高。

針對上述文獻中存在復雜背景下目標檢測跟蹤問題，本文通過Kinect提供的深度圖像信息分割手部和背景，結合壓縮感知理論提取手部指尖區域特征，利用樸素貝葉斯算法對指尖和背景進行分類，實現指尖的跟蹤。最后，對跟蹤的指尖軌跡進行特征提取，利用支持向量機方法進行訓練識別，且通過實驗驗證算法的有效性。

1 基于深度信息的指尖檢測與跟蹤

Kinect提供的深度信息可以從三維空間分析圖像的特征[15]，更準確地獲取圖像信息。本文將利用Kinect攝像頭采集的圖像信息和深度信息，對手部進行分割、指尖檢測和指尖跟蹤。

1.1 手部的分割

手部的分割有助于手勢的檢測和跟蹤，通過Kinect獲取深度圖像，把獲得的深度圖像和彩色圖像進行配準。然后利用開源庫OpenNI找到手心的坐標位置，根據手心坐標利用深度二值掩膜對圖像進行或運算，把手部圖像從背景中分離出來。其中，二值掩膜Iθ為一個以手心為中心，寬和高固定的掩膜窗口，其定義如下：

(1)

由實驗得出深度閾值θ=5 cm，Zhand表示跟蹤的手心坐標深度值；Z(x,y)表示圖像像素(x,y)處的深度值。如圖1所示，(a)是手部的彩色圖像，(b)是對應的深度圖像，(c)是根據深度圖像二值掩膜從彩色圖像分割出來的手部圖像。

1.2 指尖檢測

通過上面手勢的分割，可以得到手部的基本信息，但是由于存在運動模糊和設備誤差，得到的圖像信息可能存在噪聲。為了能更準確地檢測手指所在位置，本文通過高斯濾波對分割的圖像進行處理。由于經過深度信息從復雜的背景中提取的手部輪廓比較完整，本文提出了一種基于輪廓特征的指尖檢測算法。指尖檢測算法的主要步驟如下：

1) 對分割得到的手部圖像進行高斯濾波，平滑圖像邊緣鋸齒。

圖2 指尖檢測

2) 找出濾波后圖像的輪廓，對輪廓進行多邊形曲線擬合，找出擬合多邊形的所有凸包。

3) 找到以手心為圓點，r為半徑的圓與手指輪廓的交點，通過交點和對應凸包的向量夾角確定凸包是指尖或其他凸點。

如圖2所示，T為通過輪廓找到的其中一個凸包，P1和P2是以手心為圓心r為半徑的圓與指尖輪廓的交點。通過如下公式計算交點與對應凸包向量間的夾角：

(2)

(3)

圖3 輪廓凸包與檢測到的指尖

1.3 指尖跟蹤

針對指尖坐標的跟蹤，很多研究學者利用卡爾曼濾波的方法進行跟蹤。然而獲得的深度信息存在抖動現象，會導致卡爾曼濾波器的頻繁終止，達不到很好的跟蹤效果。本文通過壓縮感知跟蹤的方法[16]結合深度信息值對檢測到的指尖進行跟蹤。

1.3.1 壓縮感知

壓縮感知理論是最近幾年被提出的一種信號壓縮的理論，只要信號是可壓縮的或在其變換域上是稀疏的，那么就可以用一個和變換基不相關的觀測矩陣將高維信號投影到一個低維空間上。通過低維空間求解可以以高概率重構出原信號。通過對信息的壓縮表示可以以很少的信息來表征原來信息的特征。為了保證能夠準確重構原信息，該理論需要滿足條件：隨機觀測矩陣與稀疏矩陣的乘積滿足Restricted Isometry Property(RIP) 性質[17]。

假設有一個隨機矩陣R∈Rn×m，可以用這個矩陣將一個高維空間的向量x∈Rm降維變成一個低維向量v∈Rn，用數學公式表示為：

v=Rx

(4)

其中，n≤m。Johnson-Lindenstrauss推論[17]表明，可以隨機選擇一個高維子空間，原始空間中兩點的距離投影到這個子空間，能夠高概率地保留這種距離關系。而Baraniuk[18]證明了如果隨機矩陣滿足Johnson-Lindenstrauss推論，那么同樣滿足壓縮感知理論中的RIP條件。所以，如果式(4)中隨機矩陣R滿足Johnson-Lindenstrauss推論，且如果x是可壓縮的，那么可以通過最小化誤差從v中高概率重構x。因此，只要找到一個滿足Johnson-Lindenstrauss推論的隨機矩陣。

本文將采用文獻[17]中的稀疏隨機觀測矩陣，這種隨機稀疏矩陣可以通過均勻隨機數發生器得到，其矩陣元素定義如下：

(5)

Achlioptas[17]證明了上式中當s取2或者3時，該矩陣滿足Johnson-Lindenstrauss推論，且這個矩陣非常稀疏。通過該隨機觀測矩陣對跟蹤目標圖像特征進行壓縮。

1.3.2 指尖跟蹤方法

假設定義跟蹤目標窗口為z∈Rw×h(以w,h為寬和高的矩形窗口)，將跟蹤目標窗口z與一系列尺度不同的矩形濾波器{h1,1,h1,2,…,hw,h}進行卷積運算作為跟蹤目標的特征，每一種矩形濾波器表示為：

(6)

式中，i、j分別為矩形濾波器的寬和高，總共有w×h個矩形濾波器，然后分別用這w×h個矩形濾波器和跟蹤目標圖像z做卷積運算將得到m=(w×h)2維的多尺度特征向量x=(x1,x2,…,xm)T。特征向量x是一個非常高維的向量，所以需要對其進行降維，通過式(5)中的隨機觀測矩陣把特征向量x投影到低維空間v∈Rn。低維特征v的每個元素vi是由不同尺度的矩形濾波器的線性組合得到(即v=Rx)，而隨機觀測矩陣R中的元素是1、0和-1，所以R可以通過均勻隨機數發生器產生。而矩形濾波器窗口中的元素都是1或0，因此x中每個特征可以通過計算濾波器窗口中的積分值代替，從而高效地計算出低維特征向量v。

通過對跟蹤目標圖像的壓縮處理，得到其特征向量v，利用這些特征對跟蹤目標和背景進行分類。本文通過文獻[19]中的樸素貝葉斯分類器來進行分類，并且假設特征向量間相互獨立，樸素貝葉斯分類器表示為：

(7)

式中，y=0表示負樣本(即背景樣本)，y=1表示正樣本(即跟蹤目標樣本)，假設正負樣本的先驗概率相等(即p(y=0)=p(y=1))。那么式(7)可化簡為：

(8)

Diaconis等[20]在其文獻中證明了高維隨機向量的隨機投影基本都是高斯分布。所以假設式(8)中的條件概率p(vi|y=0)和p(vi|y=1)也屬于高斯分布，即：

(9)

所以，根據下式增量更新μi和σi為：

(10)

式中，λ為學習因子，式(10)中當y=1時初始的σ和μ可由最大似然估計計算得到：

(11)

綜合上述壓縮感知理論和指尖跟蹤方法，本文所用的指尖跟蹤過程可以概括為以下步驟：

(1) 輸入第t幀圖像；

(2) 在第t-1幀圖像跟蹤到的目標周圍(以目標窗口中心為圓點，r為半徑的圓內)采集n個樣本，然后利用壓縮感知方法對這些樣本進行特征壓縮，得到每個樣本的特征向量vi；

(3) 利用式(8)中的分類器H(v)對上一步采集的樣本分類，找到最大概率的樣本窗口作為當前幀跟蹤到的目標窗口；

(4) 在當前目標窗口周圍分別以窗口中心為圓心，r

(5) 分別對正、負樣本進行特征壓縮，利用式(10)對參數μi和σi進行更新；

(6) 輸入下一幀圖像，重復上述步驟處理，直到所有幀圖像處理完畢。

通過對跟蹤目標的檢測，利用壓縮感知方法對跟蹤目標進行特征壓縮，實時采集正負樣本訓練分類器，實現目標的跟蹤。本文結合了正負樣本的深度信息積分值，即在樣本的積分值上結合其深度積分值，減小目標窗口的漂移。

2 指尖跟蹤軌跡識別

通過對指尖的檢測跟蹤記錄下指尖的運動軌跡，對記錄的軌跡進行重映射和特征提取，然后利用支持向量機的方法訓練識別。

2.1 軌跡特征提取

在成功檢測到指尖位置后，將通過上述跟蹤算法跟蹤記錄指尖點的坐標位置。本文選擇0～9十個數字作為指尖手寫對象進行識別。由于每個數字的筆畫、長度不同，而作為支持向量機的輸入要求輸入向量的維數固定。所以，需要對手寫的數字做相應的處理。首先記錄手寫數字的軌跡(即手指指尖的像素坐標)，如果坐標點的數量小于某個閾值，對這些坐標點中歐式距離最大的兩點之間進行插值，直到滿足閾值要求為止；如果坐標點的數量大于這個閾值，先對坐標點中歐氏距離最大的兩點之間進行插值，再從這些坐標點中均勻選取定量坐標點。

通過上面的步驟可以得到指尖點坐標的軌跡，但是這些坐標點的位置是屏幕上像素的絕對位置。如果指尖的起始位置變化，每次得到的軌跡就會相應的變化。為了解決該問題，本文通過將圖像中指尖軌跡進行分割，重新映射到一個200×200的圖像上。經過映射后的軌跡可以很好地解決指尖坐標絕對位置的問題。

重映射后，將得到的坐標點的橫縱坐標按點的先后順序排列起來形成一個一維向量，將此向量作為支持向量機的輸入向量。但是，當遇到手寫的筆畫順序不同時，此時該向量不能被正確識別。為了讓識別與筆畫書寫順序無關，本文將分割后的軌跡點再次映射到一個10×10的表格上，當坐標點落在表格相應位置時，表格中該位置標志為1，其他位置設置為0。最后將表格中的所有數字按從左到右，從上到下順序排列成一維特征向量，并將此向量作為支持向量機的輸入向量。

如圖4所示，(a)為跟蹤手指指尖得到的手寫數字‘2’的圖像，(b)為對圖像(a)中數字的分割和重新映射。

圖4 指尖跟蹤軌跡及重映射

圖5為圖4(b)中數字‘2’再次被映射到10×10的表格中，并以此作為手寫數字‘2’的識別特征。

圖5 數字‘2’的表格映射

2.2 軌跡訓練識別

為了對手寫數字提取的特征進行識別，本文選擇支持向量機作為學習識別的算法。和其他機器學習方法相比，支持向量機具有能有效發現目標函數的全局最優解，最大化決策邊界等特點。同時，SVM在解決小樣本、非線性以及高維模式的識別中有特定的優勢。在解決線性問題中，SVM能直接在該空間中劃分出分割平面，但在實際問題中更多的是非線性的問題，需要經過非線性變換將其轉換為高維空間中的線性問題來處理。而轉換過程一般是通過核函數進行。SVM有三種常用的核函數，分別是多項式核函數、徑向基(RBF)核函數和Sigmoid核函數，可以根據實驗結果選取一種合適的核函數。

本文通過實驗對比發現，用徑向基核函數比其他核函數的識別精度更高，所以選擇RBF作為支持向量機的核函數。此時，對軌跡特征提取得到的特征向量，用支持向量機進行訓練識別。

3 實驗結果及分析

本實驗在英特爾酷睿雙核2.0 GHz處理器、2 GB內存硬件平臺上，利用微軟Kinect攝像頭作為圖像采集設備。基于PrimeSense v5.1.2驅動接口，在開源圖形庫OpenCV v2.4.3和OpenNI v1.5.4基礎上開發完成。實驗主要分為指尖的跟蹤和指尖運動軌跡的識別。實驗時人距離Kinect攝像頭約1.5米。

3.1 指尖坐標跟蹤分析

對指尖運動軌跡的跟蹤實驗主要是跟蹤右手食指指尖的運動。實驗中首先對指尖進行檢測，當檢測到指尖時，利用跟蹤算法進行實時跟蹤。實驗通過三種方法對比跟蹤右手食指指尖。將跟蹤算法分別應用于如下三種情形：(1) 直接在彩色圖像上進行跟蹤；(2) 對彩色圖像中手部分割后再進行跟蹤；(3) 在(2)基礎上結合深度積分值進行跟蹤。

圖6顯示了右手食指指尖的跟蹤過程的中間幀，圖中有三個框選區域是實心正方形、圓形和正方形分別對應上述三種方法的跟蹤結果。其中，正方形區域是本文所用算法的跟蹤結果，即通過對手部進行分割。然后對該區域進行特征壓縮，結合深度信息的跟蹤結果；圓形區域為對手部進行分割和特征壓縮，但沒有結合深度信息的跟蹤結果；實心正方形為沒有對手部進行分割，而是直接在彩色圖像上進行特征壓縮的跟蹤結果。從實驗結果可以看出，本文提出的方法能夠有效地跟蹤目標，沒有結合深度信息的跟蹤方法會出現一定的漂移，而直接在彩色圖像上的跟蹤由于復雜的背景容易丟失目標停留在開始位置。圖7為彩色圖像幀對應的深度圖像幀。

圖6 指尖跟蹤的彩色圖像幀

圖7 與彩色圖像對應的深度圖像幀

圖8為上述三種方法跟蹤的誤差曲線。其中，橫坐標為圖像幀數，縱坐標為跟蹤位置與實際指尖位置的距離(像素)。圖中的菱形、方形和圓形曲線分別對應彩色圖像上跟蹤(第一種)、圖像分割后跟蹤(第二種)和本文采用方法跟蹤的位置誤差曲線。從圖中可以看出，本文所用的方法跟蹤結果非常接近指尖的真實位置，能夠有效地跟蹤指尖目標。

圖8 指尖跟蹤位置誤差曲線

3.2 指尖軌跡訓練識別

針對跟蹤獲得的指尖軌跡進行特征提取，利用SVM進行訓練識別。本實驗將對指尖跟蹤采集到的手寫數字0～9進行訓練識別。實驗分為離線測試和實時測試，其中離線測試包含了兩組數據。第一組為0～9十個數字，共500個訓練樣本(每個數字包含50個)，500個測試樣本(每個數字包含50個)；第二組同樣為0～9十個數字，共1000個訓練樣本(每個數字100個)，500個測試樣本(每個數字50個)。分別對這兩組樣本進行訓練識別。

表1中第一組樣本和第二組樣本顯示了兩組不同訓練樣本的識別結果。從表中可以看出第一組樣本數字‘8’的識別準確率不高，有一部分識別為‘6’或‘9’，但是從整體上看，識別準確率達到了96.8%。由于訓練的樣本不充分，所以在第二組實驗中增加了訓練樣本。從表中第二組樣本可以看到隨著訓練樣本的增加，識別的準確率也得到了提高，平均識別準確率達到了99.2%。實驗結果說明了本文提出的指尖跟蹤和軌跡識別算法能夠準確地跟蹤識別指尖運動軌跡。

表1 指尖軌跡訓練識別結果

表1中實時跟蹤識別為對指尖實時跟蹤軌跡的識別結果，實驗中應用了第二組樣本的訓練結果，實時對兩個人的手寫數字進行識別，對每個數字測試了100次(每人各50次)。從表中可以看出，實時跟蹤識別同樣能得到很高的識別率，而且本文采用壓縮感知的跟蹤算法進行指尖的跟蹤，對特征進行壓縮來減少運算量，所以該算法實時跟蹤同樣具有很好的時間性能。

圖9顯示了對數字0～9的指尖跟蹤軌跡及識別結果圖像。其中，圖中左上角方框中的數字為識別結果，手掌附近的數字為指尖的跟蹤軌跡。

圖9 數字0～9的指尖跟蹤軌跡與識別結果

4 結 語

本文提出了一種基于深度信息的指尖檢測跟蹤和跟蹤軌跡識別的方法。通過壓縮感知理論提取跟蹤目標特征，利用樸素貝葉斯分類器對跟蹤目標和背景分類，實現對目標的跟蹤。然后記錄指尖跟蹤的軌跡，對該軌跡進行特征提取。最后利用支持向量機算法對特征向量進行訓練識別。實驗表明，文中提出的方法獲得了較好的指尖跟蹤效果和較高的跟蹤軌跡識別率，對實時的跟蹤識別也具有較高的準確性和魯棒性。接下來將進一步研究指尖的變形跟蹤及多指尖的跟蹤，進一步增加對英文字母和少量漢字的軌跡識別。

[1] 劉偉華,樊養余,雷濤.基于深度圖像的運動人手檢測與指尖點跟蹤算法[J].計算機應用,2014,34(5):1442-1448.

[2] Tsai T C,Chung Y S.A Kinect-based handwritten digit recognition for TV remote controller [C]//2012 IEEE International Symposium on Intelligent Signal Processing and Communication Systems.Taipei:IEEE Press,2012:4-7.

[3] 鄧瑞,周玲玲,應忍冬.基于Kinect深度信息的手勢提取與識別研究[J].計算機應用研究,2013,30(4):1265-1274.

[4] 張毅,張爍,羅元,等.基于Kinect深度圖像的手勢識別及應用[J].計算機應用研究,2012,29(9):3547-3550.

[5] 晏浩,張明敏,童晶,等.基于Kinect的實時穩定的三維多手指跟蹤算法[J].計算機輔助設計與圖形學學報,2013,25(12):1801-1809.

[6] Lee D,Park Y.Vision-based remote control system by motion detection and open finger counting[J].IEEE Transactions on Consumer Ele-ctronics,2009,55(4):2308-2313.

[7] Kang S K,Nam M Y,Rhee P K.Color based hand and finger detec-tion technology for user interaction[C]//Proceedings of the 2008 International Conference on Convergence and Hybrid Information Technology.Washington,DC:IEEE Computer Society,2008:229-236.

[8] Thangali A,Sclaroff S.An alignment based similarity measure for hand detection in cluttered sign language video[C]//Proceedings of the 2009 IEEE Computer Society Conference on Computer Vision and pattern Recognition.Piscataway:IEEE Press,2009:89-96.

[9] Alon J,Athitsos V,Yuan Q,et al.A unified framework for gesture recognition and spatiotemporal gesture segmentation[J].IEEE Transac-tions on pattern Analysis and Machine Intelligence,2009,31(9):1685-1699.

[10] Elmezain M,Alhamadi A,Michaelis B.Real-time capable system for hand gesture recognition using hidden Markov models in stereo color image sequences[J].Journal of Winter School of Computer Graphics,2008,16(1):65-72.

[11] Oka K,Sato Y,Koike H.Real-time fingertip tracking and gesture recognition[J].IEEE Computer Graphics and Applications,2002,22(6):64-71.

[12] Ren Z,Meng J,Yuan J,et al.Robust hand gesture recognition with Kinect sensor[C]//Proceedings of the 19th ACM International Conference on Multimedia.New York:ACM,2011:759-760.

[13] Chen Qing,Georganas N D,Petriu E M.Real-time vision-based hand gesture recognition using Harr-like features[C]//Proceedings of IEEE Instrumentation and Measurement Technology Conference.Piscataway:IEEE Press,2007:1-6.

[14] Zhang Shilin,Zhang Bo.Using HMM to sign language video retrieval [C]//Proceedings of the 2nd International Conference on Computational Intelligence and Natural Computing.Los Alamitos:IEEE Computer Society Press,2010:55-59.

[15] 陶麗君,李翠華,張希婧,等.基于Kinect傳感器深度信息的動態手勢識別[J].廈門大學學報,2013,52(4):493-497.

[16] Zhang Kaihua,Zhang Lei,Yang Minghsuan.Real-time compressive tracking[C]//Computer Vision ECCV 2012.Springer Berlin Heidelberg,2012.

[17] Achlioptas D.Database-friendly random projections:Johnson- Lindenstrauss with binary coins[J].Comput. Syst.Sci,2003,66(4):671-687.

[18] Baraniuk R,Davenport M,Devore R,et al.A simple proof of the restricted isometry property for random matrices[J].Constr.Approx,2008,28(3):253-263.

[19] Xue Jinghao,Michael D.On discriminative vs.generative classifier: a comparison of logistic regression and naive bayes[J].NIPS,2008,28(3):169-187.

[20] Diaconis P,Freedman D.Asymptotics of graphical projection pursuit[J].The annals of statistics,1984,12(3):793-815.

FINGERTIP TRACKING AND TRAJECTORY RECOGNITION BASED ON DEPTH IMAGE INFORMATION

Li Zhe Peng Siwei

(SchoolofInformationScienceandTechnology,BeijingUniversityofChemicalTechnology,Beijing100029,China)

It is difficult to accurately distinguish the object and the background under the complex environment in two-dimensional image acquired based on traditional camera. To solve the problem, we proposed a tracking method which utilises Kinect camera aiming at the fingertip in complex background, and recognises the trajectory of fingertip tracking. First, it uses the depth image information captured by Kinect to segment the hand and to detect the fingertip. Subsequently, it uses compressive sensing method to extract features from tracking object, and employs the naive Bayesian (NB) algorithm to classify the tracking object and background. Finally, it uses support vector machine (SVM) method to recognise the tracking trajectory. Experimental results showed that the proposed method can successfully track the fingertip locations and accurately recognise the fingertip trajectory at the same time.

Kinect Fingertip tracking Depth image Compressive sensing Fingertip trajectory recognition Support vector machine (SVM)

2014-10-30。李哲，碩士生，主研領域：模式識別，機器學習，圖像處理，虛擬現實。彭四偉，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.04.037