基于DTW 的手勢識別算法*

佟喜峰 樊鑫

（東北石油大學計算機與信息技術學院 大慶 163318）

1 引言

手勢識別的方法主要有傳統的模板匹配法和人工神經網絡法［1～3］。楊紅玲等通過攝像頭實時采集手勢圖像，采用結合RGB 和HSV 雙顏色空間的手勢分割方法得到二值化圖像，然后對分割后的手勢圖像提取骨架與邊緣相融合的手勢特征圖，通過手勢特征圖識別手勢［2］。吳斌方等提出了一種基于支持向量機的手勢分割和基于Inception-v3的手勢識別方法，將預先經過手勢分割處理后的樣本導入模型訓練，調整超參數得到最優手勢識別模型［4］。包兆華等使用神經網絡提取關鍵點，通過關鍵點判斷手部的位置，在Ycbcr 顏色空間上進行手勢分割，將LeNet5 用于識別手勢［5］。李國友等使用Kinect V2 傳感器，根據提取圖像數據與深度數據，使用隱馬爾可夫模型實現了手勢識別［6］。任重庚等提出了基于Kinect 骨骼數據的手勢識別方法，在Kinect 獲取的關節坐標的基礎上，統計各個關節在3 個維度上的變化情況并表示為相應的權值，使用DTW 方法識別手部整體運動軌跡［7］。模板匹配法的優點是簡單，識別速度快，且不易受到光照的影響，缺點是魯棒性不太強，對于同一種手勢，當手部形狀變化較大時，識別準確率就會變低，誤識的情況就會出現的比較多。人工神經網絡法具有較強的自主學習能力，魯棒性較好，缺點是訓練時間較長，需要學習較大數量的樣本。

手勢識別總體上屬于形狀匹配與識別范疇。在形狀匹配與識別方面，王生生等提出了一種基于特征點分類的融合框架，將全局與局部算法的匹配結果進行融合，提高了準確率［8］。朱聰斌等利用輪廓段中的高曲率顯著點將輪廓分割為若干部分，并設計了針對角度描述符和長度描述符的匹配算法［9］。劉硯菊等先對幾何形狀提取骨架，然后通過形狀上下文對骨架提取特征，最后通過形狀上下文距離度量兩個形狀的相似度［10］。王峰等提出了基于主曲率增強距離變換的形狀相似性計算方法，該方法對于部分內容遮擋或缺失情況下的目標識別取得了較好的效果［11］。李向軍等提出了基于最小點對成本的二維輪廓精確匹配與分析方法，該方法首先構建出列表輪廓原型知識庫，然后通過粗匹配得到形狀的大致類別，再通過細匹配得到具體的類別［12］。實時手勢識別對算法的時間復雜度要求比較高，以上算法在識別準確率指標上比較理想，但是由于時間復雜度的原因，以上算法不適合用于實時手勢識別。

本文提出了基于DTW 算法的手勢識別。DTW即動態時間規整（Dynamic Time Warping），該方法基于動態規劃算法的思想，用于計算兩個時間序列信號的歐式距離。由于DTW 算法具有魯棒性強的優點，已被用于孤立詞語音識別［13］、聯機筆跡鑒別［14］等。

2 手勢特征提取

對手勢圖像提取特征，需經過手部區域檢測、幾何形狀中心點定位、邊緣檢測與特征提取等步驟。

2.1 手部區域檢測

要進行手勢識別首先要獲取手勢區域，對于手勢區域的檢測，本文采用膚色檢測法［15］對存在手勢的圖像進行處理，檢測出手勢區域后，再將除了手部區域的其它部分全部變為白色區域，然后進行灰度處理，最后再利用圖像二值化實現圖像的分割。

2.2 幾何形狀中心點定位

如圖1 所示，假設黑色區域為手勢圖形區域，為比較手勢圖形的相似度，需要計算圖形各個邊緣點到幾何圖形中心點的距離。為求得幾何圖形的中心點，需要統計圖像每一行黑點個數和每一列黑點個數。假設圖像的高為H，圖像的寬為W，假設Sri代表圖像的第i 行的黑點個數，Scj代表圖像的第j列的黑點個數，則可以通過如下公式計算手勢圖形的中心點坐標（Cx，Cy）：

圖1 手勢的一個例子

2.3 邊緣檢測與特征提取

算法采用各個邊緣點與中心點的距離作為特征，因此，邊緣點的檢測是必不可少的步驟。邊緣點周圍一般既有黑點又有白點，因此，通過如下的方法進行邊緣檢測：對源圖像的各個像素點（x，y），如果像素點（x，y）為黑點，且像素點（x+1，y）、（x-1，y）、（x，y+1）、（x，y-1）不都是黑點，則將目標圖像像素點（x，y）標記為黑點。

為了比對幾何圖形，需要提取特征。如圖2 所示，假設A 點為用式（1）和式（2）求得的幾何圖形中心，B 點為由A 點垂直向下的射線與封閉曲線的交點。從B 點開始，沿著逆時針方向，逐步跟蹤曲線上的各個黑點，直至走完封閉曲線又回到B 點。在跟蹤過程中，記錄各個點的坐標（xk，yk）。在得到曲線上各個點的坐標序列之后，計算各個點相對于中心點的坐標（xck，yck）：

圖2 特征提取示意圖

曲線長度也是重要的特征，為計算曲線長度，規定從一個點出發，向上、下、左、右前進一步時，距離為1，向左上、左下、右上、右下前進一步時，距離為，既1.414。圖3 給出了曲線長度計算示意圖。在圖3 的例子中，假設每個黑點代表一個像素點，從M 點出發，經過N、R、S 到達T，則從M 出發到T點的曲線長度為1+

圖3 曲線長度計算示意圖

提取到的特征包括：

1）幾何圖形中心坐標(cx,cy)；

2）幾何圖形邊緣像素點個數q；

3）按曲線長度遞增次序排列的幾何圖形各個邊緣像素點(xk,yk)的信息，具體包括：

（1）邊緣像素點(xk,yk) 相對于中心的坐標(xck,yck)；

（2）從圖2中的起點B到當前像素點(xk,yk)的曲線長度lk。

對于形狀非常相似但大小不一樣的兩個手勢，希望將這兩個手勢判定為同一個類別。此時需要將兩個手勢圖形調整到相似大小。常見的方法是插值，即保持一個幾何圖形大小不變，通過插值使兩個圖形大小基本一致。但是插值的運算量通常是很大的。本文采用了縮放曲線邊緣點的坐標的方法。假設圖像的高為H，圖像的寬為W，則對圖像進行插值的時間復雜度為O（HW）。一般情況下，圖像內的幾何圖形邊緣像素點個數與圖像矩形區域的周長是同一數量級。因此，縮放曲線邊緣點的坐標的時間復雜度為O（H+W）。顯然，縮放邊緣點坐標的運算量遠遠小于圖像插值的運算量。

采用根據封閉曲線長度進行縮放的方法。假設封閉曲線長度的初始值為Dori，即最后一個邊緣像素點（第q-1 個像素點）的曲線長度lq-1。假設經過歸一化后長度變為Ddes，為了實現縮放，首先需計算縮放比例系數：

經過線性縮放后，幾何圖形的中心變為

接下來，需要對邊緣曲線按等長度間隔的方式選取Ddes個點，并計算經過縮放后的坐標。

假設(xk,yk)為被選取的邊緣點，經過線性縮放后，(xk,yk)點的坐標變為

所以，經過歸一化以后，(xzk,yzk)相對于中心點(czx,czy)的坐標為

假設：

則vk代表長度歸一化后的邊緣點(xzck,yzck)與中心點的距離。在采用DTW 方法匹配幾何圖形時，可以使用vk值（即曲線高度）。

計算曲線各個點與若干鄰近點平均值的差值，對這些差值做DTW 匹配有望取得更好的結果。由于邊緣曲線是封閉曲線，所以根據式（12）得到的各個vk計算差值時，如果出現左側鄰域或右側鄰域越界的情況，應將其看做循環周期信號進行處理。具體公式如下：

上式中，先對每個vk計算鄰近的2u+1 個點的平均值，其中（k-u）mod q 為鄰域左邊界，（k+u）mod q 為鄰域右邊界，q 為邊界曲線上點的個數，mod q的作用是：把vk看做循環周期信號進行取數。圖4給出了對圖2進行相對曲線高度計算的一個例子。

圖4 相對曲線高度的一個例子

3 基于DTW的曲線匹配算法

利用上面得到的相對曲線高度特征采用DTW算法求取相似度，具體過程如下。

設模板序列為A 和測試序列為B，他們的長度分別為i 和j，那么首先得建立一個i*j 大小的矩陣，矩陣中的元素（m，n）對應兩個序列元素的距離d（m，n），這里我們的特征采用相對曲線高度，求取距離的公式如下：

其中A 和B 分別代表兩個序列中各個點的相對曲線高度，ABS（）為求絕對值的函數。DTW 算法就是要在矩陣中尋找一條最短路徑。按照DTW 算法的規則，路徑必須從左下角開始右上角結束，因為曲線上的點都是逐個遍歷，因此先后順序是固定的。再根據單調性和約束性，（m，n）的前一個點只能是（m-1，n）、（m-1，n-1）和（m，n-1）三個點中的一個，所以計算距離的公式為

利用該公式就可以求出兩個模板序列的累加距離，從而求出測試序列和所有模板序列的距離。

4 實驗結果及分析

為驗證本文算法的識別效果，對ASL手勢庫［16］中的‘0’、‘1’、‘2’、‘3’、‘4’、‘5’、‘6’、‘7’、‘8’、‘9’這十個數字的手勢進行了測試。在ASL 手勢庫part1組，每個數字的手勢包括25幅圖像，十個數字共250 幅圖像。測試分為兩組，第1 組選取每個數字手勢的第1幅圖像為學習樣本，其余24幅圖像為測試樣本。第2組選取每個數字手勢的第1幅圖像和第11 幅圖像為學習樣本，其余23 幅圖像為測試樣本。得到的識別準確率如表1所示。從表1可以看出，在每個數字選取1 幅圖像為學習樣本時，總體識別準確率為0.975。在每個數字選取兩幅圖像為學習樣本時，總體識別準確率為1.0。表明本文的方法對手勢具有較高的準確率。

表1 本文算法識別手勢幾何形狀的準確率

在時間耗費方面，在CPU 為Intel i7-4900MQ，內存為8G 時，測得對單幅圖像特征提取的平均時間為0.074s，兩個手勢的特征進行比對時平均時間為0.0011s。假設識別十種手勢，每種手勢保存兩個特征模板，則識別一個手勢所需的時間大約為20*0.0011+0.074=0.096s，表明本文的算法基本可以滿足實時手勢識別的要求。

5 結語

本文提出一種基于DTW 的手勢識別算法，該算法能夠對手勢形狀的時間序列進行規整，然后進行相似度計算。實驗結果表明使用較少的樣本也能取得較好的識別結果，由于DTW 算法具有魯棒性強的特點，使得文本的算法對有一定形狀變化的手勢也能準確識別。經實際測試表明，本文的算法在識別十種手勢時，識別一個手勢所需的時間小于0.1s，可以滿足實時手勢識別的要求。