基于普通紅外攝像機的手勢識別

孟春寧，呂建平，陳萱華

公安海警學院 電子技術系，浙江 寧波 315801

1 引言

計算機的普及促使人機交互技術迅猛發(fā)展。開發(fā)符合人際交流習慣的自然、方便的人機交互模式是人機交互領域的終極目標。手勢是一種靠動作和視覺進行交際的特殊語言，包含了大量的信息，是人類使用最頻繁的肢體語言[1]。基于視覺的手勢識別技術符合人機交互領域追求的自然、方便的原則，因此成為國內(nèi)外的研究熱點，并在游戲、電腦輔助控制等方面取得了成功的應用[2]。

手勢在時間和空間上的多樣性和不確定性、所處的不同外界環(huán)境及光照情況等因素給手勢分割與識別帶來了極大的困難。獲取三維手勢信息是解決手勢表觀多樣性的最好方法。傳統(tǒng)的基于立體視覺的方法通過使用多臺攝像機從不同角度采集手勢的立體圖像[3]，依賴特定的3D圖像采集系統(tǒng)，且對各攝像機的位置要求嚴格、需要復雜的校準、相關圖像處理技術也更加耗時。目前已經(jīng)成功用于交互領域的技術大多依賴能獲取深度信息的硬件，如基于結(jié)構光技術的Kinect[4]、基于多角成像技術的Leap Motion[5]。特定的硬件成本較高，限制了手勢識別技術的普及。

基于單目視覺的手勢識別技術雖然難以精確獲取手勢的三維信息，但其具有不依賴特定硬件的優(yōu)勢，在只需識別少數(shù)簡單的二維手勢動作獲得控制需求的領域也取得了可喜的成果，具有代表性的有以色列的PointGrab、EyeSight及ExtremeReality等公司的研究成果[1]。為拓展基于單目視覺的手勢識別技術的應用范圍，本文研究了復雜背景下基于普通攝像機的多類手勢識別方法。傳統(tǒng)的基于單目視覺的手勢分割方法主要有：（1）閾值分割法：通過設定不同的特征閾值，把圖像像素點分為若干類，閾值的選取方法有很多種[6]，但通常需要使用純色背景或佩戴特殊手套等物理約束條件，對復雜背景下的圖像難以選取合適的閾值；（2）輪廓模型分割算法[7-9]：也稱為“智能蛇（Smart Snakes）”算法，是定位靜態(tài)圖像的經(jīng)典算法，但這類算法需要給出初始的輪廓，當目標比較復雜或與其他物體靠得較近時，初始輪廓不易確定，且通常只能處理打開的手部圖像；（3）基于膚色的分割方法[10-11]：這種方法充分利用了手的表觀特征，是目前比較常用的手勢分割方法，但基于膚色的分割技術受光照影響很大，難以應用于復雜光照條件下的手勢分割。（4）結(jié)合一些特定理論、方法和工具的分割技術：如基于統(tǒng)計模式識別理論[12]、人工神經(jīng)網(wǎng)絡[13]、模糊集合和邏輯[14-15]、小波變換[16]等理論和方法對手勢進行分割。對分割出來的不同的手勢多采用模板匹配法[17-18]或基于機器學習的方法[9]。由于Hausdorff距離具有對局部非剛性的扭曲及圖像的局部遮擋不敏感的優(yōu)勢，通常作為模板匹配法的首選用于手勢分割識別中[19]。J Yuan利用Hausdorff模板匹配結(jié)合機器學習的方法用于人眼圖像分割取得了較好的效果[20]。本文利用單個普通紅外攝像機采集包含手勢的灰度圖像，提出一種八鄰域灰度圖像變換算法以降低光照對分割的影響，改進了傳統(tǒng)Hausdorff距離算法結(jié)合支持向量機（Support Vector Machine，SVM）分割手勢區(qū)域，采用SVM多分類器取代傳統(tǒng)BP神經(jīng)網(wǎng)絡以克服其收斂速度慢及容易過擬合的缺陷，對九種手勢圖像進行識別，對比實驗結(jié)果表明本文提出的方法取得了更好的識別效果。

2 改進的Hausdorff距離算法

2.1 平均Hausdorff距離

Hausdorff距離（Hausdorff Distance，HD）是描述兩個點集之間相似程度的一種度量[21]。點集A和B之間的Hausdorff距離定義為：

HD度量了兩個點集間的最大不匹配程度，其值越小說明兩點集越相似。在兩幅圖像的匹配中，圖像中的每個像素值就相當于點集中的元素。HD不需要點與點之間一一對應，因此它對局部非剛性的扭曲及圖像的局部遮擋等不敏感。但是由于Hausdorff距離是一個最大最小距離，所以它對圖像噪聲很敏感。為解決這個問題，Huttenlocher等人提出了一種利用部分Hausdorff距離（Partial Hausdorff Distance，PHD）進行匹配的方法[22]；SIM等人提出一種LTS-HD（Least Trimmed Square Hausdorff Distance，LTS-HD）算法[23]，LTS-HD 是將 HD排序后把前面幾個大的距離值剔除后，再對保留下來的距離求平均值，但排序過程耗時，且剔除大的距離值在很多情況下效果并不明顯。使用了一種比較簡單直觀的求平均值方法改進Hausdorff距離計算，降低該距離對噪聲的敏感度，稱為平均Hausdorff距離（Average Hausdorff Distance，AHD），其定義如下：

NA和NB分別為A和B中元素的個數(shù)。

2.2 八鄰域三進制變換算法

為了消除光照的影響，在求HD之前采用一種八鄰域灰度圖像變換算法。如圖1所示，考慮一個像素點及周圍八個相鄰的像素，將圖1（a）所示周圍八個像素分別與中間像素灰度值比較，將大于該中間像素灰度值的置為2，小于的置為0，等于的置為1，則該窗口變換為圖1（b），將這八個像素變換后的數(shù)值順序排列構成一個八位三進制數(shù)，如圖1（c），然后將此三進制數(shù)轉(zhuǎn)化為相應的十進制數(shù)作為該中間像素的值，圖1（a）的中間像素變換后數(shù)值為：

這種通過與鄰域像素比較得到的變換結(jié)果能夠消除光照強度變化的影響，并且在保存了像素灰度變化信息的同時突出了邊緣信息，增強了輪廓。

圖1 八鄰域三進制變換算法

2.3 最小平均Hausdorff距離區(qū)域

在求AHD之前，先將待分割圖像及模板分別作八鄰域灰度圖像變換，如圖2所示。圖2（b）為圖2（a）作八鄰域灰度圖像變換后的結(jié)果。選取某幅圖像的手背（略帶手指及手腕部分信息）為模板，如圖2（c），八鄰域變換后的模板見圖2（d），用該模板遍歷灰度變換后的原始圖像，計算AHD得到圖2（a）的AHD圖（見圖2（e）），AHD圖中的最小值對應的原圖像中的部分是最有可能的待分割區(qū)域。但由于單個模板的局限性以及復雜背景的影響（比如胳膊很像手背區(qū)域），最小的AHD難以完全與手勢區(qū)域相匹配，故進一步提出一種最小平均Hausdorff距離區(qū)域（Least Average Hausdorff Distance Area，LAHDA）算法，該算法主要依據(jù)匹配后包含部分手部圖像的AHD值也比較小的特點。定義如下：設Si為AHD圖中一塊固定尺寸的區(qū)域，面積為s（即包含的像素數(shù)），原圖像關于模板的LAHDA定義為AHD圖中像素值之和最小的那塊區(qū)域：

其中n為遍歷AHD圖所得大小為s的區(qū)域個數(shù)，Hi為AHD圖中Si區(qū)域內(nèi)某點的像素值。圖2（f）中白色矩形框包圍的區(qū)域即為圖2（a）的LAHDA，圖2（g）中白色矩形框中即（b）中對應LAHDA的部分，對應的原圖像中的區(qū)域為圖2（h）中黑色矩形框。

圖2 基于LAHDA的手勢分割

3 支持向量機及SMO算法

在線性可分情況下，支持向量機用于分類問題的原理是建立一個合適的超平面，使得可分的兩類數(shù)據(jù)分列于平面兩側(cè)，并且使它們到該平面的距離最大，此平面即被稱為最優(yōu)分離超平面。對于非線性問題，是通過一個非線性映射把原始數(shù)據(jù)映射到特征空間的新數(shù)據(jù)集上，而新數(shù)據(jù)集在該特征空間上是線性可分的，由此建立的最優(yōu)分離超平面在原始空間內(nèi)就是一個超曲面。通過解二次規(guī)劃可得原空間中的分類超曲面為：

其中λi為Lagrange乘子，i=1，2，…，N。k(x，y)=Φ(xi)T·Φ(x)為核函數(shù)，b為閾值。常用的滿足Mercer條件的核函數(shù)有多項式核函數(shù)、Gauss核函數(shù)及Sigmoid核函數(shù)。

支持向量機的學習訓練算法是求解一個二次凸規(guī)劃問題。從理論上講，共軛梯度法、積極集法和內(nèi)點法都可以用于該問題的求解，但是這些方法面對中、大規(guī)模的實際問題時，訓練SVM是一個巨大的計算工程。1998年Platt提出一種序貫最小優(yōu)化算法（Sequential Minimal Optimization，SMO）[24]，避免了大量數(shù)值計算，大大節(jié)約了計算時間。

實驗所用SVM分類器對Platt的SMO算法作了改進，在內(nèi)層循環(huán)中，即試探尋找第二個配對優(yōu)化樣本的過程中，先遍歷非邊界樣本（即Lagrange乘子不等于0或C的樣本），因為非邊界樣本更有可能需要調(diào)整，如果找不到能與第一個樣本配對的非邊界樣本，則遍歷邊界樣本，這樣避免了遍歷全部樣本的同時又一次遍歷非邊界樣本，這對于大樣本訓練集來說大大提高了訓練速度。實驗采用了這種遍歷策略，訓練速度較原始SMO算法提高了約一倍。改進的SMO算法與原始SMO算法的訓練耗時對比實驗結(jié)果如圖3所示，該實驗訓練樣本數(shù)為160，RBF核函數(shù)參數(shù)為10，懲罰系數(shù)為500，訓練次數(shù)是20次，原始SMO算法平均耗時為1.824 4 s，改進后的算法平均耗時為3.512 4 s。

圖3 改進的SMO算法與原始SMO算法的耗時實驗對比結(jié)果

實驗選擇了高斯核函數(shù)，采用二叉樹結(jié)構級聯(lián)九個獨立的支持向量機對九種手勢及非九種手勢十類問題進行分類。根據(jù)各種手勢的相似程度，設計了一個十分類的SVM，如圖4所示。

圖4 十分類支持向量機

4 實驗過程及結(jié)果分析

4.1 手勢分割

實驗使用普通紅外監(jiān)控攝像頭，采用這種攝像機可以在任意光照條件下采集手勢圖像。光線暗時紅外燈自動打開，光照條件好時為自然光照明。實驗采集了7個人在不同背景及光照條件下的表示數(shù)字1～9的九種手勢灰度圖像，選擇了其中人眼可以分辨出手型的14 196幅（為便于描述，此數(shù)據(jù)庫簡稱A庫），部分圖像如圖5所示。A庫中每幅圖像的手勢區(qū)域在整個圖像中所占比例也有較小的差別，以檢測算法對尺度變換的敏感度。從A庫中選出3 925幅背景較為簡單的圖像作為B庫。

圖5 不同背景不同光照條件下的原始圖像

為了提高計算Hausdorff距離的速度，首先將采集到的768×576分辨率的圖像采用雙線性插值法縮小到原來的0.2倍（圖像分辨率變?yōu)?53×115），然后對每幅圖像進行上述八鄰域灰度變換，以降低光照的影響。

實驗所選的手勢為表示數(shù)字1到9的九種靜態(tài)手型，選取了其中某副圖像的手背作為求Hausdorff距離的模板，如圖2（c）即為實驗所用模板，對其進行八鄰域灰度圖像變換得到圖2（d）。

選取適當s值（本實驗s=11×18），按照2.3節(jié)的敘述計算每幅圖像的LAHDA，對應的區(qū)域即為與模板手掌最相似的區(qū)域，考慮到手掌的大小范圍以及手指分布在手掌的兩邊和上部，最后適當調(diào)整了LAHDA與原始圖像的對應關系（如多向上取出幾行來盡量包含手指部分）。

用上述方法對A庫中14196幅圖像作分割，取LAHDA所對應的原圖像區(qū)域作為分割結(jié)果，能正確地分割出其中的11 925幅，分割正確率為84.0%，而對背景較為簡單的B庫圖像分割率能達到99.8%，這是由于很多復雜背景下可能存在與處理后的模板圖像類似的非手勢區(qū)域，因此增加了下面的步驟。

為了提高手勢分割的正確率，進一步將分割圖像進行SVM識別。訓練一個正類為手勢，負類為非手勢的二分類SVM（即圖4中第一個SVM分類器），將采用LAHDA分割出的圖像輸入SVM進行判斷，如果識別為非手，則將對應區(qū)域的每個像素均賦一個較大值（消除與模板最接近的區(qū)域的影響），然后在改變了的AHD圖中再取LAHDA，此為第二次分割；仍被識別為非手則進行第三次分割，直至SVM識別為手。

實驗對14 196幅圖像進行了三次分割，三次分割后仍被識別為非手則認為無法分割并輸出第三次分割的結(jié)果，最后僅有23幅分割錯誤，正確率達99.8%。圖5中九幅圖像的分割結(jié)果如圖6所示。表1展示了本文方法與現(xiàn)有方法的對比結(jié)果，其中PHD算法中決定K值的參數(shù)f取值為經(jīng)典值0.6，LTS-HD算法參數(shù)取值為10。從表中可以看出，PHD算法分割正確率最低，LAHDA算法分割成功率高于其他算法。通過理論分析及對錯分樣本的統(tǒng)計分析表明，PHD算法類似經(jīng)典Hausdorff距離，其結(jié)果由第K個距離值決定，受噪聲影響最大，且針對所有樣本具有統(tǒng)一的f值完全是人為設定，沒有針對每個樣本特點自適應取值的機制，無法保證K值對分割結(jié)果取得積極影響；MHD算法識別率相對低的主要原因是對類似手勢區(qū)域的噪點較為敏感，且配合BPNN經(jīng)歷多次分割識別仍然難以排除其影響。LTS-HD事實上是在MHD的基礎上增加了排序和剔除前幾個值的步驟，針對本數(shù)據(jù)庫的識別結(jié)果顯示其在增加了算法耗時的情況下非但沒有提高效率，反而略低于MHD，分析錯分樣本得知，針對本文采集的部分圖像，其剔除的大值對分割結(jié)果起著積極的作用；而LAHDA借鑒了MHD對單個噪點魯棒性高的優(yōu)勢，通過引入?yún)^(qū)域的概念，進一步增強了對相似區(qū)域匹配的魯棒性，多次分割過程中能夠排除噪聲附近的一塊區(qū)域，從而提高了分割正確率。為證明本文所用八鄰域三進制變換算法的有效性，加入了LBP[25]和八鄰域三進制變換算法分別與LAHDA結(jié)合的對比實驗，本文所用八鄰域三進制算法正是在經(jīng)典LBP的基礎上增加了大小相等這一判斷結(jié)果。對比實驗結(jié)果證明，八鄰域三進制算法在本文數(shù)據(jù)庫上優(yōu)于LBP，原因是在照明充足的情況下（如圖5（c）（d））預處理后的手背圖像易出現(xiàn)大面積等灰度值像素，而LBP未考慮匹配中的等值情況，只將等值與大于或小于歸為一類，在模板與樣本類似時匹配的可區(qū)分性被降低。

圖6 部分圖像的分割結(jié)果（對應圖5中九幅圖像）

表1 手勢分割實驗結(jié)果

4.2 手勢識別

從A庫中選取了表示1～9九種手勢各100個，非此九種手勢900個作為訓練樣本訓練第3章介紹的十分類SVM，測試樣本為1～9九種手勢各50個，非此九種手勢200個。部分訓練樣本如圖7所示。

圖7 （a）九種手勢的部分訓練樣本

圖7 （b）非此九種手勢的部分訓練樣本

將分割出的手勢經(jīng)八鄰域灰度圖像變換后作為訓練測試樣本，用上節(jié)所述二叉樹結(jié)構的SVM多分類器進行識別。采用了十字交叉驗證法選擇較為合適的懲罰系數(shù)C和高斯核函數(shù)參數(shù)s，對九類手勢測試樣本的平均識別率為80.44%。級聯(lián)前后的SVM識別結(jié)果見表2和表3。由表3可看出，手勢3和手勢8識別率較低，通過統(tǒng)計測試樣本中識別錯誤的手勢圖像，發(fā)現(xiàn)手勢3多被誤判為手勢4或2，手勢8多被誤判為手勢6或2。另外識別率較高的手勢9中摻雜著較多被誤判為手勢9的假正樣本，如手勢1或7。上述情況的發(fā)生主要原因是手勢3 2 4、手勢8 6 2以及手勢9 1 7在表觀上分別具有較高的相似性，因此相似性較高的一組手勢易被誤判為同組其他手勢，最后導致對不同手勢識別率的差異。

表2 級聯(lián)前的九個SVM分別對測試樣本的識別率

表3 級聯(lián)后的支持向量機分別對九種手勢的識別率

5 結(jié)束語

本文提出一種新的基于Hausdorff距離的算法結(jié)合鄰域變換及SVM實現(xiàn)了基于普通攝像機的復雜背景下九種靜態(tài)手勢的分割識別，取得了較好的識別效果。鄰域變換算法克服了不同光照條件的干擾，LAHDA算法在各種復雜背景下對手勢的尺度變化、方向及形狀變化等均有較強的容忍度，改進的SMO算法大大減少了SVM的訓練時間，提高了大樣本情況下SVM的訓練效率。實驗結(jié)果表明這種方法具有很好的魯棒性和泛化能力。算法在普通紅外監(jiān)控攝像機下實現(xiàn)，無需任何附加硬件，平均識別率超過80%，證明了其用作普通攝像機下通用手勢交互技術的可行性，是智能家居、輔助計算機控制等熱門領域的低成本、易推廣的理想解決方案。今后的工作將研究如何進一步提高識別率，并探索基于普通攝像機的動態(tài)手勢跟蹤方法。

[1]Rautaray S S，Agrawal A.Vision based hand gesture recognition for human computer interaction：a survey[J].Artificial Intelligence Review，2015，43（1）：1-54.

[2]馮志全，楊波，徐濤，等.基于自然手勢跟蹤的直接操作型三維人機交互范式[J].計算機學報，2014，37（6）：1309-1323.

[3]Wu Y，Lin J Y，Huang T S.Capturing natural hand articulation[C]//Eighth IEEE International Conference on Computer Vision.IEEE，2001，2：426-432.

[4]Biswas K K，Basu S K.Gesture recognition using microsoft kinect?[C]//5th International Conference on Automation，Robotics and Applications.IEEE，2011：100-103.

[5]Weichert F，Bachmann D，Rudak B，et al.Analysis of the accuracy and robustness of the leap motion controller[J].Sensors，2013，13（5）：6380-6393.

[6]Sahoo P K，Soltani S，Wong A K C，et al.A survey of thresholding techniques[J].Computer Vision，Graphics and Image Processing，1988，41：233-260.

[7]Cootes T F，TaylorC J.Activeshapemodels-‘smart snakes’[C]//Proeeedings of the British Machine Vision Conference.USA：Springer-Verlag，1992：266-275.

[8]Heap A J，Samaria F.Real-time hand tracking and gesture recognition using smart snakes[C]//Proceeding of Interface to Real and Virtual Worlds，Montpellier，1995.

[9]Kass M，Witkin A，Terzopoulos D.SNAKE：Active contour models[J].Int J Comput Vis，1988：321-331.

[10]Jons M，Rehg J.Statistical color models with application to skin detection[R].USA：Compaq Cambridge Research Lab，1998.

[11]Bradski G，Yeo B L，Yeung M M.Gesture for video content navigation[C]//Proceedings of the Storage and Retrieval for Imageand Video Databases VII，1999：230-242.

[12]Birk H.Real time recognition of hand alphabet gestures using principal component analysis[C]//Proc Seandinavian Conf Image Analysis，1997：261-268.

[13]Yuan Jinghe，Wang Yong，Chang Shengjiang，et al.Gesture recognition for human-computer interaction by using neural network[J].Journal of Optoelectrnic&Laser，2002，13（7）：733-743.

[14]Anderson L，Purdy J，Viant W.Variations on a fuzzy logic gesture recognition algorithm[C]//Proc of the 2004 ACM SIGCHI Intl Conf on Advances in Computer Entertainment Technology，Singapore，2004：280-283.

[15]Bedregal B C，Costa A C R，Dimuro G P.Fuzzy rulebased hand gesture recognition[C]//Artificial Intelligence in Theory and Practice.Boston：Springer，2006：285-294.

[16]Wei Jinwen，Chen Yanling，Qin Hequn，et al.Hand shape recognition in human machine interaction through the singularity detection with wavelettransform[J].Journal of System Design and Dynamics，2009，3（2）：162-172.

[17]Cui Y T，Weng J J.View-based hand segmentation and hand-sequence recognition with complex backgrounds[C]//Proceedings of the IEEE International Conference on Pattern Recognition，Osaka，Japan：1997：617-621.

[18]Yoruk E，Konukoglu E，Sankur B，et al.Shape-based hand recognition[J].IEEE Transactions on Image Processing，2006，15（7）：1803-1815.

[19]Yang X W，F(xiàn)eng Z Q，Huang Z Z，et al.A gesture recognition algorithm using hausdorff-like distance template matching based on the main direction of gesture[C]//Applied Mechanics and Materials，2015，713：2156-2159.

[20]Yuan J.Eye location under different eye poses，scales and illuminations[J].Chinese Optics Letters，2010，8（1）：59-62.

[21]Huttenlocher D P，Klanderman G A，Rucklidge W J.Comparing images using the Hausdorff distance[J].IEEE Transactions on PAMI，1993，15（9）：850-863.

[22]Huttenlocher D P，Klanderman G A，Rucklidge W J.Comparing images using the Hausdorff distance[J].IEEE Transactions on Pattern analysis and Machine Intelligence，1993，15（9）：850-863.

[23]Sim D G，Kwon O K，Park R H.Objectmatching algorithm using robust Hausdorff distance measures[J].IEEE Transactions on Image Processing，1999，8（3）：425-429.

[24]Platt J C.Fast Training of support vector machines using sequential minimal optimization[M].Cambridge，MA：MIT Press，1999：185-208.

[25]Timo A，Abdenour H，Matti P.Face Description with Local binary patterns：application to face recognition[J].IEEE Transactions on PAMI，2006，28（12）：2037-2041.