基于視覺的實時手勢識別及其在演示控制中的應用

作者簡介：孫靖（1987—），男，山西忻州人，碩士研究生，研究方向：模式識別與智能控制，計算機視覺（E-mail：wjsunjing@163.com）；艾矯燕（1970—），女，湖南株洲人，教授，博士，研究方向：模式識別與智能控制、智能信息處理。

摘要：研究基于計算機視覺的實時動態手勢識別技術，并利用OpenCV計算機視覺庫在VS2010平臺上設計一個基于該技術在多媒體教學中PPT演示控制方面的應用。首先，利用背景差分法進行手勢檢測，在背景更新的基礎上，通過背景差分圖和顏色直方圖的反投影圖來檢測運動手勢區域，可以達到較為滿意的實時運動手勢檢測效果；其次，采用基于顏色直方圖的粒子跟蹤算法進行手勢跟蹤，基本能滿足跟蹤的實時性；最后，在手勢識別階段，采用基于Hu不變矩的輪廓匹配算法，得到較好的手勢識別效果；使用六種手勢，來實現演示文稿中的控制應用。

關鍵詞：計算機視覺；背景差分；粒子跟蹤；手勢識別；Hu矩

中圖分類號：TP391.41文獻標識碼：A

1引言

隨著計算機軟硬件技術的發展，人機交互已經由過去的鼠標、鍵盤方式逐漸向更加靈活生動的語音、姿勢等新穎交互方式發展。由于基于視覺方式具有便捷和開銷低等優點，因此，利用計算機視覺技術來使計算機理解用戶的命令，從而做出控制動作，這一領域的研究得到越來越多的重視。其中，人的手勢作為日常生活中最為廣泛使用的一種交流方式；因此，國內外許多研究機構開始對手勢識別技術進行研究，并已經取得了一些階段性的成果。較早的有：Freeman和Roth等人提出的基于方向直方圖的手勢識別系統；國內的高文教授等人于1994年提出了一種靜態復雜背景手勢目標的捕獲與識別。經過二三十年的發展，

人們對運動目標檢測及跟蹤進行了大量深入的研究：美國MIT實驗室通過提取左右手質心的運動軌跡以及手勢形狀特征參數，結合語法規則識別40個美國手語，準確率達到97%；另外，Microsoft Korea的HyeonKyu Lee，采用HMM的閾值模型，識別9種動態手勢命令，平均識別率高達98.19%；國內的任海兵提出了基于DTW的手勢識別算法，該算法能準確識別12種手勢。

現在，基于視覺的手勢識別技術更多的是應用在娛樂、游戲方面，比如微軟前段時間推出的Xbox360游戲機體的體感外設Kinect及多款相配套的體感游戲，玩家可以通過手勢在游戲中進行操作和互動，使得人機互動娛樂進入了一個新紀元。與此同時，還沒有比較成熟的手勢識別技術應用在現代教學系統中。因此，本文的研究重點是基于視覺的實時手勢識別技術在多媒體教學演示控制中的應用。在基于視覺的手勢識別研究中，需要解決的問題主要有兩個：一是實時檢測運動手勢的信息，二是識別運動手勢的信息并做出響應。對運動手勢檢測，本文采用背景差分結合改進顏色直方圖特征的運動檢測方法[1]；對運動手勢跟蹤，本文采用粒子濾波算法[2]結合改進顏色直方圖信息的方法；手勢識別階段，本文采用了基于Hu不變矩特征[3]的輪廓匹配算法[4]；本文研究基于計算機視覺的手勢識別系統，實現了在播放控制中運用手勢進行開始、翻頁、退出等功能，極大的提高了課堂教學的靈活性。

2手勢檢測

實時視頻圖像中的運動手勢檢測所需要完成的任務是：能夠快且準的檢測出手勢在實時圖像中的主要位置，并且能將位置所在的特定區域作為后續跟蹤、識別的感興趣區域。手勢檢測算法的好壞，直接影響整個系統的跟蹤以及識別的效果。

目前，運動目標檢測[5]的算法比較常用的有三種方法：光流法、幀間差分法和背景差分法。本文考慮實現環境為固定攝像頭采集實時視頻圖像，背景基本不動，因此采用背景差分結合改進顏色直方圖信息的運動檢測方法。

2.1背景差分法

本文研究中，選取攝像頭啟動后的前10幀圖像的平均作為最初的背景圖像，把以后的實時序列圖像當前幀和背景圖像相減，進行背景消去?？梢缘玫?，運動手勢區域的像素點的差分值比較大，背景區域的像素點的差分值比較小。另外，由于真實場景中的背景會因光線等外部條件產生微小的變化，長期的誤差積累會造成最后得不到理想的手勢區域，因此背景需要進行實時更新，從而能及時反映當前幀的背景圖像，背景更新[6]的公式如下：

背景更新操作以后，對當前幀進行背景差分，大于閾值th1的圖像點即為運動手勢區域的點，并將得到的運動手勢區域圖像進行二值化操作，公式如下：

3手勢跟蹤

現在常用的一些跟蹤算法主要有：卡爾曼預測算法、粒子濾波算法、均值偏移算法以及Camshift跟蹤算法等?？紤]到卡爾曼預測算法和均值偏移算法等都是線性跟蹤算法，不能很好的應對目標運動的隨機性，本文采用了粒子濾波算法。

3.1粒子濾波算法原理

粒子濾波法是指通過用一組帶有權值的隨機樣本，以及基于這些樣本的估算來表示動態系統的后驗概率密度。當樣本很大的時候，這種估計就等同于后驗概率密度。這些樣本就稱為“粒子”。假設在t=0時刻每個粒子都有一個解，每個解與真實解都有一定的相似度，這個相似度可以表示為權重，隨著時間的增加，相似度越大的粒子權重越大，而相似度越小的粒子權重就越小，最后趨于0，從而找到真實解（如圖2）。

3.2基于改進顏色直方圖信息的粒子跟蹤

視頻圖像跟蹤方面，目標的運動模型主要表現為目標位置、速度隨時間改變的狀態轉移過程，目標的觀測模型主要表現為每幀圖像中運動目標的特征（如顏色、輪廓等）與真實目標的相似度的似然過程。在粒子濾波算法中，運動模型可以稱為粒子傳播或者粒子采樣，它是一種隨機過程[11]。粒子在經過傳播以后，狀態會發生改變，但權值沒有跟著改變，這就需要系統的觀測模型對當前粒子的狀態進行計算從而更新粒子的權值。本文的研究中，觀測值由目標區域的顏色直方圖決定。

基于顏色直方圖信息的粒子濾波就是將圖像顏色特征的相似度作為粒子濾波算法要求解的后驗概率，利用巴氏距離（Bhattacharyya）來計算相似度，得到粒子的權重。巴氏系數[12]如公式（9）：

4.2識別算法過程

本文研究中，首先建立手勢模板庫，然后通過實時提取手勢幀，經過前面第2部分的結合改進顏色直方圖信息的手勢檢測，然后再經過形態學處理之后，得到效果良好手勢區域的二值圖，再用輪廓提取及跟蹤來得到手勢的輪廓圖，然后計算其7Hu矩特征，最后運用歐氏距離將其與模板庫中定義的手勢進行特征匹配，完成手勢識別。

輪廓提取就是要掏空內部的點：如果其八個相鄰的點都是黑色，則可以判定為內部點，然后刪除改點。

輪廓跟蹤方法：首先找出輪廓中最左下方的點作為搜索的起點，然后按照一定規則來搜索手勢輪廓上的其他像素點。由于輪廓是連續的，因此每個輪廓上的點的位置都可以用其前一個點的所張的角度來表示。研究中采用如下跟蹤準則，第一個點開始定義搜索方向為左上，如果左上方的點是黑點，則它也是輪廓上的點；如果不是，那么順時針旋轉，直到找到第一個黑點，即輪廓上的下一個點。繼續同樣的方法搜索，直到返回最初的起點，搜索結束。

下圖是輪廓跟蹤算法[15]的示意圖，搜索方向用箭頭表示。

5系統實現

本文的系統是在微軟的VS2010平臺上，使用C++語言進行軟件開發，在圖像處理相關方面是基于計算機視覺庫（OpenCV）進行研究的。程序界面如下圖：

左邊底層區的按鈕可以觀察實時手勢跟蹤和識別效果的功能（如圖4和圖7）。

手勢識別的結果可以定義成一個變量，不同

的識別結果對應的變量值不同，然后根據變量值調用不同的API接口函數，這樣就可以實現實時手勢識別技術在演示控制中的應用。本文研究在控制部分挑選了六種手勢，分別控制PPT播放中的開始、退出、上下翻頁、跳轉首末頁等功能。手勢命令定義如下：手勢4控制開始播放；手勢3控制退出播放；手勢1控制跳轉首頁；手勢2為跳轉尾頁；手勢10為向下翻頁頁；手勢5控制向前翻頁。對電腦中某一PPT進行實際的播放控制（列舉其中4個手勢的控制狀態），效果如下：

1）識別手勢4，開始播放：

2）識別手勢10，向下翻頁：

3）識別手勢1，跳轉到首頁：

4）識別手勢3，退出：

系統通過筆記本自帶30W像素的攝像頭，采用DirectShow技術進行實時視頻的獲取，圖像尺寸是320*240，fps可以達到30-60幀/秒，可以很好的滿足實時性的要求。

6結語

本文通過研究設計了一個基于視覺的手勢識別技術在演示控制中的應用系統，可以看出背景差分結合顏色直方圖的運動檢測可以得到較好的手勢區域效果；采用的基于顏色直方圖的粒子跟蹤也能基本實現實時跟蹤的任務；在識別過程中，基于Hu不變矩的輪廓匹配算法具有很好的魯棒性，可以得到較好手勢識別效果；在應用階段，使用手勢來完成控制命令，基本實現了在播放控制中的應用。

同時，仍存在一些問題：對于光照和人臉微小晃動等外部因素引起的噪聲，只能降低而無法消除，這對于手勢跟蹤與識別的效果還是有一定的影響，在應用時會產生一定的誤操作。這些問題仍需繼續研究，才能使得基于視覺的手勢識別技術得到更成熟的應用。

參考文獻

[1]吳曉陽.基于OpenCV的運動目標檢測與跟蹤[D].杭州：浙江大學，2008.

[2]CHO J U， JIN S H， PHAM X D. Object tracking circuit using particle filter with multiple features [C] / / SICE-ICASE： International Joint Conference. Las Vegas： IEEE， 2006： 1431-1436.

[3]甘志杰.基于Hu矩和支持向量機的靜態手勢識別及應用[D].青島：青島科技大學，2008.

[4]華斌，夏利娜.基于中值濾波和Hu矩向量的手語識別[J].計算機工程與設計，2011，32（2）： 615- 618.

[5]伏思華，張小虎.基于序列圖像的運動目標實時檢測方法[J].光學術，2004，30（2）： 215- 217.

[6]LINDEBERC T. Scale-space theory： a basic tool for analyzing structures at different scales [J]. Joumal of Applied Statistics. 1994， 21（2）：224-270.

[7]于華平.視頻序列中的手勢檢測與跟蹤[D].南寧：廣西大學，2010.

[8]QIN WEN， PENG QICONG. An improved particle filter algorithm based on neural network for visual tracking [C] / / International Conference on Communications， Circuits and Systems. Las Vegas： IEEE， 2007：765-768.

[9]龔翔. 基于粒子濾波的視覺跟蹤算法研究[D]. 南京：南京理工大學，2009.

[10]YU JIAXIA， LIU WENJING， YANG Y. Improved particle filter algorithms based on partial systematic resambling [C]/ /IEEE International Conference on Intelligent Computing and Intelligent Systems. Las Vegas： IEEE， 2010： 483-487.

[11]朱志宇.粒子濾波算法及其應用[M].北京：北京科學出版社，2010.

[12]FAZLI S， POUR H M， BOUZARI H. Particle filter based object tracking with sift and color feature [C] / / Second International Conference on Machine Vision. Las Vegas： IEEE， 2009：89-93.

[13]侯一明，郭雷，倫向敏，等.運動背景下基于粒子濾波的目標跟蹤[J].計算機工程與應用，2007，43（8）： 62- 64.

[14]殷濤. 基于幾何矩的手勢識別算法[D].上海：上海海事大學，2004.

[15]甘泉. 基于計算機視覺的手勢識別匹配檢索方法的研究[D].