利用基于顏色的自適應形狀模型實現手勢跟蹤

摘要:提出了一種基于顏色的自適應形狀模型，并利用該模型實現了圖像序列中的實時手勢跟蹤。跟蹤算法基于自適應的顏色模型實現準確的手部輪廓提取，并利用基于二維顏色模型的粒子濾波器實現序列圖像中跟蹤目標的運動估計。實驗結果表明了基于顏色的自適應形狀模型對凸形與凹形手部輪廓均能達到準確的手部輪廓提取，并能滿足圖像序列手勢跟蹤的實行性要求。

關鍵詞:手勢跟蹤; 形狀模型; 顏色分布模型; 粒子濾波器

中圖分類號:TP391.41文獻標志碼:A

文章編號:1001－3695(2008)02－0485－03

0引言

隨著計算機應用的深入，并伴隨著計算機及相關學科的迅猛發展，研究符合人際交流習慣的新穎人機交互技術(HCI)變得異常活躍，并取得了一定的進展。總體來說，人機交互技術已經從以計算機為中心逐步轉移到以人為中心，手勢識別也逐漸成為一個研究熱點[1]。手勢識別技術按照實現途徑可分為基于數據手套的手勢識別和基于計算機視覺的手勢識別兩大類[2]。基于視覺的手勢識別是利用攝像機采集手勢信息，并進行識別。該方法不需要復雜的數據手套作為輸入設備，輸入相對簡單#65380;方便，但識別率比較低，實時性較差，故提高識別率與實時性是其關鍵問題。同時在基于視覺的手勢分析與識別中，手勢跟蹤是一個關鍵環節。本文研究了基于單目視覺的手勢跟蹤，在圖像序列中實現手部區域的定位并提取手部輪廓信息。

通常圖像序列目標跟蹤狀態估計是非線性#65380;非高斯的，粒子濾波器正是一種根據帶有噪聲的觀測數據序列估計未知運動狀態的技術，而且它主要用于非線性#65380;非高斯的系統[3]。本文應用基于二維顏色模型的粒子濾波器來實現復雜場景下的手部區域的實時跟蹤，并以一種自適應機制來快速地對手部輪廓進行提取。該方法對凸形與凹形輪廓均能實現準確的跟蹤，解決了其他輪廓跟蹤方法(如snake#65380;active contour等)[4]不能實現對凹形輪廓準確跟蹤的問題。

1利用基于顏色的自適應模型實現輪廓提取

1.1顏色分布模型

本文算法用于實現手勢的跟蹤與識別，因此目標的顏色分布模型主要為膚色信息模型，采用核函數直方圖來表示[6，7]。核函數直方圖是一種多元核函數無參數密度估計，它同時適用于低維空間和高維空間。而且核函數直方圖對光照變化及部分遮擋具有魯棒性#65380;旋轉和尺度不變性，適應于變形物體的特征信息表示。假定將彩色特征空間量化為M級，則本文采用顏色分布模型—核函數直方圖表示為q={qu}Mu=1，滿足∑uqu=1;

基于式(1)的顏色分布模型與式(3)的形狀模型，本文提出一種改進的自適應形狀模型，使得形狀模型中smi能夠由顏色特征自適應地收縮或膨脹，且在視覺跟蹤中無須在當前幀中重新初始化，只需進行目標定位即可。可由下式表示:

dE/dt=-sign(vi)smiEimg(4)

其中:E表示輪廓能量信息;Eimg特指輪廓點處的梯度信息，且

sign(vi)=1qb(vi)>ε-1其他(5)

其中:ε為一較小閾值。

由式(4)的能量最小化過程，則找到能量最小的輪廓。在式(4)的作用下，能量函數沿著向量smi的方向隨著跟蹤目標的顏色特征變化，從而使輪廓線自適應地放縮，降低了對初始輪廓的敏感性，克服了Snake模型的不足，從而保證了視覺跟蹤中對目標輪廓的準確提取。

1.3利用基于顏色的自適應形狀模型實現輪廓提取

基于式(4)的自適應形狀模型，可實現輪廓的跟蹤與提取，具體步驟如下:

a)由式(4)獲取同一向量方向的邊界點，如圖1(a)所示。由式(3)形狀模型的狀態判斷當前三個輪廓點所組成的輪廓邊界為凹形還是凸形，若為凸形，則執行b);否則執行c)。

b)保持當前輪廓點不變，如圖1(a)所示。

c)對于這種情況，對三個輪廓點所成的兩條線段分別執行拆分操作，如圖1(b)所示。

(a)取于線段的二分之一處作為新的節點，并由式(4)來放縮到恰當位置;(b)重復執行(a)直到新的輪廓點所成的輪廓線為凸形為止。

d)根據曲率方向重新排列得到的邊界點集合，對于距離小于固定較小閾值ε相鄰輪廓點可進行合并操作。這樣，可得輪廓點數目適中的光滑輪廓，并得新的形狀模型。

對圖1所示的手部輪廓分別應用傳統的Snake 模型與本文提出的算法進行輪廓提取，其結果分別如圖2(黑線代表初始輪廓，白線代表曲線演化后輪廓)所示。圖2(a)~(d)為Snake 模型輪廓提取結果;(e)~(h)為應用本文算法輪廓提取結果。從圖2可以看出，自適應輪廓模型能夠自適應地收縮與擴張。初始輪廓的選擇可在物體內部，也可在物體外部，而且距離物體可遠可近，有較強的魯棒性。對圖2(d)和(h)的凹形手部輪廓自適應輪廓模型能夠準確地提取手部輪廓的凹形處，解決了Snake模型對曲形凹形處不能提取的問題[8]。

2手勢跟蹤算法

在圖像序列中實現實時地目標跟蹤，需要對目標進行運動估計與預測。通常圖像序列中目標跟蹤狀態估計是非線性#65380;非高斯的。粒子濾波器正是一種根據帶有噪聲的觀測數據序列估計未知運動狀態的技術。而且它主要用于非線性#65380;非高斯的系統。本文利用基于式(1)的顏色分布模型的粒子濾波器實現序列圖像中跟蹤目標的動態估計。

2.1基于顏色的粒子濾波器

粒子濾波器是一種從帶噪聲的數據中估計運動狀態的技術，其模型構成的重要組成部分有狀態轉移模型和觀測模型。它用一組帶權的粒子近似系統的后驗概率分布。本文中基于顏色的粒子濾波器系統模型表示為

在每一幅幀圖像中，由式(12)取得的系統狀態作為粒子濾波器的最終跟蹤結果。

2.2手勢跟蹤算法

本文利用基于顏色的自適應形狀模型及基于顏色的粒子濾波器實現圖像序列的手勢跟蹤。跟蹤算法分為模型初始化#65380;濾波器的運動跟蹤及形狀模型自適應調整三個階段。其實現手部區域的輪廓調整，最終實現圖像序列的實時手勢跟蹤。流程圖如圖3所示。

3實驗結果

實驗是在序列圖像的HSV空間中實現算法。針對不同類型的序列在不同的情況下進行跟蹤，均取得了不錯的跟蹤效果，對凸形和凹形的手部輪廓也有較好的跟蹤效果。在hand 1序列中手的位置和形狀快速變化，共有920幀，幀率為25 Hz。圖4顯示了第5#65380;185#65380;325#65380;625#65380;842幀的跟蹤效果，可以看出算法能夠實時#65380;準確地跟蹤其輪廓。對于凹形的手部輪廓的跟蹤效果如圖5所示。

4結束語

本文提出了利用基于顏色的自適應形狀模型實現了實時的手勢跟蹤算法。該算法不僅能實現凸形手部輪廓的準確提取與跟蹤，而且對凹形的手部輪廓也同樣有較好的效果，克服了其他輪廓算法的缺點。此外，基于顏色的粒子濾波器使圖像序列中運動目標跟蹤達到了實時性效果，從而實現了很好的手勢跟蹤效果。

參考文獻:

[1]SHAN Cai－feng， WEI Yu－chen， TAN Tie－niu， et al. Real－time hand tracking by combining particle filtering and mean shift[C]//Proc of the 6th IEEE International Conference on Automatic Face and Gesture Recognition. 2004:669－674.

[2]CHEN F S， FU C M， HUANG C L. Hand gesture recognition using a real－time tracking method and hidden Markov models[J]. Image and Vision Computing， 2003，21(8):745－758.

[3]康健，司錫才，芮國勝.基于貝葉斯原理的粒子濾波技術概述[J].現代雷達，2004，6(1):34－36.

[4]KASS M， WITKINM A， TERZOPOULOS D. Snakes: active contour models[C]//Proc of the 1st International Conference on Computer Vision. 1987:259－269.

[5]LANNIZZOTTO G， VITA L. On－line object tracking for colour video analysis[J]. Real－time Imaging， 2002，8(2):145－155.

[6]COMANICIU D， RAMESH V， MEER P.Kernel－based object trac－king[J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2003，25(5):564－577.

[7]NUMMIARO K. An adaptive color－based particle filter[J]. Image and Vision Computing， 2003，21(1):99－110.

[8]HOU Zhi－qiang， HAN Chong－zhao. Force field analysis snake: an improved parametric active contour model[J]. Pattern Recognition Letters， 2005，26(5):513－526.

[9]NUMMIARO K. Object tracking with an adaptive color－based particle filter[C]//Proc of Symposium on Pattern Recognition. 2002:353－360.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”