基于ＣａｍＳｈｉｆｔ和Ｋａｌｍａｎ濾波混合的視頻手勢跟蹤算法

(重慶郵電大學 智能系統及機器人研究所， 重慶 400065)



摘 要：提出了一種基于CamShift和Kalman濾波混合的跟蹤算法，實現了對視頻圖像中動態手勢的跟蹤。在跟蹤過程中，CamShift利用手勢的顏色直方圖模型，將圖像序列通過一個膚色概率查找表轉換為膚色概率分布圖，結合運動信息和膚色概率分布，初始化一個搜索窗的大小和位置，并根據上一幀跟蹤的結果自適應調整搜索窗口的位置和大小，從而定位出當前圖像中手勢的中心位置。在CamShift算法基礎上利用Kalman濾波對搜索窗口進行運動預測。實驗表明，該算法快速準確可靠，并且較好地處理了跟蹤過程中大面積膚色干擾問題，對復雜場景的檢測與跟蹤也取得了較好的效果。同時，該算法還適用于其他具有特定顏色目標的跟蹤。

關鍵詞：連續自適應數學期望移動； 卡爾曼濾波； 手勢跟蹤； 顏色概率分布； 搜索窗

中圖分類號：TP391.4 文獻標志碼：A

文章編號：10013695(2009)03116303



Video hand tracking algorithm based on hybrid CamShift and Kalman filter



LUO Yuan， LI Ling， ZHANG Baisheng， YANG Hongmei



(Research Center of Intelligent System Robotics， Chongqing University of Posts Telecommunications， Chongqing 400065， China)



Abstract:This paper presented a tracking algorithm based on hybrid CamShift and Kalman which implemented dynamic hand tracking in the video. In the process of object tracking， for each video frame，by using the object histogram model， CamShift converted the raw image to a flesh color probability distribution image via a flesh color probability table. Considering the hand motion and flesh color probability distribution，initialized the size and location of a search window. Used computed information previously to adjust current search window’s size and location， then found the location of the hand，devisedmotion prediction of the search window using Kalman filter. Experimental results show that this algorithm is fast， accurate， and robust. It can not only deal with the skin color interference problems， but also deal well with the track of complex background. And more， it tracks objects with special color.

Key words：CamShift(continuously adaptive meanshift); Kalman filter; hand tracking; color probability distribution; search window



0 引言

由于手勢具有自然、直觀和易于學習的特點，手勢識別和跟蹤成為人機交互和計算機視覺領域及數字圖像處理領域一個迅速發展的重要方向。手勢跟蹤的方法很多，主要有基于膚色信息、基于運動信息、基于運動模型等。CamShift算法是一種基于顏色信息的方法，可以對具有特定顏色的目標進行跟蹤。它是MeanShift的修改算法，克服了MeanShift不適合實時跟蹤的缺點。CamShift算法計算量小，在一些典型的環境約束下(如背景簡單，只包括手和手臂的視頻)，能夠取得很好的跟蹤效果，但當解決復雜動態變化背景下手勢跟蹤問題(如視頻監控)時，由于該算法對運動物體不作任何預測，不能解決大面積膚色干擾問題，特別是當手和人臉運動軌跡交叉時，導致跟蹤失敗，所以需引入估計器預測手勢運動參數。Kalman濾波器是一個線性遞歸濾波器，基于系統以前的狀態序列對下一個狀態作最優估計，預測時具有無偏、穩定和最優的特點。本文提出了一種結合CamShift算法與Kalman濾波的視頻手勢跟蹤算法，利用Kalman濾波預測下一時刻的手心位置，實驗驗證了此算法的有效性。

1 CamShift跟蹤算法

CamShift算法是一個基于隨機顏色概率模型的跟蹤算法，是基于顏色分布而與跟蹤對象的具體模型無關，并且不受光照等環境因素的影響，同時受噪聲干擾相對較小。根據人手膚色在HSV空間色度值分布鮮明，并且人的膚色色度值有恒常性的特點，采用CamShift算法比較好。

1.1 反向投影

根據圖像像素，放置其對應的直方塊的值到輸出圖像中，即輸出圖像像素點的值是觀測數組在某個分布(直方圖)下的概率，這個過程稱為反向投影(back projection)。

計算back projection的步驟為：

a)計算被跟蹤目標的色彩直方圖。在這里，采用HSV 色彩空間中的H 分量（HSV，即色調hue、色飽和度saturation、明度值value，如圖1所示)，因為膚色對HSV空間的H分量比較敏感。首先將采集的手膚色樣本圖的每個像素從RGB色彩空間轉換到HSV空間，由于只有對H分量的操作，只需得到H分量的數組：

H=arccos(2R-G-B)/[2(R-G)2+(R-B)(G-B)]

將其作1D直方圖計算，圖2為H分量的膚色直方圖。

b)根據獲得的H分量直方圖將原始圖像轉換成2D膚色概率分布圖像。設C(h)表示直方圖中H分量大小為h的像素個數，max[C(h)]表示C(h)的最大值，則H分量為w的像素是膚色的概率為p(w)=C(w)/max[C(h)]，h∈(0，1)，H分量與膚色概率就建立起了一一對應的關系。將這個對應關系保存起來，就得到膚色概率查找表。為了計算方便，將膚色概率表中的概率值乘以255。圖3(a)為原始圖像，(b)為膚色概率分布圖。由此可以看出，膚色概率分布圖是一個灰度圖像。

1.2 MeanShift算法[1]

MeanShift算法是一種密度函數梯度估計的非參數方法，通過迭代尋優找到概率分布的極值來定位目標。MeanShift最早是由Funkunage等人[2]提出并應用到模式識別中的。關于MeanShift算法的收斂性證明，詳見文獻[3，4]。MeanShift算法如下：從每個像素開始，首先估計有相似顏色的鄰近像素點的密度(局部密度)的梯度；然后利用迭代算法求出局部密度的峰值(即重心處)。能夠被吸引到同一個峰值點的所有像素點就形成劃分后的一個區域。

計算MeanShift的步驟如下：

a)在顏色概率分布圖中選取大小為S的搜索窗。

b)此時搜索窗口的質心。

零階矩：M00=xyIc(x，y)

x和y的一階矩：M10=xyxIc(x，y)，M01=xyyIc(x，y)

則搜索窗的質心(xc，yc)為

xc=M10/M00，yc=M01/M00

其中：Ic(x，y)是坐標(x，y)的像素值；x和y的變化范圍為搜索窗的大小。

c)重新設置搜索窗的大小s，s=2M00/256。

d)重復b)和c)，將搜索窗口的中心移動到質心。如果移動距離大于預設的固定閾值，則重新計算調整后的窗口質心，進行新一輪的窗口位置和尺寸調整。直到窗口中心與質心間的移動距離小于預設的固定閾值，或者循環運算的次數達到某一最大值，認為收斂條件滿足。

1.3 CamShift算法[5]

將MeanShift算法擴展到連續圖像序列，這樣就形成了CamShift算法。它將視頻圖像的所有幀作MeanShift運算，并將上一幀的結果(即搜索窗的質心和大小)作為下一幀MeanShift算法的搜索窗的初始值。如此迭代下去，就可以實現對目標的跟蹤。算法步驟如下：

a)將整個圖像設為搜尋區域。

b)初始化搜索窗的大小和位置。

c)計算搜索窗內的顏色概率分布。

d)運行MeanShift，獲得搜索窗新的大小和位置。

e)在下一幀視頻圖像中用步驟c)中的值重新初始化搜索窗的位置和大小，再跳轉到步驟c)繼續進行。

2 使用Kalman濾波進行預測[6，7]

手勢跟蹤時，只要手與人臉沒有形成大連通域，即使存在噪聲干擾，CamShift算法也能較好地對手勢進行跟蹤；但是當手和人臉形成大連通域后再分開時，此算法不能準確地分辨待跟蹤的物體，需要引入估計器預測目標的運動參數。Kalman濾波具有計算量小、可實時計算的特點，因此把CamShift算法與Kalman濾波結合起來，利用二維Kalman濾波器預測手心位置，增強抗干擾性。本文使用搜索窗表示被跟蹤運動人體對象——手勢。描述搜索窗的參數使用搜索窗中心點在x軸和y軸上的位置[colcenter(k)，rowcenter(k)]、在軸x的速度vx(k)和在y軸的速度vy(k)。在跟蹤過程中，由于相鄰兩幀圖像時間間隔較短，目標運動狀態變化較小，可近似認為手勢在兩幀圖像時間間隔內做勻速運動，采用等速度運動模型。

狀態向量定義為

X(k)=[colcenter(k)，rowcenter(k)，vx(k)，vy(k)]T

觀測狀態向量定義為

Z(k)[colcenter(k)，rowcenter(k)]T

預測狀態向量定義為

X(k)′=[colcenter(k)′，rowcenter(k)′，vx(k)′，vy(k)′]T

其中：colcenter(k)′，rowcenter(k)′，vx(k)′，vy(k)′分別表示Kalman濾波器預測的搜索窗口的中心位置和速度。

Kalman濾波的狀態方程定義為

X(k+1)= F#8226;(k)+W(k)

觀測方程為

Z(k)=H#8226;X(k)+V(k)

其中：k≥1；動態噪聲{W(k)}與測量噪聲{V(k)}是互不相關的零均值白噪聲序列，即

P(W)~N(0，Q)，P(V)~N(0，R)

F=1 0 1 00 1 0 10 0 1 00 0 0 1，H=1 0 0 00 1 0 0

狀態預測方程為

Xb(k)=F#8226;Xa(k-1)

其中：下標a和b分別表示修改以前和修改以后，它們在下面方程的含義也一樣。

協方差預測方程為

Pb(k)=F(k-1)Pa(k-1)F(k-1)T+Q

Kalman增益方程為

K(k)=Pb(k)HT(k)(H(k)Pb(k)HT(k)+R)-1

狀態修改方程為

Xa(k)=Xb(k)+K(k)[Z(k)-H(k)Xb(k)]

協方差修改方程為

Pa(k)=Pb(k)-K(k)H(k)Pb(k)

在Kalman濾波進行預測的過程中，首先初始化動態噪聲方差矩陣Q、測量噪聲方差矩陣R、初始狀態向量X(0)和初始誤差方差矩陣P(0)；然后用預測狀態向量X(k)′中的colcenter(k)′，rowcenter(k)′分量設定CamShift算法搜索窗口的中心位置，并把CamShift算法輸出的質心位置作為測量值Z(k)校正預測狀態向量X(k)′，得到X(k+1)。實驗中，

Q=diag(10 10 15 15)，R=diag(0.1 0.2)， P(0)=diag(1 1 1 1)

初始狀態向量X(0)中的colcenter(0)，rowcenter(0)分量取初始搜索窗口的中心位置；vx(0)，vy(0)分量取零。

3 實驗與結果分析

利用本文提出的算法進行動態手勢跟蹤，實驗表明，在人臉干擾情況下，特別是當手從人臉前移過去時，只用CamShift算法手勢跟蹤失敗。因為只用CamShift算法不能解決大面積膚色干擾問題，當引入Kalman濾波算法后，能預測手勢的位置，增強了跟蹤的魯棒性，解決了膚色干擾的問題。圖4顯示了跟蹤結果。

其中：(a)是原算法的跟蹤結果；(b)是加入Kalman濾波后的跟蹤結果。由(a)的第7幀和18幀可以看出，只用CamShift算法時，手和人臉沒有形成連通區域時，能準確跟蹤手勢的位置。但是當手和人臉形成連通域后再分開時，手勢跟蹤失敗，搜索窗口固定在了人臉上，從(a)的第33幀和40幀也可以看出；而加入Kalman濾波后，成功實現了手勢跟蹤，排除了人臉的干擾，能準確地跟蹤手勢，從(b)的各個幀圖像明顯看出。

4 結束語

本文提出了一種基于CamShift算法和Kalman濾波混合的視頻手勢跟蹤方法。以CamShift算法輸出的質心位置為測量信號，采用Kalman濾波算法校正手心位置，克服了CamShift算法的缺陷，有效地克服了膚色的干擾，從而保證了可靠跟蹤。實驗表明，本文提出的算法可滿足視頻跟蹤可靠性和實時性的要求。

本文創新點是針對視頻手勢跟蹤，在保留CamShift算法優點的基礎上，提出了一種利用Kalman濾波預測的方法；同時根據目標運動速率大小，自適應地結合目標顏色信息與運動信息，有效地克服了大面積的膚色干擾問題，提高了視頻對象跟蹤的可靠性。

參考文獻：

［1］COLLINS R T.MeanShift blob tracking through scale space[C]//Proc of IEEE Int Conf on Computer Vision and Pattern Recognition.Baltimore:Victor Graphics，2003:234240.

[2]FUNKUNAGE K，HOSTETLER L.The estimation of the gradient of a density function，with applications in pattern recognition[J].IEEE Trans onInformation Theory， 1975， 21(1): 3240.

[3]COMANICIU D，RAMESH V，MEER P.Realtime tracking of nonrigid objects using MeanShift[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Press，2000:142149.

[4]COMANICIU D，MEER P.MeanShift:a robust approach toward feature space analysis[J].IEEE Trans on PAMI，2002，24(5):603619.

[5]ALLEN J G， XU R Y D， JIN J S. Object tracking using CamShift algorithm and multiple quantized feature spaces[D].Sydney:University of Sydney，2006:37.

[6]黃建新.Kalman濾波的人體運動位置跟蹤算法[J]. 華僑大學學報，2003，24(3):254256.

[7]張江山，朱光嘉.一種基于Kalman濾波的視頻對象跟蹤方法[J].中國圖象圖形學報，2002，7(A):606609.

[8]陶霖密，彭振云，徐光佑.人體的膚色特征[J].軟件學報，2001，12(7):10321042.

[9]祝遠新，徐光佑，黃浴.基于表觀的動態孤立手勢識別綜述[J].軟件學報，2000，11(1):5460.