基于梯度特征與彩色特征相融合的mean shift跟蹤方法

李平生，李小霞

（西南科技大學 信息工程學院，四川 綿陽 621010）

基于梯度特征與彩色特征相融合的mean shift跟蹤方法

李平生，李小霞

（西南科技大學 信息工程學院，四川 綿陽 621010）

針對mean shift跟蹤方法中存在的光照變化不穩定問題，提出了基于梯度特征與彩色特征相融合的mean shift跟蹤方法。首先分別提取目標的梯度特征和彩色特征，利用多尺度的相似度計算方法進行特征的匹配，然后通過最大化相似度對目標進行跟蹤。通過物體和人體等運動目標的跟蹤，驗證了改進的跟蹤算法在光照變化情況下的魯棒性優于原有的算法，顯著降低了跟蹤位置誤差。

目標跟蹤；mean shift；梯度圖像；多尺度相似度量

目標跟蹤是計算機視覺領域的熱門研究課題，在軍事制導、視覺導航、安全監控、視頻編碼等方面有著廣泛的應用。基于mean shift的目標跟蹤[1]方法由于其計算速度快、模型簡單和較好的跟蹤性能，近年來一直受到廣大研究者的重視。這種方法采用加權顏色直方圖的形式對目標進行特征描述，在每幀圖像中通過求解目標模型和候選模型相似度的最大值來確定目標的位置。雖然mean shift跟蹤方法采用的模型比較簡單，對目標的形變、旋轉有一定的穩定性，但是這種方法只利用了目標的顏色信息，當場景中光照發生變化時，目標的顏色分布也會隨之變化，從而導致跟蹤過程的不穩定性。同時，mean shift跟蹤方法中采用單層直方圖的目標特征描述，在光照變化時，會帶來較大的誤差。

針對mean shift跟蹤方法跟蹤過程中的光照不穩定的問題，Hager[2]提出了建立精確的模型來對光照變化建模；Freedman[3]結合了光流信息，采用 Graph-Cut算法提出了一種光照魯棒的跟蹤方法；針對目標直方圖丟失了目標的空間信息的缺點，Yang[4]等人提出了一種新的目標表示方法及其對應的mean shift跟蹤算法，以反映目標的空間信息；李培華[5]提出了將圖像的位置信息加入到顏色直方圖中；針對原始算法只采用一個特征的缺點，王永忠[6]等人提出將顏色信息和紋理信息進行自適應融合的跟蹤方法；針對跟蹤過程中單層相似度存在匹配不準確的問題，Rubner[7]提出了一種cross-bin直方圖度量，考慮了不同位置的特征量化級（bin）之間的相關性；Granman[8]提出了一種用于物體類別識別的匹配方法（Pyramid Match），將特征空間劃分為多層次的Pyramid直方圖，在不同尺度下計算bin之間的相似度，融合了多尺度的bin之間的關系。雖然這些方法都在一定程度上改進了原有的mean shift算法，但是都存在計算量大的問題，不能滿足實時性的要求。

為了提高跟蹤算法的魯棒性，本文提出的方法首先融合了目標的梯度特征。該特征計算簡單，描述了目標的邊緣特性，對光照的變化具有較強的魯棒性。其次，在目標匹配的過程中，采用多尺度直方圖特征進行目標的匹配，這種匹配方法避免了由于光照變化引起的單尺度直方圖匹配的誤差。

1 梯度圖像

梯度特征描述了圖像的邊緣、角點等局部區域變化的信息，對于光照的變化具有較強的魯棒性，廣泛運用在目標特征描述、圖像匹配和目標檢測中。本文采用了梯度特征的幅度信息，首先用Sobel算子分別計算圖像在 0°、45°、90°和 135°的幅值 I1、I2、I3、I4，然后合并各個方向的梯度幅值圖像，其計算如下：

其中I為合并后的圖像。

Sobel算子模板如圖1所示。

2 目標模型

設{xi}i=1…n為目標區域的像素點集，區域中心位于x0點。用凸核函數對各點進行加權。定義函數b（x），b（xi）是像素xi在量化的特征空間{t=1…T}的量化級。則量化特征t在目標模型中出現的概率可表示為：

在得到了目標模型后的每一幀中，假定候選目標的位置在y，可以通過計算y的特征分布和目標分布的相似度判斷y是否是真實位置。設候選目標的像素點集為{yi}i=1…n，以 y為中心，使用相同的核函數對候選目標的各個像素進行加權，則特征t在候選目標中出現的概率為：

3 分層相似度量

原始的mean shift采用單層的Bhattacharyya系數來表示相似度：

但是由于光線的變化，目標的特征分布，特別是目標的顏色分布也會發生變化。因此，這種單層的相似度量就會出現比較大的誤差，進而出現跟蹤的失敗。為了解決這個問題，本文采用了多層的相似度量。首先要得到多尺度的顏色特征分布和的多尺度描述。第l層（l=1…L）將特征空間劃分為 2l個 bin，每層可以分別得到直方圖：q1，q2，q3…qL和 p1（y），p2（y），p3（y）…pL（y），而和（y）之間的相似度由不同尺度下的Bhattacharyya系數加權計算得到：

其中，βl隨著每層 bin數的增加而增大，從而給精細層更大的權值，以保證精細特征在整個特征空間中具有較大的分量。這種匹配方法考慮了多尺度之間的關系，在光照變化情況下具有更好的魯棒性。

4 改進的mean shift算法

本文中采用了梯度圖像和彩色圖像相融合的mean shift跟蹤方法，在得到目標模板和候選模板的相似度后，目標的位置由最大化相似度得到：

其中α表示了梯度特征所占的比重。

為了求取 y的最大值，把式（6）在初始位置 pu（y0）處用Taylor公式展開得到：

其中y0為上一幀的真實位置。

式（7）右邊第一項是一個常數，要想求取式（7）的最大值，等價于求取右邊第二項的最大值，通過對y求偏導，利用mean shift理論，可以得到目標的新位置：

整個算法的步驟如下：

5 試驗結果

仿真環境為：聯想臺式機電腦，其CPU為Intel（R）Pentium（R）D2.80 GHz，內存 1 GB；操作系統為 Windows XP Professional，SP2，軟件采用 VC6.0 及 OPENCV1.0。

實驗用到的視頻序列是在實驗室環境下采集到的物體運動的視頻和人體運動的視頻，序列圖像的尺寸為640×480，在圖像序列一中，人手拿的一支筆在視野中做無規則的運動，如圖2所示。視頻序列二是人體在視野中做無規則的運動，在跟蹤的過程中陽光從窗戶照進來，目標在靠近窗戶和遠離窗戶的時候，其外觀特征會跟隨光照的變化而變化，如圖3所示。實驗由人工手動捕捉目標。

實驗比較了原始的mean shift算法和改進的mean shift算法，兩種算法都用到圖像的RGB色彩空間。其中原始的 mean shift算法采用 16×16×16的直方圖，改進的mean shift算法則采用3尺度的顏色模型，每個尺度的直方圖的 bin 分別為 16×16×16、8×8×8、4×4×4。

梯度圖像采用16×16×16的直方圖。在通過大量的實驗得出的取值范圍在0.3～0.6之間最好，本文中α取0.5。

從圖2、3可以看出，原始的mean shift跟蹤方法由于受到光照的影響，當目標從光線弱的區域進入到光線較強的區域時，目標的顏色特征發生了變化，導致了目標的跟蹤不穩定，以至于最后失去了目標。改進的mean shift跟蹤方法由于融合了目標的光照不變特征描述，在光照變化時，還是能夠匹配到目標，因此在整個過程中始終能夠跟蹤到目標。而且在相似度量的計算上采用多尺度的顏色特征描述，在一定程度上增加了色彩特征匹配的魯棒性。

分別計算兩種算法中每一幀的跟蹤結果與參考位置的誤差，圖4為兩種算法在實驗中的位置誤差比較的結果?？梢钥闯?，在光線變化緩慢的區域兩種算法的誤差接近，但是當光線變化顯著時，原始算法的誤差就會大大地增加，以至于最后失去目標，而改進的mean shift跟蹤方法仍能夠跟蹤目標。

表1 運動目標跟蹤性能比較∑S（A，B）

從表1可以看出，本文提出的算法在跟蹤過程中平均相似度比原始算法提高了0.252 8，這說明了本文的算法在跟蹤過程中比原始算法更加精確。

由于mean shift算法本身存在速度的限制，在跟蹤過程中，目標的運動速度不能過快。通過實驗得出在前后兩幀中，目標的運動速度不能超過目標區域長度的一半。

本文將圖像梯度特征引入到mean shift跟蹤算法中，同時，該方法采用了多尺度的相似度量，物體和人體的跟蹤實驗驗證了改進的跟蹤算法在光線的變化時具有魯棒性，顯著降低了跟蹤位置誤差，相似度提高了0.252 8。mean shift跟蹤算法本質上是梯度下降跟蹤方法，對目標的運動速度有較大的限制，在以后的研究中將嘗試采用粒子濾波的方法來解決這個問題。

[1]COMANICIUD，RAMESHV，MEERP.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25：564-577.

[2]HAGER G D，BELHUMEUR P N.Efficient region tracking with parametric models of geometry and illumination[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（10）：1025-1039.

[3]FREEDMAN D，TUREK M.Illumination-invariant tracking via graph cuts[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Sna Diego：IEEE Press，2005：10-17.

[4]YANG C J，DURAISWAMI R，DAVISL S.Efficient meanshift tracking via a new similarity measure[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Diego，USA：IEEE，2005：176-183.

[5]李培華.一種改進的 Mean Shift跟蹤算法[J].自動化學報，2007，33（4）：347-354.

[6]王永忠，梁彥，趙春暉，等.基于多特征自適應融合的核跟蹤方法[J].自動化學報，2008，34（4）：393-399.

[7]RUBNER Y，TOMASI C，GUIBAS L J.The earth mover's distance as a metric for image retrieval[J].International Journal of Computer Vision，2000，40（2）：99-121.

[8]GRAUMAN K，DARRELL T.The pyramid match kernel：discriminative classification with sets of image features[C].IEEE International Conference on Computer Vision.Beijing：IEEE Press，2005：1458-1465.

[9]LI L Y，HUANG W M，GU I Y H，et al.Statistical modeling of complex backgrounds forforeground object detection[J].IEEE Transactions on Image Processing，2004，13（11）：1459-1472.

Mean shift tracking algorithm based on gradient feature and color feature fusion

Li Pingsheng，Li Xiaoxia

（School of Information Engineering，Southwest University of Science and Technology，Mianyang 621010，China）

A novel mean shift algorithm based on object tracking gradient feature and color image fusion is proposed for the illumination unstable problem in traditional mean shift method.Firstly，gradient features and color features of the target are extracted separately，the features are matched using multi-scale similarity calculation method.Then，the target can be tracked by maximizing the similarity.Experiments on the tracking of moving targets such as object and human demonstrate that the proposed algorithm has more robust than the original algorithm under the situation of illumination changes and reduces the tracking position error obviously.

object tracking；mean shift；gradient image；multi-scale similarity

TP391.41

A

1674-7720（2011）03-0035-04

2010-09-07）

李平生，男，1983年生，碩士研究生，主要研究方向：目標跟蹤。

李小霞，女，1976年生，副教授，碩士研究生導師，主要研究方向：模式識別，生物特征識別。