一種特征融合的帶寬自適應Mean Shift跟蹤算法

張 良，鄭世寶，楊 華

（上海交通大學電子工程系圖像通信與信息處理研究所，上海 200240）

運動目標跟蹤是當前計算機視覺在圖像監控領域的一個研究熱點，作為眾多跟蹤方法的一種，Mean Shift算法是一種基于核密度的無參密度估計算法。從1995年Yizhong Cheng［1］將該算法引入計算機視覺領域便引起了人們極大的關注。早期Comaniciu［2］提出計算目標區域和候選目標區域的顏色直方圖特征最大相似度的Mean Shift跟蹤算法，采用顏色特征的Mean Shift算法有著旋轉不變性且對部分遮擋不敏感，所以Mean Shift算法對非剛體目標在部分遮擋下有著較好的跟蹤效果，然而經典Mean Shift算法在目標顏色和背景顏色相近時容易丟失目標。近年來很多背景融合的算法被提出來［3-4］，它們綜合考慮了顏色特征、邊緣特征、紋理特征等。Mean Shift算法的另一個缺陷是核函數是固定的，當目標尺度發生變化時容易跟蹤失敗，改進的算法參見文獻［5-6］。本文在前人的基礎上針對Mean Shift這些缺陷提出一種特征融合的核函數帶寬自適應算法，首先介紹Mean Shift算法原理，然后提出融合邊緣特征、核函數帶寬自適應更新算法，在此基礎上對目標模型更新進行了相關研究，最后進行實驗并給出相關結論及后續工作。

1 Mean Shift目標跟蹤算法

Mean Shift目標跟蹤算法首先需要確定目標區域，然后初始化目標模型，計算核函數加權的顏色直方圖概率分布，以及每一幀中計算候選區域目標模型的直方圖分布;計算目標模型和候選模型的Bhattacharyya相似性系數，求得最大相似度的Mean Shift向量，并不斷迭代，最終收斂到目標的真實位置。

1.1 目標模型

假設目標區域的中心為x0，xi表示第i個像素點，n為目標區域的像素數，目標模型的概率分布為

1.2 候選目標模型

候選目標區域以y為中心，核函數的輪廓函數和目標模型相同，候選目標的概率分布為

1.3 Bhattacharyya系數

目標模型和候選目標模型對應的顏色直方圖的相似性用 Bhattacharyya系數來衡量。Comaniciu［2］論述了Bhattacharyya系數優于其他的相似性函數，其定義為

式中:ρ（pu（y），qu）的值越大，表示越匹配，使其最大的候選目標區域即是當前幀中目標的所在位置。對其泰勒級數展開求導為零，推導出Mean Shift向量為

式中:y0是前一幀中的中心位置，不斷迭代，計算出最終位置為

2 改進的Mean Shift目標跟蹤算法

2.1 背景和運動區域的顏色特征

結合式（1）和式（3），分別可以得到邊緣特征的目標模型分布和候選目標模型分布

顏色特征的相似性系數為

2.2 邊緣特征

首先對圖像進行色彩空間變換，轉為灰度圖像，然后用Canny算子進行邊緣檢測。當目標區域和背景的顏色很接近時，顏色特征就達不到理想的效果，邊緣特征卻很適用，公式為

式中:Gh（x，y），Gv（x，y）分別是水平和垂直梯度分量，為了降低噪聲對邊緣檢測的影響，引入閾值T，得到

結合式（1）和式（3），分別可以得到邊緣特征的目標模型分布和候選目標模型分布為

邊緣特征的相似性系數為

2.3 特征融合相似度

2.4 目標模型更新

運動目標的旋轉、背景變化和光照變化等，候選目標模型的顏色特征和目標模型的顏色特征相似度會越來越小，并導致跟蹤失敗，對目標模型進行更新可以有效避免這種情形。本文嘗試在對核函數帶寬進行自適應更新的同時，對目標模型進行更新，不過沒取得明顯效果。本文采用的更新方法是當Bhattacharyya系數大于0.95時，對顏色特征和邊緣特征進行下面的更新

式中:t表示第t幀，α代表更新速度，本文中取值0.1。

2.5 跟蹤窗口更新［2］

hprev是前一幀的核函數帶寬，以hopt=hprev，hopt=hprev+Δh和hopt=hprev－Δh，Δh=0.1hprev，計算這3個窗口下的候選目標模型和目標模型之間的Bhattacharyya系數，取最大系數的hopt，通過下面的公式來更新帶寬

式中:更新速度β取值0.1。

3 實驗結果

利用Visual Studio 2008在Windows XP，Intel Pentium Dual 1.8 GHz，1.5 Gbyte內存機器上用C語言對經典Mean Shift算法和上述算法進行實驗，采用CAVIAR序列［7］中的視頻序列，在第510幀時選取目標，選取34×34大小的窗口，取出4幀圖像，分別是第512，718，824和918幀。經典Mean Shift算法的結果見圖1，融合邊緣特征的改進算法的結果見圖2，融合邊緣特征的核函數帶寬自適應算法的結果見圖3，融合邊緣特征的目標模型自適應更新、核函數帶寬自適應算法的結果見圖4。對比圖1和圖2，經典Mean Shift算法逐漸偏離目標的真實位置，改進算法跟蹤得非常準確，在第912幀時，目標顏色特征和背景顏色特征非常接近，經典Mean Shift算法已經跟蹤失敗，而融合顏色、邊緣特征的改進算法依然準確跟蹤目標，具有非常好的穩健性。通過對比圖3和圖2可以看到，核函數自適應算法由于少了背景信息的干擾，能更精確地跟蹤目標。

圖1 基于顏色特征的Mean Shift算法

圖5～圖7的橫軸表示幀數，縱軸表示Bhattacharyya系數，從圖5可以發現，在目標背景邊緣特征不明顯的情景下，邊緣特征的Bhattacharyya系數遠大于顏色特征的系數。一方面由于邊緣特征的存在，另一方面，由于核函數自適應消除了多余的背景，所以從圖6可以看到改進算法的Bhattacharyya系數明顯高于經典算法。通過圖4和圖7不難發現，在本文算法的基礎上，對目標模型進行更新，其Bhattacharyya系數比本文算法更趨平穩，但跟蹤效果在很多地方卻沒有本文算法更新得準確。

4 結論及展望

基于顏色特征的Mean Shift算法容易在目標顏色特征和背景顏色特征相似的情形下失效，本文在前人提出的融合邊緣特征的基礎上進一步進行了核函數帶寬自適應的研究，取得了不錯的效果，使得跟蹤效果更精確。對目標模型進行更新的效果不是特別好，將在今后進一步探索在保證跟蹤效果的前提下如何對目標模型進行有效更新。

：

［1］CHENG Y.Mean Shift，mode seeking and clustering［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1995，17（8）:790-799.

［2］COMANICIU D，RAMESH V，MEER P.Kernel-based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（5）:564-577.

［3］BABAEIAN A，RASTEGAR S，BANDARABADI M，et al.Mean Shiftbased object tracking with multiple features［C］//Proc.41st Southeastern Symposium on System Theory，2009.Tullahoma，TN:［s.n.］，2009:68-72.

［4］ZHANG Xiang，DAI Yuanming，CHEN Zhangwei，et al.An improved Mean Shift tracking algorithm based on color and texture feature［C］//Proc.2010 International Conference on Wavelet Analysis and Pattern Recognition（ICWAPR）.Qingdao，China:［s.n.］，2010:38-43.

［5］COLLINS R T.Mean-Shift blob tracking through scale space［C］//Proc.2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2003:18-20.

［6］YILMAZ A.Object tracking by asymmetric kernel Mean Shift with automatic scale and orientation selection［C］//Proc.IEEE Conference on Computer Vision and Pattern Recognition，2007. ［S.l.］:IEEE Press，2007:1-6.

［7］FISHER R.CAVIAR test case scenarios［EB/OL］.（2007-10-26）［2010-03-01］.http://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/.