基于多特征融合與均值偏移的粒子濾波跟蹤算法

于金霞,喬 楠

(河南理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院,河南焦作454003)

基于多特征融合與均值偏移的粒子濾波跟蹤算法

于金霞,喬 楠

(河南理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院,河南焦作454003)

利用單一特征在復(fù)雜環(huán)境下進行目標(biāo)跟蹤容易導(dǎo)致跟蹤失敗。針對該問題,提出基于多特征融合與均值偏移的粒子濾波跟蹤算法。在粒子濾波的總體框架下,通過嵌入均值漂移聚類算法產(chǎn)生更逼近真實后驗分布的粒子,同時采用顏色和結(jié)構(gòu)特征作為觀測模型來表示目標(biāo),利用融合后的信息計算粒子的權(quán)值,并在跟蹤過程中不斷更新,以減小跟蹤偏差。實驗結(jié)果表明,與基于顏色與結(jié)構(gòu)的跟蹤算法相比,該算法在使用相同粒子數(shù)目時魯棒性更高,而且粒子的平均權(quán)重得到了提高,重采樣次數(shù)明顯減少,即使在粒子數(shù)目較少的情況下也能實現(xiàn)穩(wěn)定跟蹤。

目標(biāo)跟蹤;均值偏移;多特征融合;粒子濾波;顏色特征;結(jié)構(gòu)特征

1 概述

視頻目標(biāo)跟蹤是計算機視覺領(lǐng)域的一個核心問題,融合了圖形處理、模式識別、人工智能、自動控制等多種不同領(lǐng)域的理論知識。在視覺導(dǎo)航、安全監(jiān)控、智能交通、視頻編碼、醫(yī)療診斷、氣象分析及天文觀測等眾多領(lǐng)域中有著廣闊的應(yīng)用前景[1]。近年來,人們對視頻目標(biāo)跟蹤進行了大量的研究,形成了以均值偏移(Mean Shift,MS)為代表的確定性跟蹤方法和粒子濾波(Particle Filtering,PF)為代表的概率跟蹤方法[2]。確定性跟蹤方法實時性較好,但魯棒性較差,當(dāng)目標(biāo)出現(xiàn)遮擋、尺度變化或者光線變化較快時,可能跟蹤失敗。概率性跟蹤方法具有較強的抗遮擋和背景干擾能力,但這類算法的計算量較大,實時性有待改進。

近年來,在國內(nèi)外的研究中,為了提高跟蹤的魯棒性和實時性,多種特征進行融合已經(jīng)成為一種必然趨勢。文獻[3]在粒子濾波框架下融合目標(biāo)顏色信息、運動信息和邊緣信息等特征,大幅提高了算法的魯棒性,但由于需要的粒子數(shù)目較多,因此算法的實時性不高。文獻[4]提出基于Mean Shift優(yōu)化粒子濾波算法的低空平臺下車輛跟蹤算法,通過對粒子濾波進行迭代優(yōu)化,減少了使用的粒子數(shù),提高了算法的運行效率。但由于該算法只使用一種特征來表示目標(biāo),因此其魯棒性不高。

提高目標(biāo)跟蹤魯棒性的關(guān)鍵在于對目標(biāo)特征的選擇和度量圖像序列中相鄰幀間目標(biāo)的相似性方法[5]。為提高目標(biāo)跟蹤的實時性,必須減少跟蹤過程中所使用的粒子數(shù)目,從而改善粒子的有效性。為此,本文提出一種多特征融合的Mean Shift粒子濾波跟蹤算法,該算法通過多特征融合以保證跟蹤的魯棒性,利用Mean Shift算法增加粒子的權(quán)重,通過減少粒子數(shù)目來提高算法的實時性。

2 Mean Shift算法與粒子濾波算法

2.1 Mean Shift算法

Mean Shift算法是一種基于核密度估計的無參估計迭代算法,迭代過程是使該點向其概率密度更大的方向移動,不斷循環(huán),直至收斂到概率密度分布的最大值。假設(shè)目標(biāo)矩形窗口中心位置為y,其迭代移動至新的中心位置的迭代公式為:

其中,xi表示以x為中心的目標(biāo)矩形區(qū)域的第i個像素點坐標(biāo);N表示目標(biāo)區(qū)域中的像素點數(shù);w(xi)表示相應(yīng)點的權(quán)值;G(R)是一個核函數(shù)滿足:G(r)= g(‖x‖2);h表示核窗口帶寬。Mean Shift算法迭代過程是原目標(biāo)位置不斷向新位置靠近的過程。若干次迭代后,收斂到目標(biāo)的最新位置來實現(xiàn)跟蹤。在若干次迭代后,通過收斂到目標(biāo)的最新位置x^來實現(xiàn)跟蹤。

2.2 粒子濾波算法

3 多特征融合的粒子濾波算法

3.1 目標(biāo)跟蹤模型

本文采用二階常速運動模型來描述目標(biāo)的運動規(guī)律,(x,y)表示目標(biāo)的中心坐標(biāo);Hx和Hy分別表示目標(biāo)區(qū)域的長半軸和短半軸,(Hx,Hy)采用了一個隨機擾動模型;x′和y′分別表示目標(biāo)中心在圖像中X和Y方向的速度;α表示目標(biāo)區(qū)域的縮放變化。目標(biāo)的狀態(tài)Xt及其隨時間的變化過程描述如下:

其中,A表示狀態(tài)轉(zhuǎn)移矩陣,定義了系統(tǒng)的固有的特性;Wt是一個多變量的高斯白噪聲;U為狀態(tài)噪聲協(xié)方差矩陣。

3.2 目標(biāo)顏色特征提取

采用Bhattacharyya系數(shù)來描述目標(biāo)特征py和候選區(qū)域qy之間的相似性[7]:

py和qy之間相似程度為:

顏色觀測似然函數(shù)可以表示為:

對式(8)化簡整理得:

3.3 目標(biāo)結(jié)構(gòu)特征提取

除了顏色這一特征外,在度量相鄰2幀圖像間目標(biāo)相似性時還可以選擇其他特征,如紋理、方向梯度直方圖等。本文采用結(jié)構(gòu)相似質(zhì)量因子[8]方法來度量相似性。該方法通過比較對比度、亮度和結(jié)構(gòu)相似性3個參數(shù)來衡量圖像之間的差異,這種方法易于實現(xiàn)且計算量較小。式(10)就是使用這種方法在灰度圖像的基礎(chǔ)上建立目標(biāo)的結(jié)構(gòu)模型。2幅大小一致的圖像x和y的結(jié)構(gòu)相似性s(x,y)定義為:

同理可以得出結(jié)構(gòu)的觀測似然函數(shù)[9]為:

3.4 粒子權(quán)值計算

每個粒子的權(quán)值按下式進行計算:

其中,顏色和結(jié)構(gòu)是2種相似性的融合系數(shù),這2個融合系數(shù)在跟蹤的過程中會進行自適應(yīng)的調(diào)整。該過程通過比較均值漂移前的融合顏色和結(jié)構(gòu)的相似性,分別用ρc和ρs表示,其中,ρc=ρy(p,q),ρs=s(x,y)。

融合系數(shù)可以隨著時間自適應(yīng)[10]調(diào)整,從而保證跟蹤過程中的魯棒性。融合系數(shù)αt和βt的求解公式如下:

4 本文算法

本文采用融合多特征的均值漂移粒子濾波跟蹤算法,以實現(xiàn)復(fù)雜環(huán)境下對目標(biāo)進行快速魯棒的跟蹤。算法的具體步驟如下:

步驟1 初始化

(1)從起始幀中手動確定要跟蹤目標(biāo)的坐標(biāo),并選取以該目標(biāo)為中心的寬為20個像素的正方形區(qū)域作為目標(biāo)區(qū)域。

(2)在此區(qū)域的基礎(chǔ)上通過式(4)計算目標(biāo)的顏色特征,并保存該目標(biāo)區(qū)域內(nèi)的像素灰度值。

(4)設(shè)定各特征的初始融合系數(shù)均是0.5,即α0=β0=0.5。

步驟2 目標(biāo)狀態(tài)預(yù)測

步驟3 粒子權(quán)值更新

根據(jù)式(12)計算每個粒子的權(quán)重。

步驟4 均值偏移

通過式(1)對當(dāng)前粒子集合進行均值迭代優(yōu)化。

步驟5 輸出估計的目標(biāo)狀態(tài)

按照加權(quán)平均的方法計算當(dāng)前幀中目標(biāo)的狀態(tài):

步驟6 特征融合系數(shù)更新

通過式(13)和式(14)調(diào)整在預(yù)測t+1時刻目標(biāo)狀態(tài)時,顏色和結(jié)構(gòu)這2種特征的融合系數(shù)。

步驟7 重采樣

計算粒子的有效性,如果粒子的有效性低于閾值,則進行重采樣操作,否則,繼續(xù)往下執(zhí)行。

步驟8 讀取下一幀圖像,返回步驟2。

5 實驗結(jié)果及分析

為了驗證本文算法的有效性,對該算法在Matlab環(huán)境下進行仿真實現(xiàn)。分別設(shè)計了針對汽車的跟蹤實驗,顏色和結(jié)構(gòu)2種特征的融合系數(shù)初始都為0.5,加權(quán)顏色直方圖由8×8×2個條柱組成,以粒子位置為中心點的寬為20個像素的正方形區(qū)域建立結(jié)構(gòu)模型。

圖1給出了本文算法和融合顏色與結(jié)構(gòu)特征對汽車進行跟蹤的結(jié)果,從左至右分別為第 5幀、第30幀和第80幀。圖1(a)為使用顏色與結(jié)構(gòu)融合跟蹤所達到的效果,圖1(b)為本文算法所達到的效果,其中,橢圓形框表示算法輸出的目標(biāo)位置。可以看出,在跟蹤的過程中,融合顏色與結(jié)構(gòu)特征的跟蹤結(jié)果和本文算法的跟蹤結(jié)果在對汽車車牌跟蹤過程中都能達到穩(wěn)定的跟蹤。

圖1 汽車的跟蹤實驗結(jié)果

圖2給出了本文算法和融合顏色與結(jié)構(gòu)的算法對人跟蹤的結(jié)果。從左至右分別為第 10幀、第50幀和第115幀。其中,橢圓形框表示輸出的目標(biāo)位置。可以看出,2種算法均能達到穩(wěn)定性跟蹤。圖2(c)是2種算法粒子平均權(quán)重的變化對比圖,可以看出,在整個跟蹤過程中融合顏色與結(jié)構(gòu)的跟蹤算法的粒子平均權(quán)重在所有幀中幾乎都是小于本文算法的。在50幀和115幀由于受其他行人的遮擋,引起粒子平均權(quán)重迅速減少,此時在遮擋幀中所需的粒子數(shù)目將會增加。圖2(d)和圖2(e)是2種算法在跟蹤過程中的行、列方向軌跡點偏差對比圖,可以看出,2種算法在跟蹤過程中都有不同程度的偏差,但總體上2種跟蹤算法在行方向上的跟蹤偏差相差不多。但本文算法在列方向跟蹤偏差明顯好于對比算法。

圖2 人的跟蹤實驗結(jié)果

表1所示的是2種算法在跟蹤過程中各種數(shù)據(jù)的變化情況,從表1的X方向和Y方向軌跡偏移偏差也可以看出本文算法穩(wěn)定性較好。而且本文算法的粒子平均權(quán)重得到了明顯提升,不僅如此,重采樣次數(shù)也明顯減少了。從該實驗可以得知本文算法僅使用較少的粒子就可以實現(xiàn)對目標(biāo)的穩(wěn)定性跟蹤。

表1 2種算法在跟蹤過程中的仿真數(shù)據(jù)

6 結(jié)束語

本文在粒子濾波算法的基本框架下,利用顏色和結(jié)構(gòu)特征表示目標(biāo),并動態(tài)更新這2種特征的融合系數(shù),通過Mean Shift算法對粒子集進行優(yōu)化,提高了跟蹤過程中粒子的權(quán)值,減少了重采樣的次數(shù),可滿足一般目標(biāo)跟蹤的實時性要求。實驗結(jié)果驗證了本文算法的魯棒性和穩(wěn)定性。如何提高該算法在復(fù)雜、動態(tài)背景下的跟蹤魯棒性是下一步研究的方向。

[1] 張 娟,毛曉波,陳鐵軍.運動目標(biāo)跟蹤算法研究綜述[J].計算機應(yīng)用研究,2009,26(12):4407-4410.

[2] 黎洪松,李 達.人體運動分析研究的若干新進展[J].模式識別與人工智能,2009,22(1):70-78.

[3] Yin Minhao,Zhang Jin,Sun Hongguang,et al.Multi-cuebased CamShift Guided Particle Filter Tracking[J].Expert Systems with Application,2011,38(5):6313-6318.

[4] 史 紅,劉 濤,李 鳴,等.基于Meanshift優(yōu)化粒子濾波算法的低空平臺下車輛跟蹤[J].吉林大學(xué)學(xué)報:理學(xué)版,2012,50(3):535-539.

[5] Lascio R D,Foggia P,Percannella G,et al.A Real Time Algorithm for People Tracking Using Contextual Reasoning [J].Computer Vision and Image Understanding,2013, 117(8):892-908.

[6] Peter D,Bogdan M.Choice of Similarity Measure, Likelihood Function and Parameters for Histogram Based Particle Filter Tracking in CCTV Gray Scale Video[J].Image and Vision Computing,2011,29(2/3):178-189.

[7] 相入喜,李見為.多特征自適應(yīng)融合的粒子濾波跟蹤算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2012, 24(1):97-103.

[8] Wang Zhou,Bovik A C,Sheikh H R,et al.Image Quality Assessment:From Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing, 2004,13(4):1-14.

[9] Song Yizhe,Li Chuan,Wang Liang,et al.Robust Visual Tracking Using Structural Region Hierarchy and Graph Matching[J].Neurocomputing,2012,89(15):12-20.

[10] Hassan W,Bangalore N,Birch P,et al.An Adaptive Sample Count Particle Filter[J].Computer Vision and Image Understanding,2012,116(12):1208-1222.

編輯 金胡考

Particle Filtering Tracking Algorithm Based on Multi-feature Fusion and Mean Shift

YU Jinxia,QIAO Nan
(College of Computer Science and Technology,Henan Polytechnic University,Jiaozuo 454003,China)

To solve the problem that a single feature leads to tracking failure easily in a complex environment,a Particle Filtering(PF)tracking algorithm based on multi-feature fusion and Mean Shift(MS)is proposed.Under the framework of PF,it is closer to the real posterior distribution by embedding MS algorithm and using color and structural as the observation model to represent the object,and the weights of particles are calculated by this integration,in order to reduce the tracking deviation.Experimental results show that the proposed algorithm has better robustness when using the same particles,and the average weight of the particle is improved and the resample times are reduced significantly,even using the less particles can achieve tracking stability.

object tracking;Mean Shift(MS);multi-feature fusion;Particle Filtering(PF);color feature; structural feature

1000-3428(2014)11-0014-04

A

TP18

10.3969/j.issn.1000-3428.2014.11.003

河南省重點科技攻關(guān)計劃基金資助項目(122102310309);河南省基礎(chǔ)與前沿技術(shù)研究基金資助項目(142300410147);河南理工大學(xué)博士基金資助項目(B2011-58)。

于金霞(1974-),女,副教授、博士,主研方向:人工智能,機器學(xué)習(xí);喬 楠,碩士研究生。

2013-11-22

2014-01-13E-mail:qnhpu3503@163.com

中文引用格式:于金霞,喬 楠.基于多特征融合與均值偏移的粒子濾波跟蹤算法[J].計算機工程,2014,40(11): 14-17.

英文引用格式:Yu Jinxia,Qiao Nan.Particle Filtering Tracking Algorithm Based on Multi-feature Fusion and Mean Shift[J].Computer Engineering,2014,40(11):14-17.