結(jié)合運(yùn)動特征的目標(biāo)跟蹤方法

周明珠,周治平

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫214122)

結(jié)合運(yùn)動特征的目標(biāo)跟蹤方法

周明珠,周治平

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫214122)

針對視頻跟蹤過程中出現(xiàn)的背景干擾、目標(biāo)遮擋等問題,提出基于多特征融合的均值漂移算法和最小二乘法軌跡預(yù)測跟蹤方法。為解決背景干擾問題,使用改進(jìn)的混合高斯模型對背景實(shí)施建模,提取運(yùn)動前景目標(biāo),采用提取出的運(yùn)動信息結(jié)合顏色、紋理特征對目標(biāo)進(jìn)行描述,在跟蹤過程中利用運(yùn)動信息去除背景噪聲的干擾,從而適應(yīng)背景和目標(biāo)的變化,得到目標(biāo)位置,當(dāng)遮擋發(fā)生時,根據(jù)目標(biāo)遮擋前的先驗(yàn)信息預(yù)測最小二乘法的目標(biāo)軌跡,有利于重新捕獲目標(biāo)。實(shí)驗(yàn)結(jié)果表明,與已有的跟蹤方法相比,該方法在復(fù)雜背景和遮擋過程中對目標(biāo)的定位更精確,魯棒性更好。

背景建模;均值漂移算法;多特征融合;運(yùn)動信息;最小二乘法

1 概述

視覺跟蹤問題是計(jì)算機(jī)視覺領(lǐng)域中的一個重要問題。將3D視覺投射到2D圖像中,圖像的噪聲、雜亂的背景、復(fù)雜目標(biāo)的運(yùn)動、部分或者全部遮擋、光照變化等引起信息的丟失,使得視覺跟蹤具有挑戰(zhàn)性。從目標(biāo)的全局信息中提取的區(qū)域特征,如顏色、紋理、灰度已經(jīng)廣泛用于目標(biāo)跟蹤領(lǐng)域［1］。很多基于顏色、紋理、梯度方向直方圖的跟蹤算法能夠很好地跟蹤變化的目標(biāo)。文獻(xiàn)［2］用改進(jìn)的局部二值模式(Local Binary Pattern,LBP)直方圖對目標(biāo)進(jìn)行跟蹤,降低了跟蹤的錯誤率。然而空間信息的不足導(dǎo)致直方圖描述受限制,很難識別具有相同顏色屬性的目標(biāo)。而且單一的特征無法處理現(xiàn)實(shí)跟蹤環(huán)境中多變的情況,跟蹤目標(biāo)和所處環(huán)境的變化使得跟蹤不精確、魯棒性差,為了改善這些問題,其中一種方法就是建立基于多特征的目標(biāo)模型。文獻(xiàn)［3］提出一種多特征有效融合和更新的目標(biāo)跟蹤方法,對復(fù)雜的跟蹤場景具有更強(qiáng)的魯棒性。文獻(xiàn)［4］提出結(jié)合LBP和Ohta顏色特征的協(xié)方差跟蹤算法。為

了加強(qiáng)基于概率假設(shè)密度(Probability Hypothesis Density,PHD)跟蹤性能,文獻(xiàn)［5］使用尺度不變特征和顏色特征對目標(biāo)進(jìn)行描述,在目標(biāo)外形與背景區(qū)域相似的情況下,提高狀態(tài)估計(jì)和數(shù)量估計(jì)的穩(wěn)定性和魯棒性。多特征融合不僅可以在估算狀態(tài)時提供更可靠的觀測值,而且不同的線索之間可以是互補(bǔ)的,當(dāng)一個失敗另一個可能會成功。對于這種算法的關(guān)鍵及挑戰(zhàn)是如何優(yōu)化融合多特征。LBP和顏色是目標(biāo)的全局信息,具有較高的可信度,但是這些全局特征用在目標(biāo)發(fā)生部分遮擋時跟蹤效果往往不好,所以,結(jié)合目標(biāo)的局部信息。文獻(xiàn)［6］將角點(diǎn)特征與顏色特征融合,使得跟蹤穩(wěn)定性與抗遮擋能力優(yōu)于基于單一角點(diǎn)或顏色特征的均值漂移算法。運(yùn)用均值漂移算法對目標(biāo)進(jìn)行跟蹤的研究方法在目前的跟蹤領(lǐng)域運(yùn)用比較廣泛［7-8］。文獻(xiàn)［9］提出基于均值漂移算法跟蹤框架,結(jié)合顏色紋理直方圖對目標(biāo)進(jìn)行跟蹤,該方法提高了跟蹤的精確性和有效性。所以,跟蹤方法好壞的關(guān)鍵在于提取目標(biāo)有效的外觀模型。文獻(xiàn)［10］利用偏最小二乘法對目標(biāo)的正副樣本提取低維特征子空間,獲得具有判決性的外觀模型。

以上跟蹤方法都會受到復(fù)雜背景的影響,為了消除背景噪聲,本文提出一種結(jié)合運(yùn)動信息的跟蹤方法。利用改進(jìn)的混合高斯模型(Improved Gaussian Mixture Model,IGMM)對背景進(jìn)行建模,對圖像進(jìn)行二值化,從背景中提取運(yùn)動目標(biāo),將運(yùn)動目標(biāo)的信息融入到基于顏色和紋理的均值漂移算法框架中,消除背景影響,并在目標(biāo)發(fā)生遮擋時,利用最小二乘法對目標(biāo)的軌跡進(jìn)行預(yù)測。

2 特征提取與描述

2.1 均值漂移算法

均值漂移算法是基于顏色特征和紋理特征對目標(biāo)的形狀進(jìn)行描述,對視頻序列中的目標(biāo)區(qū)域的像素點(diǎn),計(jì)算該特征空間中所有特征值的概率,就可以得到目標(biāo)特征模型如下:

其中,C為歸一化常數(shù);k為核函數(shù);xi表示目標(biāo)區(qū)域中第n個元素;x0表示目標(biāo)的中心;b(xi)為像素點(diǎn)到像素特征的映射。以y為中心的候選目標(biāo)區(qū)域的特征模型如下:

對目標(biāo)區(qū)域和候選區(qū)域建立特征模型之后,利用Bhattacharyya系數(shù)度量候選區(qū)域與目標(biāo)區(qū)域的相似性,如下:

一階泰勒展開式如下:

其中,C為特征的歸一化系數(shù),并且有:

通過對相似度系數(shù)函數(shù)求最大值,可以得到目標(biāo)的位置,如下:

2.2 改進(jìn)混合高斯模型提取運(yùn)動特征的方法

背景減除法在運(yùn)動目標(biāo)檢測算法中運(yùn)用最廣泛。它是利用背景圖像與當(dāng)前圖像的差分來檢測運(yùn)動區(qū)域并將運(yùn)動的目標(biāo)從背景圖像中提取出來。背景減除法的關(guān)鍵是建立背景模型。

本文在混合高斯模型的基礎(chǔ)上結(jié)合幀差法提出了改進(jìn)的混合高斯模型進(jìn)行背景建模。混合高斯模型使用K個高斯分布來表示圖像中各個像素點(diǎn)的特征,用得到的新一幀圖像更新混合高斯模型,用當(dāng)前圖像中的每個像素點(diǎn)與混合高斯模型匹配,如果匹配成功則判定為背景點(diǎn),否則為前景點(diǎn)。

設(shè)在任意時刻t,像素點(diǎn)的灰度值為X,其概率密度函數(shù)為:

其中,α,β是學(xué)習(xí)率,且0≤α≤1,α的大小決定背景

更新的速度,α越大,更新速度越快,α越小,更新速度越慢。更新完成后重新對混合高斯分布按優(yōu)先級ρi,t由大到小進(jìn)行排序。用前B個分布建立背景模型:

其中,T′是權(quán)重閾值。

在圖像處理過程中,幀間差分算法在檢測移動目標(biāo)重疊部分時魯棒性較弱,很容易出現(xiàn)空洞現(xiàn)象。此外,由于幀間差分后的圖像包含2幀中相對變化的信息,檢測出的目標(biāo)輪廓大小大于實(shí)際尺寸,而且目標(biāo)快速移動時會出現(xiàn)重疊現(xiàn)象。本文提出基于動態(tài)閾值的3幀差分方法處理這個問題。算法的基本思想如下:

分別定義3個連續(xù)幀圖像fn(x,y),fn+1(x,y),fn+2(x,y),通過動態(tài)閾值分割得到二值圖,最后進(jìn)行與操作得到移動目標(biāo)的信息:

當(dāng)Dk為1是前景,否則作為背景。Z為固定二值化閾值。經(jīng)過以上操作后圖像仍然有比較大的噪聲點(diǎn),所以,使用連通性分析算法［11］在4個或者8個相連區(qū)域檢測像素的連通性,以便找到屬于同一個連通區(qū)域的像素點(diǎn),然后將低于閾值的連通區(qū)域作為干擾區(qū)域去除,保留目標(biāo)區(qū)域。

當(dāng)使用混合高斯模型和3幀差分法分別得到視頻中移動目標(biāo)后,將兩者得到的二值圖像進(jìn)行或操作。最終獲得完整的移動目標(biāo)。如圖1所示,用IGMM處理圖像幀,產(chǎn)生二值圖。它使當(dāng)前幀分為兩部分,一部分是比背景亮的區(qū)域,目標(biāo)落在此區(qū)域的概率比較高;另一部分是暗的區(qū)域,目標(biāo)不落在此區(qū)域的概率比較高。第n幀的二值圖表示為:

圖1 2種方法提取的目標(biāo)二值圖對比

2.3 結(jié)合運(yùn)動信息的多特征描述

融合顏色直方圖的均值漂移算法是一種常用的目標(biāo)跟蹤方法,單一的顏色特征使得算法具有計(jì)算量小的優(yōu)點(diǎn)。然而單一的顏色特征可能無法識別目標(biāo),因?yàn)樘崛∧繕?biāo)顏色特征中包含了背景顏色特征,這樣在用均值漂移算法根據(jù)顏色特征進(jìn)行跟蹤時,由于背景的干擾容易出現(xiàn)偏差,而且顏色特征對光照變化敏感,對顏色變化依賴程度高,不適合背景混淆和光照變化場合下跟蹤。而紋理特征正好彌補(bǔ)了這些缺點(diǎn)［12］。LBP算法是以窗口中心點(diǎn)灰度值為閾值對窗口內(nèi)其他像素作二值化處理,然后根據(jù)像素不同位置進(jìn)行加權(quán)求和得到該窗口的LBP值,是目標(biāo)的一種比較穩(wěn)定的特征信息。

在跟蹤過程中,從連續(xù)幀之間的差異獲得的運(yùn)動信息保存了所有移動的目標(biāo),同時,也包含了不感興趣的區(qū)域。因此,與運(yùn)動信息相結(jié)合的顏色和紋理特征去除了這些不感興趣區(qū)域。

在本文所述的顏色和紋理特征融合到均值漂移算法框架的一般步驟中,2種特征在一定程度上有互補(bǔ)作用,當(dāng)其中一種特征收到干擾,另外一個特征可實(shí)現(xiàn)補(bǔ)充功能。為了消除背景的干擾,在均值漂移算法框架中結(jié)合運(yùn)動信息BM(xi),新的內(nèi)核函數(shù)為:

在計(jì)算目標(biāo)新位置時,重新定義的權(quán)值:

2.4 多特征融合

結(jié)合運(yùn)動信息對目標(biāo)區(qū)域和候選區(qū)域進(jìn)行相應(yīng)的特征描述之后,利用文獻(xiàn)［13］提出的融合相似性函數(shù)來度量候選與目標(biāo)區(qū)域的相似性,利用對當(dāng)前幀的搜索結(jié)果,確定相似性函數(shù)的最大值,得到目標(biāo)位置:

其中,ρ1為融合相似度系數(shù),它由顏色和紋理的巴氏系數(shù)相乘得到的;Δ為敏感系數(shù),取值區(qū)間為(0,1)。融合的相似系數(shù)與巴氏系數(shù)成正比,該值越大,ρ1越大,跟蹤效果好。由均值漂移算法可得,融合后的權(quán)值系數(shù)ωi為:

最終得到的目標(biāo)位置為:

2.5 跟蹤算法

均值漂移算法容易受到遮擋的影響,因?yàn)楫?dāng)前幀中均值漂移算法迭代是根據(jù)前面幀迭代的結(jié)果計(jì)算的［14］,所以當(dāng)目標(biāo)發(fā)生嚴(yán)重長時間遮時,跟蹤窗口將會漂移,算法就無法繼續(xù)跟蹤目標(biāo)。運(yùn)用最小二乘法擬合,可以根據(jù)先前得到的目標(biāo)位置預(yù)測目標(biāo)在遮擋時的軌跡,以便于在目標(biāo)出遮擋物時能夠重新捕捉到目標(biāo)。具體方法如下:

(1)首先運(yùn)用改進(jìn)的GMM模型對圖像幀進(jìn)行背景建模,得到二值圖,計(jì)算目標(biāo)的運(yùn)動信息分布BM(xi)。

(2)分別計(jì)算目標(biāo)和候選目標(biāo)的顏色直方圖和紋理直方圖。

(3)將運(yùn)動信息融入到均值漂移算法跟蹤框架中。

(4)將計(jì)算的到的顏色和紋理的巴氏系數(shù)相乘,得到融合相似度系數(shù)ρ1,新的取值ωi和目標(biāo)的位置new。

(5)若目標(biāo)發(fā)生遮擋,啟用最小二乘法進(jìn)行目標(biāo)軌跡估計(jì)。

遮擋過程由遮擋判定、遮擋處理兩部分組成。如果目標(biāo)發(fā)生遮擋,跟蹤框中的非零像素會減少,當(dāng)小到一個預(yù)先設(shè)定好的閾值時,判定目標(biāo)發(fā)生遮擋,此時,啟用最小二乘法根據(jù)前m幀中目標(biāo)的位置來對目標(biāo)在下一時刻的位置進(jìn)行預(yù)測。當(dāng)目標(biāo)出遮擋物時,重新啟用均值漂移算法繼續(xù)跟蹤目標(biāo)。

3 實(shí)驗(yàn)結(jié)果與分析

本文所有實(shí)驗(yàn)基于Matlab2012a環(huán)境,在主頻2.10 GHz內(nèi)存2.00 GB的PC計(jì)算機(jī)上完成。實(shí)驗(yàn)的Man和Car視頻分別來自CAVIAR項(xiàng)目組和文獻(xiàn)［15］的MIT Traffic Data Set里的視頻序列。Man視頻一共80幀,其特點(diǎn)為跟蹤目標(biāo)處于復(fù)雜的背景環(huán)境中。Car視頻一共97幀,目標(biāo)為十字路口的汽車,在行駛過程中有遮擋情況。

首先對視頻Man進(jìn)行測試,目標(biāo)為經(jīng)過商店門口的行人。實(shí)驗(yàn)結(jié)果如圖2所示,其分別為跟蹤結(jié)果的第5幀、第55幀和第68幀。

圖2 本文方法與其他跟蹤方法的比較

結(jié)合圖2(a)和圖3的跟蹤誤差曲線可以看出,由于該跟蹤序列中的行人處于背景比較復(fù)雜的場景中,因此文獻(xiàn)［9］基于顏色紋理的均值漂移算法對運(yùn)動目標(biāo)進(jìn)行跟蹤時,在第5幀的時候,跟蹤的誤差出現(xiàn)比較大的波動,到第55幀時跟蹤目標(biāo)基本丟失,這是因?yàn)楫?dāng)目標(biāo)受到復(fù)雜背景環(huán)境影響時,簡單結(jié)合的顏色和紋理特征能自適應(yīng)環(huán)境變化,造成了跟蹤結(jié)果的不準(zhǔn)確,質(zhì)心發(fā)生了較大的偏差,使得目標(biāo)跟蹤失敗。從圖2(b)可以看出,文獻(xiàn)［10］雖然能跟蹤到目標(biāo),但是隨著時間的推移,跟蹤誤差越來越大。而本文方法能夠準(zhǔn)確跟蹤目標(biāo),這主要是因?yàn)樘崛∧繕?biāo)運(yùn)動的信息能夠消除背景的干擾,即使背景特征與目標(biāo)相似,也不會影響目標(biāo)特征的提取。

圖3 跟蹤誤差曲線

圖3的跟蹤誤差曲線和表1中的跟蹤誤差數(shù)據(jù)更清楚地反映出,本文方法和其他2種方法的差異。開始時除了文獻(xiàn)［9］在第5幀有明顯的波動,三者算法的差異性不是很大,隨著時間的推移,由于受到復(fù)雜背景的干擾,在第20幀后文獻(xiàn)［9］方法開始出現(xiàn)

較大偏差,逐漸丟失目標(biāo)。第51幀后文獻(xiàn)［10］出現(xiàn)較大波動,雖然跟蹤沒有失敗,但是跟蹤的結(jié)果沒有本文方法跟蹤精確,因?yàn)槲墨I(xiàn)［10］沒有把目標(biāo)從復(fù)雜背景中分離出來,容易受到背景的干擾,得不到精確的跟蹤結(jié)果。

表1 跟蹤誤差(均值±標(biāo)準(zhǔn)差)

為了驗(yàn)證本文方法在目標(biāo)發(fā)生遮擋能夠繼續(xù)跟蹤目標(biāo),采用Car視頻進(jìn)行實(shí)驗(yàn)。圖4中跟蹤目標(biāo)是交通十字路口的汽車,如圖4所示,圖4(a)為第69幀目標(biāo)進(jìn)入遮擋區(qū)域,圖4(b)為第92幀目標(biāo)出遮擋區(qū)域,從左至右依次為文獻(xiàn)［9-10］方法和本文方法的跟蹤結(jié)果。

圖4 3種方法進(jìn)/出遮擋物的跟蹤效果從圖4可以看出,文獻(xiàn)［9-10］方法在目標(biāo)進(jìn)遮擋區(qū)域時,受到遮擋物的影響,跟蹤出現(xiàn)偏差,在目標(biāo)嚴(yán)重遮擋時跟蹤框一直停留在遮擋物上,無法在目標(biāo)出遮擋物時捕捉到目標(biāo)繼續(xù)跟蹤。本文方法在目標(biāo)遮擋時結(jié)合最小二乘法對目標(biāo)的位置進(jìn)行預(yù)測,繼續(xù)跟蹤目標(biāo),在目標(biāo)移出遮擋物時,能夠重新捕獲到目標(biāo)并繼續(xù)進(jìn)行跟蹤。

4 結(jié)束語

均值漂移算法在視頻跟蹤中無法精確跟蹤處于復(fù)雜背景和顏色相似遮擋物的目標(biāo)。為此,本文提出一種改進(jìn)的均值漂移算法對目標(biāo)進(jìn)行跟蹤。結(jié)合運(yùn)動信息去除背景噪聲的干擾,結(jié)合最小二乘法對目標(biāo)在遮擋情況下的位置進(jìn)行預(yù)測,以便在目標(biāo)出遮擋物時能夠被捕獲。實(shí)驗(yàn)結(jié)果表明,該方法能使跟蹤結(jié)果更精確。然而,當(dāng)目標(biāo)處于動態(tài)背景或者鏡頭移動的場景中時,該跟蹤方法效果欠佳,如何處理動態(tài)場景下目標(biāo)的跟蹤問題將是今后研究的重點(diǎn)。

［1]Kemp C,Drummond T.Multi-modal Tracking Using Texture Changes［J］.Image and Vision Computing, 2008,26(3):442-450.

［2]Yuan Jirui,Egiazarian K.Multiple-level Patch-based Object Tracking Using MLBP-based Integral Histogram［C］// ProceedingsofIS&T/SPIEElectronicImaging.Burlingame,USA:International Society for Optics and Photonics,2013.

［3]李遠(yuǎn)征,盧朝陽,李 靜.一種基于多特征融合的視頻目標(biāo)跟蹤方法［J］.西安電子科技大學(xué)學(xué)報(bào):自然科學(xué)版,2012,39(4):2-8.

［4]Dash P P,Patra D,Mishra S K.Local Binary Pattern as aTextureFeatureDescriptorinObjectTracking Algorithm［C］//Proceedings of International Conference on Advanced Computing,Networking,and Informatics.Berlin,Germany:Springer,2014:541-548.

［5]Wu Jingjing,HuShiqiang,WangYang.Adaptive Multifeature Visual Tracking in a Probability Hypothesis Density Filtering Framework［J］.Signal Processing, 2013,93(11):2915-2926.

［6]宋 丹,趙保軍,唐林波.融合角點(diǎn)特征與顏色特征的Mean Shift目標(biāo)跟蹤算法［J］.系統(tǒng)工程與電子技術(shù), 2012,34(1):199-203.

［7]Mazinan A H,Amir-Latif A.Improvement of Mean Shift Tracking Performance Using an Efficient Convex Kernel Function and Extracting Motion Information［J］.Computer and Electrical Engineering,2012,38(6): 1595-1615.

［8]Mazinan A H,Amir-Latif A.A New Algorithm to Rigid and Non-rigid Objects Tracking in Complex Environments［J］.International Journal of Advanced Manufacturing Technology,2012,64(9/12):1643-1651.

［9]Ning Jifeng,Zhang Lie,David Z,et al.Robust Object Tracking Using Joint Color-texture Histogram［J］.World Scientific,2009,23(9):1245-1263.

［10]Wang Qing,Chen Feng,Xu Wenli,et al.Object Tracking via Partial Least Squares Analysis［J］.IEEE Transactions on Image Processing,2012,21(10):4454-4465.

［11]Zhang Shunmiao,LvDongkai.AMotionDetection Algorithm Based on Surendra Background Updating and BackgroundSubtraction［J］.JouranalofNangjing Institute of Technology,2011,9(2):22-27.

［12]李遠(yuǎn)征,盧朝陽,高全學(xué),等.基于多特征融合的均值遷移粒子濾波跟蹤算法［J］.電子與信息學(xué)報(bào),2010, 32(2):411-415.

［13]楊 欣,費(fèi)樹岷,李 剛,等.基于復(fù)雜特征融合的改進(jìn)Mean Shift目標(biāo)跟蹤［J］.控制與決策,2014, 29(7):1297-1300.

［14]Wen Jing,Gao Xinbo,Yuan Yuan,et al.Incremental Tensor Biased Discriminant Analysis:A New Color-based Visual Tracking Method［J］.Journal of Neurocomputing,2010, 73(4/6):827-839.

［15]Wang Xiaogang,Ma Xiaoxu,Grimson E.Unsupervised Activity Perception in Crowded and Complicated Scenes UsingHierarchicalBayesianModels［J］.IEEE TransactionsonPatternAnalysisandMachine Intelligence,2009,31(3):539-555.

編輯 劉 冰

Target Tracking Method Combined with Motion Feature

ZHOU Mingzhu,ZHOU Zhiping
(School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China)

A novel target tracking method for target’s localization with mean shift based on multiple features and least squares method prediction is proposed to solve background interference,problems of partial occlusion and other issues.Aiming at the problems of background interference,the Improved Gaussian Mixture Model(IGMM)is proposed to build background model and to extracted foreground moving object.The motion information,color information and texture information are fused to represent the target,according to the change of the target and backgrounds,combined with the motion feature to remove noise interference of background and to locate the object.In the occlusion process,when the mean shift integrating multi-feature fails to track the target,it can use least squares method to predict the location of the target.Experimental results demonstrate that the method can track the target accurately and has better robustness in complex backgrounds or occlusion situations.

background modeling;mean shift algorithm;multi-feature fusion;motion information;least square method

周明珠,周治平.結(jié)合運(yùn)動特征的目標(biāo)跟蹤方法［J］.計(jì)算機(jī)工程,2015,41(3):242-246.

英文引用格式:Zhou Mingzhu,Zhou Zhiping.Target Tracking Method Combined with Motion Feature［J］.Computer Engineering,2015,41(3):242-246.

1000-3428(2015)03-0242-05

:A

:TP391

10.3969/j.issn.1000-3428.2015.03.045

國家自然科學(xué)基金資助項(xiàng)目(61373126)。

周明珠(1988-),女,碩士,主研方向:圖像處理,目標(biāo)跟蹤;周治平,教授、博士。

2014-04-08

:2014-05-29E-mail:6121905018@vip.jiangnan.edu.cn