相機(jī)運(yùn)動(dòng)狀態(tài)下的實(shí)時(shí)運(yùn)動(dòng)目標(biāo)跟蹤算法

姜明新

(大連民族學(xué)院信息與通信工程學(xué)院，遼寧大連 116605)

基于視頻的目標(biāo)跟蹤算法是計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵技術(shù)問題，在模式識(shí)別、人工智能、視頻監(jiān)控、機(jī)器人導(dǎo)航等方面都有廣泛的應(yīng)用［1－3］。常見的目標(biāo)跟蹤算法有mean－shift算法［4］、粒子濾波算法［5］等。其中，粒子濾波算法能夠有效解決目標(biāo)跟蹤中普遍存在的非線性、非高斯的問題，因而被更多的學(xué)者所采用。

現(xiàn)有的目標(biāo)跟蹤算法大多數(shù)是基于靜止的視覺平臺(tái)展開的，而現(xiàn)實(shí)的監(jiān)控環(huán)境中，很多監(jiān)控相機(jī)處于運(yùn)動(dòng)的狀態(tài)，比如:船載和車載的監(jiān)控裝置。很多文獻(xiàn)討論了電子穩(wěn)像技術(shù)［6－8］，還有少部分文獻(xiàn)討論了基于電子穩(wěn)像的跟蹤算法［9］。但是這些算法都將穩(wěn)像和跟蹤分開進(jìn)行處理，這樣做存在幾個(gè)不可避免的缺點(diǎn):穩(wěn)像的過程不可避免的會(huì)造成視頻圖像信息的損失;先穩(wěn)像再跟蹤將會(huì)導(dǎo)致時(shí)間上的延遲，無法滿足實(shí)時(shí)性的要求;最重要的缺點(diǎn)是無法獲取在原始視頻中的跟蹤結(jié)果。

基于以上分析，為了克服現(xiàn)有算法中存在的問題，本文提出了一種相機(jī)運(yùn)動(dòng)狀態(tài)下的實(shí)時(shí)運(yùn)動(dòng)目標(biāo)跟蹤算法。首先，對(duì)特征點(diǎn)進(jìn)行選取，然后，利用光流法進(jìn)行全局運(yùn)動(dòng)估計(jì)，得到相機(jī)平移運(yùn)動(dòng)分量和旋轉(zhuǎn)運(yùn)動(dòng)分量;最后，利用全局運(yùn)動(dòng)估計(jì)的結(jié)果對(duì)粒子濾波的運(yùn)動(dòng)方程進(jìn)行修正，選用顏色直方圖作為目標(biāo)的特征模型，實(shí)現(xiàn)在相機(jī)運(yùn)動(dòng)的情況下對(duì)移動(dòng)目標(biāo)的實(shí)時(shí)跟蹤。為了驗(yàn)證本文算法的性能，選取了多組測試視頻進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，在相機(jī)運(yùn)動(dòng)的狀態(tài)下，本文提出的算法能夠準(zhǔn)確快速的跟蹤運(yùn)動(dòng)目標(biāo)，達(dá)到實(shí)時(shí)性要求，具有非常好的實(shí)用價(jià)值。

1 全局運(yùn)動(dòng)估計(jì)

圖像的特征點(diǎn)選取需要考慮到精度和實(shí)時(shí)性兩方面的要求，傳統(tǒng)的穩(wěn)像算法，一般選取每一幀圖像的角點(diǎn)作為特征點(diǎn)。最普遍使用的角點(diǎn)的定義是由Harris提出的［10］，Harris定義的角點(diǎn)是指位于圖像二階導(dǎo)數(shù)的自相關(guān)矩陣有兩個(gè)最大特征值的地方，本質(zhì)上是以此點(diǎn)為中心，周圍至少存在兩個(gè)不同方向的紋理(或者邊緣)。但是，對(duì)每一幀圖像都查找角點(diǎn)會(huì)帶來一些問題:當(dāng)需要角點(diǎn)數(shù)在300個(gè)以上時(shí)，與光流結(jié)合后實(shí)時(shí)性較差。

實(shí)驗(yàn)證明，在穩(wěn)像的任務(wù)中使特征點(diǎn)分散到整個(gè)圖像比特征點(diǎn)是否是角點(diǎn)更加重要。受到基于塊匹配的穩(wěn)像算法的啟發(fā)［11］，在每幀圖像中每隔20個(gè)像素選取一個(gè)點(diǎn)作為特征點(diǎn)。均勻選取特征點(diǎn)的優(yōu)勢(shì)在于:具有非常好的實(shí)時(shí)性，對(duì)全局運(yùn)動(dòng)有很好的代表性;通過對(duì)局部運(yùn)動(dòng)向量的篩選可以獲得準(zhǔn)確的全局運(yùn)動(dòng)的估計(jì)。

本文利用光流法來估計(jì)全局運(yùn)動(dòng)，采用Lucas－Kanade方法［12］來計(jì)算特征點(diǎn)的光流。由于均勻的選取特征點(diǎn)，特征點(diǎn)有可能在背景上，也有可能在運(yùn)動(dòng)目標(biāo)上。為了準(zhǔn)確的估計(jì)全局運(yùn)動(dòng)，需要排除運(yùn)動(dòng)目標(biāo)對(duì)全局運(yùn)動(dòng)估計(jì)的影響。接下來，從理論上分析運(yùn)動(dòng)目標(biāo)對(duì)光流結(jié)果的影響［13］。

為了分析運(yùn)動(dòng)目標(biāo)對(duì)光流的影響，首先假設(shè)相機(jī)是靜止的。假設(shè)t時(shí)刻第i個(gè)特征點(diǎn)Pi(t)在相機(jī)坐標(biāo)系中的坐標(biāo)是［xi(t)，yi(t)，zi(t)］，則該特征點(diǎn)在像平面的坐標(biāo)為

式中，λ是與相機(jī)分辨率和焦距有關(guān)的系數(shù)。

從式(2)可以看出，運(yùn)動(dòng)目標(biāo)對(duì)光流的影響與運(yùn)動(dòng)目標(biāo)的速度和景深有關(guān)，當(dāng)時(shí)間間隔非常短時(shí)，可以認(rèn)為速度是一定的，則運(yùn)動(dòng)目標(biāo)的景深越小，對(duì)光流的影響就越大。

式中，M'為垂直方向上篩選后的特征點(diǎn)的總數(shù)。

t時(shí)刻，第i個(gè)特征點(diǎn)Pi(t)在相機(jī)坐標(biāo)系中的坐標(biāo)為［xi(t)，yi(t)，zi(t)］，令該特征點(diǎn)在世界坐標(biāo)系中的位置保持不變，相機(jī)通過旋轉(zhuǎn)和平移發(fā)生移動(dòng)，在t+1時(shí)刻，該特征點(diǎn)Pi(t+1)在相機(jī)坐標(biāo)系中的位置變?yōu)椋踴i(t+1)，yi(t+1)，zi(t+1)］，則有

2 基于粒子濾波的運(yùn)動(dòng)目標(biāo)跟蹤算法

粒子濾波的主體思想是用一組帶有權(quán)值的粒子來描述后驗(yàn)概率分布［14－15］。根據(jù)蒙特卡羅理論，當(dāng)粒子的數(shù)目足夠多時(shí)，這組具有權(quán)值的粒子就能準(zhǔn)確地描述后驗(yàn)概率分布，此時(shí)，粒子濾波就是最優(yōu)的貝葉斯估計(jì)。在目標(biāo)跟蹤任務(wù)中，運(yùn)動(dòng)目標(biāo)的位置可以被看作是狀態(tài)空間上的離散時(shí)間馬爾可夫序列。跟蹤目標(biāo)就是要從帶有噪聲的觀測序列Zk中估計(jì)目標(biāo)狀態(tài)Xk。

可以證明，當(dāng)N→∞時(shí)，^Xk將均方收斂于p(Xk|Z1:k)的真實(shí)后驗(yàn)概率分布。為了避免粒子權(quán)值退化問題，需要采用重采樣方法，通過復(fù)制高權(quán)值粒子并拋棄低權(quán)值粒子的方法來解決這一問題。

在實(shí)際跟蹤任務(wù)中，用上一節(jié)得到的視頻全局運(yùn)動(dòng)信息改進(jìn)粒子濾波跟蹤算法。

本文選用RGB色彩空間的顏色直方圖來描述運(yùn)動(dòng)目標(biāo)，首先，對(duì)R、G、B三個(gè)通道量化成16級(jí)，柱狀圖分格為m=16×16×16個(gè)bins。

設(shè) u={1，2，…，m}，在初始幀中，給定包含目標(biāo)的粒子，可以得到目標(biāo)的統(tǒng)計(jì)直方圖分布模型為的顏色概率密度為

其中，y0為初始目標(biāo)中心位置。k(·)是核函數(shù)，核函數(shù)可以保證越遠(yuǎn)離粒子中心的像素，權(quán)值越小，以提高模型的魯棒性。C為使的歸一化參數(shù)。

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出的相機(jī)運(yùn)動(dòng)狀態(tài)下的實(shí)時(shí)運(yùn)動(dòng)目標(biāo)跟蹤算法的性能，采用多組實(shí)驗(yàn)視頻進(jìn)行實(shí)驗(yàn)，鑒于篇幅限制，本文只列出部分實(shí)驗(yàn)結(jié)果。本文算法的實(shí)現(xiàn)是基于windows 7操作系統(tǒng)，采用Visual Studio 2010和opencv2.3作為軟件平臺(tái)，計(jì)算機(jī)配置為 Pentium(R)Dual－Core CPU 2.0GHz。

針對(duì)兩組實(shí)驗(yàn)視頻的目標(biāo)跟蹤的結(jié)果分別如圖1，圖2，圖中的紅色框?yàn)楸疚乃惴ǖ母櫧Y(jié)果，白色框?yàn)閭鹘y(tǒng)的粒子濾波算法的跟蹤結(jié)果，黃色框?yàn)閙ean－shift算法的跟蹤結(jié)果。從實(shí)驗(yàn)結(jié)果中，可以明顯看出，在相機(jī)運(yùn)動(dòng)的情況下，本文提出的算法在準(zhǔn)確性和魯棒性方面占有非常明顯的優(yōu)勢(shì)。

圖1 針對(duì)實(shí)驗(yàn)視頻1利用不同算法進(jìn)行跟蹤的結(jié)果對(duì)比

圖2 針對(duì)實(shí)驗(yàn)視頻2利用不同算法進(jìn)行跟蹤的結(jié)果對(duì)比

4 總結(jié)

本文提出了一種在相機(jī)運(yùn)動(dòng)的狀態(tài)下進(jìn)行目標(biāo)跟蹤的算法，克服了傳統(tǒng)算法分別對(duì)穩(wěn)像和跟蹤進(jìn)行獨(dú)立處理的缺點(diǎn)。能夠?qū)崿F(xiàn)在原始的運(yùn)動(dòng)視頻中獲取目標(biāo)跟蹤的結(jié)果，不損失視頻圖像信息，計(jì)算復(fù)雜度低，能夠滿足實(shí)時(shí)性要求。從實(shí)驗(yàn)結(jié)果中可以看出，本文提出的算法具有非常好的魯棒性。后續(xù)，還可以改進(jìn)目標(biāo)的觀測似然，進(jìn)一步考慮相機(jī)有突變運(yùn)動(dòng)時(shí)的跟蹤問題。

［1］張巧榮，馮新?lián)P.利用視覺顯著性和粒子濾波的運(yùn)動(dòng)目標(biāo)跟蹤［J］.中國圖象圖形學(xué)報(bào)，2013，18(5):515 －522.

［2］夏瑜，吳小俊，馮振華.基于特征貢獻(xiàn)度的mean shift視頻跟蹤算法［J］.控制與決策，2012，27(7):1021－1026.

［3］JIANG Mingxin，LI Min，WANG Hongyu.A robust combined algorithim of object tracking based on moving object detection［C］∥Proceedings of the International Conference on Intelligent Control and Information Processing，2010:619－622.

［4］COMANICIU D V，MEER P.Kernel based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(5):564－575.

［5］MASKELL N S，CLAPP T.A tutorial on particle filters for online nonlinear/nongaussian bayesian tracking［J］.IEEE Transactions on Signal Processing，2002，50(2):174 － 188.

［6］KONRAD A J，KARL W.Probabilistic video stabilization using kalman filtering and mosaicking［C］∥Proc.SPIE Image and Video Communications and Process，2003:663－674.

［7］TICO M，VEHVILAINEN M.Constraint motion filtering for video stabilisationsing［C］∥Proc.Int，2005:569 －572.

［8］AUBERGER S C.Miro，digital video stabilization architecture for low cost devices［C］∥Proceedings of the 4th International Symposium on Image and Signal Processing and Analysis，2005:474 －479.

［9］王斌，趙躍進(jìn)，尹德森.基于電子穩(wěn)像的特征跟蹤算法［J］.紅外與激光工程，2008，37(4):607－610.

［10］BARRON J L，F(xiàn)LEET D J，BEAUCHEMIN S S.Performance of optical flow techniques［J］.International Journal of Computer Vision，1994，12(1):43－77.

［11］VELLA F，CASTORINA A.Massimo mancuso and giuseppe messina，digital image stabilization by adaptive block motion vectors filtering［J］.IEEE transactions on consumer electronics，48(3):796 － 801.

［12］SHI J，TOMASI C.Good features to track［C］.Proc.IEEE Int.Conf.on Computer Vision and Pattern Recognition，1994:593－600.

［13］CAI Jinhai，WAIKER R A.robust video stabilisation algorithm using feature point selection and delta optical flow［J］.IET Comput.Vis，2009，3(4):176 － 188.

［14］YANG Junlan，SCHONFEID D，MOHAMED M.Robust video stabilization based on particle filter tracking of projected camera motion［J］.IEEE trans on circuits and systems for video tech，2009，19(7):945 － 954.

［15］ KABAOGLU N.Target tracking using particle filters with support vector regression［J］.NE ，2009，58(5):2569－2573.

(責(zé)任編輯 劉敏)