自適應更新時空方向能量目標跟蹤算法研究

摘 要： 為降低遮擋對目標跟蹤性能的影響，提出了一種基于自適應更新時空方向能量的目標跟蹤算法。首先依據(jù)目標外觀模型進行初步跟蹤，計算目標平均運動矢量；然后，求取運動目標的時空方向能量特征，構(gòu)建運動模型；依據(jù)運動模型和狀態(tài)機檢測目標狀態(tài)，生成遮擋掩膜；最后，對不同狀態(tài)和遮擋情況的目標采用不同的參數(shù)自適應更新其外觀和運動模型。實驗采用國際通用的CAVIAR和York兩個公共測試數(shù)據(jù)集，并用平均跟蹤誤差和多目標跟蹤精確度兩個指標評測了跟蹤性能。實驗結(jié)果表明該方法的目標跟蹤性能好，尤其是對目標遮擋的魯棒性強。

關(guān)鍵詞： 目標跟蹤算法； 目標識別； 時空方向能量； 外觀模型； 運動模型

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2016）13?0041?05

Abstract： To reduce the impact of occlusion on target tracking performance， a target tracking algorithm based on spatiotemporal oriented?energy of adaptive update is proposed. With the algorithm， the moving target is tracked in preliminary according to its appearance model to compute the average motion vector， and then obtain the spatiotemporal oriented?energy feature of the target and construct the motion model. After that the target state is detected according to the motion model and state machine to generate the occlusion mask. For the target with different status and occlusion conditions， the appearance model and motion model of the target are self?adaptively updated by means of different parameters. In the experiment， two testing datasets （CAVIAR and York） commonly used in the world were adopted， and the indexes of average tracking error and multi?object tracking precision were employed to evaluate the tracking performance. The experimental results show that the proposed method has good target tracking performance， especially for strong robustness to target occlusion.

Keywords： target tracking algorithm； target identification； spatiotemporal oriented?energy； appearance model； motion model

0 引 言

運動目標跟蹤是計算機視覺領(lǐng)域的研究熱點，在制導導航、人工智能、視頻監(jiān)控等領(lǐng)域應用廣泛[1]。文獻[2]提出的均值漂移（Meanshift）方法是目標跟蹤領(lǐng)域的經(jīng)典方法，其基本思想是利用概率密度的梯度爬升尋找局部最優(yōu)，通過不斷迭代跟蹤目標的最優(yōu)匹配點，實現(xiàn)目標跟蹤。然而，該方法對目標遮擋和光線變化的魯棒性較弱。如何提高目標跟蹤算法對光線變化和目標遮擋及姿態(tài)變化的適應性是當前目標跟蹤領(lǐng)域的難題之一。文獻[3]提出了一種基于顏色紋理直方圖的帶權(quán)分塊均值漂移目標跟蹤方法，將目標劃分為互不重疊的矩形分塊，提取顏色直方圖和局部二元模式特征，執(zhí)行基于背景權(quán)重的Meanshift算法，提高Meanshift方法對姿態(tài)變化和部分目標遮擋的魯棒性。文獻[4]提出了一種基于SIFT特征和粒子濾波的目標跟蹤方法，依據(jù)SIFT特征對光照、尺度以及仿射變換的不變性，提高目標跟蹤對光照變化和部分遮擋的魯棒性。文獻[5]提出了一種增量視覺跟蹤（Incremental Visual Tracker，IVT）方法，在目標跟蹤過程中，采用增量主成分分析算法自適應更新目標整體外觀模型，適應光照和姿態(tài)變化；在構(gòu)建低維子空間過程中，引入一個遺忘因子，降低新數(shù)據(jù)對子空間構(gòu)建的作用，從而降低短時部分遮擋對目標跟蹤性能的影響。該方法對目標短時部分遮擋的跟蹤性能較好，但對于全遮擋狀態(tài)的跟蹤結(jié)果并不理想。

針對部分遮擋和全遮擋條件下的目標跟蹤難題，本文提出一種基于時空方向能量（Spatiotemporal Oriented Energies，SOE）和模型自適應更新的目標跟蹤方法。SOE特征可以有效表征視頻中連續(xù)時空方向結(jié)構(gòu)的動態(tài)模式，已被成功用于動態(tài)紋理識別與場景理解、行為識別和視覺跟蹤等計算機視覺領(lǐng)域[6]。本文將歸一化的SOE特征作為跟蹤線索，檢測遮擋和進行跟蹤。在現(xiàn)有基于外觀模型和運動模型進行目標跟蹤的基礎(chǔ)上，提出了模型的自適應更新策略，避免非剛性目標在目標跟蹤過程中模型受損；另外，本文利用狀態(tài)機區(qū)分目標的遮擋部分和非遮擋部分，便于在跟蹤過程中僅使用非遮擋部分的目標數(shù)據(jù)，而且還可以區(qū)分目標的部分遮擋和全遮擋狀態(tài)，從而對不同狀態(tài)采用不同的模型更新和跟蹤策略，提升目標跟蹤性能。

1 視頻序列的SOE描述

2 基于SOE的目標跟蹤

基于SOE的目標跟蹤過程如圖1所示，感興趣目標采用外觀和運動兩個模型獨立進行描述，外觀模型用于像素跟蹤器計算目標運動矢量，運動模型用于檢測遮擋和構(gòu)建遮擋掩膜，并估計目標狀態(tài)。跟蹤器基于像素亮度計算整個目標的平均運動矢量，由此提取SOE特征對目標的時空運動進行描述和建模。遮擋檢測和遮擋掩膜用于定位遮擋區(qū)域，在模型更新時阻止遮擋區(qū)域的更新，從而避免目標模板的破壞，降低漂移現(xiàn)象對目標跟蹤的影響。狀態(tài)機用于估計跟蹤過程中目標的運動狀態(tài)，對于不同的運動狀態(tài)采用不同的模型更新策略。目標模型在跟蹤過程中自適應更新，降低遮擋引起的目標丟失或破壞問題。

3 實驗結(jié)果與分析

為了驗證本文方法的目標跟蹤性能，選用國際上通用的CAVIAR[10]和York[11]兩個監(jiān)控視頻數(shù)據(jù)庫作為實驗數(shù)據(jù)庫，并與經(jīng)典的Meanshift方法[2]和目前對目標短時部分遮擋性能最優(yōu)的IVT方法[5]進行實驗對比，從定性和定量兩個層面評價本文方法的跟蹤性能。

3.1 定性評價

限于篇幅，本文僅列舉在York數(shù)據(jù)庫的Pop?Machines視頻中的部分目標跟蹤結(jié)果，如圖3所示。由圖可見，三種方法在目標未遮擋前的跟蹤結(jié)果基本一致，但目標遮擋后，本文方法的跟蹤結(jié)果與目標實際位置誤差明顯最小，尤其是目標被全部遮擋之后，其他兩種方法跟蹤誤差非常大，而本文仍能保持較小的跟蹤誤差。可見本文提出的目標跟蹤方法對目標遮擋的魯棒性強。

3.2 定量評價

本文采用目標跟蹤領(lǐng)域常用的平均跟蹤誤差和多目標跟蹤精確度兩個指標來定量評價算法的跟蹤性能[12]。

平均跟蹤誤差（Average Tracking Error，ATE）：所有跟蹤目標中，跟蹤到的目標中心點位置與目標中心點實際位置之間的歐氏距離的平均值。值越小性能越好。

4 結(jié) 語

本文提出了一種基于SOE和模型自適應更新的目標跟蹤方法，可以有效解決部分遮擋和全遮擋條件下的目標跟蹤難題。主要設(shè)計思路包括兩個方面：一是在遮擋檢測方面，依據(jù)歸一化的SOE特征檢測遮擋和構(gòu)建遮擋掩膜，結(jié)合狀態(tài)機的思想?yún)^(qū)分目標的不同狀態(tài)，便于在跟蹤過程中避免使用遮擋部分的目標數(shù)據(jù)引起的漂移現(xiàn)象；二是在模型自適應更新方面，對于目標的外觀模型和運動模型，結(jié)合遮擋掩膜和目標狀態(tài)，采用不同的策略進行更新，有效避免模型在目標跟蹤過程中受損，進而提高跟蹤精度。通過在國際上通用的CAVIAR和York兩個公共測試數(shù)據(jù)集上進行仿真實驗，證實本文方法對目標部分遮擋和全遮擋狀態(tài)都有較小的跟蹤誤差，總體跟蹤性能指標優(yōu)于傳統(tǒng)目標跟蹤方法。然而，本文方法使用了多個經(jīng)驗參數(shù)和閾值，有可能影響算法對復雜環(huán)境的適應能力，有待后續(xù)深入研究。

參考文獻

[1] 楊威，付耀文，龍建乾，等.基于有限集統(tǒng)計學理論的目標跟蹤技術(shù)研究綜述[J].電子學報，2012，40（7）：1440?1448.

[2] COMANCIU D， RAMESH V， MEER P. Kernel?based object tracking [J]. IEEE transactions on pattern analysis machine intelligence， 2003， 25（5）： 564?575.

[3] 李冠彬，吳賀豐.基于顏色紋理直方圖的帶權(quán)分塊均值漂移目標跟蹤算法[J].計算機輔助設(shè)計與圖形學學報，2011，23（12）：2059?2066.

[4] 牛長鋒，陳登峰，劉玉樹.基于SIFT特征和粒子濾波的目標跟蹤方法[J].機器人，2010，32（2）：241?247.

[5] ROSS D A， LIM J， LIN R S， et al. Incremental learning for robust visual tracking [J]. International journal of computer vision， 2008， 77（1/3）： 125?141.

[6] CANNONS K J， WILDES R P. The applicability of spatiotemporal oriented energy features to region tracking [J]. IEEE tran?sactions on pattern analysis machine intelligence， 2014， 36（4）： 784?796.

[7] FREEMAN W T， ADELSON E H. The design and use of stee?rable filters [J]. IEEE transactions on pattern analysis machine intelligence， 1991， 13（9）： 891?906.

[8] DERPANIS K G， WILDES R P. Dynamic texture recognition based on distributions of spacetime oriented structure [C]// Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 191?198.

[9] BLACK M J， ANANDAN P. The robust estimation of multiple motions： parametric and piecewise?smooth flow fields [J]. Computer vision image understanding， 1996， 63（1）： 75?104.

[10] Anon. Context aware vision using image?based active recognition [EB/OL]. [2001?06?11]. http：//homepages.inf.ed.ac.uk/rbf/CAVIAR/.

[11] Anon. Visual tracking datasets and groundtruth [EB/OL]. [2010?03?14]. http：//www.cse.yorku.ca/vision/research/visual?tracking/.

[12] FüHR G， JUNG C R. Combining patch matching and detection for robust pedestrian tracking in monocular calibrated cameras [J]. Advances in pattern recognition and computer vision， 2014， 39（4）： 11?20.