基于子空間聯合模型的視覺跟蹤

楊國亮 唐 俊 朱松偉 王 建

(江西理工大學電氣工程與自動化學院 江西 贛州 341000)

?

基于子空間聯合模型的視覺跟蹤

楊國亮 唐 俊 朱松偉 王 建

(江西理工大學電氣工程與自動化學院 江西 贛州 341000)

目標跟蹤是計算機視覺的重要組成部分，其魯棒性一直受到目標遮擋，光照變化，目標姿態變化等因素的制約。針對這個問題，提出了基于子空間聯合模型的視覺跟蹤算法。算法為了克服遮擋對目標跟蹤的影響，采用局部動態稀疏表示進行遮擋檢測，根據遮擋檢測結果來修正增量子空間誤差。此外，在稀疏子空間基礎上計算目標模板和候選模板的相似性。在粒子濾波框架下，聯合候選目標增量誤差和相似性實現目標跟蹤。通過在多個具有挑戰性的視頻序列上進行實驗，表明該算法具有較好的魯棒性。

視覺跟蹤 增量子空間 粒子濾波 聯合模型 局部動態稀疏表示

0 引 言

視覺跟蹤一直是計算機視覺領域的研究熱點，它在智能控制、車輛導航、導彈制導、人機交互等領域具有大量的應用。文獻[1-2]對視覺跟蹤做了簡要回顧。雖然現在有大量經典算法[3-5]被提出，但這個領域仍有很多問題有待解決，這個研究領域仍然充滿挑戰。現階段視覺跟蹤面臨的技術難題是光照變化，目標遮擋，視角變化以及快速運動等環境因素對跟蹤的影響。

現階段，視覺跟蹤主要分為兩大類方法：鑒別式方法和生成式方法。鑒別式方法將跟蹤問題轉化成了一個二分類問題，其思想是通過分類器尋找與背景區分性最大的區域，從而實現目標和背景的分離。而對于生成式方法[3-8]，其主要思想是在圖像局部區域內進行搜索，從中尋找與目標外觀最相似的區域。本文采用生成式方法實現視覺跟蹤。

最近研究表明，稀疏表示模型[9]在人臉識別領域展現很強的魯棒性。基于此，很多基于稀疏表示模型的視覺跟蹤算法[6-7,10-11]被呈現。Mei等[4-5]采用全局的模板作為目標表觀模型，通過L1最小化模型實現目標跟蹤。在全局稀疏表示中，全局模板被當成字典，為了緩解目標遮擋對目標表觀的影響，大量瑣粹模板被使用。雖然對遮擋情況具有較好的魯棒性，但是瑣粹模板增加了稀疏表示的計算量。Zhong等[6]提出了稀疏合作表觀模型，在這個模型中，稀疏鑒別分類器(SDC)和稀疏生成模型(SGM)通過合作的方式確定跟蹤結果。通過全局模板，SDC從背景中分離跟蹤目標；而對于SGM，局部塊的空間信息被用來測量候選目標和目標模板相似度。基于PCA的子空間模型對目標表觀變化有很強的魯棒性。根據傳統PCA，Ross等[3]提出了基于增量學習的視覺跟蹤算法，其對表觀變化具有很強的魯棒性。但是，IVT算法是全局的，其對目標存在遮擋的情況魯棒性不強。

針對視覺跟蹤存在的難點問題以及增量子空間和稀疏子空間的現有優勢，本文提出了基于子空間聯合模型的視覺跟蹤算法。首先，算法利用增量子空間模型求得候選目標的增量誤差，并采用局部動態稀疏表示模型檢測候選目標的遮擋情況來減少目標遮擋對增量子空間模型的影響。此外，為了更加準確選擇候選目標，算法在局部動態稀疏表示的基礎上計算目標模板局部塊和候選模板局部塊之間相似性。最后，在粒子濾波框架下，利用聯合模型實現目標跟蹤。通過在多個具有挑戰性的視頻序列上進行實驗，算法對光照變化，目標遮擋，視角變化，目標姿態變化以及運動模糊有較好的魯棒性。

1 粒子濾波

基于粒子濾波的視覺跟蹤方法可以分為預測和更新兩個部分。假設在視頻序列的第t幀，y1:t-1={y1,y2,…,yt-1}表示第一幀到第t-1幀的目標觀測，xt表示目標的真實狀態，則粒子濾波的預測過程如式(1)所示：

p(xt|y1:t-1)=∫p(xt|xt-1)p(xt-1|y1:t-1)dxt-1

(1)

其中，p(xt|x1:t-1)為狀態轉移模型。狀態轉移模型p(xt|x1:t-1)描述了目標狀態和連續幀之間的關系。本文利用仿射變換建立目標狀態與連續兩幀圖像之間的轉移模型，模型如式(2)所示：

p(xt|xt-1)=N(xt,xt-1,Σ)

(2)

其中Σ為對角矩陣，其對角元素表示相應元素的方差。在t時刻，當觀測狀態yt可用時，則根據式(3)執行更新過程：

(3)

其中，p(yt|xt)是狀態xt的觀測似然。在得到所有候選目標的觀測似然后，利用最大后驗概率準則估計跟蹤目標的最優狀態，如式(4)所示：

(4)

2 增量子空間學習和局部動態稀疏表示

為了充分利用增量子空間和稀疏表示模型的各自優勢，本文提出了二者的聯合模型。首先根據增量子空間模型求得候選目標的增量誤差，因為增量子空間沒有遮擋檢測機制，所以采用局部動態稀疏表示實現遮擋檢測，用檢測結果修正增量誤差。此外，在局部動態稀疏表示基礎上計算候選目標和目標表觀的相似性。在以理論的基礎上利用聯合模型實現了本文的視覺跟蹤算法。

2.1 增量子空間學習

通過以上分析，t時刻的候選目標yt的增量學習誤差ePCA可以通過式(5)求得：

(5)

其中，q為特征向量系數。

在跟蹤過程中，需要實時更新訓練集，這樣就降低了原訓練集的貢獻度，因此引入遺忘因子f，f∈[0,1]，則原有效樣本數變為f×n。通過這種更新方式，增量子空間獲取了新的表觀變化，同時又保證了初始表觀在子空間中的重要地位。

2.2 局部動態稀疏表示

(6)

其中，bi是局部塊的稀疏系數，λ是稀疏表示模型的權值參數，字典D∈RG×J通過M個局部塊k均值聚類生成(J為聚類中心數量)，η為相鄰幀跟蹤目標之間相關性的控制參數，Ht是相鄰幀之間的狀態轉移矩陣。本文局部塊的生成過程和局部塊稀疏系數柱狀如圖1所示。

圖1 局部塊和稀疏系數柱狀圖

通過局部動態稀疏表示模型求解候選目標局部塊的稀疏系數bi∈RJ×1，將所有稀疏系數連接起來形成一個向量，如式(7)所示：

(7)

其中，β∈R(J×M)×1表示一個候選目標的稀疏系數向量。

2.3 遮擋檢測

(8)

在稀疏編碼中，候選目標的局部塊能夠由字典稀疏表示。如圖1所示，局部塊的表示系數是稀疏的。然而，遮擋塊不屬于目標模板，其用字典表示時將會有很大的稀疏誤差。因此局部塊的遮擋情況可以通過稀疏誤差確定。定義遮擋指示器如式(9)所示：

(9)

其中，ξ是自定義閾值，用來確定局部塊是否被遮擋。定義候選目標的遮擋檢測矩陣為O∈Rm×n，則根據遮擋指示器可以求得：

(10)

其中，p和q是第j個局部塊在候選目標中的坐標向量。Λ和Ω分別表示1矩陣和0矩陣。利用式(10)對所有局部塊進行遮擋檢測，對檢測結果進行閾值處理可以求得遮擋檢測矩陣O。從而利用遮擋檢測矩陣修正增量學習誤差。

在利用遮擋檢測矩陣對增量誤差進行修正后，可以得到修正誤差，如式(11)所示：

Ej=ej⊕O

(11)

其中，ej為第j候選目標的增量誤差，Ej為對應修正誤差，⊕表示元素之間的點乘。則可以求得所有候選目標的修正誤差為:

對于局部動態稀疏表示模型，當候選目標存在遮擋時，根據遮擋指示器生成加權系數向量：

φ=β⊕g

(12)

其中，g為遮擋指示器。

通過以上的遮擋檢測方式，本文不僅考慮了兩個模型的各自特點，也充分利用了局部塊的空間信息，增強了算法對遮擋的魯棒性。

2.4 聯合模型

對于局部動態稀疏表示模型，本文參考文獻[6]選擇向量求交來計算候選目標和目標模板相似度，公式如下所示：

(13)

其中，φc和ω分別表示第c個候選目標和目標模板的系數向量。所有候選目標和目標模板的相似度可以表示為L=[L1,L2,…,LN]T。

對于增量子空間模型和局部動態稀疏表示模型，其相似性根據各自模型特點分開計算。但在最后的決策環節采用聯合模型確定最優候選目標。因為增量學習模型采用增量誤差衡量候選目標，其值應該越小越好；而局部動態稀疏表示模型采用目標模板和候選目標的相似度衡量候選目標，其值應該越大越好。所以本文定義聯合模型如式(14)所示：

(14)

其中，α是控制高斯核函數的參數，Γ為歸一下常量。

3 模板更新

在跟蹤過程中，目標的表觀是經常改變的，所以實時更新目標模板顯得至關重要。對于增量子空間模型，當目標不存在遮擋時，算法選擇間隔5幀更新一次訓練集；當目標存在遮擋時，算法利用遮擋檢測結果修正增量學習誤差，同時跟蹤結果不會更新到訓練集。而對于局部動態稀疏表示模型，字典D在此后的跟蹤結果中不會更新，但為了利用新的表觀信息，本文選擇更新模板系數向量的方式來跟蹤目標，更新過程如式(15)所示：

ωn=μωf+(1-μ)ωlifGn

(15)

其中，ωn是新的系數向量，ωf是根據第一幀圖像生成的系數向量，而ωl是上一次存儲的系數向量，μ為平衡系數，Gn表示跟蹤結果的遮擋情況，G0為自定義閾值。選擇這種模板更新方式一方面保證了第一個模板的重要性，另一方面也充分考慮了新的表觀變化，增強了算法的魯棒性。

本文算法以粒子濾波為整體框架，通過將增量誤差和稀疏相似度作為候選目標的觀測似然，在特定的遮擋檢測和模板更新方式下實現了目標跟蹤。算法流程如算法1所示。

算法1 基于子空間聯合模型的視覺跟蹤

輸入：手工標定目標x1，字典D，前五幀通過模板匹配進行跟蹤

1．For t=6 ；t<= FrameNum ；t++

8．end for

4 實驗及結果分析

本文算法實驗平臺為Intel Duo e7500雙核處理器，主頻為2.93 GHz，內存為2 GB，Windows XP操作系統，軟件環境為Matlab R2010b。實驗之前，需要對參數進行基本的設置，其中包括：樣本所投影的局部塊大小為32×32，訓練集更新間隔為5，遺忘因子設為0.95。為了評估我們算法的性能，從標準測試庫[13]選擇了“Car2”，“Singer1”，“FaceOcc1”，“Walking2”，“Surfer”，“Jumping”，“David2”，“Sylvester”8個測試序列進行實驗，測試序列總共包括4 390張視頻幀圖像，同時8個測試序列分別涵蓋光照變化，嚴重遮擋，運動模糊，姿態變化，尺度變化等挑戰。并與IVT跟蹤[3]、L1APG跟蹤[5]、CT跟蹤[8]、SCM跟蹤[6]、ASLA跟蹤[7]五個經典算法進行比較。為了確保實驗的合理性，所有初始位置都根據目標真實位置確定。

4.1 定性比較

這部分，在各種場景下將我們的算法和著名算法作對比，因為標準測試序列幀數過多，不可能在跟蹤結果中全部展示，所以選擇關鍵位置作結果展示，結果如下：

光照變化 “Car2”序列顯示一輛小車在劇烈光照變化下行駛，其中包括從下面通過一座橋，受陰影的影響很大。而在“Singer1”序列中，跟蹤除了受到演唱會現場強烈光照影響，還受到歌手自身姿態和尺度變化的影響。實驗結果顯示，“Car2”序列中CT跟蹤跟丟目標，L1APG跟蹤精度不足，其他四個算法都能準確跟蹤目標。而對于“Singer1”序列，在圖像序列第120幀到第325幀之間存在劇烈的強光照射，這對IVT，L1APG和CT算法都有一定影響，三個算法都存在一定的跟蹤誤差。本文算法能夠準確跟蹤目標。表明本文算法對陰影和強光照射具有較好的魯棒性。

嚴重遮擋 大面積遮擋對于目標跟蹤很常見，它在算法性能評估中占有重要的地位。因此，本文選擇了2個存在遮擋的序列進行實驗。結果表明，在“FaceOcc1”序列中，六個算法都能正確跟蹤目標，但CT和IVT存在精度不足的缺點，如圖2(c)所示。而對于“Walking2”序列，因為存在大面積遮擋和很大尺度變化，IVT、CT以及ASLA跟蹤失敗，如圖2(d)所示。通過在2個遮擋視頻序列上進行實驗，表明本文算法對遮擋情況具有較好的魯棒性。

圖2 測試序列跟蹤結果1

運動模糊 為了驗證算法對運動模糊的跟蹤性能，本文選擇“Surfer”和“Jumping”視頻序列進行實驗。對于“Surfer”序列，其主要的挑戰是目標快速運動和目標姿態變化，實驗表明SCM和本文算法展現了相當的跟蹤精度，另外三個跟蹤算法跟蹤失敗。而對于“Jumping”序列，其不僅存在運動模糊，還存在背景雜斑，結果顯示CT和L1APG算法跟蹤失敗。通過在兩個運動模糊視頻序列上進行實驗，結果表明本文算法對運動模糊和快速運動的目標具有較好的跟蹤精度。

姿態變化 “David2”序列存劇烈姿態變化，如圖3(c)所示。在此圖像序列上進行實驗，結果表明本文算法對本圖像序列有較好的魯棒性。為了進一步驗證本文算法對姿態變化的跟蹤性能，選擇“Sylvester”視頻序列做進一步性能分析。實驗表明，本文算法能正確跟蹤目標，其他算法跟蹤精度不足。

由以上實驗可知，本文算法在光照變化，姿態變化，嚴重遮擋，運動模糊，尺度變化等各種復雜場景下，均能有效跟蹤目標，并且跟蹤窗口可以隨著跟蹤目標自適應尺度變化和姿態變化。

圖3 測試序列跟蹤結果2

4.2 定量分析

由標準測試庫[13]可以得到目標的真實狀態。所以為了進一步對本文算法性能進行評估，利用目標真實邊界框和跟蹤結果邊界框的重疊率進行定量分析。假設目標的邊界框為RT,準確的邊界框為RG,則跟蹤結果的重疊率為S=|RT∩RG|/|RT∪RG|,其中∩和∪分別表示兩個區域的交集和并集，|·|表示區域內像素點的個數。由于篇幅所限，本文選擇4個測試序列繪制重疊率曲線如圖4所示，其橫坐標為視頻序列的序號，單位為幀，縱坐標為目標真實邊界框和跟蹤結果邊界框的重疊率。

圖4 重疊率曲線

此外，進一步利用跟蹤結果與真實狀態之間的相對位置誤差對本文算法作進一步的性能評估。其中，相對位置誤差e=ξ/d，ξ為跟蹤結果的中心位置與真實狀態的中心位置的偏移量，d為真實狀態的目標矩形對角線長度。6個跟蹤算法對應8個測試序列的平均相對位置誤差如表1所示，其中最好的兩個算法平均相對位置誤差采用加粗方式表示。

表1 平均相對位置誤差

5 結 語

針對單目標跟蹤易受環境因素的影響，提出了基于子空間聯合模型的視覺跟蹤算法。算法利用增量子空間模型求解候選目標的增量誤差。為了克服環境因素對目標跟蹤的影響，采用局部動態稀疏表示進行遮擋檢測，根據候選目標的遮擋情況來修正增量學習誤差。因為局部動態稀疏表示也能夠求得候選目標和目標模板的相似度，所以結合修正的增量誤差和局部動態稀疏表示求得的相似度共同決定候選目標。在上述理論的基礎上，以粒子濾波為框架實現了基于子空間聯合模型的視覺跟蹤算法。在多個具有挑戰性的視頻序列上進行實驗，并與多個現有的跟蹤算法作對比，實驗結果表明本文算法具有較好的魯棒性。

[1] Yilmaz A, Javed O, Shah M. Object tracking:A survey[J]. Acm Computing Surveys,2006,38(4):13.

[2] Smeulders A W, Chu D M, Cucchiara R, et al. Visual Tracking: An Experimental Survey[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2013,36(7):1442-1468.

[3] Jing L. Incremental Learning for Robust Visual Tracking[J]. International Journal of Computer Vision, 2008,77(1-3):125-141.

[4] Mei X, Ling H, Wu Y, et al. Minimum Error Bounded Efficient L1 Tracker with Occlusion Detection (PREPRINT)[C]//The 24th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2011, Colorado Springs, CO, USA, 20-25 June 2011:1257-1264.

[5] Bao C. Real time robust L1 tracker using accelerated proximal gradient approach[C]//IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2012:1830-1837.

[6] Zhong W, Lu H, Yang M H. Robust object tracking via sparse collaborative appearance model[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2014,23(5):2356-68.

[7] Jia X. Visual tracking via adaptive structural local sparse appearance model[C]//IEEE Conference on Computer Vision & Pattern Recognition,2012:1822-1829.

[8] Zhang K, Zhang L, Yang M H. Real-Time Compressive Tracking[C]//European Conference on Computer Vision. Springer-Verlag,2012:864-877.

[9] Jie C, Zhang Y. Sparse Representation for Face Recognition by Discriminative Low-Rank Matrix Recovery[J].Journal of Visual Communication & Image Representation, 2014,25(5):763-773.

[10] Chen F, Wang Q, Wang S, et al. Object tracking via appearance modeling and sparse representation[J].Image & Vision Computing,2011,29(11):787-796.

[11] Wang D, Lu H, Yang M H. Online object tracking with sparse prototypes[J].IEEE Transactions on Image Processing, 2013, 22(1):314-25.

[12] Ji Z, Wang W. Object tracking based on local dynamic sparse model[J].Journal of Visual Communication & Image Representation, 2015,28:44-52.

[13] Wu Y, Lim J, Yang M H. Online Object Tracking: A Benchmark[C]//IEEE Conference on Computer Vision & Pattern Recognition,2013:2411-2418.

VISUAL TRACKING BASED ON SUBSPACE COLLABORATIVE MODEL

Yang Guoliang Tang Jun Zhu Songwei Wang Jian

(SchoolofElectricalEngineeringandAutomation,JiangxiUniversityofScienceandTechnology,Ganzhou341000,Jiangxi,China)

Target tracking is an important part of computer vision, and its robustness is always restricted to target occlusion, illumination variation and target pose change and so on. To this end, this paper proposes a visual tracking algorithm based on subspace collaborative model. In order to overcome the influence of occlusion on target tracking, this algorithm rectifies incremental subspace error by result of occlusion detection using local dynamic sparse representation. Besides, the similarity between target template and candidate template is computed based on local dynamic sparse representation. In the framework of particle filter, this algorithm is achieved based on combining incremental error with similarity. The experimental results on several sequences show that this algorithm has better performance of tracking.

Visual tracking Incremental subspace Particle filter Collaborative model Local dynamic sparse representation

2016-08-11。國家自然科學基金項目(51365017,61305019);江西省科技廳青年科學基金項目(20132bab211032)。楊國亮，教授，主研領域：模式識別與圖像處理，智能控制。唐俊，碩士生。朱松偉，碩士生。王建，碩士生。

TP391.41

A

10.3969/j.issn.1000-386x.2017.07.029