基于貝葉斯方法的視覺跟蹤

顏曉文　謝杰騰

摘 要：在視覺跟蹤研究中，存在目標遮擋、目標形變、目標旋轉、光照變化、尺度變化等強干擾因素。一般的跟蹤方法都是針對跟蹤目標框內的圖像信息建模并進行跟蹤，而忽略了跟蹤目標框以外的鄰域圖像和目標圖像之間的相關性，導致這些強干擾條件下出現跟蹤漂移或者跟蹤失敗的情況。提出利用目標鄰域空間信息進行視覺跟蹤的新方法，首先在指定的目標框的鄰域范圍內采集鄰域圖像信息，然后對采集到的鄰域圖像和跟蹤目標圖像初始化先驗信息。在跟蹤過程中通過貝葉斯框架下的投票機制估計目標位置，完成位置估計后在線更新目標圖像和鄰域圖像的先驗信息，并根據先驗信息進行模板更新。實驗證明在貝葉斯框架下使用目標圖像的鄰域信息進行輔助能夠有效地應對遮擋、旋轉和形變等情況，提高跟蹤的魯棒性。

關鍵詞：貝葉斯方法；分塊跟蹤；直方圖；魯棒性

中圖分類號：TP391.4 文獻標識碼：A 文章編號：2095-1302（2015）04-00-03

0 引 言

視覺跟蹤是計算機視覺的重要組成部分，經過多年的研究與發展，在安防監控、對象識別、輔助駕駛和人機交互等方面得到廣泛應用。但是視覺跟蹤在動態環境下仍然面臨很多問題，例如光照變化、遮擋、旋轉、形變和尺度變化等，造成這些問題的根本原因是目標表觀的多變性和依賴多變的目標表觀來跟蹤目標[1]。

分塊跟蹤[2]使用直方圖對分塊的目標圖像的亮度特征建模，然后針對每個分塊單獨跟蹤，最后通過分塊投票決定目標位置。增量學習跟蹤[3]使用PCA方法建模目標的表觀模型，用粒子濾波估計目標位置。VTD[4]綜合HVS直方圖和PCA兩種方法建模目標表觀，使用基于馬爾可夫鏈的粒子濾波估計目標位置。實時壓縮跟蹤[5]和基于壓縮感知的實時跟蹤[6]，根據壓縮感知理論使用稀疏化的方法建模目標表觀。不同的是文獻[6]使用l1優化方法實現目標稀疏化表示，而文獻[5]則是通過精心選擇的隨機高斯測量矩陣直接計算，實現目標稀疏化表示，計算效率遠高于l1優化方法。超像素跟蹤[7]和星系跟蹤[8]使用圖像分割方法把目標圖像分割為超像素，將超像素看成特征統計的基本單元，然后針對超像素的直方圖特征進行聚類，用獲得的聚類特征來建模目標表觀，然后用粒子濾波方法估計目標位置。

在貝葉斯框架下將目標圖像和鄰域圖像統一考慮，綜合分塊跟蹤和鄰域信息輔助跟蹤提出新的擴展分塊跟蹤方法。第二部分介紹使用鄰域圖像和目標圖像在貝葉斯框架下的目標跟蹤，第三部分是跟蹤實驗。

1 鄰域輔助跟蹤

1.1 目標鄰域特征點

在序列圖像中，目標與鄰域內特征點存在穩定的空間相關性，我們可以利用這種空間相關性解決目標被完全遮擋情況下的目標位置估計問題。圖1（a）是跟蹤過程中無遮擋情況下建立的鄰域特征點的支持模型，即目標與鄰域特征點之間的空間相關性，圖1（b）是跟蹤過程中發生目標完全遮擋，但是部分目標鄰域特征點仍然可視，那么通過可視的部分鄰域特征點仍然可以準確的估計出目標位置。

1.3 擴展的目標分塊

在人臉跟蹤的圖像序列中，頭發、脖子和肩部成像與臉部成像有穩定的空間相關性，因此可以將頭發、脖子和肩部成像看成臉部成像的擴展和延伸，把目標和鄰域看成一個整體，即擴展的跟蹤目標。綜合分塊跟蹤和目標鄰域特征點輔助跟蹤的思路，使用分塊跟蹤法跟蹤擴展的跟蹤目標，這樣將分塊跟蹤的適用范圍從不完全遮擋擴展到完全遮擋的情況。在目標鄰域內截取矩形圖像塊，然后和目標圖像塊一起進行分塊跟蹤。在圖3中，黃色矩形框O0為指定的跟蹤目標，黃色矩形框與紅色矩形框之間的區域為目標鄰域，將目標和目標鄰域組合成一個擴展的新目標，即整個紅色矩形框內的圖像，然后在擴展目標上使用分塊跟蹤法跟蹤。在目標鄰域內截取矩形圖像O1，O2，…，On，建立圖像塊Oi的支持模型（dix，diy），如圖4所示，dix和diy是圖像塊Oi中心點到圖像塊O0中心點的距離在x軸和y軸上的分量。

2 跟蹤實驗

在視覺跟蹤研究中常選擇在特征空間中建模目標，本文在HSV模型空間中用直方圖建模目標，與跟蹤算法VTD，TLD算法進行測試比較，用trellis.avi和david_indoor.avi兩個測試視頻對跟蹤方法進行比較，比較結果如圖6所示。這兩個視頻是比較跟蹤算法時常用的視頻，這兩個視頻中有光照變化，尺度變換，目標形變等干擾因素，是測試新跟蹤方法的標準測試視頻。

從跟蹤結果的來看，VTD跟蹤方法在跟蹤開始不久，在136幀逐漸出現了跟蹤漂移，并且漂移越來越嚴重，到191幀時，表示目標位置的矩形框完全脫離目標，直到411幀開始，跟蹤框才慢慢的恢復到目標位置上，從191幀到411幀中間的220幀，跟蹤目標一直處于丟失狀態。從整個跟蹤序列來看VTD跟蹤的表現，大部分時間都存在跟蹤漂移問題，為什么會出現這鐘現象，根本原因還是在于模板。VTD方法使用基于多馬爾可夫鏈的粒子濾波框架進行跟蹤，而跟蹤框架的設計上沒有模板保存和更新模塊，因此，當一幀圖像跟蹤結果出現小的偏差后，下一幀的跟蹤會以有偏差的位置為基準進行跟蹤，這樣每幀中出現的小偏差就會累積，到后來使得跟蹤結果完全偏離目標的正確位置，出現丟失跟蹤目標的情況。如果在框架中引入偏差的修正模塊，那么出現的偏差可以根據模板及時進行糾正，避免誤差累積，消除跟蹤漂移問題。

3 結 語

該方法跟蹤首先在指定的目標框的鄰域范圍內采集鄰域圖像信息，然后對采集到的鄰域圖像和跟蹤目標圖像初始化先驗信息。在跟蹤過程中通過貝葉斯框架下的投票機制估計目標位置，完成位置估計后在線更新目標圖像和鄰域圖像的先驗信息，并且根據先驗信息進行模板更新。在貝葉斯框架下使用目標圖像的鄰域信息進行輔助能夠有效的應對遮擋、旋轉和形變等情況，提高跟蹤的魯棒性，證明了貝葉斯方法和基于領域圖像方法的有效性。

參考文獻

[1] Yao R，Shi Q， Shen C，et al. Robust tracking with weighted online structured learning[C]. Computer Vision–ECCV 2012：Springer，2012：158.

[2] Adam A， Rivlin E， Shimshoni I， editors. Robust fragments-based tracking using the integral histogram[C]. Computer Vision and Pattern Recognition， 2006 IEEE Computer Society Conference on，2006.

[3] Ross D A， Lim J， Lin R S， Yang M H. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision. 2008，77（1-3）：125-141.

[4] Kwon J， Lee K M，Visual tracking decomposition[C]. Computer Vision and Pattern Recognition （CVPR）， 2010 IEEE Conference on，2010.

[5] Zhang K， Zhang L， Yang M H. Real-time compressive tracking[C]. Computer Vision–ECCV 2012：Springer，2012：864-877.

[6] Li H， Shen C， Shi Q. Real-time visual tracking using compressive sensing[C]. Computer Vision and Pattern Recognition （CVPR）， 2011 IEEE Conference on，2011.

[7] Wang S， Lu H， Yang F，et al. Superpixel tracking. Computer Vision （ICCV）[C]. 2011 IEEE International Conference on， 2011.

[8] Wang W， Nevatia R. Robust object tracking using constellation model with superpixel[C]. Computer Vision–ACCV 2012： Springer， 2013：191-204.