基于視覺顯著性的突變運動目標跟蹤

蘇迎婭 趙清杰 郭 偉 王 博

(北京理工大學計算機學院，北京 100081)

(北京理工大學智能信息技術北京市重點實驗室，北京 100081)

目標跟蹤是計算機視覺領域的一個熱點研究問題，其相關研究成果在武器制導、視頻監控、醫療診斷、視頻檢索等眾多方面得到了廣泛應用［1］.簡單環境中魯棒目標跟蹤容易實現，但真實的跟蹤環境往往比較復雜，跟蹤的穩定性和準確性難以保證，目標發生突變運動就是導致目標跟蹤失敗的一種情況.目標突變運動包括目標不確定運動、目標快速運動以及視頻低幀率等情況，在這些情形下，相鄰兩幀間目標的位移量可能很大，容易導致目標跟蹤失敗.

傳統的目標跟蹤方法分為確定性跟蹤方法和概率性跟蹤方法.確定性跟蹤方法的代表性算法是均值漂移(mean shift)跟蹤算法［2］，該算法計算速度快、易于實現.概率性跟蹤方法典型的代表方法是粒子濾波算法［3］，該算法能夠有效地解決目標跟蹤中普遍存在的非線性非高斯問題.但上述跟蹤算法都是基于目標平滑運動的假設，因此在處理目標突變運動時，跟蹤效果較差.近年來，一些新的算法被提出，用以處理突變運動跟蹤.Philomin等［4］將擬隨機采樣引入到粒子濾波框架中，通過使用均勻采樣來應對突變運動，但這樣既浪費時間又容易陷入局部極值.Kwon等［5］提出了模擬退火Wang-Landau蒙特卡羅采樣(A-WLMC)的突變運動跟蹤算法，該算法將每一幀圖像劃分為多個相同大小的塊，然后使用WLMC算法更新每個子塊的狀態密度，并基于狀態密度進行目標狀態的更新.該算法能夠從全局狀態空間中采樣，從而得到全局極值，但是還沒有嚴格的理論來證明其收斂性.Zhou等［6］提出了基于自適應隨機逼近蒙特卡羅采樣(A-SAMC)的粒子濾波跟蹤算法，該算法提出一種狀態網格模型，通過學習狀態密度來估計粒子權值，并在跟蹤過程中自適應更新提議分布，該算法也能有效跳出局部極值，很好地跟蹤突變運動目標.A-WLMC算法和A-SAMC算法雖然能在全局狀態空間中進行采樣而避免陷入局部極值，但仍需要一定數量的粒子來進行跟蹤.

視覺注意機制［7］本質上是對人類視覺的模仿，在圖像檢索、場景分割等場合得到了廣泛應用.Rutishauser等［8］證明了視覺顯著性信息也可以運用到顯著目標的檢測識別中來.本文提出了一種基于視覺顯著性的粒子濾波跟蹤算法，用以解決目標突變運動下的跟蹤問題.實驗結果表明，對于不同類型的目標突變運動、短時全局遮擋等跟蹤場景，該算法均能獲得較好的跟蹤結果，表現出較好的魯棒性.

2 視覺顯著性計算

視覺注意機制是一種模擬人類視覺智能的重要機制，該機制能在海量的視覺信息中將注意力聚焦于較顯著的信息.Itti模型［7］就是一種經典的視覺注意計算模型，它用自底向上的機制來計算視覺顯著圖.

2.1 自底向上的計算模型

自底向上的視覺注意計算模型是由數據驅動的，該模型從圖像的特征出發，不依賴于任何先驗知識.常用的圖像的特征有顏色、亮度和局部方向等特征.首先把圖像分解成一組特征圖，然后從這組特征圖中提取顏色、亮度和局部方向的信息，分別得到亮度特征圖I，顏色特征圖CRG，CBY和方向特征圖O如下:

式中，r，g，b分別為圖像像素的RGB值;I為根據式(1)得到的亮度值;G(.)表示Gabor濾波;θ表示局部方向，θ∈{0°，45°，90°，135°}.

視覺顯著區域與其周圍區域相比差異明顯，因此采用中心強化-四周弱化的機制對各個特征圖進行處理，用不同空間尺度的圖像的相減來模擬圖像中心與四周的差分.圖像的采樣尺度如果是σ，則對應的圖像采樣比例應是1/2σ.設采樣尺度分別為c和s，當中心標度c∈{2，3，4}，中心周圍差標度δ=s－c∈{3，4}時，按照中心強化-四周弱化機制對上述亮度、顏色和方向特征圖進行處理，通過計算圖像區域中心與周圍的差分，可得到不同空間尺度下的視覺刺激圖M:

式中，Θ表示2種不同空間尺度圖像相減(先經過插值使2個圖像一樣大后，再逐像素相減)，l∈L={I，LC，O(θ)}，LC={CRG，CBY}.由于 c 有 3 種而δ有2種，共有6種組合，因此經過上述計算可得到亮度刺激圖6幅;由于顏色有RG和BY兩種情況，共得到顏色刺激圖12幅;由于方向θ有4種選擇，共得到方向刺激圖24幅.

接下來通過歸一化和交叉尺度相加的操作，分別將每種特征上的多張視覺刺激圖融合成一幅視覺顯著圖M':

式中，⊕表示2種不同空間尺度圖像相加(先經過插值使2個圖像一樣大后，再逐像素相加).由于特征圖的提取機制不同且像素值的動態范圍不同，需要進行歸一化操作后再處理，所以要對特征圖進行競爭作用處理N(·).N(·)是一種局部非線性的迭代，具體過程參見文獻［9］.

通過式(5)可得到3種特征的視覺顯著圖I'，C'和O'，最后通過求均值的方式將其融合成一幅最終的視覺顯著圖S:

2.2 自適應計算視覺顯著圖

上述視覺顯著圖的計算使用的是自底向上的計算模型，該模型是無意識引導的，不考慮具體的目標或者任務，屬于一種低級的視覺智能.在這種情況下，視覺顯著圖中目標區域可能顯著性很低或者并不顯著，難以引起視覺注意.而相比于自底向上的視覺注意機制，自頂向下的視覺注意是主觀意識引導的，由任務驅動的，帶有目的性，用于完成一定的搜索任務，屬于一種高級的視覺智能，更加類似于視覺目標跟蹤過程.因此本文結合自頂向下的思路，根據先驗信息來驅動顯著圖的計算，將自底向上和自頂向下的計算模型相結合以計算視覺顯著圖.本文為增強視覺顯著圖中目標區域的顯著性，采用目標模板作為先驗信息并結合2.1節的計算模型自適應計算視覺顯著圖.

對于目標模板圖像，先按2.1節的計算模型計算得到3種特征的視覺顯著圖I'、C'和O'，再通過計算每幅視覺顯著圖的局部極大值的均值，為每幅視覺顯著圖計算得到一個權值，計算公式如下:

式中，glocma為局部極大值的均值.如果一個像素點的值大于閾值T，且比它上下左右4個像素點的值都大，那么這個點稱為局部極大值點，本文令T=0.1.通過式(7)計算得到了3個特征權值wts={ωI，ωC，ωO}，那么最終的視覺顯著圖 S'的計算公式為

圖1對比了利用自底向上模型計算得到的視覺顯著圖和本文方法計算得到的視覺顯著圖.可以看出，本文方法加強了目標區域在視覺顯著圖中的顯著性.

圖1 視覺顯著圖結果對比

3 基于視覺顯著性的跟蹤算法

傳統粒子濾波的采樣局限于一定的范圍，在本質上是一種局部的搜索算法.因此，當目標發生突變運動導致相鄰兩幀間目標的位移量過大時，傳統粒子濾波算法容易發生跟蹤丟失，且難以重新恢復跟蹤.因此，本文考慮將基于視覺注意機制的視覺顯著圖引入到粒子濾波框架中，當突變運動發生時，利用目標的顯著性對目標進行檢測定位.運用自底向上的視覺顯著圖計算模型，即使目標發生突變運動，圖像背景發生變化，只要目標是顯著的，目標就能夠在視覺顯著圖的顯著性區域中得以體現，這保證了目標能夠被檢測到.另外，只需要對當前幀圖像進行處理就能得到視覺顯著圖，不需要額外的離線學習.

圖像中不同的區域會競爭視覺注意力，只有那些能夠產生較強視覺刺激的區域才能夠爭取到視覺注意，這些區域稱為視覺顯著性區域.在本文中，顯著性區域R={R1，…，Rn}的選擇采用勝者為王(winner-take-all)和返回抑制(inhibition-of-return)機制.首先在視覺顯著圖S'中找到最大值點，以此點為中心，以當前樣本集中粒子尺度為尺度的區域被標記成顯著性區域Ri，這就是勝者為王的選擇機制.接下來將整個Ri區域的像素值設置成0，再繼續用勝者為王機制選擇下一個顯著性區域Ri+1，這就是返回抑制機制.通過這種機制選擇的顯著性區域能隨著當前粒子尺度的變化而變化，克服了傳統方法中顯著性區域尺度固定的問題.

本文在跟蹤情況良好時進行局部采樣，即從運動轉移模型中進行粒子采樣;而當跟蹤發生丟失時進行全局采樣，即從視覺顯著圖的顯著性區域中進行采樣，具體過程如下:首先對此幀圖像計算視覺顯著圖，然后從圖中檢測顯著性區域R={R1，…，Rn}，并分別用Ri與目標模板進行匹配，最后從匹配度最高的顯著性區域附近進行粒子采樣，這樣就能從全局范圍內采樣，避免陷入局部極值，從而恢復跟蹤.

4 算法實現及實驗分析

4.1 算法實現

在算法實現時，目標用矩形區域表示，t時刻的目標狀態用xt=［x，y，s］表示，其中x和 y代表矩形區域中心坐標，s代表目標尺度，目標模板是在第1幀人為選定的.本文算法及對比算法采用HSV顏色直方圖作為目標的表觀模型，采用二階自回歸模型作為運動轉移模型，其運動方程如下:

式中，wt為零均值的高斯噪聲，在所有實驗中將其標準差設置為［σx，σy，σs］=［1，0.5，0.001］.

4.2 實驗結果及分析

本文采用多個視頻序列進行跟蹤測試，并與其他幾種算法進行對比，分別是PF跟蹤算法［3］、MCMC跟蹤算法［10］、AMCMC 跟蹤算法［11］和AWLMC跟蹤算法［5］.本文方法所用粒子數量為100，其他算法所用粒子數量為600.

本文部分幀的實驗結果如圖2所示，視頻序列face和stennis存在目標快速運動，視頻序列tennis是低幀率視頻，視頻序列girl存在短時全部遮擋.圖2中，本文算法的跟蹤結果用紅色實線框表示，AWLMC算法的跟蹤結果用綠色虛線框表示，AMCMC算法的跟蹤結果用藍色虛線框表示，MCMC算法的跟蹤結果用品紅色虛線框表示，PF算法的跟蹤結果用淡藍色虛線框表示.實驗結果顯示，本文算法在目標發生突變運動時能準確定位并跟蹤目標，且目標丟失后能恢復跟蹤，跟蹤結果優于其他算法;AWLMC算法雖能在全局搜索并進行跟蹤，但跟蹤不穩定，容易錯誤跟蹤到其他位置;而AMCMC，MCMC和PF算法難以處理突變運動，效果較差.

圖2 5種算法在4個視頻上的跟蹤結果

當真實目標的中心位置在預測目標區域內，則稱該幀跟蹤成功.跟蹤成功率定義為跟蹤成功的幀數與視頻序列總幀數的比值.表1顯示了5種算法在4個視頻序列上的跟蹤成功率，其中本文算法用100個粒子，其他4種算法用600個粒子.表1表明，本文算法的跟蹤成功率總體上優于其他算法，在粒子數量小于其他算法的情況下，總體跟蹤成功率提高了大約40%.

表1 5種算法在不同視頻上的跟蹤成功率 %

中心位置誤差是指真實目標中心位置和預測目標中心位置之間的以像素為單位的歐式距.圖3給出了5種算法在4個視頻上的中心位置誤差曲線，從圖3可看出，在處理突變運動的目標跟蹤時，本文算法穩定性和準確性都較好，而AWLMC算法很不穩定，AMCMC算法、MCMC算法以及PF算法跟蹤丟失情況較嚴重，跟蹤誤差較大.

4 結語

針對突變運動的目標跟蹤問題，本文提出了一種基于視覺顯著性的粒子濾波跟蹤算法.該算法在跟蹤情況良好時從局部建議分布采樣，而當跟蹤丟失時從視覺顯著圖的顯著性區域中進行采樣，有效避免了跟蹤陷入局部極值.另外，本文利用目標模板來計算各個特征圖的權重，自適應建立了視覺顯著圖，增強了目標在視覺顯著圖中的顯著性.在不同突變情況下的實驗證明，本文算法能夠很好地處理具有突變運動的目標跟蹤問題，并且在粒子數量較少的情況下也能取得較好的跟蹤效果.下一步工作將考慮在本文算法框架下，進一步研究目標表觀模型并考慮目標模板的在線更新.

圖3 5種算法在4個視頻上的中心位置誤差曲線

References)

［1］Yilmaz A，Javed O，Shah M.Object tracking:a survey［J］.ACM Computing Surveys，2006，38(4):13-45.

［2］Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(5):564-575.

［3］Isard M，Blake A.Condensation:conditional density propagation for visual tracking［J］.International Journal of Computer Vision，1998，29(1):5-28.

［4］Philomin V，Duraiswami R，Davis L.Quasi-random sampling for condensation［J］.Lecture Notes in Computer Science，2000，1843:134-149.

［5］Kwon J，Lee K.Tracking of abrupt motion using Wang-Landau Monte Carlo estimation［J］.Lecture Notes in Computer Science，2008，5302:387-400.

［6］Zhou X，Lu Y，Lu J，et al.Abrupt motion tracking via intensively adaptive Markov-chain Monte Carlo sampling［J］.IEEE Transactions on Image Processing，2012，21(2):789-801.

［7］Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(11):1254-1259.

［8］Rutishauser U，Walther D，Koch C，et al.Is bottom-up attention useful for object recognition［C］//IEEE Conference on Computer Vision and Pattern Recognition.Washington，DC，USA，2004:37-44.

［9］Itti L，Koch C.A comparison of feature combination strategies for saliency-based visual attention systems［J］.Journal of Electronic Imaging，1999，10:161-169.

［10］Khan Z，Balch T，Dellaert F.An MCMC-based particle filter for tracking multiple interacting targets［J］.Lecture Notes in Computer Science，2003，3024:279-290.

［11］Roberts G O，Rosenthal J S.Examples of adaptive MCMC［J］.Journal of Computational and Graphical Statistics，2009，18(2):349-367.