尺度優化的時空上下文目標跟蹤

張文明 侯建平 朱向東 李海濱 高雅昆 李雅倩

摘要：視覺目標跟蹤在智能監控和人機交互等領域有著廣泛的應用。該文針對時空上下文（sTc）跟蹤算法尺度適應性不強的問題進行研究，提出一種尺度優化的時空上下文目標跟蹤算法。首先，提出一種新型加權濾波函數，濾除圖像的高頻信息，提升算法的精度;其次，定義兩種判別標準，實現時空上下文模型的自適應更新;最后，通過相關性原理訓練尺度濾波器，估計出目標的尺度大小，提高算法的尺度適應性。實驗表明：提出的跟蹤算法能有效改善sTc跟蹤算法的尺度更新缺陷問題，提高sTc跟蹤算法的跟蹤精度，與近年來出現的基本跟蹤算法相比，該算法有著良好的跟蹤效果。該算法在AMD-A6處理器、2.7GHZ主頻、4GB內存的計算機硬件平臺下，實現68f/s的實時跟蹤速度。

關鍵詞：目標跟蹤;時空上下文;尺度優化;濾波函數

中圖分類號：TP391.4文獻標志碼：A 文章編號：1674-5124（2019）04-0001-08

0引言

基于視覺的目標跟蹤是計算機視覺研究領域中的一個重要課題，它被廣泛應用到智能交通、運動分析等領域。雖然近年來目標跟蹤技術取得了良好進展，但是仍然面臨著尺度變化、光照變化、部分遮擋等挑戰，因此設計出一種可以解決這些問題的跟蹤器顯得尤為重要。根據目標的外觀模型，可以將現有的跟蹤方法分成判別式跟蹤方法和生成式跟蹤方法兩類。其中，生成式跟蹤方法主要是通過建立的表觀模型找到與其相似度最大的區域來確定目標，而判別式跟蹤方法是借助訓練出的分類器隔離出目標和背景區域從而確定目標位置。

近年來，相關濾波器的目標跟蹤算法表現出良好的跟蹤性能，這些算法利用均方誤差模型所建立的分類器學習濾波模型，通過響應評分的峰值預估出目標的位置，并且在跟蹤期間通過傅里葉變換來提升處理速度。相關濾波的目標跟蹤方法作為一種判別式跟蹤方法，逐漸由最初的基于最小均方誤差和濾波器的跟蹤（MOSSE），和基于核循環矩陣的跟蹤方法（CSK）逐步發展為多模板、多特征的跟蹤方法。

相關濾波理論提出之后，Zhang等結合貝葉斯估計理論提出了高速的時空上下文（sTC）跟蹤方法，這種方法是一種生成式跟蹤算法，它將目標周圍的上下文信息考慮在內，利用目標在上下文區域各位置的置信圖估計出目標的最佳位置，該方法不僅跟蹤速度快，而且加入了尺度更新機制，但是尺度的自適應性并不強;隨后，劉威等在STC跟蹤器的基礎上加入了類似于中值流跟蹤算法的運動估計模塊，有效避免了跟蹤目標丟失的情況;文獻[11]和文獻[12]建立了相應的遮擋判別機制，利用峰值旁瓣比（PSR）判斷目標跟蹤是否失敗，有效提升了STC跟蹤器的抗干擾特性;Jiang等在STC跟蹤器的基礎上利用多特征融合后的置信圖求取目標的預測位置，并且采用元細胞動機理論更新不同特征對應的置信圖，實現了魯棒性跟蹤效果。盡管近幾年的這些算法有效提升了STC算法的跟蹤精度，然而這些方法并沒有優化尺度更新策略，對目標尺度不斷變化的序列處理效果仍然不佳。鑒于目前大多數算法存在忽略尺度變化的問題，文獻[14]和文獻[15]陸續提出了一系列尺度更新方案，一定程度上解決了尺度自適應問題，但這些算法的穩定性和實時性較差。

本文針對STC跟蹤器尺度估計不準確問題，結合相關性理論提出一種尺度優化的時空上下文目標跟蹤方法。首先對圖像序列進行預處理濾波濾除圖像的高頻信息，然后利用提出的判別條件實現時空上下文模型的自適應更新，最后按照文獻[9]的跟蹤流程實現目標的位置估計。此外，本文通過尺度金字塔估計目標的尺度大小，優化了原有的尺度更新策略，有效減少了由于尺度適應性不強造成目標丟失的情況。

1.STC跟蹤器

STC跟蹤算法主要是利用可以反映目標位置的概率（目標位置似然的置信圖）來實現整體的跟蹤過程。假如x表示目標搜索區域內任意位置，o為需要跟蹤的目標，X*為目標中心位置，Ωc（X*）為目標的上下文搜索區域，則目標在X處出現的概率為

sTc跟蹤器利用目標的上下文信息有效提高了跟蹤的效果，但依然存在問題：式（9）表明時空上下文模型的更新是無條件的，忽略了運動期間目標靜止不動等情況;跟蹤前的預處理濾波工作并不徹底;尺度估計依賴于置信圖，一旦置信圖求解出錯，算法將無法正確估計出目標的尺度大小。

2尺度優化的時空上下文目標跟蹤

本文針對以上問題，對文獻[9]提出的跟蹤方法加以改進，圖1給出了本算法的基本流程圖。流程圖顯示，本算法整體的跟蹤過程包括位置估計、尺度估計兩部分，本文首先利用sTc跟蹤框架確定目標的位置，然后利用求得的位置構建尺度特征金字塔估計出目標的尺度。

2.1位置估計

位置估計期間利用傅里葉變換可以顯著改善處理速度，但會對圖像邊緣產生一定的影響，引起頻域泄露現象。因此，傅里葉變換之前采用一種加權濾波函數，過濾掉這些高頻信息，如式（11）。實際上，這種加權濾波函數完全可以看成一種低通濾波器。

由于圖像的預處理過程直接對算法的置信圖產生影響，對此可以通過置信圖評判該方案的優劣性。以basketball為例，圖2為預處理濾波后算法和原算法的置信圖每一幀的峰值數據曲線，圖3為該序列對應的中心位置誤差對比曲線（中心位置誤差的定義在后續實驗部分進行了說明）。圖4跟蹤效果對比圖曲線顯示500幀以后，原算法的目標中心位置誤差達100像素以上，很明顯發生目標丟失的情況;同樣此時置信圖的峰值波動也比較明顯，圖給出了相應的跟蹤效果圖。效果圖顯示485幀時目標靠近到其他物體附近，此幀后目標逐步跟丟;而進行圖像預處理濾波之后目標框體并未發生漂移，一直跟隨物體運動，和原算法的處理方案相比有著良好的跟蹤效果。

常規模型更新由于沒有考慮到置信圖的能量變化，不具備一定的判別性，因此需要對其更新策略加以優化，實現模型的自適應更新，且文獻[5]和文獻[17]已經通過判別標準PSR取得了良好的跟蹤效果。對此，本文提出干擾判別標準δ1、δ2用于優化時空上下文模型的更新策略，如式（12）、式（13）所示：

為了評估尺度優化對文獻[9]跟蹤效果的影響，驗證本文提出的尺度優化的跟蹤方法的有效性，將只改進尺度估計部分的算法定義為多尺度時空上下文目標跟蹤算法（s-STC），將本文最終算法定義為尺度優化的時空上下文跟蹤算法（s-WWSTC）。

3實驗評估

3.1實驗環境

實驗的硬件環境為AMD-A6處理器，主頻為2.7GHz，內存4GB配置的計算機，算法的開發平臺為Matlab R2014a。實驗測試序列來源于標準跟蹤數據集VOT、benchmark，視頻序列中包含了目標跟蹤當中常見的挑戰性場景，包括光照變化、運動模糊、快速運動、目標遮擋、尺度變化等情況。

3.2評價標準

實驗采用文獻常見的評估標準對算法性能進行測試。這些評估標準包括中心位置誤差CLE（實際的目標中心位置坐標與人工標定坐標之間的歐式距離，該值越大，跟蹤效果不好）、距離精度DP（CLE小于設定閾值的視頻幀數與圖像序列總幀數的比值，DP值越大，跟蹤效果越好）、重疊率OR（跟蹤獲得的目標區域與人工標定目標區域交集和并集的面積比，OR越大，跟蹤效果越好）、成功率SR（OR大于設定閾值的幀數與圖像序列總幀數的比值，SR的高低反應了跟蹤性能的優劣）。此外，以每秒處理視頻的幀數（f/s）來評估各跟蹤算法的跟蹤效率。

3.3實驗結果與分析

為了驗證本文位置估計部分提出的WWSTC算法較STC算法相比有著較好的跟蹤性能，本文選取了公開數據集中的14個視頻序列，它們包含了光照變化，遮擋，尺度變化，雜亂變化等干擾。由于WWSTC是在位置估計部分對原算法進行改進，進而主要影響著CLE、OP兩種指標。表1給出了STC，WWSTC兩種算法的CLE對比結果（由于STC跟蹤器的尺度適應性不強，從而導致Women，RedTeam，Tunnel3個序列跟蹤出錯，無法計算出最終的結果，文中采用S-STC算法求得的數據代替，在表中用括號表示），相應的距離精度對比結果如圖5所示（此時的閾值固定為20個像素）。

結果顯示，WWSTC算法較原有的STC跟蹤器相比在各類視頻中取得了良好的跟蹤性能，平均中心位置誤差比STC算法減少了26.63個像素（其中BlurFace序列的中心位置誤差由原來的112個像素減少到5.82個像素值，basketball序列由74.9個像素減小到8.7個像素）。

為了證實尺度估計部分對算法的影響，同樣選取上述視頻序列，將S-STC算法、WWSTC算法、最后的S-WWSTC算法與STC算法進行對比實驗。由于算法中的尺度估計與位置估計兩部分相互獨立的，因此尺度部分主要影響著跟蹤的重疊率和成功率。圖6給出了這四種算法在測試視頻序列中的重疊率和成功率對比結果（鑒于STC算法在個別視頻中效果較差，導致跟蹤期間跟蹤窗體消失，無法計算出women、RedTeam、tunnel序列的重疊率和成功率;WWSTC算法雖然一定程度上提升了跟蹤效果，對于RedTeam序列仍然出現跟蹤出錯的情況。因此圖6中women序列為3個顏色條，RedTeam為兩個顏色條，tunnel為3個顏色條）。由此可見，不僅S-STC算法改善了STC跟蹤器的跟蹤重疊率和成功率，而且提出的S-WWSTC算法進一步提升了WWSTC算法的跟蹤性能，足以體現本文尺度優化算法的優越性。綜合以上位置估計和尺度估計的對比實驗，可以證明，本文提出的S-WWSTC算法明顯提高了STC算法的跟蹤效果。

為了進一步評估算法的整體性能，選取近年來出現的4種方法CSK、TLD、CT、ST和本文最終的S-WWSTC算法進行比較，圖7給出了這些算法在部分具有代表性的圖像序列的跟蹤結果。圖7（a）中的目標存在快速運動、旋轉、光照變化等情況，只有本文算法和CSK算法一直準確跟蹤到目標，其他算法均出現漂移現象;圖7（b）出現背景相似和遮擋情況，本文算法始終能夠跟蹤到圖中的易拉罐，并且能夠準確適應目標的尺度變化;圖7（c）中的目標姿態發生明顯變化，除了本文算法，其他算法均出現了明顯的漂移現象。

圖8給出了上述視頻集中5種算法的精度及成功率對比曲線。曲線顯示，本文算法較其他算法相比有著較高的距離精度和成功率。

為了體現本文算法的跟蹤效率，在AMD-A6處理器、2.7GHz主頻、4GB內存的計算機硬件平臺下，對上述5種算法進行了仿真對比。表2為這些算法的平均速度對比結果。數據顯示，雖然本文提出的算法雖然速度上與STC跟蹤器、CSK跟蹤器相比略有不足，但68f/s的平均跟蹤速度足以滿足實時跟蹤的需要。

4結束語

本文針對原有STC跟蹤器尺度適應能力不強的問題，提出了自適應尺度的目標跟蹤方法，使得該算法對尺度變化的運動目標具有更強的適應能力，有效提高了跟蹤的準確度和成功率。首先，通過對圖像序列進行預處理濾波，濾除圖像的高頻信息量;其次，利用干擾判別條件優化時空模型的更新策略，實現模型的自適應更新;此外，利用相關性原理構建尺度金子塔，實現目標的尺度自適應。實驗表明，本算法在目標發生尺度變化、光照變化、姿態變化、部分遮擋、旋轉及快速運動等復雜情況下均能獲得良好的跟蹤效果。本算法在AMD-A6處理器、2.7GHz主頻、4GB內存的計算機硬件平臺下，實現了68f/s的實時跟蹤速度。