基于快速運動場景下的目標跟蹤改進算法

瑚 琦，查彤彤，李 銳

（1.上海理工大學 光電信息與計算機工程學院，上海 200093；2.上海理工大學 上海市現代光學系統重點實驗室，上海 200093）

引 言

目標跟蹤作為計算機視覺研究的一個重要課題，在交通巡邏[1]、自動駕駛[2]、智能人機交互[3]等眾多領域中具有重要作用。盡管已有大量的研究成果，但是仍存在如快速運動、尺度變化和遮擋等亟待解決的問題[4]。由于相關濾波對于外界光照的敏感性以及目標自身的幾何變化具有高效的計算能力和優越的魯棒性，所以相關濾波在目標跟蹤領域具有廣泛的應用性。

Bolme等[5]將相關濾波應用于目標跟蹤領域，通過計算目標和待測樣本之間的信號相關性，對下一幀的目標位置進行判定。2014年，Henriques等[6]將高斯非線性核函數引入相關濾波，實現基于核相關濾波的高速跟蹤。Danelljan等[7]引入尺度變換的概念，實現跟蹤過程中的尺度自適應。Bertinetto等[8]提出將顏色特征[9]（Color）和梯度直方圖特征[10]（HOG）按照一定比例的融合互補，從而提升目標運動過程中針對形變、光照等問題的魯棒性。Danelljan等[11-12]使用連續的卷積濾波器并對特征圖進行降維。在維持跟蹤速度的同時，提高了跟蹤效果。Galoogahi等[13]使用真實移位產生的負樣本作為背景信息，有效抑制了邊界效應，同時提出了一種基于ADMM[14]（交替方向乘子法）的優化方法，降低了計算量從而提升了跟蹤速度。Li等[15]提出了Autotrack（automatic spatio-temporal regularization）算法，該算法引入自適應時空正則項，有效提升了跟蹤速度。以上算法針對目標跟蹤存在的問題分別做出了不同的改進，但邊界效應和濾波器退化，始終影響跟蹤器在應對快速運動以及遮擋等復雜場景問題時的性能。其中Autotrack雖然提升了跟蹤速度，但其在快速運動情景下的目標跟蹤表現較為乏力。

當目標快速運動時，會造成目標信息的丟失，使得目標跟蹤的準確率大幅度下降。本文在Autotrack的基礎上，提出基于快速運動場景下的目標跟蹤改進算法。該方法在目標發生快速運動的場景下，可有效提升跟蹤器在面對快速運動等不利于跟蹤時的穩定性。本文主要工作如下：1）通過引入空間正則項，獲取空間正則權重，利用相鄰兩幀響應圖的隱藏聯系作為時間正則項，使其在跟蹤過程中自適應更新，在避免濾波器退化的同時可以有效緩解邊界效應。2）將空間正則項與時間正則項相結合引入目標函數中對濾波器進行約束，提升跟蹤性能。3）經改進后的算法使用ADMM對目標函數進行優化，基本可以實現實時跟蹤。

1 本文算法

Autotrack跟蹤算法是將引入的相鄰兩幀響應聯系作為自適應時空正則項，以使濾波器專注于對象的可信賴部分的學習，同時可以確定濾波器的更新率，從而提高跟蹤性能。但該算法的正則項部分僅僅依賴于相鄰兩幀的響應圖聯系，在針對快速運動場景下的目標跟蹤時，表現較為乏力，當目標快速運動時，會丟失有效的跟蹤信息。本文在Autotrack算法的基礎上，引入空間正則權重項w，對距離目標中心比較遠的樣本進行相應的懲罰，由此所得到的相關響應在目標背景處的值得到了明顯的抑制，從而有效緩解邊界效應。將相鄰兩幀全局響應圖變化量作為時間正則項，使其在解決邊界效應的同時有效地抑制畸變，從而提升跟蹤器在應對快速運動場景下的魯棒性。提出目標函數為

式中：K表示通道總數；表示從第t個訓練樣本中提取的向量化后的第j個通道的特征；T表示xjt向量化后的長度；分別表示第t個訓練樣本以及第t-1 個訓練樣本在j通道的濾波器；y∈RT×1表示理想的高斯型輸出； * 表示卷積操作； ?t、 ? 分別表示沿用Autotrack算法中的時間正則項系數的相關值與優化值。

式中：符號 ? 表示對應物理量的離散傅里葉正變換（DFT）；F表示求DFT系數矩陣； s.t.表示約束條件；G?t表示輔助變量。

則式（4）可分為下列3個子問題進行求解， 即：

直接對該等式求導計算量過大，難以實現實時目標跟蹤，因而對每個像素點通道的樣本特 征進行采樣，可將等式簡化為，即

現引入Sherman-Morrison定理減少最優解 的復雜度，即有

2）子問題

由矩陣的二范數和求導法則可知其閉式解為

式中A=diag(w)∈ RT×T，

3）子問題αt

解法同子問題 2）

4）子問題U?k+1

該求解過程實質上是對拉格朗日算子的更新，即

與是當前子問題的解，k表示優化技巧ADMM算法當前的迭代次數。

在算法的整個優化過程中，將濾波器和時間正則化參數的求解分成兩個部分。第一部分是通過式（7）獲得輔助變量頻域解，再利用所得的輔助變量的值代入式（9）中，求出時間化正則參數 ?t。第二部分是將輔助變量頻域解的值代入式（8）中，求出最后的濾波器fj，即計算出具有最佳響應的濾波器。

通過式（5）獲得t-1個樣本在第j通道的輔助變量頻域解，將其與下一幀樣本的頻域形式相乘，并將其結果轉換至時域求得響應圖Rt，即

將全部通道的響應圖進行疊加，通過尋找響應圖Rt中的最大值位置將其作為目標估計位置。

2 算法流程

本文算法的流程如圖1所示。首先根據第一幀目標所在的位置，提取感興趣區域的特征作為訓練樣本。本文引入空間正則項獲取可靠的濾波器懲罰系數，相鄰兩幀的響應圖聯系作為時間正則項控制濾波器的更新，將兩者相結合實現對濾波器的合理約束。使用相關濾波方法訓練目標濾波器模板，在下一幀圖像目標范圍提取目標特征，構建尺度金字塔，估計出最優尺度模板并更新。采用自適應更新策略機制對目標響應峰值位置進行置信度判斷并對模板進行自適應更新。

圖1 本文算法流程圖Fig.1 Flowchart of the algorithm in this paper

3 實驗設置

為保證算法的公平性，本文所有實驗均使用Hog特征，與基準Autotrack算法所提取目標的特征一致。本文實驗均在2.50 GHz，Intel（R）Xeon（R）CPU, 32 GB RAM計算機上進行。

4 實驗結果分析

為檢驗快速運動情形下的相關濾波跟蹤算法的跟蹤性能，本文選取8個相關濾波跟蹤算法（Autotrack[14]、STRCF[16]、Staple[10]、FDSST[17]、KCF[6]、 Struck[18]、 CSK[19]、 TLD[20]） 在 OTB-2013數據集上與本文算法進行比較。OTB-2013公開數據集包括了快速運動、遮擋、低分辨率等各種挑戰場景，因此常用于目標跟蹤算法的綜合性能評價標準。圖2是不同跟蹤算法在OTB-2013數據集上的距離精度曲線和成功率曲線。由圖2可知，在快速運動場景下，本文算法的準確率和成功率名列前茅。改進后的算法添加了空間正則項，有效緩解了邊界效應，提升了原算法在快速運動場景下的跟蹤性能，相較于原基準Autotrack算法，得分分別上升了4.3%和2.6%。

圖3是多種算法基于OTB-2013平臺綜合準確率和成功率圖，其值如表1所示。經對比可知，本文提出的算法在綜合得分上略有下降，準確率和成功率分別下降了1.3%和1.1%。經分析可知，其原因在于修改后的算法去除了原基準算法中局部響應變化項對濾波器的約束作用，盡管該算法使得跟蹤器在快速運動的情景下實現了較好的跟蹤性能，但是其抗遮擋能力不可避免地下降，因而影響了總體得分。

圖2 多種算法基于OTB-2013平臺快速運動場景下的準確率和成功率圖Fig.2 Accuracy and success rates of algorithms based on OTB-2013 in fast motion scenarios

圖3 多種算法基于OTB-2013平臺綜合準確率和成功率圖Fig.3 Integrated accuracy and success rates of algorithms based on OTB-2013

表1 多種算法基于OTB-2013平臺綜合準確率和成功率Tab.1 Integrated accuracy and success rates of algorithms based on OTB-2013

圖4、圖5是多種算法基于OTB-2013平臺于在低分辨率場景和出視野場景下的準確率和成功率圖，相應的值如表2、表3所示。由此可知：在低分辨率的場景下，本文算法相較于STRCF算法，在準確率和成功率的得分上分別提升了14.5%和13.4%；在出視野的場景下，準確率和成功率分別提升了7.8%和5.8%。

圖4 多種算法基于OTB-2013平臺于低分辨率場景下的準確率和成功率圖Fig.4 Accuracy and success rates of algorithms based on OTB-2013 in low resolution scenarios

圖5 多種算法基于OTB-2013平臺出視野場景下的準確率和成功率圖Fig.5 Accuracy and success rates of algorithms based on OTB-2013 in out of view scenarios

表2 多種算法在不同應用場景的準確率Tab.2 Accuracy of multiple algorithms in different application scenarios

表3 多種算法在不同應用場景下的成功率Tab.3 Success rate of multiple algorithms in different application scenarios

5 結 論

本文提出了將空間正則項與時間正則項相結合引入目標函數中進行優化的算法。通過引入空間正則項使空間正則權重在跟蹤過程中與目標建立聯系，從而獲取可靠的濾波器懲罰系數。利用相鄰兩幀響應圖的聯系作為時間正則項，使其在跟蹤過程中自適應更新，降低濾波器退化帶來的影響，有效緩解邊界效應。同時對跟蹤過程中由于特殊場景導致的畸變進行抑制，提升跟蹤器在應對快速運動等復雜場景時的魯棒性。改進后的針對快速運動情景的算法，仍可用ADMM對目標函數進行優化，且不增加計算復雜度，基本可以實現實時跟蹤。實驗對比表明，在目標發生快速運動、低分辨率、出視野等復雜場景下，本文算法具有更強的穩定性。本文提出的算法在遮擋情景下仍有一定的提升空間，還可繼續改進算法在應對遮擋情景下的魯棒性，從而進一步提高跟蹤性能。