具有空間調整和稀疏約束的相關濾波跟蹤算法

田 丹，臧守雨，涂斌斌

具有空間調整和稀疏約束的相關濾波跟蹤算法

田 丹，臧守雨，涂斌斌

(沈陽大學信息工程學院，遼寧 沈陽 110044)

因頻繁遮擋、尺度變化、邊界效應等因素的影響，進行目標跟蹤時，時常難以達到較好的預期效果。再有，采用傳統特征提取策略也會影響目標跟蹤的魯棒性。針對上述問題，提出一種具有空間調整和稀疏約束的相關跟蹤算法。利用傳統特征與深度特征的有效融合，適應目標表觀變化；基于峰值旁瓣比判別目標在跟蹤過程中是否被遮擋，若發生遮擋，則對濾波器進行稀疏正則化約束，提高模型對遮擋問題的魯棒性；若未發生遮擋，則通過高斯空間調整懲罰濾波器系數，抑制邊界效應的影響。實驗利用OTB數據集中5組涵蓋了嚴重遮擋和尺度變化等挑戰因素的標準視頻序列進行測試，定性和定量對比了算法與4種熱點算法的跟蹤效果。定性分析中基于視頻序列的主要挑戰因素進行比較，定量分析通過中心點位置誤差和重疊率比較跟蹤算法的性能。實驗結果表明，算法對上述挑戰因素更具魯棒性。

目標跟蹤；相關濾波；深度特征；稀疏約束；空間調整

目標跟蹤[1]是計算機視覺的一個熱點研究領域，廣泛應用于人機交互[2]、視頻監控[3]、無人駕駛[4]、醫學診斷[5]等領域。在過去二十年中，目標跟蹤受到了越來越多的關注。但是，目標跟蹤任務仍然會受到目標表觀形變、尺度變化、遮擋等問題的影響，所以跟蹤算法的研究仍然具有挑戰性[6]。

相關濾波[7]作為目標跟蹤的一個熱點研究方法，因計算量小、運行速度快、魯棒性強而廣泛受到關注。DANELLJAN等[8]在相關濾波的基礎上引入空間正則項，使用Gauss-Seidel函數求解濾波器，解決邊界效應問題。ZHANG等[9]提出一種多任務相關粒子濾波器跟蹤算法，將粒子濾波與相關濾波相融合，使濾波器在訓練時可以學習不同特征之間的聯系，在尺度變化和計算方面具有優勢性。LI等[10]在空間調整相關濾波器(spatially regularized correlation filters，SRDCF)算法的基礎上加入時間正則項，提出時空正則化相關濾波器，在抑制邊界效應的同時，可以提高模型跟蹤速度，并得到更加魯棒的目標跟蹤結果。XU等[11]將結構化稀疏約束應用到多通道濾波器，利用增廣拉格朗日方法實現有效的濾波器學習和特征選擇，減輕了濾波器退化，保持了外觀多樣性，一定程度上抑制了空間邊界效應對目標跟蹤產生的影響。

上述方法從邊界效應、尺度變化、跟蹤速度等方面對相關濾波算法進行了優化，但未考慮到頻繁遮擋對目標跟蹤的影響。針對這一問題，本文利用峰值旁瓣比來判別目標是否被遮擋，當發生遮擋時，引入稀疏約束更新濾波器來增強跟蹤算法的魯棒性。若未發生遮擋，則通過高斯空間調整方法懲罰濾波器系數，抑制邊界效應的影響。此外，在保證訓練效率的前提下，針對目標外觀多樣性帶來的負面效應，將傳統特征與深度特征[12]融合來描述目標表觀特征變化，并引入時間正則化懲罰項構建相關濾波器。提出的濾波器對跟蹤過程中遇到的目標遮擋、尺度變化等因素具有一定的魯棒性。

1 相關工作

1.1 判別式相關濾波跟蹤原理

依據工作原理劃分，目標跟蹤算法可以分為生成式和判別式2大類。生成式方法使用生成模型來描述目標表觀特征，再通過搜索區域來最小化重構誤差。判別式模型通過訓練分類器以區分目標和背景，從而確定目標位置。判別式方法因能顯著區分背景與前景信息，更具魯棒性，在目標跟蹤領域受到廣泛關注。

基于判別式的相關濾波器利用第一幀給定的目標特征訓練濾波器，選取訓練樣本，使得濾波器作用于序列時產生輸出響應，其中輸出響應值最大的區域就被認為是目標所在的區域。每個目標塊對應的響應值為

1.2 STRCF算法介紹

判別式相關濾波跟蹤算法通過循環移位方法構建訓練樣本集，由于該樣本集存在非真實樣本，易引發邊界效應問題。時空調整相關濾波器(spatial-temporal regularized correlation filters，STRCF)算法[10]利用正則化方法，對濾波器進行空間懲罰，使得訓練出的濾波器更能集中在目標的中心區域。同時，加入時間正則化項來建立相鄰濾波器之間的關系，有效地解決了濾波器退化的問題。并通過下述優化問題更新相關濾波器，即

2 跟蹤算法的提出

2.1 模型建立

考慮到方向梯度直方圖特征(histogram of oriented gradient，HOG)、顏色特征(color naming，CN)和灰度特征(Gray)能分別反映運動模糊、目標形變和光照變化情況，本文從特征融合角度入手，將上述3方面特征與深度特征相融合，利用樣本數據自動學習目標特征，從而實現對目標形態的有效判別。此外，針對遮擋頻繁持續存在，容易造成目標漂移，甚至遮擋物被誤認為跟蹤物的問題，本文基于峰值旁瓣比判別目標是否被遮擋，當發生遮擋時，引入稀疏約束更新濾波器，若未發生遮擋，利用高斯空間調整抑制邊界效應的影響。提出具有空間調整和稀疏正則化約束的相關濾波跟蹤模型，分別由數據殘差項，空間調整項，稀疏約束項和時間正則項組成，即

其中，為濾波器的權重，當峰值旁瓣比(peak sidelobe ratio，PSR)大于閾值時，令=1，表示目標未被遮擋，該情況下模型利用參數對濾波器進行懲罰抑制邊界效應的影響，當峰值旁瓣比小于等于時，令=0，表示目標受遮擋影響，對濾波器進行稀疏約束增強跟蹤對外觀變化的魯棒性。此外，21范數通過計算每個空間位置的2范數，然后作用于1范數，來實現聯合稀疏；||–f–1||2是時間正則項。

相關濾波算法是通過循環移位初始幀得到訓練樣本集，再與濾波器卷積求相關響應值，從而預測目標位置。但初始幀循環移位到邊界時，學習樣本為非真實樣本。因此，在學習濾波器時，靠近濾波器中心的系數更可靠。如果對中的每個濾波系數指定相同的懲罰參數，除了背景濾波系數外，還可能抑制目標區域內的濾波系數，將降低目標跟蹤的精度，甚至會導致目標漂移問題。因此，為了更好地保留濾波器中屬于目標區域的系數，同時又要抑制目標區域之外的系數，可根據每個濾波器的空間位置為每個濾波器系數指定不同的懲罰系數，即

其中，(a,b)為圖像的中心位置；×為目標尺寸。

2.2 模型求解

2.2.1 交替方向乘子法

交替方向乘子法(alternating direction method of multipliers，ADMM)是一種求解優化問題的計算框架。ADMM旨在將對偶上升法的可分解性和乘子法的上界收斂性融合在一起，通過將全局問題分解為多個較小、較容易求解的局部子問題，并協調子問題的解而得到全局最優解。具體描述為

為了增強對偶上升法的魯棒性與函數的強凸約束，引入增廣拉格朗日形式，即

其中，為步長參數。進一步轉化為對，的交替迭代，具體框架可描述為：

步驟1.初始化0，0，>0。

步驟2.計算

步驟3.若滿足終止條件則停止迭代并輸出結果；否則返回步驟1。

在，為閉凸正則函數情況下，殘差、目標函數及對偶函數均收斂[13-14]。

2.2.2 求解模型

式(4)中各項均為凸函數，可以利用ADMM方法求解。

具體步驟如下：引入輔助變量，令=，則模型的增廣拉格朗日形式可以表示為

由于式(4)無閉環解，故在此基礎上，使用ADMM優化算法將式(11)轉換為對下列子問題的求解，即

將模型的求解轉化為對2個子問題的求解：

(1) 子問題：其可以在傅立葉域改寫為

對上式求導，并令導函數為0，可以求得子問題的解為

其中，為單位矩陣；(·)為沿所有通道并由的第個元素組成的向量。

(2) 子問題：其沒有涉及空域上的卷積運算，因此直接對子問題求導可得空域上的閉環解。

①當=1時，

②當=0時，

最后，通過步長參數的自適應更新，來控制收斂效率。

其中，為尺度因子。

利用ADMM算法，使得每個子問題均存在閉環解，并且能夠保證收斂到全局最優。此外，經過研究發現，ADMM算法在大多數序列上可以在2次迭代內收斂，因此，為了提高效率，本文把最大迭代次數N設置為2。

2.3 算法總體流程

目標跟蹤算法流程如圖1所示。首先輸入視頻序列首幀目標位置信息和尺度信息。引入HOG，Gray和CN特征并對視頻序列進行卷積特征提取，將傳統特征與深度特征進行有效融合。其次根據上一幀目標信息訓練濾波器模板，根據響應值得到新一幀目標位置和尺度信息。再利用新一幀目標信息更新濾波器模板，其通過PSR值判斷是否遮擋，若出現遮擋則建立稀疏約束模型更新濾波器模板，進而提高模型對遮擋問題的魯棒性；反之，則建立空間調整模型更新濾波器模板，即通過高斯空間調整懲罰濾波器系數，抑制邊界效應的影響。最終輸出視頻序列每幀的目標位置。

圖1 算法流程圖

3 實驗結果分析

3.1 實驗條件

為了驗證算法在復雜場景下跟蹤的魯棒性，本文算法基于MATLAB2019a軟件實驗平臺和Intel(R)Core(TM) i5-6200U CPU硬件實驗環境，并利用OTB數據集中的標準視頻序列進行測試。算法參數設置如下：=15，(0)=10，max=100，尺度因子=1.01。

此外，為了定量分析比較跟蹤算法精確度，定義目標跟蹤的中心點位置誤差(center point error，CPE)為

其中，(x,y)為跟蹤算法標注的目標中心點坐標；(x,y)為OTB數據集標注的目標中心點坐標。中心點位置誤差度量了二者間的歐氏距離，該數值結果越小，跟蹤的精確度越高。

3.2 算法性能比較

3.2.1 定性實驗

定性實驗中，對本文算法與SRDCF[8]，多任務相關濾波器(multi-task correlation particle filter，MCPF)[9]，STRCF[10]和自適應學習判別相關濾波器(learning adaptive discriminative correlation filters，LADCF)[11]4種熱點算法進行了效果對比，分別處理了OTB數據集中的Basketball，Biker，DragonBaby，Kitesurf和Panda5組視頻序列，如圖2所示。面向視頻序列中的主要挑戰因素，可以看出：

(1) 尺度變化情況。視頻Panda中存在尺度變化問題。圖2(a)給出了目標運動的代表性跟蹤效果對比圖。STRCF算法從400幀前后開始出現目標漂移現象，MCPF算法跟蹤框不能隨目標尺度變化自適應調整，跟蹤結果包含大量背景信息，導致跟蹤精度低(例如第538幀和第620幀)。視頻Biker中存在尺度變化和快速運動問題。圖2(b)給出了目標運動的代表性跟蹤效果對比圖。本文算法很好地克服了尺度變化和快速運動的影響，特別是第70幀目標快速運動并旋轉時，LADCF算法和本文算法能很好捕捉到目標的位置。但STRCF，SRDCF和MCPF算法均在不同程度上發生目標丟失情況。本文算法利用傳統特征(HOG，CN和Gray)與深度特征相融合描述目標表觀特征，提高對目標形態的有效判別，實現連續視頻序列的準確跟蹤。

(2) 遮擋情況。目標在運動過程中被其他物體遮擋時，跟蹤算法不可避免地學習到背景信息而導致模型退化。視頻DragonBaby存在嚴重遮擋問題。圖2(c)給出了人臉運動的代表性跟蹤效果。第23幀、第38幀、第48幀和第87幀目標出現局域遮擋問題，STRCF和SRDCF算法出現目標丟失現象，而LADCF、MCPF和本文算法均能在不同程度上克服遮擋影響。視頻Basketball和Kitesurf中存在臉部遮擋和光照變化問題。圖2(d)和(e)給出了目標運動的代表性跟蹤效果對比圖。視頻序列Basketball在250幀、320幀和440幀前后出現局域遮擋情況，幾種算法均在不同程度上克服了遮擋因素的影響。視頻序列Kitesurf在第28幀、56幀和80幀前后存在局域遮擋，STRCF和SRDCF算法在不同程度上發生了目標漂移現象，且目標跟蹤魯棒性較差。而本文算法引入空間稀疏調整有效地抑制了遮擋因素對目標跟蹤產生的不利影響，實現穩定跟蹤。

3.2.2 定量實驗

為進一步評價算法性能，對中心點位置誤差和重疊率2個評價指標進行定量對比分析，表1給出了5種算法在5組視頻序列下的平均重疊率。實驗結果表明，在5組視頻序列跟蹤中，本文算法均達到了較高的跟蹤精度。視頻序列Biker，DragonBaby和Panda中，本文算法明顯優于其余4種算法，視頻Baskeball中，本文跟蹤器的平均重疊率僅比LADCF算法的平均重疊率低0.025，且明顯優于其余3種算法。視頻Kitesurf中，本文算法重疊率低于LADCF算法和MCPF算法，但也達到較高精度值。

利用式(18)度量本文算法與其他4種算法跟蹤5組視頻序列其中心點位置誤差的比較如圖3所示。實驗結果表明，在5組視頻序列跟蹤中，本文算法均達到了較高的跟蹤精度。視頻Panda中，在第400～800幀區間，SRDCF跟蹤器對目標尺度變化問題敏感，跟蹤精度較低，在第920～1 000幀區間，STRCF算法對目標尺度變化和形變問題敏感，跟蹤精度較低。視頻Biker中存在目標尺度變化、遮擋和運動模糊等復雜問題，在前80幀，本文算法一直優于其他4種算法，在80幀之后，本文算法的中心點位置誤差值略低于MCPF算法。視頻DragonBaby中，人臉存在遮擋和快速運動問題，在第25～110 幀，SRDCF算法存在目標丟失問題。第45幀前后，STRCF算法的中心點位置誤差值不斷增大。視頻Basketball中，本文算法與LADCF算法跟蹤精度較好，明顯優于其他3種算法。視頻KiteSurf中，從第40幀開始，目標人臉第一次出現大面積遮擋時，STRCF和SRDCF算法出現了目標丟失的情況，其他3種算法中心點位置誤差值較低，跟蹤準確度較高。總體來說，本文算法在整個視頻序列跟蹤過程中，效果明顯優于STRCF，MCPF和SRDCF算法。

表1 典型視頻序列的重疊率值對比

圖3 典型視頻序列的中心點位置誤差比較((a)熊貓；(b)騎行者；(c)小龍人；(d)籃球比賽；(e)沖浪者)

4 結束語

針對目標表觀變化和嚴重遮擋等挑戰因素對跟蹤效果的影響，提出具有空間調整和稀疏約束的相關濾波跟蹤算法。主要包含4個技術部分：①有效融合傳統特征與深度特征，描述目標表觀特征變化；②引入稀疏約束和高斯空間調整分別處理遮擋與邊界效應問題；③引入時間正則化項，對前一幀濾波器進行學習，減少濾波器退化帶來的影響；④采用交替式迭代策略優化模型。此外，基于OTB數據集進行了對比實驗，提出的模型在準確性、魯棒性方面性能較好。主要貢獻有：①針對目標外觀多樣性帶來的負面效應，將傳統特征與深度特征相融合，更好適應目標表觀變化；②針對遮擋頻繁存在易造成目標漂移的問題，基于峰值旁瓣比判別目標是否被遮擋。若發生遮擋，引入稀疏約束更新濾波器，辨別目標與背景區域特征，增強跟蹤算法魯棒性。若未發生遮擋，利用高斯空間調整懲罰濾波器系數，抑制邊界效應的影響。實驗結果表明，本文算法在嚴重遮擋、尺度變化等情況下均具有較強魯棒性。

在未來研究中，擬考慮背景雜波對目標跟蹤精度的影響，引入多峰檢測更新模型抑制相似特征，將稀疏學習與多峰檢測有效結合，進一步增強跟蹤算法對干擾特征的區分能力。

[1] 孟琭, 楊旭. 目標跟蹤算法綜述[J]. 自動化學報, 2019, 45(7): 1244-1260.

MENG L, YANG X. A survey of object tracking algorithms[J]. Acta Automatica Sinica, 2019, 45(7): 1244-1260 (in Chinese).

[2] 馮志全, 喬宇, 馮仕昌, 等. 多種手勢對應同一語義的柔性映射交互算法的研究]J]. 電子學報, 2019, 47(8): 1612-1617.

FENG Z Q, QIAO Y, FENG S C, et al. Research on flexible mapping algorithm of multi-gestures to one semantic[J]. Acta Electronica Sinica, 2019, 47(8): 1612-1617 (in Chinese).

[3] 孫怡峰, 吳疆, 黃嚴嚴, 等. 一種視頻監控中基于航跡的運動小目標檢測算法[J]. 電子與信息學報, 2019, 41(11): 2744-2751.

SUN Y F, WU J, HUANG Y Y, et al. A small moving object detection algorithm based on track in video surveillance[J]. Journal of Electronics & Information Technology, 2019, 41(11): 2744-2751 (in Chinese).

[4] 黃志清, 曲志偉, 張吉, 等. 基于深度強化學習的端到端無人駕駛決策[J]. 電子學報, 2020, 48(9): 1711-1719.

HUANG Z Q, QU Z W, ZHANG J, et al. End-to-end autonomous driving decision based on deep reinforcement learning[J]. Acta Electronica Sinica, 2020, 48(9): 1711-1719 (in Chinese).

[5] 徐瑩瑩, 沈紅斌. 基于模式識別的生物醫學圖像處理研究現狀[J]. 電子與信息學報, 2020, 42(1): 201-213.

XU Y Y, SHEN H B. Review of research on biomedical image processing based on pattern recognition[J]. Journal of Electronics & Information Technology, 2020, 42(1): 201-213 (in Chinese).

[6] 葛寶義, 左憲章, 胡永江. 視覺目標跟蹤方法研究綜述[J]. 中國圖象圖形學報, 2018, 23(8): 1091-1107.

GE B Y, ZUO X Z, HU Y J. Review of visual object tracking technology[J]. Journal of Image and Graphics, 2018, 23(8): 1091-1107 (in Chinese).

[7] 劉巧元, 王玉茹, 張金玲, 等. 基于相關濾波器的視頻跟蹤方法研究進展[J]. 自動化學報, 2019, 45(2): 265-275.

LIU Q Y, WANG Y R, ZHANG J L, et al. Research progress of visual tracking methods based on correlation filter[J]. Acta Automatica Sinica, 2019, 45(2): 265-275 (in Chinese).

[8] DANELLJAN M, H?GER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]//2015 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2015: 4310-4318.

[9] ZHANG T Z, XU C S, YANG M H. Multi-task correlation particle filter for robust object tracking[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 4819-4827.

[10] LI F, TIAN C, ZUO W M, et al. Learning spatial-temporal regularized correlation filters for visual tracking[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 4904-4913.

[11] XU T Y, FENG Z H, WU X J, et al. Learning adaptive discriminative correlation filters via temporal consistency preserving spatial feature selection for robust visual object tracking[J]. IEEE Transactions on Image Processing, 2019, 28(11): 5596-5609.

[12] 李璽, 查宇飛, 張天柱, 等. 深度學習的目標跟蹤算法綜述[J]. 中國圖象圖形學報, 2019, 24(12): 2057-2080.

LI X, ZHA Y F, ZHANG T Z, et al. Survey of visual object tracking algorithms based on deep learning[J]. Journal of Image and Graphics, 2019, 24(12): 2057-2080 (in Chinese).

[13] 常小凱. 基于交替方向乘子法和算子分裂的優化算法[D]. 西安: 西安電子科技大學, 2019.

CHANG X K. Optimization algorithms based on alternating direction multiplier method and operator splitting[D]. Xi’an: Xi’an University of Electronic Science and technology, 2019 (in Chinese).

[14] HAN D R, YUAN X M. A note on the alternating direction method of multipliers[J]. Journal of Optimization Theory and Applications, 2012, 155(1): 227-238.

Correlation filter tracking with spatial regularization and sparse constraints

TIAN Dan, ZANG Shou-yu, TU Bin-bin

(School of Information Engineering, Shenyang University, Shenyang Liaoning 110044, China)

Due to the influence of frequent occlusion, scale variation, boundary effect and other factors, it is often difficult to achieve the desired results in target tracking. At the same time, the traditional feature extraction strategy affects the robustness of target tracking. To address the above problems, we proposed a correlation filter tracking algorithm with spatial regularization and sparse constraints, which utilized the effective fusion of traditional features and deep features to adapt to the changes of the target appearance. Based on the peak side lobe ratio, a judgment was made on whether the target is occluded in the tracking process. If occlusion occurs, sparse constraints are applied to the filter for the improvement of robustness against the occlusion problem. Otherwise, the filter coefficients are adjusted in Gaussian space to suppress the influence of boundary effect. Five sets of standard video sequences in OTB datasets including severe occlusion and scale change, were used to test the tracking performance of the proposed algorithm, and four hot spot algorithms were compared qualitatively and quantitatively. In qualitative analysis, the main challenges of video sequences were compared. In quantitativeanalysis, the performance of tracking algorithm was compared by center point position error and overlap success rate. Experimental results show that the proposed algorithm is more robust to the above-mentioned challenges.

target tracking; correlation filtering; deep feature; sparse constraint; space regularization

TP 391

10.11996/JG.j.2095-302X.2021050755

A

2095-302X(2021)05-0755-07

2020-12-28；

2021-03-01

28 December，2020；

1 March，2021

國家自然科學基金項目(61703285)；遼寧省自然科學基金項目(2019-MS-237)；遼寧省博士科研啟動基金計劃項目(2020-BS-263)

National Natural Science Foundation of China (61703285); Natural Science Foundation of Liaoning Province (2019-MS-237); Ph.D Research Startup Foundation of Liaoning Province (2020-BS-263)

田 丹(1980–)，女，遼寧沈陽人，教授，博士，碩士生導師。主要研究方向為視覺目標跟蹤等。E-mail：www.sltd2008@163.com

TIAN Dan (1980-), female, professor, Ph.D. Her main research interests cover visual object tracking, etc.E-mail：www.sltd2008@163.com