融合位置估計的自適應尺度相關濾波跟蹤

王中帥，周聰玲，王永強，高 鵬

(天津科技大學機械工程學院，天津 300222)

目標跟蹤在計算機視覺領域中占有核心地位，廣泛應用在輔助駕駛、安防監控、無人機導航等領域.近年來，目標跟蹤領域發展迅速.其中相關濾波跟蹤[1-3]由于其強大的性能而備受廣大科研人員關注.目前，在目標跟蹤系統中，仍然面臨著尺度變化、遮擋、形變和快速運動等諸多挑戰.尤其是尺度變化導致跟蹤精度降低，甚至由于多尺度原因造成目標在跟蹤過程中丟失[4-5].2010 年，Blome 等[6]將相關濾波原理應用到目標跟蹤領域，提出了MOSSE 跟蹤器，通過傅里葉變換將運算轉到頻域中，降低了算法的運算量，進一步對算法進行提速優化.2012 年，Henriques 等[7]提出了CSK 跟蹤器，通過在目標位置采取一次樣本，其他樣本均是基礎樣本循環偏移生成的虛擬樣本，這些樣本所構成的樣本矩陣是循環矩陣，并利用了循環矩陣的性質，但CSK 跟蹤器只使用圖像中的灰度特征.文獻[8]在特征選擇上進行改進，使用了顏色特征，提出了CN 跟蹤器.文獻[9]采用了多通道的HOG 特征，并引入了核方法，提出了KCF 跟蹤器.Galoogahi 等[10]提出的BACF 算法通過將目標框以外的背景信息考慮進去，增加整個圖像循環偏移矩陣，得到了一個更穩定的濾波器.Mueller等[11]提出了上下文感知相關濾波跟蹤(context-aware correlation filter tracking)，該算法聯合目標區域前后左右四塊背景區域進行聯合濾波器訓練，既合理地利用了背景信息，提高了跟蹤器的魯棒性，又不太影響跟蹤的速度.在此基礎上，DCF_CA 跟蹤算法[11]、SAMF 跟蹤算法[12]、STAPLE 跟蹤算法[13]在模型訓練中加了背景約束后，性能上都有著顯著性的提高.在對尺度變換問題方面，SAMF 跟蹤算法在KCF 的基礎上將單一特征擴展為多個特征，利用尺度池的方法實現目標自適應跟蹤.Danelljan 等[13]提出DSST 跟蹤算法，通過使用位置濾波器和尺度濾波器，分別對目標定位和尺度評估.

現實世界中的目標往往出現尺度變換、光照變化、模糊、目標外形變化等，都會影響跟蹤的性能.本文提出了針對目標尺度變化問題的解決方法，該方法首先根據先驗知識獲取不同尺度下的目標信息，然后在濾波器中對不同尺度下的目標模板賦值新的權重.令多尺度下的目標模板雖然是濾波器的正樣本，但權重小于原始尺度目標模板，從而有效地跟蹤不同尺度下的目標.

1 相關濾波跟蹤

1.1 線性回歸

假設訓練樣本集(xi,yi)，并將濾波器訓練看成一個嶺回歸問題，可表示為

其中w 是濾波器.

對式(1)進行優化求解得

其中：X 是樣本矩陣，Y 是標簽矩陣，I 為便于計算的單位矩陣，λ是正則化系數.

將式(2)轉換到復數域情況下的解析解為

其中：XH=(X*)T，H 表示共軛轉置，*表示復共軛.

1.2 循環矩陣

樣本矩陣是一個循環矩陣，并利用循環矩陣傅里葉對角化的性質，簡化算法，提高運算速度.

假設一個向量X=[x1,x2,x3,...,xn]，那么由該向量循環偏移后的n×n 的循環矩陣 C (x)表示為

根據循環矩陣經傅里葉變換可相似對角化，將矩陣X 進行如下轉換

利用循環矩陣的特性來化簡公式(3)得

1.3 非線性嶺回歸

為了克服當樣本線性不可分的情況，通過映射函數φ(x)，映射到高維空間，相關濾波器用樣本的線性組合表示為

利用核方法，使其線性可分.將式(7)代入式(1)中，解得

其中K 是核矩陣，且是循環矩陣.

根據循環矩陣的特性，求解為

1.4 上下文感知相關濾波器

上下文感知相關濾波器(CA-CF)通過增加一些背景信息對訓練的濾波器進行約束，提高了跟蹤器對目標區域和背景區域的辨別性.

CA-CF 是在傳統的相關濾波跟蹤框架的基礎上，將目標區域的上下左右四塊背景信息加到了相關濾波器中去學習，式(1)可改為

其中：Ai(j∈[1,k])是背景樣本矩陣，k 是背景樣本的個數.

對式(10)優化求解得

2 改進的相關濾波跟蹤

在相關濾波算法中，使用基礎樣本偏移生成樣本集，目標尺度變化使濾波器降低對目標的敏感度是導致跟蹤失敗的主要因素之一.本文通過多尺度監督的自適應尺度模型，將基礎樣本不同尺度大小的樣本循環偏移生成的樣本集加到濾波器學習過程中去.設a*b 表示基礎樣本的尺寸，提取的尺度樣本的尺度表示為Sa*Sb.S 為尺度變化因子.為了便于訓練濾波器，基礎樣本和尺度樣本對應的標簽矩陣也應該設置為相同尺度.為此γ表示為每一幀目標基礎樣本對應標簽矩陣的高斯帶寬.多尺度樣本對應的高斯標簽帶寬應為γi=Sγ.在訓練中，所有的尺度樣本都是正樣本.但它畢竟不是目標基礎樣本，因此多尺度監督中的樣本集對應的標簽矩陣的峰值應該設置為小于1 的數值.為此，本文提出了一種新的標簽矩陣峰值定義標準，以尺度樣本和目標基礎樣本的重疊率來描述尺度樣本標簽和基礎樣本標簽的峰值比，兩者關系表示為

在訓練濾波器過程，多尺度樣本訓練的對濾波器的權重影響應該小于目標基礎樣本的權重，為此制定了新的標準.假設多尺度樣本對應的訓練權重符合正態分布，因此多尺度樣本對應的權重定義為

其中：δi表示第i 尺度樣本訓練對應的權重值，di表示尺度樣本標簽矩陣和目標基礎樣本標簽矩陣峰值之差.

為了訓練對尺度變化敏感的濾波器，所有的尺度樣本都被轉化為和目標基礎樣本一樣大小.將模型優化，可將式(10)改為

其中：

n 表示多尺度模板數量.

與式(10)類似，對式(14)求解得

類似于式(11)求解，將式(16)代入式(17)，式(17)可改為

3 實驗與結果分析

為驗證本文算法的優異性，在 CVPR 2015 Benchmark[15]數據集上，將本文提出的算法與8 種現有經典算法的成功率和精準率相比較.

3.1 實驗環境配置

本文的實驗電腦配置為：intel(R)core(TM)i5-7300 MQ CPU@ 2.50 GHz 處理器、8 G 系統內存.其選取的經典跟蹤算法為：CSK、MOSSE_CA[6]、DCF_CA[11]、SAMF_CA、DSST[14]、KCF[9]、SAMF_AT[16]、DCF_SC[17].以下將給出本文提出的目標算法一系列的參數，其中：搜索框padding＝2，正則化系數λ1＝10-4，λ2＝8.7，學習率η=0.004 6，尺度變化因子S＝[0.98，0.985，0.99，0.995，1.0，1.005，1.01，1.015，1.02].

3.2 實驗結果

本文提出的算法與8 種現有經典目標跟蹤算法在測試集上的仿真實驗結果為：圖1 橫軸為中心位置誤差，是指算法計算出目標中心位置與真實目標中心位置之間的歐式距離；圖1 縱軸為精準率，精準率是指算法跟蹤目標的中心位置誤差在閾值距離內的幀數與總幀數的比值.中心位置誤差公式為

式中：xi、yi是算法計算出的中心位置坐標；X、Y是真實目標中心位置坐標.

圖2 橫軸為重疊度，是指算法計算出目標與真實目標之間的重疊度；圖2 縱軸為成功率，成功率是指重疊率大于閾值的幀數與總幀數的比值.成功率公式為

式中：Hx是重疊率大于閾值的幀數；N 是總幀數.

精準率和成功率可以作為評價跟蹤算法性能的標準.

圖1 不同算法的精準率比較結果Fig.1 Comparison of precision rate of different algorithms

圖2 不同算法成功率對比結果Fig.2 Comparison of success rate of different algorithms

由圖1、2 看出，本文提出的算法精準率和成功率優于其他8 種經典算法，得分分別為0.803 和0.705.在精準率上比基準算法KCF(得分為0.696)高出了0.107.在成功率上比基準算法KCF(得分為0.551)高出了0.154.

相對于 CSK、MOSSE_CA、DCF_CA、KCF、DCF_SC 跟蹤算法，本文方法增加了尺度樣本對濾波器的訓練，所以算法總體得出的精準率和成功率均優于這些方法.在尺度自適應方面，DSST 跟蹤算法有33 個尺度，但使用兩個獨立濾波器導致分布最優，并不能保證位置最優.SAMF 跟蹤算法對目標進行7個尺度計算，得到一個尺度金字塔，找出響應值最大的尺度即為目標.這兩種方法都是通過增加尺度樣本來適應多尺度變化，表1 和表2 分別為本文算法與8 種經典算法在尺度變化(SV)、低分辨率(LR)、遮擋(OCC)、超出視野(OV)、平面旋轉(OR)干擾下精準率和成功率的對比實驗結果.通過表1 和表2 可以看出，尺度變化干擾時SAMF 和DSST 算法效果優于其他不加尺度樣本的跟蹤算法.本文方法在增加尺度樣本作為訓練集時，考慮到多尺度是由目標生成的樣本，在進行樣本訓練時考慮尺度樣本對效果影響肯定不如目標樣本，即每個尺度樣本對結果的影響肯定不一樣，所以對每個尺度樣本與目標樣本計算服從正分布交并比值作為新的權重后，再對樣本進行訓練，提高了濾波器對多尺度變化的敏感度.由表1、表2 可見，本文提出的算法充分體現了優異性能，達到了設計算法的預期效果.圖3 所示，本文提出的算法在目標尺度變化的情況下，可以較為準確地預測目標的尺度大小并能很好的跟蹤目標.這表明本文提出算法在目標尺度變化的情況下的可行性.

表1 不同干擾下不同算法精準率對比實驗結果Tab.1 Comparison of precision rate of different algorithms with different interference

表2 不同干擾下不同算法成功率對比實驗結果Tab.2 Comparison of success rate of different algorithms with different interference

圖3 尺度變化下的對比實驗Fig.3 Contrast experiments with scale variations

4 結論

本文提出了一種改進的自適應尺度相關濾波跟蹤算法.該算法將位置估計和尺度估計融合為一，將預先的尺度模板樣本作為訓練樣本，一起訓練濾波器.給不同尺度的模板在濾波器訓練中賦予新的權重定義，同時也賦予了尺度模板對應的標簽矩陣新的定義，提高了跟蹤器對目標尺度變化的敏感度.最后將本文提出的算法與當前經典8 種跟蹤算法在測試集進行仿真實驗對比.實驗結果表明，本文算法精準率為0.803、成功率為0.705，高于對比算法，達到了預期效果.