基于核相關濾波器的目標旋轉跟蹤算法*

李 龍， 王耀南， 張振軍

(1.機器人視覺感知與控制技術國家工程實驗室，湖南 長沙 410082；2.湖南大學 電氣與信息工程學院，湖南 長沙 410082)

基于核相關濾波器的目標旋轉跟蹤算法*

李 龍1,2， 王耀南1,2， 張振軍1,2

(1.機器人視覺感知與控制技術國家工程實驗室，湖南 長沙 410082；2.湖南大學 電氣與信息工程學院，湖南 長沙 410082)

提出一種新的魯棒的旋轉估計算法，以核相關濾波器理論為基礎，通過在目標中心等角度間隔來采樣一個樣本金字塔，單獨訓練一個一維的角度估計濾波器，從而將目標旋轉角估計問題變為一個檢測問題。提出的角度估計方法具有通用性，可以輔助其它沒有角度估計功能的跟蹤器。在實驗中，單獨訓練一個位移跟蹤濾波器和一個尺度估計濾波器，結合本文提出的角度估計濾波器形成一個由三層濾波器組成的跟蹤器。和經典的算法在不同測試數據上的對比實驗表明,該算法能達到較高的跟蹤精度。

目標跟蹤； 核相關濾波器； 旋轉估計； 魯棒跟蹤

0 引 言

目標跟蹤算法從最初簡單的模板匹配[1]、卡爾曼濾波[2]、光流算法[3]等，到逐漸流行的粒子濾波算法[4]、Mean-Shift[5]等。最近開始流行的相關濾波器算法因為兼具魯棒性好、計算量少的特點而得到廣泛關注，在歷屆視覺目標跟蹤(visual object tracking,VOT)挑戰賽[6]中也有著搶眼的表現。

線性回歸分析需要對一組數據進行線性擬合，由于其問題存在閉式解，使得它變得非常簡單好用。在線性回歸分析的基礎上引入核技巧就有了正則最小二乘回歸，由文獻[7]可以知道，它也存在閉式解。回歸分析的一種特殊情形是所有樣本之間存在一種關聯性—所有的樣本都是由一個基本樣本經過循環移位得到的，在這種情況下所有的樣本組成一個循環矩陣，由文獻[8]可以知道，循環矩陣的特征向量對應于傅里葉變換矩陣的列向量，將循環矩陣進行特征值分解以后可以發現它與基本樣本的離散傅里葉變換之間存在一種簡單的關系。因此，在樣本之間存在這種特殊關聯的情況下，線性回歸分析可以在頻域里快速求解，且為閉式解，既保證了最優性又有著很高的計算效率，在實時跟蹤領域有著很高的價值。核相關濾波器文獻[9]將核回歸和循環矩陣理論結合到一起，證明了在滿足特定的樣本假設的情況下，核回歸分析也可以在頻域里快速求解，并提出核相關濾波器(kernelized correlation filters,KCF)理論。與傳統算法相比，KCF不僅引入了核技巧，還提出如何使用多維特征數據，從而將梯度方向直方圖(histograms of oriented gradients,HOG)特征應用到跟蹤器中，讓算法的適用性和魯棒性得到增強。

核相關濾波器在目標跟蹤領域引起了較大的反響，2014年的VOT比賽冠軍[10]針對傳統的相關濾波器只能估算平移參數而無法跟蹤其它變換參數的缺陷，設計了一個快速有效的分類尺度空間跟蹤器 (discriminative scale space tracker,DSST)。該算法探討了兩種尺度估測方法，其一是擴大搜索維度，將原先的二維平面圖像擴展到三維尺度空間表示，在三維空間訓練相關濾波器并進行跟蹤目標；其二是設計一個一維的尺度估計濾波器，在完成目標的平移跟蹤以后單獨估算尺度。

本文受KCF和DSST算法的啟發，針對目標旋轉參數的估計問題再設計一個額外的旋轉估計濾波器，用于在估算了目標的位移和尺度參數以后單獨估算目標的旋轉變化。與DSST不同，DSST是建立在最小輸出均方誤差和(minimum output sum of squared error,MOSSE)濾波器理論的基礎上，相當于使用線性核函數的KCF，本文將核技巧引入到濾波器的設計與應用中，來提高跟蹤效果的魯棒性。

1 基于核相關濾波器的旋轉估計算法

1.1 學習一個旋轉濾波器

為了學習一個旋轉濾波器，對樣本圖像進行旋轉，得到樣本在不同角度下的表示，再對每個樣本進行特征提取，從而一個旋轉樣本對應一個d維特征向量。

為了與循環矩陣對應起來，換個觀察角度來看問題。如圖1所示，對目標圖像進行等角度間隔旋轉采樣，得到n幅圖像，依次記為q0,q1,…,qn-1。令x=[q0,q1,…,qn-1]，將x的每一行看成一個單獨的特征向量，則x是一個長度為n，維數是d的一個向量。對x進行循環移位，得到x0=x,x1=[zn-1,z0,…，zn-2],…,xn-1=[z1,z2,…,z0]，共生成n個樣本，給每個樣本賦一個標簽值(回歸值)，一般用高斯函數生成。然后需要求解一個嶺回歸(ridge regression)問題，為了簡化問題，先只考慮d=1的情況，對于d>1的情形，只需要對每個特征維度分別訓練一個跟蹤器，然后在應用的時候每個跟蹤器單獨計算目標響應，將所有響應值疊加起來即可。

圖1 構造旋轉樣本金字塔

(1)

式中λ為用來控制過擬合風險的正則項，若λ=0，則問題簡化為線性回歸(linear regression)。嶺回歸問題存在閉式解

w=(XTX+λI)-1XTY

(2)

(3)

式中X為由所有樣本組成的一個大矩陣，Y為由所有樣本標簽組成的一個列向量。

由于X是由基本向量x生成的循環矩陣，因此記為C(x)。循環矩陣的一個重要性質是它的特征值分解與傅里葉變換之間存在著一種天然的聯系

(4)

(5)

1.2 核相關濾波器

帶核的最小二乘回歸問題是求解這樣一個回歸器

(6)

使得如下目標函數取得最小值

(7)

式中α=[α0,α1,…,αN-1]是帶求解系數向量，K是核矩陣且K(i,j)=K(xi,xj)。該問題的閉式解為

α=(K+λI)-1y

(8)

在本文設定的旋轉估計問題中，所有xi都是由基本樣本x經循環移位得到的，文獻[9]已經證明，在采用線性核、徑向基函數等核函數的情況下，核矩陣K是循環矩陣。利用循環矩陣與傅里葉變換之間的內在聯系，可以得到

(9)

1.3 快速旋轉估計

在跟蹤過程中，正如訓練過程一樣，在目標位置(假設目標的中心和尺度已經使用其它跟蹤器得到)等角度間隔采樣許多個樣本，然后提取各自特征描述向量，構造基本樣本z。然后就需要對所有的z的循環移位得到的樣本進行評估，即把z0,z1,…,zn-1依次代入式(6)

(10)

同樣[9]Kxx也是循環矩陣，利用式(4)對上式進行化簡得到

(11)

2 實驗結果與分析

在本文的實驗中，使用三層核相關濾波器來分別對目標的平移變化、尺度變化以及旋轉變化分別進行估計：第一層相關濾波器是專門用于跟蹤目標平移變化的二維濾波器，詳見文獻[9]；第二層相關濾波器是專門用于跟蹤目標尺度變化的一維濾波器，用于在已知目標位置的情況下單獨估算目標尺度，詳見文獻[10]；第三層相關濾波器是專門用于跟蹤目標旋轉變化的一維濾波器，用于在已知目標位置和尺度的情況下單獨估算目標旋轉角度，圖2是本文提出的算法。

圖2 基于三層濾波器的目標跟蹤算法

實驗用到的對比算法有經典的基于跟蹤—學習—檢測(tracking-learning-detection,TLD)算法，基于稀疏表示和粒子濾波的L1APG(L1trackerusingacceleratedproximalgradient)[11]算法和基于局部稀疏表示的SCM(sparsity-basedcollaborativemodel)算法[12]，以及基于相關濾波器的KCF[9]算法和DSST[10]算法。其中KCF只跟蹤目標平移變化，TLD和DSST同時估算目標尺度，L1APG和SCM算法估算參數的放射變換。

為了驗證算法的有效性，從公共測試集[13]中選取Doll,Dudek,MountainBike圖像序列進行實驗。這三個圖像序列中目標發生45°以內的小角度旋轉，其中，Doll,Dudek序列還伴隨著目標尺度的變化。另外還選取部分無人機實拍視頻中抽取兩個無人機對地面車輛跟蹤場景的圖像序列，并手動標定了真值。

實驗結果以重疊率曲線和精度曲線的方式顯示，如圖3所示，其中的數值表示單個跟蹤器在所有數據集上的平均重疊率/跟蹤精度。從圖中可以看出本文算法在這些數據集上取得了較好的效果。

圖3 不同算法的評估結果

圖4顯示的是部分跟蹤結果，從圖中可以看出，不管是對小角度旋轉還是對大角度變化，本文所提出的跟蹤算法都能正確地估計出目標的角度變化參數，給出正確的結果。同時可以看出，對于Truck數據集，由于目標長度太大，用矩形框描述非常不適宜，所以TLD算法無法跟蹤目標，而基于粒子濾波和稀疏表示的SCM算法無法適應目標在不同視角下發生的外觀變化，也無法連續跟蹤目標，本文所提出的基于三層核相關濾波器的跟蹤算法不僅能持續跟蹤目標，還能正確估計出目標姿態。

圖4 部分跟蹤結果

3 結束語

本文提出一種基于核相關濾波器的角度估計算法，算法根據核回歸理論和循環矩陣理論，在頻域訓練一個角度估計濾波器。在實驗中，本文設計了一個由三層核相關濾波器組成的跟蹤器，通過和其它算法的對比，證明了本文算法在目標跟蹤中的有效性。本文算法是通用性的，可以用于輔助其它沒有旋轉估計功能的跟蹤器來完成對目標旋轉變化的跟蹤。

[1] Nakhmani A,Tannenbaum A.A new distance measure based on generalized image normalized cross-correlation for robust video tracking and image recognition[J].Pattern Recognition Letters,2013,34(3):315-321.

[2] Ruckdeschel P,Spangl B,Pupashenko D.Robust Kalman tracking and smoothing with propagating and non-propagating outlier-s[J].Statistical Papers,2014,55(1):93-123.

[3] Kalal Z,Mikolajczyk K,Matas J.Forward-backward error:Automatic detection of tracking failures[C]∥2010 International Conference on Pattern Recognition,ICPR 2010,Istanbul:IEEE,2010:2756-2759.

[4] Nummiaro K,Koller-meier E,Van Gool L.An adaptive color-based particle filter[J].Image and Vision Computing,2003,21(1):99-110.

[5] Jia D,Zhang L,Li C.The improvement of mean-shift algorithm in target tracking[J].International Journal of Security and Its Applications,2015,9(2):21-28.

[6] Kristan M,Pflugfelder R,Leonardis A,et al.The visual object tracking (VOT)challenge results[J].Lecture Notes in Computer Science,2014,8926:191-217.

[7] Rifkin R,Yeo G,Poggio T.Regularized least-squares classifica-tion[J].Acta Electronica Sinica,2003,190(1):93-104.

[8] Gray R M.Toeplitz and circulant matrices:A review[J].Communications and Information Theory,2005,2(3):155-239.

[9] Henriques J F,Rui C,Martins P,et al.High speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):583-596.

[10] Danelljan M,Hger G,Khan F,et al.Accurate scale estimation for robust visual tracking[C]∥Proceedings of the British Machine Vision Conference,BMVC 2014，Nottingham:BMVA,2014:1-38.

[11] Bao C,Wu Y,Ling H,et al.Real time robust l1 tracker using accelerated proximal gradient approach[C]∥2012 IEEE Confe-rence on Computer Vision and Pattern Recognition,CVPR 2012,Providence,RI:IEEE,2012:1830-1837.

[12] Zhong W,Lu H,Yang M H.Robust object tracking via sparse collaborative appearance model[J].IEEE Transactions on Image Processing,2014,23(5):2356-2368.

[13] Yi W,Jongwoo L,Ming H Y.Object tracking benchmark[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1834-1848.

Object rotation tracking based on kernelized correlation filters*

LI Long1,2, WANG Yao-nan1,2, ZHANG Zhen-jun1,2

(1.National Engineering Laboratory for Robot Vision Perception and Control Technologies,Changsha 410082,China; 2.College of Electrical and Information Engineering,Hunan University,Changsha 410082,China)

A new robust rotation estimation method is proposed,which is based on kernelized correlation filters.A rotation pyramid is sampled around the target center and an extra 1D rotation filter is trained.Then the rotation estimation problem is tackled in a tracking-by-detection way.The rotation estimation approach is generic and can be incorporated with any tracking algorithm without a rotation estimation scheme.In the experiment,a three-layer-based tracker consisting of a 2D translation filter,a 1D scale filter and a 1D rotation filter is proposed trained and demonstrated to achieve more accurate results against state-of-the-arts on challenging dataset with rotation variation.

object tracking; kernelized correlation filters; rotation estimation; robust tracking

10.13873/J.1000—9787(2017)03—0147—03

2016—04—01

國家科技重大專項項目(07—Y30B10—9001—14/16)；國家自然科學基金資助項目(61501181)

TP 391.4

A

1000—9787(2017)03—0147—03

李 龍(1988-)，男，碩士研究生，主要研究方向為目標跟蹤，模式識別。