改進的自適應核相關濾波目標跟蹤

黃德天， 顧培婷， 柳培忠， 黃煒欽

(1. 華僑大學 工學院， 福建 泉州 362021;2. 華僑大學 機電及自動化學院， 福建 廈門 361021；3. 廈門大學 信息與通信工程博士后流動站， 福建 廈門 361005)

改進的自適應核相關濾波目標跟蹤

黃德天1,2， 顧培婷1， 柳培忠3， 黃煒欽1

(1. 華僑大學 工學院， 福建 泉州 362021;2. 華僑大學 機電及自動化學院， 福建 廈門 361021；3. 廈門大學 信息與通信工程博士后流動站， 福建 廈門 361005)

利用核相關濾波器跟蹤框架，提出一種改進的自適應顏色屬性的目標跟蹤方法.首先，構建循環樣本矩陣，引進顏色屬性作為特征描述目標；然后，采用流行學習局部線性嵌入(LLE)算法自適應地對特征向量進行降維，得到低維特征空間；最后，根據正則化最小二乘分類器獲得目標位置.實驗結果表明：文中算法的平均中心位置誤差減少了21.29 px;在閾值為20 px時，平均距離精度提高了27.9%，平均跟蹤速度為38 幀·s-1;與傳統核相關濾波(KCF)算法相比，文中算法具有良好的光照不敏感性及更高的跟蹤精度和魯棒性.

目標跟蹤； 核相關濾波器； 顏色屬性； 局部線性嵌入

Abstract： An improved adaptive color attribute tracking algorithm is proposed based on the kernel correlation filter. Firstly, the cycle matrix is established, and color attribute is used to describe the target. Secondly, the local linear embedding (LLE) algorithm was applied to reduce the dimension of extracted feature to achieve a low-dimensional feature space. Finally, the position is obtained by learning the regularized least-squares classifiers. Experimental results demonstrate that the proposed algorithm reduces the median center location error by 21.29 px, the average distance precision is increased by 27.9% when the threshold is set 20 px, and the average tracking speed is 38 frames·s-1. Compared with the original kernelized correlation filters (KCF) algorithm, the proposed algorithm not only has well illumination insensitivity, but also has higher tracking accuracy and robustness.

Keywords： target tracking; kernelized correlation filters; color attribute; local linear embedding

視頻目標跟蹤是機器視覺領域的一個重要研究方向，廣泛應用于人機交互、軍事監控等領域.目前，較為普遍的目標跟蹤算法是生成模型方法[1-2]和判別模型方法[3-9].在復雜背景下，目標跟蹤易受到各種因素影響，如光照變化、目標遮擋、相似目標等，如何更精確地跟蹤目標成為一個熱門研究課題.Kalal等[3]提出TLD算法，將跟蹤器、檢測器和學習相結合.Zhang等[4]提出的壓縮感知跟蹤算法，首次將壓縮感知引入視頻跟蹤中，構造一個投影矩陣，從而獲得目標的位置.近年來，出現了系列相關濾波跟蹤算法，其跟蹤速度快、跟蹤精度高.Henriques等[6]提出了循環矩陣(CSK)算法，采用循環移位的方式采集樣本，并利用快速傅里葉變換，快速學習分類器，提高了跟蹤速度.在此基礎上，Henriques等[7]又提出了核相關濾波(kernelized correlation filters，KCF)算法，該算法首先采用循環位移構建樣本，訓練分類器時通過離散傅里葉變換(DFT)計算，極大地提高了目標跟蹤速度，但目標受光照變化影響，使跟蹤不精確，甚至跟丟.因此，本文提出了改進的自適應核相關濾波算法.

1 KCF跟蹤算法

KCF跟蹤器[7]所用的分類器為正則化最小二乘(RLS)分類器.假設x是大小為m×n的圖像塊，并設定一組訓練樣本及其回歸值{(x1，y1)，(x2，y2)，…，(xi，yi)，…}，其訓練的最終目標是找到一個函數f(z)=vTz,使得如下殘差函數最小，即

式(1)中:λ是正則化參數.

式(2)中:K為核函數矩陣，矩陣元素為Ki，j=k(xi,xj);I為單位矩陣;向量y的元素為yi.由于K是循環矩陣，則式(2)可轉換到DFT域，即

KCF算法利用核函數法及傅里葉變換極大地提高了算法實時性.但是，KCF算法采用HOG特征,無法正確提取復雜多變的目標特征[7]，跟蹤性能易受光照和目標遮擋等因素影響.

2 自適應KCF跟蹤算法

在KCF框架上實現自適應目標跟蹤，利用顏色屬性具有對光照變化及部分遮擋不敏感等優點作為目標特征[8]，使算法在復雜背景下能準確跟蹤目標，從而提高算法的跟蹤精確度和魯棒性.通過局部線性嵌入(locally linear embedding，LLE)降維法自適應地對高維顏色特征降維，從而在保持特征原始拓撲結構的前提下，提高算法運行效率.

2.1顏色屬性

引入顏色屬性表示目標特征解決視覺跟蹤的光照問題.Berlin等[9]對其進行研究，把顏色分為11類：黑色、藍色、棕色、灰色、綠色、橙色、粉色、紫色、紅色、白色和黃色.由于文中使用11維的顏色特征表示目標，高維的特征表示會影響跟蹤速度，所以采用低維自適應方法簡化特征表示，從而提高跟蹤速度.

2.2低維顏色自適應屬性

LLE算法[10]利用線性重建反映高維數據空間中的非線性結構，能夠使降維的數據保持原有的拓撲結構，可以有效地降低由于降維引起的大量目標信息損失.因此，采用LLE算法對高維顏色特征降維，其主要流程如下.

1) 尋找相對于每個給定的樣本的β個近鄰樣本.

2) 定義一個誤差函數,即

為了求解矩陣W，應使式(4)最小，從而構建局部最優化重建權值矩陣，即

一般情況下，式(5)中的Qi是一個奇異值矩陣.

3) 由式(5)的wi,j及其近鄰點xi計算出樣本點的輸出向量.為了將所有樣本數據映射到低維空間上,需要構造一個代價函數，且映射過程中代價函數達到最小值，那么有

式(7)中:M是N×N的對稱矩陣，M=(I-W)T(I-W).由式(7)可知，要使損失函數值達到最小，則取U為M的最小d個非零特征值所對應的特征向量.

LLE算法中近鄰點個數β和輸出維數d決定了算法的性能[11].文中所選的β值應盡量使式(4)的誤差函數值達到最小，所以取β為7.若d取值高，則選取樣本多會受到噪聲影響；反之，樣本數據的特征不能得到體現.通過大量實驗，取d為2.在跟蹤過程中，通過LLE算法降維，將11維的特征向量降為2維，提高了算法的實效性，并且保持原目標信息不被大量破壞，從而保證跟蹤算法的魯棒性.

2.3目標檢測與模型更新

利用滑動窗口形式計算圖像塊z的所有子窗口的響應，響應值最大的子窗口即為目標的真實位置.利用核矩陣是循環矩陣這一性質，分類器的響應為

采用文獻[7]提供的高斯核函數，通過式(8)獲得目標的響應值，模型更新α和xt為

文中算法的步驟流程如下.

輸入:視頻序列It.

初始目標位置p0.

初始化：由初始目標位置p0及第一幀的目標模型x1，訓練分類器得到系數α.

for i=2…frame

1) 通過上一幀位置獲取圖像塊z，并得到特征矩陣;

2) 根據式(4)提取圖像的低維顏色屬性特征矩陣 projection_matrix；

3) 將矩陣projection_matrix帶入分類器，通過式(8)計算目標的響應值;

4) 響應最大值arg maxf(z)，為目標的真實位置;

5) 根據式(9),(10)更新模型αt,xt;

輸出：檢測出每幀的目標位置pt.

end for

3 實驗結果與分析

為了驗證文中算法的有效性，選用文獻[12]提供的視頻序列進行實驗.同時，與CT算法[4]、CSK算法[6]、原始KCF算法[7]的跟蹤效果進行對比.在實驗中,跟蹤算法的所有參數保持不變，取β=7，本征維數d=2，高斯核的標準差σ=0.2，學習因子γ=0.075.實驗采用MATLAB編程環境.PC配置為Intel(R) Core(TM) i5-4590M CPU@3.30 GHz ，RAM為8 G.

3.1實驗結果分析

視頻序列的部分跟蹤結果，如圖1所示.圖1中：點框表示文中算法；線段框表示CSK算法；點線框表示KCF算法；實線框表示CT算法.

(a) Shaking

(b) Singer1

(c) Dark car

(d) Mountain bike

(e) Soccer1圖1 部分跟蹤結果Fig.1 Partial tracking result

根據圖1所提算法的結果進行分析，得到以下3點結論.

1) 光照變化和尺度變化.由圖1(a)可知：吉他手頭部晃動劇烈，且存在光照變化影響，在目標進入復雜背景區域時受到強光干擾，CT和CSK算法錯誤的跟蹤非目標人物，KCF算法也出現很大的偏移，只有文中算法能較好地完成全程跟蹤，能以較高的精度跟蹤整段視頻.因此，與原始的KCF算法相比，文中采用的顏色屬性特征對光照變化不敏感，當受到強光干擾時，可實現全程準確的穩定跟蹤.圖1(b)Singer1視頻序列中，存在光照影響和尺度變化，4種算法都有較好的跟蹤結果，但是文中算法的中心位置誤差明顯優于其他算法，體現了更好的跟蹤穩定性.

2) 復雜背景干擾和旋轉.圖1(c)中，當車輛行駛時，目標跟蹤易受到周圍復雜背景及類似目標的影響，在第284幀時，CT算法完全跟蹤失敗，KCF正在偏移，累計錯誤信息，導致丟失目標；而文中提出的自適應顏色屬性特征具有光照不變性和抗噪性能，因此，能有效避免視頻中復雜背景等情況，完成跟蹤.圖1(d)Mountain bike視頻序列存在目標旋轉，除了CT算法，其他3種算法均能較好地完成任務，但是文中算法的精確度更高.

3) 全局、部分遮擋和快速運動.圖1(e)Soccer1視頻序列后半部分出現目標遮擋和快速晃動情況.CT和CSK算法的中心誤差較大，當出現全部遮擋時，CT算法無法繼續完成任務；當部分遮擋時，KCF算法能較好地跟蹤；但是當全局遮擋時，文中算法體現了其優越性，取得了穩健的跟蹤結果.

3.2性能分析

為了測試在不同條件下算法的魯棒性，采用中心位置誤差(CLE)和距離精度(DP)為評價準則.其中，中心位置誤差表達式為

DP=m/n.

式中：m為CLE小于某個固定閾值(實驗中均選為20 px)的圖片序列幀數.

4種算法的CLE，DP的實驗數據對比，如表1所示.由表1可知：文中算法能達到最優或次優性能.相對于其他3種算法，文中算法具有最優的中心位置誤差和距離精度，其中，中心位置誤差比KCF算法減少了21.29 px，在閾值為20的距離精度比KCF算法提高了27.9%.在Shaking和Soccer視頻中，文中算法的精確度也遠遠高于其他3種算法，證明了文中算法的高精度和不敏感性.因此，對于強光、復雜背景等干擾，文中算法具有較高的精確度和穩定性.

表1 中心位置誤差和距離精度的比較Tab.1 Comparison with center location error and distance precision

(a) Singer1(b) Shaking(c) Dark car

(d) Soccer (e) Mountain bike圖2 視頻序列跟蹤精度曲線圖Fig.2 Tracking accuracy graph of video sequence

4 結束語

為了解決視頻目標跟蹤的光照敏感性和提高跟蹤精度，基于核相關濾波跟蹤算法提出兩點改進：首先，針對核相關濾波在光照變化下，會影響跟蹤精度，采用顏色屬性特征，使算法具有光照不敏感性；其次，由于高維的顏色屬性會增加運算復雜度，提出一種自適應降維方法，通過一種非監督學習方法達到低維特征空間，提高目標跟蹤的魯棒性和準確性.結果表明：文中算法的中心位置誤差減少了21.29 px，距離精度提高了27.9%，在保留傳統核相關濾波實時性好、準確度高等特點的同時，能更好地適應光照變化等情況.此外，在復雜背景下，文中算法能穩定準確地跟蹤目標，具有重要的理論研究及應用價值.在未來工作中，將進一步研究如何提高文中算法的跟蹤速度.

[1] 李靜宇,劉艷瀅,田睿,等.視頻監控系統中的概率模型單目標跟蹤框架[J].光學精密工程,2015,23(7)：2093-2099.

[2] YANG Fan,LU Huchuan,YANG M H.Robust superpixel tracking[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2014,23(4):1639-1651.

[3] KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking-learning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[4] ZHANG Kaihua,ZHANG Lei,YANG M H.Real-time compressive tracking[C]∥Proceedings of the 12th European conference on Computer Vision.Florence:Springer-Verlag,2012：864-877.

[5] CHEN Zhe,HONG Zhibin,TAO Dacheng.An experimental survey on correlation filter-based tracking[J].Computer Science,2015,53(6025):68-83.

[6] HENRIQUES J F,CASEIRO R,MARTINS P,etal.Exploiting the circulant structure of tracking-by-detection with kernels[C]∥IEEE Conference on European Conference on Computer Vision.Berlin:Springer-verlag,2012:702-715.

[7] HENRIQUES J F，CASEIRO R，MARTINS P,etal.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3)：583-596.

[8] 畢篤彥,庫濤,查宇飛,等.基于顏色屬性直方圖的尺度目標跟蹤算法研究[J].電子與信息學報,2016,38(5):1099-1106.

[9] BERLIN B,KAY P.Basic color terms： Their universality and evolution[M].Berkeley:UC Press,1969:11-25.

[10] ROWEIS S T,SAUL L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,2290(5500)：2323-2326.

[11] 馮海亮,李見為,黃鴻.自組織LLE算法及其在人臉識別的應用[J].光學·精密工程,2008,16(9)：1732-1737.

[12] WU Yi,LIM J,YANG M H.Online object tracking: A benchmark[C]∥IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Computer Society,2013:2411-2418.

(責任編輯： 黃曉楠英文審校： 吳逢鐵)

ImprovedAdaptiveTargetTrackingBasedonKernelizedCorrelationFilters

HUANG Detian1,2, GU Peiting1, LIU Peizhong3, HUANG Weiqin1

(1. College of Engineering, Huaqiao University, Quanzhou 362021, China;2. College of Mechanical Engineering and Automation, Huaqiao University, Xiamen 361021, China;3. Postdoctoral Research Station of Information and Communication Engineering, Xiamen University, Xiamen 361005, China)

10.11830/ISSN.1000-5013.201606062

2016-06-21

黃德天(1985-)，男，講師，博士，主要從事機器學習、圖像處理的研究.E-mail:huangdetian@hqu.edu.cn.

國家自然科學基金資助項目(61203242); 福建省泉州市科技計劃項目(2014Z113)

TP 391

A

1000-5013(2017)05-0693-06