基于金字塔特征的核相關(guān)濾波跟蹤算法

王春平,王 暐,李 軍,喬自紅

(1.解放軍軍械工程學(xué)院，河北 石家莊 050003；2.解放軍63813部隊(duì)，海南 文昌 571339； 3.解放軍63612部隊(duì)，甘肅 敦煌 736200)

基于金字塔特征的核相關(guān)濾波跟蹤算法

王春平1,王 暐1,李 軍2,喬自紅3

(1.解放軍軍械工程學(xué)院，河北 石家莊 050003；2.解放軍63813部隊(duì)，海南 文昌 571339； 3.解放軍63612部隊(duì)，甘肅 敦煌 736200)

針對核相關(guān)濾波跟蹤算法(Kernelized Correlation Filter tracking, KCF)對特征表達(dá)敏感的問題，提出了基于金字塔特征的KCF跟蹤算法。該算法通過實(shí)驗(yàn)分析發(fā)現(xiàn)不同空間尺度上的HOG特征具有不同的目標(biāo)-背景判別力和定位能力。基于該觀測，融合多個(gè)尺度上的HOG特征提出了一種金字塔HOG特征，并將該金字塔特征應(yīng)用于多通道的KCF跟蹤框架。實(shí)驗(yàn)分析表明，該金字塔特征有效提高了KCF在多達(dá)50個(gè)視頻序列上的跟蹤性能。相比于原始KCF算法，所提算法在跟蹤精度和成功率典型值上的性能提升分別為5%和4.6%。

視覺跟蹤；核相關(guān)濾波跟蹤；金字塔特征；HOG特征

0 引言

視覺跟蹤是計(jì)算機(jī)視覺的一個(gè)基礎(chǔ)性研究方向，在人機(jī)交互、監(jiān)控、增強(qiáng)現(xiàn)實(shí)等場景中有著廣泛的應(yīng)用[1]。近十幾年來，視覺跟蹤的研究取得了長足的發(fā)展，涌現(xiàn)出許多優(yōu)秀的算法[1-4]。其中，JOAO等[5-6]提出了一種核相關(guān)濾波跟蹤算法，該算法能夠應(yīng)對跟蹤中的光照變化、背景干擾、遮擋等挑戰(zhàn)，同時(shí)具有很高的處理速度。由于其優(yōu)異的性能，KCF已成為近兩年視覺跟蹤中的研究熱點(diǎn)。文獻(xiàn)[7—9]從特征表達(dá)的角度對KCF進(jìn)行改進(jìn)，分別采用角度梯度直方圖[10]特征(Histogram of Oriented Gradient, HOG)、顏色特征、分層深度特征等代替灰度特征[6]，均使KCF的跟蹤性能有了大幅提升，也表明KCF對特征的選取非常敏感。文獻(xiàn)[11]也指出特征提取是決定跟蹤算法性能的關(guān)鍵，選取目標(biāo)-背景判別力強(qiáng)的特征能夠有效提高算法的跟蹤性能。

HOG特征[10]在人體檢測、圖像分類、跟蹤等應(yīng)用中取得了成功。但其空間尺度參數(shù)由人工設(shè)定，無法處理跟蹤所面臨的多種場景，使得采用HOG特征的原始KCF算法的魯棒性較差。本文針對該問題，提出了基于金字塔特征的KCF跟蹤算法(Pyramid Feature Based KCF Tracking，PKT)。

1 KCF跟蹤

KCF的每一幀跟蹤分為訓(xùn)練和檢測兩個(gè)階段。在訓(xùn)練階段，采樣目標(biāo)及其背景區(qū)域作為基本樣本，區(qū)域大小為M×N。在行、列方向上對基本樣本進(jìn)行循環(huán)位移得到M×N-1個(gè)虛擬樣本，記為xi，i=0,1,…,M×N-1，并采用高斯函數(shù)yi標(biāo)記。文獻(xiàn)[5—6]采用嶺回歸和核戲[12]訓(xùn)練濾波器。

(1)

其中，αi為核空間的濾波器組合系數(shù)，用α表示所有αi的集合，κ(·)稱為核函數(shù)。α的解析解在傅里葉域的快速求法為[5]：

(2)

變量的上標(biāo)“^”表示變量在傅里葉域的對應(yīng)值。kx0x0為核矩陣K的第一行，保存x0與x0的所有循環(huán)轉(zhuǎn)移樣本的核函數(shù)值，大小為MN。Y為所有標(biāo)簽組成的集合，λ為規(guī)則化系數(shù)。

當(dāng)新的一幀圖像到來時(shí)，首先進(jìn)行目標(biāo)檢測，提取以上幀目標(biāo)位置為中心的圖像塊z，有[5]

(3)

得到的f(z)為與z等大小的濾波響應(yīng)圖，響應(yīng)圖的最大值點(diǎn)即對應(yīng)目標(biāo)在當(dāng)前幀中的中心位置。

(α,x0)為濾波器模型。根據(jù)檢測的目標(biāo)位置，在當(dāng)前幀訓(xùn)練新的濾波器模型，然后對之前的濾波器模型進(jìn)行更新，進(jìn)入下一幀的跟蹤。具體細(xì)節(jié)請參考文獻(xiàn)[5]。

2 基于金字塔特征的KCF跟蹤算法

本節(jié)首先分析了HOG特征在不同尺度空間下的特點(diǎn)，基于此設(shè)計(jì)了金字塔特征(PHOG)，并給出PHOG的具體提取步驟。然后，提出了基于該金字塔特征的KCF跟蹤算法(PKT)。

2.1 空間金字塔特征

HOG特征提取和統(tǒng)計(jì)每個(gè)cell(一小塊圖像區(qū)域，如4×4像素大小)的梯度信息作為圖像特征，每個(gè)cell的特征為31維[10]。通過提取cell的梯度分布，HOG特征能夠有效表達(dá)圖像的局部結(jié)構(gòu)。但HOG特征無法提取視覺目標(biāo)在不同級別(level)空間尺度(對應(yīng)于不同的cell大小)上的表達(dá)。本文通過實(shí)驗(yàn)得到如下兩個(gè)觀測：1)HOG在不同尺度下的目標(biāo)-背景判別力是不同的。從圖1可以看出，在精細(xì)的尺度空間(level-1)下，HOG特征的定位精度更高，在粗糙的尺度空間(level-3)下，HOG特征更易于從背景中判別出目標(biāo)。2)將HOG具有足夠的目標(biāo)-背景判別力，且盡可能精細(xì)的空間尺度定義為最佳尺度，則對于不同圖像，最佳HOG尺度是不同的。觀測圖1可知三幅圖像(從上到下)的最佳HOG尺度分別為level-2、level-3、level-1。

為滿足跟蹤的精度要求，需要采用低層的HOG特征；而魯棒的跟蹤，即保證跟蹤算法能夠應(yīng)用于多數(shù)情況且抵抗背景干擾，需要采用高層的HOG特征。將不同尺度上的HOG特征進(jìn)行融合，能夠滿足上述兩個(gè)要求。因此，本文提出組合多級空間尺度中的HOG特征，構(gòu)建HOG金字塔(PHOG)特征用于視覺跟蹤。PHOG的提取如圖2所示，包括：1)求圖像梯度；2)將梯度圖按不同大小的cell進(jìn)行劃分，求各尺度下的HOG特征，構(gòu)成金字塔HOG特征；3)將所有層的特征縮放為與最底層等大小，縮放采用雙線性插值，然后連接每層特征便得到了PHOG特征。

2.2PKT

本文用PHOG代替KCF中的HOG特征，提出基于金字塔特征的KCF跟蹤算法(PKT)。PKT的流程圖和基本步驟分別如圖3和算法1所示。

算法1：基于金字塔特征的KCF跟蹤

初始化：第一幀中目標(biāo)狀態(tài)及M，N

fort= 1 toT(T為序列的總幀數(shù))

檢測

ift>1 then

步驟1：根據(jù)目標(biāo)狀態(tài)，采樣圖像塊，并采用PHOG特征表達(dá)圖像；

步驟2：求圖像塊對應(yīng)的響應(yīng)圖(式(3))；

步驟3：求當(dāng)前幀的目標(biāo)狀態(tài)；

end

訓(xùn)練/更新

步驟4：根據(jù)檢測結(jié)果訓(xùn)練濾波器系數(shù)(式(2))；

步驟5：采用線性插值對總濾波器模型進(jìn)行更新

end

end

3 實(shí)驗(yàn)

為評估所提算法的性能，在CVPR2013跟蹤測評集上進(jìn)行了綜合測評。由于顏色特征與HOG特征互補(bǔ)，本文實(shí)現(xiàn)了采用PHOG+CN(Color Name，一種顏色特征)與HOG+CN特征的兩個(gè)KCF算法，分別記為PTK-CN和KCF-CN。

實(shí)驗(yàn)中，PHOG設(shè)置為兩層，cell尺寸分別為4×4和8×8，HOG特征采用PEDRO等[10]改進(jìn)的版本，直方圖量化數(shù)為9。本文的實(shí)驗(yàn)平臺為配置2.6 GHz i5處理器、4 GB內(nèi)存、6核心的普通電腦，仿真環(huán)境為Matlab 2011b，所提算法的跟蹤速度達(dá)到了35幀/s(Frame per Second, FPS)。

3.1 CVPR2013 測評集及測評準(zhǔn)則

CVPR2013視覺跟蹤測評集[1]包含50個(gè)完整標(biāo)注的視頻序列，涵蓋了視覺跟蹤面臨的主要挑戰(zhàn)性場景，即光照變化、尺度變化、遮擋、變形、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、目標(biāo)超出視場、背景干擾和低分辨率。近年來多數(shù)跟蹤算法以該測評集為基準(zhǔn)進(jìn)行實(shí)驗(yàn)和測評。

CVPR2013測評集從跟蹤的距離精度和重疊率出發(fā)，提出了兩個(gè)測評準(zhǔn)則：精度曲線和成功率曲線。某一圖像幀中，跟蹤算法的跟蹤框與標(biāo)注的真實(shí)目標(biāo)框的中心距離稱為距離精度，兩個(gè)框的重疊面積與總面積之比為重疊率。精度曲線的橫軸為給定的距精度離閾值，縱軸為跟蹤的距離精度大于給定閾值的圖像幀占所有圖像幀的比例。通常取閾值為20個(gè)像素時(shí)的精度曲線值為典型值Pre-20。成功率曲線的橫軸為給定的重疊率閾值，當(dāng)跟蹤的重疊率大于給定閾值時(shí)認(rèn)為該幀跟蹤成功。成功率曲線的縱軸為跟蹤成功的幀占所有圖像幀的比例，取閾值為50%時(shí)的值為典型值Suc-50。本文算法采用上述兩個(gè)準(zhǔn)則進(jìn)行對比測評。

3.2 定量分析

在CVPR2013測評集上對所提算法進(jìn)行了定量的性能測評。測評算法包括表1所列的6種采用不同特征的KCF算法，以及另外三種在該測評集上表現(xiàn)優(yōu)異的跟蹤算法：Struck[2]、CXT[3]、MIL[4]。圖4和表1為測評結(jié)果，可見采用了HOG特征的KCF算法，即PKT-CN、KCF-CN、PKT、KCF較其它5種算法有明顯優(yōu)勢，相比于Struck算法，性能最優(yōu)的PKT-CN在Pre-20和Suc-50上分別提高了11%(0.843 vs 0.733)和9.5%(0.738 vs 0.643)。

表1 6種采用不同特征的KCF跟蹤算法性能對此

從表1可見，PHOG特征能有效提高跟蹤性能。所提PKT的Pre-20和Suc-50值不僅優(yōu)于KCF，也高于采用了HOG+CN特征的KCF-CN。相比于KCF， PKT-CN在Pre-20和Suc-50上分別提高了5%(0.843 vs 0.793)和4.6%(0.738 vs 0.692)。

3.3 定性分析

為進(jìn)一步驗(yàn)證PHOG特征的有效性，圖5給出了PKT-CN、KCF-CN、PKT、KCF 4種算法對測評集中幾個(gè)典型序列的跟蹤結(jié)果。圖中序列分別(從上至下)為：Freeman4, Shaking, Tiger1, Liquor。Freeman4為黑白序列，PKT和KCF的結(jié)果分別與PKT-CN和KCF-CN相同。在第51幀時(shí)，背景變得雜亂，采用單層HOG的KCF-CN無法繼續(xù)跟蹤，而PKT-CN能夠從雜亂背景中判別目標(biāo)，實(shí)現(xiàn)了穩(wěn)定的跟蹤。Shaking序列同樣存在背景雜亂的問題，而且顏色特征對跟蹤有所干擾，導(dǎo)致KCF-CN 跟蹤失敗，而采用了PHOG特征的PKT-CN能夠抵消顏色特征的影響，保持了與原有KCF相同的跟蹤穩(wěn)定性。

Tiger1序列中，玩具被前景植物干擾和遮擋，KCF和KCF-CN分別在112幀和145幀丟失目標(biāo)，而所提PKT和PKT-CN始終跟蹤目標(biāo)，驗(yàn)證了PHOG特征較強(qiáng)的目標(biāo)-背景判別力。Liquor序列中，存在與目標(biāo)表觀類似的干擾物體，由于沒有采用顏色信息，KCF在第740幀開始跟蹤干擾物體，跟蹤失敗。第779幀時(shí)干擾物體對目標(biāo)進(jìn)行了長時(shí)間的遮擋，導(dǎo)致KCF-CN也丟失目標(biāo)，而所提PKT和PKT-CN(圖中兩個(gè)算法的跟蹤框重合)保持了穩(wěn)定的跟蹤。特別是PKT在沒有采用顏色信息的情況也未被類似物體所干擾，進(jìn)一步驗(yàn)證了所提PHOG特征的有效性。

4 結(jié)論

本文提出了基于金字塔特征的KCF跟蹤算法。該算法從特征表達(dá)的角度出發(fā)，發(fā)現(xiàn)不同空間尺度上的HOG特征具有不同的目標(biāo)-背景判別力和定位能力，因此提出了一種金字塔HOG特征，并將該金字塔特征應(yīng)用于多通道的KCF跟蹤框架。實(shí)驗(yàn)分析表明，該金字塔特征有效提高了KCF在多達(dá)50個(gè)視頻序列上的跟蹤性能。相比于原始KCF算法，所提算法在跟蹤精度和成功率典型值上的性能提升分別為5%和4.6%。

[1]WU Yi, LIM Jongwoo, YANG M H. Online object tracking: A benchmark[C]//IEEE Conference on Computer Vision and Pattern Recognition. Portland, USA: IEEE, 2013: 1354-1362.

[2]SAM H, AMIR S, PHILIP H. Struck: Structured output tracking with kernels[C]//International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011: 263-270.

[3]THANG B, NAM V, GERARD G M. Context tracker: Exploring supporters and distracters in unconstrained environments[C]//IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs, USA: IEEE, 2011: 1177-1184.

[4]BORIS B, YANG M H, SERGE J B. Visual tracking with online multiple instance learning[C]//IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA: IEEE, 2009: 983-990.

[5]JOAO Henriques, RUI Caseiro, PEDRO Martins, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2015, 32(9): 1627-1645.

[6]JOAO H, RUI C, PEDRO M, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//European Conference on Computer Vision. Florence, Italy: IEEE, 2012: 702-715.

[7]BOMLE D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]//IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, USA: IEEE, 2010: 2544-2550.

[8]MARTIN D, FAHAD S K, MICHAEL F, et al. Adaptive color attributes for real-time visual tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014: 1090-1097.

[9]MA C, HUANG J B, YANG X K, et al. Hierarchical Convolutional Features for Visual Tracking[C]//International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 3038-3046.

[10]PEDRO Felzenszwalb, ROSS Girshick, DAVID McAllester, et al. Object Detection with Discriminatively Trained Part Based Models[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645.

[11]WANF Naiyan, SHI J, YEUNG D, et al. Understanding and Diagnosing Visual Tracking Systems[C]//International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 3101-3109.

[12]ZHANG B, SHERIF M E. Fast solver for some computational imaging problems: A regularized weighted least-squares approach[J]. Digital Signal Processing, 2014, 27: 107-118.

Pyramid Feature Based Kernelized Correlation Filter Tracking Method

WANG Chunping1, WANG Wei1, LI Jun2, QIAO Zihong3

(1.Ordnance Engineering College, Shijiazhuang 050003, China; 2.The 63813 Unit of PLA, Wenchang 571339, China; 3.The 63612 Unit of PLA, Dunhuang 736200, China)

Recently, kernelized correlation filters (KCF) have been successfully applied in vision tracking. However, more effective features are appealing to KCF trackers. In this paper, we proposed a pyramid feature based KCF tracking method (PKT). The proposed method argued that the target-background discriminating and locating abilities of HOGs in different space scale were difference. A pyramid HOG feature (PHOG) was designed to achieve the both abilities. Then the proposed PHOG feature was applied to multi-channel KCF framework. Experimental results showed that the PHOG was effective for improving tracking performance which had been tested on 50 video sequences. Comparing with the original KCF, the proposed tracker had a significantly improvement of 5% in representative precision score and 4.6% representative success score.

vision tracking; Kernel correlation filter tracking; pyramid feature; HOG feature

2016-04-28

王春平(1965—)，男，陜西漢中人，教授、博士生導(dǎo)師，研究方向：火力控制理論與應(yīng)用、計(jì)算機(jī)視覺。E-mail: wchp17@139.com。`

TP391

A

1008-1194(2017)01-0066-05