一種快速精準(zhǔn)的核相關(guān)濾波器跟蹤算法

施 偉 張 東 陳 慶 譚守標(biāo)* 張 驥

1(國網(wǎng)銅陵供電公司運維檢修部 安徽 銅陵 244000)2(安徽大學(xué)計算智能與信號處理教育部重點實驗室 安徽 合肥 230039)3(安徽南瑞繼遠電網(wǎng)技術(shù)有限公司 安徽 合肥 230088)

?

一種快速精準(zhǔn)的核相關(guān)濾波器跟蹤算法

施 偉1張 東1陳 慶2譚守標(biāo)2*張 驥3

1(國網(wǎng)銅陵供電公司運維檢修部 安徽 銅陵 244000)2(安徽大學(xué)計算智能與信號處理教育部重點實驗室 安徽 合肥 230039)3(安徽南瑞繼遠電網(wǎng)技術(shù)有限公司 安徽 合肥 230088)

針對核相關(guān)濾波器跟蹤算法在目標(biāo)尺度變化、快速運動及光照變化情況下跟蹤性能降低的問題，提出一種基于前瞻性更新及快速異判技術(shù)的核相關(guān)濾波器跟蹤算法。算法對目標(biāo)歷史狀態(tài)以逐漸遺忘的方式加以更新，同時引入狀態(tài)差分來提前應(yīng)對環(huán)境變化，并且利用哈希編碼匹配來控制分類器更新：首先對先前正確的目標(biāo)進行哈希編碼，新來一幀分類得到的最終目標(biāo)同樣進行哈希編碼來計算相似度；然后依據(jù)相似度決定是否更新分類器或者重檢測目標(biāo)。實驗結(jié)果表明，該算法不僅對尺度變化、快速運動有很強的魯棒性.對其他屬性如光照變化、遮擋等也有較強的魯棒性。同時跟蹤仍然保存很高的速度，平均的處理速度可達100幀/s，能實現(xiàn)快速精準(zhǔn)的目標(biāo)跟蹤。

視覺跟蹤 離散PID 哈希匹配 相關(guān)濾波器

0 引 言

視覺跟蹤技術(shù)是機器視覺領(lǐng)域中的熱門研究課題，在各行各業(yè)應(yīng)用廣泛。如在電力安全生產(chǎn)中，為避免作業(yè)人員進行危險操作，可利用視覺跟蹤準(zhǔn)確分析目標(biāo)行為，發(fā)現(xiàn)異常行為及時報警，盡可能降低安全風(fēng)險。由于位置、照明、運動、遮擋等因素的影響，目標(biāo)視覺跟蹤也是一個具有挑戰(zhàn)性的任務(wù)。在視覺跟蹤領(lǐng)域中,不同于多目標(biāo)跟蹤，單目標(biāo)跟蹤可以被看作是一個在線學(xué)習(xí)問題[1-2]。通過初始化一個目標(biāo)框來訓(xùn)練一個分類器，把目標(biāo)和周邊環(huán)境區(qū)分開，實現(xiàn)目標(biāo)的跟蹤。這個分類器需要實時更新從而有效檢測在隨后圖像幀出現(xiàn)的目標(biāo)。

一種有效的跟蹤方法是通過檢測目標(biāo)來跟蹤[3-7]。這直接源于機器學(xué)習(xí)中強大的判別方法的發(fā)展，及其在在線訓(xùn)練檢測方面的運用。這種檢測器可以在線訓(xùn)練，因為它們提供大量和目標(biāo)有關(guān)的背景信息。

在本文中，我們提出了一個魯棒且高效的核相關(guān)濾波器跟蹤算法，它在頻域中使用了PID[8]更新和相關(guān)濾波器[9]思想構(gòu)建檢測器。為了有效地在頻域處理圖像信號，我們使用了一個經(jīng)典的分析工具——循環(huán)矩陣。這意味著我們可以基于高斯核回歸結(jié)合相關(guān)濾波器來追蹤目標(biāo)。此外我們使用了哈希匹配技術(shù)來預(yù)判跟蹤出錯情況并重新檢測目標(biāo)[10]。

1 相關(guān)工作

1.1 相關(guān)濾波器追蹤

相關(guān)濾波器已被廣泛應(yīng)用于許多場景，如目標(biāo)檢測和識別[11]。由于操作已經(jīng)轉(zhuǎn)換入頻域進行，相關(guān)濾波的計算效率很高，引起了目標(biāo)跟蹤領(lǐng)域?qū)W者的關(guān)注。Bolme等在灰度圖像上針對視覺跟蹤提出了學(xué)習(xí)的最小輸出誤差平方和濾波器(MOSSE)[9]，可以對每幀的圖像目標(biāo)編碼更新。使用了相關(guān)濾波器，MOSSE跟蹤器的計算速度可達到數(shù)百幀每秒。Heriques等提出了在核空間使用相關(guān)濾波器的方法CSK[12]，在現(xiàn)有的benchmark庫上測試達到了極高的速度。CSK方法建立在光照強度特征上，其改進版本KCF[13]利用HOG特征將效果進一步提高。Kalal等通過連續(xù)的相關(guān)響應(yīng)將上下文信息轉(zhuǎn)化為聯(lián)系起來進行建模和濾波[14]。DSST跟蹤器采用HOG特征學(xué)習(xí)自適應(yīng)多尺度相關(guān)濾波器來處理目標(biāo)對象的尺寸變化[15]。然而，這些方法沒有解決的關(guān)鍵問題，就是在線模型更新。因此，這些相關(guān)跟蹤器容易漂移和難處理長期閉塞的視角問題。

1.2 檢測跟蹤

最流行的檢測跟蹤方法是使用一個判別性的外觀模型[3,7,14,16]。受統(tǒng)計學(xué)習(xí)方法的啟發(fā)，它在線訓(xùn)練一個分類器，來預(yù)測目標(biāo)是否存在于候選的目標(biāo)圖像塊中。這種分類，是在待測試的很多候選塊中找到與目標(biāo)最相似的候選塊作為預(yù)測的目標(biāo)位置。此外，位置也可以直接預(yù)測[4]。典型的檢測跟蹤例子包括那些基于支持向量機(SVM)[5]、隨機森林分類[7]。Bolme等[9]采用經(jīng)典的信號處理分析的方法，得到快速相關(guān)濾波器。我們的算法正是基于相關(guān)濾波器進行下去的。

2 前瞻更新核相關(guān)濾波器跟蹤算法

由于我們的目的是設(shè)計一種自適應(yīng)算法來跟蹤后續(xù)每幀中目標(biāo)的位置。我們把這個任務(wù)看成在線訓(xùn)練并評估測試候選塊，通過由相關(guān)濾波器得到的上下文聯(lián)系來評估訓(xùn)練。此外，我們設(shè)計一個預(yù)判斷器，使用高效計算的感知哈希來表示，用于檢測異常并處理。

2.1 核相關(guān)跟蹤

把相關(guān)過濾器考慮為一個分類器，它可以通過尋找輸入xi和它的訓(xùn)練標(biāo)簽yi之間的相關(guān)性來進行訓(xùn)練。訓(xùn)練問題可以被視為一個嶺回歸問題或最大限度地減少目標(biāo)損失問題：

(1)

其中λ是防止過擬合的正則化系數(shù)，l(·)是損失函數(shù)，參數(shù)向量w可以閉環(huán)表示為：

w=(XTX+λI)-1XTy

(2)

這里X是由訓(xùn)練樣本組成的矩陣，y是其對應(yīng)的標(biāo)簽向量，I是個單位矩陣。為了提高計算效率，w可在頻域中求解：

w*=(XHX+λI)-1XHy

(3)

xH是x的Hermitian轉(zhuǎn)置。為了進一步提高性能，可引入映射函數(shù)φ(xi)，將輸入數(shù)據(jù)x映射到一個非線性的特征空間中，則w=∑iαiφ(xi)，w的求解就轉(zhuǎn)換成α的求解。

f(xi)可表示為：

(4)

這里核函數(shù)k(xi,xj)=<φ(xi),φ(xj)>。假設(shè)x是個循環(huán)矩陣，那么k是個核矩陣可由Kij=k(Xi,Xj)得到，式(4)可求解：

α=(K+λI)-1y

(5)

同樣，將求解轉(zhuǎn)換到頻域，來避免矩陣的求逆過程。若k是循環(huán)矩陣，則：

(6)

(7)

在接下來的一幀，可以用樣本x和訓(xùn)練輸出參數(shù)α來檢測目標(biāo)。假設(shè)新來樣本z，可以計算:

(8)

f(z)是得分函數(shù)，在頻域中更高效計算：

(9)

2.2 模型更新策略

為了提高模型的魯棒性，克服跟蹤目標(biāo)自身形變、變速、遮擋、背景光照改變、顏色干擾等因素造成跟蹤失敗問題，需要對模型進行在線更新。常見的更新算法多是利用了本幀參數(shù)和前一幀或前幾幀信息，表現(xiàn)為一種歷史遺忘過程，如KCF算法[13]的αt=ηαt-1+(1-η)α，η是常量，大小代表學(xué)習(xí)率，能夠很好地適應(yīng)目標(biāo)外觀的變化。但是由于只有對前一幀的繼承，沒法對突發(fā)情況的預(yù)判，比如打斗、畫面顫抖，也容易在遮擋情況下跟蹤漂移，導(dǎo)致跟蹤失敗。

針對上述情況，本文提出一種能夠表征歷史信息和突發(fā)信息更新方式：

αi=P×α+I×∑α+D×(αi-αi-1)

(10)

Xfi=P×Xf+I×∑Xf+D×(Xfi-Xfi-1)

(11)

2.3 哈希匹配策略

(12)

mean_z是小矩陣的平均值，將z的每個值與均值比較，將大于均值的值設(shè)為1，小于均值的值設(shè)為0。改變矩陣維度為64×1的行列式，方便進一步計算。在得到上下兩幀目標(biāo)塊的哈希編碼x、y后，我們計算其漢明距離用來表示相似度：

(13)

其中Δ代表漢明距離，為了方便比較，可以將其歸一化：

(14)

在計算矩陣的離散傅里葉變換時用的僅僅是余弦函數(shù)，如果正弦函數(shù)也使用，表征的哈希碼效果會更好。

對于計算的漢明距離會與閾值比較，若大于閾值，則更新分類器；若小于閾值，仍然保持上一幀的位置，不更新分類器，同時擴大下一幀的樣本采樣，持續(xù)若干幀小于閾值，則利用正確目標(biāo)的哈希編碼重新檢測目標(biāo)位置。

3 實驗結(jié)果與分析

本節(jié)將在公認的benchmark_tracker庫[19]上比較本文算法與一些最先進的跟蹤算法的性能。對比的跟蹤算法包括CT[16]、TLD[14]、CSK[12]、Struck[4]、MTT[17]、OAB[6]、L1APG[18]。數(shù)據(jù)集是基準(zhǔn)庫中已經(jīng)標(biāo)記好的具有挑戰(zhàn)性的視頻。我們使用成功率作定量分析，從時間魯棒性(TRE)和空間魯棒性(SRE)來評估算法的魯棒性能。成功率圖的評估標(biāo)準(zhǔn)是邊界框的重疊率。假設(shè)算法跟蹤的邊界框為γt，人工標(biāo)定邊界框是γa，重疊率被定義為S=|γt∩γa|/|λt∪λa|，其中∩和∪分別表示邊界框的交集和并集，|·|指其框內(nèi)的像素點個數(shù)。為了估量算法在一系列幀中的性能，我們計算重疊率S大于給定的閾值to(比如to=0.5)的成功幀的數(shù)量。然后使用每一個成功率圖的曲線下面積(AUC)來給跟蹤算法進行排序。為了更好地評估和分析跟蹤方法的優(yōu)點和缺點，本文用6種常見屬性來標(biāo)注所有序列進行分類，6種屬性如表1所示。

三是統(tǒng)籌整合監(jiān)督資源，加大監(jiān)督檢查力度。廣西計劃2018年開展兩次扶貧資金專項督查活動。區(qū)直各成員單位應(yīng)積極選派業(yè)務(wù)骨干參加實地督查，提高督查質(zhì)量。各市專責(zé)小組要根據(jù)自治區(qū)的部署，自行組織督查組對自治區(qū)未抽查到的縣(市、區(qū))開展檢查，實現(xiàn)檢查范圍的全覆蓋。

表1 測試序列所標(biāo)注的屬性說明

評估跟蹤器的方法是，根據(jù)第一幀中的準(zhǔn)確位置進行初始化，然后在一個測試序列中運行算法，最后得出平均成功率。我們把這種方法稱為一次通過的評估(OPE)。然而跟蹤器可能對初始化非常敏感，并且在不同的初試幀給予不同的初始化會使其性能變得更差或更好。因此，我們使用時間魯棒性評估和空間魯棒性評估來評估跟蹤器對初始化的魯棒性，在時間上(即在不同幀開始跟蹤)和空間上(即以不同的邊界框開始跟蹤)擾亂初始化。

對于我們的算法和對比的算法，所有評估都使用了源碼的默認參數(shù)。實驗環(huán)境是Intel i5 2400 CPU(3.1 GHz)。對于OPE，每個跟蹤器進行了超過29 000幀的測試，對于SRE，每個跟蹤器在每個序列中被評估了12次，對于TRE，每個視頻序列被分為20個片段進 行評估。

3.1 整體性能評估

對于跟蹤器的整體性能，我們以成功率圖的形式展示在圖1-圖3中，其中我們使用AUC分數(shù)值來對跟蹤器進行總結(jié)和排名。由于使用了成功率的AUC評分評估了整體性能，比單一閾值的成功率圖和精確度圖更加準(zhǔn)確，下面我們只分析基于成功率的排名。

圖1 OPE成功率排名

圖3 TRE成功率排名

從圖1-圖3可以看出，OPE的平均性能略高于TRE的平均性能，因為我們測試的序列集是隨機從基準(zhǔn)庫中選擇的。當(dāng)測試視頻難度較大時，OPE一次測試的結(jié)果平均值可能更高，當(dāng)測試難度降低，由于因為OPE所測試的幀數(shù)少于TRE的從第一個片段到最后一個片段的幀數(shù)之和，跟蹤器在較短的序列中傾向于表現(xiàn)更好，TRE中的所有結(jié)果的平均值可能更高。另一方面，SRE的平均性能比TRE的平均性能更低，因為初始化誤差可能會導(dǎo)致跟蹤器使用了不精確的表觀信息來更新，從而導(dǎo)致跟蹤框逐漸漂移。由于使用了異常判斷和具有前瞻性的更新算法，F(xiàn)SKCF在成功率上排名最高，其次是Struck，而TLD的變化較大，是由于其包含的重新檢測模塊能在長序列中表現(xiàn)得更好。 在速度上，F(xiàn)SKCF和CSK的速度最高，因為其循環(huán)矩陣的結(jié)構(gòu)起到了關(guān)鍵的作用。

3.2 基于特性的性能分析

表2 8種算法在6種屬性下的SRE成功率

在尺度變化上，F(xiàn)SKCF雖然能夠穩(wěn)定的跟蹤目標(biāo)，但是跟蹤的準(zhǔn)確度不高，即跟蹤的目標(biāo)區(qū)域可能遠大于目標(biāo)本身，這會影響后期的跟蹤效果，甚至導(dǎo)致跟蹤偏移。因為其目標(biāo)框的大小不變，在后續(xù)工作中，將考慮根據(jù)目標(biāo)尺寸自適應(yīng)改變跟蹤框尺寸來解決這一問題。同樣發(fā)現(xiàn)具有尺寸特性的算法在處理快速移動問題時也具有優(yōu)勢。

此外，TLD在目標(biāo)旋轉(zhuǎn)的問題上，表現(xiàn)出其優(yōu)越性。這是得益于其重檢測模塊，而FSKCF的表現(xiàn)則相對較弱，是因為判斷異常成立后，其分類器短暫暫停更新，導(dǎo)致分類器不能及時處理目標(biāo)旋轉(zhuǎn)問題。如圖4所示，football測試集第300幀對目標(biāo)跟丟后，F(xiàn)SKCF算法錯誤地將與未旋轉(zhuǎn)24號很像的38號作為目標(biāo)識別重新跟蹤。所以如何有效地處理平面內(nèi)和平面外旋轉(zhuǎn)問題，也將是FSKCF算法需要下一步研究的內(nèi)容。

圖4 紅色框-FSKCF 綠色框-TLD 藍色框-Struck

4 結(jié) 語

本文在核相關(guān)濾波器的基礎(chǔ)上對目標(biāo)跟蹤進行前瞻性更新。同時采用快速哈希編碼，在每次分類器更新前對跟蹤結(jié)果進行有效檢測，使用有效的跟蹤結(jié)果來進行分類器的更新，并對目標(biāo)遮擋和丟失做出相應(yīng)策略，大幅提高跟蹤性能。實驗結(jié)果證明了本文算法的有效性和魯棒性。算法也存在兩方面的問題需要我們進一步深入研究：

1) 目標(biāo)的跟蹤框是固定尺寸的，雖然我們的更新策略使得跟蹤器對尺度變化不敏感，但是FSKCF算法仍然不能獲取十分精準(zhǔn)的目標(biāo)區(qū)域。后期考慮利用更有效的哈希編碼方式來預(yù)測目標(biāo)的尺寸大小，結(jié)合目標(biāo)運動質(zhì)心位置自適應(yīng)的改變目標(biāo)框。

2) FSKCF算法能夠很好地對場景的突發(fā)情況進行預(yù)判，然而對目標(biāo)自身變化沒有有效的處理，比如目標(biāo)平面外旋轉(zhuǎn)、剛性形變。后期工作將考慮對目標(biāo)哈希編碼時不再使用簡單灰度值，而是選擇更有辨識力的特征來代替。

[1] Smeulders A W, Chu D M, Cucchiara R, et al. Visual Tracking: An Experimental Survey.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 36(7):1442-1468.

[2] Yang H, Shao L, Zheng F, et al. Recent advances and trends in visual tracking: A review[J]. Neurocomputing, 2011, 74(18): 3823-3831.

[3] Babenko B, Yang M H, Belongie S. Robust object tracking with online multiple instance learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632.

[4] Hare S, Saffari A, Torr P H S. Struck: Structured output tracking with kernels[C]//2011 International Conference on Computer Vision. IEEE, 2011: 263-270.

[5] Avidan S. Support vector tracking[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(8): 1064-1072.

[6] Grabner H, Leistner C, Bischof H. Semi-supervised on-line boosting for robust tracking[C]//European conference on computer vision. Springer Berlin Heidelberg, 2008: 234-247.

[7] Saffari A, Leistner C, Santner J, et al. On-line random forests[C]//12th International Conference on Computer Vision Workshops (ICCV Workshops), IEEE, 2009: 1393-1400.

[8] Bennett S. A history of control engineering, 1930-1955[M]. Institution of Engineering & Technology Isbn, 1993.

[9] Bolme D S, Beveridge J R, Draper B A, et al. Visual object tracking using adaptive correlation filters[C]//2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2010: 2544-2550.

[10] 牛夏牧, 焦玉華. 感知哈希綜述[J]. 電子學(xué)報, 2008, 36(7):1405-1411.

[11] Kumar B V K V, Mahalanobis A, Juday R D. Correlation pattern recognition[M]. Cambridge University Press, 2005.

[12] Henriques J F, Caseiro R, Martins P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//European conference on computer vision. Springer Berlin Heidelberg, 2012: 702-715.

[13] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[14] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection[J]. IEEE transactions on pattern analysis and machine intelligence, 2012, 34(7): 1409-1422.

[15] Danelljan M, H?ger G, Khan F, et al. Accurate scale estimation for robust visual tracking[C]//British Machine Vision Conference, Nottingham, September 1-5, 2014. BMVA Press, 2014.

[16] Zhang K, Zhang L, Yang M H. Real-time compressive tracking[C]//European Conference on Computer Vision. Springer Berlin Heidelberg, 2012: 864-877.

[17] Zhang T, Ghanem B, Liu S, et al. Robust visual tracking via multi-task sparse learning[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2012: 2042-2049.

[18] Bao C, Wu Y, Ling H, et al. Real time robust l1 tracker using accelerated proximal gradient approach[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2012: 1830-1837.

[19] Wu Y, Lim J, Yang M H. Online object tracking: A benchmark[C]// IEEE conference on computer vision and pattern recognition. 2013: 2411-2418.

A FAST AND ROBUST TRACKING ALGORITHM WITH KERNEL CORRELATION FILTER

Shi Wei1Zhang Dong1Chen Qing2Tan Shoubiao2*Zhang Ji3

1(DepartmentofOperationandMaintenance,StateGridTonglingPowerSupplyCompany,Tongling244000,Anhui,China)2(KeyLaboratoryofIntelligentComputingandSignalProcessing,MinistryofEducation,AnhuiUniversity,Hefei230039,Anhui,China)3(AnhuiJiyuanElectricPowerSystemTechCo.,Ltd.,Hefei230088,Anhui,China)

To solve the problems of scale variation, fast motion and illumination variation in the visual tracking, a Kernel Correlation Tracking algorithm based on forward looking updating and quick abnormality judging techniques is proposed. In this algorithm, history state information is updated gradually, and the differential signal of the target is adopted to early response to environmental changes. Meanwhile, the hash code matching is used to control the classifier updating: the previously correct targets have been hash encoded to calculate similarity of the hash code of the classification goal obtained by a new frame; and then the similarity is used to decide whether to update the classifier or whether to re-detect target. Experimental results indicate that the proposed algorithm not only can obtain improvement in scale change, fast motion, but also has strong robustness for other attributes, such as illumination variation and occlusion. Moreover, it still maintains high tracking efficiency with a speed of a hundred frames per second.

Visual tracking Discrete PID Hash match Correlation filters

2016-09-14。國家電網(wǎng)公司科技項目(5212D01502DB);國家自然科學(xué)基金項目(61201396,61301296)。施偉，高工，主研領(lǐng)域：電力調(diào)度管理。張東，高工。陳慶，碩士生。譚守標(biāo)，副教授。張驥，工程師。

TP391.41

A

10.3969/j.issn.1000-386x.2017.07.024