基于核相關(guān)濾波的抗干擾跟蹤算法研究

劉 樂 劉 勇 趙子倫 李 旭 劉天旭

（北京航天計(jì)量測試技術(shù)研究所，北京100076）

1 引言

在計(jì)算機(jī)視覺領(lǐng)域內(nèi)，目標(biāo)跟蹤是一個(gè)備受關(guān)注的研究熱點(diǎn)。目標(biāo)跟蹤是根據(jù)已知目標(biāo)的特征和坐標(biāo)，來預(yù)測后續(xù)視頻幀中目標(biāo)所在位置。近些年來，隨著人工智能的突飛猛進(jìn)以及計(jì)算機(jī)硬件設(shè)施的不斷完善，目標(biāo)跟蹤技術(shù)取得了長足進(jìn)步，無論是在國防軍事還是民用安全領(lǐng)域都有了廣泛應(yīng)用，包括車輛跟蹤、智能監(jiān)控、智能交互以及無人機(jī)偵察、精準(zhǔn)制導(dǎo)等。

基于相關(guān)濾波的跟蹤算法是目標(biāo)跟蹤領(lǐng)域內(nèi)應(yīng)用范圍廣、算法性能高的一類算法，其原理是基于已知目標(biāo)特征信息，設(shè)計(jì)出一個(gè)對目標(biāo)響應(yīng)高，背景響應(yīng)弱的濾波器，利用濾波器搜索出候選區(qū)域中響應(yīng)最大的位置即為目標(biāo)。2010年Bolme 等人了提出一種誤差最小平方和濾波器（Minimum Output Sum of Squared Error filter，MOSSE），通過對每幀圖像構(gòu)建相關(guān)濾波器，并在頻域進(jìn)行相關(guān)濾波，實(shí)現(xiàn)了目標(biāo)的實(shí)時(shí)跟蹤。在此框架基礎(chǔ)上，后續(xù)出現(xiàn)了許多針對尺度、核、邊界效應(yīng)等多方面的改進(jìn)算法，極大地拓展了相關(guān)濾波的應(yīng)用范圍。

2 KCF 概述

KCF 的本質(zhì)是通過回歸函數(shù)

f

＝

w

x

，找到合適的權(quán)重系數(shù)，使訓(xùn)練樣本和對應(yīng)的回歸值之間的誤差最小化。另外，回歸函數(shù)對輸入摻雜的噪聲極其敏感，使得輸出結(jié)果方差較大，為了解決這個(gè)問題，在回歸函數(shù)的基礎(chǔ)上增加懲罰項(xiàng)

λ

來限制參數(shù)

w

的增長，即，

通過引入非線性映射函數(shù)

φ

（

x

），可以將低維非線性不可分的問題映射至高維空間，從而轉(zhuǎn)化為線性求解，映射后表達(dá)式為

將映射后的

ω

代入到公式（1）中，將

ω

的優(yōu)化問題轉(zhuǎn)化為對

α

的求解問題，利用頻域中循環(huán)矩陣的性質(zhì)可以得到

在檢測過程中，同樣是通過傅里葉變換和核空間矩陣來計(jì)算樣本的回歸值，勢必減少了流程的運(yùn)算量；另外，KCF 使用的是性能較好的高斯核，其表達(dá)式為：

式中：

σ

——高斯核函數(shù)參數(shù)；

F

——逆傅里葉變換矩陣。

KCF 是相關(guān)濾波跟蹤算法中綜合性能較高的一種跟蹤算法，其利用循環(huán)位移的思想生成大量訓(xùn)練樣本，增強(qiáng)了分類器的泛化能力；為了提升算法的跟蹤速度，在訓(xùn)練和跟蹤過程中，將復(fù)雜的運(yùn)算過程變換至頻域，進(jìn)行乘積運(yùn)算，極大地降低了運(yùn)算量；另外，算法使用多通道的HOG 特征替代單一的灰度特征，有效地提升了跟蹤器性能。如圖1所示，為KCF 的工作框架，首先根據(jù)第一幀圖像中目標(biāo)的特征初始化相關(guān)濾波器模型，之后利用該模板搜索后續(xù)幀序列圖像中響應(yīng)最大的位置，即為該幀圖像的目標(biāo)位置；同時(shí)利用每幀圖像的目標(biāo)位置對濾波器模型參數(shù)進(jìn)行更新。

式中：σ—應(yīng)力（Pa）；Dε—彈性矩陣；ε—應(yīng)變；γ—泊松比；E—彈性模量（Pa）；α—熱膨脹系數(shù)(1/K)。

圖1 基于核相關(guān)濾波目標(biāo)跟蹤算法框架Fig.1 Tracking algorithm framework based on correlation filter

3 基于KCF 的抗干擾設(shè)計(jì)

3.1 增量式多模板融合策略

KCF 是一種判別式跟蹤算法，這類方法將跟蹤問題轉(zhuǎn)換為分類問題。因此，如何訓(xùn)練出一個(gè)可靠的分類器是該算法的關(guān)鍵。為了適應(yīng)目標(biāo)和場景的輕微變化，KCF 在跟蹤過程中根據(jù)每一幀的目標(biāo)位置對濾波模板進(jìn)行更新，提升了算法的抗干擾能力。其濾波模板更新采用的策略是線性疊加，具體表現(xiàn)形式為：

式中：

F

——第

t

幀跟蹤模板；

F

——第

t

-1 幀的跟蹤模板；

μ

——學(xué)習(xí)率。

這種簡單的模板線性融合機(jī)制忽略了不同時(shí)期濾波模板對跟蹤模板的影響程度，當(dāng)學(xué)習(xí)率過大，在出現(xiàn)目標(biāo)丟失、遮擋以及圖像模糊等情況時(shí)，模型會(huì)累積學(xué)習(xí)背景信息，導(dǎo)致模型向背景漂移，無法再次跟蹤到目標(biāo)；當(dāng)學(xué)習(xí)率過小時(shí)，模型的更新程度過慢難以滿足目標(biāo)變化速度，使得濾波模型判別能力降低。

因此，本文提出了一種增量式多模板的更新方法，即融合了分別基于當(dāng)前幀、前一幀和歷史幀中置信度最高的跟蹤結(jié)果所建立的跟蹤模板。置信度越高代表該幀中目標(biāo)特征越明顯，未被遮擋或未受到光照等因素的影響，以此為基礎(chǔ)建立的模板性能也更好。因此在模板更新中引入歷史幀中置信度最高的濾波模板能夠有效減小對模板的污染。為了更準(zhǔn)確地衡量跟蹤結(jié)果的可靠性，引入

APCE

（average peak-to-correlation energy）來判斷跟蹤是否穩(wěn)定，其表達(dá)式為：

式中：

F

——響應(yīng)矩陣的最大值；

F

——響應(yīng)矩陣的最小值；

F

表示響應(yīng)矩陣中第

w

列第

h

行的元素值。圖2 是目標(biāo)丟失和準(zhǔn)確跟蹤兩種情況下的特征響應(yīng)圖，紅色框?yàn)槟繕?biāo)實(shí)際坐標(biāo)，綠色框?yàn)樗惴A(yù)測結(jié)果。可以看出

APCE

能夠準(zhǔn)確地反映出算法跟蹤結(jié)果的可靠程度，當(dāng)目標(biāo)被準(zhǔn)確跟蹤時(shí)，

APCE

值較大且響應(yīng)矩陣具有尖銳的響應(yīng)峰；當(dāng)目標(biāo)丟失時(shí)，

APCE

快速下降，響應(yīng)矩陣出現(xiàn)多個(gè)平滑波峰。

圖2 目標(biāo)跟蹤響應(yīng)矩陣Fig.2 Target tracking response matrix

增量式多模板融合策略在模板更新過程中引入歷史置信度最大的濾波模板，以降低各種干擾對模板帶來的負(fù)面影響，表現(xiàn)形式為：

式中：

μ

——置信度最大跟蹤模板的學(xué)習(xí)率；

F

——?dú)v史幀中置信度最大的濾波模板。這種增量式多模板更新策略最大程度地保留了模板的歷史信息，確保目標(biāo)特征信息來源的多樣性，提升了算法的泛化性能；另外基于高置信度跟蹤結(jié)果所建立的濾波模板可靠性較高，能夠減小因引入背景信息給模板帶來的污染，克服模板漂移。

3.2 尺度自適應(yīng)估計(jì)

良好的尺度估計(jì)是確保目標(biāo)跟蹤算法穩(wěn)定跟蹤的一個(gè)重要因素，KCF 將目標(biāo)的跟蹤尺度設(shè)為固定值，沒有為尺度變化的目標(biāo)建立自適應(yīng)的模型，因此當(dāng)目標(biāo)的尺度發(fā)生變化時(shí)，算法難以自適應(yīng)地改變跟蹤框的大小。當(dāng)目標(biāo)尺度增大時(shí)，固定尺寸的跟蹤框難以包含整個(gè)目標(biāo)，從而無法提取目標(biāo)全部的特征信息，極易造成跟蹤失敗；當(dāng)目標(biāo)尺度減小時(shí)，跟蹤框內(nèi)包含了背景信息，可能導(dǎo)致算法過擬合。因此為了減小因目標(biāo)尺度變化所帶來的干擾，本文提出了一種尺度自適應(yīng)估計(jì)的方法。

假設(shè)初始目標(biāo)尺度為

M

×

N

，在經(jīng)過尺度因子

S

＝｛

S

，

S

，…，

S

｝加權(quán)后，可以得到跟蹤窗口大小為

m

×

n

不同的尺度因子對應(yīng)不同大小的目標(biāo)樣本

Z

＝（

Z

，

Z

，…，

Z

），在樣本經(jīng)過相關(guān)濾波后，可以計(jì)算出各個(gè)樣本的輸出響應(yīng)值：

式中：

z

——第

i

個(gè)樣本；

K

——樣本

z

與模板x 之間的相關(guān)性，

α

——濾波器。其中最大的特征響應(yīng)值所對應(yīng)的尺度即為當(dāng)前幀目標(biāo)的最佳尺度因子，為了獲得更加穩(wěn)定的自適應(yīng)尺度，使用高斯分布函數(shù)對目標(biāo)尺度進(jìn)行優(yōu)化，將最大輸出響應(yīng)定義為：

式中：

g

（

z

）——尺度因子

S

對應(yīng)的輸出響應(yīng)；

P

（

S

）——選取尺度因子

S

時(shí)高斯分布的可能性。由此可以得到最大后驗(yàn)概率下的最佳尺度因子為

由此可以得到最佳尺度窗口：

通過預(yù)先設(shè)定的尺度因子在目標(biāo)附近生成多個(gè)樣本，計(jì)算每個(gè)樣本與濾波模板的響應(yīng)，響應(yīng)越大則表示當(dāng)前尺度下的樣本包含的目標(biāo)信息越多，由此可以得到一個(gè)最適合當(dāng)前幀的目標(biāo)跟蹤框。

4 試驗(yàn)結(jié)果與分析

試驗(yàn)選擇公開數(shù)據(jù)集OTB50 作為測試用例，該數(shù)據(jù)集包括了遮擋、光照變化以及快速運(yùn)動(dòng)等多種場景。試驗(yàn)將增量式多模板融合策略和尺度自適應(yīng)估計(jì)逐步疊加至KCF，以驗(yàn)證該兩種抗干擾設(shè)計(jì)的有效性。為了更好地衡量本文基于KCF 抗干擾設(shè)計(jì)的性能，采取準(zhǔn)確率、精度以及FPS 作為試驗(yàn)定量的評價(jià)指標(biāo)。精度是指預(yù)測目標(biāo)位置與真實(shí)目標(biāo)位置的歐式距離小于某個(gè)閾值的幀數(shù)占總幀數(shù)的百分比，歐式距離表達(dá)式為

如表1所示，為標(biāo)準(zhǔn)KCF 和抗干擾KCF 的性能對比，從表1 中的指標(biāo)對比可以看出，增量式模板融合策略和尺度自適應(yīng)估計(jì)均對KCF 跟蹤結(jié)果有所提升。在20 像素的閾值下，抗干擾KCF 跟蹤精度為0.826，相比KCF 提高了12.3%；而在0.5的重疊率閾值下，抗干擾KCF 的準(zhǔn)確率為0.809，相比標(biāo)準(zhǔn)KCF 提升13.4%。由此可以說明，本文的兩種抗干擾設(shè)計(jì)能夠處理目標(biāo)遮擋以及目標(biāo)尺度變化，實(shí)現(xiàn)穩(wěn)定準(zhǔn)確的跟蹤。

表1 增量式多模板融合策略性能對比Tab.1 Performance comparison of incremental multi template fusion strategy

為了更加直觀的展示本文算法在抗干擾方面的優(yōu)良性能，選取了存在遮擋、尺度變化以及未有干擾的三組圖像序列進(jìn)行對比說明，如圖3所示，為標(biāo)準(zhǔn)KCF 以及抗干擾設(shè)計(jì)后的跟蹤效果，紅色框?yàn)榭垢蓴_KCF 跟蹤結(jié)果，綠色框?yàn)闃?biāo)準(zhǔn)KCF 跟蹤結(jié)果。圖3（a）是目標(biāo)未受到任何干擾時(shí)，兩種算法跟蹤效果相差不大；而在圖3（b）（c）目標(biāo)受到光照干擾和遮擋影響時(shí)，原有的KCF 很難在干擾中穩(wěn)定跟蹤或者在干擾消失后出現(xiàn)目標(biāo)丟失的問題；而抗干擾KCF 能在光照和目標(biāo)被遮擋時(shí)穩(wěn)定捕捉到目標(biāo)；圖3（d）為目標(biāo)尺度變化時(shí)的跟蹤效果，可以看出當(dāng)目標(biāo)尺度發(fā)生變化時(shí)，KCF 固定大小的跟蹤框中逐漸出現(xiàn)大量背景信息，不斷疊加至濾波模板，最終導(dǎo)致目標(biāo)丟失。因此本文提出的基于KCF 的抗干擾方法能夠應(yīng)對目標(biāo)遮擋、光照變化以及目標(biāo)尺度變化的狀況。

圖3 不同場景下跟蹤效果Fig.3 Tracking effect under different scenarios

5 結(jié)束語

本文基于KCF 進(jìn)行抗干擾目標(biāo)跟蹤算法的研究。KCF 在模板更新時(shí)采用線性融合的方式，遇到目標(biāo)遮擋或光照等因素干擾時(shí)，極易引起模板的漂移，對此，本文提出增量式多模板融合的策略，減小背景信息給濾波模板帶來的污染，提升算法的魯棒性；另外，KCF 采用固定大小的跟蹤框，難以應(yīng)對目標(biāo)尺度變化的情況，本文進(jìn)行尺度自適應(yīng)設(shè)計(jì)以增強(qiáng)算法的抗干擾性。最后通過試驗(yàn)驗(yàn)證，與標(biāo)準(zhǔn)KCF 相比，本文提出的抗干擾KCF 在遇到干擾時(shí)擁有較強(qiáng)的魯棒性。