一種多特征自適應(yīng)學(xué)習(xí)機(jī)制的目標(biāo)跟蹤算法*

甘展鵬 許華榮，2 何原榮 曹 衛(wèi)

（1.廈門理工學(xué)院計(jì)算機(jī)與信息工程學(xué)院 廈門 361024）（2.廈龍工程技術(shù)研究院 龍巖 364000）

1 引言

隨著計(jì)算機(jī)和科學(xué)技術(shù)的發(fā)展，機(jī)器視覺(jué)廣泛的應(yīng)用于人們生活中的方方面面。在實(shí)際的生活中，目標(biāo)跟蹤技術(shù)已經(jīng)廣泛地應(yīng)用于智能視頻監(jiān)控、汽車導(dǎo)航、無(wú)人機(jī)的目標(biāo)跟蹤、智能交通等行業(yè)中［1～5］，而相關(guān)濾波憑借的高速的處理能力和良好的跟蹤正確率受到人們的青睞。在2010年，Bolme［6］等人，通過(guò)計(jì)算最小均方誤差（MOSSE）計(jì)算相似性，首次將時(shí)域轉(zhuǎn)換到頻域進(jìn)行計(jì)算；2014年，Henriques等提出了多通道HOG特征的核相關(guān)濾波器KCF［7］；Danelljan提出了具備尺度變化判別的DSST算法［8］；2014年的SAMF［9］提出一種將灰度、HOG和CN相結(jié)的多特征表示以及加入尺度估計(jì)實(shí)現(xiàn)目標(biāo)跟蹤；在2016年，Bertinetto等提出STAPLE［10］，利用顏色直方圖濾波器和HOG濾波器進(jìn)行互補(bǔ)學(xué)習(xí)跟蹤；在2017年，Danelljan提出ECO［11］通過(guò)因式分解卷積的方法簡(jiǎn)化特征提取。

上述的算法對(duì)相關(guān)濾波目標(biāo)跟蹤進(jìn)行了一定程度上的改進(jìn)。但是依舊存在以下幾個(gè)問(wèn)題：跟蹤的精度和正確率有待提高；在運(yùn)動(dòng)模糊或者遮擋情況下，容易發(fā)生漂移或者跟蹤失敗。針對(duì)以上問(wèn)題，本文分別單獨(dú)訓(xùn)練HOG+Gray濾波器和CN濾波器，然后線性加權(quán)融合兩個(gè)濾波器的響應(yīng)圖，來(lái)提高判別器判別能力；通過(guò)構(gòu)建尺度池，求取最大尺度來(lái)響應(yīng)輸出最佳尺度變化，以及融入反向檢測(cè)輸出正確尺度；通過(guò)目標(biāo)歷史運(yùn)動(dòng)狀態(tài)以及響應(yīng)變化提出一種自適應(yīng)學(xué)習(xí)率機(jī)制，實(shí)現(xiàn)動(dòng)態(tài)的模型更新。

2 KCF跟蹤算法

在跟蹤器的訓(xùn)練過(guò)程中，KCF利用循環(huán)矩陣進(jìn)行密集采樣，得到樣本集：{x1，x2，x3，...， }xn構(gòu)建線性嶺回歸模型：

其中，yi是樣本xi的標(biāo)簽，f為濾波器，ω為濾波器參數(shù)，λ為正則化系數(shù)。

對(duì)線性嶺回歸進(jìn)行求解可得：

其中，X為樣本的循環(huán)矩陣，I為單位陣。

為了提高跟蹤器的判別能力，利用非線性函數(shù)φ(x)將樣本集映射到高維空間，此時(shí)

其中，α是w的對(duì)偶空間變量。并且引入核技巧，最終嶺回歸的解為

其中，K為核相關(guān)矩陣。借助循環(huán)矩陣的性質(zhì)，最終求得在頻域中的解為

其中，∧表示傅里葉變換，k∧xx表示樣本x在傅里葉中的自相關(guān)。

3 一種多特征自適應(yīng)學(xué)習(xí)機(jī)制的目標(biāo)跟蹤算法

3.1 多特征線性融合

為提高跟蹤器的判別能力，將HOG、GRAY和CN三種不同屬性的特征進(jìn)行線性加權(quán)融合。首先訓(xùn)HOG+GRAY特征的濾波器和CN顏色濾波器。其次，計(jì)算兩個(gè)濾波器的APCE［12］（average peak to correlation energy）響應(yīng)值。最后，線性加權(quán)融合兩個(gè)濾波器的輸出響應(yīng)，得到最終響應(yīng)。其中，APCE計(jì)算如下：

其中，R是響應(yīng)圖，“mean”為均值操作。

分別計(jì)算兩個(gè)濾波器輸出響應(yīng)的置信值A(chǔ)PCEHOG+GRAY，APCECN來(lái)自適應(yīng)線性加權(quán)得到最終響應(yīng)R：

其中，RHOG+GRAY、RCN分別是HOG+GRAY和CN濾波器兩個(gè)濾波器的輸出響應(yīng)圖。

3.2 尺度濾波器與反向檢測(cè)

針對(duì)KCF不具備尺度變換問(wèn)題，文獻(xiàn)［8，13］采用一個(gè)一維的尺度估計(jì)濾波器來(lái)輸出對(duì)應(yīng)目標(biāo)的尺度，并加入反向檢測(cè)機(jī)制，提高尺度判別準(zhǔn)確的。

通過(guò)當(dāng)前幀目標(biāo)的寬P、高R以及尺度因子a來(lái)確定目標(biāo)的尺寸：

根據(jù)式（10）生成對(duì)應(yīng)大小的圖像塊，并且提取每個(gè)圖像塊的d維特征，從而訓(xùn)練一個(gè)尺度濾波器h。

雖然通過(guò)尺度濾波器能夠較好地在物體發(fā)生尺度變換的情況下正確的框出大小，但是難免會(huì)出現(xiàn)尺度估計(jì)錯(cuò)誤的情況。如圖1 human3中，目標(biāo)尺度發(fā)生很微小的變化，但是由于尺度濾波器錯(cuò)誤估計(jì)，導(dǎo)致納入太多錯(cuò)誤背景信息，發(fā)生濾波器跟蹤丟失。

圖1 human3視頻序列

因此，本文針對(duì)上述問(wèn)題，提出一種反向檢測(cè)的方式來(lái)避免錯(cuò)誤的尺度估計(jì)。具體流程：首先通過(guò)尺度濾波器輸出最佳目標(biāo)尺度，然后將得到的新尺度反向的進(jìn)行上述的HOG+Gray濾波器和CN顏色特征濾波器檢測(cè)并線性融合得到新的響應(yīng)圖R，通過(guò)計(jì)算當(dāng)前估計(jì)尺度下目標(biāo)的APCE置信度和前一幀APCE置信度的大小。當(dāng)反向檢測(cè)最終的APCE滿足APCEt<β*APCEt-1時(shí)候，停止更新目標(biāo)尺度；否則更新目標(biāo)尺度。

3.3 自適應(yīng)學(xué)習(xí)率

由于傳統(tǒng)的KCF采用固定的學(xué)習(xí)率進(jìn)行更新模型逐幀更新，所以當(dāng)物體發(fā)生快速運(yùn)動(dòng)或者遮擋的時(shí)候容易導(dǎo)致模型污染。針對(duì)以上問(wèn)題，本文提出一種根據(jù)物體運(yùn)動(dòng)速度與APCE相結(jié)合的自動(dòng)學(xué)習(xí)率調(diào)整模型。在先前提到的APCE中，其可以反映響應(yīng)圖的波動(dòng)情況。當(dāng)目標(biāo)快速移動(dòng)或者發(fā)生遮擋的時(shí)候APCE會(huì)出現(xiàn)明顯的下降，意味著當(dāng)前的響應(yīng)置信度不高，此時(shí)可以通過(guò)調(diào)低學(xué)習(xí)率或者禁止模型更新，防止模型引入過(guò)多的噪聲干擾。更新率θ1與APCE取值之間的關(guān)系滿足以下公式：

其中，mean_apce是歷史幀的均值，公式如下：

圖2 APCE的變化-更新率曲線

在式（11）和（12）中的APCE由式（6）計(jì)算得到。

有時(shí)候，單獨(dú)的使用APCE來(lái)計(jì)算更新率不一定能夠很好地反映物體的運(yùn)動(dòng)狀態(tài)。因此引入物體運(yùn)動(dòng)速度來(lái)估計(jì)模型的更新率。當(dāng)物體快速移動(dòng)的時(shí)候，應(yīng)加大更新率，防止模型更新過(guò)慢而導(dǎo)致跟丟；當(dāng)物體運(yùn)動(dòng)較為緩慢，可以降低更新率。本文將上一幀目標(biāo)的中心位置與當(dāng)前幀目標(biāo)的中心位置的歐氏距離視為物體每一幀的運(yùn)動(dòng)速度。更新率θ2與速度v之間的關(guān)系式如下［14］：

當(dāng)物體發(fā)生遮擋的時(shí)候，根據(jù)文獻(xiàn)［13，15］提出的遮擋判別策略，本文將兩者的優(yōu)點(diǎn)融合在一起，用于物體發(fā)生遮擋的時(shí)候，停止模型更新。

首先，計(jì)算當(dāng)前的相鄰兩幀的峰值變換情況：

其次分別計(jì)算歷史峰值變換均值：

根據(jù)式（12）計(jì)算歷史均值mean(APCE)與APCEt之間的比例關(guān)系。在兩種同時(shí)滿足一點(diǎn)比例的時(shí)候，說(shuō)明物體發(fā)生了遮擋應(yīng)以較小的學(xué)習(xí)率更新模型或者停止模型的更新。

最終，為了得到更加魯棒的自動(dòng)更新率，本文將兩者進(jìn)行線性融合，每隔兩幀計(jì)算最終的學(xué)習(xí)因子η，如下：

3.4 算法步驟

本文算法步驟如下：

輸入：視頻幀frames.

輸出：目標(biāo)框target_sz，中心位置Pos.

1）初始化HOG+Gray位置濾波器和CN位置濾波器，尺度濾波器h.

2）對(duì)于第i幀，根據(jù)式（7）計(jì)算位置濾波器最終的響應(yīng)圖R.

3）根據(jù)位置濾波器得到的目標(biāo)位置，通過(guò)尺度濾波器計(jì)算S個(gè)尺度下對(duì)應(yīng)的響應(yīng)，輸出尺度濾波器最佳尺度S_Best，并將該尺度反向傳回到位置濾波器HOG+Gray和CN進(jìn)行計(jì)算APCE置信度，從而輸出最終的最佳目標(biāo)尺度.

4）每隔兩幀計(jì)算當(dāng)前目標(biāo)的學(xué)習(xí)因子，更新目標(biāo)濾波器的模型.

4 分析與討論

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)以Matlab 2015a為開(kāi)發(fā)平臺(tái)，在Windows 10系統(tǒng)，處理器Inter（R）Core（TM）i5-9300H CPU@2.40GHz的電腦上測(cè)試。實(shí)驗(yàn)用的是Visual Tracker Benchmark測(cè)試的OTB-100數(shù)據(jù)集進(jìn)行測(cè)試［16～17］。在整個(gè)目標(biāo)跟蹤實(shí)驗(yàn)里，與主流的跟蹤算法DSST、MOSSE_CA［18］、DCF_CA［18］，KCF、SAMF、CT［19］、CSK［20］共七種算法進(jìn)行對(duì)比實(shí)驗(yàn)。

4.2 實(shí)驗(yàn)系數(shù)確定

經(jīng)過(guò)實(shí)驗(yàn)表明，在算法跟蹤矩形框與實(shí)際標(biāo)注框的中心距離設(shè)置為20的情況下，自動(dòng)學(xué)習(xí)率的系數(shù)選擇為b=0.018，c=0.01實(shí)驗(yàn)成功率最好。

表1 不同系數(shù)下的目標(biāo)跟蹤成功率

4.3 定量分析

經(jīng)過(guò)試驗(yàn)分析，本文的參數(shù)選擇為首幀學(xué)習(xí)率learning_factor=0.02；動(dòng)態(tài)學(xué)習(xí)率更新系數(shù)b=0.018，c=0.01，β=0.95，η1=1.5，η2=0.45，KCF和DSST的λ=10-4。其余參數(shù)和KCF、DSST一樣。

從上圖可以得知，本文的算法在OTB-100數(shù)據(jù)集上，選擇OPE評(píng)測(cè)方法得到的DP和OP相較于其他7種算法具有較好的成功率和精度。在精度曲線圖設(shè)置評(píng)測(cè)閾值為20像素點(diǎn)的情況下，DP得分為0.776，相較于SAMF和DCF_CA分別提升了2.5%和3.2%；在重疊率閾值為0.5的情況下，OP得分為0.699，相較于SAMF和DSST提升了3%和8.6%。為了更好地評(píng)測(cè)本文算法與其他算法的性能差異，在OTB-100數(shù)據(jù)集中11種不同屬性目標(biāo)跟蹤場(chǎng)景下進(jìn)行分析。表2～3中格數(shù)據(jù)加粗的為評(píng)分第一，下劃線為第二。

圖3 8種算法在OTB-100中得到的精度曲線圖和成功率曲線圖

從表2～4可以看出，在保持較好的跟蹤速度的同時(shí)，本文算法還能夠具備較優(yōu)的跟蹤準(zhǔn)確率。

表2 8種目標(biāo)跟蹤算法在11種不同場(chǎng)景下的距離精度DP評(píng)價(jià)指標(biāo)

表3 8種目標(biāo)跟蹤算法在11種不同場(chǎng)景下的成功率OP評(píng)價(jià)指標(biāo)

表4 8種算法在OTB-100上的平均速度和精度

5 結(jié)語(yǔ)

本文算法是在傳統(tǒng)的KCF核相關(guān)濾波框架上，提出一種多特征融合、尺度判別和自適應(yīng)學(xué)習(xí)率的跟蹤算法。經(jīng)過(guò)實(shí)驗(yàn)表明，本文算法在目標(biāo)尺度變換、遮擋、快速運(yùn)動(dòng)以及光照變化等具有較好的跟蹤魯棒性。同時(shí)，在跟蹤速度上平均幀率為45.5fps，滿足實(shí)時(shí)物體跟蹤要求。本文算法主要是針對(duì)目標(biāo)跟蹤的短時(shí)跟蹤，接下來(lái)的工作可以從長(zhǎng)時(shí)間目標(biāo)跟蹤入手；本文選擇的特征主要是傳統(tǒng)的手工特征，為了達(dá)到更好的跟蹤效果，未來(lái)可以嘗試更具深層次的深度特征。