特征融合的尺度自適應(yīng)核相關(guān)跟蹤算法

葉秋笛，袁 亮，呂 凱

(新疆大學(xué) 機(jī)械工程學(xué)院，新疆 烏魯木齊 830047)

0 引 言

目標(biāo)跟蹤是計(jì)算機(jī)視覺中非常具有挑戰(zhàn)性的研究課題[1,2]，近年來，以準(zhǔn)確性和實(shí)用性并稱的相關(guān)濾波器的跟蹤方法[3-7]迅速發(fā)展。相關(guān)濾波器跟蹤的思想是對(duì)當(dāng)前幀目標(biāo)及其周圍一定區(qū)域進(jìn)行特征提取，并采用循環(huán)矩陣對(duì)訓(xùn)練樣本增廣，將提取到的特征通過傅里葉變換從時(shí)域轉(zhuǎn)化到頻域，帶入嶺回歸方程來訓(xùn)練濾波器[8]，最后將濾波器與下一幀的待預(yù)測區(qū)域做相關(guān)運(yùn)算，用最大響應(yīng)位置來更新目標(biāo)位置。相關(guān)濾波器在跟蹤速度和準(zhǔn)確率上比粒子濾波器有了顯著的提升，但是依然沒有很好解決目標(biāo)尺變化、目標(biāo)周圍存在復(fù)雜干擾等問題；很多主流相關(guān)濾波跟蹤器[8-10]均采用單一(histogram of oriented gradient，HOG)特征作為提取到的特征來進(jìn)行跟蹤，HOG特征在對(duì)于目標(biāo)發(fā)生旋轉(zhuǎn)，形態(tài)變化等情況時(shí)，跟蹤魯棒性明顯降低。

為了提升相關(guān)濾波器在面對(duì)上述問題的魯棒性，在KCF算法上提出一種具有良好抵抗尺度變化、復(fù)雜干擾能力的跟蹤算法。對(duì)HOG與CH(color histogram)特征[11]進(jìn)行加權(quán)融合，通過融合CH特征光照魯棒性與HOG特征的形變魯棒性，增強(qiáng)跟蹤器在復(fù)雜跟蹤場景下的泛化能力。在解決尺度變化的問題時(shí)，采用一個(gè)含有7個(gè)尺度因子的尺度池，在尺度池里尋找響應(yīng)最大的尺度作為當(dāng)下尺度；最后在模板更新策略上，采用APCE，average peak-to-correlation energy[12]作為評(píng)判標(biāo)準(zhǔn)，一定程度上防止了模板錯(cuò)誤更新而導(dǎo)致的跟蹤飄移、丟失等問題。

1 相關(guān)濾波跟蹤器

1.1 KCF跟蹤器原理

KCF算法中采用嶺回歸來訓(xùn)練分類器，通過核函數(shù)將線性空間的嶺回歸映射到高維的非線性回歸，最后求解映射后的嶺回歸函數(shù)，得到所求最高響應(yīng)位置；在傅里葉變換的過程中，運(yùn)用循環(huán)矩陣在傅里葉空間可對(duì)角化的性質(zhì)將矩陣的運(yùn)算轉(zhuǎn)化為元素之間的點(diǎn)乘，從而加速了運(yùn)算的過程。

1.2 KCF相關(guān)計(jì)算

在嶺回歸的訓(xùn)練過程中，定義訓(xùn)練樣本集為(xi,yi)，那么線性回歸函數(shù)f(x)=wTx， 式中：w是x的權(quán)重；定義損失函數(shù)為

(1)

w=(XTX+λI)-1XTY

(2)

式中：X,Y分別是樣本與標(biāo)簽的矩陣。這里通過使用核函數(shù)，將低維的線性問題映射為核空間的非線性問題，使得樣本在新的空間里線性可分；定義核相關(guān)

k(x,x′)=〈φ(x),φ(x′)〉

(3)

式中：φ(x)為w的線性組合，即

(4)

式中： 〈·,·〉 表示內(nèi)積，將式(4)帶入式(2)，求解w的問題轉(zhuǎn)化為求解x的問題

a=(Kxx+λI)-1y

(5)

式中：Kxx為相關(guān)矩陣XTX的核空間表示，訓(xùn)練相關(guān)濾波器需要大量的樣本作為數(shù)據(jù)支撐，而大量的訓(xùn)練樣本又會(huì)減緩濾波器的運(yùn)算，這對(duì)于樣本的生成與濾波器訓(xùn)練提出了新的要求。循環(huán)矩陣的使用比較好地解決了這個(gè)問題；對(duì)于一對(duì)樣本與其真實(shí)標(biāo)簽 (x,y|x,y∈Rn×1)， 如果x=(a1,a2,…,an)T的循環(huán)仍是樣本，定義由樣本循環(huán)位移產(chǎn)生的循環(huán)矩陣

(6)

對(duì)于一個(gè)新的樣本x′=(a′1,a′2,…,a′n)T， 那么x與x′所有循環(huán)樣本的內(nèi)積可以表示為

(7)

式中：⊙表示矩陣的Hadamard積，F(xiàn),F-1分別表示離散傅里葉變換與逆離散傅里葉變換，符號(hào)*表示共軛復(fù)數(shù)。利用循環(huán)矩陣的酉矩陣性質(zhì)，在頻域計(jì)算式(5)中的核參數(shù)a

(8)

式中：kxx是核函數(shù)矩陣Kxx中第一行元素組成的向量。同樣的，我們構(gòu)建關(guān)于待測樣本的核函數(shù)，計(jì)算所有待測樣本的響應(yīng)

(9)

式中：kxz是核函數(shù)矩陣Kxz中第一行元素組成的向量。使用高斯核作為濾波器的核函數(shù)，最終得到樣本的核相關(guān)表示為

(10)

式中：L表示特征的通道數(shù)。

2 改進(jìn)算法

2.1 特征融合

在多種跟蹤問題同時(shí)存在的跟蹤場景下，配置單一特征的跟蹤器往往會(huì)出現(xiàn)跟蹤失敗的情況，這對(duì)特征提取提出了新的要求。通過在KCF跟蹤器下加入CH特征，利用HOG與CH的互補(bǔ)特性，提取到更加豐富的特征信息。

CH特征定義為一個(gè)平均特征像素的線性函數(shù)

(11)

式中：βT表示權(quán)重，H是全局像素?cái)?shù)量，ψ[u]表示顏色特征像素。參考VOT13挑戰(zhàn)中PLT方法，設(shè)定一種特殊形式的特征索引方式ψ[u]=ek[u]， 索引向量ei在索引i方向?yàn)?，其余方向都為0；如此，只需查找所有滿足βTψ[u]=βk[u]的情況并計(jì)算單一稀疏內(nèi)積，而非全局內(nèi)積。為了更好的與HOG特征融合，對(duì)跟蹤目標(biāo)和背景區(qū)域獨(dú)立計(jì)算損失，并線性相加

(12)

式中：x為樣本，p為真實(shí)目標(biāo)框位置，O為目標(biāo)區(qū)域像素，B為背景區(qū)域像素；將目標(biāo)在每個(gè)特征維度分解為獨(dú)立的項(xiàng)

(13)

(14)

(15)

式中：γ∈[0,1] 是權(quán)值超參數(shù)，最后由融合后的最大置信值yi確定當(dāng)前幀的目標(biāo)位置。

2.2 多尺度估計(jì)

針對(duì)跟蹤過程中目標(biāo)尺度發(fā)生變化的問題，提出了通過設(shè)定一個(gè)不同尺度的尺度池，將池內(nèi)不同尺度大小的目標(biāo)與真實(shí)值做相關(guān)計(jì)算，最后將響應(yīng)最大的尺度更新為當(dāng)前尺度。設(shè)原始圖像空間中的目標(biāo)窗口大小為st，通過雙線性差值將模板大小固定為ST=(Sx,Sy)， 并定義一個(gè)線性變尺度的尺度池S=[t1,t2,…,tk]。 式中：k為設(shè)定尺度的數(shù)量。對(duì)于當(dāng)前幀，在 {tist|ti∈S} 中以預(yù)先設(shè)定好的尺度池采樣k個(gè)不同尺度的目標(biāo)，分別計(jì)算k次響應(yīng)

(16)

式中：zti表示歸一為ST大小的ti尺度樣本；所得最大響應(yīng)的ti即為當(dāng)前幀的目標(biāo)尺度。

在改進(jìn)算法中，采用k=7,S=[0.985, 0.990, 0.995, 1, 1.005, 1.010, 1.015]。

2.3 模板更新策略

目標(biāo)跟蹤的過程中，會(huì)根據(jù)響應(yīng)值的變化來更新模板，在復(fù)雜的跟蹤場景下，目標(biāo)如果過于頻繁的更新模板，會(huì)將背景的干擾信息更新到模板里，進(jìn)而使得跟蹤器錯(cuò)誤將背景信息理解為目標(biāo)信息，最終導(dǎo)致目標(biāo)跟丟。針對(duì)這個(gè)問題，提出了利用APCE作為檢測置信度的評(píng)價(jià)指標(biāo)

(17)

式中：Fmax表示全局最高響應(yīng)，F(xiàn)min表示全局最低響應(yīng)，F(xiàn)w,h表示在位置 (w,h) 時(shí)的響應(yīng)。這個(gè)判斷依據(jù)反映了響應(yīng)的震蕩程度，當(dāng)APCE突然減小時(shí)，說明目標(biāo)出現(xiàn)了被遮擋的情況，這時(shí)模板會(huì)停止更新，防止跟蹤失敗或目標(biāo)框漂移；通過設(shè)定兩個(gè)閾值參數(shù)η1,η2，在當(dāng)前幀t時(shí)，只有同時(shí)滿足式(18)和式(19)時(shí)，目標(biāo)模板才會(huì)繼續(xù)更新，否則模板停止更新，默認(rèn)為上一幀的模板

(18)

(19)

2.4 改進(jìn)算法流程

改進(jìn)的算法流程詳見表1。

表1 改進(jìn)算法流程

3 實(shí)驗(yàn)和結(jié)果分析

首先，將提出的改進(jìn)算法在OTB100測試集上進(jìn)行部件分析，OTB100一共有100個(gè)視頻序列，其中有彩色序列也有灰度序列；這些序列包含了11種跟蹤問題，它們分別是快速運(yùn)動(dòng)(FM)、背景干擾(BC)、動(dòng)態(tài)模糊(MB)、形變(DEF)、光照變化(IV)、平面內(nèi)旋轉(zhuǎn)(IPR)、平面外旋轉(zhuǎn)(OPR)、低分辨率(LR)、遮擋(OCC)、出視野(OV)和尺度變化(SV)。隨后將改進(jìn)算法與4種流行的相關(guān)濾波目標(biāo)跟蹤算法進(jìn)行比較，這4種算法分別是KCF、DSST、Staple、SAMF。在分析實(shí)驗(yàn)結(jié)果上，采用OPE(one pass evaluation)模式，使用的評(píng)價(jià)指標(biāo)為精準(zhǔn)度和成功率。精確度指的是中心位置誤差小于20像素的幀數(shù)占視頻序列總幀數(shù)的比例

(20)

式中： (xt，yt) 為跟蹤算法在跟蹤過程中獲得的目標(biāo)中心位置， (xg，yg) 為真實(shí)目標(biāo)中心位置。成功率指的是算法的成功率曲線與坐標(biāo)軸所圍成的面積，成功率曲線由式(21)確定

(21)

式中：rt為跟蹤算法跟蹤過程的回歸邊框，r0為真實(shí)邊框。

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)平臺(tái)的硬件配置為I5-4460 3.20 GHz 4核CPU，8 GB RAM的計(jì)算機(jī)，算法的開發(fā)平臺(tái)為MATLAB 2018b。在參數(shù)設(shè)置上，除非特殊說明，參數(shù)配置均參照原始論文中配置的默認(rèn)參數(shù)。

3.2 定性分析

如表2所示，從OTB100中選取10個(gè)具有特點(diǎn)的視頻集，將改進(jìn)算法及4種對(duì)比算法在視頻集中的回歸框同時(shí)放在視頻集的每一幀圖片上。

表2 視頻集信息

通過圖1結(jié)果表明，提出的改進(jìn)算法在解決背景干擾、光照變化、尺度變化及旋轉(zhuǎn)變化問題時(shí)具有更優(yōu)秀的表現(xiàn)。

3.2.1 背景干擾

在跟蹤的過程中，復(fù)雜的背景會(huì)為跟蹤任務(wù)增加困難，多元的背景信息會(huì)迷惑跟蹤器，使得跟蹤器錯(cuò)誤將模板更新到背景信息上，從而發(fā)生目標(biāo)框的丟失和漂移，最終導(dǎo)致跟蹤失敗。這里以“Couple”、“Bolt2”、“Football1”3個(gè)視頻集的跟蹤效果為例，在這3個(gè)視頻集中，目標(biāo)周圍都存在一定程度的背景干擾。從圖1(a)中可以看出，情侶走斑馬線過馬路的過程中，背景存在車輛、路燈等干擾，在第36幀時(shí)，KCF算法的目標(biāo)框開始漂移，而此時(shí)DSST算法已經(jīng)跟蹤失敗；隨著二人行走，背景變得愈發(fā)復(fù)雜，出現(xiàn)了交通警示牌，遠(yuǎn)處的行人以及更多的車輛，在第115幀可以看到，除了改進(jìn)算法外，其余對(duì)比算法均跟蹤失敗。接下來看圖1(b)，在跟蹤博爾特的賽跑過程時(shí)，其余一同參賽的運(yùn)動(dòng)員，站在一旁的裁判都成為跟蹤的背景干擾，在第11幀時(shí)，DSST算法、KCF算法和SAMF算法都錯(cuò)誤將博爾特旁邊的運(yùn)動(dòng)員當(dāng)作跟蹤的目標(biāo)，在第85幀可以看出，之前錯(cuò)誤跟蹤博爾特旁邊運(yùn)動(dòng)員的3種算法均跟蹤失敗；最后如圖1(c)所示，跟蹤一名橄欖球運(yùn)動(dòng)員拼搶的過程中，其余運(yùn)動(dòng)員均成為干擾目標(biāo)，在第73幀時(shí)，所有對(duì)比算法的回歸框都出現(xiàn)了一定程度的漂移。改進(jìn)算法在特征上采用了HOG+CN的特征組合，在性能上互相補(bǔ)足，再配合APCE評(píng)判標(biāo)準(zhǔn)，在復(fù)雜背景干擾情況下使模板的更新適當(dāng)停止，極大程度緩解了目標(biāo)框的漂移，增加了算法在復(fù)雜背景干擾下的魯棒性。

圖1 5種算法在所選序列上的跟蹤效果

3.2.2 光照變化

在一些視頻集中，存在著光照強(qiáng)度的改變，一些跟蹤器在模板更新時(shí)不能正確處理目標(biāo)和背景上改變的亮度信息，從而出現(xiàn)跟蹤發(fā)生偏差或失敗。這里以“Shaking”、“Tiger2”兩個(gè)視頻集為例；如圖1(d)所示，吉他手演奏的過程中，身后聚光燈的光照變化十分明顯，在第63幀時(shí)的光照變化尤為突出，KCF算法、SAMF算法和Staple算法均出現(xiàn)了漂移。接下來看圖1(e)，在第126幀中跟蹤目標(biāo)會(huì)閃過強(qiáng)烈的光源，這時(shí)KCF算法、DSST算法和SAMF算法均發(fā)生了偏移。改進(jìn)算法中，光照變化對(duì)于CH特征的影響較小，通過融合CH特征的響應(yīng)，從而增加了算法的抗光照變化影響的能力。

3.2.3 尺度變化

在跟蹤的過程中，目標(biāo)所占整張圖片的比例隨著鏡頭與目標(biāo)的變化而發(fā)生變化，跟蹤目標(biāo)在表現(xiàn)上就發(fā)生了尺度的改變。一些跟蹤算法不能或不能正確適應(yīng)跟蹤目標(biāo)的尺度變化而調(diào)整回歸框的大小，使得回歸框不能正確獲得跟蹤目標(biāo)的信息，最終導(dǎo)致跟蹤尺度不匹配或跟蹤失敗。這里選擇“Trellis”、“Human9”、“Vase”3個(gè)視頻集為例；從圖1(f)中看出，在目標(biāo)行走的過程中，目標(biāo)的頭部發(fā)生了一定的尺度變化，在第406幀中，KCF算法由于不具備尺度自適應(yīng)的能力，從而造成目標(biāo)框過大，DSST算法與Staple算法沒有準(zhǔn)確框選目標(biāo)尺度。接著看圖1(g)，第72幀-第105幀的過程中，目標(biāo)是一個(gè)先遠(yuǎn)離后接近攝像頭的狀態(tài)，這時(shí)KCF算法回歸框保持不變，而DSST算法錯(cuò)誤估計(jì)了尺度，從而使回歸框過大；最后從圖1(h)可以看出，從第17幀到第246幀，攝像頭逐漸接近跟蹤目標(biāo)，在第116幀中，KCF算法的回歸框和跟蹤開始時(shí)一樣，其它算法逐漸適應(yīng)目標(biāo)的尺度變化；在第246幀中，SAMF算法和DSST算法的回歸框無法與目標(biāo)尺度匹配，而Staple算法與改進(jìn)算法的跟蹤效果發(fā)生了分歧，因?yàn)榍罢哒J(rèn)為跟蹤目標(biāo)是筆筒整體，而后者認(rèn)為跟蹤目標(biāo)是初始狀態(tài)時(shí)筆筒正視圖的圖案。加入了尺度池的改進(jìn)算法可以隨著目標(biāo)尺度的改變而自適應(yīng)的隨之改變目標(biāo)框，使得算法在變尺度的情況下可以更加穩(wěn)定跟蹤目標(biāo)。

3.2.4 旋轉(zhuǎn)變化

旋轉(zhuǎn)變化分為平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)，旋轉(zhuǎn)的目標(biāo)是一個(gè)綜合問題的疊加，其尺度和形態(tài)均發(fā)生了不同程度的改變，不能有效獲取識(shí)別目標(biāo)形態(tài)信息的跟蹤器在跟蹤旋轉(zhuǎn)目標(biāo)時(shí)通常效果欠佳。這里選擇“Bird2”、“Freeman4”這兩個(gè)視頻集為例；如圖1(i)所示，在第49幀、第94幀中，目標(biāo)先后兩次發(fā)生平面外旋轉(zhuǎn)180度，SAMF算法、DSST算法、KCF算法在過程中先后發(fā)生回歸框漂移。接著看圖1(j)，在第94幀、第177幀、第258幀時(shí)，目標(biāo)一共發(fā)生3次平面外的90度旋轉(zhuǎn)，在頻繁旋轉(zhuǎn)的過程中，除了改進(jìn)算法，其它對(duì)比算法的回歸框都出現(xiàn)了不同程度的漂移。這是因?yàn)镃H特征對(duì)形變有較高的敏感程度，通過融合HOG+CH特征，可以使跟蹤器從CH特征的響應(yīng)中獲得較豐富的形態(tài)信息，從而在目標(biāo)發(fā)生旋轉(zhuǎn)時(shí)，更加準(zhǔn)確進(jìn)行目標(biāo)跟蹤。

3.3 定量分析

將10個(gè)序列分別在5種算法下進(jìn)行OPE測試，結(jié)果見表3、表4。從兩張表中可以看出，改進(jìn)的算法在所選擇的10個(gè)視頻序列中的平均中心誤差及平均成功率分別達(dá)到8.1%和75.41%，在5種算法中排名第一，與KCF相比平均中心誤差及平均成功率分別降低了40.53%和提升了40.77%；實(shí)驗(yàn)結(jié)果表明了改進(jìn)算法在具有復(fù)雜干擾(背景及光照)，尺度變化，旋轉(zhuǎn)變化的跟蹤場景下可以更加穩(wěn)定、準(zhǔn)確地跟蹤到目標(biāo)。

表3 中心度誤差對(duì)比/%

表4 重疊度精度對(duì)比/%

3.4 綜合分析

5種算法在CPU加速的運(yùn)行情況下，其精度和成功率曲線對(duì)比和如圖2所示，從圖2可以看出，通過改進(jìn)的算法在精度和成功率分別在KCF算法上提高了10.3%和16.3%，相較于SAMF算法，分別提高了4.2%和3.1%。從表5可以得出，改進(jìn)算法在5個(gè)問題的成功率比較中排名第一，5個(gè)問題排名第二，一個(gè)問題排名第三。所有的問題相較于KCF算法都有一定程度的提升，其中在背景干擾上比第二名的Staple算法高出了9.8%。從運(yùn)行速度上來分析，可以看出改進(jìn)算法在跟蹤速率上要慢于其它改進(jìn)算法，主要原因在于尺度池在估計(jì)尺度時(shí)需要進(jìn)行多次響應(yīng)運(yùn)算，這個(gè)過程大大增加了算法的運(yùn)算量，從而提升了算法的時(shí)間復(fù)雜性。

圖2 OTB-100的精度曲線和成功率曲線

4 結(jié)束語

針對(duì)KCF算法在復(fù)雜場景，尺度變化等情況下跟蹤穩(wěn)定性欠佳的問題，提出了一種尺度自適應(yīng)的特征融合跟蹤算法。算法在原始HOG特征的基礎(chǔ)上加入了CH特征，實(shí)現(xiàn)了兩個(gè)特征的互相補(bǔ)足，增強(qiáng)跟蹤器的泛化能力；次之，在尺度自適應(yīng)上增加了一個(gè)具有7個(gè)尺度的尺度池，使得算法在變尺度情況下可以更加穩(wěn)定跟蹤目標(biāo)；最后，在模板更新上采用平均相關(guān)峰值能量作為判斷依據(jù)，設(shè)定閾值，提高跟蹤器在復(fù)雜場景下的魯棒性。通過實(shí)驗(yàn)得出，經(jīng)過改進(jìn)的算法相較于KCF算法在復(fù)雜場景，多尺度變化，目標(biāo)旋轉(zhuǎn)等跟蹤問題上的表現(xiàn)更為出色，并且通過跟蹤評(píng)價(jià)曲線的對(duì)比，表明了改進(jìn)算法在整體的跟蹤效果上具有更好的魯棒性。算法在抗遮擋上仍有提升的空間，后續(xù)的工作可以針對(duì)于抗遮擋再展開進(jìn)一步的研究。