基于多特征融合的核相關(guān)濾波目標(biāo)跟蹤算法

賈 亮，于昊充，王貴宇

（沈陽(yáng)航空航天大學(xué)電子信息工程學(xué)院，沈陽(yáng) 110136）

0 引言

在計(jì)算機(jī)視覺(jué)領(lǐng)域中，跟蹤是非?；A(chǔ)且重要的技術(shù)之一，在軍事目標(biāo)導(dǎo)航，視頻監(jiān)控，無(wú)人機(jī)巡航，機(jī)器人感知等應(yīng)用中發(fā)揮著重要的作用。近年來(lái)，隨著相關(guān)濾波的出現(xiàn)，使得魯棒性得到了顯著提升，矩形框由視頻的初始幀確定，再根據(jù)初始幀訓(xùn)練跟蹤器，在下一幀圖像進(jìn)行相關(guān)濾波計(jì)算，最大響應(yīng)值點(diǎn)即為下一幀的目標(biāo)位置，并用矩形框跟住目標(biāo)，具備較高的運(yùn)算速度。然而，并不能較好地應(yīng)對(duì)如目標(biāo)尺度變化，遮擋，快速運(yùn)動(dòng)，低分辨率，光照變化等復(fù)雜背景的問(wèn)題。本文在傳統(tǒng)核相關(guān)濾波跟蹤（kernel correlation filter，KCF）算法的基礎(chǔ)上，通過(guò)對(duì)方向梯度直方圖（HOG）特征與顏色命名（CN）特征進(jìn)行線性融合，將融合后的特征代替?zhèn)鹘y(tǒng)KCF算法的單一特征，并且在更新階段引入平均峰值相關(guān) 能 量（average peak-to correlation energy,APCE）來(lái)判斷當(dāng)前幀是否進(jìn)行更新，從而解決在復(fù)雜背景下跟蹤失敗等問(wèn)題，提高跟蹤性能。

1 核相關(guān)濾波跟蹤算法

KCF跟蹤算法通過(guò)建立循環(huán)矩陣，實(shí)現(xiàn)對(duì)目標(biāo)的密集采樣。并且通過(guò)核函數(shù)的方式將線性空間中的回歸問(wèn)題擴(kuò)展到非線性空間，這樣就把低維空間不可分的情況擴(kuò)展到高維空間之后變線性可分，使得核相關(guān)濾波更加具有魯棒性。

1.1 循環(huán)矩陣

在樣本采集的過(guò)程中，傳統(tǒng)的目標(biāo)跟蹤算法通常采用的是稀疏采樣方式，這樣的采集方式會(huì)導(dǎo)致目標(biāo)特征表達(dá)不完全，并且計(jì)算量也較大，運(yùn)行速度較慢。KCF跟蹤算法是通過(guò)使用循環(huán)位移的方式對(duì)訓(xùn)練樣本進(jìn)行采樣，進(jìn)而可實(shí)現(xiàn)對(duì)目標(biāo)樣本的密集采樣。使用一個(gè)一維向量作為基本樣本=(,,…,x)，通過(guò)循環(huán)移位對(duì)基本樣本進(jìn)行密集采樣：

根據(jù)循環(huán)矩陣在傅里葉域中可進(jìn)行對(duì)角化的性質(zhì)，可將循環(huán)矩陣簡(jiǎn)化為：

1.2 線性回歸

KCF跟蹤算法的分類器使用了嶺回歸分類器，嶺回歸分類器可以快速地得到訓(xùn)練目標(biāo)的閉式解，并且在實(shí)際應(yīng)用中，嶺回歸分類器擁有較高的性能水平，分類性能與SVM相近。通過(guò)采用嶺回歸找到一個(gè)回歸函數(shù)：

式（3）中：為樣本，為濾波器系數(shù)。

通過(guò)該函數(shù)計(jì)算樣本x與回歸目標(biāo)y的平方誤差，并且使平方誤差最小化。該過(guò)程要使得誤差函數(shù)取最小值，即尋找最優(yōu)的：

式（4）中：為濾波器系數(shù)，是正則化參數(shù)，用于抑制過(guò)擬合。y是樣本x的期望輸出。

對(duì)式（3）求導(dǎo)，使導(dǎo)數(shù)等于0求得，得到閉式解，寫成復(fù)數(shù)域的形式為：

式（5）中：是每個(gè)元素對(duì)應(yīng)一個(gè)樣本的標(biāo)簽的列向量，X為的共軛轉(zhuǎn)置。

將式（4）的循環(huán)矩陣進(jìn)行對(duì)角化，并用對(duì)角化形式來(lái)化簡(jiǎn)式（5）中的嶺回歸公式，可得：

用矩陣元素的點(diǎn)乘代替矩陣求逆的運(yùn)算過(guò)程，可大幅提高訓(xùn)練時(shí)的計(jì)算速度，并得到：

1.3 非線性回歸

KCF采用高斯核函數(shù)，其計(jì)算公式為：

在非線性問(wèn)題的處理上，通過(guò)使用核函數(shù)把非線性問(wèn)題從非線性空間轉(zhuǎn)換到線性空間，使在低維空間線性不可分到高維空間線性可分。濾波器表示為：

由此得出的最優(yōu)解問(wèn)題變?yōu)閷ふ覍?duì)偶空間中的最優(yōu)解。由高斯核可知：

使用核矩陣表示所有元素的點(diǎn)乘結(jié)果，其中K=(x,x)。所以可得：

引入核函數(shù)后得到嶺回歸的閉式解：

式（12）中：是核矩陣，是α的矢量。

若核矩陣為循環(huán)矩陣，可將式（11）化簡(jiǎn)得到：

1.4 快速檢測(cè)

訓(xùn)練樣本和待測(cè)樣本的核矩陣通過(guò)K表示，并且和均由循環(huán)移位獲得，故K也是循環(huán)矩陣，即定義為：

將其代入式（10）中得

將其進(jìn)行傅里葉變換并進(jìn)行對(duì)角化處理得：

當(dāng)前幀中目標(biāo)的所在位置即為響應(yīng)()的峰值所在位置。

2 改進(jìn)的核相關(guān)濾波跟蹤算法

2.1 算法的整體流程

本文在KCF算法基礎(chǔ)上進(jìn)行了相關(guān)改進(jìn)，算法的魯棒性有了明顯提高。改進(jìn)后算法的流程如圖1所示。其步驟如下：

圖1 改進(jìn)后的KCF算法流程

（1）特征提取階段分別計(jì)算HOG特征與CN特征，將HOG特征與CN特征進(jìn)行線性融合；

（2）相關(guān)濾波階段使用新的特征進(jìn)行計(jì)算，并計(jì)算當(dāng)前幀的響應(yīng)值；

（3）更新階段采用APCE更新準(zhǔn)則，防止遮擋等干擾導(dǎo)致更新錯(cuò)誤信息使得跟蹤失?。?/p>

（4）通過(guò)確定目標(biāo)區(qū)域與每一個(gè)像素的相似度，來(lái)確定這一幀的目標(biāo)位置。

2.2 多特征融合

傳統(tǒng)的KCF跟蹤算法對(duì)目標(biāo)特征的提取通常采用單一的目標(biāo)特征，但使用單一的目標(biāo)特征會(huì)導(dǎo)致跟蹤器在存在大量復(fù)雜背景的場(chǎng)景中跟蹤失敗，例如：HOG特征在目標(biāo)背景具有較強(qiáng)的光照變化、目標(biāo)與背景顏色相近等干擾情況下具有較強(qiáng)的穩(wěn)定性，但是在快速運(yùn)動(dòng)、模糊背景等干擾下的適應(yīng)性較差；CN特征在快速運(yùn)動(dòng)、低分辨率等情況下表現(xiàn)良好，但是對(duì)于顏色干擾表現(xiàn)較差。為了解決這一問(wèn)題，本文將HOG特征與CN特征進(jìn)行線性融合，因兩者可以相互彌補(bǔ)其缺點(diǎn)，所以本文算法采用這兩種特征進(jìn)行線性融合來(lái)提高跟蹤精度，并將融合后的特征用于目標(biāo)跟蹤。

HOG用于檢測(cè)目標(biāo)的幾何特征。通過(guò)計(jì)算目標(biāo)區(qū)域的梯度方向直方圖的方式來(lái)描述感興趣目標(biāo)的特征，因HOG反映的是目標(biāo)的外形輪廓，對(duì)目標(biāo)的顏色變化不敏感，但是對(duì)于模糊背景以及遮擋等適應(yīng)性較差。

CN是一種描述顏色語(yǔ)言的顏色標(biāo)簽。CN特征能夠檢測(cè)目標(biāo)的顏色，檢測(cè)的顏色信息為目標(biāo)的重要特征信息，在快速運(yùn)動(dòng)、低幀數(shù)背景和光照變化等復(fù)雜背景下的敏感度很低，但是無(wú)法良好地應(yīng)對(duì)顏色相似干擾。

本文算法多特征融合的具體步驟為：

（1）進(jìn)行HOG特征與CN特征的特征提??；

（2）將HOG特征與CN特征進(jìn)行線性融合，HOG特征的通道數(shù)為31，CN特征的通道數(shù)為10，融合后得到41個(gè)通道特征；

（3）通過(guò)對(duì)應(yīng)像素相加的方式將41個(gè)通道特征進(jìn)行相加，最終得到一個(gè)單通道的特征圖。

2.3 多峰值檢測(cè)更新機(jī)制

在目標(biāo)跟蹤過(guò)程中，除了初始幀之外，每一次跟蹤器更新前增加一個(gè)多峰值檢測(cè)機(jī)制，在沒(méi)有出現(xiàn)干擾的情況下，響應(yīng)的峰值都將出現(xiàn)單一峰值；如果出現(xiàn)遮擋等復(fù)雜背景的干擾，響應(yīng)將不再是單峰值，而是會(huì)出現(xiàn)多峰值情況。如圖2所示。

圖2采集自O(shè)TB-100數(shù)據(jù)集中的Jogging序列，在第51幀時(shí)未出現(xiàn)遮擋，響應(yīng)呈現(xiàn)單峰值；在第79幀出現(xiàn)了明顯的多峰值，這表明在此刻周圍環(huán)境出現(xiàn)了遮擋，跟蹤器計(jì)算了大量相似的背景信息，但無(wú)法正確尋找響應(yīng)最大值，導(dǎo)致目標(biāo)丟失，跟蹤失敗。

圖2 Jogging圖像序列的第51幀、第79幀的響應(yīng)圖

在原有核相關(guān)濾波算法（KCF）基礎(chǔ)上加入APCE更新準(zhǔn)則，并且只有在檢測(cè)的響應(yīng)值存在唯一且明顯的單峰值時(shí)，才會(huì)對(duì)跟蹤器進(jìn)行更新。若出現(xiàn)干擾等產(chǎn)生多峰值，會(huì)根據(jù)當(dāng)前幀的APCE值和響應(yīng)峰值的最大值()來(lái)判斷目標(biāo)是否受到遮擋干擾。APCE更新準(zhǔn)則如下：

式（17）中：代表響應(yīng)最大值；代表響應(yīng)最小值；F代表目標(biāo)在(,)位置處的響應(yīng)值。

APCE更新準(zhǔn)則可以反映出跟蹤過(guò)程中的整體響應(yīng)情況，當(dāng)APCE驟然減小時(shí)，表示目標(biāo)受遮擋影響，為了避免在此幀更新干擾信息，跟蹤器將不會(huì)進(jìn)行更新。加入APCE評(píng)價(jià)標(biāo)準(zhǔn)即在一定程度上減少了跟蹤時(shí)跟蹤器的漂移情況，又減少了跟蹤器的更新次數(shù)，起到了一定的加速效果。

在KCF算法中對(duì)跟蹤器系數(shù)進(jìn)行線性插值：

式（18）中：為下一幀的跟蹤器系數(shù)；α為前一幀的跟蹤器系數(shù)；為線性插值因子；α由當(dāng)前幀跟蹤器訓(xùn)練得到。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文算法所用的實(shí)驗(yàn)平臺(tái)配置為AMD Ryzen 7 4800 H with Radeon Graphics CPU，主頻2.9 GHz，8 G內(nèi)存，使用Matlab2018b開(kāi)發(fā)平臺(tái)進(jìn)行測(cè)定。實(shí)驗(yàn)中，傳統(tǒng)的KCF參數(shù)保持不變，padding值由原本的1.5設(shè)置為2.5，標(biāo)準(zhǔn)差設(shè)置為0.7，插值因子設(shè)置為0.014，正則項(xiàng)系數(shù)設(shè)置為0.0001。

本文實(shí)驗(yàn)中，根據(jù)Wu等提出的OTB（online object tracking）跟蹤性能評(píng)估標(biāo)準(zhǔn)來(lái)評(píng)估本文算法的性能，并且評(píng)價(jià)指標(biāo)采用中心位置誤差（CLE）與重疊率（Overlap）。CLE是指通過(guò)算法計(jì)算得到的跟蹤目標(biāo)的中心坐標(biāo)與目標(biāo)所在的真實(shí)位置坐標(biāo)之間的歐氏距離：

式（19）中：(,)為算法計(jì)算所得的目標(biāo)中心坐標(biāo)，(x,y)為目標(biāo)的真實(shí)位置坐標(biāo)。精確度是計(jì)算CLE小于某一閾值（本文取值為20 pixel）的視頻幀數(shù)占該視頻序列總幀數(shù)的百分比。

帕斯卡爾重疊率可用來(lái)評(píng)估跟蹤成功率，重疊率是指給定跟蹤框BT與實(shí)際跟蹤框BG區(qū)域面積的交集，而成功率計(jì)算的是目標(biāo)的重疊率大于設(shè)定的重疊率閾值（本文取值為0.5）的視頻幀數(shù)總和占總幀數(shù)的百分比大?。?/p>

3.2 定量實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證改進(jìn)算法的魯棒性，將本文算法KCF_HC（包含多特征融合、APCE更新標(biāo)準(zhǔn)）、KCF_APCE（僅有APCE更新標(biāo)準(zhǔn)）、KCF與當(dāng)前幾種具有較好跟蹤效果的相關(guān)濾波跟蹤算法進(jìn)行比較，精確度與成功率結(jié)果對(duì)比如圖3所示。

圖3 不同算法的精確度與成功率對(duì)比

從測(cè)試結(jié)果可以看出，本文的改進(jìn)算法KCF_HC的精確度為79.3%，在所測(cè)算法中排在第2位，明顯優(yōu)于改進(jìn)前KCF算法的精確度。成功率為75.8%，也明顯優(yōu)于改進(jìn)前的KCF，在所有算法中也排在第2位。僅包含APCE更新標(biāo)準(zhǔn)的KCF_APCE算法的精確度與成功率分別為71.7%和64.7%，也略高于改進(jìn)前的KCF，表明增加多特征融合與APCE更新標(biāo)準(zhǔn)確實(shí)可以提高算法的魯棒性。

為了進(jìn)一步驗(yàn)證本文改進(jìn)后的KCF算法的跟蹤性能，測(cè)試時(shí)選取了OTB-100數(shù)據(jù)集中較為經(jīng)典的具備遮擋的視頻序列，在視頻序列中同時(shí)標(biāo)注出改進(jìn)前與改進(jìn)后算法的跟蹤框進(jìn)行對(duì)比，如圖4所示。

在圖4（a）Jogging1視頻序列中，選擇跟蹤目標(biāo)為左側(cè)跑者，在第57幀時(shí)，兩種算法均可正常跟蹤；在第80幀時(shí)出現(xiàn)了遮擋情況，改進(jìn)后的KCF跟蹤器因此幀未進(jìn)行更新，所以沒(méi)有學(xué)習(xí)遮擋的背景信息；在第91幀可明顯看出改進(jìn)前KCF因?qū)W習(xí)了背景信息，跟蹤框停留在遮擋處，改進(jìn)后的KCF則正常跟蹤。

圖4 改進(jìn)前與改進(jìn)后的KCF算法在Jogging1、Couple上的跟蹤效果

在圖4（b）Couple視頻序列中，因該視頻序列全程存在窗口劇烈晃動(dòng)，所以只有在初始時(shí)兩算法均正常跟蹤。在后續(xù)幀中改進(jìn)前KCF只進(jìn)行HOG特征提取，而改進(jìn)后的KCF因結(jié)合了CN特征，所以可以正常跟蹤。

4 結(jié)語(yǔ)

本文在對(duì)核相關(guān)濾波算法進(jìn)行的研究中，針對(duì)傳統(tǒng)KCF在單一特征及復(fù)雜背景下跟蹤失敗的問(wèn)題，提出了多特征融合的方法，解決了在復(fù)雜背景下只采用單一目標(biāo)特征跟蹤效果不理想的問(wèn)題；同時(shí)提出多峰值檢測(cè)更新機(jī)制，解決了跟蹤過(guò)程中因出現(xiàn)遮擋導(dǎo)致跟蹤失敗的問(wèn)題。通過(guò)OTB視頻序列跟蹤效果的對(duì)比驗(yàn)證，在快速運(yùn)送、遮擋等復(fù)雜背景下仍可良好的進(jìn)行跟蹤，同時(shí)也提高了魯棒性，綜合性較為良好。