相關濾波跟蹤算法的特征分析

劉霖楓,孔繁鏘,嚴小樂,沈 秋

(南京航空航天大學 航天學院,南京 210016)

0 概述

視覺目標跟蹤廣泛應用于視頻監控、機器人實時定位及無人駕駛等領域。相關濾波跟蹤算法將跟蹤問題看作是目標與背景的分類問題,并根據相關濾波器對兩者產生的不同響應進行分類。跟蹤算法的性能與諸多因素有關,但文獻[1]發現,特征提取是影響整個跟蹤算法性能的關鍵步驟,也是跟蹤算法研究中的熱門方向之一。

迄今為止,相關濾波跟蹤算法中使用的特征主要包括灰度特征[2]、形狀特征[3-5]、顏色特征[6-7]和紋理特征[8]。文獻[2]提出最小化平方誤差(Minimum Output Sum of Squared Error,MOSSE)算法,以圖像灰度為特征,使用最小化平方誤差準則在線訓練目標模板,從而將相關濾波器運用到在線跟蹤中。文獻[6]在顏色名跟蹤(Color Name Tracker,CNT)算法中使用了顏色名(Color Name,CN)[9]特征,在判別式尺度空間跟蹤(Discriminative Scale Space Tracker,DSST)算法[4]中使用了描述目標形狀與輪廓的改進梯度方向直方圖特征(Felzenszwalb’s Histogram of Oriented Gradient,FHOG)[10]與灰度特征。文獻[5]提出的核化相關濾波(Kernalized Correlation Filtering,KCF)算法使用了完整的FHOG特征,并用核化嶺回歸(Kernel Ridge Regression)模型,進一步提高了相關濾波跟蹤算法的實時性及魯棒性。

盡管相關濾波跟蹤算法中對特征提取方法的研究已經積累了豐富的成果,但多數是出于提升算法跟蹤性能的目的,分散地進行特征優化或多特征融合,其實驗分析也多是對改進前后算法性能的比較。而實際上各種特征因不同的特點,所適用的場景也各不相同,如:灰度特征適合低分辨率場景,而形狀特征則在目標形變場景下表現更突出。目前系統分析這些不同類型特征各自優勢和劣勢的研究較少。本文通過理論推導分析各類特征的描述能力,比較其在不同場景下的性能表現,并給出各特征的適用條件和互補條件,從而為特征選擇及特征融合提供理論和實驗依據。

1 KCF算法與核函數

KCF算法[5]完善了相關濾波算法的基本框架,取得了很好的跟蹤效果。近年來流行的相關濾波跟蹤算法[7,11]均以KCF為基礎,因此本文的實驗使用帶有尺度預測的改進KCF算法。KCF算法使用核化的嶺回歸方法學習一個用于分類的相關濾波器,通過循環矩陣的方式實現密集采樣,并在頻域加速計算，這使得KCF算法擁有良好準確性、魯棒性和實時性。

核化的嶺回歸方法采用正則化最小平方誤差(Regularized Least Square,RLS)的原則訓練分類器,即通過樣本訓練出濾波器模板ω,使得濾波器響應與對應的樣本標簽y之間的平方誤差最小:

(1)

其中,xi是樣本特征向量x的第i維分量,f(ω,x)=ωΤx是x的線性映射,yi是理想高斯分布,λ為正則化參數。

為增加非線性分類能力,核函數的方法被引入到模型中。在核函數方法中,樣本的特征向量x被φ(·)映射到高維Hilbert空間中,從而使目標函數式(1)中:

(2)

高斯核函數可以表示為:

(3)

由式(3)進行泰勒展開可以發現,高斯核函數能夠將原特征映射到無限維特征空間,在此空間進行RLS分類能夠很好地提升算法的非線性分類能力。而線性核函數則不進行高維映射,僅相當于原特征空間的內積運算:

k(x,z)=xTz

(4)

根據文獻[12]求解線性核函數假設下的濾波器模板ω后,可以得到當前幀的相關濾波響應:

(5)

其中,x是模板的目標特征,z為從當前幀提取得到的特征,符號^表示變量的頻域形式。計算得到相關響應的最大值所在位置即為當前幀目標位置。

從式(5)中可以看到,目標的位置預測完全由當前幀提取得到的特征z與濾波器的相關響應決定。即在模板更新策略不變時,線性核作用下的跟蹤表現可以直觀反映特征的描述能力并作為其評價標準。因此,本文實驗采用線性核函數進行分析和特征比較。

2 跟蹤算法中的特征

目前,在視覺目標跟蹤算法中使用的特征主要有：灰度特征,形狀特征,紋理特征和顏色特征。

灰度特征直接使用圖像的灰度值對目標進行描述，因其提取簡單且特征維度僅有一維,被廣泛地用于早期的單通道相關濾波跟蹤算法中。為進一步簡化計算、提高算法實時性,在算法實現中使用歸一化的灰度特征,其提取效果見圖1(b)。

形狀特征通過提取圖像中的邊緣信息,產生目標外部輪廓及內部邊緣的形狀描述子對目標進行描述,不僅可區分目標與背景,還可以區分相似目標。文獻[13]提出梯度方向直方圖特征(Histogram of Oriented Gradient,HOG),由于其對目標形狀有較好的描述能力,被廣泛地用于視覺目標跟蹤算法中。為了提高HOG計算的速度,文獻[10]使用主成分分析的方法對其進行了降維處理,提出了FHOG特征。FHOG特征的可視化結果見圖1(c)。

紋理特征通過描述圖像中顏色與光強的空間分布,產生目標紋理的描述子,從而區分具有不同紋理的目標。在諸多的紋理特征中,文獻[14]提出的局部二值模式(Local Binary Pattern,LBP)有計算量小、對噪聲不敏感、對灰度和旋轉具有不變性等優點,被廣泛用于圖像紋理特征的提取。而LBP“等價模式”[15]的提出彌補了原始LBP特征維度較高的不足,大大減少了描述子種類,使得LBP特征的提取與計算實時性更強,能更好地應用于跟蹤算法中,其特征提取結果見圖1(d)。

顏色特征是一種直觀、易提取的圖像特征,符合人類視覺的直觀感受。近年來,CN特征取得了很好的表現,因此被廣泛地用于跟蹤算法中。CN特征將圖像中的顏色信息投影到11種基礎顏色上,并將歸一化的各顏色分量作為目標的顏色特征描述子。相比于其他顏色特征,CN特征維數低,計算快,符合人眼對顏色細節不敏感的特點,對細微的顏色變化有較好的魯棒性,其特征提取結果如圖1(e)所示。

圖1 視覺目標跟蹤中常用的4類特征提取結果

上述特征分別從不同角度提取圖像信息、產生特征描述子,因此在復雜場景下的適用性也有所差異。例如:光照變化時,灰度特征和顏色特征所受到影響較大;目標邊緣模糊時,形狀特征的描述能力下降;非自然圖像中,紋理信息不足,不宜使用紋理特征。為彌補單一特征描述能力的不足,文獻[4,7]相關濾波算法中采用了融合特征,并取得較好的跟蹤表現。綜上，本文充分發揮各個特征的優勢,對跟蹤性能進行研究,但如何合理地選擇特征,仍然缺少理論和實驗依據。

3 特征的分析對比

本文通過實驗,根據線性核作用下各類特征的跟蹤表現,詳細分析各類特征在不同場景下的目標描述能力及影響目標描述能力的原因,并進一步探討灰度特征、形狀特征、紋理特征、顏色特征間的互補性。

3.1 評價標準及評價指標

為準確而全面地評價跟蹤表現,本文分別使用OTB(Object Tracking Benchmark)[16]和VOT(Visual Object Tracking)[17]2種評價標準進行量化評價,并在2種評價結果沖突時使用主觀跟蹤表現加以補充。

OTB標準使用位置精度(Distance Precision,DP)曲線和重疊精度(Overlap Precision,OP)曲線評價跟蹤表現,兩者分別刻畫了DP、OP小于不同閾值時的跟蹤成功率。此外,OTB標準將跟蹤序列細致地劃分為11種具有挑戰性的場景,能充分反映不同場景中的跟蹤表現。本文使用了OTB100[18]和TempleColor128[19]2個標準跟蹤數據集中共計160個不同的彩色序列進行實驗。OTB標準的場景劃分及其在數據集中對應的序列數如表1所示。

表1 OTB標準的場景分類

VOT標準為減少評價過程中的偏差,在算法跟蹤失敗后,重置跟蹤框,以避免當前失敗對后續測試的影響。根據算法的平均OP與失敗次數,VOT標準使用精度和魯棒性分級(Accuracy-robustness rank,AR-rank)對所有參評算法給出相對性比較,并用平均期望重疊度(Expected Average Overlap,EAO)評價算法實際跟蹤表現。但VOT標準的場景僅劃分為遮擋、光照變化、運動變化、尺度變化和相機運動5類場景,無法多方面地對比各類特征的適用場景。

3.2 特征的描述能力分析

通過2種評價標準對灰度特征Gray、形狀特征FHOG、紋理特征LBP以及顏色特征CN在不同場景中跟蹤表現的評價,可以對這幾類特征的描述能力做詳細的分析。

表2給出了各類特征在OTB標準中不同類別場景下的跟蹤表現,其中，DP值采用20像素誤差下的成功率,OP值采用50%重疊度時的成功率。表2中加粗與下劃線標注表現最優特征,單一下劃線表示次優特征。

表2 4類特征在彩色序列集下的跟蹤結果 %

由表2可知,灰度特征均表現較差,FHOG特征除運動模糊場景外,均有較好表現,LBP特征在復雜背景和運動模糊中表現較優,但平均表現略差于FHOG與CN特征,CN特征僅在光照變化時表現較差。

在VOT標準中，4類特征在不同類別場景下的跟蹤表現如圖2所示。

圖2 4類特征在不同場景中的平均AR-rank及EAO

從圖2(a)中可以看出,VOT標準中灰度特征的精度和魯棒性較差,FHOG特征具有最佳的跟蹤精度,CN特征則有最優的魯棒性,LBP特征的魯棒性與FHOG相近,但精度略差。而在圖2(b)中,VOT標準在光照變化與遮擋場景中的評價與OTB標準互相矛盾,因此圖3采用主觀跟蹤結果。

如圖3(a)所示,CN特征與灰度特征對光照變化較為敏感,跟蹤表現較差,而在圖3(b)中,FHOG與CN特征在完全遮擋的場景中的跟蹤表現優于LBP與灰度特征。

圖3 4類特征在光照變化與遮擋場景中的跟蹤表現

上述結果表明:

1)在具有挑戰性的復雜序列中,灰度特征均表現不佳,描述能力較弱,不宜單獨使用。

2)FHOG特征在大多數場景中均有較好的目標描述能力,并在外觀形變、遮擋場景中表現突出,此時目標的輪廓特征變化較為平緩,且存在只有部分輪廓發生變化的情況,這使得FHOG特征能夠很好地描述目標。但在運動模糊時,目標輪廓特征和內部邊緣細節都被弱化,導致FHOG特征的目標描述能力不佳。

3)LBP特征平均表現略差于FHOG與CN特征,但在復雜背景和運動模糊場景中表現更具優勢,雖然此時目標的紋理細節被破壞,但其整體的紋理結構變化不大,使得LBP在此類場景下具有更強的魯棒性。但在平面外旋轉和遮擋場景中,因其包含了目標內部所有的紋理變化,相比于形狀和顏色特征,所受到的影響更大,所以表現略差于FHOG與CN特征。

4)CN特征在彩色序列的大多數場景中表現優秀,尤其在低分辨率時,基于直方圖統計的FHOG和LBP特征不能很好地描述目標,但CN特征仍表現較好。此外由于目標遮擋前后顏色變化一般較小,因此CN特征在遮擋時仍有良好地描述目標能力。但CN特征對光照變化較為敏感,且在灰度序列中無法使用,一定程度上限制了其跟蹤表現。

5)在超出視野場景中,由于KCF算法缺乏相應的模型更新及重檢測機制,使得這4類特征都無法取得較好的跟蹤表現。

3.3 特征的互補性分析

通過上述實驗得出,形狀特征FHOG、紋理特征LBP以及顏色特征CN分別從不同角度構建目標的特征描述子,在復雜的復合場景中能夠互相補充,從而提升對目標的描述能力。為對各類特征在不同場景中的互補性進行分析,本文采用特征向量串聯的方式進行特征融合,融合所得的復合特征在各類場景下的平均OP如圖4所示。其中,OP值采用50%重疊度時的成功率。

圖4 復合特征在不同場景中的平均OP分布

各復合特征在不同場景中的平均OP分布結果表明:

1)FHOG特征在外觀形變和遮擋場景中表現突出,而LBP特征則在復雜背景、運動模糊場景中具有優勢,兩者在這4類場景中能夠很好的互相補充。

2)LBP特征擁有較強的光照不變性,可以彌補CN特征對光照敏感的不足,兩者融合亦可提高外觀形變與遮擋場景中的魯棒性,此外由于在運動模糊及相機運動場景中的出色表現,兩者構成的融合特征在劇烈運動類場景中有很好適應性。

3)FHOG特征同樣能夠彌補顏色特征CN特征對光照敏感的不足,而CN特征的加入能夠改善FHOG特征在運動模糊場景中的表現,兩者融合能夠在精度與魯棒性上優勢互補,且在遮擋和快速運動場景中具有很好的魯棒性。

4)3類特征的組合從不同角度完善了對目標外觀的描述,從而在目標旋轉及目標超出視野的場景中均取得良好的表現。

雖然各類特征能夠互相補充,但在不同場景中各類特征的互補性仍有所差異,因此融合特征的特征選擇不能盲目選取不同種類的特征,亦要結合實際場景,選擇互補性更佳的特征,如:文獻[20-21]采用了各場景中互補性最佳的形狀和顏色特征;文獻[8,22]采用自適應融合了形狀特征、紋理特征與顏色特征;文獻[23]將FHOG、CN與灰度特征融合,均取得了良好的跟蹤表現。

此外,由于灰度特征在這些具有挑戰性的序列上均表現不佳,因此需要進一步的實驗分析來對上述3類特征與灰度特征的互補性做出評價。本文實驗使用串行融合方式,分別在FHOG、LBP和CN特征后串聯一維歸一化灰度特征,構成FHOG_Gray、LBP_Gray和CN_Gray 3種復合特征,以探討各類特征與灰度特征間的互補性。

表3和圖5給出了OTB標準下各特征與對應復合特征的跟蹤表現對比。其中,表3加粗表示較優的特征,圖5(a)中括號數據表示平均位置精度，圖5(b)中括號數據表示平均重疊精度。實驗結果表明:串聯了灰度特征的FHOG_Gray特征在快速運動、運動模糊、光照變化與低分辨率場景中優于FHOG特征,而在復雜背景、外觀形變及旋轉場景中表現不佳;LBP_Gray特征在所有場景中都優于LBP特征,體現出良好的互補性;CN_Gray特征則只在快速運動、運動模糊與光照變化場景中優于CN特征,其余場景未能取得良好的表現。

表3 OTB標準中各特征與其對應復合特征的20像素誤差成功率 %

圖5 OTB標準中各特征及其復合特征的平均位置精度與平均重疊精度曲線

OTB標準下各特征與對應復合特征的跟蹤表現對比表明,灰度變化趨勢構成描述子的形狀特征FHOG,灰度間關系構建描述子的紋理特征LBP與灰度特征具有較好的互補性,而通過圖像RGB 3個子層的分量構建描述子的顏色特征CN則與灰度特征間互補性不佳。

4 結束語

本文描述相關濾波跟蹤算法中的特征提取研究成果,并通過實驗對灰度特征、形狀特征、紋理特征和顏色特征的適用性和互補性進行評價。實驗結果表明,形狀特征在目標形變和遮擋場景中對目標描述能力較強,紋理特征更適用于運動模糊和復雜背景場景,顏色特征具有良好的魯棒性,且在旋轉、遮擋和低分辨率時表現優秀,在復合場景中,三者有較好的互補性。此外,灰度特征雖不適用于復雜場景,但與形狀特征有很好的互補性。下一步將研究在復雜的復合場景中,綜合考慮各類特征的適用性及互補性,選擇互補性較優的特征組合進行特征融合,從而改善相關濾波跟蹤算法的跟蹤性能。