基于外觀相似性更新的相關(guān)濾波跟蹤算法

方 澄, 路 穩(wěn), 姬菁穎, 宋玉蒙, 梁斐菲, 羅志偉

(中國民航大學(xué)電子信息與自動化學(xué)院, 天津 300300)

0 引 言

視覺目標(biāo)跟蹤是計算機(jī)視覺中非常重要的任務(wù)之一,廣泛地應(yīng)用于智能視頻監(jiān)控、人機(jī)交互、智能導(dǎo)航、醫(yī)療診斷、雷達(dá)目標(biāo)跟蹤等方面。目標(biāo)跟蹤的任務(wù)是在給定目標(biāo)初始位置與尺寸信息的情況下,預(yù)測后續(xù)目標(biāo)的狀態(tài)。而由于在真實目標(biāo)跟蹤場景中常存在多種復(fù)雜問題,比如:① 目標(biāo)遮擋、背景雜波、光照變化等環(huán)境變化影響;② 目標(biāo)本身的快速運動、形變、旋轉(zhuǎn)、尺度等目標(biāo)變化影響;③ 視頻采集時低分辨率、相機(jī)快速運動、目標(biāo)超出視野等采集設(shè)備影響,因此設(shè)計一個在真實應(yīng)用環(huán)境下魯棒且準(zhǔn)確的跟蹤算法仍然具有很高的挑戰(zhàn)性。

相關(guān)濾波思想的引入,使得視覺目標(biāo)跟蹤的實時性和準(zhǔn)確性得到了明顯提高。最初的相關(guān)濾波算法使用灰度特征進(jìn)行目標(biāo)外觀表達(dá),使用循環(huán)矩陣提取樣本,并將時域的計算轉(zhuǎn)換到頻域,提高了跟蹤的效率。但是,灰度特征遠(yuǎn)遠(yuǎn)不能準(zhǔn)確地表達(dá)目標(biāo),研究人員開始將顏色特征、梯度方向直方圖(histogram of oriented gridients,HOG)特征、深度特征加入到目標(biāo)跟蹤中。王乃巖等人通過實驗分析了目標(biāo)外觀表達(dá)對目標(biāo)跟蹤具有明顯的影響。基于此項研究,后續(xù)的一些研究工作在算法設(shè)計上將不同的特征組合進(jìn)行融合,將融合后的特征用于外觀建模。不同于這些特征級的融合算法,Staple分別提取顏色特征和HOG特征建立不同的目標(biāo)模型,并考慮決策級的加權(quán)融合。而人工設(shè)計的特征不能很好地表達(dá)目標(biāo)的特點,一些算法開始探索使用神經(jīng)網(wǎng)絡(luò)提取目標(biāo)的深度特征。依靠深度學(xué)習(xí)算法對于目標(biāo)特征的強(qiáng)大提取能力,研究者們設(shè)計出來多種目標(biāo)跟蹤的深度學(xué)習(xí)網(wǎng)絡(luò)模型,而孿生網(wǎng)絡(luò)利用提取的深度特征進(jìn)行模型間的匹配,也成為了目前目標(biāo)跟蹤最為主流的網(wǎng)絡(luò)框架。但深度學(xué)習(xí)網(wǎng)絡(luò)模型在訓(xùn)練時需要大量的線下訓(xùn)練,而且模型計算復(fù)雜度高,實時性表現(xiàn)差。同時由于深度網(wǎng)絡(luò)跟蹤算法通常包括模型訓(xùn)練和在線跟蹤兩個階段,在模型訓(xùn)練時需要對算法進(jìn)行預(yù)先的跟蹤訓(xùn)練,而訓(xùn)練得到的深度特征通道在目標(biāo)在線跟蹤時可能存在冗余,因此需要對特征通道進(jìn)行選擇并且對特征空間進(jìn)行壓縮,才能達(dá)到實際應(yīng)用的實時性需求。

無論是相關(guān)濾波算法還是深度學(xué)習(xí)算法都是主要從目標(biāo)的特征表達(dá)方面進(jìn)行考慮,對跟蹤算法性能進(jìn)行了極大的改善,但是當(dāng)目標(biāo)發(fā)生遮擋、變形、模糊時,特征表達(dá)將發(fā)生畸變,使得目標(biāo)跟蹤容易產(chǎn)生漂移現(xiàn)象,目前仍沒有針對漂移的有效的解決方法,特別是傳統(tǒng)相關(guān)濾波算法的無差別更新使得遮擋、形變時的干擾特征持續(xù)保存到目標(biāo)模型中,造成跟蹤模型的退化,目標(biāo)更容易發(fā)生漂移或者丟失。

因此,本文提出基于核相關(guān)濾波(kernel correlation filter, KCF)的自適應(yīng)更新的目標(biāo)跟蹤算法(adaptive updating target tracking algorithm based on KCF,AUKCF)算法,能夠有效地減少模型退化和目標(biāo)漂移,提高目標(biāo)跟蹤的穩(wěn)定性和準(zhǔn)確性。該算法使用多峰響應(yīng)檢測對容易發(fā)生漂移的場景進(jìn)行判斷,并使用顯著性檢測對目標(biāo)位置進(jìn)行修正,考慮到顯著性檢測方法可能存在的檢測誤差,算法提出一種針對顯著性檢測位置和多峰位置的重檢測策略,提高了對目標(biāo)漂移進(jìn)行重新定位的準(zhǔn)確性。同時,考慮到在遮擋、變形時模型的無差別更新造成保存的干擾特征引起模型退化的問題,創(chuàng)新性地提出一種基于斯皮爾曼相關(guān)性判斷的自適應(yīng)更新策略,當(dāng)斯皮爾曼相關(guān)性小于閾值時,將當(dāng)前幀目標(biāo)判別為干擾目標(biāo),不對算法模型進(jìn)行更新,從而保持模型的健壯,降低模型退化的影響。

本文所提AUKCF算法主要的貢獻(xiàn)包括:第一,提出一種針對多峰響應(yīng)的顯著性檢測定位的方法;第二,為了對顯著性檢測的準(zhǔn)確性進(jìn)行判別,算法提出使用重檢測的策略對顯著性檢測的位置及多峰響應(yīng)的位置進(jìn)行重檢測;第三,針對模型的無差別更新,提出將斯皮爾曼相關(guān)性判斷應(yīng)用于跟蹤算法的新型、通用自適應(yīng)更新策略。在OTB2015和VOT2018上的評測結(jié)果顯示,AUKCF算法達(dá)到了最優(yōu)的性能,并且特別需要指出AUKCF算法在使用少量訓(xùn)練樣本條件下,不論算法精度還是成功率,均超過了評測中使用的流行深度學(xué)習(xí)方法。

1 相關(guān)工作

1.1 顯著性檢測跟蹤

視覺顯著性是根據(jù)人的視覺系統(tǒng)的注意力總是集中于場景中的突出物體的特性設(shè)計的,目的是檢測場景中最引人注目的物體。目標(biāo)跟蹤算法中通常使用顯著性檢測來進(jìn)行跟蹤結(jié)果的校正。使用平均峰值相關(guān)能量(average peak-to-correlation energy, APCE)作為跟蹤結(jié)果的置信度進(jìn)行判斷,當(dāng)?shù)陀谥眯哦葧r僅使用顯著性檢測的結(jié)果作為目標(biāo)的判別定位,而當(dāng)高于置信度時則用原跟蹤器進(jìn)行目標(biāo)跟蹤定位。這種方式一定程度上減少了漂移對跟蹤算法的影響,但由于缺乏對顯著性定位的結(jié)果判斷,當(dāng)顯著性檢測定位出現(xiàn)偏差時,跟蹤定位結(jié)果，因此也會出現(xiàn)漂移。而將顯著性檢測進(jìn)行跟蹤的結(jié)果與相關(guān)濾波算法跟蹤結(jié)果進(jìn)行融合加權(quán)一定程度上減少了顯著性檢測偏差的影響,提高了跟蹤的準(zhǔn)確性。這些算法直接使用顯著性檢測的結(jié)果進(jìn)行定位判斷,一旦顯著性檢測的結(jié)果不準(zhǔn)確,跟蹤結(jié)果也會產(chǎn)生一定的漂移。因此本文將對上述方法進(jìn)行改進(jìn),提出了一種針對顯著性檢測結(jié)果的重檢測方法,在一定程度上減少了顯著性檢測結(jié)果偏差帶來跟蹤漂移的可能性。在此基礎(chǔ)上,算法使用響應(yīng)的多峰結(jié)果選擇性進(jìn)行顯著性檢測,縮小了目標(biāo)檢測的范圍,縮短了每幀進(jìn)行顯著性檢測的時間,提高了跟蹤算法的速度。

1.2 模型退化

模型隨著時間的推移可能產(chǎn)生變化,尤其是在相關(guān)濾波類算法中,采用線性插值進(jìn)行更新的方式,更容易疊加干擾噪聲,引起模型退化。因此，根據(jù)目標(biāo)檢測中跟蹤響應(yīng)結(jié)果的反饋,來決定是否更新模型就很有必要。Wang等人利用目標(biāo)檢測響應(yīng)的APCE作為評價指標(biāo)來設(shè)計跟蹤置信度判定策略,處于高置信度時進(jìn)行更新,反之則不進(jìn)行更新。還有一些方法采用正則化的算法,在進(jìn)行模型學(xué)習(xí)的同時進(jìn)行模型更新,優(yōu)化模型的同時進(jìn)一步防止了模型的退化,空間正規(guī)劃判別相關(guān)濾波器(spatially regularized discriminative correlation filters,SRDCF)算法根據(jù)目標(biāo)的位置特點加入了空間正則化,減輕了模型的邊界效應(yīng),在此基礎(chǔ)上,Li等人提出加入了時間正則化,在保證模型與歷史模型相似的前提下防止模型的退化。AutoTrack算法使用局部響應(yīng)和全局響應(yīng)的特點分別作為時間和空間的正則化條件,跟蹤精度得到進(jìn)一步提高。而本文提出了一種新的模型更新方式,將斯皮爾曼相似性判斷引入目標(biāo)跟蹤算法,檢測判斷目標(biāo)遮擋、形變等情況,當(dāng)相似性條件低于某一閾值時,當(dāng)前模型不需要進(jìn)行更新;當(dāng)斯皮爾曼相似性大于某一閾值時,當(dāng)前模型存在干擾的可能性較低,進(jìn)行模型保存并更新。

2 AUKCF算法

本文提出的AUKCF算法是基于KCF算法提出的顯著性重檢測定位以及斯皮爾曼相關(guān)性判別的自適應(yīng)更新方式,算法框架如圖1所示。

圖1 AUKCF算法總框架Fig.1 Overall procedure of AUKCF algorithm

圖1中,① 表示算法首先使用相關(guān)濾波算法得到目標(biāo)響應(yīng)。② 表示當(dāng)響應(yīng)為正常的單峰情況時,根據(jù)響應(yīng)圖的最大值位置定位為目標(biāo)位置。③ 表示傳統(tǒng)相關(guān)濾波算法在復(fù)雜環(huán)境下響應(yīng)圖容易出現(xiàn)多峰現(xiàn)象,當(dāng)出現(xiàn)多峰狀態(tài)時,使用顯著性方法進(jìn)行檢測,得到被檢測區(qū)域的顯著性位置。④ 表示對顯著性檢測的位置和響應(yīng)圖中最高峰和次高峰的位置進(jìn)行響應(yīng)的重新計算判斷目標(biāo)位置。⑤ 表示提取當(dāng)前目標(biāo)位置的灰度特征并與第1幀目標(biāo)的灰度特征計算斯皮爾曼相似性。⑥ 表示通過自適應(yīng)的方式更新濾波器模型和目標(biāo)模型。本節(jié)首先介紹基本的KCF算法,然后介紹本文提出的顯著性檢測及其重檢測方法,最后介紹提出的自適應(yīng)更新方法。

2.1 KCF算法

KCF算法主要分為模型訓(xùn)練、目標(biāo)定位和模型更新3部分。

(1) 模型訓(xùn)練

KCF算法中濾波器的訓(xùn)練可以看作是求解嶺回歸的問題:

(1)

式中：為循環(huán)移位采樣的第個訓(xùn)練樣本；為第個訓(xùn)練樣本對應(yīng)的高斯標(biāo)簽；是列向量,表示權(quán)重系數(shù)；為正則化系數(shù),模型訓(xùn)練的過程就可以看作是求解的過程。

在線性空間中,()=,將式(1)寫成矩陣形式為

(2)

式中：=[,,…,],的每一行表示一個向量。是列向量,第個元素對應(yīng),每一個元素表示一個樣本標(biāo)簽。

為了使得映射后的樣本在高維空間中線性可分,算法中引入非線性映射函數(shù)(·)將特征空間映射到更高維空間,使得可以表示為

(3)

式中：為權(quán)重系數(shù)。

因此，的求解可以轉(zhuǎn)換成對的求解,為的向量形式,式(2)可以寫成

(4)

式中：()=[(),(),…,()]。

令導(dǎo)數(shù)為0,可以求得

=(()()+λ)

(5)

式中：為表示核空間中的權(quán)重系數(shù)的列向量。

令=()()表示核空間的核矩陣,則

(6)

經(jīng)過快速傅里葉變換,可將式(6)變換為

(7)

通過上述步驟就可以通過對所有訓(xùn)練樣本進(jìn)行嶺回歸訓(xùn)練得到濾波器模型。

(2) 目標(biāo)定位

用前一幀得到的目標(biāo)位置為中心,使用25倍目標(biāo)大小的區(qū)域,作為當(dāng)前幀的候選測試區(qū)域,從中提取測試樣本,并對目標(biāo)進(jìn)行檢測,將當(dāng)前幀的測試樣本和訓(xùn)練得到的濾波器計算相關(guān)性響應(yīng),響應(yīng)最大的位置判斷為當(dāng)前目標(biāo)的位置。定義核空間中的測試樣本和訓(xùn)練樣本的核矩陣=()(),則測試樣本的響應(yīng)為

(8)

式中：是的第一列。

(3) 模型更新

(9)

(10)

2.2 基于顯著性的目標(biāo)重檢測

在KCF通過式(8)獲得目標(biāo)響應(yīng)之后,本文對響應(yīng)圖進(jìn)行多峰響應(yīng)的檢測，文獻(xiàn)[11]中提出了有關(guān)多峰響應(yīng)的概念,當(dāng)采樣范圍內(nèi)存在相似物體或者背景噪聲時響應(yīng)圖可能存在多個峰值接近的情況,響應(yīng)圖的其他峰值和最高峰值的比例超過一定閾值則認(rèn)為是多峰響應(yīng)狀態(tài)。在多峰響應(yīng)狀態(tài)時,本文對當(dāng)前采樣范圍進(jìn)行顯著性檢測,得到顯著性目標(biāo)位置,然后保存多峰響應(yīng)中的最高峰和次高峰的位置,針對顯著性目標(biāo)位置、最高峰位置、次高峰位置分別進(jìn)行響應(yīng)重計算,重新確定目標(biāo)位置。

顯著性重檢測首先檢測響應(yīng)圖中所有像素鄰域范圍內(nèi)最高點即峰值的位置,對于輸入的響應(yīng)圖,峰值位置的計算可以表示為

(11)

對峰值大小進(jìn)行排序,由于次高峰和主高峰對目標(biāo)位置的判斷影響最大,所以本文中僅對最高峰和次高峰進(jìn)行計算,響應(yīng)狀態(tài)判斷如下:

(12)

式中：為返回響應(yīng)峰值的位置；為次高峰對應(yīng)的響應(yīng)大小；為最高峰對應(yīng)的響應(yīng)；為判斷閾值。()表示最高峰對應(yīng)的位置；(,)表示次高峰位置和最高峰位置的集合。當(dāng)次高峰與最高峰比值大于時,認(rèn)為次高峰有可能是目標(biāo)的正確位置,同時將次高峰和最高峰的位置輸出。次高峰與最高峰比值小于等于時,認(rèn)為次高峰是正確位置的可能性不大,最高峰所在的位置即為當(dāng)前目標(biāo)的位置。

當(dāng)次高峰與最高峰比值大于時,對目標(biāo)區(qū)域進(jìn)行顯著性檢測,使用基于圖形的視覺顯著性(graph-based visual saliency,GBVS)算法進(jìn)行顯著性目標(biāo)位置定位。顯著性檢測使用顏色、亮度、方向特征構(gòu)造區(qū)域特征圖×,把每個像素作為圖的節(jié)點,根據(jù)像素的特征差異性構(gòu)造圖模型,節(jié)點(,)和(,)的特征差異性為

(13)

式中:((,)||(,))表示節(jié)點(,)和(,)比值的對數(shù)距離。

對于有向圖,節(jié)點(,)到節(jié)點(,)有向邊可以表示為權(quán)值:

((,),(,))=((,)||(,))(-,-)

(14)

其中,

(15)

式(15)定義了距離權(quán)重,距離越遠(yuǎn)對結(jié)果影響越小。最后構(gòu)造二維圖像的馬爾可夫鏈并計算均衡分布,最后的均衡分布即為顯著性圖。顯著圖的75%顯著性區(qū)域的中心即為顯著性目標(biāo)的位置。將顯著性檢測得到的位置以及多峰的位置分別與目標(biāo)模型重新計算響應(yīng),則可以表示為

(16)

由式(16)得到3個響應(yīng)圖,將3個響應(yīng)圖中最大響應(yīng)進(jìn)行排序,響應(yīng)值最大的位置作為目標(biāo)重檢測的最終位置。

通過將多峰位置與顯著性檢測的位置進(jìn)行重檢測可以提高目標(biāo)定位的準(zhǔn)確性。而當(dāng)目標(biāo)周圍存在干擾,采用KCF中的更新方式會通過式(9)和式(10)的更新將干擾保存到模型,容易引起模型退化,產(chǎn)生目標(biāo)漂移。因此，本文在顯著性重檢測之后采用基于外觀相似性的自適應(yīng)模型更新方式。

2.3 基于外觀相似性的更新方式

針對KCF算法傳統(tǒng)更新方式在目標(biāo)出現(xiàn)干擾時引起模型退化的問題,本文提出基于外觀相似性的更新方式,判斷當(dāng)前模型是否適合進(jìn)行更新。這里采用的是斯皮爾曼相關(guān)性系數(shù)來判斷外觀的相似性,斯皮爾曼相關(guān)性系數(shù)通常也叫斯皮爾曼等級相關(guān)系數(shù)或者斯皮爾曼秩相關(guān)系數(shù),常用于判斷數(shù)據(jù)的相關(guān)性。在目標(biāo)跟蹤算法中,對給定的初始幀的目標(biāo),提取目標(biāo)灰度特征作為數(shù)據(jù)集X,后續(xù)的預(yù)測目標(biāo)提取的灰度特征數(shù)據(jù)作為數(shù)據(jù)集,假設(shè)和的數(shù)據(jù)長度是,集合中任意一個元素值表示為、(1≤≤),對數(shù)據(jù)集、中的所有元素同時進(jìn)行升降排序,分別得到進(jìn)行數(shù)值重新升降排序后的新集合′、′,其中元素′為′中的第個元素,′為′中的第個元素,將集合′、′中的相應(yīng)位置元素相減得到一個排行差分集合,其中=-,∈,1≤≤,則圖像和圖像之間的斯皮爾曼等級相關(guān)系數(shù)的計算公式為

(17)

以O(shè)TB2015中的Basketball視頻序列為例,通過計算當(dāng)前目標(biāo)和初始目標(biāo)的灰度特征的斯皮爾曼相似性,可以得到變化規(guī)律如圖2所示。圖中紅色線條為算法選定閾值,從圖2中可以看出斯皮爾曼相似性低于閾值時,目標(biāo)出現(xiàn)嚴(yán)重形變或者目標(biāo)受到嚴(yán)重的遮擋、背景雜波等干擾的情形。如果目標(biāo)過多的保存到這些干擾,模型就會發(fā)生退化,引起跟蹤漂移。因此,值不能過大,否則會將一定程度范圍的遮擋、形變、背景雜波等保留到模型中,降低模型的魯棒性;而值過小,則會保留過多的干擾信息,模型產(chǎn)生退化。斯皮爾曼相關(guān)系數(shù)的閾值是根據(jù)實驗效果不斷調(diào)試的結(jié)果,但不是固定的參數(shù),只是相似性判斷的依據(jù),經(jīng)過大量實驗觀測,在02至04范圍之間進(jìn)行取值都可以獲得比較好的性能結(jié)果。當(dāng)斯皮爾曼相似性低于時不進(jìn)行當(dāng)前模型的更新,從而可以進(jìn)一步提高目標(biāo)模型的穩(wěn)健性,減少模型退化的影響。

圖2 斯皮爾曼相似性Fig.2 Spearman correlation

AUKCF算法在傳統(tǒng)的KCF算法的基礎(chǔ)上將顯著性檢測融入到跟蹤過程中,可以對目標(biāo)跟蹤結(jié)果進(jìn)行調(diào)整。同時,AUKCF算法改進(jìn)了KCF算法的更新方式,使用外觀相似性的自適應(yīng)更新方法提高模型的穩(wěn)健性,進(jìn)一步減少目標(biāo)漂移。

3 實驗及分析

3.1 實驗環(huán)境與參數(shù)設(shè)置

本實驗環(huán)境配置為Intel Xeon W-2235 CPU(主頻為3.80 GHz),RAM為64 GB的計算機(jī),測試平臺為Windows10+Matlab R2014b。本文采用公開數(shù)據(jù)集OTB2015和VOT2018對AUKCF算法進(jìn)行驗證分析,為了評測的公平性,在所有的測試中使用作者提供的源碼并使用默認(rèn)參數(shù)值。本文中=07,=0.25。AUKCF算法速度可以達(dá)到93.84 fps,完全可以滿足實際應(yīng)用的實時性需要。

3.2 實驗數(shù)據(jù)集及實驗指標(biāo)介紹

3.3 消融實驗

本節(jié)中對AUKCF算法的每一個組成部分進(jìn)行分析,主要包括顯著性檢測調(diào)節(jié)部分和模型的自適應(yīng)更新部分。算法沿用了KCF的特征和核函數(shù)以及更新時的參數(shù),為了說明每一個部分的作用,本節(jié)進(jìn)行了消融實驗分析,每一個實驗設(shè)置如表1所示。

表1 消融實驗設(shè)置

如表1所示,KCF為基準(zhǔn)的實驗算法,本文的算法在KCF算法上進(jìn)行改進(jìn),KCFup算法在KCF的基礎(chǔ)上加入自適應(yīng)更新模塊,為了和本文效果進(jìn)行比較,更新的閾值=0.25。KCFsd算法在KCF算法的基礎(chǔ)上加入顯著性檢測用以對響應(yīng)的結(jié)果進(jìn)行響應(yīng)狀態(tài)判斷并進(jìn)行重檢測定位目標(biāo)的位置。而本文提出的AUKCF算法則是將二者進(jìn)行結(jié)合,即使用顯著性檢測對目標(biāo)的跟蹤結(jié)果進(jìn)行修正,又使用自適應(yīng)更新模塊對模型進(jìn)行選擇性的更新。

為了驗證各部分的有效性,在OTB2015中選擇了部分存在遮擋問題和形變挑戰(zhàn)的視頻進(jìn)行消融實驗,結(jié)果如圖3所示。從圖3中可以看出,在一次通過評估(one-pass evalution, OPE)的精度圖和成功率圖中,在KCF中只加入自適應(yīng)更新方法后的KCFup相比KCF提高1.9%和2.3%,在KCF中只加入顯著性重檢測方法后的KCFsd相比于KCF提高5.8%和3.2%。而將自適應(yīng)更新和顯著性檢測都用于目標(biāo)跟蹤時的AUKCF平均跟蹤精度、平均跟蹤成功率比原始的KCF分別提高了14%和11.8%,目標(biāo)跟蹤的效果得到更明顯的提高。但是與同時使用顯著性和自適應(yīng)更新的AUKCF算法相比,僅使用顯著性檢測或者自適應(yīng)更新的方法相對原始KCF的性能提升要小得多,這是因為在復(fù)雜場景下出現(xiàn)各種干擾時,顯著性檢測會對目標(biāo)位置進(jìn)行檢測,如果目標(biāo)響應(yīng)異常,則使用重檢測進(jìn)行修正,減少目標(biāo)漂移的可能。同時,使用了自適應(yīng)更新策略可以在目標(biāo)發(fā)生干擾時選擇性地對目標(biāo)模型進(jìn)行更新,這樣就可以在目標(biāo)恢復(fù)正常狀態(tài)時使用顯著性檢測快速定位到目標(biāo)。因此,在復(fù)雜場景中,AUKCF算法中的顯著性檢測和自適應(yīng)更新策略會起到相互補(bǔ)充的檢測效果,有一定的相互促進(jìn)作用,進(jìn)一步提高了跟蹤的準(zhǔn)確性。

圖3 消融實驗精度圖和成功率圖Fig.3 Precision plot and success plot of ablation experiment

3.4 模型對比

本節(jié)將AUKCF算法同CSK算法、DSST算法、KCF算法、SAMF算法、LDES算法、AutoTrack算法6個相關(guān)濾波類算法以及SiamTri算法、ACFN算法、UDT算法、GradeNet算法4個深度學(xué)習(xí)算法進(jìn)行比較,使用OTB2015數(shù)據(jù)集進(jìn)行定性和定量分析。

3.4.1 定性分析

本節(jié)選取Football、Jogging-1、Singer2、Jump、Basketball、Deer 6個視頻對11個算法進(jìn)行定性分析,涵蓋目標(biāo)跟蹤中常見的復(fù)雜場景,視頻序列跟蹤結(jié)果如圖4所示。

圖4 部分視頻序列跟蹤結(jié)果Fig.4 Tracking results of partial video sequences

(1) 遮擋

遮擋始終是跟蹤領(lǐng)域最艱難的挑戰(zhàn),遮擋后目標(biāo)的動向和大小未知,而且遮擋時目標(biāo)的部分或全部特征消失,此時將模型進(jìn)行保存更新會加劇模型退化,在Football視頻中發(fā)生了不同程度的遮擋,在285幀時目標(biāo)部分遮擋,可以看出所有算法都可以正確跟蹤目標(biāo),在287幀的時候目標(biāo)已經(jīng)全部被遮擋,可以看出所有的算法都只定位到目標(biāo)消失的地方,而在290幀目標(biāo)重新出現(xiàn)時大多數(shù)的算法定位出現(xiàn)漂移,而本文提出的AUKCF算法在遮擋消失目標(biāo)重新出現(xiàn)之后能立即跟蹤到正確目標(biāo)。在Jogging-1視頻的66幀時跟蹤的行人被部分遮擋,這時多數(shù)的算法都可以正確定位,目標(biāo)在72幀時完全被路邊的設(shè)施遮擋,在80幀時重新出現(xiàn),此時多數(shù)算法丟失目標(biāo),只有本文算法和少數(shù)幾個算法能重新檢測到目標(biāo)的位置。通過以Football和Jogging-1為例的不同遮擋程度下的跟蹤效果可以看出,本文算法在目標(biāo)的不同遮擋場景下依然可以準(zhǔn)確跟蹤,這是因為AUKCF算法在目標(biāo)嚴(yán)重遮擋時不進(jìn)行目標(biāo)模型的更新,保持模型的魯棒性,并且在目標(biāo)重新出現(xiàn)之后使用顯著性進(jìn)行重檢測定位,可以重新獲取目標(biāo)完成跟蹤。

(2) 形變

在Singer2視頻中,可以看出在13幀到17幀之間,歌手有了形態(tài)上的變化,多數(shù)算法跟蹤位置產(chǎn)生漂移,只有少數(shù)算法可以準(zhǔn)確跟蹤,從17幀到28幀之間,歌手的形態(tài)有了更大的變化,可以看出多數(shù)算法已經(jīng)丟失目標(biāo)。在Jump視頻中,在11幀到20幀之間隨著跳高運動員起跳過程中的不同程度的姿勢變化,多數(shù)跟蹤算法丟失目標(biāo),而只有本文算法和ACFN算法在不同程度的形態(tài)變化后仍然可以準(zhǔn)確檢測目標(biāo)的位置。當(dāng)目標(biāo)外形發(fā)生變化時,對于形變程度小的目標(biāo),本文算法依舊可以根據(jù)更新閾值的限制對目標(biāo)模型進(jìn)行保留更新,而當(dāng)目標(biāo)形變過大時,此時的模型不進(jìn)行更新,但是如果目標(biāo)定位出現(xiàn)漂移會使用顯著性檢測進(jìn)行目標(biāo)的重定位識別,進(jìn)而跟蹤到目標(biāo)的準(zhǔn)確位置。

(3) 光照

在Basketball視頻中,可以看出在649幀時目標(biāo)處在正常的光照條件下,而在650幀時目標(biāo)產(chǎn)生劇烈的光照變化,可以看出,受到光照變化的干擾,部分算法開始跟蹤目標(biāo)旁邊的相似的干擾,產(chǎn)生漂移,直至丟失目標(biāo)。本文算法不受光照條件的影響仍然可以準(zhǔn)確跟蹤,一方面是因為原有的KCF算法使用的HOG特征本身就對光照變化不敏感。另一方面,本文算法使用顯著性檢測的方法對響應(yīng)的結(jié)果進(jìn)行修正,可以不受相似干擾的影響,進(jìn)而保持準(zhǔn)確跟蹤。

(4) 運動模糊、快速運動、背景雜波

運動模糊通常和快速運動挑戰(zhàn)同時產(chǎn)生,而在Deer視頻中還受到背景雜波的影響。可以看出在24幀時,目標(biāo)發(fā)生模糊,25幀時出現(xiàn)快速運動,同時存在相似背景的干擾,導(dǎo)致部分算法漂移,在26幀時,漂移算法進(jìn)而丟失原有目標(biāo)。本文算法之所以能繼續(xù)準(zhǔn)確地跟蹤目標(biāo),一方面是因為使用顯著性檢測可以在快速運動和背景雜波時準(zhǔn)確跟蹤目標(biāo)。另一方面,當(dāng)目標(biāo)受到嚴(yán)重干擾時,自適應(yīng)更新策略會選擇性地對目標(biāo)模型進(jìn)行更新,保持了模型的魯棒性,在目標(biāo)正常時就可以繼續(xù)完成目標(biāo)跟蹤。

綜上所述,通過定性分析AUKCF算法在目標(biāo)出現(xiàn)遮擋、目標(biāo)形變、光照、快速運動、運動模糊、背景雜波時都可以保持準(zhǔn)確魯棒的跟蹤。尤其是目標(biāo)遮擋情況下,算法表現(xiàn)出了優(yōu)越的跟蹤性能。

3.4.2 定量分析

本文使用VOT2018數(shù)據(jù)集對算法進(jìn)行評測。VOT2018數(shù)據(jù)集可以分為相機(jī)抖動、超出視野、光照變化、快速運動、遮擋、尺度變化6種挑戰(zhàn)。通過對不同挑戰(zhàn)視頻進(jìn)行評測,來說明本文算法在復(fù)雜場景下的性能。為了更好地評測本文算法的效果,使用準(zhǔn)確率均值、準(zhǔn)確率加權(quán)平均、準(zhǔn)確率合并方差和EAO(expected average overlap)對算法性能進(jìn)行測試,實驗結(jié)果如表2所示(表中加粗表示最優(yōu))。

表2 VOT2018實驗結(jié)果

從表中可以看出,本文算法在相機(jī)抖動、目標(biāo)快速運動、遮擋、尺度變化時均能保持最優(yōu)的性能,而且在目標(biāo)超出視野以及光照變化時也有不錯的表現(xiàn)。這是因為本文算法使用顯著性檢測可以對快速運動、光照變化、尺度變化、相機(jī)抖動場景中的目標(biāo)進(jìn)行快速的檢測定位,在遮擋中同樣可以在目標(biāo)受到遮擋重新出現(xiàn)、以及從視野消失又出現(xiàn)之后對目標(biāo)進(jìn)行檢測,找到目標(biāo)的準(zhǔn)確位置。同時由于自適應(yīng)更新可以選擇性的對目標(biāo)進(jìn)行更新,避免了模型退化,也增加了目標(biāo)受到劇烈干擾之后能快速識別檢測目標(biāo),提高跟蹤的準(zhǔn)確性。

綜上所述,AUKCF算法在復(fù)雜場景中仍然具有較高的跟蹤精度,并且算法實時性很高,可以滿足實際應(yīng)用的需求。

4 結(jié) 論

本文對目標(biāo)跟蹤的檢測階段進(jìn)行調(diào)節(jié),提出一種顯著性檢測的重檢測目標(biāo)定位方法,顯著性檢測獨立于跟蹤過程,不受跟蹤漂移影響,而采用重檢測策略,又可以對顯著性檢測結(jié)果進(jìn)行校準(zhǔn)。同時針對環(huán)境干擾提出一種斯皮爾曼相似性模型更新的方法,相似性判斷的方法可以有效檢測干擾,檢測到干擾時不進(jìn)行模型更新,減少了模型退化,提高了目標(biāo)跟蹤的準(zhǔn)確性。本文算法可為模型更新策略提供思路,即采用和目標(biāo)相似性有關(guān)的判別方法實現(xiàn)自適應(yīng)模型更新。本文算法也可以提供一種漂移檢測和模型更新的思路,進(jìn)一步的研究可以使用相似性判斷的思想實現(xiàn)正則化約束。后續(xù)研究將對獨立的顯著性檢測和相似性檢測方法進(jìn)行模塊化,應(yīng)用于在線的深度學(xué)習(xí)目標(biāo)追蹤算法中,實現(xiàn)目標(biāo)檢測精度的進(jìn)一步提升。