熱紅外圖像序列中基于KCF和Mean-Shift定位的目標(biāo)跟蹤方法

易 欣，郭武士，趙 麗

(1.四川省裝備制造業(yè)機(jī)器人應(yīng)用技術(shù)工程實(shí)驗(yàn)室， 四川 德陽(yáng) 618000;2.山西大學(xué) 軟件學(xué)院， 太原 030013)

紅外(infrared radiation，IR)是一種看不見(jiàn)的電磁波譜，具有比可見(jiàn)光譜更長(zhǎng)的波長(zhǎng)[1-2]。在過(guò)去幾十年里，盡管紅外跟蹤在RGB視頻中取得了很大的進(jìn)步，但是熱成像中物體的特性一直都是高效跟蹤器設(shè)計(jì)中的硬約束，使用單一特征或技術(shù)跟蹤對(duì)象通常無(wú)法達(dá)到更高的精度。由于熱像具有低信噪比(signal to noise ratio，SNR)特性，含有大量的死像素，而且通常顯示為缺少紋理和顏色高光的灰度圖像，因此紅外跟蹤十分具有挑戰(zhàn)性[3]。

跟蹤算法主要因使用的目標(biāo)特征、運(yùn)動(dòng)模型、內(nèi)存和對(duì)象表示不同而不同，已提出的算法主要分為生成式和判別式，產(chǎn)生了大量使用適當(dāng)特征和合適分類(lèi)器的檢測(cè)技術(shù)。文獻(xiàn)[4]采用AdaBoost分類(lèi)器，該分類(lèi)器使用了對(duì)象的Haar、取向直方圖和局部二元模式特征。作為一種改進(jìn)，文獻(xiàn)[5]使用梯度信道特征直方圖，通過(guò)循環(huán)數(shù)據(jù)結(jié)構(gòu)進(jìn)行訓(xùn)練和測(cè)試，提出了核化相關(guān)濾波器(kernelized correlation filters，KCF)。在此框架下，文獻(xiàn)[6]使用了具有魯棒尺度估計(jì)的方向梯度直方圖(histogram of oriented gradient,HOG)特征和顏色統(tǒng)計(jì)模型，并預(yù)先識(shí)別出分散區(qū)域以避免漂移。文獻(xiàn)[7]提出了一種基于曲線匹配和卡爾曼濾波器組合的技術(shù)來(lái)預(yù)測(cè)紅外視頻中目標(biāo)的位置。文獻(xiàn)[8]提出小紅外目標(biāo)檢測(cè)技術(shù)來(lái)與前景和背景相對(duì)應(yīng)的興趣點(diǎn)分組，并引入了R-均值聚類(lèi)技術(shù)。盡管已提出了許多算法，但有效跟蹤器的設(shè)計(jì)仍具有挑戰(zhàn)性。由于紅外圖像缺乏顏色和紋理屬性，所以這些特征的使用受到了限制。此外，遮擋和混亂背景會(huì)給實(shí)時(shí)跟蹤帶來(lái)困難，從而產(chǎn)生錯(cuò)誤的軌跡。

本文在KCF框架中采用梯度和空間強(qiáng)度直方圖特征相結(jié)合的方法來(lái)解決這些問(wèn)題。在判別式跟蹤器中，相比于其他分類(lèi)技術(shù)，KCF跟蹤器在識(shí)別和定位能力方面都較為突出。核化相關(guān)濾波器的目標(biāo)是從物體外觀及其周?chē)h(huán)境中進(jìn)行學(xué)習(xí)，并基于輸出響應(yīng)峰值位置將區(qū)域分類(lèi)為目標(biāo)或背景。為了評(píng)估本文方法的性能，在實(shí)驗(yàn)數(shù)據(jù)集中13個(gè)具有挑戰(zhàn)性的紅外圖像序列上進(jìn)行實(shí)驗(yàn)。與現(xiàn)有的跟蹤器相比，本文方法的平均距離精度和平均重疊精度有顯著提高。

1 判別式表觀模型的建立

紅外跟蹤的目的是從第一幀的初始地面實(shí)況位置開(kāi)始尋找目標(biāo)在后續(xù)幀上的軌跡。相比RGB記錄，由于以下原因，紅外跟蹤具有挑戰(zhàn)性：① 熱紅外圖像有噪聲，分辨率低，含有大量的死像素；② 熱紅外圖像多顯示為缺少紋理和顏色高光的灰度圖像；③ 熱紅外圖像中物體的強(qiáng)度因溫度不同而異，而不是因光照而異；④ 熱紅外圖像中物體的遮擋處理和重新識(shí)別較為困難；⑤ 由于興趣目標(biāo)可能與背景混合，或目標(biāo)可能在大小、形狀或強(qiáng)度上發(fā)生變化，對(duì)于更復(fù)雜的背景，很難檢測(cè)到跟蹤目標(biāo)。

判別式表觀模型綜合考慮了目標(biāo)與背景的特征，著重于如何區(qū)別目標(biāo)與背景[9-11]。基于判別式表觀模型的目標(biāo)跟蹤框架如圖1所示。通過(guò)檢測(cè)方法的跟蹤將問(wèn)題視為獲得每個(gè)幀中目標(biāo)位置的分類(lèi)任務(wù)。由于最高分類(lèi)置信度值對(duì)應(yīng)于最佳目標(biāo)位置，易導(dǎo)致跟蹤器漂移。因此，為了確定目標(biāo)位置，使用了基于空間結(jié)構(gòu)和像素強(qiáng)度值的兩種互補(bǔ)方法。

圖1 基于判別式表觀模型的目標(biāo)跟蹤框架

1.1 KCF跟蹤器

相關(guān)濾波器是模板匹配中所使用的基本信號(hào)處理技術(shù)之一，且其對(duì)諸如目標(biāo)檢測(cè)、人臉識(shí)別、目標(biāo)跟蹤和動(dòng)作識(shí)別的應(yīng)用產(chǎn)生了很大的影響。KCF是相關(guān)濾波器的核化版本，該核化版本使用數(shù)據(jù)循環(huán)結(jié)構(gòu)的性質(zhì)，其目的是通過(guò)檢測(cè)方法的跟蹤而進(jìn)行訓(xùn)練和測(cè)試。這兩個(gè)特性分別用于訓(xùn)練KCF濾波器，輸出概率圖中的最大值表示目標(biāo)的位置。

使用非線性轉(zhuǎn)化從標(biāo)量x中構(gòu)造信道向量c，并獲得：

c=[K(x-x1),K(x-x2)…K(x-x3)]T

(1)

其中：K(·)表示對(duì)稱非負(fù)基函數(shù)；x1,x2,…,xn為信道中心或bin中心。因此，信道編碼涉及從標(biāo)量中構(gòu)造信道矢量。信道表示(channel representation，CR)是用于機(jī)器視覺(jué)和跟蹤中的生物啟發(fā)數(shù)據(jù)表示。使用核函數(shù)K(·)(如cos2)來(lái)基本構(gòu)造CRs，以獲得平滑直方圖。假設(shè)有n個(gè)樣本xi且每個(gè)樣本表示可以編碼的圖像的像素值。因此，從數(shù)據(jù)xi和間隔為h的bin中心中獲得CR的系數(shù)，如：

(2)

1.2 用于單特征的KCF跟蹤器原理

在KFC中，從當(dāng)前幀中裁剪出尺寸為P×Q的輸入圖像塊xi，同時(shí)提取空間特征。利用數(shù)據(jù)的循環(huán)結(jié)構(gòu)從輸入樣本的所有循環(huán)移位中訓(xùn)練濾波器以生成相同尺寸的輸出y，y為在指示目標(biāo)位置中心處具有最大值的高斯形狀。為了避免周期性卷積引起的頻譜混疊，裁剪后的圖像塊尺寸是目標(biāo)尺寸的1.5倍。然后用余弦窗口乘以圖像塊來(lái)平滑尖銳的邊界。通過(guò)尺寸為P×Q的濾波器w來(lái)實(shí)現(xiàn)輸入特征到輸出概率圖的映射。為了學(xué)習(xí)濾波器，公式化該訓(xùn)練問(wèn)題以最小化核映射訓(xùn)練樣本xi與目標(biāo)y之間的誤差，如下所示：

(3)

其中：w表示空間域中的濾波器模板；λ為用于避免過(guò)度擬合的正則項(xiàng)；φ(xi)將輸入模板xi映射到非線性高斯核空間。因此，對(duì)于兩個(gè)輸入向量xl和xj，將內(nèi)積〈φ(xl),φ(xj)〉表示為Kxlxj。核相關(guān)涉及計(jì)算兩個(gè)向量相對(duì)位移的核。對(duì)于高斯核，其形式為：

(4)

其展開(kāi)式為：

(5)

其中:σg為高斯核函數(shù)的方差; ⊙表示數(shù)組元素依次相乘;*表示變量的復(fù)共軛，符號(hào)頂部的橫桿表示離散傅里葉變換(discrete fourier transform，DFT)；ξ表示正向轉(zhuǎn)換(forward DFT)；ξ-1表示逆向轉(zhuǎn)換(inverse DFT)。濾波器模板w還可表示為輸入數(shù)據(jù)樣本的線性組合，如：

w=∑βiφ(xi)

(6)

其中βi為

(7)

(8)

(9)

(10)

1.3 梯度特征KCF跟蹤器

相比原始像素值處理，多特征圖像信號(hào)處理能很好地分類(lèi)形狀和強(qiáng)度特征。如所討論的，在本文研究使用了梯度和信道編碼強(qiáng)度特征。本文通過(guò)將預(yù)處理所提取的上下文特征與漢寧窗相乘，從而減少FFT操作帶來(lái)的尖銳邊界效應(yīng)。

接著使用梯度和信道編碼特征圖訓(xùn)練KCF以分別獲得濾波器H1和H2。梯度特征提供建立穩(wěn)定外觀模型的邊緣信息，而信道編碼的灰度圖則能詳細(xì)描述目標(biāo)和背景像素值的強(qiáng)度分布(本文方法中所使用的梯度特征見(jiàn)圖2)。為了在跟蹤中結(jié)合多個(gè)特性，在每幀中分別找到梯度(og)和信道編碼特征(oc)的濾波響應(yīng)。在線生成自適應(yīng)權(quán)重以基于峰-旁瓣比(peak-to-sidelobe ratio，PSR)融合置信度圖。

圖2 本文方法中所使用的梯度特征

PSR是用以在置信圖中找出峰值強(qiáng)度的一種測(cè)量方法，這里，置信度圖中的每個(gè)像素表示屬于對(duì)象的像素位置。為了計(jì)算相關(guān)響應(yīng)(置信圖)o的PSR，需計(jì)算峰位置周?chē)?3×13區(qū)域的峰值omax、均值μo和方差σo，接著計(jì)算PSR，如：

(11)

使用權(quán)重w1和w2在每幀中生成自適應(yīng)權(quán)重以加入可能性映射，并獲得如下權(quán)重：

(12)

(13)

其中：PSRg表示梯度響應(yīng)的PSR；PSRc表示信道編碼特征響應(yīng)的PSR。使用權(quán)重w1和w2生成融合置信圖o，如o=w1og+w2oc。使用自適應(yīng)權(quán)重的優(yōu)點(diǎn)是：在某些序列中，梯度特征優(yōu)于信道編碼特征；為了提高跟蹤性能，梯度特征比信道編碼特征具有更大的權(quán)重。目標(biāo)的位置表示為(xa,ya)或lcf，并基于輸出響應(yīng)圖o的最大值獲得該位置。

1.4 模板更新步驟

在每幀中執(zhí)行模板更新以了解對(duì)象的最新外觀，從而使模板與最新數(shù)據(jù)相一致。KCF使用固定的學(xué)習(xí)率更新每幀中的濾波器模板，這一步控制了跟蹤器的速度。然而，相關(guān)濾波對(duì)變形、遮擋和較大的外觀變化非常敏感。當(dāng)濾波器模板以恒定的學(xué)習(xí)速度更新時(shí)，漂移的機(jī)會(huì)就會(huì)增加。因此，在本文提出方法中，采用質(zhì)量措施并基于置信圖來(lái)更新濾波模板。因此，當(dāng)跟蹤的置信度超過(guò)閾值時(shí)，利用初始值更新濾波器模板，如方程(8)和(9)。上述步驟在很大程度上減少了漂移，這是由于以恒定的學(xué)習(xí)速率更新了每個(gè)樣本。

2 基于像素的目標(biāo)分割

如上所述，相關(guān)濾波模型依賴于對(duì)變形和遮擋更敏感的空間結(jié)構(gòu)，這是因?yàn)楦櫰髦饾u漂移。另一方面，基于像素分類(lèi)的模型對(duì)形狀變化具有較強(qiáng)的魯棒性，但其對(duì)目標(biāo)背景對(duì)比度很敏感。為了提高相關(guān)濾波模型的魯棒性，本文采用互補(bǔ)技術(shù)來(lái)提高跟蹤性能。與KCF中使用的空間特征相反，該技術(shù)使用每個(gè)像素周?chē)膱D像塊訓(xùn)練分類(lèi)器。

為了更新分類(lèi)器模型，本文使用2個(gè)度量確認(rèn)跟蹤置信度:第1種度量為PSR，用以證明相關(guān)濾波器的跟蹤置信度；第2個(gè)度量為權(quán)重圖的集合，用以測(cè)量分類(lèi)器的置信度。權(quán)重圖的集合(總和)為從分類(lèi)器中獲得的似然圖中像素值的代數(shù)相加，該集合很可能在遮擋期間減少并在背景復(fù)雜期間增加。如果這兩種置信度都超過(guò)了特定的閾值，則考慮使用模板更新分類(lèi)器。

3 目標(biāo)定位

跟蹤漂移是在線跟蹤系統(tǒng)中用不準(zhǔn)確的數(shù)據(jù)對(duì)模型進(jìn)行修正的結(jié)果，本文利用Mean-Shift算法對(duì)目標(biāo)位置進(jìn)行細(xì)化。在基于Mean-Shift均值漂移搜索算法的跟蹤模型中，通過(guò)核函數(shù)對(duì)顏色直方圖進(jìn)行空間上的加權(quán)，降低了目標(biāo)跟蹤模板對(duì)輕微變形、遮擋等的敏感度[12-13]。被跟蹤目標(biāo)的模型和候選目標(biāo)特征分別表示為式(14)(15)。

q={qu}u=1,2,…,m

(14)

p(y)={pu(y)}u=1,2,…,m

(15)

其中：q為被跟蹤目標(biāo)模型的直方圖；p(y)為中心位置在y處的候選目標(biāo)；y是二維向量，表示可能的候選目標(biāo)區(qū)域的中心位置，其中m為特征值bin的個(gè)數(shù)。q與p(y)的直方圖分布滿足式(16)和式(17)。

(16)

(17)

跟蹤目標(biāo)模型的特征分布表示如下：

(18)

目標(biāo)模型與可能的候選目標(biāo)的相似性采用式系數(shù)來(lái)衡量，式系數(shù)的計(jì)算方法如下：

(19)

式(19)是對(duì)2個(gè)統(tǒng)計(jì)樣本的重疊量的近似計(jì)算。在跟蹤過(guò)程中，還需要定義一個(gè)距離函數(shù)，通過(guò)最小化模板與候選目標(biāo)之間的距離，從而決定最優(yōu)候選目標(biāo)的位置。定義跟蹤目標(biāo)與候選目標(biāo)模型之間的式距離表示如下：

(20)

4 實(shí)驗(yàn)結(jié)果

4.1 實(shí)驗(yàn)設(shè)置

為評(píng)估本文提出的方法，選擇了LTIR[14]數(shù)據(jù)集，該數(shù)據(jù)集已經(jīng)整合了視頻目標(biāo)跟蹤中的多種復(fù)雜情況。數(shù)據(jù)集中的序列是幾個(gè)熱傳感器從不同的源捕獲的。在英特爾(R)內(nèi)核i5-5200U、CPU為8 GB RAM的2.20 GHz的機(jī)器中，本文使用Matlab 2012a軟件對(duì)本文提出的算法進(jìn)行實(shí)驗(yàn)。

本文提出的跟蹤算法在從LTIR數(shù)據(jù)集中選取的13幅圖像序列上進(jìn)行了評(píng)估。該數(shù)據(jù)集將人、動(dòng)物和車(chē)輛作為目標(biāo)。這些序列包括移動(dòng)攝像機(jī)、遮擋、外觀變化、溫度變化和比例變化等挑戰(zhàn)。從數(shù)據(jù)集中提供的地面實(shí)況注釋中獲取目標(biāo)的起始位置，以初始化跟蹤。

表1提供了13個(gè)圖像序列和挑戰(zhàn)的詳細(xì)信息，包括在不同氣候條件下錄制的室內(nèi)和室外錄像。在真實(shí)的文本文件中提供注釋，注釋每行含有邊界框角落的(x,y)坐標(biāo)，用于定量評(píng)估。

表1 與LTIR數(shù)據(jù)集中13個(gè)序列相關(guān)聯(lián)的挑戰(zhàn)

續(xù)表(表1)

4.2 實(shí)驗(yàn)分析

本文方法在熱紅外圖像序列中的跟蹤效果如圖3所示，可以有效定位每個(gè)幀的目標(biāo)，取得了較好的跟蹤效果。

圖3 本文方法在圖像序列中的跟蹤

本節(jié)利用4種最先進(jìn)的基線跟蹤器評(píng)估本文提出的跟蹤方法，對(duì)于視覺(jué)和熱紅外目標(biāo)跟蹤，都使用這4種跟蹤器，即FCT[15]、EDFT[16]、DSST[17]、KCFHOG[5]。本文在3個(gè)性能指標(biāo)[18]的基礎(chǔ)上，闡明了本文提出方法與著名算法間的比較。這3個(gè)性能指標(biāo)包括平均中心位置誤差(average centre location error，ACLE)[19]、距離精度(distance precision，DP)和重疊精度(overlap precision，OP)[20]。

為了顯示跟蹤器跟蹤的位置與每幀中的地面實(shí)況注釋的偏差，本文使用地面實(shí)況和跟蹤地點(diǎn)之間的距離計(jì)算中心位置誤差(centre location error，CLE)。令(xi,yi)表示跟蹤位置，(xgi,ygi)表示幀號(hào)i處的地面真實(shí)位置，M表示視頻中的幀數(shù)，則獲得的平均中心位置誤差如下：

(21)

為了確定中心位置誤差小于某一閾值(即TDP=20像素)的幀數(shù)的百分比，本文計(jì)算了距離精度分?jǐn)?shù)(DP)，表示如下：

(22)

(23)

其中Si表示幀i的重疊分?jǐn)?shù)。

為了以圖形化的方法量化跟蹤方法，本文采用了精密繪圖。圖4為本文提出跟蹤器與幾個(gè)最著名跟蹤器在LTIR數(shù)據(jù)集上的距離精度和重疊精度分析結(jié)果。表2為幾種方法平均中心位置誤差對(duì)比。其中，本文提出的方法是由未優(yōu)化的Matlab代碼實(shí)現(xiàn)(不對(duì)任何幀進(jìn)行調(diào)整)的，平均每秒運(yùn)行6幀。

從實(shí)驗(yàn)結(jié)果可以看出：本文所提出的跟蹤器在平均中心位置誤差、距離精度和重疊精度等方面均優(yōu)于其他跟蹤器。這是因?yàn)椋現(xiàn)CT、EDFT這樣的跟蹤器很容易丟失或移位跟蹤，當(dāng)目標(biāo)出現(xiàn)緩慢變化時(shí)，它們通過(guò)采樣方法在本地窗口中搜索目標(biāo)。本文所提出的方法和DSST具有最小的漂移，且可以有效定位每個(gè)幀的目標(biāo)。DSST和KCFHOG由于遮擋而丟失目標(biāo)，當(dāng)目標(biāo)重新出現(xiàn)時(shí)也無(wú)法重新檢測(cè)到，可能是由于完全遮擋而從錯(cuò)誤樣本中進(jìn)行了學(xué)習(xí)。FCT和EDFT可以在重新出現(xiàn)后重新檢測(cè)目標(biāo)，但不能很好地定位目標(biāo)。本文方法在遮擋后可以重新檢測(cè)目標(biāo)，但不能準(zhǔn)確估計(jì)遮擋后的尺度。

表2 幾種方法平均中心位置誤差對(duì)比

圖4 本文提出跟蹤器與幾個(gè)最著名跟蹤器在LTIR數(shù)據(jù)集上的定量分析結(jié)果

5 結(jié)束語(yǔ)

本文介紹了一種基于檢測(cè)的跟蹤方法，該方法結(jié)合了判別式方法和生成式方法。為了獲得目標(biāo)位置，本文自適應(yīng)地結(jié)合了核化相關(guān)濾波框架下的梯度特征和信道編碼特征映射。同時(shí)，利用對(duì)象圖像塊和背景圖像塊訓(xùn)練AdaBoost分類(lèi)器以對(duì)每幀中的像素進(jìn)行分類(lèi)。通過(guò)對(duì)檢測(cè)區(qū)域執(zhí)行Mean-Shift均值偏移過(guò)程，尋找峰值以獲得最優(yōu)位置，將目標(biāo)定位于連續(xù)幀中。

使用LTIR數(shù)據(jù)集中的13個(gè)具有挑戰(zhàn)性的視頻對(duì)本文提出的算法進(jìn)行了評(píng)估，結(jié)果顯示：本文提出的方法顯示了出色的性能，在平均中心位置誤差、距離精度和重疊精度等方面均優(yōu)于對(duì)比跟蹤器。

未來(lái)希望進(jìn)一步完善本文方法，使之能夠在更復(fù)雜的情形下對(duì)熱紅外目標(biāo)進(jìn)行跟蹤。