多特征融合相關(guān)粒子濾波器視頻目標(biāo)跟蹤算法

張汝佳，楊小軍，王 海

(長安大學(xué) 信息工程學(xué)院，陜西 西安 710001)

0 引 言

視頻目標(biāo)跟蹤是指在確定了跟蹤目標(biāo)后，從連續(xù)不斷的圖像序列中跟蹤和定位目標(biāo)[1]。視頻目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)基本研究方向，在視頻監(jiān)控、智能交通、人機(jī)交互和運(yùn)動(dòng)分析等多個(gè)場(chǎng)景中都有極為廣泛的應(yīng)用[2]。

粒子濾波是20世紀(jì)90年代發(fā)展起來的一種基于Monte Carlo方法和遞推貝葉斯估計(jì)[3]的新濾波方法,在處理非線性、非高斯系統(tǒng)的參數(shù)估計(jì)和狀態(tài)濾波方面具有獨(dú)到的優(yōu)勢(shì)，多年來一直被應(yīng)用于視覺跟蹤：文獻(xiàn)[4]提出高斯混合自適應(yīng)外觀模型的Rao-Backwellized粒子濾波算法。該算法估計(jì)了目標(biāo)狀態(tài)和外觀模型的聯(lián)合分布；文獻(xiàn)[5]提出箱粒子濾波算法。該算法將區(qū)間分析技術(shù)和粒子濾波相結(jié)合；文獻(xiàn)[6]提出用粒子群算法對(duì)粒子濾波算法進(jìn)行優(yōu)化，一定程度改善了著名的粒子貧化和依賴問題。粒子濾波存在兩大問題[7]：第一，眾所周知，粒子濾波的思想是利用大量粒子模擬目標(biāo)的狀態(tài)分布，粒子數(shù)量越大，對(duì)于目標(biāo)最終的位置估計(jì)越精確，但是粒子數(shù)量大使粒子濾波的計(jì)算復(fù)雜性增加；第二，粒子濾波是根據(jù)采樣的粒子來確定目標(biāo)的狀態(tài)，若采樣的粒子不能很好地覆蓋目標(biāo)狀態(tài)，會(huì)導(dǎo)致錯(cuò)誤跟蹤。

近年來，相關(guān)濾波被證明具有較高的速度和穩(wěn)定性[8]，相關(guān)濾波應(yīng)用于目標(biāo)跟蹤方面的思想是：設(shè)計(jì)一個(gè)濾波模板，使得當(dāng)它作用在跟蹤目標(biāo)上時(shí)，得到的響應(yīng)最大，最大響應(yīng)值的位置就是目標(biāo)的位置。文獻(xiàn)[9]提出了CSK算法，該算法利用核空間中相鄰圖像塊的循環(huán)結(jié)構(gòu)，其跟蹤目標(biāo)的精確性與準(zhǔn)確性在當(dāng)時(shí)的評(píng)估基準(zhǔn)中達(dá)到了最高；文獻(xiàn)[10]在CSK算法的基礎(chǔ)上提出了核相關(guān)濾波器KCF，同時(shí)，應(yīng)用線性核提出了一個(gè)快速多通道擴(kuò)展的線性相關(guān)濾波器DCF；文獻(xiàn)[11]提出DSST算法，該算法是在MOSSE和KCF基礎(chǔ)上的改進(jìn)，主要成果有兩個(gè)方面：引入多特征融合機(jī)制；引入尺度估計(jì)。近年來，相關(guān)濾波的算法已經(jīng)發(fā)展得較為成熟，但是這些基于相關(guān)濾波的跟蹤器仍然不能很好地處理尺度變化和遮擋。

基于此，有學(xué)者提出相關(guān)粒子濾波算法[7]，該算法將粒子濾波與相關(guān)濾波進(jìn)行結(jié)合，提高濾波器跟蹤目標(biāo)時(shí)的精確性和魯棒性；文獻(xiàn)[12]提出了一個(gè)創(chuàng)新的實(shí)時(shí)性的視頻目標(biāo)跟蹤算法，在預(yù)測(cè)階段將粒子濾波器與相關(guān)濾波器進(jìn)行結(jié)合，使粒子濾波器能夠進(jìn)行準(zhǔn)確的預(yù)測(cè)，減輕預(yù)測(cè)目標(biāo)位置時(shí)的漂移現(xiàn)象。

基于相關(guān)粒子濾波算法框架，該文提出了一種多級(jí)特征融合的視頻目標(biāo)跟蹤算法，具體算法思想可以概述為：

(1)對(duì)目標(biāo)狀態(tài)進(jìn)行第一次粗略的估計(jì)：對(duì)于每個(gè)抽樣粒子，選取顏色特征作為觀測(cè)量進(jìn)行濾波，并利用相關(guān)濾波算法訓(xùn)練該特征，得出每個(gè)粒子的響應(yīng)圖；

(2)再從得到的每個(gè)粒子響應(yīng)圖上選取響應(yīng)值最大位置處作為第二次濾波的粒子分布位置，針對(duì)每個(gè)粒子，再次選取邊緣特征作為觀測(cè)量進(jìn)行濾波，并用相關(guān)濾波器訓(xùn)練邊緣特征，得到每個(gè)粒子的響應(yīng)圖，最后從得到的響應(yīng)圖中選取峰值位置，得到的位置即為目標(biāo)最終預(yù)測(cè)的位置。

該算法基于多特征的相關(guān)粒子濾波，相比相關(guān)粒子濾波算法的實(shí)時(shí)性可能有所下降，但是提高了視頻目標(biāo)跟蹤的精確性；相比于基于多特征的粒子濾波算法，該算法融合了相關(guān)濾波算法來引導(dǎo)粒子模擬目標(biāo)狀態(tài)的分布，減少了冗余粒子，降低了粒子濾波的計(jì)算復(fù)雜性，提高了跟蹤的實(shí)時(shí)性。

1 相關(guān)粒子濾波器

1.1 粒子濾波器

該文提出的相關(guān)粒子濾波算法是基于粒子濾波框架的，粒子濾波以貝葉斯推理和重要性采樣為基本框架，結(jié)構(gòu)實(shí)際上就是在里面的Monte Carlo method加一層重要性采樣。該方法的基本思想是用一組粒子來近似表示系統(tǒng)的后驗(yàn)概率分布，然后使用這一近似的表示來估計(jì)非線性系統(tǒng)的狀態(tài)。此思想?yún)^(qū)別于卡爾曼濾波器只能處理線性高斯分布的概率問題，它可以使粒子濾波在濾波過程中處理任意形式的概率。

在視頻目標(biāo)的跟蹤中，粒子濾波的目標(biāo)模型包括運(yùn)動(dòng)模型和觀測(cè)模型，預(yù)測(cè)階段通過狀態(tài)轉(zhuǎn)移模型與上一時(shí)刻的后驗(yàn)概率分布得到該時(shí)刻的先驗(yàn)概率分布，更新過程利用貝葉斯公式，由先驗(yàn)概率得到此時(shí)的后驗(yàn)概率：

(1)

其中，xt為t時(shí)刻目標(biāo)的狀態(tài)函數(shù)，yt為目標(biāo)的觀測(cè)函數(shù)。

1.2 相關(guān)濾波器

相關(guān)濾波器應(yīng)用于視頻目標(biāo)跟蹤中，簡(jiǎn)而言之就是衡量兩個(gè)信號(hào)相似值的度量，如果兩個(gè)信號(hào)越相似，其相關(guān)值就越高；如果兩個(gè)信號(hào)越不相似，其相關(guān)值就越低。而在視頻目標(biāo)跟蹤中，就要設(shè)計(jì)一個(gè)濾波模板，當(dāng)它作用于跟蹤目標(biāo)上時(shí)，得到的響應(yīng)最大。

相關(guān)濾波的原理可以如下表示：假設(shè)有兩個(gè)信號(hào)f和g，這兩個(gè)信號(hào)的相關(guān)性為：

(2)

相關(guān)濾波器實(shí)際意義就是可以將輸入圖像映射到一個(gè)最為理想的響應(yīng)圖中，當(dāng)這個(gè)響應(yīng)圖的最高峰與目標(biāo)的中心點(diǎn)對(duì)應(yīng)起來，可以得到理想的目標(biāo)跟蹤位置。映射的實(shí)現(xiàn)就是通過一個(gè)濾波器對(duì)測(cè)試圖像樣本的每個(gè)點(diǎn)積來評(píng)估相似度。

1.3 相關(guān)粒子濾波器

該文所提的相關(guān)粒子濾波器，是基于粒子濾波器與相關(guān)濾波器的改進(jìn)。在視頻目標(biāo)跟蹤中，通過在粒子濾波中結(jié)合相關(guān)濾波，在粒子濾波器的算法框架下，結(jié)合相關(guān)濾波器引導(dǎo)粒子分布，減少模擬目標(biāo)狀態(tài)所需的粒子數(shù)，從而降低了粒子濾波算法的計(jì)算復(fù)雜度；再通過相關(guān)濾波器來訓(xùn)練提取的目標(biāo)特征，得到每個(gè)粒子的響應(yīng)圖，最后從得到的響應(yīng)圖中選取峰值位置，得到的位置即為目標(biāo)最終預(yù)測(cè)的位置。

首選，在視頻目標(biāo)的跟蹤中，粒子濾波的目標(biāo)模型包括運(yùn)動(dòng)模型和觀測(cè)模型，它們可以表示為：

(3)

其中，st表示t時(shí)刻目標(biāo)的狀態(tài)，ft表示模擬系統(tǒng)的傳遞函數(shù)，vt表示系統(tǒng)噪聲；yt表示觀測(cè)量，ht表示模擬系統(tǒng)的觀測(cè)函數(shù)，ut表示觀測(cè)噪聲。

預(yù)測(cè)階段通過狀態(tài)轉(zhuǎn)移模型與t-1時(shí)刻的后驗(yàn)概率分布得到t時(shí)刻的先驗(yàn)概率分布：

(4)

更新過程利用貝葉斯公式，由先驗(yàn)概率得到t時(shí)刻的后驗(yàn)概率：

(5)

其次，用相關(guān)濾波引導(dǎo)粒子至目標(biāo)狀態(tài)分布的模式，最后要將濾波的結(jié)果集成到該跟蹤算法中，因此訓(xùn)練的相關(guān)濾波器可以表示為：

ε=‖α*φ(x)-y‖2+λ‖α‖2

(6)

利用最小化脊回歸的損失函數(shù)獲得所需的濾波器α，其中*表示循環(huán)相關(guān)，λ>0是正則化系數(shù)，得到封閉形式的解如下：

(7)

在預(yù)測(cè)階段，通過粒子濾波器在前一個(gè)位置繪制樣本φ(zi)，并在傅里葉域中計(jì)算關(guān)于第i個(gè)樣本的響應(yīng)映射的峰值：

(8)

最后，該文所提的相關(guān)粒子濾波算法中，粒子權(quán)重可以更新為：ωi=max(gi)，其中，g表示響應(yīng)圖，i表示第i個(gè)粒子。

此時(shí)可以預(yù)測(cè)目標(biāo)最終的位置為：

(9)

2 多級(jí)特征融合的相關(guān)粒子濾波器

2.1 特征提取

2.1.1 色彩特征

在視頻目標(biāo)跟蹤過程中，色彩分布特征經(jīng)常被選擇，來對(duì)跟蹤目標(biāo)對(duì)象進(jìn)行建模，因?yàn)樗鼘?duì)部分遮擋、旋轉(zhuǎn)和尺度變化具有魯棒性。假設(shè)用點(diǎn)集{xi},i=1,2,…,n來描述跟蹤區(qū)域，目標(biāo)區(qū)域的中心位置為x0，顏色分布被離散為m-bins，顏色直方圖用函數(shù)h(xi)表示。通常在RGB色彩空間內(nèi)，設(shè)置8*8*8=512來構(gòu)建目標(biāo)的顏色直方圖，在位置xi處的顏色分布可以表示為：

(10)

其中，C是歸一化常數(shù)，K是核函數(shù)，h是核帶寬，δ是Kronecker delta函數(shù)[13]，n是跟蹤目標(biāo)區(qū)域中的總像素，h(xi)是目標(biāo)區(qū)域xi處像素的色彩值，u是直方圖的色彩索引。

為了提高模型在跟蹤區(qū)域中的效率，該文定義了一個(gè)中心區(qū)域周圍像素的假設(shè)函數(shù)，具有更大權(quán)重，而區(qū)域邊距的像素具有較少的權(quán)重，該函數(shù)定義如下：

(11)

其中，r表示距離中心像素的距離。

在實(shí)時(shí)跟蹤方法中，通過加入新的觀測(cè)值來更新每一步的目標(biāo)估計(jì)狀態(tài)，通常，用巴氏系數(shù)來度量目標(biāo)模型和候選模型之間的相似性，公式表示為：

(12)

因此，獲得了目標(biāo)的色彩特征響應(yīng)值：

(13)

上式中，σ1為方差。

2.1.2 邊緣特征

邊緣特征作為傳統(tǒng)的目標(biāo)特征之一，在目標(biāo)識(shí)別、圖像分割等領(lǐng)域有著極為廣泛的應(yīng)用。邊緣直方圖是描述目標(biāo)邊緣特征的一種常見方式。在對(duì)跟蹤目標(biāo)進(jìn)行邊緣檢測(cè)時(shí)，可以選取Roberts算子、Prewitt算子、Sobel算子和Canny算子等算子方法進(jìn)行檢測(cè)，得到目標(biāo)的邊緣點(diǎn)[14]。該文使用Sobel算子與跟蹤目標(biāo)圖像進(jìn)行卷積運(yùn)算，得到水平和垂直方向的差分圖像，分別用Gx,Gy表示，可以得到邊緣點(diǎn)的邊緣方向和梯度幅值的計(jì)算公式，分別如下：

(14)

上式中，xi表示像素點(diǎn)的坐標(biāo)向量，θ表示邊緣點(diǎn)的特征值。

再對(duì)特征值θ進(jìn)行量化，將其分為m等份，則目標(biāo)的邊緣特征可以建模為：

(15)

與上述色彩特征的提取原理相似，得出目標(biāo)邊緣特征的響應(yīng)值：

(16)

上式中，σ2為方差。

2.2 多級(jí)串聯(lián)特征融合

該文所提多級(jí)串聯(lián)結(jié)構(gòu)的相關(guān)粒子濾波算法可以通過圖1更為清晰地描述。

基于多特征目標(biāo)跟蹤算法的核心就是如何融合多個(gè)特征來描述所要跟蹤的目標(biāo)，因此，選擇多特征的融合方式顯得尤為重要。

該算法的思想是：采用相關(guān)粒子濾波框架，濾波的粒子分級(jí)融合了目標(biāo)的不同特征。首先，跟蹤過程的第一級(jí)濾波：按照粒子濾波的方法用大量粒子模擬目標(biāo)狀態(tài)分布st=ft-1(st-1,vt-1)，然后選擇色彩特征作為濾波的觀測(cè)量對(duì)每個(gè)粒子進(jìn)行評(píng)估，并用相關(guān)濾波器訓(xùn)練色彩特征，得到每個(gè)粒子的響應(yīng)圖，這時(shí)候粒子集已經(jīng)集中于目標(biāo)的真實(shí)狀態(tài)附近；接著在上述每個(gè)粒子響應(yīng)圖上選取響應(yīng)值最大位置處作為第二級(jí)濾波的粒子分布位置，針對(duì)每個(gè)粒子，再次選取邊緣特征作為觀測(cè)量進(jìn)行濾波，并用相關(guān)濾波器訓(xùn)練邊緣特征，得到每個(gè)粒子的響應(yīng)圖，最后從得到的響應(yīng)圖中選取峰值位置，得到的位置即為目標(biāo)最終預(yù)測(cè)的位置。相比于已有的相關(guān)粒子濾波算法，該文提出的基于相關(guān)粒子濾波的多特征融合算法可以更為準(zhǔn)確地預(yù)測(cè)出目標(biāo)的位置，多個(gè)特征的選取可以使跟蹤目標(biāo)更有效地區(qū)別于背景以及光照的變化，在面對(duì)復(fù)雜背景、目標(biāo)形變和光照變化等多種具有挑戰(zhàn)性影響因素的情況下，展現(xiàn)出了更強(qiáng)的魯棒性。

2.3 模板更新

光照條件、視角以及攝像機(jī)參數(shù)等因素都會(huì)影響粒子相關(guān)濾波器對(duì)于視頻目標(biāo)跟蹤的性能[12]。為了克服這些問題，該文在緩慢變化的圖像觀測(cè)中更新目標(biāo)模板，通過丟棄圖像序列中的異常值，在目標(biāo)被遮擋或背景嘈雜的地方，可以確保當(dāng)跟蹤器丟失對(duì)象時(shí)模型不會(huì)更新。更新條件為：πE[s]>πT，其中E[s]是平均狀態(tài)的觀測(cè)概率,T是閾值。目標(biāo)模板的更新方程為：

(17)

其中，α是更新系數(shù)，α∈[0,1]。

因此，該文提出的多特征融合相關(guān)粒子濾波器的視頻目標(biāo)跟蹤算法步驟可以詳述為：

Step2 第一次濾波：提取每個(gè)粒子的色彩特征作為濾波的觀測(cè)量對(duì)每個(gè)粒子進(jìn)行評(píng)估，并用相關(guān)濾波器訓(xùn)練色彩特征，得到每個(gè)粒子的響應(yīng)圖，這時(shí)候粒子集已經(jīng)集中于目標(biāo)的真實(shí)狀態(tài)附近；

Step3 第二次濾波：從上一步每個(gè)粒子響應(yīng)圖上選取響應(yīng)值最大位置處作為第二次濾波的粒子分布位置，針對(duì)每個(gè)粒子，再次選取邊緣特征作為觀測(cè)量進(jìn)行濾波，并用相關(guān)濾波器訓(xùn)練邊緣特征，得到每個(gè)粒子的響應(yīng)圖，最后從得到的響應(yīng)圖中選取峰值位置，得到的位置即為目標(biāo)最終預(yù)測(cè)的位置；

Step4 模板更新：所提視頻目標(biāo)跟蹤算法的目標(biāo)更新由公式(17)確定。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)部分主要從跟蹤精確度與跟蹤成功率上對(duì)該算法的跟蹤性能進(jìn)行評(píng)價(jià)，為了方便比較，對(duì)于選取的與文中算法進(jìn)行比較的算法，一律采用默認(rèn)參數(shù)：正則化參數(shù)λ=0.01。由于粒子濾波器是通過增加粒子數(shù)來提高算法的跟蹤性能，但是粒子數(shù)過多時(shí)就會(huì)影響跟蹤的實(shí)時(shí)性，因此實(shí)驗(yàn)設(shè)置的粒子數(shù)為4，來權(quán)衡跟蹤器的性能。

為驗(yàn)證文中算法的跟蹤性能，選取公開的標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集OTB100中的Biker、Dancer2、david、blot、coke、couple、crossing、deer、fish、girl、Gym和Man這12段具有挑戰(zhàn)性的視頻序列進(jìn)行實(shí)驗(yàn)測(cè)試。

與近年來具有代表性的4個(gè)優(yōu)異算法進(jìn)行對(duì)比，包括：MOSSE、KCF、 BACF[15]和CPF。為了評(píng)價(jià)這些跟蹤器，用距離精度(DP)和成功率(SR)作為評(píng)價(jià)指標(biāo)[16]，中心位置誤差(CLE)即為預(yù)測(cè)目標(biāo)中心和實(shí)際目標(biāo)中心間的歐氏距離。

DP=lDP(CLE≤T0)/l

(18)

(19)

上式中，lDP表示中心位置誤差小于等于閾值的幀數(shù)，T0表示閾值像素，一般設(shè)置為T0=20 px,l表示當(dāng)前視頻序列的總幀數(shù)；MT表示跟蹤所得的目標(biāo)區(qū)域，MG表示目標(biāo)的真實(shí)區(qū)域，T1為閾值，一般設(shè)置為T1=0.05。

3.2 實(shí)驗(yàn)仿真與性能分析

與近年來跟蹤性能較為優(yōu)異的4個(gè)算法進(jìn)行了對(duì)比。文中算法是多級(jí)串聯(lián)多特征融合的相關(guān)粒子濾波算法，通過融合目標(biāo)狀態(tài)的色彩特征和邊緣特征，極大地提高了跟蹤性能。其跟蹤結(jié)果的精確度和成功率如圖2所示。

圖2 算法的精確度、成功率

由圖2可以清楚地看出，不論是跟蹤的精確性還是成功率，該算法相比于所選取的其他算法，都顯示出了較好的性能。實(shí)驗(yàn)選取的視頻序列中，包含了尺度變化、目標(biāo)形變、平面旋轉(zhuǎn)和遮擋等多種挑戰(zhàn)性因素，為了更加凸顯該算法的優(yōu)越性，針對(duì)這些挑戰(zhàn)性因素與選取的算法進(jìn)一步進(jìn)行測(cè)試比較。代表性地選取尺度變化這個(gè)挑戰(zhàn)因素，其對(duì)比如圖3所示。

圖3 尺度變化精確度、成功率

為了更好地體現(xiàn)文中跟蹤算法的優(yōu)異性能，再次在數(shù)據(jù)集OTB100中選取了一些代表性的視頻序列進(jìn)行測(cè)試，且與不同的算法進(jìn)行對(duì)比。選取具有代表性的快速運(yùn)動(dòng)視頻序列Diving_1進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 Diving_1

如圖4所示，在序列第12幀，即目標(biāo)剛開始運(yùn)動(dòng)時(shí)，所有跟蹤器都準(zhǔn)確地鎖定目標(biāo)；而當(dāng)序列進(jìn)行到第143幀時(shí)，MOSSE和KCF跟蹤器已經(jīng)丟失目標(biāo)；當(dāng)序列進(jìn)行到188幀時(shí)，只有文中算法跟蹤器準(zhǔn)確地鎖定目標(biāo)，其他的都已經(jīng)產(chǎn)生漂移現(xiàn)象。實(shí)驗(yàn)說明，文中算法同樣適用于快速運(yùn)動(dòng)的情況，展現(xiàn)出了魯棒的跟蹤性能。

4 結(jié)束語

針對(duì)視頻目標(biāo)跟蹤中遮擋和形變等問題導(dǎo)致單一特征目標(biāo)跟蹤魯棒性弱的問題，該文提出了基于相關(guān)粒子濾波框架下的多特征融合的視頻目標(biāo)跟蹤算法。在相關(guān)粒子濾波算法框架下，首先對(duì)于每個(gè)抽樣粒子，選取色彩特征作為觀測(cè)量進(jìn)行濾波，用相關(guān)濾波器訓(xùn)練色彩特征，得到每個(gè)粒子的響應(yīng)圖；再從得到的每個(gè)粒子響應(yīng)圖上選取響應(yīng)值最大位置處作為第二次濾波的粒子分布位置，針對(duì)每個(gè)粒子，再次選取邊緣特征作為觀測(cè)量進(jìn)行二級(jí)濾波，對(duì)于每個(gè)粒子，用相關(guān)濾波器訓(xùn)練邊緣特征，得到每個(gè)粒子的響應(yīng)圖，最后從得到的響應(yīng)圖中選取峰值位置，得到的位置即為目標(biāo)最終預(yù)測(cè)的位置。實(shí)驗(yàn)結(jié)果表明，相對(duì)于現(xiàn)今已有的跟蹤算法，該算法顯示出了優(yōu)越的性能，展現(xiàn)出了更強(qiáng)的魯棒性。