目標(biāo)視頻跟蹤方法

文/王冉

目標(biāo)跟蹤用于連續(xù)的視頻序列，根據(jù)已有目標(biāo)的位置，在后續(xù)幀中計(jì)算出最佳匹配位置，獲得目標(biāo)的位置、大小等信息，將每幀獲得的關(guān)鍵點(diǎn)連接起來，形成目標(biāo)的運(yùn)動(dòng)軌跡。視頻跟蹤依賴于目標(biāo)檢測，必須先定位目標(biāo)位置，才能進(jìn)行目標(biāo)跟蹤。多數(shù)情況下目標(biāo)跟蹤的第一幀由人工指定，也有通過目標(biāo)檢測進(jìn)行全自動(dòng)跟蹤。在多年的目標(biāo)跟蹤的研究中，技術(shù)已經(jīng)取得了較大的進(jìn)步，但是由于目標(biāo)物所處的環(huán)境因素等多種情況會(huì)影響跟蹤的準(zhǔn)確性。如何解決在各種環(huán)境下都能保持良好的魯棒性，精準(zhǔn)快速實(shí)時(shí)地處理碼率高的視頻序列也是當(dāng)下亟需解決的問題。對(duì)于視頻跟蹤的干擾有以下來源：

（1）復(fù)雜背景干擾：被跟蹤的目標(biāo)往往出現(xiàn)在復(fù)雜的環(huán)境中，從而目標(biāo)物容易受到不同背景的干擾。例如背景與目標(biāo)物的顏色，很容易造成跟蹤器誤判，丟失真正的目標(biāo)。或者圖像中出現(xiàn)與目標(biāo)相似的物體，跟蹤器極有可能偏離真正想要跟蹤的目標(biāo)

（2）目標(biāo)的外觀變化：視頻的拍攝往往不能控制的很好，視頻序列的每一幀都會(huì)出現(xiàn)光照亮度變化，目標(biāo)的形變和拍攝角度的改變，拍攝過程中突然失焦導(dǎo)致目標(biāo)物邊緣模糊。想要保證視頻跟蹤的魯棒性，就必須考慮到所有會(huì)出現(xiàn)的問題，合理的解決這些問題。

（3）目標(biāo)遮擋問題：目標(biāo)物體在被跟蹤的過程中，很容易被外界的干擾物造成部分遮擋或者全部遮擋。目標(biāo)被部分遮擋時(shí)，目標(biāo)的部分特征與先前獲取的信息不能完全匹配，只有局部信息可以用來繼續(xù)跟蹤，很容易造成不精確。目標(biāo)被全部遮擋時(shí)，目標(biāo)特征會(huì)暫時(shí)性的消失，跟蹤器能否快速的發(fā)現(xiàn)先前跟蹤的目標(biāo)也是一個(gè)難題。根據(jù)目標(biāo)的特征，可以將視頻跟蹤分為三類：基于區(qū)域的跟蹤算法；基于輪廓的跟蹤算法；基于已有的視頻跟蹤濾波算法如卡爾曼濾波器，粒子濾波器等，本文不再進(jìn)行介紹。本文主要概述新近提出的基于深度學(xué)習(xí)的目標(biāo)跟蹤方法與多任務(wù)粒子濾波法。

1 基于深度學(xué)習(xí)的跟蹤算法

深度學(xué)習(xí)是人工智能發(fā)展的又一個(gè)方向，許多之前機(jī)器學(xué)習(xí)領(lǐng)域的問題與難點(diǎn)逐步得到了解決，訓(xùn)練效率與學(xué)習(xí)準(zhǔn)確率都得到了質(zhì)的提升。深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)和對(duì)抗神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于圖像處理和圖像預(yù)測，在視頻處理領(lǐng)域，深度學(xué)習(xí)也將大展拳腳。

深度學(xué)習(xí)的算法在圖像識(shí)別分類任務(wù)中取得了突破性的進(jìn)展和廣泛的應(yīng)用。將深度學(xué)習(xí)引入視頻頻跟蹤，為研究開辟了新的途徑。深度學(xué)習(xí)擁有多層的深層結(jié)構(gòu)，可以從大量數(shù)據(jù)中主動(dòng)學(xué)習(xí)目標(biāo)特征，避免了傳統(tǒng)方法人工提取特征，大大減少人工長時(shí)間工作的疲勞。傳統(tǒng)方法在視頻追蹤中，通過生成矩陣，循環(huán)采樣逼近采樣方案。傳統(tǒng)的視覺跟蹤算法難以很好地解決復(fù)雜背景中的跟蹤問題，如光線變化、目標(biāo)尺寸和姿態(tài)變化或目標(biāo)被遮擋等。深度學(xué)習(xí)滿足了提高性能的要求，然而，基于深度學(xué)習(xí)的視覺跟蹤算法并不像分類、識(shí)別和檢測那樣容易成功。在跟蹤時(shí)，只對(duì)初始幀進(jìn)行目標(biāo)標(biāo)注，在后續(xù)的視頻序列中根據(jù)學(xué)到的特征進(jìn)行目標(biāo)定位，但是仍然會(huì)因?yàn)樵诤罄m(xù)幀中目標(biāo)的變形、場景變化、遮擋等因素容易產(chǎn)生跟蹤偏移，導(dǎo)致目標(biāo)丟失。即使如此，有關(guān)學(xué)者依然相繼提出了基于深度學(xué)習(xí)的視覺跟蹤算。接下來介紹兩種基于深度學(xué)習(xí)的跟蹤算法：

GOTURN（Generic Object Tracking Using Regression Networks），即基于深度回歸網(wǎng)絡(luò)做目標(biāo)跟蹤。GOTURN的優(yōu)勢在于跟蹤未出現(xiàn)過的目標(biāo)，對(duì)特定類別樣例的跟蹤效果更好，能夠?qū)崿F(xiàn)100FPS的高速度的幀率，不需要對(duì)目標(biāo)進(jìn)行分類，而是對(duì)物體的邊緣進(jìn)行回歸，獲得更高的幀率。

算法的主要步驟是：以前一幀的目標(biāo)區(qū)域?yàn)橹行臄U(kuò)展，擴(kuò)展的原因是為了接受一些背景信息，并描繪出來。也就是說：在第t-1幀，追蹤器預(yù)測的邊緣位置為c=(cx, cy)，寬和高分別為w,h，追蹤框的大小為k1w, k1h, k1決定接受多少背景信息。

對(duì)于當(dāng)前幀第t幀，基于上一幀的位置，找到待搜尋目標(biāo)的區(qū)域，網(wǎng)絡(luò)的目的就是要回歸目標(biāo)在當(dāng)前搜尋域中位置。這里設(shè)置搜尋域的中心坐標(biāo)為c'=(c'x, c'y )=c，和前一幀框出來的區(qū)域是一樣的，搜尋域的大小為k2w, k2h，w,h，是第t-1幀邊緣的大小，在其論文中設(shè)置k1=k2=2，對(duì)于快速移動(dòng)的目標(biāo)，k1=k2就需要增大了。在當(dāng)前幀和前一幀分別描繪出區(qū)域后，送入網(wǎng)絡(luò)進(jìn)行特征提取，這些提取的特征級(jí)聯(lián)并輸入全連接層，全連接層的作用是為了比較前一幀審定的目標(biāo)物的特征和當(dāng)前幀的特征，以找到目標(biāo)物的位置。全連接層學(xué)習(xí)到的是一個(gè)復(fù)雜的特征比較函數(shù)，輸出目標(biāo)的相對(duì)運(yùn)動(dòng)。隨后全連接層的輸出被連接到一個(gè)4節(jié)點(diǎn)的層，表示邊緣框兩個(gè)角的坐標(biāo)，輸出目標(biāo)物的位置。

2 多任務(wù)相關(guān)粒子濾波器（MCPF）

（1）多任務(wù)相關(guān)粒子濾波器利用特征之間的相互依賴性，聯(lián)合推導(dǎo)相關(guān)濾波器，使學(xué)習(xí)濾波器相互補(bǔ)充、增強(qiáng)，得到一致的響應(yīng)。

（2）通過部分表示來處理局部遮擋，并通過空間約束來處理局部間的關(guān)系，以保持對(duì)象結(jié)構(gòu)，共同學(xué)習(xí)相關(guān)濾波器。

（3）通過提取不同大小尺度的粒子用于目標(biāo)狀態(tài)估計(jì)，通過采樣方案有效地處理大規(guī)模變化。

（4）它通過多任務(wù)關(guān)聯(lián)濾波器將采樣的粒子引導(dǎo)到目標(biāo)狀態(tài)分布的模式，并且使用比傳統(tǒng)粒子濾波器更少的粒子來有效地覆蓋目標(biāo)狀態(tài)，從而產(chǎn)生魯棒的跟蹤性能和低的計(jì)算成本。

多任務(wù)相關(guān)粒子濾波器基于貝葉斯序列重要性抽樣算法，該算法使用有限組加權(quán)樣本遞歸地逼近后驗(yàn)分布，以估計(jì)狀態(tài)變量的后驗(yàn)分布。設(shè)st、yt分別表示時(shí)間t上的對(duì)象的狀態(tài)變量及其觀測值。后驗(yàn)密度函數(shù)p=(st|y1:t-1)可以在兩個(gè)時(shí)刻遞歸地獲得，即預(yù)測和更新。在時(shí)間t-1預(yù)測階段使用概率系統(tǒng)過渡模型p(st|st-1)來預(yù)測給定所有可用觀測值y1:t-1={y1,y2,…,yt-1}的后驗(yàn)分布，并通過遞歸計(jì)算得到：

其中p=(st-1|y1:t-1)已知時(shí)間t-1，p(st|st-1)是預(yù)測的準(zhǔn)確性。當(dāng)觀測值yt已知，狀態(tài)由下面這個(gè)公式預(yù)測：

在多任務(wù)相關(guān)粒子濾波器中，假設(shè)連續(xù)幀之間是一個(gè)仿射運(yùn)動(dòng)模型。因此，狀態(tài)變量st由六個(gè)參數(shù)（2D線性變換和2D平移）組成。由于二維線性變換的粒子實(shí)在多個(gè)維度上繪制的，因此該模型可以處理尺度變化。對(duì)前一個(gè)目標(biāo)狀態(tài)周圍的粒子進(jìn)行采樣，以預(yù)測目標(biāo)在時(shí)間t處的狀態(tài)st，從中我們裁剪當(dāng)前圖像中的對(duì)應(yīng)區(qū)域yt，并將其歸一化到相同大小。用對(duì)角高斯分布仿射運(yùn)動(dòng)模型對(duì)狀態(tài)轉(zhuǎn)移函數(shù)p(st|st-1)進(jìn)行建模。觀測模型p(yt|st)反映了與狀態(tài)st對(duì)應(yīng)的觀測圖像區(qū)域yt之間的相似性。

多任務(wù)相關(guān)粒子濾波器包括五個(gè)主要步驟。

（1）利用過渡模型p(st|st-1)繪制粒子，并對(duì)其進(jìn)行重新采樣。

（2）將多任務(wù)相關(guān)濾波器應(yīng)用于每個(gè)粒子，使其趨向于目標(biāo)狀態(tài)分布的模式。

（3）使用多任務(wù)相關(guān)濾波器的響應(yīng)更新權(quán)重。

（4）使用計(jì)算粒子的加權(quán)平均值。

3 總結(jié)

根據(jù)目標(biāo)形態(tài)和目標(biāo)所處的不同背景環(huán)境選擇最優(yōu)算法或者融合，以達(dá)到高效精準(zhǔn)的追蹤。如何處理好目標(biāo)物被遮擋、光線環(huán)境變化、目標(biāo)形態(tài)變化也是視頻跟蹤算法必須面臨和結(jié)解決的問題。現(xiàn)在常用于直接生產(chǎn)的視頻跟蹤算法還是以傳統(tǒng)方法為主，對(duì)于傳統(tǒng)方法的研究、改善的工作仍然在繼續(xù)。基于深度學(xué)習(xí)的視頻跟蹤已經(jīng)超過了傳統(tǒng)方法的效率，但想要更加穩(wěn)定仍需要研究人員再度完善。