目標(biāo)跟蹤技術(shù)綜述

高 文，朱 明，賀柏根，吳笑天

(1.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林長(zhǎng)春130033;

2.中國(guó)科學(xué)院航空光學(xué)成像與測(cè)量重點(diǎn)實(shí)驗(yàn)室，吉林長(zhǎng)春130033)

1 引言

目標(biāo)跟蹤技術(shù)一直是計(jì)算機(jī)視覺研究領(lǐng)域中的熱點(diǎn)之一，其在軍事偵察、精確制導(dǎo)、火力打擊、戰(zhàn)場(chǎng)評(píng)估以及安防監(jiān)控等諸多方面均有廣泛的應(yīng)用前景。目標(biāo)的不定向運(yùn)動(dòng)改變了目標(biāo)和場(chǎng)景的外觀模式、非剛性目標(biāo)結(jié)構(gòu)、目標(biāo)間及目標(biāo)與場(chǎng)景間的遮擋、攝像機(jī)的運(yùn)動(dòng)等情況使目標(biāo)跟蹤任務(wù)變得更加困難。跟蹤常應(yīng)用于那些需要了解目標(biāo)每幀的位置及形狀的應(yīng)用環(huán)境中，并常用假設(shè)來約束特定應(yīng)用環(huán)境中的跟蹤問題。

跟蹤可簡(jiǎn)單地定義為估計(jì)物體圍繞一個(gè)場(chǎng)景運(yùn)動(dòng)時(shí)在圖像平面中軌跡，即一個(gè)跟蹤系統(tǒng)給同一個(gè)視頻中不同幀的跟蹤目標(biāo)分配相一致的標(biāo)簽。目標(biāo)跟蹤是一個(gè)頗具挑戰(zhàn)性的問題。在計(jì)算機(jī)視覺領(lǐng)域目標(biāo)跟蹤是一項(xiàng)重要工作。隨著高性能計(jì)算機(jī)的增多，物美價(jià)廉?dāng)z影機(jī)的普及，對(duì)自動(dòng)視頻分析與日俱增的需求引起人們對(duì)目標(biāo)跟蹤算法濃厚興趣。

本文主要就單目標(biāo)跟蹤問題展開論述，目標(biāo)不定向運(yùn)動(dòng)使跟蹤目標(biāo)變得困難，因?yàn)樗淖兞四繕?biāo)和場(chǎng)景的外觀模式、非剛性目標(biāo)結(jié)構(gòu)、目標(biāo)間及目標(biāo)與場(chǎng)景間的遮擋。常用假設(shè)來約束特定應(yīng)用中的跟蹤問題，如幾乎所有跟蹤算法都假設(shè)物體運(yùn)動(dòng)是平滑不會(huì)突變的。還可以根據(jù)推理信息將物體約束為勻速或等加速運(yùn)動(dòng)。利用先前物體數(shù)量和大小或外觀和形狀知識(shí)也可簡(jiǎn)化問題。

本文將從目標(biāo)跟蹤的應(yīng)用、目標(biāo)表示法、跟蹤方法研究現(xiàn)狀、難點(diǎn)及趨勢(shì)等方面進(jìn)行展開討論。

2 跟蹤技術(shù)的應(yīng)用

目標(biāo)跟蹤應(yīng)用于以下相關(guān)工作中:

(1)智能視頻監(jiān)控:基于運(yùn)動(dòng)識(shí)別(基于步法的人類識(shí)別，自動(dòng)物體檢測(cè)等)，自動(dòng)化監(jiān)測(cè)(監(jiān)視一個(gè)場(chǎng)景以檢測(cè)可疑行為);交通監(jiān)視(實(shí)時(shí)收集交通數(shù)據(jù)用來指揮交通流動(dòng))。

(2)人機(jī)交互:傳統(tǒng)人機(jī)交互是通過計(jì)算機(jī)鍵盤和鼠標(biāo)進(jìn)行的。而人們期望計(jì)算機(jī)更智能地以自然方式與人交流。實(shí)現(xiàn)這一目標(biāo)的方式之一是使計(jì)算機(jī)具有識(shí)別和理解人的姿態(tài)、動(dòng)作、手勢(shì)等能力，跟蹤是完成這些任務(wù)的關(guān)鍵一步。

(3)機(jī)器人視覺導(dǎo)航:視覺傳感器是智能機(jī)器人一種重要的信息源，為能自主運(yùn)動(dòng)，智能機(jī)器人須認(rèn)識(shí)和跟蹤環(huán)境中的物體。在機(jī)器人手眼應(yīng)用中，跟蹤技術(shù)用安裝在機(jī)器人手上的攝像機(jī)拍攝物體，計(jì)算其運(yùn)動(dòng)軌跡，選擇最佳姿態(tài)抓取物體。

(4)虛擬現(xiàn)實(shí):虛擬環(huán)境中3D交互和虛擬角色動(dòng)作模擬直接得益于視頻人體運(yùn)動(dòng)分析的研究成果，可給參與者提供更加豐富的交互形式。從視頻中獲取人體運(yùn)動(dòng)數(shù)據(jù)，用新的虛擬人物或具有類似關(guān)節(jié)模型的物體替換原視頻中的人物，以得到意想不到的特殊效果。其關(guān)鍵技術(shù)是人體運(yùn)動(dòng)跟蹤分析。

(5)醫(yī)學(xué)診斷:超聲波和核磁共振技術(shù)已被廣泛應(yīng)用于病情診斷。跟蹤技術(shù)在超聲波和核磁序列圖像的自動(dòng)分析中有廣泛應(yīng)用。由于超聲波圖像中的噪聲經(jīng)常會(huì)淹沒單幀圖像有用信息，使靜態(tài)分析十分困難，如果利用序列圖像中目標(biāo)在幾何上的連續(xù)性和時(shí)間上的相關(guān)性，則得到的結(jié)果將更加準(zhǔn)確。

3 目標(biāo)表示法

跟蹤目標(biāo)可被定義成任何便于進(jìn)一步分析的目標(biāo)，如船、魚、車、飛機(jī)、行人等，在特定領(lǐng)域是一系列重要跟蹤目標(biāo)。首先描述跟蹤常用目標(biāo)形狀表示法，然后描述節(jié)點(diǎn)形狀和外觀表示法。

(1)點(diǎn)。如圖1(a)質(zhì)點(diǎn)和圖1(b)多點(diǎn)。一般情況下，適合于圖像占很小區(qū)域的目標(biāo)。

(2)簡(jiǎn)單的幾何形狀。目標(biāo)的形狀用矩形、橢圓表示，如圖1(c)，(d)。通常用轉(zhuǎn)移、仿射或投影(單應(yīng)性)轉(zhuǎn)換來構(gòu)造這些表現(xiàn)形式的物體的運(yùn)動(dòng)模型。

圖1 目標(biāo)表示Fig.1 Object representations

(3)鏈狀模型。目標(biāo)由主體各部分組成，各部分通過節(jié)點(diǎn)連在一起。如人是腿、頭、腳等由節(jié)點(diǎn)鏈在一起的物體。各部分由運(yùn)動(dòng)學(xué)模型支配。可用圓柱或橢圓構(gòu)造表示鏈狀物體部分模型，如圖1(e)。

(4)骨骼模型。目標(biāo)的骨骼可以通過對(duì)物體剪影進(jìn)行中間軸轉(zhuǎn)換提取出來。這種模型通常作為識(shí)別目標(biāo)的一種形狀表示法。見圖1(f)。

(5)物體的剪影和輪廓。輪廓表示法定義了物體的邊界，如圖1(g)，(h)。輪廓的中間區(qū)域被稱作物體的剪影，見圖1(i)。該法適合跟蹤復(fù)雜非剛性目標(biāo)。

物體外觀特征有很多的表示方式，在跟蹤中形狀表示法也可以與外觀表示法相結(jié)合。在目標(biāo)跟蹤環(huán)境中一些常見的外觀表示法有:

(1)物體外觀的概率密度。物體外觀的概率密度分為參數(shù)形式(如高斯分布和高斯分布的混合形式)和非參數(shù)形式(如密度評(píng)估窗體［1］或直方圖)。

(2)模板。模板由簡(jiǎn)單的幾何形狀或輪廓構(gòu)成。模板的優(yōu)勢(shì)在于它可以同時(shí)包含空間和外觀信息。但是模板只能編碼從單一視角產(chǎn)生的目標(biāo)外觀。

(3)主動(dòng)外觀模型。對(duì)物體形狀外觀同時(shí)建模。通常由一系列標(biāo)記定義。該模型要求能從一系列樣本中識(shí)別形狀和相應(yīng)外觀瞄準(zhǔn)位，如主成分分析。

(4)多視角外觀模型。該模型對(duì)物體不同視角編碼。一種方法是從給定視角中產(chǎn)生一個(gè)子空間。另一種是通過一系列分類器(支持向量機(jī)［2］和貝葉斯網(wǎng)絡(luò)［3］)。該模型需要提前形成所有視角外觀。

通常目標(biāo)表示法與跟蹤算法密切聯(lián)系。根據(jù)應(yīng)用領(lǐng)域選擇目標(biāo)表示法。對(duì)于非常小的目標(biāo)適合用點(diǎn)表示法。文獻(xiàn)［4］用點(diǎn)表示法跟蹤移動(dòng)盤子序列中的種子。文獻(xiàn)［5］用點(diǎn)表示法跟蹤遙遠(yuǎn)鳥群。簡(jiǎn)單幾何形狀表示法適合形狀近似矩形或橢圓的目標(biāo)。文獻(xiàn)［6］用橢圓形表示法從橢圓區(qū)域計(jì)算顏色直方圖來對(duì)外觀建模。文獻(xiàn)［7］用特征向量表示外觀。對(duì)于復(fù)雜形狀的目標(biāo)(如人體)，適合用輪廓或剪影表示法。文獻(xiàn)［8］在監(jiān)視應(yīng)用中用剪影進(jìn)行目標(biāo)跟蹤。

4 目標(biāo)跟蹤技術(shù)的研究現(xiàn)狀

目標(biāo)跟蹤的目的［9］是定位目標(biāo)在每幀視頻圖像中的位置，產(chǎn)生目標(biāo)運(yùn)動(dòng)軌跡。跟蹤器能得到目標(biāo)在每幀中的圖像區(qū)域。目標(biāo)跟蹤可以依據(jù)目標(biāo)類型分為點(diǎn)目標(biāo)跟蹤和對(duì)于目標(biāo)占有一定區(qū)域有紋理、輪廓等特征的目標(biāo)跟蹤兩種情況，下面分別介紹，后者可分為基于特征點(diǎn)檢測(cè)的方法、基于背景相減的幀差法、基于分割思想的方法、基于監(jiān)督學(xué)習(xí)的方法及基于目標(biāo)形狀輪廓等特征的方法。

4.1 點(diǎn)目標(biāo)跟蹤

跟蹤可以表述為不同幀中檢測(cè)目標(biāo)間的通信。在目標(biāo)阻塞、誤檢測(cè)、進(jìn)入和退出情況下，點(diǎn)通信是復(fù)雜問題。其可分為兩大類:

(1)通信的確定性方法

確定性方法使用定性運(yùn)動(dòng)啟發(fā)法來約束通信問題，其定義了用運(yùn)動(dòng)約束將t－1幀中的目標(biāo)與t幀中的目標(biāo)結(jié)合起來的成本。通信成本最小化是組合優(yōu)化問題。Shafique［5］提出了一種多幀方法來保持速度和位置的當(dāng)前一致性，將通信表示成一個(gè)用曲線圖表示的理論問題。多幀通信是為了發(fā)現(xiàn)到達(dá)每個(gè)點(diǎn)最好的唯一路徑。對(duì)于誤檢測(cè)或阻塞目標(biāo)，路徑將包含相應(yīng)幀的失蹤位置。產(chǎn)生定向圖表，然后通過貪婪算法建立通信。圖2為此算法跟蹤鳥的結(jié)果。

圖2 Shafique方法跟蹤鳥群Fig.2 Tracking birds using the Shafique's algorithm

(2)通信的統(tǒng)計(jì)學(xué)方法

概率統(tǒng)計(jì)方法進(jìn)行目標(biāo)測(cè)量，其通過在目標(biāo)狀態(tài)估計(jì)中考慮測(cè)量和模型不確定性來解決跟蹤問題。統(tǒng)計(jì)學(xué)通信方法使用狀態(tài)空間方法對(duì)目標(biāo)性能(如位置、速度和加速度)進(jìn)行建模。對(duì)于單個(gè)目標(biāo)且初始狀態(tài)和噪音是高斯分布，則可以用濾波器進(jìn)行理想狀態(tài)估算。濾波分預(yù)測(cè)和改正。如果不是線性函數(shù)，可用Taylor展開來得到擴(kuò)展濾波器，從而使其線性化。當(dāng)使用卡爾曼或質(zhì)點(diǎn)濾波器跟蹤多重目標(biāo)時(shí)，須將特定目標(biāo)最可能的測(cè)量與目標(biāo)狀態(tài)連接起來，即在這些濾波器應(yīng)用前需解決通信問題。但是如果目標(biāo)彼此距離太近，往往會(huì)導(dǎo)致通信不準(zhǔn)確。聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)(JPDAF)和多假設(shè)跟蹤(MHT)是兩種廣泛應(yīng)用于數(shù)據(jù)關(guān)聯(lián)技術(shù)的方法。

4.2 基于特征點(diǎn)檢測(cè)的目標(biāo)跟蹤方法

特征點(diǎn)在跟蹤問題中已廣泛使用。其特性是不隨光照和照相機(jī)視角的改變而改變。常用的特征點(diǎn)包括 Moravec 特征［10］，Harris［11］，KLT［12］和SIFT［13］。

Moravec工具計(jì)算4×4區(qū)域內(nèi)水平、垂直、右斜線線和左斜線方向的圖像灰度差，選擇4個(gè)值中的最小值作為窗口的代表值。若該值在一個(gè)12×12的區(qū)域中是局部最大值，則為特征點(diǎn)。

Harris計(jì)算圖像水平和垂直方向的一階導(dǎo)數(shù)表示各方向上的灰度差，可用一個(gè)二維矩陣M表示。

特征點(diǎn)可由M行列式識(shí)別，M的跡用來測(cè)量局部鄰域R=del(M)－k·tr2(M)中的差值，其中k是常量。特征點(diǎn)通過R與指定的值進(jìn)行比較得到，效果見圖3(a)。方程(1)中的矩陣M在KLT跟蹤方法特征點(diǎn)探測(cè)中也用到。特征點(diǎn)置信度R由M的最小特征值計(jì)算出。候選特征點(diǎn)通過閾值選出。KLT去掉了空間距離很近的候選點(diǎn)(圖3(b))。本質(zhì)上Harris和KLT相似都強(qiáng)調(diào)灰度差。Harris中R與計(jì)算M特征值的特征多項(xiàng)式有關(guān)，KLT直接計(jì)算特征值。實(shí)際上他們找到的特征點(diǎn)幾乎相同，唯一不同的是KLT預(yù)先定義了被檢測(cè)特征點(diǎn)的空間距離。理論上M矩陣對(duì)旋轉(zhuǎn)和移動(dòng)不變，但在仿射和投影變換中并非一成不變。

圖3 感興趣點(diǎn)檢測(cè)Fig.3 Interest points detected by applying

考慮不同轉(zhuǎn)換中特征點(diǎn)的穩(wěn)定性，Lowe提出SIFT(尺度不變性特征)方法，分4步:首先用高斯濾波器以不同比例對(duì)圖像濾波產(chǎn)生尺度空間，從最大和最小高斯圖像中選出特征點(diǎn)。然后內(nèi)插入鄰近像素點(diǎn)的顏色值以更新每個(gè)候選點(diǎn)坐標(biāo);差別小的候選點(diǎn)和沿邊緣的候選點(diǎn)被去除;最后根據(jù)候選點(diǎn)周圍鄰近區(qū)域的梯度方向直方圖安排特征點(diǎn)方向。相對(duì)其他特征點(diǎn)，SIFT［14］產(chǎn)生更多特征點(diǎn)是因?yàn)槠湟圆煌壤头直媛世奂拥摹Ｎ墨I(xiàn)［15］表明SIFT比大部分特征點(diǎn)對(duì)圖像變化適應(yīng)性更好。

4.3 基于幀差法的目標(biāo)跟蹤方法

通過找出構(gòu)造的背景模型中每幀差異進(jìn)行跟蹤。背景模型中圖像區(qū)域的任何顯著變化都可能是運(yùn)動(dòng)物體。為進(jìn)一步處理，對(duì)區(qū)域中正在變化的像素點(diǎn)做標(biāo)記，用相關(guān)聯(lián)算法來獲得與目標(biāo)相一致的關(guān)聯(lián)區(qū)域，這個(gè)過程為背景減法。Wren［16］用3D(YUV空間)高斯算法對(duì)靜態(tài)背景中各像素點(diǎn)顏色建模。標(biāo)記背景模型中偏離的像素點(diǎn)為顯著像素點(diǎn)。但單高斯分布不適合用于戶外場(chǎng)景［17］，因?yàn)樵谀骋蛔鴺?biāo)點(diǎn)上由于重復(fù)的物體運(yùn)動(dòng)、陰影或反射可能會(huì)觀察到多重顏色。通過使用多統(tǒng)計(jì)模型來描述每個(gè)像素的背景顏色使背景模型獲得很大改善。

Elgammal［18］使用無參數(shù)內(nèi)核密度估計(jì)來對(duì)各像素背景建模。減法過程中當(dāng)前像素點(diǎn)不僅與背景模型中相應(yīng)像素點(diǎn)匹配，還和鄰近像素坐標(biāo)位置相匹配，可以處理背景中的照相機(jī)抖動(dòng)或微小運(yùn)動(dòng)。

Rittscher［19］用隱式馬爾科夫模型(HMM)按照像素屬于背景、前景或陰影進(jìn)行圖像分塊。Stenger［20］使用HMMs對(duì)光源時(shí)亮?xí)r暗的事物進(jìn)行背景相減。HMMs優(yōu)勢(shì)是用訓(xùn)練樣本獲得某些用無監(jiān)督背景建模方法很難精確建模的事物。

Oliver［21］不是根據(jù)單個(gè)像素的差值建模，而提出使用特征空間分解的一種整體方法。背景由特征矢量描述，實(shí)現(xiàn)視角(FOV)中所有可能的光照。因此，該方法對(duì)光照更不敏感。通過當(dāng)前圖像到特征空間并發(fā)現(xiàn)重建圖像和實(shí)際圖像的不同來檢測(cè)前景目標(biāo)。圖4中為目標(biāo)檢測(cè)結(jié)果。

圖4 特征空間基于分解的背景相減Fig.4 Eigenspace decomposition-based background subtraction

Monnet［22］和 Zhong［23］提出的方法可處理隨時(shí)間變化的背景，其圖像區(qū)域采用自回歸運(yùn)動(dòng)平均(ARMA)進(jìn)行建模，可以預(yù)測(cè)場(chǎng)景中的運(yùn)動(dòng)模式。

4.4 基于分割思想的目標(biāo)跟蹤方法

圖像分割算法的目的是有感知地將圖像分成相似的區(qū)域。每個(gè)分割算法都強(qiáng)調(diào)了一個(gè)好的分割標(biāo)準(zhǔn)和獲得有效分割的方法。本文在這個(gè)部分將討論近代與目標(biāo)跟蹤相關(guān)的分割技術(shù)。

(1)Mean-Shift聚集

對(duì)于圖像分割問題，Comaniciu［24］提出 meanshift方法用以發(fā)現(xiàn)空間和顏色交接點(diǎn)的空間中的簇［l，u，v，x，y］，其中［l，u，v］表示顏色，［x，y］表示空間位置。mean-shift矢量迭代計(jì)算直到簇中心的位置不再改變。在mean-shift迭代期間，一些簇可能發(fā)生合并。圖5(b)為mean-shift方法分割的圖像。基于分割的Mean-shift算法各參數(shù)(如顏色選擇、空間內(nèi)核帶寬和區(qū)域最小化閾值)對(duì)分割結(jié)果有很大影響。

圖5 分割結(jié)果Fig.5 Segmentation result

(2)使用Graph-Cuts的圖像分割

圖像分割也可表達(dá)成一個(gè)圖表分割問題，通過修剪圖表權(quán)重邊緣將其分解成N個(gè)分離子圖表(區(qū)域)。兩個(gè)子圖之間的修剪邊緣權(quán)重總和成為切口。權(quán)重通過兩個(gè)節(jié)點(diǎn)間的顏色、亮度或紋理相似性計(jì)算出。使用最小化切口標(biāo)準(zhǔn)實(shí)現(xiàn)切口最小分割方式。

最小化切口的局限性在于它的斜紋朝向圖像切割的上部分。這種效果是因?yàn)殡S著橫跨兩個(gè)切割塊的邊緣的增加，切口的成本增加。在圖5(c)展示了通過標(biāo)準(zhǔn)化切口的方法得到的分割結(jié)果。

(3)主動(dòng)輪廓

該結(jié)構(gòu)中，可通過將封閉輪廓演變成目標(biāo)邊界，將輪廓緊緊圍繞目標(biāo)區(qū)域，從而獲得目標(biāo)分割。輪廓演變由輪廓對(duì)于假定目標(biāo)區(qū)域的合適性決定。

基于輪廓方法的一個(gè)重要問題是輪廓初始化;另一個(gè)是選擇正確輪廓表示法。目標(biāo)輪廓Γ可明確地用控制點(diǎn)V或含蓄地用等值面φ表示。明確表示法，控制點(diǎn)間的關(guān)系定義成曲線等式。含蓄法定義成等值面網(wǎng)格的0交叉口。含蓄法比明確法的優(yōu)勢(shì)是能靈活適應(yīng)拓?fù)渥兓?分離和合并)。

4.5 基于監(jiān)督學(xué)習(xí)的目標(biāo)跟蹤方法

通過監(jiān)督學(xué)習(xí)方法從一系列樣本中自動(dòng)學(xué)習(xí)不同的物體視圖，從而進(jìn)行目標(biāo)檢測(cè)跟蹤。不同的目標(biāo)視圖的學(xué)習(xí)不需要一個(gè)完整系列的模板。通過一系列學(xué)習(xí)樣本，監(jiān)督學(xué)習(xí)方法產(chǎn)生一個(gè)輸入到輸出的映射函數(shù)。對(duì)目標(biāo)檢測(cè)，學(xué)習(xí)樣本由成對(duì)的目標(biāo)特征和相關(guān)聯(lián)的目標(biāo)種類組成，樣本數(shù)量手動(dòng)定義。

特征選擇在分類中起著重要作用，如面積、方向、外觀和直方圖等。一旦特征被選擇，可通過監(jiān)督學(xué)習(xí)目標(biāo)的不同外觀(包括神經(jīng)網(wǎng)絡(luò)［25］、自適應(yīng)推進(jìn)［26］、決策樹［27］和支持向量機(jī)［28］)計(jì)算出一個(gè)超曲面用以在高維度空間將目標(biāo)類與其他類分離。

監(jiān)督學(xué)習(xí)方法要求從目標(biāo)種類中收集大量樣本，這些樣本須手動(dòng)貼標(biāo)簽。減少手動(dòng)標(biāo)簽量的一種方法是協(xié)同訓(xùn)練［29］。事實(shí)表明，從兩個(gè)有獨(dú)立特征的標(biāo)簽數(shù)據(jù)集中的一個(gè)小集合開始，協(xié)同訓(xùn)練可提供一個(gè)非常精確的分類原則，以減少自適應(yīng)增強(qiáng)環(huán)境中訓(xùn)練時(shí)手工交互的數(shù)量［30］。下面將討論自適應(yīng)增強(qiáng)和支持向量機(jī)。

(1)自適應(yīng)增強(qiáng)

增強(qiáng)［31］是一種迭代方法，它通過結(jié)合眾多比較精確的基本分類器發(fā)現(xiàn)一個(gè)非常精確的分類器。在自適應(yīng)增強(qiáng)算法訓(xùn)練階段，第一步是在訓(xùn)練集上構(gòu)造權(quán)重初始分布;然后增強(qiáng)設(shè)備選擇一個(gè)錯(cuò)誤最少的基本分類器，其中錯(cuò)誤與錯(cuò)誤分類數(shù)據(jù)的權(quán)重成比例;其次，與通過選擇的基本分類器錯(cuò)誤分類的數(shù)據(jù)相聯(lián)系的權(quán)重增加。因此，這個(gè)算法鼓勵(lì)在下一次迭代中選擇在錯(cuò)誤分類數(shù)據(jù)上表現(xiàn)更好的其他分類器。Viola［26］使用自適應(yīng)增強(qiáng)框架檢測(cè)行人。

(2)支持向量機(jī)

作為一個(gè)分類器，支持向量機(jī)(SVM)通過找到將類別區(qū)分開的最大邊緣的超曲面將數(shù)據(jù)聚簇成兩種類別。最大化的超曲面邊緣定義成超曲面和最近數(shù)據(jù)點(diǎn)間的距離。在超曲面邊緣的數(shù)據(jù)點(diǎn)稱為支持矢量。在目標(biāo)檢測(cè)的環(huán)境中，這些種類與目標(biāo)種類(真實(shí)樣本)和非目標(biāo)種類(底片樣本)一致。從手動(dòng)產(chǎn)生的標(biāo)簽訓(xùn)練樣本作目標(biāo)和非目標(biāo)，通過二次規(guī)劃編程計(jì)算大量超曲面。

盡管SVM是線性分類器，它也可用核方法從輸入中提取輸入特征矢量作為非線性分類器。Papageorgiou［28］用 SVM 檢測(cè)圖像中的行人和臉部。

4.6 基于目標(biāo)的形狀輪廓等特征的目標(biāo)跟蹤方法

內(nèi)核跟蹤是通過計(jì)算簡(jiǎn)單目標(biāo)每一幀運(yùn)動(dòng)狀態(tài)來實(shí)現(xiàn)的，一幀代表一個(gè)運(yùn)動(dòng)狀態(tài)。目標(biāo)的運(yùn)動(dòng)狀態(tài)由運(yùn)動(dòng)參數(shù)(平移、旋轉(zhuǎn)、仿射變換等)或者由后面幀的密集流場(chǎng)組成。從外觀表示、跟蹤目標(biāo)的數(shù)目、估計(jì)目標(biāo)運(yùn)動(dòng)的方法來區(qū)分內(nèi)核跟蹤算法的不同。從外觀表示這個(gè)角度，內(nèi)核跟蹤算法分成:模板和基于密度的外觀模型、多視角的外觀模型、形狀匹配和輪廓跟蹤。

(1)模板和基于密度的外觀模型的跟蹤

由于相對(duì)簡(jiǎn)單和低計(jì)算成本，模板和基于密度的外觀模型被廣泛應(yīng)用。根據(jù)被跟蹤目標(biāo)是否是單獨(dú)還是聯(lián)合把該跟蹤方法再分成兩個(gè)子類。

跟蹤單目標(biāo)最常用的方法是模板匹配。模板匹配是一種窮盡搜索方法。當(dāng)前圖像在模板中的位置用相似度測(cè)量方法(例如交叉相關(guān))。

Comaniciu［6］從一個(gè)圓形區(qū)域計(jì)算出一個(gè)加權(quán)［32］直方圖來表示目標(biāo)。用Mean-shift方法去定位目標(biāo)，通過反復(fù)對(duì)比目標(biāo)直方圖Q和假設(shè)目標(biāo)位置窗口P來最大化外觀相似性Bhattacharya系數(shù)。圖6為mean-shift跟蹤結(jié)果。其與標(biāo)準(zhǔn)模板匹配相比，最明顯優(yōu)點(diǎn)是未采用窮盡搜索方法而是用幾次迭代方法來計(jì)算目標(biāo)區(qū)域的變換。

圖6 Mean-shift跟蹤迭代Fig.6 Mean-shift tracking iterations

另一個(gè)跟蹤簡(jiǎn)單形狀區(qū)域的方法是光流法。光流法是在灰度恒定的約束條件下通過代數(shù)或者幾何方法計(jì)算每個(gè)像素點(diǎn)的流失量用來生成密集的流場(chǎng)。Shi和Tomasi提出了KLT跟蹤器，一旦捕捉到興趣點(diǎn)的新位置，在接下來的多幀中KLT跟蹤器在這個(gè)新位置的相應(yīng)區(qū)域通過計(jì)算仿射變換來估計(jì)被跟蹤區(qū)域的特性。如果當(dāng)前區(qū)域和仿射區(qū)域的平方差總和小，將繼續(xù)跟蹤特征;否則特征就會(huì)被排除。

Isard［33］提出了前景和背景的聯(lián)合模型跟蹤。背景的外觀是由混合高斯模型表示的，所有的前景目標(biāo)的外觀同樣如此。用圓柱體為這些目標(biāo)的形狀建模。假設(shè)地平面是已知的，三維目標(biāo)的位置可以計(jì)算出來。用粒子濾波器［34-35］中的狀態(tài)向量(包括場(chǎng)景中所有3D目標(biāo)位置、形狀和運(yùn)動(dòng)速度)實(shí)現(xiàn)跟蹤。他們?yōu)榱Ｗ訛V波器提出了一個(gè)修正預(yù)測(cè)和校正計(jì)劃方案，這個(gè)方案可以增加或減少狀態(tài)向量的大小從而添加或刪除目標(biāo)，同時(shí)也可以忽略目標(biāo)間的遮擋。但是場(chǎng)景中目標(biāo)最大數(shù)目需預(yù)先設(shè)定，另外一個(gè)缺陷是對(duì)所有的前景目標(biāo)使用同樣的外觀模型，因此對(duì)前景區(qū)域的建模需要培訓(xùn)。

(2)用多視覺的外觀模型跟蹤

前面介紹的跟蹤方法中，外觀模型如直方圖、模板等通常在線生成。目標(biāo)從不同角度看各不相同，如果在跟蹤過程中某個(gè)目標(biāo)的視角變化較大，那么它的外觀模型將不再有效，跟蹤可能丟失。為克服這個(gè)問題目標(biāo)不同視角可離線學(xué)習(xí)并用來跟蹤。

Black［7］提出了一個(gè)基于子空間的方法，用特征向量計(jì)算目標(biāo)的當(dāng)前圖像到目標(biāo)的重構(gòu)圖像的仿射變換。首先，用主成分分析來建立子空間上目標(biāo)的外觀表示。然后，用一個(gè)子空間不變方程估算利用特征向量重構(gòu)的圖像和原始圖像的差別，計(jì)算圖像到其特征方程的轉(zhuǎn)換。找到子空間的系數(shù)，計(jì)算仿射參數(shù)。反復(fù)估算仿射參數(shù)，直到原始圖像和預(yù)計(jì)圖像之間的差別達(dá)到最小，跟蹤完成。

(3)形狀匹配

形狀匹配方法是查找當(dāng)前幀目標(biāo)的輪廓和它相關(guān)聯(lián)的模型，根據(jù)上一幀中生成的虛擬目標(biāo)輪廓模型計(jì)算目標(biāo)的相似度來完成查找，輪廓僅僅從上一幀平移到下一幀，因此并不能很精確的處理非剛性物體的運(yùn)動(dòng)。對(duì)于用邊緣圖像表示的目標(biāo)模型，每幀被定位后再重新處理目標(biāo)的外觀變化。這種方法不僅可以克服視角變化和光照環(huán)境變化引起的跟蹤問題，同時(shí)可以處理非剛性目標(biāo)的運(yùn)動(dòng)。Li［36］提出用 Hausdorff距離來驗(yàn)證運(yùn)動(dòng)軌跡和姿態(tài)匹配問題。計(jì)算內(nèi)部的虛擬輪廓來估算光流矢量，根據(jù)平均的光流失量得到目標(biāo)的新的位置，這樣就可以完成跟蹤。

(4)輪廓跟蹤

輪廓跟蹤方法是相對(duì)于形狀匹配方法來說的，其迭代逐步形成了前一幀中初始輪廓在當(dāng)前幀中的新位置。這個(gè)輪廓逐步形成的過程要求前一幀中的目標(biāo)區(qū)域和當(dāng)前幀目標(biāo)區(qū)域有部分重疊。輪廓跟蹤用兩種方法可以實(shí)現(xiàn)，第一種方法用卡爾曼濾波或粒子濾波實(shí)現(xiàn)狀態(tài)空間模型對(duì)輪廓的形狀和運(yùn)動(dòng)建模;第二種方法是直接演變輪廓，即通過直接最小化方法(如梯度下降法)來最小化輪廓能源。

圖7 用水平集方法對(duì)車輛進(jìn)行跟蹤Fig.7 Car tracking using the level sets method

Mansouri［37］用水平集方法進(jìn)行輪廓跟蹤，用于半徑為r的環(huán)形鄰近的完整目標(biāo)區(qū)域內(nèi)窮盡搜索每個(gè)像素計(jì)算流失量。一旦流失量計(jì)算出來，基于恒定亮度約束的輪廓能源也被估算出來。這個(gè)過程反復(fù)進(jìn)行直到輪廓能源達(dá)到最小。圖7為輪廓跟蹤結(jié)果。

Yilmaz［38］用基于形狀模型的水平集方法為目標(biāo)形狀和變化建模。基于形狀模型的水平集解決了跟蹤期間目標(biāo)相互咬合遮擋的問題(圖8(b))。

圖8 輪廓跟蹤的結(jié)果Fig.8 Contour tracking results

5 目標(biāo)跟蹤研究的難點(diǎn)及未來發(fā)展方向

近年來目標(biāo)跟蹤技術(shù)發(fā)展取得了很大進(jìn)步［62］。研發(fā)出了多個(gè)性能優(yōu)良的跟蹤器，可以在簡(jiǎn)單場(chǎng)景中實(shí)時(shí)跟蹤目標(biāo)。應(yīng)用假設(shè)可以使跟蹤的問題簡(jiǎn)單化(如平滑的運(yùn)動(dòng)、少量阻塞、光照恒定性、高對(duì)比度背景等)，但這些假設(shè)在現(xiàn)實(shí)場(chǎng)景中是不存在的，限制了其在自動(dòng)化監(jiān)控、人機(jī)交互、視頻檢索、交通監(jiān)控、車輛導(dǎo)航等應(yīng)用領(lǐng)域的應(yīng)用。跟蹤的難點(diǎn)在于:

(1)目標(biāo)外觀隨時(shí)間而變化，如尺度變化、旋轉(zhuǎn)、超平面旋轉(zhuǎn)、光照變化引起的目標(biāo)顏色劇烈及不均勻變化、非剛體形變、視角變化引起的外觀變化等;

(2)背景復(fù)雜多變，使建模難度增加且目標(biāo)容易淹沒在背景中;

(3)多個(gè)目標(biāo)出現(xiàn)咬合阻塞現(xiàn)象的處理;

(4)由于相機(jī)不穩(wěn)、相機(jī)幀頻、傳感器等原因造成高速運(yùn)動(dòng)目標(biāo)的模糊;

(5)完全遮擋或丟失后造成的時(shí)間不連續(xù)，而后目標(biāo)重新出現(xiàn);

發(fā)展不受約束、長(zhǎng)期穩(wěn)定的目標(biāo)跟蹤算法是未來的發(fā)展趨勢(shì)也是挑戰(zhàn)。因此，研究更有效的目標(biāo)表示方法以及目標(biāo)相似性度量方法以適應(yīng)目標(biāo)的外觀變化是重要的研究方向。同時(shí)對(duì)于基于學(xué)習(xí)的智能算法仍需研究并引入以應(yīng)對(duì)目標(biāo)隨時(shí)間的變化，監(jiān)督學(xué)習(xí)需要大量人工干預(yù)，半監(jiān)督學(xué)習(xí)近年來已被眾多學(xué)者所研究并在目標(biāo)跟蹤方面有很高的研究和應(yīng)用價(jià)值。另外，無論是基于檢測(cè)思想的還是基于時(shí)間關(guān)聯(lián)性跟蹤的方法，對(duì)于目標(biāo)的有效搜索都是一個(gè)關(guān)鍵問題，基于粒子濾波、均值漂移、金字塔搜索等跟蹤算法仍有進(jìn)一步研究的價(jià)值，同時(shí)對(duì)于其他學(xué)科中np問題的解法等也可以引入跟蹤搜索，以提高算法效率和執(zhí)行速度，針對(duì)特定的場(chǎng)景利用一些附加信息，進(jìn)行上下情景信息的融合，可以使跟蹤更有效。

6 結(jié)束語(yǔ)

本文闡述了目標(biāo)跟蹤的基本概念以及其應(yīng)用領(lǐng)域與價(jià)值［39-41］，詳細(xì)分析了目標(biāo)表示方法、目標(biāo)跟蹤的研究現(xiàn)狀，最后指出了難點(diǎn)和趨勢(shì)，相信通過眾多學(xué)者的共同努力，更多魯棒、高效、長(zhǎng)期穩(wěn)定的目標(biāo)跟蹤算法會(huì)不斷涌現(xiàn)。

［1］ ELGAMMAL A，DURAISWAMI R，HARWOOD D，et al..Background and foreground modeling using nonparametric kernel density estimation for visual surveillance［J］.IEEE，2002，90(7):1151-1163.

［2］ AVIDAN S.Support vector tracking［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2004，26(8):1064-1072.

［3］ PARK S，AGGARWAL J K.A hierarchical bayesian network for event recognition of human actions and interactions.Multimed［J］.Syst.，2004，10(2):164-179.

［4］ VEENMAN C，REINDERS M，BACKER E.Resolving motion correspondence for densely moving points［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2001，23(1):54-72.

［5］ SHAFIQUE K，SHAH M.A non-iterative greedy algorithm for multi-frame point correspondence［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2005，27(1):110-115.

［6］ COMANICIU D，RAMESH V，MEER P.Kernel-based object tracking［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2003，25:564-575.

［7］ BLACK M，JEPSON A.Eigentracking:robust matching and tracking of articulated objects using a view-based representation［J］.Int.J.Comput.Vision，1998，26(1):63-84.

［8］ HARITAOGLU I，HARWOOD D，DAVIS L.W4:real-time surveillance of people and their activities［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2000，22(8):809-830.

［9］ 馮小勇，趙忠華，劉新明.日間恒星實(shí)時(shí)探測(cè)的視頻圖像處理［J］.中國(guó)光學(xué)，2011，4(6):622-628.FENG X Y，ZHAO ZH H，LIU X M.Video image processing of real-time star detection in daylight［J］.Chinese J.Optics，2011，4(6):622-628.(in Chinese)

［10］ MORAVEC H.Visual mapping by a robot rover［C］.Proceedings of the International Joint Conference on Artificial Intelligence(IJCAI)，San Francisco，USA，August 20，1979:598-600.

［11］ HARRIS C，STEPHENS M.A combined corner and edge detector［C］.In 4th Alvey Vision Conference，August 31-September 2，1988:147-151.

［12］ SHI J，TOMASI C.Good features to track［C］.IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Seattle，WA，June 21-32，1994:593-600.

［13］ LOWE D.Distinctive image features from scale-invariant keypoints［J］.Int.J.Comput.Vision，2004，60(2):91-110.

［14］ 郝志成，高文.多模跟蹤技術(shù)在輪式偵察車圖像處理器的應(yīng)用［J］.中國(guó)光學(xué)，2011，4(5):480-488.

HAO ZH CH，GAO W.Application of multi-pattarn tracking technique in image processor of wheel type scout car［J］.Chinese J.Optics，2011，4(5):480-488.(in Chinese)

［15］ MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2005，27(10):1615-1630.

［16］ WREN C，AZARBAYEJANI A，PENTLAND A.Pfinder:Real-time tracking of the human body［J］.IEEE Trans.Patt.Analy.Mach.Intell.，1997，19(7):780-785.

［17］ GAO X，BOULT T，COETZEE F，et al..Error analysis of background adaption［C］.IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Hilton Head Island，SC，June 13-15，2000:503-510.

［18］ ELGAMMAL A，HARWOOD D，DAVIS L.Non-parametric model for background subtraction［C］.In European Conference on Computer Vision(ECCV)，Dublin，Ireland，June 26-July 1，2000，2:751-767.

［19］ RITTSCHER J，KATO，JOGA S，et al..A probabilistic background model for tracking［C］.In European Conference on Computer Vision(ECCV)，Dublin，Ireland，June 26-July 1，2000，2:336-350.

［20］ STENGER B，RAMESH V，PARAGIOS N，et al..Topology free hidden markov models:application to background modeling［C］.IEEE International Conference on Computer Vision(ICCV)，Vancouver，BC，July 7-14，2001:294-301.

［21］ OLIVER N，ROSARIO B，PENTLAND A.A bayesian computer vision system for modeling human interactions［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2000，22(8):831-843.

［22］ MONNET A，MITTAL A，PARAGIOS N，et al..Background modeling and subtraction of dynamic scenes［C］.IEEE International Conference on Computer Vision(ICCV)，Nice，F(xiàn)rance，October 13-16，2003:1305-1312.

［23］ ZHONG J，SCLAROFF S.Segmenting foreground objects from a dynamic textured background via a robust kalman filter［C］.IEEE International Conference on Computer Vision(ICCV)，Nice，F(xiàn)rance，October 13-16，2003:44-50.

［24］ COMANICIU D，MEER P.Mean shift:a robust approach toward feature space analysis［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2002，24(5):603-619.

［25］ ROWLEY H，BALUJA S，KANADE T.Neural network-based face detection［J］.IEEE Trans.Patt.Analy.Mach.Intell.，1998，20(1):23-38.

［26］ VIOLA P，JONES M，SNOW D.Detecting pedestrians using patterns of motion and appearance［C］.IEEE International Conference on Computer Vision(ICCV)，Nice，F(xiàn)rance，October 13-16，2003:734-741.

［27］ GREWE L，KAK A.Interactive learning of a multi-attribute hash table classifier for fast object recognition［J］.Comput.Vision Image Understand，1995，61(3):387-416.

［28］ PAPAGEORGIOU C，OREN M，POGGIO T.A general framework for object detection［C］.IEEE International Conference on Computer Vision(ICCV)，January 4-7，1998:555-562.

［29］ BLUM A，MITCHELL T.Combining labeled and unlabeled data with co-training［C］.11th Annual Conference on Computational Learning Theory，July 24，1998:92-100.

［30］ LEVIN A，VIOLA P，F(xiàn)REUND Y.Unsupervised improvement of visual detectors using co-training［C］.IEEE International Conference on Computer Vision(ICCV)，Nice，F(xiàn)rance，October 13-16，2003:626-633.

［31］ 顏佳，吳敏淵.遮擋環(huán)境下采用在線Boosting的目標(biāo)跟蹤［J］.光學(xué) 精密工程，2012，20(2):439-446.

YAN J，WU M Y.On-line boosting based target tracking under occlusion［J］.Opt.Precision Eng.，2012，20(2):439-446.(in Chinese)

［32］ 匡金駿，柴毅，熊慶宇.結(jié)合標(biāo)準(zhǔn)對(duì)沖與核函數(shù)稀疏分類的目標(biāo)跟蹤［J］.光學(xué) 精密工程，2012，20(11):2540-2547.

KUANG J J，CHAI Y，XIONG Q Y.Visual object tracking combined normal hedge and kernel sparse representation classification［J］.Opt.Precision Eng.，2012，20(11):2540-2547.(in Chinese)

［33］ ISARD M，BLAKE A.Condensation-conditional density propagation for visual tracking［J］.International J.Computer Vision，1998，29(1):5-28.

［34］ 王國(guó)良，劉金國(guó).基于粒子濾波的多自由度運(yùn)動(dòng)目標(biāo)跟蹤［J］.光學(xué) 精密工程，2011，19(4):864-869.

WANG G L，LIU J G.Moving object tracking with multi-degree-of-freedom based on particle filters［J］.Opt.Precision Eng.，2011，19(4):864-869.(in Chinese)

［35］ 龔俊亮，何昕，魏仲慧，等.采用改進(jìn)輔助粒子濾波的紅外多目標(biāo)跟蹤［J］.光學(xué) 精密工程，2012，20(2):413-421.

GONG J L，HE X，WEI ZH H，et al..Multiple infrared target tracking using improved auxiliary particle filter［J］.Opt.Precision Eng.，2012，20(2):413-421.(in Chinese)

［36］ LI B，CHELLAPPA R，ZHENG Q，et al..Model-based temporal object verification using video［J］.IEEE Trans.Image Process，2001，10(6):897-908.

［37］ MANSOURI A.Region tracking via level set pdes without motion computation［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2002，24(7):947-961.

［38］ YILMAZ A，LI X，SHAH M.Contour based object tracking with occlusion handling in video acquired using mobile cameras［J］.IEEE Trans.Patt.Analy.Mach.Intell.，2004，26(11):1531-1536.

［39］ 丘文濤，趙建，劉杰.結(jié)合區(qū)域分割的SIFT圖像匹配方法［J］.液晶與顯示，2012(6):827-831.

QIU W T，ZHAO J，LIU J.Image matching algorithm combining SIFT with region segmentation［J］.，2012(6):827-831.(in Chinese)

［40］ 王田，劉偉寧，韓廣良，等.基于改進(jìn)MeanShift的目標(biāo)跟蹤算法［J］.液晶與顯示，2012(3):396-400.

WANG T，LIU W N，HAN G L，et al..Target tracking algorithm based on improved meanshift［J］.，2012(3):396-400.(in Chinese)

［41］ 李麗，李平，楊明，等.基于SIFT特征匹配的電力設(shè)備外觀異常檢測(cè)方法［J］.光學(xué)與光電技術(shù)，2010，8(6):25-31.

LI L，LI P，YANG M，et al..Research on abnormal appearance detection approach of electric power equipment［J］.Opt.Optoelectronic Technol.，2010，8(6):25-31.(in Chinese)