視頻中遮擋情況下目標的跟蹤

摘要：提出了一種基于概率外觀模型和Condensation的跟蹤方法。該方法通過分析目標前景MBB重疊關系檢測遮擋的產生和解除，在目標未遮擋時建立并更新目標的概率外觀模型。當遮擋發生后，利用目標共面條件確定目標前后關系，通過合并目標模型計算系統觀測似然度概率。算法統一在Condensation框架下進行有遮擋和無遮擋的跟蹤。實驗證明了該方法的有效性。

關鍵詞： 視頻跟蹤； 遮擋； 概率外觀模型； Condensation

中圖分類號：TP391文獻標志碼：A

文章編號：1001－3695(2008)03－0950－03

視頻中目標在遮擋情況下的跟蹤問題一直是機器視覺研究中的難點。近年來，針對該問題的研究主要分為兩類[1]：a)不對遮擋中的目標進行分割，而是將遮擋的目標作為一個目標進行跟蹤，當目標遮擋消失后通過匹配重新辨別目標的身份[2~5]；b)利用視頻目標和背景的先驗知識，通過圖像分割或模型匹配確定目標在遮擋情況下的狀態[6~11]。

在對視頻目標的建模方面，主要是利用目標的形狀和顏色特征作為先驗知識。a)對目標的輪廓建模[11]。這類方法只包含了目標的形狀信息，適合圖像質量較高的情況，在實際應用中噪聲較大時往往很難準確地提取目標輪廓。b)分區域近似目標前景的顏色分布。一般利用幾何形狀近似目標外形[6，9，10]，根據目標的形狀或顏色分布特點進行分段或分割；然后利用直方圖、單高斯、多高斯或核密度估計的方法近似顏色的分布。這類方法在一定程度上保持了顏色的空間分布信息，不足之處在于噪聲較大或顏色分區不明顯時分段或分割的準確性很難保證。c)概率外觀模型[7，8]。該方法建立并實時更新目標顏色模型和與之相關的概率模型圖像。顏色模型保持了目標顏色的空間分布信息；概率模型描述了目標的形狀信息。

本文利用目標的概率外觀模型為先驗知識，在Condensation[12]框架下實現遮擋情況下目標的跟蹤。算法分為像素層、區域層和目標層三部分，如圖1所示。

文獻[10]中采用橢圓分段模型描述目標的顏色分布，通過增加一個系統狀態分量描述目標在遮擋中的前后關系，與Condensation結合實現遮擋情況下目標的跟蹤。與文獻[10]相比本文有兩點不同：

a)通過MBB（minimum bounding box，目標前景區域矩形）重疊區域分析進行目標遮擋的檢測；

b)采用概率外觀模型，在目標共面的條件下進行遮擋目標模型的合并，利用該模型計算系統觀測模型似然度概率。

1遮擋的檢測

遮擋的發生和消失可以根據相鄰兩幀圖像中目標的對應關系確定，即數據關聯問題。多數方法利用目標質心間的距離建立目標的對應關系，如最近鄰準則。該方法只適合建立11的對應關系，無法準確建立遮擋發生和消失時目標N1（合并）和1N（分離）的對應關系。本文通過分析MBB的重疊特性建立相鄰兩幀圖像中目標之間的對應關系。

在高速視頻中，由于目標運動速度相對于幀速率較慢，同一目標相鄰兩幀的MBB在空間上存在顯著的交集。對于目標合并的情況，如圖2(a)所示，相鄰兩幀目標MBB重疊區域的面積占合并前目標面積的比例較大；對于目標分離的情況，如圖2(b)所示，相鄰兩幀目標MBB重疊區域的面積占分離后目標面積的比例較大。利用這一特點，可以快速準確地確定目標的分離、合并等復雜關系。

設視頻圖像為I，經過預處理得到的前景圖像塊的MBB為B。遍歷相鄰兩幀圖像所有塊的MBB，計算前一幀圖像It-1中的Bip與當前幀圖像It中的Bjc的重疊區域，并計算重疊區域面積相對于Bip和Bjc面積的比例，取其最大值，即

Rmax=max(area(Bip∩Bjc)/area(Bip)，

area(Bip∩Bjc)/area(Bjc))(1)

如果比例Rmax>ThR（ThR為顯著性比例門限，一般設為0.6），則說明兩個塊的重疊區域比較顯著，就在兩個目標之間建立雙向對應關系。當場景中目標運動速度較快時，可適當降低門限值ThR；如果目標運動過快或目標面積較小，MBB不能相交，可以按適當比例放大MBB使其相交。根據塊的對應關系，當對應關系為N1（合并）時，建立遮擋關系；當上一幀已經處于合并狀態的目標當前的對應關系為1N（分離）時，遮擋關系解除。

2概率外觀模型

當目標沒有遮擋發生時，建立并更新概率外觀模型。模型由顏色模型和概率模型兩部分組成，如圖3所示。 顏色模型表明目標在某一位置出現的顏色，而概率模型與顏色模型一一對應，表明目標在該位置出現的概率。

當目標首次出現時，初始化概率外觀模型，建立與目標MBB同等大小的兩幅圖像。顏色模型AM的初始化是將前景區域的像素直接進行復制；概率模型PM的初始化是將前景區域對應位置的概率設置為0．4，非前景區域設置為0。為了確定模型在圖像中的位置，設定錨點AP為模型中目標的著地點位置，初始化為目標前景區域質心C在MBB底邊上的投影。

隨著跟蹤的進行，當確定了目標著地點的當前位置GP時，將目標前景的GP與概率外觀模型的AP對齊，用式(2)進行模型的更新。

其中：αAM和αPM分別是AM和PM的更新速率，一般設為0.05。更新后模型大小發生變化，所以需要根據模型匹配時GP在圖像前景中的位置調整AP的位置。

通過模型的更新，新信息會慢慢加入，舊信息會逐漸被忘掉，使模型能夠適應目標形狀、顏色的變化；同時也保持了一些目標內部運動的信息，如一個運動的人腿和胳膊的外觀。下面利用概率外觀模型進行目標的跟蹤。

3無遮擋的跟蹤

多數視頻應用中的跟蹤是確定目標在一個公共平面內運動時所處的位置。本文將目標的定位定義為：當目標前景區域與目標概率外觀模型達到最佳匹配位置時目標著地點的位置。

系統的狀態矢量定義為目標的著地點位置X={GPx， GPy}。為了說明問題，系統狀態模型采用隨機走動模型。該模型簡單，可以減少Condensation中粒子的數量，減少計算耗時。同時由于視頻中目標運動速度相對視頻幀速率較慢，而且運動隨機性強，采用隨機走動模型可以較好地近似。

根據概率外觀模型，目標著地點GP的位置就是當模型與當前目標前景圖像處于最佳匹配位置時模型錨點AP的絕對位置。如果給定概率外觀模型AP在當前圖像中的絕對位置，用高斯模型近似模型中每個像素的顏色分布，就可以計算模型在當前位置產生當前目標前景的概率，即跟蹤系統的觀測模型的似然度概率。

當目標在概率模型PM非0的位置沒有出現，前景像素與模型之間的距離設為195 075＝255×255×3，是像素顏色間最大距離。

當視頻中的目標第一次出現時，啟動跟蹤算法，同時不斷更新目標的概率外觀模型。采用Condensation算法，用一組隨機加權粒子St={s(n)t，π(n)t}(n=1，…，N)近似描述系統后驗概率p(Xt/Zt)。遞歸算法步驟如下：

a)初始化。根據目標第一次出現的前景區域初始化概率外觀模型AM和PM，錨點AP設置為目標質心C在MBB底邊上的投影。根據AP的絕對位置隨機初始化粒子S0，賦予粒子相同的權值1/N。

b)預測。根據狀態轉移矩陣（隨機走動模型為單位矩陣）進行預測，即{s′(n)t-1}→{s(n)t}。

c)重新計算權值。根據式(5)計算權值π(n)t=p(zt/xt=st)=p(I/AM，PM，AP)。

d)狀態估計。X^t=∑Nn=1s(n)tπ(n)t即為對當前目標著地點GP的估計；同時根據GP的估計值和式(2)進行概率外觀模型的更新。

e)重采樣。根據粒子的權值重新進行采樣產生新的粒子{s(n)t}→{s′(n)t}，歸一化粒子的權值，使∑Nn=1π(n)t=1，轉至b)。

4有遮擋的跟蹤

當根據式(1)檢測到遮擋發生時，啟動遮擋處理，仍然采用Condensation算法。假設兩個目標發生合并，分別具有概率外觀模型{AM1， PM1， AP1}和{AM2， PM2， AP2}，系統狀態矢量為X={GP1x， GP1y， GP2， GP2y}，表示兩個目標在合并狀態下著地點的位置。兩個目標模型產生同一個目標前景區域，所以跟蹤系統的觀測模型為

p(Zt/Xt)=p(I/AM1，PM1，AP1，AM2，PM2，AP2)(6)

由于假設運動目標在同一平面內運動，且攝像機懸掛在平面上方，可以根據目標著地點縱軸方向的坐標近似地確定目標在遮擋時的前后關系。根據目標前后關系合并遮擋目標的概率外觀模型，即用APy較小的目標模型覆蓋APy較大的目標模型。假設APy1

AM(x)=AM1(x)AM2(x)0PM1(x)<β∩PM1(x)≥βPM2(x)≥βotherwise(7)

PM(x)=PM1(x)PM2(x)0PM1(x)<β∩PM1(x)≥βPM2(x)≥βotherwise

其中：β為概率顯著性門限，目的是在模型合并時將概率較小的像素去除，一般設為0.1。合并后的模型如圖4所示。

(a1)(b1)是合并后的顏色模型；(a2)(b2)是合并后的概率模型；(a3)(b3)中菱形亮點是跟蹤得到的目標著地點的估計值以及目標的MBB，圖中模型合并是根據當前著地點的估計值

采用Condensation算法進行遮擋情況下跟蹤的步驟如下：

a)初始化。當根據式(1)檢測到目標合并時，利用目標上一時刻的著地點GP1和GP2隨機初始化采樣粒子St，賦予粒子相同的權值1/N。假設在遮擋期間，目標的概率外觀模型{AM1， PM1}和{AM2， PM2}保持不變。

b)根據式(7)得到合并模型{AM，PM，AP1，AP2}，根據式(5)計算粒子的權值：

π(n)t=p(zt/xt=st)=p(I/AM，PM，AP1，AP2)

c)狀態估計。X^t=∑Nn=1s(n)tπ(n)t即是對遮擋中的目標著地點GP1和GP2的估計。根據GP1和GP2的估計值，可以重新合并目標模型，并進行前景區域的分割。

d)重采樣。根據粒子的權值重新進行采樣產生新的粒子， {s(n)t}→{s′(n)t}，并歸一化粒子的權值，使∑Nn=1π(n)t=1。

e)預測。根據狀態轉移矩陣（隨機走動模型）進行預測，即{s′(n)t}→{s(nt+1)，轉至b}。

5實驗

實驗采用本文算法對NUDT和PETS2001視頻進行測試。實驗的輸入為圖1中經過連通區域分析產生的目標前景塊。實驗中對面積較小、存在時間較短和運動不明顯的噪聲塊進行了過濾。參數設置為： MBB重疊區域顯著性比例門限ThR=0.6；概率外觀模型的更新速率α=0．05；模型合并時概率顯著性門限β=0.1；無遮擋跟蹤的粒子數量N=64；有遮擋跟蹤的粒子數量N=256。視頻中目標跟蹤軌跡結果如圖5所示。模型匹配是耗時的計算，為了減少計算量，實驗中模型匹配時根據目標前景區域面積的大小按比例縮小目標前景和模型圖像，使匹配所需計算的像素數量小于800。實驗中發現模型縮小后的匹配仍然可以保持較高的精度。

(a) 逆向行進的人和車的遮擋(PETS2001)(b) 同向行進的人的遮擋(NUDT)圖5跟蹤實驗軌跡顯示

從實驗結果可以看出，算法不但對逆向行進中人與車輛（顏色、形狀差別較大）的能夠成功地進行遮擋的檢測以及遮擋情況下的跟蹤，而且對并排行走的人（顏色、形狀相近，在行進中反復合并和分離）也能準確地進行遮擋的檢測和跟蹤。

6結束語

本文提出了一種視頻中遮擋情況下目標跟蹤的新方法。該方法通過對目標前景MBB重疊特性分析對遮擋進行檢測，在共面條件下合并遮擋目標的概率外觀模型計算系統觀測模型似然度概率，將有遮擋和無遮擋的跟蹤統一在Condensation框架下進行。實驗證明了該方法的有效性。

參考文獻：

[1]GABRIEL P F， VERLY J G， PIATER J H， et al. The state of the art in multiple object tracking under occlusion in video sequences[C]//Advanced Concepts for Intelligent Vision Systems(ACIVS 2003). Ghent， Belgium:[s.n.]， 2003.

[2]PIATER H J， CROWLEY J L. Multimodal tracking of interacting targets using Gaussian approximations[C]//Proc of the 2nd IEEE International Workshop on Performance Evaluation of Tracking and Surveillance. 2001.

[3]MCKENNA S， JABRI S， DURIC Z， et al. Tracking groups of people[J]. Computer Vision and Image Understanding， 2000，80(1):42－56.

[4]BRMOND F， THONNAT M. Tracking multiple nonrigid objects in video sequences[J]. IEEE Trans on Circuits and Systems for Video Techniques， 1998，8(5):585－591.

[5]HARITAOGLU I. A realtime system for detection and tracking of people and recognizing their activities[D].Maryland: University of Maryland， 1998.

[6]ELGAMMAL A， DAVIS L S. Probabilistic framework for segmenting people under occlusion[C]//Proc of the 8th International Conference on Computer Vision. 2001.

[7]SENIOR A. Tracking people with probabilistic appearance models[C]//Proc of the 3rd IEEE International Workshop on Performance Evaluation of Tracking and Surveillance. Copenhagen:[s.n.]. 2002.

[8]SENIOR A W， HAMPAPUR A， BROWN L M， et al. Appearance models for occlusion handling[C]//Proc of the 2nd International Workshop on Performance Evaluation of Tracking and Surveillance Systems. 2001.

[9]KHAN S， SHAH M. Tracking people in presence of occlusion[C]//Asian Conference on Computer Vision.Taiwan:[s.n.]， 2000.

[10]HU Min， HU Weiming， TAN Tie－niu. Tracking people through occlusion[C]//Proc of the 17th Int Conf on Pattern Recognition. Cambridge:[s.n.]，2004.

[11]MacCORMICK J， BLAKE A. A probabilistic exclusion principle for tracking multiple objects[C]//Proc of the 7th IEEE International Conference on Computer Vision. Kerkyra:[s.n.]，1999:572－578.

[12]ISARD M， BLAKE A. Condensationconditional density propagation for visual tracking[J]. Computer Vision， 1998，29(1):5－28.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”