基于事件分析的多攝像機魯棒跟蹤算法

蔡曉東，吳 迪，華 娜，梁奔香，朱利偉

(桂林電子科技大學 信息與通信學院，廣西 桂林 541004)

基于事件分析的多攝像機魯棒跟蹤算法

蔡曉東，吳 迪，華 娜，梁奔香，朱利偉

(桂林電子科技大學 信息與通信學院，廣西 桂林 541004)

提出了一種新的基于事件分析的目標跟蹤算法來解決多個目標分離或遮擋時的可靠跟蹤問題。首先提出使用仿射變換來獲得多個攝像機之間重疊畫面的映射關系，實現目標交接，為后面的目標識別奠定基礎。然后當單攝像機目標跟蹤過程中發生候選目標多于一個或者多個目標對應一個候選目標的情況時，提出一種判別目標出現遮擋事件或分離事件的新方法,并且通過多攝像機的目標交接準確識別出發生遮擋或分離事件的目標標號，解決目標發生遮擋或分離后跟蹤失敗的問題。實驗結果證明：所提出的方法突破了一般跟蹤算法受目標底層特征約束的難點，具有更高的魯棒性。

目標交接；多攝像機跟蹤；分離事件；遮擋事件

1 目標跟蹤

多攝像機目標跟蹤在智能監控[1]、視頻內容理解[2]等方面有著廣泛的應用。目標在一個攝像機中發生遮擋時，在另一攝像機視角觀察可能不發生遮擋，因此，使用多攝像機可以很好地解決單攝像機因目標遮擋產生跟蹤丟失的問題。但是從不同的攝像機中觀察到的目標信息很容易受環境因素(如視角、光線等)的影響，導致觀察到的目標信息存在著較大差異，因此多攝像機魯棒性目標跟蹤具有巨大的挑戰性。

常見的多攝像機目標跟蹤的方法有3類：1)基于特征匹配[3]。如文獻[4]采用Mean-shit跟蹤法，其通常采用顏色特征對目標進行匹配，計算簡單；但是目標顏色受光線影響很大，從不同的角度觀察目標時，顏色特征會發生變化，此時容易產生跟蹤錯誤。由于不同攝像機中觀察到的目標特征受環境因子影響較大，因此使用特征匹配的魯棒性較差。 2)使用3D幾何約束的方法[5-6]。這些算法將目標的特征點映射到同一三維空間中，通過比較這些特征點在世界坐標系中的位置來建立目標的匹配關系。但是這種方法要先對攝像機進行標定，獲取攝像機的內外參數，操作較繁瑣，并且在實際應用的復雜環境中，難以通過標定獲取精確的攝像機內外參數，導致目標匹配的正確率下降。 3)SIFT特征點匹配法[7-9]。SIFT具有旋轉、尺度縮放、亮度變化保持不變性的特征，但是使用SIFT變換時，計算量較大，難以實現實時的目標跟蹤。當兩個攝像機的觀察角度的差異性較大時，各個攝像機觀察到的同一目標的特征會存在較大差異，SITF匹配法的準確度也會降低。

綜上所述，多攝像機中使用目標底層特征(顏色、特征點等)很容易受到環境的約束，從而引起目標跟蹤丟失。因此本文提出了一種新的多攝像機目標跟蹤算法，算法模塊的框架如圖1所示，設攝像機A1，A2，…，An為相鄰的攝像機群。

圖1 算法框架圖

如圖1所示，首先獲取多個攝像機的視頻流，然后使用目標交接獲取多攝像機之間目標的對應關系，使得不同攝像機中的同一個目標具有相同的標號。然后提出使用新的多攝像機跟蹤算法，當一個攝像機畫面的目標發生遮擋事件或分離事件時，與相鄰不發生遮擋事件或分離事件的攝像機畫面進行目標交接，從而解決目標被遮擋或分離時產生的誤匹配問題，實現穩定的目標跟蹤。

2 目標交接

首先獲取多攝像機畫面之間的仿射變換關系，從而計算出多攝像機畫面的對應坐標；接著本文提出提取圖像中的運動目標坐標，根據目標坐標和仿射變換矩陣計算出與相鄰攝像機畫面的對應目標，識別出目標標號，從而實現目標交接。

2.1 仿射變換

仿射變換[10]可以實現二維平面到二維平面的線性變換，因此使用仿射變換矩陣可以獲取圖像平面坐標之間的映射關系。設I1，I2分別為不同視覺觀察同一場景ζ的攝像機，目標a和目標b在I1，I2畫面中的投影位置如圖2所示。

圖2 目標在不同視覺的攝像機中的成像圖

設I1畫面到I2畫面的仿射變換矩陣記為H[10]

(1)

其中，h11～h32是仿射變換矩陣的系數，代表水平、垂直方向上的位移量、旋轉因子、縮放因子。

設χ是場景ζ中的任意一點，在I1，I2畫面中的投影坐標分別設為(x1，y1)和(x2，y2)，則其坐標之間的映射關系滿足式(2)。從而根據式(2)可以計算出一個平面中的任一坐標點對應到另一平面的坐標位置。

(2)

式(2)展開可得到

(3)

通過式(3)可以實現兩個平面之間的坐標對應，為目標標號識別打下基礎。

2.2 目標標號識別

如圖3所示，設水平地面為參考平面，不同視角的攝像機觀察到目標c在地面的投影分別設為c1、c2。當目標的世界坐標與參考平面的深度信息不一致時，其投影在參考平面的位置是不一樣的，如圖3中c1、c2除了腳部部位，其他部位都不重合。因此，本文首先采用高斯背景重建算法[11]對運動目標進行檢測，然后使用文獻[12-13]的blob算法提取運動目標。由于目標最低點與地面接觸，其深度信息相同(都為0)，因此本文提出使用運動物體的最低點代表目標坐標的方法，有效地減少了由于特征點的深度信息不一致而引起的變換誤差。

圖3 不同視角的攝像機中目標在地面的投影圖

設目標ρ在攝像機I1畫面中的最低點坐標為(x1ρ，y1ρ)，代入式(2)和式(3)，計算出其在攝像機I2畫面中坐標為(x2ρ，y2ρ)；設I2中目標x的像素點坐標集為Area(x)，其中，目標x的任一坐標點設為(x2k，y2k)，其中k=0，1，…，n，則Area(x)的定義如式(4)所示；如果(x2ρ，y2ρ)滿足式(5)，則表示目標ρ與目標x為同一目標，從而識別出目標x的標號，實現目標標號交接。

Area(x)={(x20,y20),(x21,y21),…,(x2n,y2n)},n∈R

(4)

(x2ρ,y2ρ)∈Area(x)

(5)

3 多攝像機跟蹤

目標不發生遮擋時，一般使用卡爾曼濾波[14]的方法可得到良好的跟蹤效果。當目標之間發生遮擋事件時，多個目標重疊在一起，部分目標的特征信息被遮擋丟失；多目標發生分離事件時，由于目標被遮擋期間目標的特征信息丟失，根據目標的先驗知識難以將遮擋后重新出現的目標進行準確地識別，此時穩定的目標跟蹤存在著巨大挑戰。

因此，當目標之間在某一個攝像機中發生遮擋、分離事件，而在另一攝像機視角觀察不發生遮擋、分離事件時，本文提出一種新的目標遮擋事件和分離事件的判別算法，準確地判斷事件的發生，并提出使用多攝像機之間的目標交接，獲得遮擋或分離目標的標號，實現持續的目標跟蹤。

設camA和camB是相鄰的攝像機，當多個目標發生遮擋或分離事件時，可使用相同的方法進行分析。目標A和B是camA在t-t0時刻到t+t0時刻觀察到的運動物體，如圖4a～圖4c所示；在camB中觀察到的狀態如圖5a～圖5c所示。

圖4 camA在t-t0時刻到t+t0時刻觀察到的運動物體狀態圖

圖5 camB在t-t0時刻到t+t0時刻觀察到的運動物體狀態圖

圖4a～圖4c中，目標在t時刻發生遮擋事件，目標在t+t0時刻發生分離事件；圖5a～圖5c中，目標A和B沒有發生遮擋和分離事件。

設在任一時刻，當一個攝像機中發生遮擋或分離事件(如圖4的camA)，相鄰的一個攝像機不發生該事件時(如圖5的camB)，本文提出使用目標交接從相鄰攝像機畫面中獲取目標的信息，實現目標識別。圖6展示了兩個攝像機進行目標跟蹤算法的流程圖，該方法適用于多攝像機中兩兩攝像機進行多目標跟蹤的情況。

圖6 兩攝像機進行目標跟蹤算法流程圖

圖6中，設X={x1，x2，…，xn}，n∈N為camA中發生遮擋或分離事件的目標集合，當camA中的目標發生遮擋或分離事件時，將其目標信息發送給camB，然后通過式(3)～式(5)識別出目標的標號，并發送給camA，從而實現目標X在camA的目標跟蹤。

3.1 OE判斷及目標識別算法

當多目標發生遮擋事件時，如圖4a～圖4c所示，觀察到的目標個數由多個變為一個。由于camB中目標無遮擋事件發生，使用卡爾曼濾波的方法可實現準確的跟蹤結果。

(6)

設Area(x)為目標所占地區域范圍，式(7)的定義為

(7)

3.2 SE判斷及目標識別算法

當目標發生分離事件時，如圖4b～圖4c所示，重疊目標體在圖4c中分離成多個目標。此時使用單攝像機跟蹤的方法將會把分離出來的目標認為是新出現的目標，造成目標跟蹤失敗。

(8)

設εH為允許的投影誤差，式(9)的定義為

(9)

若目標B′的坐標符合式(9)，則表示目標與B′的標號與camB中目標B的標號相同，其為同一目標。通過上述方法即可識別出重疊后產生分離的目標標號，解決了重疊目標分離后產生跟蹤丟失的問題。

4 實驗結果分析

使用本文算法對兩組實驗的結果分析如下：

1)與SIFT特征跟蹤算法的比較實驗

使用本文提出的多攝像跟蹤機制和文獻[9]的方法使用sift特征點進行目標跟蹤的實驗效果進行對比。實驗一場景選擇一個小區的門口，門口的行人較多，很容易引起目標遮擋。本文方法可適用到多個攝像機，但是多攝像機中兩兩攝像機通信的方法是相同的，因此本次實驗展示了使用兩個攝像機對目標進行跟蹤的效果。兩相鄰攝像機分別設為camA和camB，camA的焦距大小為camB的1/4，因此camB比camA具有更寬廣的視角，并且camA與camB對場景觀察角度的夾角為75°，此時，camA與camB的觀察到的目標特征信息具有較大的差異。

camB的場景如圖7所示，camA的場景如圖8～圖9所示。camA與camB同時對場景進行監控，監控視頻中第201幀到568幀有兩個行人經過監控區域。其跟蹤效果如圖7所示。

圖7 camB的第205幀、256幀、351幀、415幀，用單攝像機跟蹤算法對目標進行跟蹤的效果圖

圖8 camA的第205幀、256幀、351幀、415幀，使用本文提出多攝像機通信機制對目標進行跟蹤的效果圖

目標跟蹤的效果用矩形框和標號標識，被認為是相同的目標用同一顏色的矩形框框出，并且標號相同。由圖7可以看出，在camB的視野中兩個目標的運動過程沒有發生遮擋，使用卡爾曼濾波的方法在單攝像機中成功進行跟蹤。因此，在目標不發生遮擋的情況下，使用單攝像機跟蹤算法可獲得良好的效果。

在camA中，第250幀到402幀兩個運動目標發生遮擋，用本文提出的根據事件判斷機制對camA的目標進行跟蹤的效果圖如圖8所示?？梢钥吹剑荒繕说臉颂枴⑼饨泳匦慰虻念伾枷嗤?。由圖8c可看到本文算法可以準確地對遮擋目標進行識別，由圖8d可看到當目標發生分離事件后可以繼續對目標進行跟蹤。

文獻[9]的方法使用sift特征點進行目標匹配得到的效果圖如圖9所示。從圖9b和圖9c中看到，當目標之間發生遮擋時，2號目標特征點跟蹤丟失，導致2號目標被認為消失了，跟蹤失敗。由圖9d看到重疊目標分離時，由于歷史信息的丟失，2號目標被認為是一個新的目標，外接矩形框的顏色改變并且其標號變成3，不能對目標進行持續跟蹤。

圖9 camA的第205幀、256幀、351幀、415幀，使用sift特征點方法對目標進行跟蹤的效果圖

因此，由圖8和圖9可以看出，使用本文的方法能成功地對發生遮擋事件和分離事件的目標進行持續跟蹤。

2)遮擋情況下多目標持續跟蹤實驗

設圖10～圖11分別為攝像機camC、camD在同一時間段拍攝的畫面，其場景比較復雜，存在著較多的運動目標，且運動目標多次發生遮擋、分離事件。使用本文算法的跟蹤效果圖如圖10～圖11所示。

圖10 攝像機camC在連續的時間內拍攝的畫面

圖11 攝像機camD在連續的時間內拍攝的畫面，分別對應圖10a～圖10d

圖11b～圖11d的時間段內，4號目標發生了兩次遮擋事件，1次分離事件后，仍能準確進行跟蹤；5號目標多次和不同的目標發生遮擋、分離事件后，跟蹤標號不發生改變，具有較好的穩定性。因此本文在場景中具有較多運動目標，且發生多次遮擋、分離事件后，仍能準確地實現目標跟蹤。

5 結論

本文算法實現對多攝像機觀察到的目標信息進行交接，從而識別出對應目標，解決了目標之間發生遮擋、分離事件后跟蹤丟失的難題。本文設計的實驗無需考慮外觀的特征，對光照變化有較強的適應性，且在多攝像機景深不一致的情況下，也能實現良好的跟蹤。并且當攝像機畫面中目標發生遮擋分離事件時，可以從任何沒有發生遮擋、分離事件的相鄰攝像機畫面中獲取當前攝像機發生遮擋、分離事件的目標標號，因此本文方法能從多個攝像機中獲取正確的跟蹤結果，具有較高的魯棒性。在場景較復雜時，在多個攝像機可能同時發生遮擋、分離事件的情況，從相鄰攝像機中獲得所有目標的標號具有一定的挑戰性，解決該問題可以通過實際應用場景的分析，對算法加以優化改進來解決。

[1] BRUCKNER D， PICUS C， VELIK R， et al. Hierarchical semantic processing architecture for smart sensors in surveillance networks[J]. IEEE Trans. Industrial Informatics，2012，8(2)： 291-301.

[2] TAHAYNA B. Combining content and context information fusion for video classification and retrieval[C]//Proc. the 2010 2nd International Conference on Signal Processing Systems (ICSPS 2010).Seoul：IEEE Press，2010： 81-86.

[3] KIM C I. Fast stereo matching of feature links[C]// Proc. 3D Imaging， Modeling， Processing， Visualization and Transmission (3DIMPVT).Hangzhou：[s.n.]，2011： 268- 274.

[4] YONEMOTO S. Multitarget tracking using mean-shift with particle filter based Initialization[C]//Proc. the 12th International Information Visualisation. London： IEEE Press，2008：521-526.

[5] MIR-NASIRI N. Camera-based 3D object tracking and following mobile robot[C]// Proc. Robotics， Automation and Mechatronics. Bangkok， Thailand： IEEE Press，2006：1-6.

[6] CHOI C. Real-time 3D model-based tracking using edge and keypoint features for robotic manipulation[C]//Proc. Robotics and Automation (ICRA). Anchorage，AK：IEEE Press，2010： 4048-4055.

[7] LI H P，FLIERL M. Sift-based improvement of depth imagery[C]//Proc. Multimedia and Expo (ICME). SPAIN：IEEE Press，2011： 1-6.

[8] ZHAO S. Sttk-based video object recognition[C]// Proc. IEEE International Conference on Image Processing ICIP. HongKong： IEEE Press，2010： 3873-3876.

[9] LIU Y H，ZHOU C S.Target matching based on multi-view tracking[C]// Proc. SPIE. San Francisco：SPIE-INT SOC Optical Engineering， 2011：24-25.

[10] HE K，YUAN Z W，MU C C. A new affine transformation parameters estimation method[C]//Proc. 2011 Seventh International Conference on Natural Computation (ICNC). Tianjin：[s.n.]，2011：28-32.

[11] YAN R. Moving object detection based on an improved gaussian mixture background model[C]//Proc. ISECS International Colloquium on Computing， Communication， Control， and Management. Sanya：[s.n.]， 2009：12-15.

[12] WEI B Z. Automatic color blob segmen tation and fast arbitrary shape tracking[C]//Proc. Visual Information Engineering. Xi’an：[s.n.]，2008：408-413.

[13] NGUYEN T B. An Improved real-time blob detection for visual surveillance[C]// Proc. the 2009 2nd International Congress on Image and Signal Processing. Tianjin：[s.n.]，2009：1-5.

[14] GUTMAN P O. Tracking targets using adaptive Kalman filtering[J]. Aerospace and Electronic Systems，1990，26(5)：691-699.

蔡曉東(1971— )，碩士生導師，主研智能視頻處理、云計算、無線傳感網絡；

吳 迪(1989— )，女，碩士生，主研智能視頻處理、云計算；

華 娜(1988— )，女，碩士生，主研云計算、智能視頻處理；

梁奔香(1987— )，碩士生，主研視頻圖像處理、模式識別；

朱利偉(1989— )，碩士生，主研視頻圖像處理、人工智能、機器學習。

責任編輯：閆雯雯

Robust Video Tracking Based on Event Analysis

CAI Xiaodong,WU Di, HUA Na, LIANG Benxiang, ZHU Liwei

(SchoolofInformationandCommunicationEngineering,GuilinUniversityofElectronicTechnology,GuangxiGuilin541004,China)

Reliable video tracking under occlusion is a challenging task. A novel tracking method based on event analysis and multi-camera communication is proposed. Firstly, the relationship between the overlay parts of two cameras is computed for object handoff using affine transform. Then, a new algorithm for indentifying Occlusion Event (OE) and Separation Event (SE) is designed. When multiple targets are tracked, or there are more than one tracked candidates in the case of single camera tracking, the proposed algorithm recognizes the IDs of tracked candidates by target handoff among multiple cameras, resulting successful tracking. The experimental results show the robustness of the proposed method without using any low-level features of the tracked objects during the tracking process.

target handoff; multi-camera tracking; occlusion event; separation even

【本文獻信息】蔡曉東，吳 迪，華娜,等.基于事件分析的多攝像機魯棒跟蹤算法[J].電視技術,2015，39(13).

國家科技支撐計劃課題(2014BAK11B02)；廣西自然科學基金項目(面上項目)(2013GXNSFAA019326)；桂林電子科技大學研究生科研創新項目(GDYCSZ201410)

TP392.4

A

10.16280/j.videoe.2015.13.012

2014-10-22