一種基于指令預測的目標跟蹤方法*

尤小泉，彭映杰

（1.成都電子機械高等專科學校 通信工程系，四川 成都 610031；2.成都信息工程學院 科技處，四川 成都 610225）

1 引言

運動目標的跟蹤在許多領域有著廣泛的應用，如國防安全、航空航天、安防監視都有廣泛的應用價值。而視覺監視系統中的運動目標跟蹤又有其自身的特點，最大的不同是：傳統的視覺系統都是二維系統，目標的空間位置只能在攝影機的二維平面（圖像平面坐標系）中得到反應，導致目標的世界坐標系（地平面坐標系）和圖像平面坐標系存在差異。而下一代智能視覺監視系統是由協同工作的多攝像機所組成的，其最基本的特征是多攝像機的協同[1]，其工作原理是：一臺攝像機捕獲目標并實施跟蹤，與此同時，將該目標的位置信息通知監視系統中的其他攝像機參與針對該目標的跟蹤、識別、行為分析等[2-3]。

2 相關工作分析

現有的視覺運動目標跟蹤的核心思想可以簡單描述為：檢測運動目標在圖像平面坐標系中的位置（如圖1），通過圖像平面坐標系和世界坐標系的關系估計運動目標在世界坐標系中的位置，通過預測的方法估計運動目標的軌跡。具體步驟為：

1）檢測運動目標，這一步驟一般采用幀差法、背景減法、光流場法和模板匹配等，其目的是檢測出運動目標在圖像平面坐標系中的位置[1，4]。

2）根據攝影幾何原理、攝像機坐標系、地平面坐標系（世界坐標系R）和圖像平面坐標系之間的關系，如圖1所示，將運動目標從二維空間向三維空間進行映射，其目的是得到運動目標的真實三維坐標[1，4-6]。

3）跟蹤、預測運動目標在世界坐標系中的運動軌跡[1-4]，然后調整攝像機傳動部件（云臺），使運動目標處于攝像機的中心附近[5-6]。

上述方法存在以下3個問題較難解決：

1）在步驟2）中，運動目標從二維平面向三維空間的映射存在一定困難，且計算量較大，如果在這過程中運動目標的三維坐標出現計算偏差將會影響系統跟蹤精度。

2）在步驟3）中，假設已經得到運動目標的精確軌跡，那么需要調整攝像機的傳動部件，使運動目標處于攝像機的中心附近，但攝像機傳動部件的響應時間（主要表現為轉動速度）存在離散性，不同廠家的產品其轉動速度存在極大的差異，這就要求基于這種方案的智能系統需要預先知道傳動部件的響應時間，也就是該算法是依賴與攝像機傳動部件的響應時間的，這樣就影響了該智能算法的應用推廣。

3）在步驟3）中，調整攝像機位置的過程中需要根據目標與攝像機的相對位置計算攝像機的轉動角，當目標距離攝像機較遠時轉動角較小，反之較大。但是攝像機和目標之間的測量距離直接依賴于二維平面和三維空間的映射的精度。

問題1）和問題3）實質在于二維平面到三維空間映射帶來的困難，即這種映射本身就存在解的多樣性，這就要求建立一種不依賴于該映射方法的新方法。另一方面，針對問題2），需要設計一種自適應算法，以降低算法對傳動部件響應時間的依賴性，進而提高算法的普適性。為解決以上問題，筆者提出一種基于指令預測的運動目標跟蹤的思想方法。

3 基于Kalman指令預測的自適應跟蹤系統

3.1 算法思想

文算法的核心思想是：在跟蹤的過程中不去直接預測目標在下一時刻出現的位置（x′，y′，z′），而是去預測攝像機在下一時刻可能的最佳狀態（r，θ，φ），其中r為攝像機捕獲目標的最佳焦距，φ為水平轉角，θ為垂直仰角，如圖2所示。

其中P點為運動目標，顯然攝像機的狀態和運動目標位置是一一映射的，并遵循以下映射關系

圖2 攝像機狀態示意圖

將所有攝像機狀態構成的空間記為攝像機的狀態空間Θ，顯然有以下性質：

1）攝像機的任意狀態都滿足：（r，θ，φ）∈Θ，根據式（1），運動目標的P總可以映射到狀態空間Θ。

2）設Ω是世界坐標系R中的一條軌跡，Ω可以映射到狀態空間Θ，記為Ψ。

3）如果Ω在世界空間R是連續的，那么Ψ在狀態空間Θ也是連續的。

以預測狀態曲線Ψ來代替預測世界坐標系中軌跡Ω，可以通過向攝像機的傳動部件發出相應的指令，讓其處于這個預測的狀態，并且可以避免步驟2）中的坐標系轉換步驟，可以極大地降低算法的復雜度。

常用預測方法有兩點外推法、Kalman預測、擴展Kalman預測及粒子濾波器預測方法等。在測量噪聲和運動噪聲都滿足高斯分布且狀態更新表達式是線性的情況下，Kalman濾波是一種最優的運動預測算法。它在導彈、飛機等機動目標的測量、控制等領域的應用已經超過30年，近年來被應用于視覺圖像中運動目標的跟蹤[6-11]。運動目標跟蹤是一個典型的離散控制過程的系統，該系統可用線性隨機微分方程來描述，即

再加上系統的測量值

式（2）、式（3）中，X（k）是 k 時刻的攝像機狀態向量，即

其中攝像機的焦距r，水平轉角φ，垂直仰角θ，U（k）是k時刻對攝像機的控制量，即

A和B是系統參數，對于本模型取單位陣。Z（k）是k時刻的測量值，H是測量系統的參數，取單位陣。W（k）和V（k）分別表示過程和測量的噪聲，被假設成高斯白噪聲，它們的協方差矩陣分別是Q，R。

Kalman預測的迭代過程如下：

1）首先利用系統的過程模型來預測下一狀態的系統。假設現在的系統狀態是k，根據系統的模型，可以基于系統的上一狀態而預測出現在狀態

式中：X（k|k-1）是利用上一狀態預測的結果，X（k-1|k-1）是上一狀態最優的結果，U（k）為現在狀態的控制量。

2）更新控制系統的協方差矩陣P

式中：P（k|k-1）是 X（k|k-1）對應的協方差矩陣，P（k-1|k-1）是 X（k-1|k-1）對應的協方差矩陣。

3）估算值 X（k|k）

其中，Kg為卡爾曼增益，表示為

4）更新k狀態下X（k|k）的協方差矩陣

式中：I為單位陣。

當系統進入 k+1 狀態時，P（k|k）就是式（5）的 P（k-1|k-1）。這樣，算法就可以自回歸的運算下去。可以根據預測得到 X（k|k），求得 U（k）=X（k|k）-X（k-1|k-1），由于 U（k）=[Δr Δθ Δφ]-1，就可以根據 U（k）形成控制指令，使當前攝像機的狀態向最優狀態逼近。

由式（1）可以發現，目標的空間坐標和攝像機的狀態是一一對應的，這就解決了運動目標跟蹤和三維重構問題。

對于初值的選取問題，由于Kalman預測有自回歸特性，一般X（0|0）取初始時刻攝像機的狀態。對于P，一般不要取[0]，因為這樣可能會令卡爾曼預測完全相信給定的X（0|0）是系統最優的，從而使算法不能收斂，為了方便計算，P（0|0）取任意對角陣。

3.2 實驗結果及分析

本文實驗平臺是一個基于H.264壓縮標準的網絡攝像機，該網絡攝像機可以工作在多種模式下，實驗采用的分辨力為 352×288、幀率為 20 幀/秒（f/s）的模式，網絡攝像機可以通過一個RS-485串口控制云臺，云臺采用的是PELCO控制協議。網絡攝像機需要完成運動目標提取，預測云臺指令，發出云臺控制指令，從而控制云臺的狀態，即實現了運動目標的跟蹤。

在實際跟蹤過程中，由于調整攝像機焦距會顯著的影響目標在攝像機平面的位置，實驗中，目標在攝像機中心位置附近時才調整焦距。實驗結果如圖3所示（從左到右，從上到下，按時間先后順序排列，每幀圖像相差1 s）。

從圖3可以看出，隨著時間的推移，攝像機能夠很好地調整自身狀態，使其狀態逐漸逼近理想狀態，實驗證明了采用本文方法對運動目標的跟蹤是有效的。筆者對本文方法捕獲目標的速度做了統計，實驗結果如圖4所示。

4 多攝像機協同跟蹤

理論分析和實驗結果均表明，本文方法能夠有效地對運動目標實施跟蹤，而且能夠得到該目標在攝像機狀態空間Θ的軌跡Ψ，為多攝像機協同跟蹤中目標的位置信息交互提供了一種便捷的方法。

一般地，同一個目標在不同攝像機的狀態空間中具有不同坐標，這就需要將各攝像機的狀態空間Θ1，Θ2，…，Θn等建立起關聯，一種最簡單的辦法就是在系統部署的時候對系統進行訓練，方式如下：

圖3 跟蹤實驗結果

1）安排一個典型目標進入多攝像機場景，讓所有攝像機記錄目標在其狀態空間參數（r1，θ1，φ1），（r2，θ2，φ2）， …，（rn，θn，φn），建立該點在各攝像機的關聯關系表；

2）重復步驟1），使得盡可能多的特征位置出現目標；

3）訓練完成，各個攝像機進入正常工作模式。

在正常工作模式中，一旦A攝像機捕獲目標，就將該目標在狀態空間ΘA中的坐標廣播到系統中去，系統中的B攝像機接到該消息后查找和A攝像機的關聯關系表就可以判斷是否需要協同跟蹤，而且初始坐標也可以根據關聯關系表估計得到。

5 結論

筆者提出了一種基于指令預測的運動目標跟蹤方法，在攝像機的狀態空間中求解運動目標的軌跡，解決了傳統算法難以解決的坐標系映射問題，通過直接對指令的預測可以很好地適應系統的響應時間。理論分析和實驗結果表明，在攝像機的狀態空間中對運動目標的跟蹤是一種可行的方法，具有一定的實用價值。

[1]COLLINS R T，LIPTON A J.Introduction to the special section on video surveillance[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2000， 22（8）:745-746.

[2]王素玉，沈蘭蓀.智能視覺監控技術研究進展[J].中國圖象圖形學報， 2007，12（9）:1505-1514.

[3]QU Wei，SCHONFELD D.Real-time decentralized articulated mo tion analysis and object tracking from videos[J].IEEE Trans.Image Processing， 2007，16（8）:2129-2138.

[4]HU Weiming， XIAO Xuejuan， TAN Tieniu.Traffic accident prediction using vehicle tracking and trajectory analysis[J].Intelligent Transportation System，2003，11:220-225.

[5]STAUFFER C，GRIMSON W E L.Learning patterns of activity using real-time tracking[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2000， 22（8）:747-757.

[6]VEERARAGHAVAN H，MASSOUD O，PAPANIKOLOPOULOS N P.Computer vision algorithms for intersection monitoring[J].Trans.Intelligent Transportation Systems， 2003， 4（2）:78-89.

[7]MEDEIROS H，PARK J， KAK A.Distributed object tracking using a cluster-based Kalman filter in wireless camera networks[J].IEEE Journal of Selected Topics in Signal Processing， 2008，2（4）:448-463.

[8]強勇，焦李成，保錚.動態規劃算法進行弱目標檢測的機理研究[J].電子與信息學報， 2003（6）:721-727.

[9]牛軼峰，沈林成.基于變形模板的多目標識別與定位[J].電子與信息學報， 2006（6）:1026-1030.

[10]KIRUBARAJAN T，BAR-SHALOM Y.Probabilistic data association techniques for target tracking in clutter[J].Proceedings of the IEEE，2004， 92（3）:536-557.

[11]LUO Ruijiang， LI Liyuan,HUANG Weimin， et al.Multi-strategy object tracking in complex situation for video surveillance[J].IEEE International Symposium on Circuits and Systems， 2008（5）:2749-2752.