基于kalman預測和自適應模板的目標相關跟蹤研究

陳少華，閆鈞華，朱智超，孫思佳

（南京航空航天大學 航天學院，江蘇 南京 210016）

目標跟蹤越來越廣泛的應用于軍事和民用領域，例如航空和軍用飛行器的精確制導系統、機載紅外跟蹤報警系統、重要場所的保安、汽車的自動駕駛或者輔助駕駛等。目標跟蹤算法基本可分為：直接利用目標的灰度信息進行模板相關匹配跟蹤；先檢測后跟蹤；基于目標運動估計的跟蹤等。其中基于模板匹配的相關跟蹤算法具有較強的局部抗干擾能力，穩定性能好，能適應較復雜的環境等而被廣泛應用[1-2]。

在圖像背景復雜的條件下，尤其是在連續幀動態圖像跟蹤中，圖像的匹配變得相對困難。此時被跟蹤目標不是一成不變的，可能有尺度的伸縮、位置的平移、角度的旋轉等變化，因此需要研究一種方法對下一幀圖像中目標的狀態進行預測，從而縮小在整個圖像上目標檢測的搜索范圍，以滿足目標跟蹤的實時性。同時跟蹤算法需要采取自適應模板更新策略，對模板進行更新，以提高目標跟蹤的穩定性[3]。

文中首先研究了kalman用于目標預測的方法，在此基礎上研究了一種自適應模板的更新策略及實現方法，用來解決連續幀動態圖像跟蹤中由于目標的形變、大小、位置隨時間變化而引起的目標跟蹤點漂移。實驗結果表明，該方法在連續幀動態圖像跟蹤過程中，能夠對目標進行穩定跟蹤，算法的實時性能較好。

1 基于kalman的目標預測

目標跟蹤的關鍵技術在于能夠從圖像中檢測提取目標，并將其與被跟蹤目標建立對應關系。而在整個圖像上搜索以檢測提取目標是非常耗時的，為了滿足目標跟蹤實時性的要求，應盡量縮小在整個圖像上目標檢測的搜索范圍。為此，文中研究了kalman用于下一幀圖像中目標狀態的預測，從而縮小在整個圖像上目標檢測的搜索范圍。當目標被遮擋時，目標有可能從圖像中暫時消失，此時可利用對目標位置的預測值來代替目標的實際位置，從而實現對目標的持續性跟蹤。

1.1 kalman目標預測器

在跟蹤過程中，由于相關兩幀圖像時間間隔較短，目標的運動狀態變化較小，因此可以假設目標在單位時間間隔內是勻變速運動，則目標的運動趨勢用速度和加速度表示。故得到下列kalman預測方程。

系統的狀態方程：

式中定義kalman預測器的系統狀態為xk，xk是一個六維向量（px，py，vx，vy，ax，ay），分別代表目標軌跡 X 方向的位置、速度和加速度與Y方向上的位置、速度和加速度。由前面的運動假設，可以得到系統的狀態轉移矩陣為：

式中Δt表示連續兩幀圖像間的時間間隔。其中wk-1是均值為零的高斯噪聲序列，其協方差矩陣為：

觀測方程：

在相關跟蹤中，觀測值為目標的中心位置和外在矩形的長寬度，因此觀測向量為 yk=（px，py），觀測矩陣 H 是一個 2×6維的矩陣，如下所示：

vk是零均值的高斯噪聲序列，其協方差矩陣為：

狀態更新方程為：

Kk為kalman預測器的增益矩陣：

1.2 實驗結果

文中利用25 frame/s的avi視頻來對kalman目標預測器進行實驗，視頻圖像的寬、高分別為320、240像素；模板的寬、高分別為34、21像素。實驗得到基于kalman目標預測器的目標預測位置與利用模板匹配的目標位置如圖1所示。

實驗結果表明：利用三參數的kalman目標預測器對目標的位置進行預測，能夠穩定的實現對目標的跟蹤。利用kalman目標預測器對目標進行軌跡預測，可以使目標跟蹤算法在相對較小的區域內搜索目標，文中確定的搜索區域為80×80像素，這樣不僅提高了匹配速度，而且適用于速度較快的運動目標的跟蹤。當目標被完全遮擋時，可以利用kalman目標預測器對目標的運動軌跡進行預測，可以使目標跟蹤算法在特定區域內搜索目標，等待目標的重新出現。

2 自適應模板的目標相關跟蹤

在目標相關跟蹤過程中，模板的更新機制直接影響跟蹤的性能[4]。若模板更新頻率過低，則跟不上目標的變化；若模板更新過于頻繁，又容易受到光照、噪聲和背景的影響，導致跟蹤到假目標。現有的模板更新策略，基本上可分為3大類。第1類，將當前目標圖像的最佳匹配位置處的圖像作為目標模板進行下一幀圖像的匹配。第2類，按照一個固定的權值對當前目標圖像最佳匹配位置處的圖像和舊模板加權來生成新的模板。第3類，根據當前幀的跟蹤質量產生一個權值，對當前目標圖像最佳匹配位置處的圖像和舊模板加權產生新的模板。前兩類的更新策略沒有考慮到跟蹤效果的好壞，若前一幀圖像質量較差，或者前一幀跟蹤質量不佳，勢必影響后續幀的跟蹤，造成跟蹤誤差累積，從而導致跟蹤的失敗，或者跟蹤錯誤。第3類更新策略雖然根據跟蹤效果的好壞進行了加權更新模板，但是這種方法不能根據目標的變化更新模板的大小，因此不能適應目標的大小和姿態變化。由此可見，當目標發生姿態、大小變化或受到遮擋時，如果用上面3類方法更新模板，因為模板不能很好的反映目標的變化，最終會導致跟蹤的失敗或者錯誤。文中提出了一種自適應的模板更新算法，新算法的流程如圖2所示。

圖1 kalman目標預測位置與目標測量位置比較圖Fig.1 Comparison between position of kalman target predict and position of target measured

2.1 相似測度

筆者采用歸一化的相關系數作為相似測度[5]：

其中 0≤R（i，j）≤1。 R（i，j）越大，表示模板與當前子圖匹配程度越高；R（i，j）越小，表示模板與當前子圖匹配程度越低，故選擇整幅圖像中R（i，j）最大的值作為目標的最佳匹配位置即跟蹤位置。這種基于歸一化相關系數的模板匹配目標相關跟蹤算法的缺點是：采用整幅圖像作全局搜索，需要計算相似測度，運算量較大、實時性不好、跟蹤速度很慢。因此本文利用kalman目標預測器對目標進行軌跡預測，使目標跟蹤算法在相對較小的區域內搜索目標，提高匹配速度。

圖2 自適應模板更新算法流程圖Fig.2 Flow diagram of algorithm for adaptive template updating

2.2 模板更新準則

模板與當前子圖匹配程度由相似測度R表示，計算當前幀與當前模板的相似測度R。模板評價函數是計算前一次匹配峰值與當前匹配峰值的差值ΔR。當R＞R1&ΔR＜R3時表示模板與當前子圖匹配成功。

當ΔR落在某一區間內的時候對模板進行更新[6]，即:

的取值規律如相似測度所講，在此們需要匹配程度不能太低，故需要滿足。當時，當前圖像與模板匹配的很好，目標幾乎沒有變化，不必更新模板；當時，當前圖像目標區與模板相比發生了很大變化，可能有物體遮擋目標，或者目標發生了形變，此時需要判斷是否需要更新模板，以免發生錯誤。和一般是通過實驗獲得的經驗值。其中的取值要特別注意：若取值太大，由于變化模板構造對于目標有滯后性，這會使得當目標變形較大時，容易產生累積誤差，造成新模板與目標產生很大的差距；若取值過小，由于場景對目標的滯后性，這會導致模板變換過于頻繁，目標在某一幀產生跳躍時會造成很大誤差。若取值太小，會造成跟蹤算法不能抵擋微小的形變，必須不斷地判定是否發生遮擋、形變，導致目標有滯后性；若太大，則不能有效地檢測目標的形變。

2.3 自適應模板更新算法流程

自適應模板更新算法流程如圖2所示。

1）基于kalman目標預測器對目標進行軌跡預測。

2）計算當前幀與當前模板的相似測度R及評價函數ΔR。根據相似測度R及評價函數ΔR的值判定其是否滿足匹配成功的條件，若滿足R＞R1&ΔR＜R3則進一步判定是否需要更新模板。若滿足ΔR＜R2則使用基于目標模板緩沖區的模板更新方法；若滿足ΔR＜R2，則說明當前模板與圖像匹配的非常好，無需更新。這樣能保證模板是最好的以及最新的。

3）若不滿足匹配成功的條件，則進一步判定匹配失敗的原因。匹配失敗可能由于目標被遮擋及目標發生形變而造成的，這需要進一步的判定。此時提取當前位置上的目標，對當前目標的外接矩形的寬度和長度進行計算，與模板中提取出的原有目標值進行比較。 如果 Δheight＞0.4×Height，Δwidth＞0.4×Width，其中Height、Width分別是原來目標中的高度和寬度，Δheight，ΔWidth是當前目標與原來目標的長度和寬度的差值。由于兩幀之間的目標形變不可能太大，所以當尺寸變化太大時，是由于目標被遮擋造成的，此時將kalman預測的位置作為目標的最佳匹配位置，進入下一幀循環。如果Δheight＞0.4×Height，Δwidth＞0.4×Width，這說明匹配的不好是由于目標形變和放縮造成的，此時在最佳位置上使用雙線性插值，使得目標與當前模板中目標一樣大小，再次進行匹配。此時如果相關值R較大，則說明剛剛的判斷是準確的，以當前最佳位置上提取的目標作為新模板。本實驗中R取0.9。

2.4 基于目標模板緩沖區的模板更新

目標模板緩沖區是在內存中開辟的緩沖區，用于存放最近幾幀中跟蹤較好的目標模板。將新目標模板取代目標模板緩沖區中最舊的目標模板，并保存相應的相關系數，然后選出目標緩沖區中相關系數值最大的目標模板作為下一幀跟蹤的目標模板。如此，既保證了目標模板是最好的，又保證了目標模板是新的。模板更新公式[7]如下：

其中Ti為新模板，即在該幀存入模板緩沖區的模板，Told為舊模板，即從模板緩沖區內（設定為過去的N（本文取5）幅）比較優秀的模板中選出對應的相關系數最好的一個做為當前幀的舊模板，Tcur為當前幀跟蹤位置上分割所得的新模板。Ci為加權的權值，如果采用相關跟蹤匹配時，Ci便是相關系數，用來存放N個與N幀模板相對的相關系數R的區域。

實驗表明，采用這種目標模板更新，不僅有效地抑制了跟蹤誤差的累積和跟蹤目標的漂移，而且即使跟蹤過程中有些幀跟蹤得不好，下一幀往往又能回到正確的跟蹤位置。

2.5 目標提取

在模板更新時，需要對圖像進行重新切割并重新提取模板邊界[8]，在分割模板擴展區域時（文中取比模板圖像的長寬各增大40%的區域），采用sobel進行目標檢測。由于模板擴展區域最豐富的就是目標的邊緣信息，同時少了模板外背景信息的干擾，使得采用此算法可以得到較好的分割效果。它的基本原理是：

2）根據邊緣強度進行像素灰度值加權平均計算出圖像的分割閾值，通過投影法確定目標區域。

3 實驗結果及討論

文中仿真實驗源程序在VC++6.0環境下開發，操作系統為Windows XP。視頻是29 frame/s，像素avi視頻。針對目標尺寸發生變化的情況，分別采用3種不同算法即：基于歸一化相關的固定模板跟蹤算法、基于歸一化相關的逐幀更新模板跟蹤算法和文中所提出的算法（其中R1=0.8，R2=0.03，R3=0.08），對目標進行跟蹤實驗，實驗結果如圖3、圖4、圖5所示：

圖3 固定模板跟蹤算法結果Fig.3 Results of fixed template tracking

圖4 逐幀模板更新跟蹤算法結果Fig.4 Results of template update per frame

圖5 文中所提出的跟蹤算法結果Fig.5 Results of tracking algorithm proposed

由圖3可以看出，固定模板跟蹤算法對于目標尺度變化的適應性較差，算法在233幀時就開始出現偏移，在261幀時偏移已比較嚴重，在279幀時已出現跟蹤不穩定及錯跟的現象。圖4，逐幀模板更新的跟蹤算法，由于誤差及目標的變化，導致更新的模板只能反映圖像的一部分變化，在228幀的時候就出現了漂移，雖然后面仍能跟蹤目標，但漂移程度越來越嚴重。圖5是采用本文所提出的跟蹤算法得到的結果，算法在71、268等多幀處滿足跟蹤成功和模板更新的條件即滿足，進行了模板更新，使得該算法的模板能有效地克服微小的形變。算法在12、183、220等幀的時候符合目標尺寸改變的條件，進行了目標模板尺寸的改變。由于自適應模板更新過程中引入了目標區域重新分割的過程，使得該算法在目標尺寸發生大的改變時仍能準確的跟蹤目標。

4 結束語

為了提高目標跟蹤的穩定性和實時性，本文提出了一種適用于復雜背景條件下連續幀動態圖像的相關跟蹤算法。主要研究了kalman目標預測的方法以及自適應模板的更新策略及實現方法。在模板自適應更新過程中引入目標區域重新分割，使系統能準確判定導致匹配失敗的原因，并自適應修正模板尺寸。仿真實驗結果表明，算法能夠隨著目標的形狀、大小、位置的變化快速調整參考模板，進行穩定跟蹤。同時由于kalman預測的引入，提高了目標跟蹤的實時性。

[1]黨曉軍，尹俊文.一種基于模板匹配的運動目標跟蹤方法[J].計算機工程與應用，2010，46（5）:173-176.

DANG Xiao-jun，YIN Jun-wen.Templatematchingbased moving object tracking method[J].Computer Engineering and Applications，2010，46（5）:173-176.

[2]楊勇智，文遠保.一種改進的快速相關跟蹤算法[J].計算機應用，2005，25（12）:2843-2848.

YANG Yong-zhi，WEN Yuan-bao.Improved fast correlation tracking algorithm[J].Computer Applications，2005，25（12）:2843-2848.

[3]靳鵬飛.基于自適應模板相關跟蹤算法的研究[J].西安郵電學院學報，2007，12（1）:44-47.

JIN Peng-fei.Study on correlation tracking algorithm based on adaptive reference template[J].Journal of Xi’an University of Post and Telecommunications，2007，12（1）:44-47.

[4]Matthews L，Ishikawa T，Baker S.The template update problem[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（6）:810-815.

[5]朱永松，國澄明.基于相關系數的相關跟蹤算法研究[J].中國圖像圖形學報，2004，9（8）:963-967.

ZHU Yong-song，GUO Cheng-ming.Research of correlation tracking algorithm based on correlation coefficient[J].Journal of Image and Graphics，2004，9（8）:963-967.

[6]WU Pian-pian，WANG Jing-ling，ZHANG Qin.Covariance tracking algorithm based on paricle filter and adaptive template update[J].Proc.IEEE Conf.on Education Technology and Computer（ICETC），2010，3（7）:199-202.

[7]PAN Zhou-jin，WANG Xiu-juan.Correlation tracking algorithm based on adaptive template update[J].Proc.IEEE Conf.on Image and Signal Processing，2010:98-101.

[8]Ostu N.A threshold selection method from gray level histogram[J].IEEE Transactions on Systems Man and Cybernetics，1979，9（1）:62-66.