一種改進的運動目標跟蹤方法

魯永杰，王思明

（蘭州交通大學自動化與電氣工程學院，甘肅 蘭州 730070）

一種改進的運動目標跟蹤方法

魯永杰，王思明

（蘭州交通大學自動化與電氣工程學院，甘肅 蘭州 730070）

為解決障礙物在三維目標跟蹤中產生的遮擋問題，使用基于光流法和立體視覺的目標跟蹤系統，同時結合自適應濾波方法來預測跟蹤目標三維速度的期望值。采用模糊控制系統解決不同速度的耦合問題，通過計算跟蹤算法與預測算法的速度差值來判斷運動目標是否受到遮擋。實驗結果表明：在確保91.2%識別率的前提下，該算法識別運動目標平均每幀耗時15ms。該跟蹤算法具有較好的魯棒性和實時性。

目標跟蹤；光流法；立體視覺；自適應濾波；遮擋；模糊控制

0 引 言

目標跟蹤是通過視頻圖像序列來處理運動目標的相關問題。目標跟蹤技術廣泛應用于交通監控、三維重構、人機交互和軍事制導等領域。

目標跟蹤的效果往往受到實際環境中物體遮擋的影響，這會增加正確跟蹤目標的復雜性和挑戰性。國內外學者提出了許多方法來解決這些問題，大體上可以分為4類，分別是基于區域的跟蹤、基于特征的跟蹤、基于變形模板的跟蹤和基于模型的跟蹤[1-2]。其中，基于特征的跟蹤方法在運動目標被遮擋，但只要還有一部分特征可以看到時，仍能實現運動目標的跟蹤。光流法是基于特征跟蹤方法的典型代表[3-4]。

近年來，大量的研究以光流法為基礎，同時結合相關的算法來提高運動目標的跟蹤準確度和跟蹤穩定性[5-7]。文獻[5-7]所述方法在一般場合下具有較好的跟蹤效果，但是在遮擋條件下，對運動目標的跟蹤存在一定的困難，甚至會出現跟蹤失敗的現象。

本文在光流法和立體視覺的基礎上，結合自適應濾波的方法來預測運動目標的期望速度，提出一種改進型的目標跟蹤方法。解決遮擋問題的關鍵在于光流法和預測算法的耦合，本文采用模糊控制的思想來解決該問題。

1 運動目標速度預測

為實現對運動目標的跟蹤，需要對運動目標的速度進行預測。基于選取的代表運動目標的的標志點，在左右圖像序列中使用光流法和自適應濾波算法得到相應的速度值。

1.1 光流法

1.1.1 傳統光流法

在一般情況下，光流是由場景中目標的運動、相機的運動或者兩者產生的相對運動引起的。光流法大體可分為3類，包括基于匹配的方法、基于頻域的方法以及基于梯度的方法。其中，基于梯度的方法應用最為普遍。

假設圖像上的點m=（x，y）T在t時刻的灰度值為I（x，y，t），經過dt時間間隔，運動到新的位置，其灰度值為I（x+dx，y+dy，t+dt）。當dt→0時，可認為前后兩點的灰度值相同，即：

如果圖像的灰度值隨著x，y，t的變化較為緩慢，式（1）左邊按照泰勒級數展開，同時忽略二階無窮小項，可得：

式（3）稱為光流場的基本方程，其向量式為

式中：▽I=（Ix，Iy）——圖像在點m處的梯度；

νm=（u，ν）——點m的光流。

1.1.2 Lucas-Kanade（LK）方法

LK光流法是基于局部約束的方法。假定以點m為中心的小區域里各個點的光流相同，并且給這個區域內的不同點賦予不同的權值，那么光流的計算就轉換為求使下式最小化的條件：

式中：Ω——以點m為中心的一個小區域；

W（x，y）——各點的權重值。

式（5）的解可由下面的方程求解得到：

假設Ω區域內有n個mi點，那么可得到：

通過求解方程（6），最終得到的解如下式所示：

在采集到的視頻圖像序列中，通過式（10）在左右序列中可計算得到相應的運動目標速度

1.2 自適應濾波

對于運動目標跟蹤，雖然光流法具有較好的效果，但是在背景復雜以及遮擋的條件下還存在一定的問題。因此，本文采用自適應濾波對運動目標的速度進行預測，同光流法結合，實現對運動目標的跟蹤。

自適應濾波器主要包括非線性自適應濾波器和線性自適應濾波器兩類，本文采用線性自適應濾波器，其原理圖如圖1所示。

圖1 自適應濾波器原理圖

圖中，x（n）為輸入信號，ν（n）為干擾信號，d（n）為期望輸出，e（n）為誤差信號。t時刻的輸入信號可表示為

式中L為自適應濾波器的長度。

同時可以得到自適應濾波器估計誤差的加權平方和J（n）：

式中λ為遺忘因子，且0＜λ≤1。

通過自適應濾波算法，在左右視頻序列圖像中可計算得到相應的速度

1.3 運動目標速度預測流程

1）采用Lucas-Kanade光流算法來計算每一圖像序列中每一幀運動目標的速度，并用其對濾波系數進行初始化。

2）對于第N幀圖像，采用下面方法來計算速度νLN和νRN：

3）使用計算得到的νL，RN以及前一時刻的采樣值對濾波系數進行更新。

通過證明可得到最優公差值為

式中k為變量，且對本文所述跟蹤方法的正確運行起著至關重要的作用。

2 模糊控制器

對于本文算法，公差值是其正確運行的關鍵因素。一方面，在不存在遮擋時，光流法與自適應濾波法分別得到的速度值相差不大，其差值較小，如果tol的值較小，甚至小于差值，那么就會造成誤判斷，認為存在遮擋；另一方面，在跟蹤過程中存在遮擋時，光流法與自適應濾波法分別得到的速度值相差較大，其差值較大，如果tol的值較大，甚至大于差值，就會誤判斷為不存在遮擋。出于上述原因，參數k的選取至關重要。k值過大或者過小都會對運動目標的跟蹤產生影響。如實際的速度差值較小，但是由于選取了較大的k值，會使系統誤認為存在遮擋，造成誤跟蹤。因此，本文采用模糊系統對變值k的選取進行控制，而不是采用先驗值k。

模糊控制系統是基于模糊邏輯的控制系統。模糊控制為陳述、操縱和執行人類的啟發式知識以及如何控制一個系統提供了正式的方法論。模糊控制器框圖如圖2所示，可以看到模糊控制器嵌套在一個閉環控制系統中。

圖2 模糊控制器框圖

此系統有兩個輸入量Δε和qV，一個輸出變量k。變量Δε是增量誤差（EI）。如果將誤差ε作為由光流法計算得到的速度與自適應濾波預測得到的速度之差的絕對值，那么可以得到：

變量qV是一個二值變量。這表明，要么使用在前一幀由光流法計算得到的速度（qV=1），要么使用由自適應濾波預測得到的速度（qV=0）。

輸入量Δε模糊化的成員函數集如圖3所示。Δε的模糊值可以是NB（negative big，負無窮大），M（medium，中值）或者PB（positive big，正無窮大）。NB值對應的是在光流法計算中較大誤差引起的障礙物邊緣的最終峰值，PB值對應于初始峰值，而M值對應其他情況。

圖3 輸入量Δε成員函數

在此系統中，當序列圖像中不存在遮擋（EI=M，qV=1）以及運動目標在遮擋中（EI=M，qV=0）時，為了選擇出由光流法計算得到的速度，變量k的值要較大（H）。在其余各種情況下，為了選擇出由自適應濾波預測得到的速度，變量k的值應較小（L）。

在這種情況下，系統的模糊值如表1所示。

表1 系統模糊值

推理機構利用上述條件計算全局輸出量μout（k），輸出量k的成員函數如圖4所示。在這種情況下，輸出變量k的值介于0.5～1之間。

最后，利用中心求和方法，去模糊控制器可以從全局輸出μout（k）中計算得到變量k的真值，從而獲得最優的公差值tol。

3 三維跟蹤系統

三維跟蹤系統的整體結構如圖5所示。

在運動目標速度預測流程中，左、右序列中均采用光流法與自適應濾波進行運動目標速度的計算與預測。然后通過光流法跟蹤結果與濾波預測結果之間的差別來判斷運動目標是否受到遮擋。由光流法計算得到的速度和自適應濾波器預測得到的速度作為兩個完全相同的模糊控制器的輸入量，模糊控制器根據是否存在遮擋來選擇相應的速度。為實現下一幀圖像中運動目標的預測，這些選擇出來的速度值將作為自適應濾波器的輸入量，同時自適應濾波器對其系數進行更新。一旦在左右序列中都跟蹤到了目標，使用三角測量原理可以得到目標的三維速度。

圖4 輸出量k成員函數

圖5 三維跟蹤系統結構

4 實驗結果及分析

為了驗證本文方法的有效性，使用實際采集的數據進行試驗。采用二階濾波器，遺忘因子λ=0.99，變量k取0.6。采用實際采集的分辨率為640×480的視頻序列，在Intel Core3 2.40GHz的CPU、2GB內存配置的電腦上，在Windows XP操作系統下用Matlab R2010a進行測試，并對跟蹤結果進行分析。用Nall表示處理的視頻幀數，Nr表示正確跟蹤的視頻幀數，Nw表示誤跟蹤的視頻幀數，Nd表示漏跟蹤的視頻幀數。那么，從表2可以看出，跟蹤準確率為91.2%，誤跟蹤率為6.0%，漏跟蹤率為2.8%。

表2 運動目標跟蹤結果

實驗結果表明，本文算法可在整個視頻序列中實現運動目標的跟蹤。但是，在有些情況下也會出現跟蹤失敗的現象，其原因主要有：1）雨雪等惡劣天氣造成的干擾；2）運動目標前景顏色與背景顏色接近等。因此，跟蹤系統的魯棒性需要進一步提高。

5 結束語

本文提出了一種基于光流法和立體視覺，同時結合自適應濾波算法的運動目標跟蹤方法。它能夠在障礙物遮擋的場合下對目標進行準確的跟蹤。實驗證明，使用模糊控制器將光流法計算得到的速度與自適應濾波器預測得到的速度相結合，可實現目標運動軌跡的準確預測。

此外，本文還研究了參數值對跟蹤系統產生的影響，最終得到一個最優跟蹤系統，從而實現系統中容錯值的準確控制。本文提出的運動目標跟蹤系統具有較高的跟蹤效率與較低的計算復雜度。該算法在跟蹤準確率為91.2%的前提下，每幀圖像平均耗時15ms。

[1]宋偉，納鵬宇，劉寧寧，等.基于雙目視覺系統的運動目標跟蹤算法研究[J].北京交通大學學報，2013，37（6）：13-17.

[2]余靜，游志勝.自動目標識別與跟蹤技術研究綜述[J].計算機應用研究，2005，22（1）：12-15.

[3]吳陽，徐立鴻，李大威，等.一種改進的基于光流法的運動目標跟蹤算法[J].機電一體化，2011，17（12）：18-25.

[4]Parrilla E，Torregrosa J R，Riera J，et al.Fuzzy control for obstacle detection in stereo video sequences[J]. Mathematicaland Computer Modelling，2011，54（7）：1813-1817.

[5]李劍峰，黃增喜，劉怡光.基于光流場估計的自適應Mean-Shift目標跟蹤算法[J].光電子·激光，2012，23（10）：1996-2002.

[6]孫承志，熊田忠，吉順平，等.基于差分的光流法在目標檢測跟蹤中的應用[J].機床與液壓，2010，38（14）：59-62.

[7]許曉航，肖剛，云霄，等.復雜背景及遮擋條件下的運動目標跟蹤[J].光電工程，2013，40（1）：23-30.

An improved moving object tracking method

LU Yongjie，WANG Siming
（School of Automation&Electrical Engineering，Lanzhou Jiaotong University，Lanzhou 730070，China）

An object tracking system based on optical flow and stereo vision is used in order to solve the occlusion effect produced by obstacles in 3D object tracking，combined with adaptive filters to predict the expected 3D velocities of objects.The critical point of the system is the coupling between tracking and predictive algorithms.A fuzzy control system is proposed to solve this coupling problem between the different velocities and judging whether the moving objects are blocked by calculating the speed difference between tracking algorithm and prediction algorithm. Experimental results show this algorithm costs average 15 ms per recognition of one frame with a recognition rate at 91.2%.This tracking algorithm has better robustness and real-time ability.

object tracking；optical flow；stereo vision；adaptive filters；occlusion；fuzzy control

A

：1674-5124（2015）07-0095-04

10.11857/j.issn.1674-5124.2015.07.022

2014-10-29；

：2014-12-25

魯永杰（1989-），男，甘肅蘭州市人，碩士研究生，專業方向為圖像處理。