運動目標跟蹤方法綜述*

王明波

(92493部隊98分隊 葫蘆島 125000)

?

運動目標跟蹤方法綜述*

王明波

(92493部隊98分隊 葫蘆島 125000)

綜述了當前普遍使用的運動目標跟蹤算法的思想和它們的適用范圍、優缺點；通過對各種方法的多方面比較，提出了改進思想，總結了目標跟蹤的選擇方法。對于不同的目標和場合, 選擇上述不同的方法來實現目標跟蹤,具有較高的跟蹤精度和較好的實時性。最后探討了目標跟蹤方法中有待進一步研究的問題。

動目標跟蹤; 分析; 匹配

Class Number TN911

1 引言

目標跟蹤是指計算機或其他儀器設備依據某種算法實現對目標的跟蹤與定位, 并根據目標的位置和動向采取相應措施。在現代戰爭中，對于飛機、艦船、導彈等軍事目標，如果能實時地加以識別跟蹤，對掌握戰場主動權和正確打擊目標、顯著地提高未來指揮作戰系統的性能，具有重要意義，是當代軍事領域研究熱點。

文中將動態目標跟蹤方法分為基于運動分析的方法和基于圖像匹配的方法，并對各類方法具體分類。通過對各種傳統方法及最新方法的介紹，總結了不同方法的基本屬性，分析了各自的優缺點及相應的改進措施。在此基礎上，討論了某些具體問題的優化技術，指出了目標跟蹤算法的發展方向。

2 基于運動分析的方法

基于運動分析[1]的方法概括地說，是利用時變圖像強度的時空變化來確定運動物體的空間位置，即通過檢測序列視頻圖像視場中目標和背景的不同運動速度來發現目標存在的區域，從而實現跟蹤。運動目標檢測的方法可以分為幀間差分方法、光流分割法和頻率域方法三種。

2.1 幀間差分方法

圖像運動意味著圖像變化。運動估計算法[7]中的一個基本依據是圖像強度的變化，可以用圖像序列中相鄰時間的一對圖像的差來表示強度的相對變化，圖像差運算定義為

fd(X,t1,t2)=f(X,t2)-f(X,t1)

(1)

式中fd是差分圖像。上式運算只涉及對應像素強度的相減運算，因此這種算法是相當簡單的，并且

適合于并行實現。圖像差分在某種程度上反映了景物的較高層次性質或蘊含在圖像平面上傳感器運動的變化。如果景物中存在幾個相互獨立的運動物體，差分圖像就是這些運動效應的組合。

當攝像機位置固定時，只要對相鄰幀的圖像直接作差分運算，就可以檢測出視場中的差異部分，發現運動目標的存在區域，解決目標跟蹤問題。還可以對差分后的圖像取閾值并累加來提取目標的運動軌跡。如果目標的速度不變化，在累加的圖像中，目標的運動軌跡會形成一條直線，可以通過Hough變換來檢測這條直線，從而找到目標。

對相鄰幀圖像直接做差分的方法只適合攝像機不動的情況。如果攝像機自身也處于運動狀態，則由于目標和背景同時處于運動中，而不能通過簡單的檢測視場中的差異部分來提取目標，要通過對背景的運動進行補償后，才能將目標的運動從背景的運動中區分出來。還可以通過貝葉斯方法計算光流來找到大面積背景的運動，將兩幀圖像根據這個運動重新對齊，使背景重合，再用圖像相減的方法檢測出相對背景運動目標。

2.2 光流分割法

光流是空間運動物體的被觀測表面上的像素點運動的瞬時速度場，是指圖像灰度模式的表面運動。基于光流估計的方法都是基于以下假設：圖像灰度分布的變化完全是由于目標或背景的運動引起的，也就是說，目標和背景的灰度不隨時間變化。

通過光流分割法檢測目標時，要根據不同的情況區別對待。如攝像機運動而目標靜止；攝像機靜止而目標運動；或者兩者都處于運動中。如果背景不動，可以檢測光流圖像中的最大值來提取目標，如果背景運動，需要利用先驗知識，根據光流的變化來區分目標與背景。光流法可以描述多種目標運動情況，在動態視頻中，目標的運動通常可以用以下四種運動的某種組合來描述：在與攝像機距離固定的平面內的平移；在攝像機景深方向的移動；在與攝像機距離固定的平面內沿視軸的旋轉；垂直于視軸的平面物體的旋轉。這些運動方式產生的運動向量也各有特點：在一定距離平面內的平移表現為平行的運動向量；在景深方向的移動形成的速度向量都經過一點，這個點叫做匯集點；在固定距離內的旋轉形成一組具有公共圓心的運動向量；垂直于視軸的平面物體的旋轉形成一組或幾組以直線為起點的向量。基于以上結論，通過對光流的簡單處理就可以識別這些基本的運動，例如，對平移運動來說，如果平移不是處于固定的景深內，則光流向量不平行，而是指向匯集點；如果平移在固定的景深內，則匯集點在無窮遠處。如果圖像中存在多個移動目標，每個目標都有自己的匯集點。

2.3 頻率域方法

將視頻圖像序列變換到頻率域，然后根據變換系數的幅值或相位來檢測目標的運動。Fourier變換是常用的頻率分析方法[1]。其中，利用變換系數幅值的方法，是根據在空間域的卷積等于在頻率域相乘這個Fourier變換性質，將圖像中的模板相關轉換到頻率域實現，以增加運算效率。利用變換系數相位的方法根據空間域的平移對應于頻率域內的相移這個Fourier變換性質來檢測目標的運動。從傅氏變換可以知道，空域中的位移表現為頻域中的相位差。通過計算頻域中的相位差就可以反過來求出空域中的位移，這就是基于頻域的跟蹤方法[1]的理論基礎。一般使用傅氏變換和帶通濾波器等做變換。小波[1]也是一種非常重要的信號分析工具，可以用來進行運動分析。小波變換作為時頻分析的方法，也可以對圖像序列中的運動進行分析，與Fourier變換相比，因為增加了空間域內的定位信息，更有利于運動目標的檢測。但是目前小波對于運動分析來講還并不十分有效，因為輸入信號的一個小的擾動，就會引起小波系數非常大的變化。

3 基于匹配技術的方法

基于圖像匹配的方法可以識別待定目標及確定運動目標的相對位置，正確截獲概率和定位精度是圖像匹配的主要性能指標。基于匹配的原理，該方法可分為基于區域的模板匹配跟蹤方法和基于特征的匹配跟蹤方法。

3.1 基于區域的模板匹配跟蹤方法

圖像空間的匹配可以在圖像的整個區域上進行，也可以在很小的圖像子區域(窗口)上進行。可以使用的匹配準則包括，最大互相關函數、最小均方差函數、最小平均絕對差值函數、最大匹配像素統計等。不同的匹配準則的數學含義不同，計算代價也不同，但是總的來說運算量都很大。通過并行處理或多分辨率匹配可以加快匹配速度。

歸一化相關或模板匹配[3,9]的方法是一種常用的匹配的方法。目前電視跟蹤的相關跟蹤方式就是在圖像子空間利用模板匹配方法進行像素灰度匹配。這種方法在每幀圖像中，根據匹配準則，在所有可能的位置搜索與圖像模板最一致的區域。在像素(m,n)處的歸一化相關系數可以表示為

(2)

(3)

(4)

(5)

其中的分子為模板與圖像的相關系數，分母中C1(m,n),C2(m,n)分別為模板的自相關系數和匹配處圖像的自相關系數，對相關系數進行歸一化處理。模板的自相關系數與位置(m,n)無關。在當前圖像的搜索區域內，使歸一化相關系數最大的那個位置既是當前圖像中的目標位置。

二維最小絕對差累加和算法(MAD)[5]是一種應用于工程系統較為普遍的相關跟蹤算法，它與上述基于歸一化互相關的模板相關跟蹤算法相似，該相關匹配算法采用二維最小絕對差累加和作為子圖和目標模板相似度的度量。如：

(6)

在圖像匹配跟蹤過程中，參考模板圖像在當前幀搜索區內滑動與實時子區圖像作相關運算，尋找最佳匹配點，當使D(i,j)取得最小值Dmin時的D(i,j)即為所求的最佳匹配點。由于MAD算法直接采用圖像各像素點的灰度值作絕對差累加和運算，雖然計算量比歸一化互相關運算要少，但需要計算的點數也很多，而且MAD算法對圖像灰度變化較敏感，在圖像低對比度區域及對比度變化情況下，目標跟蹤性能將下降，甚至丟失目標。

3.2 基于特征的匹配跟蹤方法

在基于圖像特征的匹配方法中，運動目標跟蹤是在視頻圖像序列中找到與目標特征相匹配的特征點來實現的。如果圖像被選中的部分f(i,j)和g(i,j)樣板都用特征向量來表示：

Y=(y1,y2,…,yk)X=(x1,x2,…,xk)

(7)

則X和Y的向量差可用差向量的范數來表示：

(8)

則向量差最小的即為尋找的特征向量，從而使得計算量大為減少。基于特征的匹配跟蹤算法的跟蹤效果與特征有關，可以采取的特征最好具有平移不變性、旋轉不變性和尺度不變性等。

4 各類方法優缺點比較及改進措施

4.1 基于運動分析的方法

光流的計算有全局優化和局部優化兩種。局部優化的光流計算方法能夠反映出運動邊緣處的運動信息，但是對于圖像中的弱紋理區域不敏感；全局光流的計算方法能夠得到每個像素點處的光流，但是對于運動邊界處的光流變化不敏感。光流場方法[3]的優點在于不需要目標的先驗知識，計算比較精確。但大多數的光流計算方法相當復雜，且抗噪聲能力差，如果沒有特別的硬件裝置則不能被應用于全幀視頻流的實時處理。光流分割方法不適合目標只有幾個像素的情況，這時光流計算的誤差容易產生虛警。另外，光流法只有當圖像捕獲的間隔很短時才適合。但是，它對照度變化和噪聲較敏感、計算量也比較大。而且由于實際景物中的速度場不一定總是與圖像中的直觀速度場有唯一對應的關系，偏導數的計算又會加重噪聲水平，使得基于光流的方法在實際應用中常常不穩定。

頻域方法相比其它基于空域的方法有很多優點。首先，它對圖像整體的亮度變化不敏感，對噪聲也不敏感。其次，有較高的定位精度，可以達到亞像素級。此外，對匹配區域發生的一些小擾動具有一定的魯棒性。但是，基于傅氏變換的方法只對于均勻背景下的目標運動才有效。雖然可以采用局部窗口變換來盡量避免這個問題，但是該算法的應用仍受到很大限制。

基于運動的方法考慮了整個區域的信息，因此增加了跟蹤的魯棒性[4]。依靠增加時間域的支撐，獲得在低信噪比和復雜背景條件下檢測目標的能力。但是這種方法需要找到整個圖像區域內的逐點對應，通常很費時，而且局限于目標與背景的灰度保持不變這個假設條件下。如果圖像中的目標尺寸較大，有明顯的形狀或紋理等信息，就應該根據圖像自身的特征利用下面介紹的基于匹配技術的方法來檢測和跟蹤目標。

4.2 基于匹配技術的方法

基于區域的圖像模板匹配[2,8]能利用目標圖像中的所有信息，對目標對象的識別能力強、精度高，但對旋轉和縮放(非本質變化)目標圖像的識別能力較差。圖像特征匹配是現在研究的熱點,它具有穩定性好、易于實現、匹配效率高、對圖像的旋轉和縮放不敏感、抗噪性能好等特點，但是計算量大，跟蹤效果與選取的特征直接相關。在基于圖像特征的匹配方法中，運動目標跟蹤是在視頻圖像序列中找到與目標特征相匹配的特征點來實現的。簡單的特征包括點、線段、邊緣、輪廓，復雜的特征可以是它們的組合。

在圖像域內直接利用灰度跟蹤的方法的優點是，直接利用目標的像素灰度組成模板，找到不同幀之間的圖像灰度對應關系，因此不需要提取目標特征和建模等計算，方法相對簡單，但這種方法完全依據于圖像數據，存在以下缺點：

1) 互相關算法的運算量大。

2) 對于尺度、旋轉等圖像變形問題，模板匹配很困難。

3) 目標或背景的亮度、對比度變化會導致模板匹配不穩定。

由于這些缺點的存在，這種歸一化相關或模板匹配方法只限制在目標運動簡單、只有平移運動、視角固定或變化緩慢、背景也相對簡單的情況。另外，當跟蹤圖像中存在雜波、噪聲，目標存在較大的尺度方位變化時，這種跟蹤方法不再可靠，容易產生跟蹤點偏離。如果把模板匹配的方法改為對圖像的變形參數進行優化方法來尋找與模板的最佳匹配，可以解決尺度、方位變化的問題。但是由于圖像是離散的，要用插值方法對變形后的模板進行像素級的模板重建來與圖像匹配，運算量很大。

與直接用灰度模板相關的目標跟蹤方法相比，基于特征匹配進行跟蹤的方法具有如下的優點：

1) 與灰度模板相關方法比較，所處理的數據量大大減少。

2) 抽取特征方法對幾何變形、亮度變化、對比度變化具有魯棒性。

3) 基于特征的方法可以根據精度的需要來選取使用的目標特征數量。

這類方法的特點是，它們對于圖像灰度的整體變化不敏感，但是對于圖像模糊、噪聲等比較敏感；圖像特征的提取效果也依賴于獲取它們的各種算子及其參數設置。圖像的特征看似簡單，但是由于容易受到噪聲影響，在很多環境下并不適用。而且幀間的特征對應關系也較難確定，尤其是當特征數目不一致、存在漏檢或者新增的特征時。所以，一般來講這類算法主要應用于紋理信息比較豐富、結構清晰的大目標。

5 方法的選擇

由于運動場景下的目標跟蹤具有很強的隨機性，任何算法都不是絕對準確的，都不能通用于任何場景，但是跟蹤方法的選擇還是有一定的規律性：

1) 從單目標和多目標來看，匹配法多適用于單目標；而運動分析法多適用于多目標，特別是光流法可以解決目標之間重疊的問題。

2) 從目標的特征來看，如果圖像中的目標尺寸較大，有明顯的形狀或紋理等信息，就應該根據圖像自身的特征于匹配方法來檢測和跟蹤目標，否則，采用基于運動分析的方法。

3) 從跟蹤的精度高低來看，對于會議電視系統的跟蹤來說，一般對跟蹤的精度要求不高，只要能做到實時跟蹤就可以，所以跟蹤算法要求盡量簡單，運算量小，采用簡單的幀差法結合適當的背景補償方法即可。

6 結語

隨著數字信號處理技術的發展，一些新的方法如神經網絡、遺傳算法等也被應用到識別跟蹤技術中。另外數據融合技術也被應用到識別跟蹤技術中，如基于多傳感器的數據融合技術、基于多光譜的數據融合技術。取得了很好的效果，這些算法各有其優缺點，應用分別適用于不同的應用場合。這樣，可以從多個角度、多個側面進行識別定位，其識別定位的效果較單一方法、單一角度的識別定位更為準確有效。

通過研究并分析了幾種典型的目標識別跟蹤方法的基本原理、基本屬性、存在弊端及發展過程，總結了目標跟蹤的選擇方法。對于不同的目標和場合,選擇不同的方法來實現目標跟蹤,使其運用在特定的領域能夠更好地發揮出其在特定領域的優越性。跟蹤算法的高實時性、高精確性是下一步要研究的重點。

以上各種方法各有千秋，對于每一種算法的弊端可以從以下幾方面進一步完善：

1) 結合模糊神經網絡的算法

以往對多目標跟蹤的研究方法，是建立在各種機動目標的數學模型和各種濾波方法上。雖然能對機動沒有進行有效的跟蹤，但計算量大，跟蹤過程很復雜，而且機動目標的運動描述很復雜，難以用一個準確的數學模型來描述。而結合模糊神經網絡結合[6][7]的方法，可以優勢互補，可以將人的模糊判別的特點引入到跟蹤系統中，用簡單的程序完成復雜判別。

2) 人機交互由于運動場景的復雜及各種隨機因素的產生，單靠計算機自動識別是有一定難度的，在適當的情況下，加入人為的指導作用，會起到事半功倍的效果。如隨時指定要跟蹤的目標，在目標辨別錯誤或丟失情況下，指定重新搜索等。

[1] 桑愛軍,宋建中.基于跟蹤度的cabor小波特征跟蹤方法研究[J].光學技術，2005,31(4):588-590. SANG Aijun, SONG Jianzhong. Gabor wavelet feature tracking method based on criteria of trackin[J].OpticalTechnique.2005,31(4):588-590.

[2] 常發亮,馬麗,喬誼正.遮擋情況下基于特征相關匹配的目標跟蹤算法[J].中國圖像圖形學報,2006,11(6):887-882. CHANGFaliang, MALi, QIAOYizheng. Targettrackingalgorithmunderocclusionbasedoncorrelationmatching[J].J.Imagand Graphics,2006,11(6):877-882.

[3] Shi Rong, Li Zaiming. The Compensation for High-speed Optical Flow Estimation with Displacement Motion[C]//IEEE communication, circuit and system International Conference,2002(6):595-599.

[4] H.Tao,H.Sawhney and R.Kumar. Dynamiclayer representation with applications toTracking[C]//Proc. IEEE Conf. on Comp. Vision and Pattern Recogn.,2000:134-141.

[5] Stauffer C, GrimsonW E.Adaptive background mixturemodels for real-time tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Fort Collins: IEEE Computer Society,1999:246-252.

[6] 夏佩倫,溫洪.基于模糊推理的目標跟蹤[J].控制與決策,2003,10(17):23-26. X IAPeilun, W ENHong.Target tracking based on fuzzy inference[J].Electronics Optics& Control,2003,10(17):23-26.

[7] 劉其真.模糊記憶方法用于紅外圖像飛機目標跟蹤[J].工程圖形學報,2000,23:40-44. LIU Qizhen. AFuzzyremembranceApproach ForTrackingFlyingObjectof InfraredImage.Journal of Engineering Graphics,2000,23:40-44.

[8] 張娟,毛曉波.運動目標跟蹤算法研究綜述[J].計算機應用研究，2009，16(12)：4407-4408. ZHANG Juan, MAO Xiaobo, et al. Surveyofmoving object tracking algorithm[J].ApplicationResearch ofComputer,2009,16(12)：4407-4408.

[9] 薛陳,朱明.遮擋情況下目標跟蹤算法綜述[J].中國光學與應用光學,2009,2(5)：387-391. XUE Chen, ZHU Ming. Reviewof tracking algorithms under occlusion[J]. Chinese Journal ofOptics andAppliedOptics,2009,2(5):387-391.

[10] 江澤濤,趙榕春,黎明.一種基于相關的分層匹配與目標跟蹤算法[J].航空學報,2006,27(4):670-675. JIANG Zetao, ZHAO Rongchun, LIMing. Acorrelationbasedlayeredmatchingandtargettrackingmethod[J].ActaAeronauticaet,AstronauticsSinica,2006,27(4):670-675.

Research on Moving Target Tracking

WANG Mingbo

(Unit 98, No. 92493 Troops of PLA, Huludao 125000)

In this paper ,some representative methods which include the basic principle , applicability,virtues and drawbacks ,etc, are introduced. The improved idea is put forward and the selected method of target tracking is summarized based on comparison different methods in many sides. Using them in certain area can reach a good real-time tracking precision for different targets and situations. It has good tracking precision and character of real-time. Finally, the direction needed to beinvestigate further is discussed.

moving target tracking, analyzing, matching

2016年5月14日,

2016年6月27日

王明波,男,工程師,研究方向：電子對抗總體技術。

TN911

10.3969/j.issn.1672-9722.2016.11.015