基于時空上下文的多目標跟蹤算法

位寶燕 楊紹清 劉松濤

摘要：在多目標跟蹤中，目標尺度變化和姿態(tài)變化容易導致目標丟失，本文將時空上下文視覺（STC）單目標跟蹤算法應用于多目標跟蹤，該算法通過構造各目標和其上下文區(qū)域的時空關系模型，計算置信圖得到下一幀圖像的目標位置，并且對窗口大小進行自適應變換，當目標發(fā)生旋轉等姿態(tài)變化或者尺度變化時，窗口可以根據目標變化而變化。實驗結果表明，該算法能夠準確跟蹤多個運動目標，并在目標姿態(tài)或者尺度變化時能夠自適應的檢測出目標變化，并穩(wěn)定跟蹤目標。

關鍵詞：多目標圖像跟蹤;時空上下文;自適應窗口;尺度變化

中圖分類號? TP391.4? ? ? 文獻標識碼? A

文章編號：1009-3044（2019）17-0207-04

開放科學（資源服務）標識碼（OSID）：

目標跟蹤是計算機視覺的重要研究領域之一，目標跟蹤的本質是將非平穩(wěn)的、隨時間變化的目標和背景圖像流進行處理，提取出圖像流中目標的信息[1]。在視頻序列中如何實現對目標進行穩(wěn)健、實時跟蹤，是計算機視覺領域的熱點問題[2]。其中，多目標跟蹤無論在軍事還是民用方面尤其重視。如軍事彈道導彈防御、空中預警、空中多目標攻擊，海洋預警（水面艦艇或潛艇），民用方面的交通監(jiān)控或者空中飛機管制，醫(yī)療診斷等。

目前，經過近年來的深入研究與發(fā)展，多目標跟蹤技術取得了很大的進步，但是由于監(jiān)控設備距離目標較遠、多目標在運動過程發(fā)生姿態(tài)變化或者尺度變化，監(jiān)控場景太過復雜等都導致無法穩(wěn)定跟蹤多個目標，上述難題一直無法被克服。

多目標跟蹤即確定圖像序列中的各個目標的位置坐標，大致可以分為兩類方法：基于目標表示的方法和基于目標定位的方法。Jepson等人提出了基于紋理特征的自適應表觀模型[3]，然而當目標發(fā)生尺度變化或者被遮擋時，無法精確地跟蹤目標;Avidan結合光流法與支持向量機算法用于跟蹤車輛[4]，使用Boosting分類器跟蹤運動目標，但是隨著分類器訓練中誤差積累使分類器易發(fā)生漂移。在基于目標定位的算法中，基于Meanshift的跟蹤算法較為典型，然而Meanshift算法[5]適用于目標外觀不變的場景;也可以將目標跟蹤問題轉化為貝葉斯濾波理論框架下的預測目標狀態(tài)概率問題，一般使用Kalman濾波對目標在下一幀的位置進行預測，當噪聲為非高斯分布時，可以使用粒子濾波[6]預測目標在下一時刻的位置，但是當目標發(fā)生姿態(tài)變化時仍不能獲得很好的跟蹤效果。近幾年研究發(fā)現跟蹤時目標的上下文信息（周圍環(huán)境）與目標之間存著密切的相關性，所以很多研究者開始研究如何運用這種相關性對目標進行跟蹤。文獻[7-9]中利用上下文信息對目標進行跟蹤，跟蹤效果好。Yang和Wu等人[10]充分利用目標上下文區(qū)域的空間關系有效地解決了目標的遮擋問題。張開華等人[11]融合了貝葉斯框架和相關濾波將時空上下文算法改進地更完善，但是該算法對目標尺度和姿態(tài)變化時性能欠佳。

綜上所述，本文將時空上下文視覺（STC）單目標跟蹤算法[12]應用于多目標跟蹤，構建了各目標及其上下文區(qū)域的時空關系模型，計算置信圖得到下一幀圖像的目標位置，運算速度快，并且對窗口大小能夠進行自適應變換，當目標發(fā)生旋轉等姿態(tài)變化或者尺度變化時，窗口可以根據目標變化而變化。實驗結果表明，本文算法可以有效地解決多目標跟蹤時姿態(tài)變化或者尺度變化等復雜問題，能夠實時、準確、魯棒地跟蹤多個目標。

1 自適應窗口調整的時空上下文

時空上下文（STC）是一種基于貝葉斯框架下的快速跟蹤算法，利用目標周圍區(qū)域的時間信息和空間信息確定目標位置[13]。時間信息指的是連續(xù)幀間目標本身所能夠提供的位置、速度、尺度姿態(tài)等信息的傳遞，空間信息指的是目標和上下文區(qū)域內的背景之間的某種相關性，當目標變化時，空間信息可以區(qū)分目標和干擾背景。

1.1 STC算法公式化表示

貝葉斯框架下的目標跟蹤關鍵是得到后驗概率函數，也就是計算一個估計目標位置的似然函數置信圖。

式中，[X=R2]是目標的位置區(qū)域，[o]是目標在場景中出現的情況，[X*∈X]是目標區(qū)域的中心點，[XC=I（Z），Z|Z∈ΩCX*]為上下文區(qū)域的特征表示，[IZ]表示位置Z點的像素灰度值，[ΩCX*]是中心位置[X*]的空間上下文區(qū)域。如圖1所示。

1.2 目標模型的建立

1.2.1空間上下文模型

式（1）中，條件概率[Px|c（z），o]表示的是目標中心位置和上下文區(qū)域的空間信息，具體定義為：

式中，[hscx-z]是對目標中心位置[X*]和上下文區(qū)域內任意點Z間的相對距離和方向的統計，該函數是非徑向對稱函數，即[hscx-z≠hscx-z]，因此可分辨出周圍相似物體，不易混淆。

1.2.2上下文先驗模型

式（1）中，[P（c（z）|o）]表示的是先驗概率，具體定義為：

式中，[Iz]是點Z的灰度值，用以描述目標上下文區(qū)域Z的特征。[ω]是一個加權函數，[a]是歸一化參數，取值為[0，1]，[σ]是一個尺度參數，[σ2]為高斯函數方差，[ωσz-X*]是區(qū)域中心的加權高斯函數。

1.2.3置信圖

該算法中本質是求出目標的置信圖，但是我們需要對目標進行初始化。在給定目標的位置[X*]的基礎上，我們通過下列公式來計算得到上下文區(qū)域任何一點X的似然得到的。目標位置的置信圖模型由式（5）表示。

1.2.4快速學習空間上下文模型

基于置信圖函數式（5）和上下文先驗概率模型（3），快速學習得到空間上下文模型[Px|c（z），o]，式（1）可表示為：

在離散狀態(tài)下，時域內求積分的過程可以卷積轉化為頻域下的點積操作，并結合著快速傅立葉變換算法，可以提高計算速度，節(jié)省運算時間。因此式（6）經過快速傅立葉變換（FFT）算法加速后，得：

1.2.5位置的確定

目標跟蹤其實是一個檢索的過程。手動標記第一幀圖像中各目標，則在第t幀通過式（7）可以學習得到第t+1幀的各目標空間上下文模型[htsc（x）]。該模型我們可以用來檢測第t+1幀的目標位置，得到時空上下文模型后，我們就可以在新的一幀圖像中計算目標的置信圖[cx]：

則新一幀各目標的位置[X*]即為置信圖中的最大概率點相對應的位置。

1.3 目標模型的更新

目標在跟蹤過程中外觀、尺度、光照等都在發(fā)生著變化，如果當前的模型只含有初始的目標樣本信息，當目標變化較大時，容易導致目標丟失。因此需要更新目標模板以適應目標的變化。但是，若更新目標模型過快，誤差積累較快，容易產生漂移現象。在本算法中的模型更新策略是對時空上下文模型進行更新：

1.4 自適應窗口調整

在應用場景中，場景和目標都存在著動態(tài)性，隨著距離的變化，目標的尺度也時刻在發(fā)生著變化，或隨著目標姿態(tài)的變化，尺度也會發(fā)生變化，所以跟蹤窗口的大小在跟蹤過程中非常重要，如果跟蹤窗口太小或太大真實目標會消失。為解決此問題，本文利用相似度反饋對目標尺度進行更新。

首先計算新一幀圖像目標位置與目標模板之間的歸一化距離[ρ]：

如果[ρ]大于預定義的閾值[e]，則以不同的比例（即相機縮放或目標進場/離開）搜索目標。在這種情況下，通過增加或減少目標模板大小來對目標尺寸進行更新。通過這種方式，將以目標模板的每個像素為中心的不同縮放矩形作為候選區(qū)域。通過將前一幀的目標模板的尺寸乘以比例系數[κ]來確定不同縮放長方形的尺寸。跟蹤器包含兩個收縮和兩個增長比例系數。通過這種方式，使用四種不同的尺度在[Ω]內搜索目標，考慮目標尺寸在正方向和負方向上的變化。這種方法基于蒙特卡羅的目標更新策略[14]。將當前導致最大概率點的候選區(qū)域選擇為下一幀的目標區(qū)域。

綜上，可以得出自適應窗口調整的時空上下文多目標跟蹤算法的整體流程圖如圖3所示。

2 仿真實驗與結果分析

本文算法可實現手動框選多目標的實時跟蹤，仿真環(huán)境為Matlab語言，分別對兩個、三個等多目標進行跟蹤，利用VIVID視頻集[15]的兩個視頻序列進行性能測試。參數設置部分，在基于時空上下文信息的位置計算中，目標上下文區(qū)域的大小設置為初始幀目標大小的兩倍。學習置信圖的過程中模型參數[α=2.25，β=1]。其中置信圖中的參數[σ]因為目標尺度的改變需要進行更新，則初始值設定為[a+b2]（a和b分別是初始目標模板的寬和高）。在尺度更新部分，相似度閾值[e=1]。比例系數[κ=0.8，0.9，1.1，1.2]。基于上述參數的設定，在所有的圖片序列中的參數值都是一樣的，具有廣范圍的應用場景。下面列出了本文算法的跟蹤結果。

圖4 Walking序列中，對路上的行人進行跟蹤，行人由近至遠運動，且其中一個行人目標環(huán)境背景較為復雜，實驗結果表明，當兩個目標由近至遠變化時，本文算法跟蹤目標穩(wěn)定。

圖5EgTest01序列中，目標逐漸由兩個變?yōu)槿齻€，最后增至六個，且目標在運動過程中，會發(fā)生大幅度的旋轉等表觀變化，從實驗結果中可以看出前180幀時，可以準確地對目標進行跟蹤，180幀后對于左下方的目標旋轉時，模板沒有更新，這是由于模板初始化時，對目標的前部進行匹配跟蹤，所以當車旋轉后，模板仍然只跟蹤目標前部，導致尺寸無法學習更新。綜上，本文算法可以較精準地跟蹤多個目標，且當目標發(fā)生較大形變時，仍具有較高的準確率和魯棒性。

由圖4圖5的實驗結果可以得出結論：在對移動視頻序列的多目標跟蹤中，本文設計的基于上下文時空的跟蹤算法是有效的，并且當目標環(huán)境背景較復雜、目標發(fā)生旋轉等姿態(tài)變化或者尺度變化時，仍然可以準確地跟蹤目標。

3 結語

本文針對多目標運動中姿態(tài)變化和尺度變化跟蹤效果不理想問題，提出了一種基于時空上下文的多目標跟蹤算法，通過每個目標的上下文時空信息對目標進行匹配跟蹤，同時設置了相似度反饋機制用以更新跟蹤窗口的尺度大小，提高了目標的跟蹤精度。本文選取了兩組有目標尺度變化和姿態(tài)變化的視頻序列進行實驗驗證，實驗表明，當不同目標發(fā)生不同的尺度或者姿態(tài)變化時，本文算法都能準確地跟蹤目標，有效地解決了目標尺度姿態(tài)變化時造成的目標丟失問題，具有良好的魯棒性。

參考文獻：

[1] 李靜宇，王延杰.基于子空間的目標跟蹤算法研究[J].液晶與顯示，2014，29（4）：617-622.

[2] 郭敬明，何盺，魏仲慧.基于在線支持向量機的Mean Shift彩色圖像跟蹤[J].液晶與顯示，2014，29（1）：120-128

[3] Li X，Hu W，Shen C.A Survey of Appearance Models in Visual Object Tracking[J].Acm Transactions on Intelligent Systems & Technology，2013，4（4）：1-48.

[4] 許佳佳.基于MeanShift算法的航空影像聯合分割[J].液晶與顯示，2014，29（4）：586-591.

[5] Baydoun M，Dawi M，Ghaziri H. Enhanced Parallel Implementation of the K-Means Clustering Algorithm[C].International Conference on Advances in Computational TOOLS for Engineering Applications.IEEE，2016：7-11.

[6] Wang C，Shen Y，Wang Y，et al.Gesture tracking and recognition based on spatio-temporal context[J].Computer Engineering & Applications，2016，52（9）：202-207.

[7] Yang M，Wu Y，Lao S.Intelligent Collaborative Tracking by Mining Auxiliary Objects[C].Computer Vision and Pattern Recognition，2006 IEEE Computer Society Conference on.IEEE，2006：697-704.

[8] Zhang K，Zhang L，Yang M H，et al.Fast Tracking via Spatio-temporal Context Learning[J].Computer Science，2013， 41（11）：88-92.

[9] 趙洲，黃攀峰，陳路.一種融合卡爾曼濾波的改進時空上下文跟蹤算法[J].航空學報，2017，38（2）：269-279.

[10] 武亞寧.基于時空上下文的目標跟蹤算法研究[D].燕山大學，2017.

[11] 馮新喜，魏帥，王泉，等.魯棒標簽多伯努利機動目標跟蹤算法[J].華中科技大學學報（自然科學版），2018（2）.

[12] Walha A，Wali A，Alimi A M.Video Stabilization with Moving Object Detecting and Tracking for Aerial Video Surveillance[J].Multimedia Tools & Applications，2015，74（17）：6745-6767.

【通聯編輯：朱寶貴】