在線多目標視頻跟蹤算法綜述

李月峰 周書仁

摘要：視頻多目標跟蹤是計算機視覺領域重要的研究課題之一，不論是在軍用還是民用都有廣泛應用。目前對單目標的跟蹤算法研究已經相當成熟，但對于多目標跟蹤的研究還處于發展階段。重點研究了多目標跟蹤過程中的四個重要階段：特征提取、檢測器、數據關聯、跟蹤器。特征提取階段詳細介紹了目前主流的特征提取方法以及各個方法之間的優缺點;檢測器階段首先詳細介紹了目標外觀模型在具體應用場景中的跟蹤效果，接著對基于檢測跟蹤的多目標跟蹤算法和基于深度學習的多跟蹤算法進行了分析;跟蹤器階段分別介紹了目標運動模型的建立和利用不同跟蹤器混合的多目標跟蹤算法;數據關聯階段分別介紹了基于能量最小化的多目標跟蹤以及常用的數據關聯算法。接著，介紹了目前主流的數據集以及評測方法;最后對多目標跟蹤未來的發展進行了思考和展望。

關鍵詞：視頻分析;計算機視覺;多目標跟蹤;深度學習

中圖分類號：TP391

文獻標志碼：A

1 引 言

目標跟蹤作為計算機視覺領域的一個分支，多年來一直是研究的熱門方向[1]。特別是在復雜背景下，當目標所處環境發生變化或者目標被遮擋時，使得目標跟蹤更具挑戰性。按照跟蹤目標的數量來分，目標跟蹤可以劃分為單目標和多目標兩大類，其中對單目標跟蹤的研究，國內外方法已經相當成熟，但對多目標跟蹤的研究還處于發展階段。視頻目標跟蹤廣泛應用于人機智能交互、視頻監控以及軍事武器應用等領域[2]。正是因為目標跟蹤的應用范圍之廣，所以一直以來都備受關注。

多目標跟蹤算法研究至今，目前主流的研究框架有兩種：一種是基于檢測跟蹤的框架（tracking-by-detection）;另一種是最近幾年熱門的基于深度學習（ deep learning）的框架。在基于檢測跟蹤的框架算法中，常使用兩種模型來建模，分別是外觀模型和運動模型。外觀模型，主要是對目標的整體外觀特征進行建模，盡最大可能將目標與背景分離;運動模型，主要是對目標的運動特性進行建模，預測目標的位置，挖掘幀間的相關信息，然后通過事件分析來獲得目標的運動軌跡。

隨著深度學習和大數據時代的到來，在新環境下多目標跟蹤領域出現了許多新的研究方法。目標檢測和目標識別是目標跟蹤的前提，而最近幾年深度學習方法在目標檢測和目標識別領域取得了巨大的成功，極大地促進了深度學習在目標跟蹤領域的發展。可以說深度學習給計算機視覺領域帶來了一場新的革命。

2 研究難點

目前，多目標跟蹤方法的研究成果在一些簡單場景已經有不錯的跟蹤效果，但仍存在許多問題。背景的復雜性、目標的多樣性、背景與目標的相似性以及多個目標之間的相互影響，都將給多目標跟蹤方法的研究帶來困難。當前多目標跟蹤的難點主要存在以下幾個方面：

1）遮擋問題：遮擋是目標跟蹤過程中的常見現象。遮擋可分為自身遮擋、被背景中靜止的實物遮擋、被其他目標遮擋這幾種情形，另外遮擋的程度也有不同。目標遮擋過程分為兩個階段：第一階段是目標慢慢被遮擋階段，在這個過程中目標可檢測到的信息越來越少，因此常出現目標丟失的現象;第二個階段是目標遮擋后重新被跟蹤，也叫目標重現。重現的過程目標信息逐漸恢復，如何處理重現后目標再次被準確跟蹤也是研究難點。遮擋會導致目標有效信息丟失，尤其是在目標長時間被遮擋的情形下。目前，多數系統都不能很好的解決長時間遮擋的問題，如何尋找一個有效地解決方法將是學者們不斷研究的目的。

2）背景復雜度問題：目標背景的復雜度和穩定性將決定最后跟蹤的難度和效果。背景中的干擾主要包括：光照的亮度變化、背景中物體的變動、場景的變換以及陰影等。背景的顏色容易隨著光照條件的變化而改變，而目標又在實時的運動，所以需要及時對目標進行更新處理。由于背景中不止目標一個，其他類似于目標的物體會導致誤檢，這將大大增加對目標跟蹤的難度。此外，陰影會導致背景顏色的差異，給目標檢測帶來困難。

3）數據關聯：數據關聯也是多目標跟蹤的難點，關聯算法的效率和復雜性將直接影響跟蹤效率和準確率。數據關聯是將追蹤器跟蹤的目標軌跡與目標預測的運動軌跡進行比較配對后，來最后確定目標正確運動軌跡的過程。單個目標不需要建立數據關聯，當存在多個目標且目標之間很相近時，數據關聯就顯得尤為重要，同時關聯的過程也將更復雜。目前，雖然已經有很多數據關聯算法，但如何建立更高效的數據關聯算法也是研究的難點之一。

3 視頻多目標跟蹤框架

目前研究領域內多目標跟蹤的框架有很多，由于不斷發展出現了許多改進的框架。一般多目標跟蹤系統框架如圖1所示。

檢測器中包括對目標外觀模型的處理，跟蹤器包含對目標運動模型的處理。外觀模型，包含目標特征提取、分類匹配以及更新三個部分，接著通過數據關聯，挖掘前后幀之間的關聯信息，在運動模型中通過搜索和采樣目標潛在的空間位置信息，為后面分類匹配提供可靠的樣本，然后計算比較這些候選樣本的可信度分數來進行預測，得分最高的樣本即為預測結果。另外，通過運動模型預測得到的目標位置，有一部分會再輸入到檢測器中，用于處理經過遮擋后目標重現的情況。最后通過事件分析消除噪聲干擾，得到目標連續的運動軌跡。

4 特征提取

特征提取是目標檢測的第一步，能否提取合適的特征直接影響到后面對目標檢測和跟蹤的效果。隨著目標形狀在檢測和跟蹤過程中的變化，理想的特征要具有很強的區分性，另外對目標的變化要具有較強的魯棒性。特征的選取往往依賴于目標的表示方法。目前對目標的表示方法主要有以下6種，分別是：灰度特征、顏色特征、邊緣特征、紋理特征、梯度特征和結構性特征。但在實際的研究中，由于場景的復雜性，往往需要將幾種方法混合使用。

灰度特征是最簡單和直觀的特征表達方式，其計算速度快，為行人檢測的可實用化點燃了希望之火。該特征有三種表現形式，分別為：原始灰度特征、灰度直方圖和Haarlike特征。前兩種特征方法都是首先將視頻圖像灰度化，進而利用灰度圖中的像素灰度信息，代表性算法分別是CSK算法和LSHT算法。Haarlike特征系列是一個典型的標量特征，對于圖像的邊緣、垂直、水平敏感等優點被廣泛應用于目標檢測當中，代表性算法是CT算法等。

顏色特征是最基本的特征表示方式，它通過不同的顏色對目標外觀進行標記。顏色直方圖是顏色特征的一種常用表現形式，它通過計算每種顏色在圖像顏色空間中的比例來代替計算每種顏色在圖像空間中的位置。近幾年，出現了一種新的顏色特征方法-Color Name特征[3]，該特征具有更好的表征能力。顏色特征優點是對圖像本身的特征屬性依賴性小，具有很好的魯棒性;缺點是受光照的變化影響較大，且容易被其他背景顏色干擾。

邊緣特征是物體與背景邊緣產生劇烈地變化得到的，在跟蹤過程中可以通過邊緣檢測的方法來檢測出邊的變化。與顏色特征相對比，邊緣特征的產生依靠目標與背景產生運動，而不依賴人對顏色的主觀認識。但是邊緣特征在檢測過程中容易出現邊緣曲線斷開的現象，導致圖像邊緣模糊的問題，因此在實際運用中要考慮邊緣檢測算法的準確性。

紋理特征是把圖像看成一個平面，通過判斷平面密度的變化，來對圖像的平滑度和規律性進行量化，從而描述圖像上的空間顏色和光強分布。紋理特征并不是直接獲取得到的，而是通過圖像預處理產生。紋理特征可分為以下四種類型，分別是：統計型紋理特征、模型型紋理特征、信號處理型紋理特征和結構型紋理特征。常用來描述紋理特征的算子有LBP（Local Binary Patterns，局部二值模式），它具有很好的旋轉不變性和灰度不變性等優點，所以應用廣泛。

梯度特征是通過統計圖像局部區域的梯度方向來構成全局特征。常用的梯度特征有SIFT特征和HOG特征，如圖2所示。SIFT特征和HOG特征相比，相同點都是利用的局部信息特征，但后者的實時性好一些。SIFT特征具有尺度不變性，即使圖像發生旋轉、尺度縮放或亮度變化等也能保持很好的檢測效果。HOG特征更多的是利用局部分塊單元的梯度信息，用局部統計信息來表示整個圖像信息。梯度特征因環境變化產生的影響相對要小，性能穩定，但它不能直接反映出物體的尺寸和姿態等信息。

結構性特征是通過神經網絡訓練得到的，從網絡底層越往高層特征就越復雜。高層的特征由底層特征逐層組合表示，隨著層數的增加，可用的特征信息就越多，參考信息也就越豐富，準確性也會提高。利用神經網絡得到的結構性特征具有很強的區分性，用一些簡單的分類器就可以實現高精度的分類效果。但是，該方法也存在缺點，特征增多帶來的是計算復雜和搜索空間增大，所需要訓練的時間也會變長，所以并不是訓練層數越多就越好。目前對結構性特征的研究主要集中于在滿足網絡結構功能的前提下，改進網絡結構，微調網絡來縮短訓練的時間，進而得到目標更好的表現特征。

5 檢測器

5.1 外觀模型

在完成對目標的特征提取后，我們需要對目標進行檢測，而在檢測的過程中就要利用到外觀模型。外觀模型是視頻目標跟蹤中的重要一步，好的外觀模型可以提高跟蹤的性能。目前在目標檢測領域的檢測算法有很多，常用的有光流法、背景減除法和幀差法等。近幾年來，隨著深度學習方法應用于目標檢測領域，檢測器外觀模型得到了極大的發展，出現了很多基于深度學習的檢測算法，如RCNN算法[4]，Fast-RCNN算法[5]以及FasterRCNN算法[6]。

按照目標與攝像機之間的運動關系，目標檢測可以分為兩類，即：基于靜態背景下的目標檢測和基于動態背景下的目標檢測。基于靜態背景下目標檢測攝像機在整個監控過程中是不動的，只有被監控的對象在動;基于動態背景下目標檢測攝像機和被監視的目標都在運動，兩者之間產生了復雜的相對運動。

5.1.1 靜態背景

1）光流法

光流法是最早應用于目標檢測的方法，它利用圖像像素隨時間變化的光流特性，來計算運動物體相鄰幀之間的運動信息。光流法既可以運用于動態場景也可以運用于靜態場景，而且無需預先知道場景中的任何信息。但是光流法計算復雜，容易受環境干擾，實時性也很差，容易產生噪聲。另外，當把真實場景中的三維對象投射到二維平面上時，光流的信息會存在損失，這樣很容易引起遮擋問題和孔徑問題。

2）背景減除法

背景減除法從字面意義來講就是一種能區分視頻序列中目標背景和環境背景的方法，算法通過將當前幀與背景圖像的像素值進行差分來實現檢測。隨著目標的運動，所處的環境一直都在變化，因此背景減除法的關鍵就在于對背景的建模和更新。鑒于上面的原因，所以背景減除法容易受環境干擾，當環境出現光照變化、陰影等其他干擾時，都將影響到算法的檢測效果。但是背景減除法擁有很好的實時性，同時計算復雜程度小，所以應用比較廣泛。

3）幀差法

幀差法是通過將圖像序列中相鄰兩幀或多幀信息作差分運算，來獲得運動目標輪廓的方法，對存在有多個運動目標的場景檢測效果很好。幀差法適應動態環境能力較強，受光照變化干擾影響小，算法復雜度也小，穩定性較好。算法通過判斷檢測物體的速度快慢來調節幀間時間間隔，因此在檢測時由于要不停的調整幀間時間間隔，會出現不連續的空洞，導致有時會檢測出不完整的目標輪廓。

4）神經網絡

基于深度學習的檢測方法，是指通過神經網絡將視頻第一幀的信息作為樣本，訓練出一個能追蹤目標運動的深度模型。但大部分物體在運動過程中會發生形變，導致目標識別和追蹤難度較大，易丟失目標。為了解決這個問題，人們利用遷移學習的思想，采用數據擴充（Data Augmentation）等方法擴充訓練樣本，預先對非跟蹤目標進行網絡訓練，以學習到不同物體在不同環境（如光照變化、背景變換等因素）下的通用表征特征，在跟蹤時利用前幾幀信息微調網絡，進而使網絡適應不同場景下的目標跟蹤。

上面一小節介紹了目前常用的檢測方法，每一種方法都各有所長，在實踐應用時要根據具體的環境和條件采用不同的檢測方法，同時為了達到最好的實驗效果，一般會將上述方法中某幾個聯合使用。

5.1.2動態背景

由于目標與攝像機之間的相對運動，基于動態背景下的目標檢測要比基于靜態背景下的目標檢測復雜得多。一般來說，攝像機的運動可以分為兩種類型：

1）攝像機的支架是不動的，但攝像機可以進行左右或者上下偏轉;

2）將攝像機安裝在移動的物體上有規律的移動。

鑒于以上兩種運動情況，目標前景和背景都在做全局運動，所以首先要對圖像進行全局運動估計。雖然圖像上每個點的運動矢量不同，但是他們是在同一臺攝像機上采集到的，因此可以用同一個參數模型。這樣全局運動估計問題就簡化為全局運動模型參數的估計問題，通常采用塊匹配法或光流估計法來估計運動參數。塊匹配法有以下三項關鍵技術：

1）匹配法則，如最大相關、最小誤差等;

2）搜索方法，如三步搜索法、交叉搜索法等;

3）塊大小的確定，如分級、自適應等。

光流估計法是利用光流方程求解圖像像素點運動速度的一種方法。它能夠應用于攝像頭與運動目標發生相對運動的情形，但是該方法在處理復雜場景時效果差，容易受環境干擾。

5.2 基于檢測跟蹤的多目標跟蹤算法

上述兩小節介紹了目前比較常用的檢測方法，檢測的結果最終將用于目標跟蹤的輸入。由于現實場景的復雜性，很難用單一的特征來表示目標，因此出現了很多基于多特征融合和自適應模板的多目標跟蹤方法。

針對單一特征的不穩定性，文獻[7]提出了基于片段和多特征自適應融合的目標跟蹤。具體實現時，通過導入顏色、HOG特征和角特征的片段來區分不同類型的遮擋，然后對不同的遮擋采用不同組合方法進行前后信息的匹配，來重建目標遮擋前后軌跡信息，進而可靠的跟蹤目標。文獻[8]將卡爾曼濾波算法和均值漂移算法聯合起來應用，通過將追蹤器分為不同的層次，來對不同的檢測模板進行追蹤，文中以追蹤器所擁有檢測模板的數量為基準將追蹤器進行分層，通過一個固定閥值來進行層次間的轉換，達到一個在線自適應的跟蹤。針對長時間遮擋問題，文獻[9]采用粒子濾波對目標進行跟蹤，處理遮擋時通過比較遮擋前后粒子的位置，線性估計粒子在被遮擋期間的運動方向，然后篩選匹配這些預測位置從而得到目標遮擋前后完整的運動軌跡。文獻[10]在文獻[9]的基礎上提出了基于多特征融合的分層粒子濾波器（ HPF）框架。所提出的HPF框架采用不同的特征信息，不僅可以處理長時間遮擋，而且對復雜環境中針對單個特征跟蹤失敗的情況處理效果很好。文獻[11]同樣采用了分層的思想，與文獻[8]不一樣的是，文中將檢測器也進行了分層。具體實現時，第一層負責生成新的模板和處理上一幀生成的軌跡;第二層重點處理軌跡漂移現象;第三層處理剩余的候選模板;最后一層處理目標經過遮擋而產生的軌跡碎片問題，通過分層關聯信息，達到了最好的分類處理效果，因而能夠更好地跟蹤目標。

經過十幾年的發展，基于檢測跟蹤的多目標跟蹤方法已經有很多，目前研究方向更趨于結合特定的應用去尋求新的突破，在未來的發展中，目標檢測和目標跟蹤之間的關系將會更加密切，同時目標檢測的方法也可以輔助目標跟蹤，從而進一步提高跟蹤的準確率和魯棒性。

5.3 基于深度學習框架的多目標跟蹤算法

深度學習成為當下最熱門的研究學科，各行各業都在將深度學習的方法融入本行領域中。目前深度學習已經在語音識別、圖像識別、自然語言處理等領域取得巨大突破，并且還在不斷發展變化。但是，在目標跟蹤領域，深度學習取得的成果不是很突出，其中的主要原因有以下幾點：

1）在視頻多目標跟蹤系統中，一般只對視頻第一幀的圖像數據進行標注，之后數據信息更新的數量級也不大，這使得深度學習無法發揮其在處理大數據方面的優勢。

2）因為視頻是實時在線的，因此視頻多目標跟蹤系統對算法的實時性要求高。目前，應用深度學習方法的框架，一般都擁有龐大的網絡結構，因而很難滿足實時性和速度的要求。

雖然存在以上幾點問題，但是已經有學者不斷探索和改進網絡結構，來適應具體的跟蹤環境。TLD（ Tracking-Learning-Detection）算法是最早將深度學習理論運用到目標跟蹤的算法，它在原始檢測和跟蹤的環節中增加了學習訓練階段，使算法能夠快速學習目標特征，并用少量先驗知識進行跟蹤，因其高效率和高準確率，算法剛問世就廣受學者追捧。但算法本身也有缺點，首先算法開始只能對單目標進行跟蹤，同時需要離線訓練。但隨著不斷改進，衍生出一些新的TLD算法。文獻[12]通過改進的TLD算法，提出了ATLD （AcceleratedTLD）算法，新算法不僅提高了運行速度，而且實現了對多目標的跟蹤。文獻[13]基于TLD算法，提出了一種新的P-N實時學習的方法，實現了在線訓練。同時，新算法在存在遮擋和雜波的情況下跟蹤效果很好。

通過比較先前的TLD算法，有學者提出了新的TLP（ Tracking-Learning-Parsing）算法，文獻[14]將TLP算法與AOG（And-Or Graph，與或圖）相結合，通過AOG網構建樹，采用或、與、非三種門來提取不同的特征信息，用TLP算法去動態分析跟蹤目標，相比先前的TLD算法更具有表現特征、更靈活。通過學習跟蹤的方法逐漸成為了多目標跟蹤研究的重點，相對于檢測跟蹤方法，學習跟蹤方法的精度要高很多。

隨著CNN（ Convolutional Neural Networks，卷積神經網絡）在目標檢測領域取得的巨大突破，其成果也間接推動了目標跟蹤研究的發展。一般卷積神經網絡基本結構如圖3所示。

從圖中可以看出，其基本結構包括：輸入層、卷積層、采樣層、全連接層和輸出層。其中特征提取是核心，它是由卷積層和采樣層交替進行的，從多個特征圖中得到特征向量，最后接入全連接層和輸出層。

通過網絡結構訓練分類得到的目標特征，更具有區分性，大大提高了對目標的識別能力，進而提高了目標跟蹤的精度。文獻[15]介紹了基于CNN的數據關聯方法。文中首先訓練Siamese卷積神經網絡，來獲得輸入前后幀圖像的結構性特征向量，接著分別比較CNN輸出的特征圖像和經過梯度增強分類器處理后的圖像之間的匹配概率，通過概率大小來確定目標的位置，從而規劃出目標的運動軌跡。有學者提出，一個高性能的檢測外觀特征可以產生高精度的跟蹤效果，文獻[16]先通過CNN做檢測，得到良好的外觀模型特征，再通過結合了POI（Person of Interest）區域的卡爾曼濾波器去跟蹤，得到了很好的實驗結果。文獻[17]采用對沖算法，提出了一種新穎的基于CNN的跟蹤框架，算法將不同的CNN層中獲取的特征融入KCF跟蹤器中，得到許多弱分類器，然后使用Hedge算法把這些弱分類器訓練得到一個強大的跟蹤器去追蹤目標，算法流程如圖4所示。文獻[18]用RNN（Recurrent Neural Networks，循環神經網絡）建模，相比之前用CNN訓練學習的方法，RNN更關注的是記憶功能，通過不斷地記憶和學習，進而形成一條鏈式序列，再通過LSTM（ Long Short-term Memory）來進行數據關聯，最終實現了端到端的跟蹤。

基于深度學習的目標跟蹤方法是目前最為火熱的研究方向。其主要的研究方法有以下兩種思路：

1）先通過離線訓練大規模的圖像和視頻數據，來構造某一類別特征的深度模型網絡。然后具體在線跟蹤時，用之前訓練好的深度模型網絡去提取目標的特征，再利用在線檢測的數據去微調網絡，以達到適應目標外觀的變化。這是一種“離線十在線”的設計方案，目前多數系統采用的是此設計方法。

2）將深度神經網絡模型的內部結構進行一定的改變，微調網絡來滿足在線跟蹤的要求。同時在滿足網絡性能要求的條件下，降低網絡的層數來縮短訓練的時間，簡化訓練過程。這是一種直接“在線”設計方案，目前還處于不成熟的階段，有待進一步研究。

從起先的離線訓練到如今的實時在線訓練，學習跟蹤的方法在不斷地進步。與離線訓練相比，在線訓練在采樣、訓練和更新等操作上都要做一定改進。通過學者們不斷努力，深度學習在多目標跟蹤領域已經取得了一些成果，但也僅僅是小范圍的應用，可探索空間仍然巨大。

6 跟蹤器

6.1 運動模型

通過外觀模型產生了有效的模板信息，而運動模型是在目標被跟蹤時，預測出目標下一幀的位置。產生的預測位置是多選的，這就要求尋找一種最優的方法去進行選取分配，經典的分配算法有匈牙利算法（Hungarian Algorithm）。在選擇最優的位置時，需要關聯上一幀甚至好幾幀間的信息，選擇效率高的關聯算法將會提高跟蹤的效率。

公式（1）、（2）中（u_s，u_s）為目標的瞬時速度，ε（x，y）、ε（u，v）分別為目標位置和速度的高斯噪聲，△t為視頻的幀速率。通過馬爾可夫運動模型，即使當目標發生快速變化，也可以很容易捕捉到目標。目前運動模型主要分為四種：

1）均值漂移（ Meanshift）

均值漂移是一種基于密度梯度上升的非參數方法，通過迭代運算找到目標位置，實現目標跟蹤。利用均值漂移算法進行物體跟蹤的實質是求解最優化的Bhattacharyya系數函數。在跟蹤中，為了尋找到相似度值最大的候選目標位置，Meanshift方法沿著概率密度的梯度方向進行迭代移動，最終達到密度分布最值位置。因此該算法實時性好，計算量小、運行速度快。

2）滑動窗口（Slide Window）

滑動窗口是最基本的運動搜索模型，一般搜索框會設置成方形或圓形，通過不同的尺寸來掃描整個圖像，它是一種窮舉的搜索采樣方式。很顯然只要目標所在的區域附近都有可能被搜索，所以計算量就大。

3）卡爾曼濾波（ Kalman Filter）

卡爾曼濾波是目標跟蹤算法中經典算法，能夠在目標跟蹤的過程中預測目標的位置和速度，并且效率很高。但是這種預測是有偏差、有噪聲的。經典的卡爾曼濾波算法是線性且符合高斯分布的，通過學者們不斷研究也出現了非線性的，如擴展卡爾曼濾波器（ Extended Kalman Filter，EKF）和無損卡爾曼濾波（Unscented Kalman Filter，UKF）。文獻[19]中根據EKF和UKF的優缺點，分別介紹了兩種算法在目標跟蹤問題中的應用。

4）粒子濾波（Particle Filter）

粒子濾波是由經典的卡爾曼濾波演變而來的。針對卡爾曼濾波的不足，粒子濾波在非線性和非高斯的條件下表現出很好的優越性。具體算法是從帶噪聲的數據中估計運動狀態，在狀態空間中通過隨機傳播大量帶權離散變量，來近似概率分布并遞歸，每次遞歸通過比較每個粒子不同的權值進行重采樣，直到完成整個目標樣本采集。粒子濾波算法效率較高，因此在目標跟蹤研究中應用很廣泛。

6.2 混合跟蹤算法

上一節介紹了幾種基于運動模型建模的跟蹤算法，雖然不同的跟蹤算法之間優缺點不一樣，但仍然存在著互補性。因此，目前將幾種算法結合起來的混合跟蹤算法成為研究熱點之一。文獻[20]提出了基于ACF（Aggregate Channel Features）和粒子濾波的多目標跟蹤算法，首先采用兩種特定的ACF檢測器對視頻序列中目標進行檢測，再用Adaboost分類器進行訓練分類，然后通過粒子濾波器對目標進行追蹤，達到對目標的實時監控。

不同領域、不同專業技術也存在知識互補性，有學者將其他專業技術運用到多目標跟蹤研究中，使得多目標跟蹤方法呈現出多種多樣的趨勢。文獻[21]將圖像分割技術運用到多目標跟蹤，通過改進的CRF （Conditional Random Field）模型，首先將圖像進行分割，再用差樣本去評估目標被遮擋后重現的軌跡，完成軌跡碎片的拼接。實驗顯示采用多目標分割后，能夠提高10%平均召回率，同時減少ID開關的數量。文獻[22]提出了一個添加身份信息的多目標跟蹤解決方案，通過給檢測到的目標添加身份信息，避免了目標之間因相似性引起的錯誤，同時還可以自動確定潛在的追蹤錯誤，進一步提高了跟蹤的精度。

混合跟蹤算法極大地解決了各種算法之間因差異性所造成的問題，但不論是基于檢測跟蹤還是學習跟蹤的方法，都需要進行數據關聯，數據關聯是連接跟蹤前后的關鍵。

7 數據關聯

數據關聯是多目標跟蹤過程中的一個重要階段，國內外已經有很多學者將多目標跟蹤問題看成數據關聯問題，從數據關聯過程中去尋求多目標跟蹤研究方法。數據關聯的目的是，計算在當前幀從檢測器中檢測到的每一個觀測值與前一幀跟蹤器中可能的各種跟蹤目標之間的關聯概率，通過概率的匹配度去關聯前后幀之間的信息，從而形成一段連續的軌跡。對數據關聯的研究有多個角度，常用的有基于能量最小化和基于概率兩種方法。

7.1 基于能量最小化的數據關聯方法

在目標跟蹤中，由于場景的復雜性，使得目標跟蹤難以實現，因此可以將多目標跟蹤問題轉化為能量最小化問題。所謂的能量最小化就是在解空間中，每個解都對應一個損失，整個求解過程要做的是把這個損失函數表示出來，并找到一個合適的方法求最優解。在做求解的過程時，往往已知所有的檢測反饋信息以及這些反饋信息所組合的所有可能軌跡，每一個組合都有一個損失，求解的結果就是要尋求最優的組合。

文獻[23]就是一個典型的基于能量最小化來進行多目標跟蹤，文中清晰地闡述了損失函數的構成以及最小化，通過構造連續的損失函數，跳出局部最優來尋找全局最優，從而求得最優解。文獻[24]在之前文獻[23]的基礎上進行了改進，提出了離散連續能量函數，函數中包含單個目標的數據關聯和軌跡估計信息，而軌跡的信息是通過全局的標簽損失獲得，標簽損失描述了各個軌道的物理特性，最后通過基于梯度的連續能量函數來更新各個軌跡的形狀。

基于能量最小化的數據關聯方法，需要扎實的數學功底，因其計算量大，容易出錯，在實踐應用中不是很廣泛。

7.2 基于概率的數據關聯方法

基于概率的數據關聯算法也有很多，常用的有最近鄰數據關聯算法（ Near Neighbor DataAssocia-tion，NNDA）、多假設跟蹤（Multiple Hy-pothesis Tracking，MHT）以及概念數據關聯（Probability Data Association，PDA）和它的升級版聯合概率數據關聯算法（Joint Probabilistic DataAssociation，JPDA）。上面列舉的方法，都是經典的算法。通過學者們不斷的創新，已經有很多改進后的算法。文獻[25]改進了之前的JPDA算法，使關聯信息處理時間減少，同時在應用場景混亂的情形下效果顯著。文獻[26]針對以往算法通常會忽略目標大小導致跟蹤降低的情況，提出了改進的JPDA算法，降低了傳統JPDA算法的復雜度，解決了由目標大小而引發的遮擋問題。

基于最近鄰域法的數據關聯算法（ NNDA）雖然方法簡單、計算量小，但抗干擾能力弱;而基于PDA和JPDA的數據關聯算法雖然能很好地適應雜波和其他復雜環境，但是需要計算所有可能的量測概率，導致計算量大大增加;基于MHT的數據關聯算法很好地綜合了NNDA算法和JPDA算法的優點，但算法本身很依賴于目標和雜波的先驗知識。針對算法各自的優缺點，已經有學者將幾種方法混合起來使用，衍生出新的數據關聯算法。

采用單一的概率數據關聯方法的時代即將過去，目前主要的研究方向傾向于結合了多特征技術、多運動模型、多傳感器等綜合方法來跟蹤目標。同時，隨著深度學習方法的進一步發展，數據平臺的逐步完善，將會有更多基于神經網絡結構的數據關聯方法出現。深度學習正引領著一股科技創新的浪潮。

8 視頻目標跟蹤數據集

8.1 通用數據集

一個好的、權威的數據集對實驗結果的可信度至關重要。隨著深度學習的發展，在圖像識別和目標檢測領域出現了很多大型的數據集平臺，如：ImageNet、Pascal VOC、COCO等。同時，這些數據集也間接性推動了目標跟蹤數據集的發展。其中最有影響力的數據集是：VTB數據集和VOT數據集。目前在多目標跟蹤領域比較大的一個數據集是MOT Challenge[27]，在這個數據集中有很多公開視頻序列，常用的視頻序列如下：PETS2009、 Town-Centre、 PETS 2016 Challenge。PETS 2009視頻序列中，行人會頻繁的被其他目標或者障礙物（如交通標志）遮擋，因此行人在前進的過程中會突然改變運動方向，這個視頻序列可以用來跟蹤目標出現軌跡漂移的情形。TowrrCentre視頻序列中，路上的行人會更加的密集，被跟蹤的目標會長時間被其他目標或者障礙物（如長凳）遮擋，這個視頻序列可用于跟蹤目標出現閉塞的情形。PETS 2016 Challenge視頻序列中，相對于前兩個視頻序列，擁有更多的數據，同時視頻序列中對行人的姿勢改變、尺度變化以及閉塞等處理方法的挑戰性更大，對學者所提出的算法綜合性要求要更高。

針對各種復雜的環境，多目標視頻跟蹤的數據集每年都在更新中，為了適應現在熱門的基于深度學習的研究方法，數據集的容量也在不斷擴大，數據內容也更加豐富，出現很多新數據集，具體的信息內容可以參考文獻[28]。

8.2 評測方法

好的算法要具有：高準確性、高魯棒性以及高效性。目前對單目標跟蹤的評測指標已經有較為明確的判斷標準，但對于多目標跟蹤一直以來都未統一。CLEAR MOT指標[29]是目前公認度較大的評價方法，分別從以下兩個方面來評估算法的優劣：多目標跟蹤的精確度（ Multiple ObjectTracking Precision，MOTP），該指標是評測算法在確定目標位置上的精確度;多目標跟蹤的準確度（Multiple Object Tracking Accuracy，MOTA），該指標是評測算法在確定目標的個數以及目標其他相關屬性的準確度。雖然兩種指標的評測點不一樣，但兩者共同評測算法對目標進行連續跟蹤的能力。除了比較上面兩個指標外，通常還會比較召回率（ Recall）、跟蹤成功率（Mostly Tracked，MT）、丟失率（ Mostly Lost，ML）、漏檢率（Missed Detec-tions，MS）、誤檢率（False Positives，FP）、每秒處理的幀數（ Frames Per Second，FPS）以及所用到的ID開關總數（Id Switches，IDS）等。

9 發展趨勢展望

視頻多目標跟蹤技術結合了計算機科學、模式識別、圖像處理等多個學科的知識，是一個復雜且多變的課題，目前還處于發展階段，還有很多問題有待解決。經過學者們的研究，雖然有些簡單的場景已經能夠很好地處理，但是面對更復雜的環境，效果仍然不夠理想。在大數據的時代下，基于深度學習的研究方法給多目標跟蹤研究添加了新的動力，為了尋找更好的、更穩定、使用場景更多的多目標跟蹤算法，仍需要付出大量的努力，目前的研究重點和發展趨勢主要集中于以下幾點：

1）研究重點的轉移。基于檢測跟蹤的研究方法雖然在很多方面已經取得很好的魯棒性，但未來的研究重點將會側重于目標長時間被遮擋的情形，同時對目標再現后重新被檢測跟蹤也是后面研究的重點。

2）深度學習與在線學習融合。視頻跟蹤的本質就是一個在線學習的問題，一味地在線學習可能導致進入死胡同，如何壓縮網絡結構，縮短訓練時間，提高樣本質量，避免學習過程中數據冗余，都是值得深入研究的問題。

3）多傳感器的應用。多傳感器的使用可以擴寬監督的范圍，同時也可以全方位的觀察目標，不同的視角效果有助于處理目標被遮擋的問題。另外，目前的跟蹤方法大多是2D建模，如何將3D建模運用到目標跟蹤上，實現目標全息投影跟蹤也是后面研究的重點。

4）數據平臺的創建。隨著大數據時代的到來，給多目標跟蹤帶來了海量的數據信息，因此出現了很多基于深度學習的訓練數據庫。但是，目前大多數目標跟蹤算法采用的是目標識別的數據集，如何針對目標跟蹤的特性來構建專屬性的數據平臺也是今后研究的重點。

5）研究環境的轉移。隨著計算機芯片GPU的發展，越來越多的實驗環境已經移植到GPU上去進行，同時應用深度學習的方法也需要學者采用更快的、更高的處理器。如何將實驗環境快速移植到GPU上而盡可能少改動代碼，也是值得研究的問題。

6）與生物仿生學相結合。目前，谷歌研究的智能機器人已經在很多方面戰勝了人類。而人眼是最容易去觀察跟蹤目標的，同時通過人眼與大腦神經的處理，可以忽視任何的復雜場景。所以未來是否可以考慮模擬人眼的觀察追蹤能力，通過生物仿生技術，讓機器具備人類的視覺思維，去追蹤目標呢？如何實現這種技術，也是值得研究的方向。

10 結束語

本文分析總結了近年來多目標視頻跟蹤的研究方法，給讀者提供了豐富的多目標跟蹤相關知識。通過描述多目標跟蹤的整個過程，分別介紹了特征提取、檢測器、數據關聯和跟蹤器幾個重要的階段。在檢測器和跟蹤器中，分別對目標的外觀模型和運動模型進行了詳細地敘述，同時也列舉出了一些目前熱門的多目標跟蹤算法，著重介紹了基于深度學習框架的算法以及各種數據關聯的算法。另外也介紹了多目標跟蹤相關的數據集和評測方法。文章最后分析了大數據和深度學習給多目標跟蹤帶來的新機遇以及在新環境下多目標跟蹤的未來發展趨勢。我相信，通過國內外學者不斷研究、大膽嘗試，多目標跟蹤的研究將擁有更廣闊的前景。

參考文獻

[1] WU Y，LIM J，YANG M H.Online object tracking：Abenchrrrark[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition. 2013： 2411-2418.

[2]黃凱奇，陳曉棠，康運鋒，等，智能視頻監控技術綜述[J].計算機學報，2015， 20（6）：1093-1118.

[3] DANELLJAN M， SHAHBAZ Khan F，FELSBERG M， eta1. Adaptive color attributes for real-time visualtracking[C]//Proceedings of the IEEE Conference on Computer Vi-sion and Pattern Recognition. 2014： 1090-1097.

[4] GIRSHICK R，DONAHUE J，DARRELL T，et al.Richfeature hierarc-hies for accurate object detection andsemantic segmentatron[C]//Proceedings of the IEEE con-ference on computer vision and pattern recognition. 2014：580-587.

[5] GIRSHICK R.Fast rcnn[C]//Proceedings of the IEEE in—terna-tional conference on computer vision. 2015： 1440-1448.

[6] REN S，HE K，GIRSHICK R，et al.Faster rcnn： Towardseal-time object detection with region proposal networks[J].IEEE transactions on pattern analysis and machine intelli-gence， 2017， 39（6） ： 1137-1149.

[7]L1 W， YAO J， DONG T， et al. Object Tracking Based onFragment Template and Multi-Feature Adaptive Fusion[C]//Computational Intelligence and Design （ISCID） ， 20158th International Symposium on. IEEE， 2015， 2 ： 481- 484.

[8] ZHANG J， PRESTI L L， SCLAROFF S. Online multi-person tracking by tracker hierarchy[C]//Advanced Videoand Signal-Based Surveillance （AVSS）， 2012 IEEE NinthInternational Conference on. IEEE， 2012 ： 379 - 385.

[9] GUAN Y， CHEN X， YANG D， et al. Multrpersontracking-by-detection with local particle filtering and globalocclusion handling [C]//Multimedia and Expo （ ICME） ，2014 IEEE International Conference on. IEEE， 2014： 1- 6.

[10] GAN M， CHENG Y， WANG Y， et al. Hierarchicalparticle filter tracking algorithm based on multrfeature fu-sion[J]. Journal of Systems Engineering and Electronics，2016， 27（1） ： 51-62.

[11] JU J， KIM D， KU B， et al. Online Multrobject TrackingBased on Hierarchical Association Framework[C]//Pro-ceed-ings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2016 ： 34 - 42.

[12]金哲， 劉傳才.加速的 TLD算法及其在多目標跟蹤中的應用 [J].計算機系統應用 . 2016， 25（6） ：196- 201.

[13]SHARMA S， KHACHANE A， MOTWANI D. Real timemulti-object tracking using TLD framework [C]//Inventive Computation Technologies （ ICICT ），International Conference on. IEEE， 2016 ， 2 ： 1 - 6.

[14] LU Y， WU T， CHUN S. Online object tracking， learningand parsing with and-or graphs[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recog-nition. 2014： 3462-3469.

[15] LEAL-TAIXE L， CANTON-Ferrer C， SCHINDLER K.Learning by tracking： Siamese CNN for robust target as-sociation[C]/JPr-oceedings of the IEEE Conference onComputer Vision and Pattern Recognition Workshops.2016： 33-40.

[16] YU F， LI W， LI Q， et al. POI： Multiple Object Trackingwith High Performance Detection and Appearance Feature[J]. 2016：36-42.

[17] 01 Y， ZHANG S， QIN L， et al. Hedged deep tracking[C]//Proc-eedings of the IEEE Conference on ComputerVision and Pattern Recognition. 2016： 4303-4311.

[18]MILAN A， REZATOFIGHI S H， DICK A R， et al. OnlineMulti-Target Tracking Using Recurrent Neural Networks[C]//AAAL 2017： 4225-4232.

[19] YANG S， LI H. Application of EKF and UKF in TargetTracking Problem[C]//Intelligent Human-Machine Sys-tems and Cybernetics （IHMSC）， 2016 8th InternationalConference on. IEEE， 2016 . 1： 116 - 120.

[20]KOKUL T， RAMANAN A， PINIDIYAARACHCHI U AJ. Online multrperson tracking-by-detection method usingACF and particle filter[C]//Intelligent Computing and In-formation Systems （ICICIS） ， 2015 IEEE Seventh Interna-tional Conference on. IEEE， 2015 ： 529 - 536.

[21]MILAN A， LEAL-TAIXE L， SCHINDLER K， et al. Jointtracking and segmentation of multiple targets[C]//Pro-ceedings of the IEEE Conference on Computer Vision andPattern Recognition. 2015 ： 5397 - 5406.

[22]YU S I， MENG D， ZUO W， et al. The solution path algo-rithm for identity-aware multrobject tracking[Cl//Pro-ceedings of the IEEE Conference on Computer Vision andPattern Recogrution. 2016 ： 3871 - 3879.

[23] MILAN A， ROTH S， SCHINDLER K. Continuous energymmimization for multitarget tracking [J]. IEEEtransactions on pattern analysis and machine intelligence，2014， 36（1） ： 58-72.

[24] MILAN A， SCHINDLER K， ROTH S. Multrtarget track-ing by discrete-continuous energy minimization[J]. IEEEtransact-ions on pattern analysis and machine intelligence，2016， 38（10） ： 2054-2068.

[25]REZATOFIGHI S H， MILAN A， ZHANG Z， et al. JointProbabilistic Data Association Revisited[C]// IEEE International Conference on Computer Vision. IEEE， 2016：3047- 3055.

[26] SHI X， SONG Y Q， YANG Z， et al. Multiple target track-ing under occlusions using modified Joint ProbabilisticData Association [ C]//Communications （ ICC ）， 2015IEEE International Conference on. IEEE， 2015： 6615-6620.

[27]LEAL-TAIXE L， MILAN A， REID I， et al. Motchallenge2015： Towards a benchmark for multrtarget tracking[Jl.arXiv preprint arXiv：1504.01942， 2015.

[28]MILAN A， LEAL-TAIXE L， REID I， et al. MOT16： Abenchmark for multi-object tracking[J]. arXiv preprintarXiv：1603.00831， 2016.https：//motchallenge.netj.

[29] KENI B， RAINER S. Evaluating multiple object trackingperformance： the CLEAR MOT metrics[J]. Eurasip Journal on Image & Video Processing， 2008， 2008 （1） ：246309.