運動信息優化相關濾波的多目標跟蹤算法

繆佳妮，楊金龍，程小雪，葛洪偉

江南大學 人工智能與計算機學院，江蘇 無錫 214122

視頻多目標跟蹤是計算機視覺領域中一個重要的研究領域，具有智能監視、人機交互、行為識別、機器人導航和自動駕駛等多種應用。多目標跟蹤可以為每個視頻幀中被跟蹤目標分配一致的標簽，以產生每個目標的軌跡。目前，多目標跟蹤主要分為在線跟蹤以及批處理跟蹤兩類方法。在線跟蹤指僅利用視頻過去及現在的信息進行實時跟蹤，這更加符合人們的場景需要，適合在智能監視、自動駕駛等實時性較強的應用。而批處理跟蹤利用視頻過去、現在以及未來的信息對目標進行跟蹤，這樣能使得跟蹤的結果更加準確，可以運用在實時性要求不強的場景中。

由于目標的外觀變化、遮擋和漂移，且存在未知的目標新生和消失等問題，使得多目標跟蹤一直是目標跟蹤領域具有挑戰性的問題。近年來，隨機有限集被廣泛用于視頻多目標跟蹤[1-8]，但是由于新生目標的隨機性且未知，給該方法的使用帶來一定的困難，頻繁的目標交叉運動和遮擋使跟蹤效果難盡人意。隨著深度學習技術在計算機視覺方面的發展，目標檢測任務取得了明顯的成效，越來越多的檢測器精度因為有了深度網絡的加入有了明顯的提高[9-10]，例如基于區域建議網絡的實時目標檢測方法（faster regions with CNN features，Faster RCNN）[11]，尺度依賴池的目標檢測方法（scale dependent pooling，SDP）[12]，僅看一次的檢測方法（you look only once，YOLO）[13]等。由于檢測器的高準確度，越來越多的多目標跟蹤任務采用檢測與跟蹤相結合的方法，利用目標檢測結果輔助跟蹤，如具有多個提示和切換器感知分類的多對象跟蹤[14]、僅用檢測器的跟蹤（tracking without bells and whistles，Tracktor17）[15]、沒有用圖像信息的快速跟蹤（high-speed tracking-bydetection without using image information，IOU17）[16-17]等，采用檢測框信息進行跟蹤[18]，文獻[3-4]中提出融合不同檢測器的結果進行跟蹤，雖然取得了一定的效果，但大都完全依賴于檢測器的精確性。后期提出的多目標跟蹤與分割方法[19]、基于決策的在線多目標跟蹤[20]方法進一步提升了對目標的檢測精度，但由于檢測仍然具有虛假檢測、漏檢等問題，無法進行有效的數據關聯，使得虛假軌跡和漏跟目標增多。

針對上述問題，本文將目標的檢測框信息和核相關濾波（kernelized correlation filters，KCF）[21]算法相結合，檢測信息可以彌補目標跟蹤算法中跟蹤框無法自適應調節的不足。KCF 不需要大量數據進行訓練，具有適應強，魯棒性好，速度快等優點，本文的主要工作為：（1）將KCF 運用到多目標跟蹤中，但由于KCF 無法自適應地根據目標尺寸變化而調整目標框的大小，且在遇到目標遮擋的情況下會發生目標模板受到污染從而產生偏移，本文將融入置信圖的平滑約束機制來評估目標被遮擋程度，從而實現目標模板的自適應更新，用于處理目標遮擋的模板污染問題。（2）引入速度信息，從而能夠處理目標在被遮擋時的跟蹤問題，在目標完全被遮擋的情況下以實現正確持續跟蹤，減少碎片的軌跡；對虛假檢測框等問題，本文采用IOU17 算法[16]中的方法，去除一些不符合條件的軌跡，以減少虛假錯誤的跟蹤框。

1 KCF

1.1 KCF 原理

在視頻序列的兩幀之內，目標的移動不是特別劇烈。KCF 通過提取圖像塊的方向梯度直方圖（histograms of oriented gradients，HOG）[22]、顏色特征以及灰度特征進行判別式學習，并循環位移產生一系列正負樣本X。

隨后將循環矩陣X映射到核空間內，放入分類器中進行訓練，即在損失函數最小的情況下獲得嶺回歸的最優解。非線性嶺回歸目標函數表示為：

式中，xi為目標樣本向量，yi為回歸模型，將輸入特征的所有循環視為具有高斯加權標簽的訓練樣本，φ(·)為高斯核函數，將樣本映射到非線性空間，便于樣本分類，λ為正則化參數。

在求解非線性回歸中的w時，如果將樣本數據xi映射到高維空間，那么就需要一個核函數φ(·)，這里采用的核函數為高斯核函數，這時由嶺回歸的最小二乘優化方法可以得到w最終表示為：

此問題轉化成求最優解α的問題，式（1）的解將化簡為式（3），其中表示離散傅里葉變換。

由循環矩陣的性質可知kxx也為循環矩陣，這里取核矩陣K=C(kxx)的第一行，C(·)表示循環矩陣。

訓練出了α之后，在k+1 幀的目標位置上，擴大范圍，尋找與k幀中目標i相似度最高的位置。由于在視頻序列的兩幀之內，目標的移動不是特別劇烈，擴大搜索范圍的倍數可根據視頻中運動目標的劇烈程度決定。根據上一幀的目標位置在這一幀的圖像中選取圖像塊，采用相同的方法提取圖像塊特征，得到樣本集合z，放入已經訓練好的濾波器中進行計算，獲得響應熱圖[21]，具體操作如下：

由響應熱圖輸出最大值的位置作為目標在這一幀的位置，分配相同的目標標簽，目標模板更新以及分類參數更新部分將采用自適應的方式來更新，KCF的整個過程如圖1 所示。

Fig.1 KCF architecture diagram圖1 KCF 架構圖

1.2 模板自適應

文獻[23-25]對KCF 都進行了一些改進，但大部分只是將目標的寬高進行等比例的縮放，適合對剛體目標尺寸的變化，但對非剛體，如行人等，會隨著姿態的改變，導致寬和高的尺寸變化不成比例。針對該問題，借助每幀檢測信息自適應更新目標框的寬和高。

Fig.2 Δ calculation description圖2 Δ 計算說明

Fig.3 SCCM score of 10 frames adjacent of some targets in MOT17-09 sequence圖3 MOT17-09 序列部分目標相鄰10 幀的SCCM 分數

其中，η表示模板更新參數。

圖3 為實驗中部分的SCCM 分數，第一行為105～114 幀SCCM 分數隨目標遮擋的變化情況，第二行為100～109 幀SCCM 分數隨目標遮擋的變化情況。由圖3 可知當目標在相鄰兩幀內沒有發生大量的形變或者遮擋時，響應熱圖的變化不大，都是在目標位置的高度響應，SCCM 的值在0 到1 之間，如圖3 前5 幀；而當目標發生大范圍的遮擋或者形變時，響應熱圖的最大值將會減少，SCCM 的結果也會變大（>1），如圖3后5 幀。在MOT17 訓練集上的跟蹤效果隨閾值σt的變化情況如圖4 所示，這里考慮了3 種不同檢測器的跟蹤效果，可以看出當σt=1 時3 種檢測器的跟蹤效果最佳。

Fig.4 Change of tracking effect of MOT17 training set with σt value圖4 MOT17 訓練集跟蹤效果隨σt 取值的變化情況

2 運動信息優化相關濾波的多目標跟蹤算法

2.1 速度模型

當兩幀之間存在大位移目標運動時，僅靠KCF將難以準確跟上目標，而速度信息能輔助預測目標的位置信息，從而提高對目標的跟蹤性能。通過選取目標框中心點計算目標速度，根據目標的位置和運動信息，構建運動模型。目標i在k幀的狀態為rk=(xk,yk,wk,hk,l)，xk、yk、wk、hk分別表示為目標i在k幀的橫坐標位置、縱坐標位置、目標框的寬、目標框的高，l表示目標的標簽，θ為學習權重，表示目標i在第k+1 幀時橫坐標方向上的速度，表示目標i在第k+1 幀時縱坐標方向上的速度，速度更新公式表示為：

2.2 去除虛假檢測框

去除虛假檢測框的時候，引入IOU17 的算法，去除檢測框置信度分數較低和軌跡較短的目標，其中IOU 的計算公式表示為：

式中，Area(a) 表示目標a的目標框區域，Area(a)?Area(b)表示目標a與目標b相交部分的區域面積，Area(a)?Area(b)表示目標a與目標b的并區域面積。

2.3 算法流程

提出算法框架如圖5 所示，先根據k幀的跟蹤結果，結合速度信息對k+1 幀的跟蹤結果進行位置預測，再采用KCF 進行進一步跟蹤，對KCF 結果分數較高的目標位置與當前幀k+1 幀的檢測信息進行IOU操作，從而能跟上漏檢的目標。對KCF 分數較低的進行遮擋判斷，判斷的具體方法如2.1 節速度模型中的平滑濾波所示，最終得到了k+1 幀的跟蹤結果，并更新速度信息。

Fig.5 CF multi-target tracking algorithm framework based on improved motion information圖5 運動信息優化CF 的多目標跟蹤算法框架

提出算法流程如下：

2.將Tk+1中的剩余結果作為新生目標，放入Rk+1中，作為新生目標；

3.更新速度信息；

通過算法流程可知，IOU 部分和SCCM 改進的KCF 為本算法中最主要的兩部分，與原本用于單目標跟蹤的KCF 不同，這里將KCF 算法用在了多目標跟蹤中，并做了模板自適應更新的改進，因此計算量是KCF 單目標跟蹤的n倍。而新生目標的判斷計算需要和已有目標進行IOU 計算，因此時間消耗將為O(n2)，其中IOU 以及KCF 計算量較少。

3 實驗

通過實驗，在MOT2017 的訓練集上驗證所提出算法的效率，并且與用于多目標跟蹤的深度親和網絡方法SST（structure sparse tracking）[27]，具有深度關聯度量的簡單在線實時跟蹤方法Deep Sort[28]，簡單的在線和實時跟蹤方法Sort[29]和IOU17 算法進行比較。

3.1 實驗環境及參數

實驗是在處理器為Intel Core i7-8700、3.2 GHz，12 核，內存為16 GB，顯卡為NVIDIA Geforce GTX 1080 Ti 的機器上進行，采用Matlab R2019b 的軟件編寫。為了在不同方法之間進行公平的比較，本文采用不同的檢測器，DPM（discriminatively trained partbased models）[30]、Faster RCNN、SDP 的結果來進行比較，其中DPM 的召回率較好，但產生許多虛假檢測框，而SDP 是在Faster RCNN 的基礎上提出的改進，檢測的準確度較高。表1 所示的是MOT17 訓練集上視頻序列所具有的問題。其中05、10、11 和13 序列是在移動的攝像頭下拍攝的視頻，02 為視線較為昏暗的情況，MOT17 都為日常生活中密集人群的視頻序列，對目標遮擋、交叉運動的處理至關重要。其中，02 的檢測效果最差，04 序列為檢測效果最好。本文通過對比目前較為成熟的跟蹤方法SST、Deep Sort、Sort 和IOU17 來分析本文方法的效果。這幾種方法都采用先檢測后跟蹤的思想，其中，SST 用深度網絡實現對目標的端到端表觀特征提取和數據關聯，但是處理模糊目標和虛假目標的跟蹤有所欠缺。Sort采用了卡爾曼濾波和交并比的方法，對目標軌跡進行關聯，但該方法較為依賴檢測的精確度，而Deep Sort 在Sort 的基礎上對虛假檢測框判斷和采用重識別網絡，將碎片化的軌跡關聯起來。IOU17 是所有跟蹤算法中跟蹤速度最快的方法，并且可以處理虛假軌跡，但是和SST 一樣，對于檢測器的精確度依賴較大。

Table 1 Test video sequences表1 測試視頻序列

算法中的具體參數設置如下：K=30，tIOU=0.6，tKCF=0.5，σt=1，η=0.5。本算法中響應熱圖的最大值及最小值之間的差為1 之內，而同一目標相鄰的兩幅響應熱圖相差的值并不會太大，若σt的值太小，將不能保證目標模板的實時性更新，若σt的值太大，將無法處理目標模板受到污染的問題，因此將SCCM的閾值設為1，既能保證目標模板實時更新，又能避免模板受到大面積污染的問題。

本文采用MOTChallenge Benchmark 提供的評價算法[31]，評價標準包含多目標跟蹤精度（multiple object tracking precision，MOTP）、多目標跟蹤正確度（multiple object tracking accuracy，MOTA）、總誤跟數（false positives，FP）、總漏跟數（false negatives，FN）、標簽跳變數（identity switches，IDS）等指標，其定義如下：

（1）多目標跟蹤正確度（MOTA）

MOTA 為視頻多目標跟蹤中最廣泛使用的評價標準，平衡了真實值（ground truth，GT）、誤跟數（FP）、漏跟數（FN）和標簽跳變數（IDS）這4 個指標。

由于誤跟數、漏跟數和標簽跳變數的和能比真實框多，MOTA 能取到負值，當跟蹤算法能完全跟上目標且不產生誤跟框時，MOTA 取得最大值1，因此MOTA 的取值范圍將為(-∞,1]。

（2）多目標跟蹤精度（MOTP）

其中，dk,i表示的是k幀上第i個目標與目標真實框的重疊率，ck表示的是第k幀中目標匹配的數目。取值范圍在0.5 到1.0 之間。重要的是，MOTP 提供的是定位精度的衡量，幾乎沒有提供跟蹤器實際性能的信息。

（3）總誤跟數（FP）

由于跟蹤器跟錯目標，產生了無法與真實目標進行匹配的跟蹤框，將這些錯誤跟蹤框的總數稱為總誤跟數。

（4）總漏跟數（FN）

由跟蹤器漏跟導致的，沒有跟蹤框能與真實目標進行匹配的總數目即為總漏跟數。

（5）標簽跳變數（IDS）

跟蹤器在跟蹤過程中對原本是同一目標的軌跡產生了碎片化的分割，從而將原本一條軌跡劃分了多條軌跡，從而產生了標簽跳變。標簽跳變數即為跟蹤過程中目標標簽發生的變化次數。

3.2 實驗結果的定性分析

（1）目標緊鄰運動、遮擋

在09 視頻序列中描述的是一個在商店門口的復雜多人行走交互的場景，在IOU17、Deep Sort 等跟蹤算法中，當橢圓區域的兩個行人發生交匯時，會出現遮擋問題。在IOU17 中，由于遮擋導致的檢測框無法檢測到，被遮擋人的跟蹤框會消失。而提出的方法根據前幾幀目標的速度，預測下一幀的跟蹤框位置，并利用平滑濾波保證預測的準確性，因此能準確保留被跟蹤者的跟蹤框。具體的跟蹤效果如圖6 所示，橢圓表示被遮擋的目標，速度信息已在圖6（d）Proposed 的跟蹤框中心處標出，相鄰6 幀的位置信息已在跟蹤框的下面用實心圓點標出。

Fig.6 Tracking results of occlusion in sequence 09(ellipse means blocked object)圖6 09 序列中存在遮擋情況時的跟蹤結果（橢圓表示被遮擋的目標）

（2）目標模糊

在10 序列中，相機是可移動設備，由于相機的劇烈抖動導致目標模糊，這也是日常生活中移動設備經常遇到的問題。即使是效果相當優秀的檢測器在面對目標模糊的時候也難以準確檢測出來，這就需要跟蹤器能發揮其作用，根據清晰時刻的檢測框進行跟蹤。IOU17、Deep Sort和SST 算法無法跟蹤模糊目標，而提出算法能對模糊目標進行穩定持續的跟蹤，具體跟蹤效果對比如圖7 所示，橢圓表示沒有跟蹤上的目標。

Fig.7 Tracking results of fuzzy targets in sequence 10(ellipse means fuzzy missed target)圖7 10 序列中存在目標模糊的跟蹤結果（橢圓表示模糊的被漏跟目標）

（3）去除虛假軌跡

在檢測器對圖像進行行人檢測時，會出現一些虛假檢測框，如果跟蹤器不加判斷，直接進行跟蹤將會產生一系列的錯誤跟蹤框。SDP 檢測器和SST 結果中，車子附近存在由于虛假檢測框而產生的錯誤跟蹤，而提出算法能較好地剔除這些虛假軌跡。具體的跟蹤效果如圖8 所示，橢圓表示虛假軌跡。

Fig.8 Tracking results of false frame in sequence 13(ellipse means false track)圖8 13 序列中存在虛假框的跟蹤結果（橢圓表示虛假軌跡）

（4）漏檢

IOU17、Deep Sort、SST 等算法都不能很好地檢測漏檢的目標，遇到漏檢即跟丟，這是由于太過依賴于檢測結果，而提出算法融合了KCF 的跟蹤優勢，能準確地處理漏檢問題。具體的跟蹤對比效果如圖9所示，橢圓表示漏檢的目標。

Fig.9 Tracking results of missed detection in sequence 11(ellipse means missed detected targets)圖9 11 序列中存在漏檢時的跟蹤結果（橢圓表示漏檢的目標）

（5）跟蹤框漂移

在SDP 的檢測結果中，被遮擋目標在410 幀時就因為發生大面積遮擋而沒有被檢測到，如圖10（a）所示。在采用了KCF 跟蹤后，由于目標模板一直在更新，會存在目標模板被污染的問題，從而導致跟蹤框漂移，如圖10（b）所示，從410 幀開始被遮擋目標的跟蹤框就發生了偏移。而在加入了SCCM 機制后，跟蹤器能夠更加準確地跟上目標，提升多目標跟蹤的準確度，具體的跟蹤結果如圖10（c）所示。

Fig.10 MOT17-09 tracking and comparison results圖10 MOT17-09 跟蹤對比結果顯示

（6）新生目標

本文新生目標的信息由檢測器的檢測結果來獲取，檢測器的檢測結果和跟蹤算法的效果同時決定了獲得新生目標的能力。檢測器的檢測結果越精確，算法獲取的新生目標越準確，從而能實現實時跟蹤，而算法對于檢測框是否是新生目標的判斷影響著新生目標的獲取能力。本文通過交并比和檢測框置信度分數來判斷新生目標，相較于Deep Sort 方法中被遺漏的兩個新生目標，本文方法能很好地提取出新生目標信息，并持續跟蹤，具體的跟蹤效果如圖11 所示。

Fig.11 Tracking results of new born targets in sequence 09(ellipse means miss targets)圖11 09 序列中新生目標的跟蹤結果（橢圓表示跟丟的目標）

3.3 實驗結果的定量分析

本文選取MOTA、FP、FN、IDS 和MOTP 這5 個指標對IOU17、Sort、Deep Sort、SST 和本文算法進行對比。表2 表示這5 種算法分別在這5 個指標上的表現情況，其中結合了DPM、FasterRCNN 和SDP 3 種檢測器的跟蹤結果（↑表示值越大越好，↓表示值越小越好）。從表2 中可以看出，提出的算法在MOT17 的訓練集上，增加了大量的跟蹤框，從而減少了漏跟數（FN）以及標簽跳變數（IDS），在MOTA、FN、IDS 這3個指標上的表現都優于其他4 種跟蹤算法。

表3～表5 這3 張表格分別列出了MOT17 數據集中，09、04、02 序列SDP 檢測器上的不同方法的跟蹤效果比較，其中04 序列的檢測器準確度較高，02 的檢測器準確度最差，09 的檢測器準確度一般（↑表示值越大越好，↓表示值越小越好）。從表3～表5 中可以發現，本文算法在不同復雜場景下的多目標跟蹤效果在MOTA 上都要優于其他4 種方法。

為了進一步體現本文算法的優勢，還做了3 組對比實驗，Proposed 表示融合了SCCM 機制，去除虛假檢測框以及速度信息的跟蹤算法，Proposed_2 表示為沒有運用速度信息和平滑濾波的算法，Proposed_3 表示為沒有運用去除虛假檢測框的算法，Proposed_4 為沒有運用SCCM 機制的跟蹤算法。表3～表5 分別是檢測結果一般、較好、較差的3 種視頻序列。最終發現，融合了速度信息可以對目標的運動軌跡進行預測，從而減少漏跟數量（FN），但是在遇到較差的檢測結果后，預測的運動軌跡也會產生大量的誤跟結果；添加了去除虛假檢測框操作，雖然會造成少量的漏跟數（FN），但是會大量減少誤跟數（FP），從而提高跟蹤精度；融入了SCCM 機制可以避免跟蹤框因為遮擋而產生漂移，從而漏跟目標的情況。最終，通過實驗證明，結合了速度信息、去除虛假檢測框操作和SCCM 機制的跟蹤算法在面對檢測器效果不同的3種情況時也能有不錯的跟蹤表現。

Table 2 Comparison of MOT17 tracking methods表2 MOT17 跟蹤方法比較

Table 3 Comparison of various algorithms of SDP detector in MOT17-09表3 MOT17-09 序列SDP 檢測器各種方法比較

Table 4 Comparison of various algorithms of SDP detector in MOT17-04表4 MOT17-04 序列SDP 檢測器各種方法比較

Table 5 Comparison of various algorithms of SDP detector in MOT17-02表5 MOT17-02 序列SDP 檢測器各種方法比較

Table 6 Results of proposed method in MOT17 training set表6 本文方法在MOT17 訓練集結果

實驗結果表明，比較其他4 種方法，提出的算法在MOTA 這個指標上有更好的表現，因為漏跟目標（FN）的數量減少了，而MOTA 與FN 息息相關。即使在場景十分復雜，攝像頭抖動的情況下，本文算法也能較好地實現多目標的跟蹤任務。表6 表示本文算法在MOT17 不同的視頻序列以及不同的檢測器下的跟蹤結果，其中FRCNN 即為Faster RCNN 檢測器（↑表示值越大越好，↓表示值越小越好）。從表中可以看出，在DPM 檢測器下的跟蹤效果較差，在SDP 檢測器下的跟蹤效果較好。

4 結束語

本文提出了一種運動信息優化相關濾波的多目標跟蹤算法，在檢測跟蹤的基礎上，融入KCF 算法，采用檢測器得到的檢測結果彌補KCF 無法及時獲得新生目標信息，以及跟蹤框大小無法自適應目標變化的缺陷，KCF 能夠有效地處理檢測器漏檢，并運用SCCM 機制處理KCF 的模板污染問題，融合IOU17算法去除虛假檢測框。此外，結合目標的運動信息，采用平滑濾波的方法，處理目標跟蹤中受遮擋目標的跟蹤，從而將大量碎片化的軌跡整合成一條連續運動軌跡。最后通過實驗證明，提出算法能夠較好地實現多目標的跟蹤任務。