基于孿生網絡的多目標跟蹤算法

盧錦亮

（華南理工大學 數學學院，廣東 廣州 510640）

目標跟蹤是計算機視覺領域重要的組成部分，已在視頻監控[1]、自動駕駛[2]等方面得到廣泛的應用，根據跟蹤目標數量的不同，可以分為單目標跟蹤和多目標跟蹤。單目標跟蹤領域的目的在于只給定視頻第一幀單目標的位置信息，預測該目標在后續幀中的位置；多目標跟蹤的目的在于對不具有任何先驗信息的視頻數據中可能存在的目標進行跟蹤。隨著深度學習算法和計算機硬件的不斷發展，目前在單目標跟蹤[3-5]和多目標跟蹤[6-9]方面的研究和應用越來越多。

在單目標跟蹤方面，孿生神經網絡成為了深度學習跟蹤方法的主流，Bertinetto 等人首次將孿生全卷積神經網絡應用在單目標跟蹤領域中，提出了SiamFC 算法[3]。Li等[4]人在SiamFC 基礎上引入了Faster R-CNN 算法[10]的RPN 算法[10]，提出了SiamRPN 算法，在目標定位和邊界框微調上都取得了巨大的提升。針對孿生網絡結構受到絕對平移不變性和卷積對稱性的限制，Li 等[4]人提出了：（1）空間感知采樣策略；（2）按通道的互相關；（3）多層次聚合方法，使得SiamRPN++算法能夠使用深層網絡，如ResNet-50[11]作為骨干網絡，從而提出了SiamRPN++算法[5]。

在多目標跟蹤方面，基于檢測的跟蹤（Tracking-by-Detection，TBD）是多目標跟蹤研究領域中十分流行的范式。基于TBD 范式，Bewley 等人提出了SORT 算法[6]。針對SORT 算法存在目標被遮擋之后目標ID 頻繁切換的問題，Wojke 等人在SORT 算法的基礎上引入重識別特征和級聯匹配方式提出了DeepSORT 算法[7]。針對Deep－SORT 算法中檢測網絡和重識別網絡之間權重不共享問題，Wang 等[8]人在YOLOv3 算法[12]的基礎上，將單一輸出擴展為三種輸出，提出了JDE 算法。針對YOLOv3 算法中容易出現先驗框和目標不對齊導致網絡歧義的問題，Zhang 等人在JDE 的基礎上進行了改進：（1）使用Cen terNet 算法[13]作為目標檢測算法；（2）將重識別特征從256 維降低到128 維，多方面提升了多目標跟蹤算法的性能，提出了目前代表最高水平的FairMOT 算法[9]。

首先，針對SiamRPN++算法在有語義和外觀均相似行人的場景下存在跟蹤結果在正確和錯誤之間頻繁切換的問題，受Wu[14]、Luo[15]等人對行人重識別研究的啟發，本文使用重識別特征對算法進行改進，提出EmSiamRPN算法，該算法利用重識別特征對SiamRPN++算法原始的預測進行重排序，解決跟蹤結果切換的問題。其次，針對FairMOT 算法中卡爾曼濾波器存在手工設計關鍵參數問題，本文使用EmSiamRPN 算法代替卡爾曼濾波器，提出了EmSiamMOT 算法，該算法利用孿生網絡單目標跟蹤算法端到端訓練的優勢，避免了手工設計卡爾曼濾波器中的關鍵參數，從而使得算法能夠進行端到端的訓練。

1 相關工作

1.1 SiamRPN++算法

SiamRPN++算法的網絡結構如圖1 所示。SiamRPN++算法使用孿生全卷積神經網絡分別提取初始幀的目標（Target）圖像特征和后續幀的搜索（Search）圖像特征，然后在Siamese RPN 模塊使用卷積模塊分別提取目標圖像特征和搜索圖像特征的分類特征，記為[φ（z）]cls、[φ（x）]cls和回歸特征，記為[φ（z）]reg、[φ（x）]reg。式（1）給出了Siamese RPN 模塊中通過對分類特征之間的互相關和回歸特征之間的互相關來計算目標識別和定位的信息。最后，SiamRPN++算法對圖1 中多個Siamese RPN 模塊輸出的得分響應圖進行加權平均以聚合低級語義和高級語義信息，并以此得到最終的單目標跟蹤結果。

圖1 SiamRPN++網絡結構[5]

其中w和h分別表示目標-搜索分類（回歸）圖像特征互相關后對應得分響應圖的寬高，k表示RPN 中先驗框的數量，*表示互相關。

1.2 FairMOT 算法

FairMOT 算法主要由兩個部分組成：（1）目標檢測部分：使用CenterNet 算法，網絡結構如圖2 所示，對視頻幀中可能存在的目標進行檢測；（2）軌跡關聯部分：首先使用卡爾曼濾波器對之前已經存在的軌跡進行預測，然后使用匈牙利算法基于重識別特征的余弦距離如式（2）所示、馬氏距離如式（3）所示和IOU 距離如式（4）所示對預測后軌跡和步驟（1）中新檢測的目標進行線性分配以實現身份的傳遞。

圖2 FairMOT 算法中目標檢測部分的網絡結構

其中Si檢測i的邊界框的面積，Sj表示軌跡j的邊界框的面積，Si∩j表示檢測i邊界框和軌跡j邊界框交集的面積。若檢測i邊界框和軌跡j邊界框相離，則Si∩j=0。

2 EmSiamMOT 算法

2.1 EmSiamRPN 算法

在對SiamRPN++算法在多目標場景下跟蹤效果的觀察中，發現當場景中存在多個語義和外觀都相似的行人時，SiamRPN++算法存在跟蹤結果在正確和錯誤之間頻繁切換的問題。這種問題對于TBD 范式中基于IOU 距離來分配檢測和軌跡是十分不利的，若記所要跟蹤的行人的身份為I，那么在跟蹤錯誤幀中通過IOU 距離來分配檢測和軌跡，身份I就會被傳遞到錯誤的行人身上。因此簡單地使用SiamRPN++算法代替FairMOT 算法中的卡爾曼濾波器是存在不足的。

在TBD 范式中，由于目標檢測先于目標跟蹤，因此對于SiamRPN++算法而言，目標檢測部分輸出的重識別特征是“免費”提供的。因此，本文利用這種“免費”提供的重識別特征來對SiamRPN++算法進行改進，提出EmSiamRPN 算法，如算法1 所示。

2.2 EmSiamMOT 算法

在FairMOT 算法中，對檢測和軌跡進行分配之前需要使用卡爾曼濾波器對軌跡進行預測，而卡爾曼濾波器中的多種參數均需要手工設計。在沒有足夠多先驗知識的情況下，設計出符合多目標跟蹤算法的參數是極其困難的。本文所提出的EmSiamRPN 算法是數據驅動的，不需要手工設計參數。因此，針對FairMOT 算法中卡爾曼濾波器手工設計關鍵參數的問題，本文使用EmSiamRPN 算法代替卡爾曼濾波器，提出EmSiamMOT 算法。

在EmSiamMOT 算法中，對當前軌跡集合中的每一個軌跡都分配一個EmSiamRPN 跟蹤算法。在對檢測和軌跡進行分配之前，使用每個軌跡自身的跟蹤算法基于軌跡在當前時間步中的邊界框大小位置、圖像信息、重識別特征信息以及下一個時間步的視頻幀圖像信息，來預測軌跡在下一個時間步中邊界框的位置大小和重識別特征。EmSiamMOT 算法的流程如算法2 所示。

3 實驗結果與分析

3.1 實驗設置

為了確保實驗結果的可比性，所有實驗均在硬件條件為Intel i7-9700K 3.6GHz CPU、NVIDIA RTX2070 Super GPU 以及32G 內存的個人計算機上進行，數據集使用MOT Challenge 2016（MOT16）[16]作為測試集。以上述實驗環境和數據集為基礎，本節分別設置兩個實驗。

（1）單目標跟蹤算法的對比分析。通過SiamRPN++算法和EmSiamRPN 算法在多目標跟蹤場景下單目標跟蹤對比實驗，驗證使用重識別特征改進SiamRPN++算法的有效性。

（2）多目標跟蹤算法的對比分析。通過FairMOT 算法和EmSiamMOT 算法的對比實驗，驗證使用EmSiamRPN算法代替卡爾曼濾波器的有效性以及驗證EmSiamMOT算法相比于FairMOT 算法在多目標跟蹤結果上的提升。

3.2 單目標跟蹤算法的對比分析

在使用FairMOT 算法中目標檢測部分的重識別特征輸出作為EmSiamRPN 算法中重識別特征輸入的情況下，SiamRPN++算法和EmSiamRPN 算法在MOT16-03 視頻中某一目標上的單跟蹤結果如圖3 所示。

從圖3 可知，由于在預測時引入了重識別特征信息，在場景中存在多個語義和外觀都相似的目標時，EmSiamRPN 算法能夠很好地區分要跟蹤的目標和非跟蹤的目標，而SiamRPN++算法由于只基于圖像信息進行預測，導致出現了錯誤識別的情況。

如圖3 所示，EmSiamRPN 算法能夠對目標進行很好的跟蹤。圖3（d）中，當兩個語義和外觀都十分相似的目標發生互相遮擋時，SiamRPN++算法基于目標的外觀信息給出了錯誤的預測直到第243 幀，在錯誤跟蹤結果被遮擋后才恢復正確的跟蹤結果。而對于EmSiamRPN 算法，由于在跟蹤策略中使用了重識別特征信息對目標中心進行修正，因此在相似的目標發生互相遮擋的情況下仍然能夠做出正確的預測。

圖3 EmSiamRPN 算法和SiamRPN++算法的跟蹤結果對比

綜上所述，可以認為針對SiamRPN++算法在有語義和外觀均相似行人的場景下存在跟蹤結果在正確和錯誤之間頻繁切換的問題，算法1 中利用重識別特征對SiamRPN++算法的預測結果進行重排序的改進方法是有效的。

3.3 多目標跟蹤算法的對比分析

在本實驗中，使用的數據是MOT16 數據集中訓練集數據，對比實驗對象為FairMOT 算法和EmSiamMOT 算法。選取的衡量算法性能的評價指標為：ID F1 值（IDF1）、ID 精確率（IDP）、ID 召回率（IDR）、ID 切換總數（IDs）、多目標跟蹤準確度（MOTA）和多目標跟蹤精確度（MOTP），表1 給出了不同評價指標的描述。

表1 多目標跟蹤算法的評價指標

兩種不同算法的多目標跟蹤結果如表2 所示，其中↑表示指標值越高越好，↓表示指標值越低越好，加粗的指標值表示該算法在取值越高越好的指標中領先，斜體的指標值表示該算法在取值越低越好的指標中領先。

從表2 可知，EmSiamMOT 算法和FairMOT 算法有相似的多目標跟蹤結果。整體上，EmSiamMOT 算法在IDF1、IDP、IDR 和MOTP 指標上均有提升，在IDs 和MOTA 指標上略有下降。在不同視頻中，兩種算法互有優勢但差距不大。在視頻MOT16-10 的多目標跟蹤結果中，EmSiamMOT 算法與FairMOT 算法在除MOTA 和MOTP外的指標上差距最大，EmSiamMOT 算法在IDF1、IDP 和IDR 上分別提升了6.7%、7%和6.4%的同時減少了51 次ID 切換總數。

表2 兩種算法在MOT16 中的多目標跟蹤結果

通過對視頻數據的分析，發現MOT16-10、MOT16-11 和MOT16-13 均由移動中的攝像頭拍攝視頻，而其余的視頻為靜止的攝像頭所拍攝。在MOT16-10、MOT16-11和MOT16-13 當中，相比其他兩個視頻，MOT16-10 畫面中出現更大幅度的攝像頭移動，導致目標出現更嚴重的運動模糊，因為EmSiamRPN 算法對運動模糊的目標有較好的跟蹤效果，所以EmSiamMOT 算法比FairMOT 算法在IDF1、IDP、IDR 和IDs 上有較大的提升。

綜上所述，可以認為針對FairMOT 算法中卡爾曼濾波器手工設計關鍵參數的問題，使用EmSiamRPN 算法代替卡爾曼濾波器，得到能夠端到端訓練的多目標跟蹤算法EmSiamMOT 是可行且有效的。

4 結論

目標跟蹤作為計算機視覺研究領域的重要組成部分，本文針對SiamRPN++算法在有語義和外觀均相似目標的場景下存在跟蹤結果在正確和錯誤之間頻繁切換的問題，使用重識別特征對跟蹤算法進行了改進，提出了EmSiamRPN 算法，通過EmSiamRPN 算法和SiamRPN++算法在多行人場景下的單目標跟蹤對比分析驗證了EmSiamRPN 算法可以有效解決在存在外觀相似行人的場景下單目標跟蹤算法跟蹤特定目標的問題。針對FairMOT 算法中卡爾曼濾波器存在手工設計關鍵參數問題，本文通過使用EmSiamRPN 算法替代FairMOT 算法中的卡爾曼濾波器對算法進行了改進，提出了EmSiamMOT 算法，并且通過EmSiamMOT 算法和FairMOT 算法在公開數據集中多行人視頻的多目標跟蹤對比分析，驗證了該算法能夠有效解決卡爾曼濾波器手工設計關鍵參數問題，另外，相比于FairMOT 算法，EmSiamMOT 算法在目標出現運動模糊的情況下有更好的多目標跟蹤結果。