加強重識別的行人多目標跟蹤算法

王黎明，孫 俊，陳祺東

江南大學 人工智能與計算機學院，江蘇 無錫 214122

多目標跟蹤（multi-object tracking，MOT）是計算機視覺領域中的重要任務之一[1]。其目的是同時識別與跟蹤視頻中的多個目標，并為每個目標分配唯一且長時間有效的ID 編號，以獲得目標的運動軌跡。根據使用視頻序列的方式，可將多目標跟蹤分為在線多目標跟蹤和離線多目標跟蹤兩類。離線跟蹤能綜合視頻全局信息獲得較好的跟蹤效果，但在線跟蹤更符合現實應用場景，也是目前多目標跟蹤的熱門研究方向。然而，由于在線跟蹤無法利用視頻后續圖像信息，因此跟蹤效果更依賴于當前圖像的目標檢測精度。在尺度變換和頻繁遮擋等復雜場景下，檢測精度降低會導致跟蹤效果變差。如何在兼顧實時性的同時提高跟蹤魯棒性，仍存在一些挑戰。

隨著深度學習在圖像領域的快速發展，目標檢測算法的精度不斷提高[2-6]，很多學者選擇基于檢測的跟蹤策略（tracking by detection，TBD）[1]。TBD 方法將高精度檢測器與Re-ID[7]算法結合，獲得了較好的跟蹤性能。其中Re-ID 算法常利用深度學習模型提取目標表觀特征，再通過歐式距離、余弦距離等度量函數進行特征間的相似性分析，從而引入目標間的區分度，減少跟蹤目標的誤匹配。根據Re-ID特征提取方法的不同，多目標跟蹤又分為SDE（separate detection and embedding）和JDE（joint detection and embedding）兩類[8]。SDE 方法的Re-ID特征提取獨立于檢測模型，使用單獨的特征提取網絡獲取目標圖像的表觀特征。雖然這種two-step方法可以獲得較好的表觀特征，但比較耗時，很難達到實時效果。JDE將目標檢測和embedding提取模塊集成到單一網絡中，能并行輸出圖像的檢測信息和Re-ID特征圖，再利用檢測信息獲取目標對應的特征向量，避免了特征重復提取的冗余計算。但one-shot 方法需要在單一網絡中提取檢測和表觀兩種不同的特征，很難使兩個任務同時達到最好的效果，且通過檢測信息定位特征向量容易產生偏差，導致Re-ID 特征模糊問題，因此其跟蹤精度往往低于two-step 方法。FairMOT[9]通過融合深層和淺層特征來緩解檢測與表觀特征之間的矛盾，并使用基于無錨檢測的CenterNet[5]作為檢測器，來減小Re-ID特征的模糊性，進一步提升了跟蹤精度，并達到實時要求。

但CenterNet 是基于中心點的檢測算法，用于跟蹤訓練時，僅將Re-ID特征圖中目標中心點處的特征向量送入分類器進行分類學習。因此每個目標僅包含一個可學習特征向量，在Re-ID 特征圖上的范圍較小，特征質量不高。同時，由于CenterNet存在檢測偏差，若未命中目標中心點，則無法準確定位特征圖上的可學習特征位置，導致Re-ID 任務過分依賴于檢測精度。因此，即使Re-ID特征圖有高質量的表觀特征，也無法通過定位信息準確獲取，從而影響Re-ID 效果，降低跟蹤精度。為加強Re-ID特征提取的魯棒性，本文從檢測和特征范圍兩方面進行改進：首先，通過設計中心點檢測偏差損失，抑制預測熱力圖中非真值位置的響應值大小，使高響應值向目標真值位置逼近，提升檢測效果和Re-ID 可學習特征位置的命中率，減小檢測偏差對特征提取的影響。其次，提出Re-ID 可學習特征動態擴充策略，根據目標尺度對其在Re-ID特征圖上的可學習特征范圍做自適應擴充，通過擴大可學習特征范圍來提高Re-ID 任務對檢測偏差的容忍度。這樣即使存在定位偏差也能保證Re-ID 特征質量，減小Re-ID 對檢測精度的依賴。

1 相關工作

1.1 多目標跟蹤

目前在線多目標跟蹤方法主要分為two-step 和one-shot 兩種類型。其中two-step 為兩步式，首先使用高性能目標檢測器檢測目標位置，再根據檢測框裁剪出目標圖像，并輸入ID嵌入網絡提取Re-ID特征用于軌跡關聯。例如DeepSort[10]算法使用YOLOv3[4]作為檢測器，在Sort[11]的基礎上引入Re-ID外觀模型和運動模型，并提出級聯匹配策略，提高了跟蹤魯棒性。POI[12]使用Faster R-CNN[2]作為檢測器，并結合多尺度特征提高跟蹤精度。由于two-step 方法可以對檢測算法和ID 嵌入網絡單獨訓練，兩個任務可以分別得到最優模型，使算法有較高的跟蹤精度。但跟蹤過程需要兩個模型依次處理，難以達到實時效果。

JDE方法的提出使one-shot多目標跟蹤受到廣泛關注，其目的是在一個單一網絡中并行輸出目標的檢測結果和Re-ID特征，以端到端的方式提取視頻序列中的跟蹤信息，提高跟蹤效率。一個實現one-shot MOT 的簡單有效方法是將Re-ID 特征提取網絡嵌入現有檢測器中，如在檢測器頂端添加與檢測頭并行的Re-ID 模塊，使其與檢測器共享特征提取網絡。目前one-shot 算法大多采用上述方法，例如Track-RCNN[13]在Mask R-CNN[3]檢測器頂端添加全連接層，可以同時為每個提議回歸檢測框和Re-ID特征，但Mask R-CNN是兩階段目標檢測器，仍達不到實時效果。JDE在單階段檢測器YOLOv3上添加Re-ID 模塊，不僅達到領先two-step 方法的跟蹤精度，而且有接近實時的跟蹤效果。FairMOT指出JDE方法在單一網絡中提取檢測和Re-ID 特征存在不公平等問題，并采用基于anchor-free 的CenterNet，超越了two-step方法的跟蹤精度，并實現了實時跟蹤。

1.2 重識別

行人重識別是利用計算機視覺技術檢索圖像或視頻序列中是否存在特定行人的技術[14]。在多目標跟蹤任務中，常利用重識別算法引入目標間的區分度，來提高跟蹤算法的匹配精度，減少誤匹配。同時重識別的特定目標再識別能力可以幫助丟失目標的軌跡重新匹配再次出現的目標，提高跟蹤魯棒性。重識別任務主要包含表觀特征提取和相似性度量兩個部分。傳統方法采用手工提取圖像特征，但手工特征描述能力有限，很難適應復雜場景，而基于深度學習的方法可以自動學習目標的復雜特征，且使用簡單的度量函數進行相似性度量就可以取得很好的性能[15]。因此很多學者關注于特征質量的提升，如文獻[16]采用多分支網絡提取目標特征，通過多分支協作來加強網絡對行人特征的學習。文獻[17-18]通過增強特征融合來提高表觀特征的魯棒性，文獻[19]通過遷移衣服特征來消除行人衣服特征的差異。同時因全局特征易受環境因素干擾，識別精度較低等問題，基于局部特征的方法也迅速發展[20-21]。相似性度量常使用距離度量函數如歐氏距離、余弦距離等來判斷特征的相似度，同時也有對度量算法的研究，如文獻[22]使用組合度量策略來提高模型泛化能力。此外，還有使用GAN網絡通過數據增強來解決行人重識別難點的方法[23-24]。

2 模型

本文同樣采用上述one-shot方法，使用CenterNet作為檢測器，添加與檢測頭并行的Re-ID模塊，使其與檢測器共享特征提取網絡，如圖1 所示。其中Strengthened Re-ID通過擴大Re-ID可學習特征范圍來提高特征向量質量，從而加強Re-ID 效果。同時模型對預測heatmap響應值進行約束，以提高中心點檢測精度，從而更準確的命中可學習特征位置，保證Re-ID 特征質量，加強重識別效果。

2.1 骨干網絡

為滿足檢測與重識別對特征提取的不同需求，本文編碼器-解碼器網絡采用DLA34[9]網絡，如圖2所示。該網絡包含很多低維特征與高維特征的跳躍連接，能更好地融合深層和淺層特征，提取目標定位與表觀信息。其中Stage 為樹狀連接[25]，Sum Node 為加和操作，數字代表下采樣倍數，輸入圖像大小統一為1 088×608，輸出大小為64×272×152的特征圖。

2.2 檢測模塊

檢測模塊由Heatmap head、Offset head和Box head三個預測頭組成，分別對目標中心點、中心點偏移補償和中心點到box 邊框的距離進行預測，得到檢測結果。本文通過構造中心點檢測偏差損失，使預測位置向GT位置逼近，從而提高檢測效果。

2.2.1 Heatmap檢測偏差

Heatmap head輸出大小為272×152的熱力圖，用于預測目標中心點位置。但通過heatmap預測目標中心點容易出現預測位置偏移，無法準確命中目標GT 位置的情況。如圖3為一目標的預測熱力圖與GT熱力圖的對比，其中數字為響應值，坐標軸標注為熱力圖中的坐標位置。三角標記為目標GT位置（GT響應值為1），菱形標記為預測目標的最高響應值位置，即預測目標位置，可以看出預測位置與GT位置存在一個單位的偏差。雖然這種微小偏差對檢測精度的影響較小，但由于Re-ID特征圖僅在GT 位置設置可學習特征向量，因此細微的偏差也會導致無法準確定位可學習特征位置，影響Re-ID效果。

為解決該問題，本文將預測位置到對應GT 位置的距離定義為距離偏差，并以高響應值的平均距離偏差構建檢測偏差損失，來抑制非GT位置的預測響應值大小，使預測位置更接近GT，進一步提高檢測精度，如圖1中Improved heatmap所示。如此，以目標GT位置為中心，響應值較高的預測位置距GT越遠，帶來的損失越大，對其響應值的抑制效果越強，相反，越靠近GT 位置，對高響應值的抑制效果越小，從而使預測高響應值向GT 位置靠攏，實現對檢測偏差的修正。例如圖3預測熱力圖中GT位置的預測響應值為0.92，而周圍非GT處存在相近以及更高的預測響應值，如預測位置為0.94。構建偏差損失后，GT 處檢測偏差為零，沒有抑制效果，但對其余位置的高響應值均有不同程度的抑制，從而保證GT處有最高響應值，將預測位置修正到GT。

2.2.2 Heatmap損失計算

Heatmap 損失包括響應值預測損失和檢測偏差損失，預測損失定義為預測響應值與GT響應值的誤差，由于中心點檢測存在正負樣本和難易樣本比例失衡的問題，為減小樣本不均勻的影響，損失函數沿用CenterNet中的focal loss[26]，計算定義如下：

其中，N為目標個數，α=2 用于控制易分類樣本權重，β=4 用于減少負樣本權重占比，R^xy為heatmap在(x,y)處的預測響應值，Rxy為GT響應值，計算如下：

從上式可以看出當Lp較大時，系數e-Lp較小，因此Ld對Lhm幾乎無影響。但隨著Lp不斷減小，檢測偏差損失會逐漸增加約束力度，使約束過程更加平滑，獲得更好的效果。

2.2.3 Offset和Box損失

2.3 Re-ID可學習特征擴充

Re-ID head輸出大小為128×272×152的特征圖，每個特征點包含一個128 維的特征向量。如圖1 中Strengthened Re-ID所示，本文通過擴大Re-ID可學習特征范圍來提高ID embedding 特征向量質量，進而加強重識別效果。

2.3.1 擴充策略

Re-ID可學習特征的原始分布僅使用目標GT處的特征向量進行訓練，這會增大Re-ID 對檢測精度的依賴，若未命中可學習特征將直接影響跟蹤效果。圖4為不同尺度目標的Re-ID可學習特征設置過程，先由目標GT熱力圖確定位置，再對應到Re-ID feature map，確定可學習特征向量，坐標軸標注為熱力圖和特征圖的坐標位置。其中圖4（a）為原始分布，所有目標的Re-ID可學習特征都在GT 位置。然而中心點檢測存在檢測偏差，如圖3 中菱形標記的最高響應并未命中GT 位置，這種定位信息的微小偏差也會降低Re-ID特征質量，影響ID重識別效果。

顯然，擴大目標Re-ID可學習特征范圍可以緩解上述問題，提高命中機率?？紤]到檢測偏差僅在GT 位置附近，范圍較小，且可學習特征增加需對多尺度目標自適應，因此本文提出一種Re-ID 可學習特征基于GT 熱力圖的自適應擴充方法。具體如下，以目標熱力圖GT位置為中心設置大小為3×3的可擴充范圍，如圖4（b）中GT heatmap 所示，綠色標記為可擴充范圍。取擴充閾值θ=0.5，將可擴充范圍內響應值大于閾值的位置設為可學習特征位置，并對應到Re-ID 特征圖，如圖4（b）中Re-ID feature map所示，紅色標記為Re-ID可學習特征向量。經過可學習特征擴充，可以提高Re-ID對檢測偏差的容忍度，保證Re-ID 特征質量，使重識別更具魯棒性。且由于可學習特征擴充是在輸出的Re-ID 特征圖上擴充學習范圍，未增加網絡的正向推理計算，擴充過程也僅在訓練階段，因此對在線跟蹤的實時性無影響。

可學習特征的擴充范圍應根據數據集的目標大小設置，MOT17訓練集有76.5%的目標Re-ID特征擴充范圍（GT熱力圖響應值大于閾值的范圍）在3×3以內。因此將該范圍設置為3×3可以滿足大部分目標，若繼續增大范圍，則容易產生相近目標的ID歧義，即特征向量對不同目標的歸屬問題。同時為避免ID 歧義，本文不對熱力圖上間距小于3的目標進行特征擴充。

2.3.2 Re-ID損失

為在連續視頻圖像中準確識別同一目標，Re-ID 模塊通過Re-ID head提取特征圖F∈R128×272×152，并以目標中心處特征向量Fx,y∈R128的相似度來區分目標。因此將Re-ID作為分類任務進行訓練，數據集中ID相同的目標視為同一類。損失計算僅使用ID真值處的分類結果，將真值處目標特征向量Fx,y經過一個線性分類層，得到其對每個ID分類的概率值P={p(k),k∈[1,K]}，其中K為類別個數，即ID總數。Re-ID損失計算如下：

其中，Yi(k)表示第i個目標的真實ID概率分布。

2.4 多任務訓練

為同時訓練檢測任務和Re-ID任務，使用不確定性損失[27]動態平衡兩個任務，計算如下：

其中，ω1和ω2為可學習參數，用于平衡任務，初始值分別為-1.85和-1.05。

2.5 在線關聯

本文采用標準在線跟蹤算法進行關聯[9]，過程如圖5所示。首先，通過網絡提取輸入圖像的目標檢測框和Re-ID 特征向量，然后根據Re-ID 特征的余弦距離計算代價矩陣。同時融合運動信息，利用卡爾曼濾波器[28]和馬氏距離排除相距較遠的匹配，再利用匈牙利算法[29]完成第一次匹配。對未匹配的軌跡，根據其與未匹配目標的檢測框計算IoU代價矩陣，再利用匈牙利算法完成第二次匹配。最后更新軌跡信息，對未匹配的目標創建新軌跡，對未匹配的軌跡做記錄，當現有軌跡未連接新目標的次數超過一定閾值，則視該軌跡結束，不再對其更新。

3 實驗

3.1 數據集和評估指標

3.1.1 數據集

實驗使用MOT17訓練集進行訓練，使用MOT16訓練集驗證算法有效性，并在MOT16和MOT17測試集[30]評估算法性能。MOT17 訓練集包含7 個視頻序列，5 316張圖片，112 297個邊界框標注和548個ID標注。

3.1.2 評估指標

使用MOT Challenge Benchmark[30]的評價算法進行評估，所采用的評價指標如下：

多目標跟蹤準確度（multiple object tracking accuracy，MOTA）：同時參考誤檢、漏檢和ID切換等指標，能夠直觀地衡量算法檢測并保持目標軌跡的性能。

識別F1 值（identification F1 score，IDF1）：用于衡量ID 識別準確率與召回率之間的平衡性，評估跟蹤器的ID識別性能。

命中軌跡比（mostly tracked targets，MT）：定義為跟蹤軌跡占真實軌跡80%以上的軌跡數與軌跡總數之比。

丟失軌跡比（mostly lost targets，ML）：定義為跟蹤軌跡占真實軌跡20%以下的軌跡數與軌跡總數之比。

ID 切換（identity switches，IDs）：目標ID 發生改變的總數。

FPS：幀率。

3.2 實驗環境及訓練細節

實驗硬件環境為搭載Intel Xeon CPU E5-2650 v4、2.2 GHz處理器和Tesla K80顯卡（4張）的深度學習服務器。在單個NVIDIA RTX 2080Ti GPU上測試運行幀率。軟件環境為64 位Centos7 操作系統下的Pytorch深度學習框架。

實驗使用CenterNet 在COCO[31]數據集上的目標檢測模型參數[5]初始化算法模型。采用Adam 優化器，在MOT17數據集訓練35個epoch，batch size設置為12，初始學習率設為e-4，在第25個epoch衰減為e-5。輸入圖像大小統一為1 088×608，并使用旋轉、縮放和顏色抖動等標準數據增強技術進行預處理。

3.3 實驗結果

首先對檢測偏差損失的響應閾值λ和Re-ID閾值θ的選取進行探討，并通過實驗分析選取不同閾值對跟蹤效果的影響。閾值λ用于對非GT位置的高響應值進行約束，若選取過高，則對檢測偏差的約束力度較小，檢測效果提升不明顯。相反，若閾值λ較低，則會過早對中心點偏差進行約束，影響檢測任務的初期訓練，且對低響應位置約束的意義不大。閾值θ用于判斷Re-ID 可學習特征的擴充范圍，過高則會使特征擴充偏向于大目標，無法提升小目標的重識別效果。而目標經過4倍下采樣后的特征圖可能小于9 個特征點，若θ較小，擴充范圍過大則會給Re-ID特征帶來噪聲，影響ID重識別效果。為研究不同閾值對跟蹤效果的影響，選擇0.5 作為閾值，上下波動0.1進行對比，結果如表1和表2所示，其中閾值1為原始效果。

表1 熱力圖響應閾值對比Table 1 Comparison of heatmap response thresholds

表2 Re-ID閾值對比Table 2 Comparison of Re-ID thresholds

由表1 可知，熱力圖響應閾值選擇0.5 時有最好的跟蹤效果。檢測能力的提升提高了目標中心Re-ID 可學習特征的命中概率，從而有更好的跟蹤效果。響應閾值減小會使整體跟蹤效果下降，因為小閾值不僅會影響初期檢測訓練，而且增大了約束范圍。這使模型將重心放在對中小響應值的約束上，缺少對高響應值的關注，沒有實現高響應值向GT 位置靠攏。因此閾值選擇0.4時MOTA 沒有明顯提升，反而識別效果受到影響，導致IDF1 下降。閾值選擇0.6 時與檢測相關的MOTA 有一些提升，IDF1也隨之升高，但提升效果不如閾值0.5。因為增大閾值會對高響應值有更好的約束，但小目標的預測響應值較小，高閾值容易忽略對小目標的約束，使跟蹤效果變差。因此熱力圖響應閾值選擇0.5。

由表2可知，Re-ID閾值選擇0.5時有最高的身份識別F1值和軌跡命中率，同時也有較高的跟蹤準確度，綜合跟蹤效果最好。減小閾值會增大Re-ID 可學習特征擴充幅度，不僅給小目標的Re-ID特征帶來周圍環境噪聲，降低身份識別精度，而且會影響檢測特征質量，使檢測效果變差。因此閾值選擇0.4 時，雖然Re-ID 效果有提升，但MOTA 降低。相反，增大閾值容易忽略小目標的可學習特征擴充，ID重識別能力提升不夠全面，所以閾值0.6的ID重識別效果提升不如閾值0.5。

同時，由于視頻序列中經常存在目標由遠及近或由近及遠的尺度變換和頻繁遮擋等場景，若算法ID 重識別能力不強，容易發生目標跟丟的情況，導致軌跡命中率較低。如表2 中閾值0.5 和0.6 的對比，閾值取0.6 時對大目標有更好的跟蹤效果，因此預測軌跡小于20%的情況較少，軌跡丟失率ML較低。但當發生上述尺度變換或遮擋時，小目標ID無法長久保持，使預測軌跡大于80%的軌跡數變少，軌跡命中率不高。因此綜合考慮，Re-ID可學習特征閾值同樣選擇0.5。

因主流算法測試所用數據集不同，為充分驗證本文算法性能，分別在MOT16和MOT17測試集上與相應算法對比，如表3和表4所示。其中星號標記為one-shot方法，其余為two-step方法，FPS測試同時考慮檢測和關聯時間。表中引用數據均直接引自相應文獻，所有測試結果均來自MOT Challenge官方評估網站（https：//motchallenge.net/）。

表4 不同算法在MOT17測試集上的對比Table 4 Comparison of different algorithms on MOT17 test set

可以看出，two-step方法不僅有較高的跟蹤精度，且得益于Re-ID 模塊的單獨訓練，有更少的ID 切換，但FPS 很低，達不到實時跟蹤。與two-step 相比，one-shot方法的跟蹤速度有明顯提高，同時有領先two-step方法的跟蹤效果。本文算法與不同two-step和one-shot算法對比，都有較高的跟蹤精度（MOTA）和ID 識別效果（IDF1）。雖然ID 切換次數較多，但有較高的軌跡命中率MT 和更低的軌跡丟失率ML。其中CenterTrack 和FairMOT都是基于中心點檢測的多目標跟蹤算法，本文針對中心點檢測在MOT中存在的檢測偏差和Re-ID可學習特征不充足等問題進行改進后，獲得了更好的跟蹤效果。由于FairMOT未提供使用MOT17訓練的完整測試結果，缺少MT和ML，為充分對比測試效果，在表4中增加復現結果。復現數據相比引用數據有一些浮動，但整體效果相似，結果表明本文算法依然有更好的跟蹤效果。同時因提出算法僅針對訓練過程進行優化，未增加在線跟蹤過程的計算成本，所以有較高的跟蹤速度，兼顧了實時性與準確性。

為對比不同模塊對算法性能的提升，在MOT16 訓練集上做相應消融實驗，如表5 所示。結果表明，對熱力圖響應值進行約束后，MOTA和IDF1均有提升，但會增加IDs。Re-ID可學習特征擴充能有效提升模型ID識別性能，IDF1 提高1.3%，并且能少量降低ID 切換數。同時，兩種方法均能提高軌跡命中率MT，并降低軌跡丟失率ML。且改進方法僅針對訓練過程，未增加在線跟蹤過程的計算成本，最終在不影響推理速度的情況下，本文算法MOTA提高了1.7%，IDF1提高了2.3%，MT和ML也均有改善。

表5 消融實驗Table 5 Ablation experiment

為驗證算法的有效性，在MOT16 數據集上做改進前后的可視化對比分析。首先對熱力圖響應值約束效果進行分析，圖6 為截取不同情況下的目標熱力圖對比，分別為GT 熱力圖和改進前后的預測熱力圖。其中三角標注為目標GT 位置，菱形標注為熱力圖的最高響應值位置，即預測目標位置，坐標軸標注為熱力圖中的坐標位置?？梢钥闯?，經過響應值約束后，圖6（a）和圖6（b）的預測目標位置均修正到GT位置，圖6（c）的預測位置也向GT 位置逼近，說明了熱力圖響應值約束的有效性。

圖7為改進前后的跟蹤效果對比，對比目標的軌跡位于目標中心且與檢測框顏色相同，其余目標軌跡位于檢測框底部，圖中僅保留當前目標的前20 幀軌跡。可以看出改進前，圖7（a）在由近及遠的尺度變化和人群遮擋后，圖7（b）在經過遮擋，圖7（c）在經過由遠及近的尺度變化和人群遮擋后，ID均發生改變，目標軌跡無法長久保持，導致跟蹤效果下降。重識別加強后，每組目標均能繼續保持ID，證明提出算法有效提高了跟蹤魯棒性。

4 結束語

本文對基于中心點檢測的多目標跟蹤算法存在Re-ID 表觀特征模糊的問題進行研究，發現Re-ID 特征圖的可學習特征范圍較小，在跟蹤時，特征向量的選擇易受檢測精度的影響，使ID特征的表觀信息模糊，不足以區分目標，影響ID 重識別效果。本文通過對預測熱力圖響應值增加平滑約束，來緩解檢測中心點偏移情況，并對可學習特征做自適應擴充，提高特征質量，同時減輕Re-ID 對檢測性能的依賴。實驗結果和可視化分析表明，提出算法能有效解決上述問題，提高Re-ID 性能，不僅有更好地跟蹤效果，且能達到實時性要求。未來的工作針對如何提高模型在昏暗和強光等復雜環境下的跟蹤效果進行探索研究。