基于深度學習的分層關聯多行人跟蹤

牛 通，卿粼波，許盛宇，蘇 婕

四川大學 電子信息學院，成都610065

多行人跟蹤是一個非常重要的計算機視覺問題，也是姿態識別、行為分析等更高層研究的基礎。例如，一些群組行為識別算法[1-4]利用多目標的軌跡先提取每個目標的時空特征，再聯合多人特征實現群組行為的識別。多行人跟蹤還在智能監控、自動駕駛、機器人視覺導航、人機交互等多種領域都得到了廣泛應用。由于其巨大的商業價值和學術潛力，引起了越來越多研究者的關注。隨著檢測器精度的不斷提高，基于檢測的多行人跟蹤已經成為主流框架。基于此框架又有離線多目標跟蹤[5-6]和在線多目標跟蹤兩種跟蹤模式[7]。其中，在線的多目標行人跟蹤適用于實時的跟蹤，而離線的適用于對錄制好的視頻進行分析，因此在線的多目標行人跟蹤更符合現實要求，有更大的應用價值。其主要思路是利用檢測器檢測視頻每一幀的行人，并通過數據關聯對檢測結果和軌跡進行匹配，實現逐幀的檢測和跟蹤。因此，檢測器的性能和數據關聯的方式是影響跟蹤性能的主要因素。

以基于檢測的跟蹤為框架的在線跟蹤的傳統算法有MHT（Multiple Hypothesis Tracking）[8]。JPDAF（Joint Probabilistic Data Association Filter）[9]等。其中MHT為每個候選目標建立一個跟蹤樹，每個樹保存著由不同觀測產生的多個假設，新目標出現需要建立新的樹，同時已有的樹也要更新。JPDAF 需要計算聯合事件的概率，當目標數量增大時，其聯合事件呈指數增長。這些傳統的跟蹤方法計算復雜度高，而且對復雜場景下行人的跟蹤性能并不理想。相比傳統的方法，基于深度學習的多行人跟蹤方法在減少了計算復雜度的同時，提高了復雜場景下的跟蹤性能。其中，Sort（Simple online and realtime tracking）[10]通過卡爾曼濾波器[11]預測運動狀態，并通過簡單地計算預測邊界框和檢測邊界框的重疊率得到差異度量矩陣，再利用匈牙利算法實現數據關聯，整個框架非常簡潔，計算復雜度低，同時達到了很好的跟蹤效果。之后Wojke等人提出了Deep Sort[12]，主要針對Sort ID 變換嚴重的問題，通過引入外觀特征提高了數據關聯的可靠性。在公開數據集MOT16上驗證表明：與Sort 相比，引入外觀特征提高了跟蹤準確度并減少了ID變換的次數。

此外，為了提高數據關聯的可靠性，一些研究者還提出了不同的分層數據關聯方法。其中，Wojke 等人[12]提出首先利用外觀特征和運動特征進行數據關聯，再利用運動特征將未成功關聯的軌跡與剩余檢測結果關聯。Bae 等人[13]提出基于軌跡置信度的分層關聯方式，先關聯置信度高的軌跡，再將置信度低的軌跡與剩余檢測結果或高置信度軌跡關聯。Alshakarji 等人[14]針對交通視頻中多個車輛的跟蹤問題，提出三層級聯的方式：首先生成短軌跡，接著連接短軌跡得到長軌跡，最后將因為遮擋而中斷的軌跡相連，減少了ID 變換的次數。Chen等人[15]提出先利用外觀特征進行數據關聯，再利用運動特征將未成功關聯的軌跡再次關聯。除了分層的關聯方式，Xu等人[16]提出了時空關聯模型，可以魯棒地將外觀、位置和拓撲等各種特征組合起來，并將關系網絡擴展到時間域，實現跨時間的信息聚合。

本文提出了一種基于軌跡置信度的三層級聯的數據關聯方式，第一層將置信度最高的穩定軌跡與檢測結果關聯，考慮相機運動和靜止兩種情況下運動特征和外觀特征置信度不同，分不同方式計算差異度量矩陣為數據關聯提供依據；第二層將由于外觀突變或遮擋嚴重未成功關聯的穩定軌跡與剩余檢測結果關聯，由于其外觀特征不可靠，僅利用運動特征關聯；第三層將置信度最低的有可能是誤檢產生的軌跡與剩余檢測結果關聯。為了進一步提高外觀特征的可靠性，本文還提出將Deep Sort 特征提取網絡的過程層融合的思路，提取更具鑒別性的外觀特征。在MOT16 數據集上測試表明，三層級聯的數據關聯方式提高了數據關聯的可靠性，并且在保證跟蹤準確度和精確度的情況下，減少了ID 變換的次數。過程層融合網絡相對原網絡以及不引入外觀特征的網絡，有效減少了軌跡ID變換的次數。

1 基于檢測的多行人跟蹤設計

1.1 基于檢測的多行人跟蹤算法框架設計

本文的跟蹤框架如圖1 所示，首先，通過檢測器獲取檢測結果，并將檢測結果和已有軌跡進行數據關聯，在數據關聯的基礎上，更新軌跡的外觀特征、軌跡狀態，并根據狀態信息刪除、初始化軌跡或者繼續跟蹤。

為了減少檢測和軌跡的錯誤匹配次數，本文充分考慮了不同情況下特征的置信度和不同狀態軌跡的置信度對關聯可靠度的影響，并對Deep Sort做出如下改進：（1）提出了分層關聯的思路，即將軌跡狀態劃分為初始態、穩定態、活躍態和消失態，并且針對不同狀態的軌跡采用不同的方式計算差異度量矩陣，再依照度量矩陣和軌跡的置信度實現分層關聯，一定程度上提升了數據關聯的可靠性。特別地，考慮相機靜止或運動這兩種情況，分別采用不同的方式計算差異度量矩陣，充分考慮了不同場景下特征的置信度。（2）外觀特征更新，只更新置信度大于閾值的外觀特征，并不是每幀都更新。這種對外觀特征的篩選機制保證用于數據關聯的特征只有少量噪聲混入，減少了軌跡ID 變換的次數。（3）在Deep Sort特征提取網絡的基礎上做了改進，使得提取的外觀特征更具有鑒別性。

圖1 基于檢測的多行人跟蹤框架圖

1.2 基于深度學習的外觀特征提取

為了提取出更具有鑒別性的外觀特征，本文基于Deep Sort 采用的特征提取網絡，對不同層的特征進行融合，既沒有損失顏色、形狀、紋理等低層特征也包含了更具有語義化的高層特征，可以有效利用不同層次特征之間的互補性，提高網絡的魯棒性。

本文提取外觀特征的網絡結構如圖2所示，其中三個殘差塊[17]的輸出分別為32×64×32、64×32×16、128×16×8。在residual-block_1 和residual-block_2 后面接卷積核尺寸為3×3、步幅為2 的平均池化層以及block_層得到兩個128 維的特征向量。其中block_由flatten 層、dropout 層[18]、128 維的全連接層構成。residual-block_2后面接一個flatten 層得到一個16 384 維的特征向量。再通過concat層對三個特征拼接，得到一個16 640維的特征向量。最后通過全連接層和l2 范數歸一化得到一個128維的特征向量。

本文先針對不同分支單獨訓練，最后融合各分支特征。因此通過對不同分支的損失函數以及融合特征損失函數的求和得到特征提取網絡的損失函數，如式（1）：

其中，lall表示網絡整體的損失函數，lbranch_i表示第i個分支提取特征的損失函數，一共三個分支，lfuse表示融合特征的損失函數。

對每一個損失函數，本文都利用cosine-softmax 損失[19]。式（2）為cosine-softmax損失函數：

其中，ri表示特征網絡的輸出，N表示輸入的圖片序列的長度，C表示類別數，yi表示標簽，k是自由縮放參數，是權重。

1.3 分層數據關聯過程的設計

1.3.1 軌跡狀態的分類

為了更好地處理行人誤檢、遮擋、新目標出現以及目標消失等問題，本文按照成功關聯的次數將軌跡分為四種狀態：初始態、活躍態、穩定態和消失態。四種狀態的狀態轉換圖如圖3所示。其中，初始態和活躍態的設定減少了誤檢情況對跟蹤的影響，穩定態的設定增加了軌跡的完整度，消失態的設定減少了不必要的計算量。具體的狀態設置情況如下：

（1）初始態

當被檢測到的目標無法和已存在的任何軌跡相關聯時，將其視為新的目標，并將其狀態定義為初始態。初始態的目標只有檢測的當前幀特征和位置信息，還沒有軌跡特征池。如果在當前幀沒有成功匹配則刪除，如果成功匹配則狀態從初始態變為活躍態。由于處于初始態和活躍態的行人有可能是誤檢得到的目標，所以暫時不能當作真正的目標來處理，而是讓其處于一個暫定的狀態，這種狀態下的目標更容易因為沒有成功匹配而被刪除。

（2）活躍態

從活躍態開始軌跡才有特征池。處于活躍態的行人目標有1 幀未成功匹配，則該目標被刪除，但是當它從成為活躍態的那一幀起，連續3 幀成功匹配，則狀態可從活躍態轉為穩定態。這種對不穩定目標的處理方式，可以在一定程度上幫助跟蹤器篩選誤檢對象，提高跟蹤的準確度。

圖2 外觀特征提取網絡

圖3 軌跡狀態轉換圖

（3）穩定態

由活躍態轉換為穩定態的軌跡是已經確定的軌跡，所以當出現遮擋而導致沒有成功匹配的情況出現時，不能隨意地認為該目標已經消失。本文設定當處于穩定態的軌跡在連續30 幀內沒有成功匹配，才認為目標消失，跟蹤完成，并刪除軌跡。這種處理方式，考慮到了遮擋對軌跡的影響，增加了跟蹤的完整性。由于在不同階段，不同特征的置信度有差異，所以又將穩定態分為初次關聯穩定態和二次關聯穩定態，兩種狀態的關聯側重于考慮不同的特征，增強了數據關聯的可靠性。

（4）消失態

當軌跡處于消失態，也就是認定該目標已經消失，軌跡可以被刪除了。軌跡在以下三種情況下會被判定為消失態：處于初始態的軌跡只要在當前幀匹配失敗，則判定為消失態；處于活躍態的軌跡在3 幀內只要有1幀沒有成功匹配，則判定為消失態；處于穩定態的軌跡在連續30幀中都沒能成功匹配則判定為消失態。

1.3.2 分層數據關聯及軌跡狀態更新

基于檢測的跟蹤方法為實現數據關聯，采用度量學習的方式，先計算軌跡和檢測目標的差異度量矩陣，再利用度量矩陣實現兩者的數據關聯。

（1）差異度量

根據Deep Sort 計算差異度量矩陣的方法，可以通過計算卡爾曼濾波器[11]預測的邊界框和檢測邊界框的IoU值或者馬氏距離求得運動特征差異度量矩陣，通過計算軌跡特征池中的所有特征和檢測外觀特征的余弦距離并取最小值得到外觀特征差異度量矩陣。

本文針對不同狀態的軌跡，考慮特征的置信度不同，分別采用不同的方式計算出更具可靠性的差異度量矩陣，為數據關聯提供依據。

①初始態。由于軌跡的外觀特征池中還沒有外觀特征信息，所以只能利用位置信息關聯，通過計算檢測邊界框和預測邊界框的IoU值得到度量矩陣。

②活躍態。此時的軌跡已經有了外觀特征，但是特征并不完備，所以如式（3），先計算檢測邊界框和預測邊界框的IoU值得到運動差異度量矩陣，僅利用外觀差異度量矩陣調整。

其中，tk表示軌跡k，di表示檢測目標i，diff(tk,di)為軌跡k和檢測目標i之間的差異度量值，IoU(tk,di)表示卡爾曼濾波器預測的軌跡k的邊界框和檢測目標i邊界框的IoU 值，diffa(tk,di)為軌跡k和檢測目標i之間的外觀差異度量元素，利用余弦距離計算得到，τm表示外觀閾值，本文設置為0.8，表示外觀差異大于閾值則不是同一個目標，無法關聯。

③初次關聯穩定態。考慮到相機移動會對運動特征造成影響，運動特征的置信度降低，所以分相機移動和靜止兩種情況，采用不同的方式計算。

在相機移動的情況下，如式（4），主要考慮外觀特征，僅利用運動特征進行調整。

其中，tk表示軌跡k，di表示檢測目標i，diff(tk,di)為軌跡k和檢測目標i之間的差異度量值，diffa(tk,di)表示軌跡k和檢測目標i外觀特征差異度量值，利用余弦距離計算。diffm(tk,di)為軌跡k和檢測目標i之間的運動差異度量值，利用馬氏距離計算，τm表示運動閾值，本文設置為9.49，表示運動差異大于閾值則不是同一個目標，無法關聯。

在相機靜止的情況下，如式（5），同樣針對兩種特征計算差異度量矩陣，再通過超參數λ融合兩個矩陣得到最終的差異度量矩陣，本文設置λ為0.2。

④二次關聯穩定態。由于遮擋和外觀突變而沒能成功關聯的穩定態軌跡，考慮到外觀特征的不可靠性，僅利用由IoU計算的運動差異度量矩陣實現數據關聯。

（2）分層數據關聯

因為數據關聯成功的次數越多，軌跡越穩定，即置信度越高，所以初次關聯穩定態、二次關聯穩定態、活躍態、初始態的軌跡置信度依次降低。基于這種置信度的排序，如圖4 所示本文采用分層關聯的方式，將整個數據關聯階段分為三個層次，分別是穩定態軌跡關聯、未成功匹配的穩定態軌跡關聯、初始態和活躍態軌跡數據關聯。

圖4 分層數據關聯

根據軌跡的狀態，計算出相應的差異度量矩陣，并通過匈牙利算法[20]實現軌跡和檢測結果的關聯，得到關聯成功的軌跡、關聯失敗的軌跡以及關聯失敗的檢測。其中，關聯成功的軌跡是成功關聯的檢測和軌跡的ID組成的一個列表，關聯失敗的軌跡是剩余軌跡的ID 組成的列表，關聯失敗的檢測是剩余檢測的ID組成的列表。

（3）軌跡狀態更新

所有的軌跡都是由ID、運動特征、外觀特征以及軌跡狀態來描述的。在每次匹配結束之后，無論是成功匹配的軌跡，還是未匹配的軌跡、未成功匹配的檢測都要進行狀態更新。對于成功匹配的軌跡通過檢測邊界框和預測邊界框來更新邊界框的坐標；并在每條軌跡的特征池中加入當前幀檢測的軌跡特征，但是目標相互遮擋時，會引入噪聲導致提取的外觀特征置信度低，所以選擇不更新；如圖3所示，還要判斷當前幀軌跡是初始態、活躍態、穩定態還是消失態，并更新狀態。對于未成功匹配的軌跡，如果是初始態或者活躍態的，則刪除，如果是穩定態的，如果30 幀沒有成功匹配則刪除。對于未成功匹配的檢測，表明這可能會是一條新軌跡的起始，則初始化這條新的軌跡，并分配ID。

2 實驗與測試

2.1 特征提取網絡的訓練

本文在基于Python的深度學習框架tensorflow環境下進行實驗，計算機配置為Intel Core i5-7500 @3.4 GHz×4，NVIDIA GeForce GTX 1080Ti，操作系統為Ubuntu 16.04。采用行人重識別數據集market-1501[21]對外觀特征提取網絡進行了訓練，該數據集圖片的尺寸為64×128，由6 個攝像頭拍攝得到，共有1 501 個行人，32 668個檢測邊界框。其中，訓練集有751個行人，包含12 936張圖片。訓練參數設置情況：batch_size 設置為128；利用Adam 優化器[22]，參數為默認設置，即ε=0.001，β1=0.9，β2=0.999。訓練過程中，首先以1×10-3的學習率，訓練55 000 次，再將學習率降低到1×10-4，訓練10 000次。

2.2 算法的有效性驗證

本文在MOT16 數據集[23]上驗證算法的有效性。MOT16 數據集在多行人跟蹤領域，是一個非常權威的數據集，它由14 個視頻序列構成，其中有7 個可以用作訓練集和驗證集，另外7 個用作測試集，數據集的尺寸有1 920×1 080、640×480兩種，速度有30 Hz、25 Hz以及14 Hz三種。由于MOT16數據集的拍攝場景復雜、行人數量多、密度大，明暗效果不一，所以是一個非常具有挑戰性的數據集。本文采用與Deep Sort 相同的檢測算法，該算法是一個在公共數據集和個人數據集上訓練的Faster-RCNN[24]，具有很好的檢測性能。

2.2.1 評估指標

本文主要針對六項跟蹤指標評估算法，分別是：跟蹤準確度MOTA、跟蹤精度MOTP、軌跡ID 改變的次數IDS、真實軌跡被打斷的次數FM、跟蹤軌跡占真實軌跡80%以上的軌跡占比MT、跟蹤軌跡占真實軌跡20%以下的軌跡占比ML。其中，MOTA 綜合考慮了誤檢率（False Positive rate，FP）、漏診率（False Negative rate，FN）和失配率（mismatch rate）體現了算法的整體跟蹤效果，MOTP 體現了預測位置和真值的平均邊框重疊率，FM、IDS反映了軌跡維持ID的能力，MT、ML反映了跟蹤的完整程度。在表1 和表2 中，“↑”表示對應指標取值越大性能越好，反之“↓”表示對應指標取值越小性能越好。

2.2.2 特征融合網絡的有效性驗證

表1 列出了在本文算法的框架下，利用Deep Sort外觀特征網絡的跟蹤性能、利用本文特征融合網絡提取外觀特征的跟蹤性能，以及不利用深度特征的跟蹤性能。其中，不利用深度特征的網絡框架是在本文框架的基礎上去除了深度特征的部分，即數據關聯部分按照軌跡置信度依次關聯，但是僅利用運動特征計算關聯矩陣。

由表1 可見，在本文框架下，采用外觀特征融合網絡相比采用Deep Sort 外觀特征提取網絡，保證了跟蹤準確度和精確度，同時IDS從739減少到710，減少了軌跡ID 變換的次數；FM 從1 960 減少到1 913，減少了軌跡的片段化，驗證了本文特征提取網絡更具有鑒別性。但是因為IDS 的下降，使得誤檢率下降，即將其他目標關聯到本軌跡的次數下降，所以相比采用Deep Sort 特征提取網絡長軌跡的數量會減少，短軌跡的數量會上升，所以跟蹤完整度上相比Deep Sort 略有下降。采用外觀特征融合網絡相比不利用深度特征的網絡，跟蹤準確度MOTA 從59.9%提升到61.4%；FM 從2 219 減少到1 913；IDS從2 017減少到710，軌跡ID變換的次數大幅度減少。所以，引入深度特征，增加了數據關聯的有效性，很大程度上提升了跟蹤性能。

表1 采用不同外觀特征提取網絡及無深度特征網絡的跟蹤效果

表2 不同算法在MOT16-test上的跟蹤效果

2.2.3 算法的有效性驗證

為驗證本文算法整體的有效性，分別與Config-MOT算法[13]、MOTDT算法[15]、STRN[16]、Deep Sort[12]算法進行了對比，其中Config-MOT 算法、MOTDT 算法和Deep Sort 算法提出了不同的分層關聯方法，STRN 提出了時空關聯模型。由表2可見，本文算法整體的跟蹤性能優于Config-MOT、MOTDT、STRN。與Deep Sort相比，在保證跟蹤準確度和精確度一致的情況下，IDS 指標從781降低到了710，有效減少了軌跡ID變換的次數，提高了維持軌跡ID的能力。同時FM指標下降，表明軌跡中斷的次數減少，也驗證了算法維持軌跡ID 的能力提升。但是由于IDS的下降，跟蹤的完整度相比Deep Sort略有下降。為了更直觀地驗證算法的有效性，如圖5、6所示為本文算法和Deep Sort 算法在MOT16 測試數據集01上的跟蹤效果：在攝像頭靜止的場景下，利用本文算法跟蹤，ID為1、3、44的軌跡在第122幀還未相遇，在第149 幀相遇并出現遮擋情況，在第169 幀分開仍然保持ID 不變；但是對于相同的目標，利用Deep Sort 算法跟蹤，ID 為1、3、38 的軌跡在第149 幀相遇并出現遮擋情況，到第169 幀分開時，ID 為1、3、38 的軌跡互換了ID。如圖7、8 所示為本文算法和Deep Sort 算法在MOT16 測試數據集06 上的跟蹤效果：在攝像頭運動的場景下，利用本文算法跟蹤，ID 為82 的軌跡在96 幀還未被遮擋，120幀被遮擋，132幀再次出現時其ID一直維持不變；利用Deep Sort算法，對于同一目標，ID為81的軌跡，在120幀被遮擋后再次出現時ID變換為已存在的軌跡ID，即70，出現了將不同目標關聯到同一條軌跡的情況。由此可見，在相機靜止或運動的情況下，本文算法維持軌跡ID 的性能都優于Deep Sort。出現軌跡ID變換意味著檢測目標與ID 的關聯出錯，導致一個ID 關聯了不同的目標，這種情況會嚴重影響目標軌跡的重建，對于利用多目標軌跡的群組行為識別算法，跟蹤到短軌跡相當于提供的數據量少，但是錯誤的關聯導致的ID變換，產生了錯誤的數據，會嚴重影響識別性能。

圖5 本文算法在視頻MOT16test-01上的跟蹤效果

圖6 Deep Sort算法在視頻MOT16test-01上的跟蹤效果

圖7 本文算法在視頻MOT16test-06上的跟蹤效果

圖8 Deep Sort算法在視頻MOT16test-06上的跟蹤效果

3 結語與展望

針對多行人跟蹤問題，本文在Deep Sort 的基礎上提出了分層數據關聯的方法，通過分析運動特征和外觀特征在不同軌跡狀態以及不同跟蹤場景下的置信度，利用不同的方式計算差異度量矩陣，并依據差異度量矩陣和軌跡的狀態，實現分層的數據關聯。同時，本文還在Deep Sort 外觀特征提取網絡的基礎上，通過融合過程層提取出更具有鑒別性的外觀特征。通過在公開數據集MOT16 上驗證表明，本文提出的分層數據關聯提高了數據關聯的可靠度，減少了軌跡ID 變換的次數。利用本文的外觀特征融合網絡提取的外觀特征鑒別度更高，同樣減少了軌跡ID變換的次數。針對本文的研究，還可以考慮自適應地過濾檢測結果，減少不可靠的檢測對跟蹤性能的影響。