基于深度學習和特征信息關聯的多行人目標跟蹤算法

潘繼財

（中國科學技術信息研究所，北京 100038）

多行人目標跟蹤是智能安防監(jiān)控系統(tǒng)的關鍵技術之一，該技術包括行人檢測和行人跟蹤兩個部分，其跟蹤準確度的高低直接關系到監(jiān)控系統(tǒng)的效果[1]。而行人目標跟蹤準確度又會受到障礙物遮擋、場景復雜性以及行人姿態(tài)變化的影響。因此，文中對多行人目標跟蹤方法進行研究，以提高檢測準確度，具有十分重要的現實意義。

文中提出了一種目標檢測卷積神經網絡與運動預測相結合的多行人目標跟蹤算法。首先，采用改進的YOLO v3 網絡模型進行行人類別目標檢測。再借助卡爾曼濾波器(Kalman Filter)和匈牙利指派算法對檢測結果進行運動預測。針對跟蹤過程中由于長時間遮擋等原因而出現的目標跟蹤丟失問題，設計了行人重識別網絡(Re-ID)來提取行人目標表征特征，并分別以目標預測和檢測位置信息之間的馬氏距離和余弦距離來進行行人目標的運動信息和外觀信息關聯。MOT16 數據集上的實驗結果表明了文中提出的行人目標跟蹤方法的有效性和優(yōu)越性。

1 YOLO v3行人目標檢測

行人檢測是行人跟蹤研究的基礎。目前，應用比較廣泛的傳統(tǒng)行人目標檢測方法主要是通過采用邊緣特征等靜態(tài)圖像特征來進行行人目標檢測，傳統(tǒng)行人目標檢測方法時間復雜度較高，且對目標變化多樣性的魯棒性較差。隨著人工智能時代的到來，深度學習算法在行人目標檢測任務中的應用取得了突破性的進展。基于深度學習算法的行人目標檢測方法主要分為two-stage 和one-stage 方法，twostage 法是將目標檢測分為建議框生成和框內目標檢測兩個部分來進行，代表性的算法主要有R-CNN[2]、Fast R-CNN[3]和Faster R-CNN[4]等，而one-stage 方法是將建議框生成和框內目標檢測統(tǒng)一起來，端到端直接輸出目標檢測結果，主要有SSD(Single Shot multibox Detector)[5]和YOLO 系列算法[6]等。

YOLO v3[7]是在YOLO v1[8]和YOLO v2[9]基礎上提出的一種端到端的快速目標檢測算法，該算法權衡了檢測精度和速度，可以在保證目標檢測速度的同時也可以兼顧精度，算法結構如圖1 所示。

圖1 YOLO v3結構

YOLO v3 模型采用Darknet-53 作為基礎網絡來提取圖像特征，引入殘差網絡(Residual Blocks)的思想避免梯度爆炸，從而加強網絡學習能力。針對小目標采用了多尺度策略，在3 個不同尺度的特征映射(Feature Map)中進行目標檢測，通過下采樣得到13×13×255的Feature Map，利用張量拼接(Concat)方法分別得到26×26×255和52×52×255兩個Feature Maps。

YOLO v3模型引入了Anchor機制，采用K-means方法聚類得到9 個不同尺寸的先驗框：(10,13)、(16,30)、(33,23)、(30,61)、(62,45)、(59,119)、(116,90)、(156,198)、(373,326)。將這些先驗框按尺寸大小分別分配給3 個尺寸：13×13×255、26×26×255 和52×52×255 的Feature map，故Feature map 中的每個Cell可以對3 個先驗框進行多標簽分類預測和邊界框(Bounding Box)位置回歸預測。

原YOLO v3 模型可以對80 類目標進行檢測，因為文中算法的檢測對象是行人，故為了簡化網絡輸出，進一步提高模型效率，針對行人檢測數據集對YOLO v3 模型進行重新訓練。

2 DeepTrack行人跟蹤算法

2.1 SORT行人目標跟蹤算法

文獻[10]提出了一種卡爾曼濾波器和匈牙利指派算法相結合的SORT(Simple Online and Realtime Tracking)多行人目標跟蹤算法，在無遮擋物的情況下，SORT 算法的跟蹤準確度與其他先進在線跟蹤算法相當，更新速度更快，但是在有遮擋物的情況下，SORT 算法的跟蹤準確度會降低。

SORT 多目標跟蹤方法相比于其他先進跟蹤器，跟蹤速度提升了約20 倍，該算法的核心是采用卡爾曼濾波器[11]對當前幀的行人目標位置進行預測，然后利用匈牙利指派算法[12]對預測的目標位置信息和下一幀檢測出的目標位置信息進行匹配，SORT 算法流程如圖2 所示。

圖2 SORT算法流程

行人目標跟蹤是基于行人目標檢測的結果進行的，采用YOLO v3 對行人目標進行檢測，提取出行人目標的邊界框信息，如式（1）所示:

其中，x,y為行人目標邊界框的中心坐標，s為邊界框面積，r為邊界框的長寬比。

接收到第一幀圖像時，對檢測到的行人目標初始化并標注ID，采用Kalman 濾波器對當前幀的目標邊界框信息x、y、s進行預測，如式（2）所示：

其中，x(k+1)為預測目標的下一幀邊界框信息，x(k)為目標當前幀邊界框信息，Φ為狀態(tài)轉移矩陣。根據當前幀的誤差協方差得到下一幀的誤差協方差，如式（3）所示：

其中，p(k)為當前幀的誤差協方差，p(k+1)為下一幀的誤差協方差，Q為系統(tǒng)噪聲。

使用匈牙利指派算法進行數據關聯，匈牙利算法是一種尋找二分圖最大匹配的算法，在多行人目標跟蹤問題中主要用來尋找前后兩幀的若干目標的匹配最優(yōu)解。以下一幀中的預測邊界框和檢測邊界框的交并比(Intersection Over Union,IOU)為損失函數。IOU 表示的是下一幀預測邊界框和檢測邊界框交集和并集的比值，當匹配的IOU 值小于設定的IOU 閾值時，匹配失敗。

當匹配成功時，將檢測到的行人目標邊界框給Kalman 濾波器進行預測校正。根據式（3）得出的下一幀的誤差協方差和觀測誤差求出Kalman 增益，如式（4）所示：

其中，p(k+1)為下一幀的誤差協方差，H為狀態(tài)轉移矩陣，R為觀測誤差。根據求出的Kalman 增益K進行預測校正，從而得到最終的行人目標檢測框信息，如式（5）所示：

其中，z(k+1)為下一幀檢測的目標邊界框信息。

最后，再對誤差協方差進行更新，如式（6）所示：

當預測的目標邊界框無法匹配現有的檢測框時，說明該物體已經離開當前畫面，而當現有的檢測框無法匹配預測的目標邊界框時，則表示檢測出新的行人目標，需要標注新ID。

SORT 跟蹤器沒有考慮到行人目標被遮擋的情況，故目標ID 切換的次數很高，跟蹤準確度很低。因此，文中在SORT 行人目標跟蹤算法的基礎上，引入了目標的運動信息和外觀信息，以解決目標因長時間被遮擋而跟蹤失敗的問題。

2.2 DeepTrack目標跟蹤

針對行人目標因受障礙物長時間遮擋而產生的跟蹤失敗問題，利用預測的目標邊界框位置和檢測的目標邊界框位置之間的馬氏距離來關聯兩者的運動信息，如式（7）所示：

其中，dj表示第j個檢測框的位置，yi表示第i個預測目標位置，Si表示檢測框位置與Kalman 預測的平均軌道位置之間的協方差矩陣。

若關聯的馬氏距離小于設定閾值，則設置運動狀態(tài)的關聯成功，如式（8）所示：

其中，t(1)為設定的閾值。

僅采用馬氏距離進行關聯只適用于行人目標運動不確定性較低的情況，而基于Kalman 的運動狀態(tài)估計只是進行粗略的預測，且在相機運動狀態(tài)下，基于馬氏距離的關聯方法會失效，從而會出現目標ID switch。因此，引入描述外觀信息的余弦距離來進一步關聯預測目標和檢測目標，文中采用的是基于卷積神經網絡(Convolutional Neural Network,CNN)的行人重識別(Re-ID)方法，網絡提取出第i個跟蹤器近100 幀成功關聯的單位范數特征向量集以及當前幀第j個檢測結果的特征向量，并計算它們之間最小余弦距離進行關聯，如式（9）所示：

其中，ri滿足‖ri‖=1，若最小余弦距離小于設定閾值，則關聯成功。

采用馬氏距離和最小余弦距離的線性加權作為最終的關聯度量，如式（10）所示：

其中，λ是權重，在相機運動狀態(tài)下可以設為0。當ci,j處在兩種關聯度量閾值的交集中時，則認為目標關聯成功。馬氏距離主要應用于短期預測，而最小余弦距離適用于目標受長時間遮擋的情況，DeepTrack 的多行人目標跟蹤流程如圖3 所示。

圖3 DeepTrack算法流程

3 實驗結果與分析

實驗的硬件環(huán)境為Intel Xeon W-2123 處理器、Quadro P4000 顯卡。

3.1 行人檢測部分實驗

文中提出的多行人目標跟蹤算法分為行人檢測和跟蹤兩部分，文獻[10]采用Faster R-CNN 作為行人目標檢測器，將跟蹤效果提升了18.9%，可見高效且有針對性的行人檢測器對整個跟蹤算法至關重要。

文中DeepTrack 算法中的檢測器是在已有的YOLO v3 模型上進行改進的，具體改進如下:

1）原始YOLO v3 模型設置的先驗框(Anchor Box)長寬比為1∶1、1∶2、2∶1，而通過對實際視頻監(jiān)控中行人目標進行聚類分析，得到行人目標長寬比約為5∶2，于是對YOLO v3 的先驗框大小進行重新設計。

2）主干網絡仍然采用YOLO v3 中的DarkNet 結構不變，修改3 個不同尺寸特征圖上的輸出網絡層。原YOLO v3 檢測類別一共有80 類，則輸出層的通道(Channel)數為3×80×(1+1+4)=1 440，因文中算法只需要檢測行人類目標，故檢測類別為1，將輸出層的通道數改為3×1×(1+1+4)=18。

將改進的行人目標檢測模型在PascalVOCVOC 2007、PascalVOCVOC2012 和COCO 數據集上進行訓練，尤其是注重對PascalVOC 中小目標行人數據的訓練，最后在Caltech 行人數據集[13]上進行測試，為了評估文中改進的行人檢測器的效果，與其他主流的目標檢測算法(HOG+SVM、Faster R-CNN、原YOLO v3)進行對比，評價行人檢測器的指標有:

1）丟失率(Miss Rate，MR):未被識別的行人目標數目比例。

2）誤報率(False Positive，FP):將非行人目標錯誤識別為行人目標占總識別數的比例。

所有檢測器的MR-FP 曲線如圖4 所示。

圖4 檢測器的MR-FP曲線

曲線位置越低表示該檢測模型的效果越好，從圖4 可以看出改進的YOLO v3 模型效果最好。同時，對平均丟失率取對數(Log-average Miss Rate)作為所有檢測模型的綜合性能評價，比較對不同尺寸的行人目標檢測效果，得到的曲線如圖5 所示。

從圖5可以看出，隨著待檢測行人尺寸的增大，所有檢測算法的丟失率都有下降。文中對原YOLO v3模型進行了改進，并在行人標注訓練集上再進行訓練，使其專注于行人特性目標的檢測，同時由于網絡是在3 個不同尺寸大小的特征圖上輸出檢測結果，使得對于不同尺寸大小的行人目標檢測效果最好，因此改進的YOLO v3 檢測器行人檢測率明顯的提高。

圖5 平均丟失率取對數曲線

3.2 遮擋跟蹤實驗

在實際監(jiān)控視頻中，不可避免地會出現遮擋區(qū)域，當目標長時間處于遮擋狀態(tài)時，Kalman 濾波跟蹤預測的結果會產生較大的不確定性，為了解決因為遮擋造成的匹配問題，加入了Re-ID 網絡對行人目標外觀表征特征進行提取，這樣除了對運動信息進行匹配之外，也會將外觀表征信息關聯度較高的結果進行匹配。

文中所提DeepTrack 算法，采用級聯跟蹤匹配算法來關聯運動信息和表征信息，即每個跟蹤結果與檢測結果的匹配是由不同優(yōu)先級的一系列關聯過程組成的。加入信息級聯匹配的跟蹤和僅使用Kalman濾波跟蹤的結果如圖6(a)和6(b)所示。

圖6 不同算法跟蹤結果

從圖6（b）可以看出，當目標出現遮擋時，僅使用Kalman 濾波器無法對目標進行有效跟蹤，因為當遮擋結束時出現了跟蹤目標丟失，造成該行人目標的重注冊(ID-Switch)，同一行人目標ID 從59 變?yōu)?6。從圖6（a）可以看出，結合了Kalman 運動信息和外觀表征信息的級聯匹配仍能保持有效跟蹤，當遮擋結束時目標重新出現，雖然此時運動預測信息失效，但通過計算ReID 網絡提取的表征信息以及比較余弦距離仍能將重新出現的目標與遮擋前目標進行關聯，從而避免了對同一目標的重注冊。

3.3 多目標跟蹤

以MOT16 數據集[14]為基準來綜合評價跟蹤算法的性能，該數據集是評估在線實時跟蹤效果的數據集。MOT16 數據集是監(jiān)控攝像頭自上而下拍攝的正面視圖場景，分為11 段訓練序列和7 段測試序列。同時，MOT16 還提供了標準的檢測結果，可以用來單獨評價跟蹤部分的算法效果。

跟蹤效果的評價指標如下:

1）多目標跟蹤準確率(Multiple Object Tracking Accuracy，MOTA)為：

其中，FN（False Negative）是行人目標漏檢數，IDsw是發(fā)生重注冊的次數，GT 為實際每幀中的行人數，求和范圍是對視頻的全部幀。MOTA 在不考慮目標位置估計精度的情況下，直觀給出了跟蹤算法對目標檢測和跟蹤保持的性能。

2）多目標跟蹤精準率(Multiple Object Tracking Precision，MOTP)為：

MOTP 作為MOTA 的補充，用來量化檢測跟蹤的定位精度，IOU 表示檢測結果與實際結果的重疊率，c是每幀成功匹配的數目。

與其他跟蹤算法的結果對比如表1 所示，作為對比的算法結果均來自MOT16 challenge 比賽公布的數據[15]，其中箭頭向上表示該指標越高算法效果越好，箭頭向下則反之。

表1 不同跟蹤算法效果對比

可以看出文中所提方法有效減少了重注冊次數，相比于原有MOTA、MOTP 最高的SORT 算法，同一目標的重注冊數從1 426 次減少到了512 次。這是因為當遮擋結束時，采用結合運動信息和表征信息的級聯匹配可以立刻對目標進行有效關聯。此外，采用改進后的YOLO v3網絡作為行人檢測器，提升了對行人的檢測效果，繼而使得成功跟蹤的目標數目顯著增加，跟蹤丟失數目有效減少。文中算法相比于SORT算法，MOTA 和MOTP得分分別提高了15.72%、3.14%，且在現有的硬件條件下，能達到34 幀∕s 的處理速度，基本能滿足實時性的要求。

4 結束語

多行人目標跟蹤技術是智能安防監(jiān)控系統(tǒng)的關鍵技術。文中提出了一種YOLO v3網絡模型與SORT跟蹤算法相結合的魯棒跟蹤方法，采用YOLO v3 模型和SORT 算法分別進行行人目標檢測和跟蹤。為了解決跟蹤過程中由于長時間被遮擋等原因出現的跟蹤丟失問題,設計了行人重識別網絡(Re-ID)來提取行人表征特征，并根據特征向量計算余弦距離來判別幀間行人目標的關聯程度。文中提出的多行人目標跟蹤方法有效提高了跟蹤效果，相比于SORT 算法，在MOT16 數據集上的多目標跟蹤準確率和多目標跟蹤精準率分別提高了15.72%和3.14%。