一種多特征融合的車輛追蹤算法的研究與實現(xiàn)

劉慧敏，關(guān) 亨，于明鶴，趙志濱

1(東北大學計算機科學與工程學院，沈陽110819)

2(東北大學軟件學院，沈陽110819)

1 引 言

多目標追蹤是計算機視覺中的一個重要研究方向，有著廣泛的應(yīng)用，如:視頻監(jiān)控，人機交互，無人駕駛等.多目標追蹤的主要任務(wù)就是將視頻序列中檢測到的運動物體關(guān)聯(lián)起來，得到每個運動物體的運動軌跡.在視頻幀中，使用目標檢測算法已經(jīng)得到了車輛位置，如圖1(a)，但是無法確定視頻序列中車輛之間的關(guān)系.使用多目標追蹤算法可以將視頻序列中的車輛信息關(guān)聯(lián)起來，得到單一車輛的整體運動軌跡，如圖1(b)、圖1(c).運動軌跡可以被用作運動物體的行為分析，異常行為等，具有重要的應(yīng)用價值.

在高速公路場景的實際應(yīng)用中，監(jiān)控攝像頭大部分安裝在路側(cè)，所以在進行視頻監(jiān)測的過程中經(jīng)常發(fā)生車輛相互遮擋的情況，當目標車輛被遮擋后重新出現(xiàn)在視頻中時，很容易將其識別成新的目標，造成原目標丟失的現(xiàn)象，對目標軌跡分析帶來了一定的誤差.因此，本文提出一種簡單、高效的關(guān)聯(lián)算法，使用追蹤目標的位置、運動和顏色信息計算出各個追蹤目標與檢測的運動物體關(guān)聯(lián)度，進行目標匹配.

圖1 高速公路路測高清視頻的車輛檢測與追蹤Fig.1 Vehicle detection and tracking in highway surveillance video

本文的主要貢獻有:

1)提出一種車輛位置預(yù)測模型，即在車輛由于被遮擋而消失時可以準確預(yù)測車輛的位置;

2)在數(shù)據(jù)關(guān)聯(lián)上提出一種使用多特征融合的數(shù)據(jù)關(guān)聯(lián)方法，簡單高效;

3)將追蹤算法在真實數(shù)據(jù)集上進行實驗，取得了較好的結(jié)果.

本文第二部分介紹了多目標追蹤算法的相關(guān)工作，包括目標檢測和其他學者對多目標追蹤算法的最新研究成果.第三部分詳細介紹了多目標追蹤的數(shù)據(jù)關(guān)聯(lián)模型的詳細實現(xiàn)過程，包括軌跡預(yù)測、多特征融合的數(shù)據(jù)關(guān)聯(lián).第四部分介紹了實驗的細節(jié)并分析了實驗結(jié)果.第五部分總結(jié)全文.

2 相關(guān)工作

隨著近幾年卷積神經(jīng)網(wǎng)絡(luò)(CNN)的快速發(fā)展，基于CNN的目標檢測算法也愈加成熟.從RCNN［1］系列的先選取候選框再使用深度學習進行分類到 SSD［2］、YOLO［3］等系列等直接使用深度學習的回歸方法，都在目標檢測的問題上取得了很好的效果.YOLOv3 在YOLOv2、YOLOv3 的基礎(chǔ)上調(diào)整了網(wǎng)絡(luò)結(jié)構(gòu)，對目標的檢測使用多尺度預(yù)測的方法提高對小目標的檢測精度，將分類器從softmax 改為logistic 改善目標重疊的狀況，由于YOLOv3 是一種端到端的目標檢測方法，所以運行速度非常快［4，5］.

在視頻分析中，多目標追蹤是行為識別和軌跡分析等高層應(yīng)用的基礎(chǔ)，一直是學術(shù)界關(guān)注的熱點.多目標追蹤根據(jù)初始化方法分為 Detection-Free Tracking(DFT)和 Detection-Based Tracking(DBT)［6］.DFT 需要在第一幀人工的標記出想要追蹤的目標，不需要目標檢測器.DFT 是使用目標檢測的結(jié)果進行追蹤，檢測效果依賴于目標檢測器的效果.由于本文是對視頻中的車輛進行追蹤，首先使用目標檢測算法獲取到BBox，所以采用 DBT 方法.

在使用DBT 的方法中，很多學者提出了不同的解決思路.Jér8me Berclaz 等人使用K 最短路徑方法進行數(shù)據(jù)關(guān)聯(lián)，表現(xiàn)出良好的效果［7］.Alex Bewley 等人提出了一種簡單的在線實時追蹤算法，該算法使用卡爾曼濾波和匈牙利算法進行數(shù)據(jù)關(guān)聯(lián)與修正，展現(xiàn)出較好的實時效果［8］.Erik Bochinski等人提出一種只使用檢測框之間的IOU 值去進行多目標追蹤，這種方法檢測速度可以達到上千FPS，并且可以得到很好的效果，為多目標追蹤提出一種新的思路［9］.這些方法由于沒有使用圖像特征，所以在發(fā)生遮擋時檢測效果不是很理想.

還有一些學者使用CNN 提取圖像特征來處理多目標追蹤問題［10-13］.Nicolai Wojke 等人在 SORT［8］的基礎(chǔ)上，使用CNN 提取了追蹤目標的圖像特征，得到了更好的效果［14］.Qi Chu 等人提出了一種基于CNN 的在線多目標追蹤方法，使用CNN 提取單目標的圖像特征并在下一幀中進行目標搜索［15］.雖然使用CNN 提取圖像特征會大幅度提高多目標追蹤算法的效果，但是由于計算量大，很難達到實時的處理速度.近幾年單目標追蹤的效果在很多復雜場景有著較好的表現(xiàn)［16-18］，Peng Chu 等學者將多目標追蹤問題轉(zhuǎn)換為多個單目標追蹤問題［19］，也取得了不錯的表現(xiàn).

在進行數(shù)據(jù)關(guān)聯(lián)之后，因為無法精確的知道追蹤目標當前的精準狀態(tài)，所以還需要對追蹤目標進行位置修復.卡爾曼濾波可以過濾目標的噪聲和干擾，求解目標的最優(yōu)狀態(tài)［20］.但卡爾曼濾波只適用于高斯函數(shù)，處理線性模型.Julier 和Uhlman 在卡爾曼濾波的基礎(chǔ)上提出了無損卡爾曼濾波器(UKF)［21，22］.UKF 的基本思想就是找到近似非線性函數(shù)的概率分布，從而解決卡爾曼濾波只能處理高斯分布的問題.

基于以上相關(guān)工作，本文針對車輛多目標追蹤算法提出一種使用圖像的顏色特征和目標的位置特征的方法進行目標的數(shù)據(jù)關(guān)聯(lián)，并且在目標丟失的情況下預(yù)測追蹤目標的位置信息，然后使用無損卡爾曼濾波進行位置修復，在保證算法處理速度的情況下達到了最優(yōu)效果.

3 關(guān)聯(lián)模型

3.1 問題描述

多目標追蹤可以被看作是多變量估計問題.設(shè)目標檢測模塊在t 時刻的視頻幀上獲得n 個檢出對象{1，2，…，n}，則所有n 個檢出目標在t 時刻的靜態(tài)狀態(tài)集合為進一步，所有n 個檢出對象從開始時刻ts到結(jié)束時刻te的靜態(tài)狀態(tài)集合可以表示為其中表示檢出對象 i從ts到te的靜態(tài)狀態(tài)序列，即檢出對象i 從ts到te的軌跡.

3.2 軌跡預(yù)測

在高速視頻監(jiān)控中，車輛經(jīng)常發(fā)生相互遮擋的狀況.如圖2(a)，當車輛A(框標記)首次出現(xiàn)時，目標檢測算法可以容易地識別出A 的位置.當行駛到圖2(b)的情況時，A 由于被其他車輛遮擋住，目標檢測算法不能正確的識別出A 的位置，此時發(fā)生目標丟失的狀況.圖2(c)中，當行駛一段距離后，A 再次出現(xiàn)在視頻畫面中，此時A 的位置與消失時的位置已經(jīng)相差很遠，如果不進行軌跡預(yù)測，很難將圖2(a)中的A 與圖2(c)中的A 關(guān)聯(lián)起來.所以在目標消失時準確的預(yù)測目標的位置是非常必要的.

追蹤對象在視頻中位移變換時，需要根據(jù)歷史的運動軌跡對對象在下一幀的位置進行預(yù)測.使用預(yù)測信息進行數(shù)據(jù)關(guān)聯(lián)會更加準確.存儲信息如公式(2)所示:

其中，

圖2 目標車輛首次出現(xiàn)、被遮擋和再次出現(xiàn)的過程Fig.2 Process of the target first appearance，occlusion and reappearance

根據(jù)匹配得到新的位置信息之后，使用無損卡爾曼濾波進行位置修復.因為目標檢測得到的只是預(yù)測值，無法精確的確定當前的對象狀態(tài)，所以需要使用卡爾曼濾波對目標的位置進行修復.普通的卡爾曼濾波算法只能修復線性運動的位置，在追蹤系統(tǒng)中顯然不能使用簡單的恒定速度模型來建模，所以本文使用一種無損卡爾曼濾波—UKF.UKF 使用無損變換，首先采集n 個在先驗分布中的點，然后使用線性回歸來線性化隨機變量的非線性函數(shù).由于擴展到隨機變量，所以這種線性化預(yù)測更加準確.

3.3 數(shù)據(jù)關(guān)聯(lián)

通過3.2 節(jié)的方法預(yù)測出目標的位置信息之后，使用預(yù)測的位置信息和當前幀的目標檢測結(jié)果進行數(shù)據(jù)關(guān)聯(lián).本文使用三種數(shù)據(jù)關(guān)聯(lián)方法進行數(shù)據(jù)匹配，分別為位置信息、IOU、顏色特征.計算各個的位置信息時，使用調(diào)整余弦相似度來計算的位置相似度的位置相似度Lcon的計算公式見公式(10).

IOU 是兩個BBox 的交并比，在目標沒有丟失的時候可以很好的體現(xiàn)出兩個BBox 的空間信息.當進行IOU 計算時，表示第i 個對象在t－1 時刻從視頻序列中消失時間，Tmaxdp表示允許對象消失的最長時間.如果計算的當前位置的IOU 值，如果則不進行計算，因為目標一旦因為遮擋等原因消失，計算IOU 會受到周圍目標很大的干擾，會發(fā)生目標跟錯、跟丟的現(xiàn)象.

本文使用顏色直方圖來提取顏色的特征.進行數(shù)據(jù)關(guān)聯(lián)時，使用直方圖相交的方法進行計算.當直方圖相交的數(shù)值小于顏色閾值colorth時，計算圖像相似度，否則置0，計算公式見公式(11)、(12).

對目標的位置、IOU 和顏色特征置信度，使用加權(quán)的方式計算出和St之間的對象關(guān)聯(lián)置信度，見公式(13).

多特征融合算法如算法1，算法首先初始化追蹤器，然后計算每個BBox 與追蹤目標的三種關(guān)聯(lián)置信度矩陣，通過三種置信度矩陣計算總體的置信度矩陣之后進行BBox 與追蹤目標的關(guān)聯(lián).

4 實驗設(shè)計與結(jié)果分析

4.1 實驗方法

4.1.1 實驗數(shù)據(jù)集

本文使用某高速公路的真實監(jiān)控視頻作為實驗數(shù)據(jù)集.該路段全線采用?？低旸S-2CD7A27EWD-IZS 型號200w像素(1920* 1080)CMOS 智能日夜型高清攝像機.分別截取了三段不同場景的視頻:普通路段、頻繁遮擋和擁堵情況，每段視頻2 分鐘左右，共計11338 幀圖片，請實驗室同學按照MOT Challenge 標準數(shù)據(jù)集格式進行標注，將數(shù)據(jù)的80%作為訓練集，20%作為測試集進行實驗.

普通路段可以體現(xiàn)出追蹤算法在一般情況下的追蹤能力;擁堵路段視頻中擁堵路段車輛較多、行駛緩慢，目標檢測器會發(fā)生漏檢狀況，可以展示出追蹤器在目標較多的情況的檢測效果;頻繁遮擋路段可以展示出多目標追蹤算法的重識別能力，當追蹤目標丟失時，能否對目標接下來的位置進行有效的預(yù)測是目標重識別的關(guān)鍵要素.

4.1.2 評價指標

多目標追蹤的性能指標需要評估追蹤算法預(yù)測目標的位置的精確度和追蹤算法隨時間產(chǎn)生軌跡的一致性.評價指標有:多目標追蹤準確率MOTA，主要體現(xiàn)在誤報率、目標丟失和目標身份切換;多目標追蹤精度MOTP，展示了真實和預(yù)測的BBox 的匹配度;追蹤軌跡MT，目標追蹤的軌跡占真實軌跡的比例(≥80%);追蹤丟失ML:目標的丟失軌跡占真實軌跡的比例(≤20%);ID 切換總數(shù)IDS:一條追蹤軌跡目標ID的變換次數(shù).

4.2 實驗結(jié)果和分析

本文面向不同場景的真實高速公路視頻，對所提目標追蹤算法進行了性能測試.首先，實現(xiàn)了基本的IOU 算法，即只使用IOU 進行目標的關(guān)聯(lián)計算.在IOU 的基礎(chǔ)上，對本文提出的多特征融合目標追蹤算法進行了準確性測試，并與SORT［8］和 IOU17［9］進行比較.實驗中，本文方法將生成對象的最短生命長度閾值 Tminhits設(shè)置為 8，Tmaxdp設(shè)置為 30;SORT［8］的 Tminhits和 Tmaxdp參數(shù)和本文方法一致;IOU17［9］方法的Tminhits同樣設(shè)置為8，σiou設(shè)置為0.5;三種方法的檢測器準確率全部設(shè)置為0.5.分別使用六種方法對三段不同場景的視頻進行測試，測試結(jié)果見表1-表3.

通過表1-表3 結(jié)果分析可知，本文方法在使用預(yù)測位置和顏色特征的時候可以表現(xiàn)出很好的效果，僅僅使用未經(jīng)預(yù)測的位置信息和顏色特征或者僅僅使用預(yù)測的位置信息對追蹤效果都有一定的影響;在頻繁遮擋的路面上，使用預(yù)測位置的方法可以大幅改進算法的準確率.因為在目標被遮擋的過程中，目標的位移較大，可能發(fā)生形變，所以使用IOU 特征和顏色特征不能準確的重新識別被遮擋的目標;在擁堵路段中，使用顏色特征比預(yù)測位置的準確率更高.本文方法在車輛行駛緩慢的情況下不進行位置預(yù)測，因為緩慢行駛會給預(yù)測結(jié)果會帶來較大的誤差，但行駛緩慢的過程中顏色特征變化幅度較小，所以在緩慢行駛的過程中顏色特征會使準確率明顯增加.

表1 普通路段準確率測試結(jié)果Table 1 Experimental results on accuracy in normal situation

表2 頻繁遮擋路段準確率測試結(jié)果Table 2 Experimental results on accuracy with frequent occlusion

表3 擁堵路段準確率測試結(jié)果Table 3 Experimental results on accuracy with heavy traffic

SORT［8］和 IOU17［9］只使用了目標與目標的位置信息進行數(shù)據(jù)關(guān)聯(lián)，在發(fā)生擁堵、遮擋頻繁的情況時，由于目標檢測器準確率下降和追蹤目標被遮擋等原因，不能有效地對車輛進行追蹤.

5 結(jié)束語

在車輛多目標追蹤的問題上，由于沒有針對車輛進行軌跡預(yù)測，在發(fā)生遮擋等事件時，一些算法很容易丟失目標.本文使用線性回歸對車輛的歷史軌跡進行分析，進而預(yù)測出車輛消失時的位置，通過預(yù)測的位置和其他顏色的多維特征信息，在車輛再次出現(xiàn)時，可以將目標與原目標以較高的準確率進行關(guān)聯(lián)，從而實現(xiàn)同一目標的追蹤.顏色特征不僅可以提取RGB 圖像，還可以提取灰度圖像，因此本文方法同樣適用于黑白監(jiān)控系統(tǒng)中.實驗表明本文算法在車輛發(fā)生遮擋、擁堵時表現(xiàn)出良好的效果和性能.

為了減少計算量，本文方法在提取圖像特征時只是用了顏色特征，但是計算顏色和位置均相近的多目標會帶來一定的誤差，因此下一步工作是使用淺層CNN 提取圖像特征，提高追蹤的準確率和適應(yīng)性.