基于多特征融合的高速路車輛多目標跟蹤算法研究

胡隨芯 常艷昌 楊俊 章振原

（1.武漢理工大學，武漢 430070；2.現代汽車零部件技術湖北省重點實驗室，武漢 430070；3.湖北三環車橋有限公司，谷城 441700）

1 前言

多目標跟蹤可為智能汽車決策規劃、控制執行提供可靠的依據[1]，有離線和在線兩種方式，在線方法實時性好，適用于高速場景，但其易受到目標遮擋和檢測器漏檢、誤檢的影響，因此設計魯棒性強的特征關聯模型十分重要。為解決在線多目標跟蹤中的難題，近年來許多學者進行了大量研究。E.Bochinski[2]等根據高精度檢測結果，將前、后幀的交并比（Intersection Over Union，IOU）作為相似性度量參數設計了一種高速跟蹤算法，該算法耗時極短，但只采用了單一度量模型，無法應對物體變形較大及目標相互遮擋的場景。A.Bewley[3]等提出一種簡單的在線實時跟蹤（Simple Online and Realtime Tracking，SORT）方法，將卡爾曼濾波引入圖像空間，使用軌跡預測的邊界框與檢測邊界框重合率作為相似性度量參數。N.Wojke、A.Bewley[4]等對SORT算法進行改進，提出了DeepSort 算法，利用深度神經網絡提取行人外觀特征，跟蹤準確性明顯提升，但實時性不如SORT 算法。S.Sharma 等人[5-6]利用深度神經網絡提取跟蹤目標的3D邊界框，將二維圖像擴展到三維空間，分別計算目標在2D、3D 空間的相似性。G.Gunduz[7]等人提出了一種輕量級的多目標跟蹤算法，融合目標RGB顏色直方圖和檢測框尺寸相似性構造關聯矩陣，跟蹤速度較其他算法快6～20 倍，但該算法只關注單一RGB 外觀特征，無法解決光照變化、陰影、遮擋等問題。

綜上，多目標跟蹤算法研究已取得較大進展，但在高速場景下，由于車輛移動速度快、目標相似度高，為了保證跟蹤的魯棒性，除了外觀模型，還應注重運動模型和尺寸模型的判別能力。因此，本文融合HSV顏色直方圖和HOG 方向梯度直方圖構造目標外觀相似性模型，彌補單一顏色特征對光照、陰影敏感性強的缺點。利用卡爾曼濾波對已有的跟蹤軌跡進行預測，構建預測與檢測間的位置相似性模型和尺寸相似性模型，同時針對預測超出圖像邊界框導致相似性度量不準確的問題提出解決方法，以減少目標因相互遮擋造成跟蹤失敗等問題。

2 跟蹤算法框架

本文算法采用逐幀關聯方式，利用安裝在移動車輛上的單目相機獲取車輛前景區域圖像序列其中n為圖像的數量，將t時刻圖像It作為卷積神經網絡（Convolutional Neural Networks，CNN）的輸入，輸出當前時刻檢測結果集合，其中為t時刻第i個目標檢測框，Nt為檢測框的數量，的表達式為：

式中，()為檢測框的左上角坐標；分別為檢測框的寬度和高度；為檢測框的置信度。一個物體可能對應多個檢測框，因此本文先采用非極大值抑制（Non-Maximum Suppression，NMS）[8]選取置信度最高的檢測框，從而除去冗余檢測，并融合多種特征模型設計相似性度量矩陣，利用匈牙利二分圖匹配將t時刻檢測與(t-1)時刻軌跡關聯，算法框圖如圖1所示。

圖1 本文采用的算法框架

2.1 卡爾曼濾波

本文基于卡爾曼濾波進行運動車輛跟蹤，目標的運動方程和觀測方程為：

式中，xt、xt-1分別為t時刻和(t-1)時刻目標運動狀態變量；yt為t時刻目標觀測變量；F為狀態轉移矩陣；ut-1為過程噪聲，滿足正態分布且其協方差為Q；H為觀測矩陣；wt測量噪聲，滿足正態分布且其協方差為R。

卡爾曼濾波假設目標處于勻速直線運動狀態，因此對應的噪聲協方差矩陣為單位對角陣。給定上述參數后，根據卡爾曼濾波遞推可得到預測的狀態方程：

預測的狀態協方差矩陣為：

卡爾曼增益方程為：

更新后的狀態方程和協方差矩陣分別為：

式中，xt-1/t-1為(t-1)時刻的最優估計狀態；xt/t-1為t時刻的預測狀態；Pt-1/t-1為(t-1)時刻更新后的協方差矩陣；Pt/t-1為t時刻的誤差協方差預測矩陣；Kt為t時刻的卡爾曼增益；為t時刻最優估計狀態；為t時刻最優估計協方差矩陣。

目標的狀態變量可以表示為xt=(x,y,w,h,vx,vy,vw,vh)T，其中x、y為目標中心在2個坐標軸方向的投影分量，vx、vy為目標運動速度在2 個坐標軸方向的分量，w、h分別為目標包圍框的寬度和高度，vw、vh分別為目標包圍框寬度、高度的變化率。目標觀測變量yt可由檢測邊界框的信息得到，yt=(xt,yt,wt,ht)T。在卡爾曼濾波的初始階段，可將目標的速度初始化為0。得到目標的初始狀態后，根據后續幀中的檢測結果利用卡爾曼濾波對目標狀態不斷預測、更新，該過程對應目標跟蹤過程。

2.2 關聯特征設計

2.2.1 外觀相似性

HSV顏色直方圖能夠直觀表達物體色彩和色調，更類似于人類視覺。HOG特征是一種描述圖像局部紋理的特征，通過統計圖像局部區域的梯度直方圖構成圖像特征。考慮到汽車具有相對穩定的結構，其圖像的局部結構可以用梯度邊緣分布很好地描述，為保證在提取圖像顏色信息的同時也能提取圖像紋理信息，本文將HSV特征和HOG特征進行融合來描述軌跡與檢測之間的外觀相似度，融合后的外觀特征用FH來描述：

式中，f1、f2分別為長度為256維的HSV特征和長度為36維的HOG特征向量，融合后的特征維度為292；ω1、ω2分別為f1、f2的權重，本文中令ω1=ω2=0.5。

為了避免不同數量級的特征在融合時數量級大的特征淹沒數量級小的特征，在此將兩種特征進行正則化，然后按照各自的權重進行加權拼接得到融合后的外觀特征FH。采用卡方距離（Chi-Square）計算目標Di和軌跡Tj的外觀相似性：

分別利用HSV顏色直方圖模型、HSV顏色直方圖融合HOG 特征模型計算圖2a 和圖2b 中同一目標的相似度，從圖中可以看出，同一目標光照情況變化較大。使用單一HSV顏色特征計算相似度為0.26，而使用融合后的外觀特征計算相似度為0.14，由式（10）可知，卡方距離越小，相似度越高。顏色直方圖對目標旋轉和部分遮擋具有較強的適應能力，而HOG直方圖對光照變化具有較高魯棒性，融合顏色和紋理的外觀特征可更加準確地反映目標間的相似性，為目標跟蹤提供更可靠的關聯。

圖2 外觀相似度比較

2.2.2 尺寸相似性

尺寸相似性用來描述當前幀軌跡邊界框與檢測邊界框的尺寸差異。與其他低速跟蹤應用（如傳統行人跟蹤）相比，高速場景中移動相機獲取的圖像放大了檢測框幾何變化，會導致檢測的邊界框大于或者小于物體的實際尺寸，因此不直接比較兩幀檢測框之間的相似性，而是將當前幀的跟蹤軌跡根據卡爾曼濾波外推到下一幀，盡量減小移動速度較快帶來的目標尺寸差異。由檢測框信息可得Bbox=(x,y,w,h)T，定義尺寸參數為z=(w,h)T，則t時刻第i個檢測目標尺寸參數為zi=(wi,hi)T，將(t-1)時刻第j個跟蹤目標邊界框外推到t時刻，有zj=(wj,hj)T，計算zi與zj之間的尺寸相似度：

將軌跡邊界框外推到下一幀時，若目標出現在圖像邊緣區域，預測的邊界框可能超出圖像區域，而檢測器輸出的檢測框只在圖像區域內，如仍采用預測的邊界框會導致相似性判斷不準確，因此需去除超出圖像區域的預測部分，只保留圖像區域內的預測結果。假設圖像的寬度為W，高度為H，檢測框可改寫成Bbox=(x1,y1,x2,y2)T，其中x2=x1+w、y2=y1+h，根據圖像框架限制更新Bbox：

根據式（12）對第j個軌跡尺寸參數zj=(wj,hj)T進行更新，，其中，分別為更新后的軌跡邊界框的寬度、高度，分別為更新后的軌跡邊界框左上角和右下角坐標。將更新后的結果帶入式（11）計算軌跡與檢測的尺寸相似度：

圖3 顯示了圖像序列第133 幀～第136 幀中貨車的檢測邊界框與預測邊界框的寬度變化，圖像寬640 像素，高480像素。從圖3中可以看出，貨車位于圖像區域邊緣，上一幀預測的邊界框超出了圖像區域，將會導致同一目標檢測框與預測框尺寸相似性存在較大誤差。將超出區域的部分去掉，更新后的邊界框寬度更接近當前幀的檢測框寬度，越小，目標的尺寸相似度越高。若不更新預測邊界框計算，第135 幀和第136 幀中目標尺寸的相似度為0.051 2，更新后尺寸相似度為0.016 7，因此調整后的尺寸相似度在跟蹤過程中能更準確地判斷目標間的關聯性。

圖3 連續幀邊界框尺寸

2.3 基于多特征融合的數據關聯

對于在線多目標跟蹤，數據關聯的目的是將當前幀的檢測框分配給已存在的軌跡，本文根據外觀、尺寸、位置3個方面的相似性來構造相似性度量矩陣，從而將目標與軌跡相關聯。假設截止到t時刻，跟蹤器在此刻輸出的軌跡集合T為{T1,T2,…,TN}，當前幀檢測器輸出檢測集合D={D1,D2,…,DM}，將Sij定義為目標Di和軌跡Tj之間的相似度，本文從外觀相似性、尺寸相似性以及位置相似性3個方面綜合比較目標和軌跡的相似性，。其中外觀和尺寸相似性已在2.2 節中給出，位置相似性則用軌跡預測框與檢測框之間的交并比（IOU）來構造，位置相似性計算方式為：

式中，Sarea(i)為第i個檢測目標的邊界框面積；為第j個跟蹤軌跡的預測更新后邊界框的面積；為第i個檢測框與第j個預測更新后邊界框的重合面積。

綜合以上特征，構造目標Di和軌跡Tj之間的相似度Sij，由特征線性加權求和得到：

式中，λ1、λ2、λ3分別為各特征對應的權重，λ1+λ2+λ3=1。

本文開展了大量的窮舉試驗，發現當λ1=0.2、λ2=0.3、λ3=0.5 或在此附近輕微波動時，取得的跟蹤效果最好。

根據第i個目標Di和軌跡Tj之間的相似度Sij構造M個檢測與N個軌跡之間的關聯矩陣SM×N：

式（16）的最優數據關聯可通過匈牙利二分圖算法求解，其目標是最小化總體關聯的代價。

2.4 目標狀態更新

匹配完成時可能出現兩種情況，即存在未匹配的目標或存在未匹配的軌跡。

存在未匹配的目標，可能是新目標出現或檢測器誤檢造成的。對此，本文規定若連續T1幀檢測到同一目標，則認為出現新目標，為其創建新的軌跡并將其加入跟蹤列表，初始化目標的速度為0。若連續T1幀未檢測到，則判斷為誤檢并刪除該目標。T1越大，對誤檢判斷越準確，但也會造成正常出現的軌跡延遲，因此本文設T1=2。

存在未匹配的軌跡，可能是舊目標消失、檢測器漏檢或目標被遮擋。針對這種情況，本文規定若連續T2幀未檢測到同一目標，則認為該目標消失，將其從軌跡列表中刪除。若在T2幀中檢測到了目標，則判斷為漏檢或遮擋，利用卡爾曼濾波預測作為下一幀的狀態直至重新檢測到目標。T2越大，對漏檢以及遮擋判斷越準確，但也會對正常消失的軌跡造成延遲，因此本文設置T2=3。

3 試驗結果與分析

本文試驗平臺配置Intel i5-7200U 處理器，8 GB 內存，運行Python 3.5。采用KITTI[9]數據集和自采的廣州番禺區高速公路數據集：KITTI數據集中序列2、3、4、5、6、8、10、11、12、18、20 為車輛快速移動場景，基本滿足本文高速路車輛多目標跟蹤的要求，記作KITTI-Car 類數據集；自采的高速路數據集共1 499幅圖像，其中698幅作為訓練集，801 幅作為測試集，使用相機的幀率為30 幀/s。KITTI數據集利用RRC[10]網絡獲取檢測結果，自采的高速路數據集利用YOLOv3[11]網絡獲取檢測結果。

采用the CLEAR MOT Metrics[12]對算法進行評估，包括跟蹤對象的數量至少占生命周期的比例（MT）>80%、跟蹤對象的數量不到生命周期的比例（ML）>20%、多目標跟蹤正確率（MOTA）、多目標跟蹤準確率（MOTP）、身份混淆數（IDS）、平均每幀運行的時間（runtime）。其中，MOTA 是綜合性指標，ML、IDS、runtime 越小越好，MT、MOTA、MOTP越大越好。

為定量分析本文提出算法的有效性，統計KITTICar類數據集的跟蹤結果，如表1所示。可以看出，本文算法具有較高的準確率，綜合性能較好。但不同序列中檢測器漏檢、誤檢及目標遮擋等導致本文算法在各序列上的表現有較大差異，其中序列11、20場景中目標數量龐大，目標相互交錯、遮擋嚴重，跟蹤效果較差。

表1 KITTI-Car類本文算法測試結果

將本文算法與其他經典算法在KITTI-Car 類數據集上進行對比，結果如表2 所示。SORT 跟蹤算法雖然運行速度快，但因其只將IOU 作為關聯依據，在目標相互遮擋時易產生錯誤跟蹤，DeepSort算法將深度學習得到的特征用作目標關聯依據，跟蹤正確率提高，但也拖慢了跟蹤速度。本文提出的基于多特征融合的多目標跟蹤算法在綜合性能評價指標上優于其他算法，并且在跟蹤正確率和跟蹤速度上取得了較好的平衡。

表2 KITTI-Car類不同跟蹤算法測試結果

為評估本文方法中不同關聯成分的影響，在自采高速路數據集上進行了驗證，結果如表3所示。表中pose、app、shape分別代表位置、外觀和尺寸3個方面的相似度模型，從表3中可以看出，對檢測結果使用非極大值抑制（NMS）顯著提高了跟蹤正確率，加入外觀特征后，IDS指標明顯降低。融合多種特征進行關聯后，雖然跟蹤速度下降，但MOTA、MT、ML、IDS逐漸提升，而MOTP主要受標定和檢測結果影響，受跟蹤結果的影響較小。

表3 不同關聯成分在自采數據集上的跟蹤結果

對本文算法在實際道路場景進行定性分析，圖4、圖5 所示分別為采用SORT 算法和本文算法在KITTICar 類數據集序列4 上的部分測試效果，該場景車流量大、車輛嚴重遮擋。可以看出，SORT 算法由于只采用IOU 匹配，跟蹤效果較差，而本文提出的跟蹤算法對復雜的交通場景有較好的處理效果，跟蹤魯棒性更強。

圖4 SORT算法在KITTI-4數據集上的跟蹤效果

圖5 本文算法在KITTI-4數據集上的跟蹤效果

進一步在真實高速場景下對本文算法進行測試，圖6、圖7 分別給出了采用SORT 算法和本文算法在自采的廣州高速路數據集上的部分測試效果。可以看出，SORT 算法無法較好地應對多幀漏檢的情形，易發生跟蹤丟失，而本文提出的處理策略使得目標在漏檢后重新出現時能持續在同一條軌跡上，具有更好的跟蹤效果。但本文算法是將目標檢測的結果直接作為觀測，因此尚存在一些不足：檢測器多幀漏檢時，無法持續穩定地跟蹤目標；目標發生嚴重遮擋時，目標身份易混淆。

圖6 SORT算法在高速路數據集上的跟蹤效果

4 結束語

本文提出了基于多特征融合的多目標跟蹤算法，構造簡潔高效的關聯模型，較好地解決了目標相互遮擋導致跟蹤失敗的問題。同時針對檢測器漏檢、誤檢，目標出現、消失等情形提出了處理策略。試驗結果表明，本文提出的車輛跟蹤方法在實際高速道路圖像序列中獲得了準確的跟蹤結果，且算法的運行速度滿足高速行車要求。但在目標嚴重遮擋的場景中該算法尚有不足，還需完善。