路側視角下基于圖像的多車輛目標檢測與跟蹤

摘 要：在車路協(xié)同系統(tǒng)中，為了提升路側情況下汽車對外界環(huán)境信息的感知能力和對動態(tài)車輛目標行為的預測能力，本文提出一種基于改進DeepSORT算法的車輛多目標跟蹤算法。本文將YOLOv5作為檢測器，并結合優(yōu)化的DeepSORT跟蹤算法進行動態(tài)車輛多目標跟蹤。在車輛特征匹配過程中，從匹配候選框中不斷去除匹配成功的檢測目標，以減少計算資源，并利用HOG特征對車輛信息進行匹配，提升算法的實時性。同時引入投影矩陣，將圖像數(shù)據轉化為俯視圖，獲取檢測目標的運動速度。試驗結果表明，與傳統(tǒng)的DeepSORT算法相比，改進算法的多目標跟蹤精度（MOTA）提高了6.7%。

關鍵詞：車路協(xié)同；特征匹配；優(yōu)化DeepSort算法；目標跟蹤

中圖分類號：TP 391 " " " 文獻標志碼：A

智能車路協(xié)同系統(tǒng)是一個綜合的交通運輸管理與服務系統(tǒng)，該系統(tǒng)將復雜的感知、跟蹤任務從車輛轉移到道路系統(tǒng)。目前，眾多基于深度學習和多傳感器融合的目標跟蹤算法得到了廣泛應用，常見的跟蹤目標算法包括卡爾曼濾波算法和均值漂移算法等，這些算法通過估計目標狀態(tài)來跟蹤目標。SORT算法是開創(chuàng)性的基于檢測的多目標跟蹤系統(tǒng)，但是其在物體被遮擋或快速移動的情況下，鑒于ID切換和跟蹤丟失，其準確性容易受到嚴重影響。

為了彌補SORT算法的不足，有學者對其進行了擴展，提出了DeepSORT算法[1]。該算法結合目標的視覺信息，先進行IOU相似性合并，為目標提供最終的相似性度量，再進行級聯(lián)匹配，在保持出色跟蹤精度的同時，降低了遮擋情況下ID切換的頻率。金立生等[1]將跟蹤算法中的檢測器更換為Gaussian YOLOv3，并把原有的交叉熵函數(shù)替換為重識別網絡的中心損失函數(shù)，車輛特征的提取與跟蹤網絡的關聯(lián)水平均有所提升。陳佳倩等[2]用YOLOv3代替DeepSORT算法的檢測器FasterR-CNN，從而提高了車輛跟蹤精度與速度。本文將YOLOv5作為檢測器，并結合優(yōu)化的DeepSORT跟蹤算法進行動態(tài)車輛多目標跟蹤。

1 算法總體設計

DeepSORT采用匈牙利方法來解決全局分配問題，利用外觀相似性測量，將每個檢測到的目標與其預測目標關聯(lián)起來。提高預測目標和觀測目標間的相關性，可以使跟蹤更精確和穩(wěn)定，更有效地滿足跟蹤多個目標的需求。算法采用YOLOv5模型進行交通流視頻圖像檢測，將定位檢測框信息輸入跟蹤算法模塊。并利用優(yōu)化特征匹配后的DeepSORT跟蹤算法，根據跟蹤規(guī)則進行卡爾曼濾波預測更新和級聯(lián)匹配，完成目標跟蹤。在目標跟蹤過程中引入投影矩陣進行圖像坐標變換，根據尺度信息計算車輛目標的速度、軌跡方向信息。算法總體架構如圖1所示。

2 YOLOv5車輛目標檢測

YOLOv5網絡包括4個版本，YOLOv5s是參數(shù)最小、速度最快的網絡[3]。根據路側車輛識別算法的實時性需求，本文選取YOLOv5s網絡作為檢測的基準網絡。其網絡結構主要包括輸入端、特征提取網絡（Backbone）、特征融合網絡（Neck）和檢測頭（Prediction）4個部分。1）輸入端。YOLOv5s使用Mosaic增強技術對輸入網絡的圖像進行數(shù)據增強，、縮放、裁剪和拼接，豐富了圖像的背景信息。2）特征提取網絡。YOLOv5s改進了YOLOv3中的主干網絡結構，將殘差模塊輸入的一部分與殘差組件保持堆疊，另一部分用作殘差邊，使各個網絡層能夠以截斷梯度流的方式避免多次學習相同的梯度信息，從而提高神經網絡的學習能力。為了加快網絡的檢測速度，引入Focus網絡結構，替代原方法的前3個卷積層。完成特征提取后引入SPP（空間金字塔池化）結構，以更好地適應不同尺度的目標。3）特征融合網絡。YOLOv5s的Neck利用上采樣傳輸和融合上層特征，檢索上層語義信息。為了進一步增強網絡對淺層特征的檢測能力，YOLOv5的特征融合網絡引入了特征金字塔網絡（Feature Pyramid Networks，F(xiàn)PN）結構。4）檢測頭。傳統(tǒng)神經網絡模型中的標準全連接層利用卷積層進行目標檢測，YOLOv5s算法則利用邏輯回歸、邊界框損失函數(shù)和非極大值抑制來確定目標的邊界框[4]。使用DAIR-V2X數(shù)據集進行訓練，并使用訓練后的權重來初始化YOLOv5s網絡，不斷調整學習率，以保證模型的穩(wěn)定性和收斂效果。

3 改進DeepSORT跟蹤算法

DeepSORT主要由卡爾曼濾波和級聯(lián)匹配組成?？柭鼮V波能夠預測當前狀態(tài)，根據真實觀測狀態(tài)對預測狀態(tài)進行修正、更新，在檢測到當前幀中的邊界框后，利用卡爾曼濾波器生成預測軌跡框。該框將顯示目標在下一幀中的位置[5]。經過卡爾曼濾波預測后，軌跡路徑分為2種形態(tài)，即確認態(tài)和未確認態(tài)。如果是確認態(tài)，那么會進入級聯(lián)匹配進行匹配；如果是未確認態(tài)，那么進行IOU匹配，算法流程如圖2所示。

3.1 車輛跟蹤卡爾曼濾波設計

當卡爾曼濾波算法應用于車輛跟蹤時[6]，該算法會先預測運動狀態(tài)，再更新運動狀態(tài)。本文使用8維向量描述車輛的狀態(tài)，如公式（1）所示。

Ct=（x，y，γ，h，，，，） （1）

式中：x、y分別為車輛預測軌跡框的中心點坐標；γ為車輛預測軌跡框的寬高比；h為軌跡框的高；，，和分別為上述變量的變化速度。

當沒有獲得測量信息時，計算先驗狀態(tài)估計和先驗估計誤差協(xié)方差矩陣Pk-，并進行預測，預測方程如公式（2）所示。

（2）

獲得檢測數(shù)據后，使用檢測數(shù)據更新公式完成數(shù)據更新，如公式（3）所示。

（3）

式中：為先驗狀態(tài)估計；Pk-為先驗估計誤差協(xié)方差矩陣；R為噪聲協(xié)方差矩陣。

計算得到的后驗狀態(tài)估計即需要的卡爾曼濾波值，進而進行級聯(lián)匹配。

3.2 級聯(lián)匹配優(yōu)化

采用CNN特征的匈牙利匹配，將第一幀中所有預測的目標框與第二幀中所有檢測到的目標框進行匹配。再采用IOU匹配，將第一幀中預測的目標框與第二幀中所有檢測到的目標框進行匹配。最后合并2個匹配的匹配集。由于要重新匹配已匹配的軌跡，因此這種方法的計算效率較低。

HOG特征通過統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構成特征，計算效率高，適用于有實時性要求的場景，而且在部分遮擋的情況下也能保持較好的識別性能。HOG的實現(xiàn)過程包括對輸入圖像進行分塊、計算每個塊的梯度方向直方圖、歸一化直方圖以及生成最終的特征向量。本文將候選式匹配方式作為新方案，在使用HOG特征匹配剩余的不匹配目標之前，采用CNN進行目標匹配。匹配過程結束后，移除匹配成功的檢測框和跟蹤預測框，對剩下未匹配的預測目標框和檢測到的目標框使用HOG特征匹配，再次移除匹配成功的檢測框和跟蹤預測框。如果仍有未匹配的目標，那么使用基于IOU的匹配策略進行最后一次匹配。如果匹配失敗，俺么將其視為新的目標軌跡，并分配新的ID編號，該算法流程如圖3所示。

3.3 方向與速度

在路側視角下，需要采用一定的角度計算和圖像變換來獲得跟蹤車輛的方向和速度。利用上一幀目標和下一幀目標的檢測框中心的連線方向，計算與路面平行線的夾角，并根據該角度獲得目標此刻的運動方向。根據每n幀圖像間經過的時間和每n幀圖像中同一目標的檢測圖像中心距離，得到當時目標的速度。由于車輛由遠及近分布，在圖像中呈現(xiàn)出多尺度特征，因此本文引入透視變換矩陣，將圖像數(shù)據轉換為俯視圖，并根據實地測量的道路距離信息，確定其與圖片間的比例尺關系，用以計算目標的速度。透視變換矩陣如公式（4）所示，轉換前、后的圖像如圖4所示。

（4）

4 試驗結果與分析

為了評估目標跟蹤算法的性能，選取3種測試場景，見表1。本文利用視頻傳感器采集的路側數(shù)據，并基于Pytorch深度學習框架，在CPU為i9-13900、RAM為32G和GPU為RTXGPU3060的硬件平臺上進行訓練和測試。

目標追蹤效果如圖5所示。從圖5可以看出，從車輛質心點開始形成的跟蹤軌跡點顯示出跟蹤目標的歷史軌跡，方框顯示出目標跟蹤位置，并顯示對應的ID編號和目標速度信息。

統(tǒng)計3種情況下的交通目標數(shù)據，采用跟蹤準確率MOTA、跟蹤精確率MOTP和FPS這3種指標來衡量跟蹤效果，數(shù)值越大表明效果越好。3個不同測試場景的試驗結果見表2。

檢測結果顯示，對特征匹配進行優(yōu)化后，檢測實時性在3種不同場景下分別提升了4.2Hz、3.6Hz和1.6Hz，與基準DeepSORT算法相比，MOTA指標平均提升了6.7%，MOTP指標平均提升了7.4%。

5 結論

本文在DeepSORT算法的基礎上進行了改進，針對路測跟蹤系統(tǒng)對實時性的要求，改進匹配策略，提升檢測速度。試驗結果表明，與原始跟蹤算法相比，特征優(yōu)化后的跟蹤算法提高了實時性和目標跟蹤精確率。

參考文獻

[1]金立生，華強，郭柏蒼，等.基于優(yōu)化DeepSort的前方車輛多目標跟蹤[J].浙江大學學報（工學版），2021，55（6）：1056-1064.

[2]陳佳倩，金距宏，王文遠，等.基于YOLOv3和DeepSort的車流量檢測[J].計量學報，2021，42（6）：718-723.

[3]XIE T，YAO X.Smart logistics warehouse moving-object tracking

based on YOLOv5 and DeepSORT[J].Applied sciences，2023，13（17）：9895.

[4]羅茜，趙睿，莊慧珊，等.YOLOv5與Deep-SORT聯(lián)合優(yōu)化的無人機多目標跟蹤算法[J].信號處理，2022，38（12）：2628-2638.

[5]黃凱文，凌六一，王成軍，等.基于改進YOLO和Deep-

SORT的實時多目標跟蹤算法[J].電子測量技術，2022，45（6）：7-13.

[6]王瑞，林志堅，陳平平.基于改進DeepSort的行人跟蹤方法研究[J].無線電通信技術，2023，49（6）：1117-1124.