融合毫米波雷達和攝像機圖像的多目標跟蹤方法

摘要：現行方法在無人駕駛場景下的多目標跟蹤效果不佳，存在跟蹤失敗、跟蹤誤差大的問題，因此提出融合毫米波雷達和攝像機圖像的多目標跟蹤方法。利用自動駕駛毫米波雷達R200型實現無人駕駛場景下的多目標感知，引入擴展卡爾曼濾波算法修正毫米波雷達感知多目標的誤差，然后將毫米波雷達感知信息與攝像機圖像信息融合，實現無人駕駛場景下的多目標跟蹤。實驗證明，該方法對多目標跟蹤的準確率不低于95%，跟蹤誤差為±3 cm，可以實現對目標的精準跟蹤。

關鍵詞：毫米波雷達融合；無人駕駛場景；多目標跟蹤；擴展卡爾曼濾波算法

中圖分類號：TG156 文獻標識碼：A

0 引言

近年來，無人駕駛技術作為智能交通系統的重要組成部分，已經取得了長足的發展。無人駕駛技術的目標是實現車輛在各種復雜場景下的自主導航和決策，其中多目標跟蹤技術扮演著至關重要的角色。多目標跟蹤是指在連續的視頻幀或圖像序列中，同時檢測、識別并持續追蹤多個目標物體的位置、速度及運動軌跡。在無人駕駛系統中，多目標跟蹤技術主要利用車載傳感器實時采集道路信息，信息經過處理后用于車輛的感知、決策和控制。該技術可實時監測道路上的動態目標（如車輛、行人、自行車等），為自動駕駛決策系統提供可靠的環境感知信息，確保行車安全與路徑規劃的準確性。劉聰等[1]提出了基于學習型滑模預測控制的跟蹤方法，通過融合滑模控制的魯棒性與預見性，并利用機器學習算法優化控制參數，實現車輛在非結構化復雜環境中的軌跡跟蹤。秦曉輝等[2]提出了動態環境下基于時序滑動窗口的跟蹤方法，通過分析多幀傳感器數據，利用滑動窗口技術評估跨時間窗口的所有可能假設，識別最可能的目標關聯，實現目標跟蹤。盡管無人駕駛場景下的多目標跟蹤技術已經取得了顯著進展，但仍存在一些不足和挑戰，如跟蹤準確性低、跟蹤誤差大等，為此提出融合毫米波雷達和攝像機圖像的多目標跟蹤方法。

1 基于毫米波雷達的多目標感知

由于毫米波雷達所捕獲的無人駕駛場景內的目標信息不涵蓋目標物體的垂直高度數據，因此，本文利用二維點云表征無人駕駛場景內的目標。為了保證無人駕駛場景下的多目標感知精度，此次采用北京行易道科技有限公司生產的自動駕駛毫米波雷達R200型（autonomous millimeter-wave radar R200，AMRR200），其性能參數如表1所示。

將毫米波雷達安裝在汽車上，根據實際情況設置性能參數。理論上毫米波雷達能夠同時感知最多64個目標，然而，在實際應用場景中，因環境噪聲和干擾，無法實現同時對多目標進行感知，導致感知的有效目標數量少于64個，即存在所謂的“空信號”現象[3]。此外，還會存在感知的目標信息無對應的實際物體的情況。基于這一特性，結合毫米波雷達輸出的目標歷史信息，制定目標有效性判別機制：設定一系列判別條件，包括相對距離、相對角度和相對速度在連續采樣周期內的變化量是否超過預設的閾值，只要目標數據在任一維度上超過閾值，即被視為無效目標，并立即從毫米波雷達的探測列表中移除，其具體判定條件式中，ei為毫米波雷達探測的無人駕駛場景下第i個目標點的相對距離，m為毫米波雷達感知周期序號，et為目標點在采樣周期間隔內的距離，bi為毫米波雷達探測的無人駕駛場景中第i個目標點的相對角度，bt為目標點在采樣周期間隔內的角度，zi為毫米波雷達探測的無人駕駛場景中第i個目標點的相對速度，zt為目標點在采樣周期間隔內的速度[4]。

保留滿足以上判定條件的目標信息，用于實現無人駕駛場景下的多目標跟蹤。

2 毫米波雷達感知多目標誤差修正

在實際測量過程中，毫米波雷達雖然具有高精度，但仍會受到多種因素的制約，導致測量值出現偏差。具體而言，無人駕駛環境的復雜多變和傳感器自身的性能局限都會引發目標位置的不穩定跳變，嚴重時甚至會導致目標丟失[5]。為了保證無人駕駛場景中多目標跟蹤技術的精度，引入擴展卡爾曼濾波算法對毫米波雷達感知多目標誤差進行修正。

結合毫米波雷達在實際應用中感知目標的動態特性，采用常加速度模型對無人駕駛場景中的多目標進行建模。該模型忽略目標的具體大小和形狀，將其簡化為一個質點，聚焦于目標在毫米波雷達水平面坐標系下的位置和速度信息。基于此，毫米波雷達感知目標特征向量的定義如下：

Zt = （s，v，p）=（x，y，vx，vy，px，py）。" （4）

式中，Zt 為t時刻毫米波雷達感知無人駕駛場景中的目標特征向量，s為目標在毫米波雷達坐標系下的位置，v為目標在毫米波雷達坐標系下的運動速度，p為目標在毫米波雷達坐標系下的加速度，x、y分別為毫米波雷達坐標系下目標的橫坐標和縱坐標，vx、vy分別為目標在毫米波雷達坐標系下橫軸與縱軸的運動速度，px、py分別為目標在毫米波雷達坐標系下橫軸與縱軸的加速度[6]。

在擴展卡爾曼濾波算法的預測步驟中，當前時刻的先驗估計目標特征向量，可以通過前一時刻的后驗估計特征向量與狀態轉移矩陣得到，其計算公式如下：

Zt = AZt-1。" " " " " " " " " " " " " " " " " " " " " " " " " " " " "（5）

式中，A為狀態轉移矩陣[7]。

由式（5）可以確定當前時刻的毫米波雷達感知目標特征向量，從而得到毫米波雷達感知過程噪聲的協方差W。據此對原始目標特征向量進行修正，修正變量ηt計算公式如下：

ηt = AZt +W。" " " " " " " " " " " " " " " " " " " " " " " " " " " （6）

3 毫米波雷達與攝像機圖像融合

毫米波雷達雖然能夠感知到無人駕駛場景中多目標的狀態信息，但不能對目標進行分類，同時還容易受到電磁干擾的影響。相較于毫米波雷達，通過攝像手段獲取的圖像信息，不僅能夠直觀展示無人駕駛場景中目標的類型信息，還不受電磁干擾的制約。基于此，將毫米波雷達感知的信息與汽車攝像機拍攝的圖像信息相融合，即對毫米波雷達感知目標與圖像中目標進行匹配，以圖像的形式將毫米波雷達感知的目標實時標記到圖像中，最終實現無人駕駛場景下的多目標跟蹤。

在理想的水平地面上（不考慮地面起伏的影響），綜合考量攝像目標檢測框中心與毫米波雷達目標映射點的偏移量，以及攝像目標縱向距離與雷達目標縱向距離的偏移量，以此來衡量目標匹配的重合程度[8]。具體而言，將這兩者的總偏移量與自適應閾值進行比較，從而判斷毫米波雷達與攝像機所檢測到的目標是否匹配。自適應閾值由攝像目標檢測框的寬度與高度以及縱向距離所允許的誤差范圍來決定[9]。根據修正后的毫米波雷達感知目標特征向量中的目標位置信息，假設攝像目標檢測框中心的坐標為（x'，y'），根據經驗設定d為與毫米波雷達距離分辨率相關的值，其取值范圍通常為2～4。毫米波雷達感知多目標與圖像融合依據

如下：

|x-x'|+|y-y'|+|r-r'|≤κ（ +" + d）。" " " （7）

式中，r為毫米波雷達感知無人駕駛場景中第i個目標點的縱向距離；r'為對應無人駕駛場景中第i個目標點在攝像機圖像中的縱向距離；κ為融合判決因子，用于靈活調整目標融合的閾值[10]，根據實測經驗，κ的取值范圍為1.5～4.0；a為攝像目標檢測框寬度；l為攝像目標檢測框長度。

如果所有參數滿足式（7）中的條件，則說明毫米波雷達感知目標點與攝像檢測框匹配。將毫米波雷達感知的二維點云融合到對應的攝像機拍攝的無人駕駛場景圖像中，實時跟蹤目標，以實現無人駕駛場景下的多目標跟蹤。

4 實驗論證

為了驗證本文提出的多目標跟蹤方法的可行性與可靠性，開展對比實驗。

4.1 實驗數據

為了采集具有代表性的數據，本文選取不同道路類型作為實驗場景，并選擇某品牌具有無人駕駛功能的汽車在道路上行駛，行駛速度為30 km/h，行駛時間為10 min。在汽車上安裝毫米波雷達與攝像機，二者的實驗參數如表2所示。

本實驗共獲取2.53 Gb的數據，將其作為測試樣本用于無人駕駛場景下的多目標跟蹤。

4.2 實驗流程及指標

根據式（1）至式（3）對上述采集的數據信息進行篩選，保留有效目標信息。如圖1所示，在毫米波雷達輸出結果中，目標表示為二維點云形式。

通過式（4）至式（6）對有效目標信息進行修正，并通過式（7）將修正后的信息與攝像機圖像融合，得到最終的跟蹤結果。如圖2所示，無人駕駛場景下，利用本文方法可以清晰識別出周圍的多個目標（黑色方框），并且還能實現移動目標的實時跟蹤，始終精準鎖定每個目標。本文在實驗中設置兩個對照組，對照組1和對照組2分別為劉聰

等[1]提出的基于學習型滑模預測控制的跟蹤方法和秦曉輝等[2]提出的動態環境下基于時序滑動窗口的跟蹤方法。通過對比3種方法的正檢數和跟蹤誤差，測試本文方法在無人駕駛場景中多目標跟蹤精度。

4.3 實驗結果與討論

表3是3種方法在無人駕駛場景下的多目標正檢數統計數據。整體來看，本文方法目標正檢數多于對照組1和對照組2，并且多目標跟蹤準確率大于95%。

由圖3可以看出，本文方法在無人駕駛場景（場景1為鄉村道路、場景2為交叉路口、場景3為城市道路、場景4為高速公路、場景5為停車場）多目標跟蹤中的誤差為±3 cm，遠遠低于對照組1（±4 cm）和對照組2（±5 cm）。實驗證明，本文設計的方法可以實現對無人駕駛場景中多目標的精準跟蹤。

5 結語

本文針對無人駕駛場景，提出融合毫米波雷達和攝像機圖像的多目標跟蹤方法，通過整合多源毫米波雷達數據，結合先進的信號處理與目標跟蹤算法，實現了對無人駕駛場景下的多目標精準跟蹤。實驗結果表明，該方法顯著提升了目標跟蹤的精度與穩定性，為無人駕駛車輛的決策與控制系統提供了堅實的數據支撐。

參考文獻

[1] 劉聰，劉輝，韓立金，等.基于學習型滑模預測控制的無人駕駛車輛非結構化環境軌跡跟蹤及穩定性控制[J].機械工程學報，2024，60（10）：399-412.

[2] 秦曉輝，周洪，廖毅霏，等.動態環境下基于時序滑動窗口的魯棒激光SLAM系統[J].湖南大學學報（自然科學版），2023，50（12）：49-58.

[3] 寧晴，鮑泓，潘衛國，等.改進的Quasi-Dense多目標跟蹤算法[J].傳感器與微系統，2023，42（6）：124-128.

[4] 陳煒峰，仇昊，吉愛紅，等.基于激光傳感器的無人駕駛變換軌跡跟蹤系統[J].激光雜志，2024，45 （1）：184-190.

[5] 祝青園，程家琪，陳軒偉，等.無人駕駛鉸接轉向車輛路徑跟蹤控制研究綜述[J].農業機械學報，2024，55（1）：1-21.

[6] 劉平，劉自斌，楊明亮，等.考慮道路曲率的多約束高速無人駕駛汽車橫向跟蹤控制方法[J].長安大學學報（自然科學版），2023，43（2）：120-134.

[7] 劉輝，王振輝，陳洪月，等.基于虛擬前輪反饋控制算法的履帶車軌跡跟蹤方案研究[J].機械設計，2024，41（1）：117-124.

[8] 熊光明，羅震，孫冬，等.基于紅外相機和毫米波雷達融合的煙霧遮擋無人駕駛車輛目標檢測與跟蹤[J].兵工學報，2024，45（3）：893-906.

[9] 張瑋，高愛云，付主木，等.計及質心側偏角動態自適應的無人駕駛汽車橫坡彎道跟蹤控制[J].中國機械工程，2024，35（6）：962-972.

[10] 蔣榮軍.基于Concenter-Net神經網絡的無人駕駛汽車實時規劃方法[J].數學的實踐與認識，2023，53（5）：164-171.