基于多傳感融合的目標追蹤方法

朱世豪，武一民

基于多傳感融合的目標追蹤方法

朱世豪，武一民

（河北工業(yè)大學 機械工程學院 車輛工程，天津 300131）

自動駕駛已經(jīng)成為未來汽車技術發(fā)展的一個重要方向。但現(xiàn)階段自動駕駛汽車的感知精度不足已經(jīng)成為限制自動駕駛汽車應用的一個重要因素。為解決上述問題，文章基于多傳感器信息融合理論，提出一種自適應數(shù)據(jù)關聯(lián)方法，分別考慮傳感器的誤差特性模型、目標的運動狀態(tài)對數(shù)據(jù)關聯(lián)的影響實現(xiàn)雜波環(huán)境中的目標追蹤。并實驗驗證方法的有效性，實驗結果表明，文章提出的融合感知結果能夠有效地降低誤差值，且目標軌跡追蹤方法在所有實驗場景中能100%保證目標編號的一致性。

多傳感器融合；目標追蹤；自適應跟蹤門限

前言

隨著新一輪科技革命的發(fā)展，未來汽車的研究方向也隨之發(fā)生改變，無人駕駛技術已經(jīng)成為未來汽車領域的一個重要研究方向。但目前尚未出現(xiàn)能夠商業(yè)化的無人駕駛，其中一個難以解決的問題在于感知精度難以滿足需求。為提高感知精度，在車載感知方面進行了大量的研究，如 Mobus基于毫米波雷達與紅外傳感器分別實現(xiàn)融合追蹤，采用PDA算法實現(xiàn)數(shù)據(jù)關聯(lián)，將關聯(lián)結果進行融合且采用多模型交互實現(xiàn)目標的狀態(tài)估計，模型的權重取決于假設的可能性[1]。該方法可以實現(xiàn)多傳感器的融合感知，但采用的PDA數(shù)據(jù)關聯(lián)算法雖然方法簡單，但難以實現(xiàn)多個目標的數(shù)據(jù)關聯(lián)。黃偉[2]、王亞麗[3]和姚遠[4]均是基于毫米波雷達與攝像頭實現(xiàn)目標的融合感知，利用AdaBoost算法作為相機的檢測算法，該方法可以極大地提高目標的檢測效率，降低目標的漏檢率與誤檢率，并通過融合實現(xiàn)良好的目標追蹤。上述研究僅是針對簡單工況中的目標追蹤，對于車輛在雜波環(huán)境下的遮擋問題并未進行過多的研究。針對上述問題，本文以兩個攝像頭為感知原件提出一種基于多傳感器融合的目標追蹤方法。構建傳感器的誤差特性模型，基于傳感器的誤差特性作為權重，實現(xiàn)多傳感器的融合感知，為保證跟蹤門限包含正確量測的前提下減少雜波，基于當前時刻傳感器的誤差特性以及目標的運動狀態(tài)構建自適應跟蹤門限，實現(xiàn)跟蹤門限的自適應調整。

1 多傳感器的時空同步

1.1 多傳感器的時間同步

由于每個傳感器的采樣頻率不同，采樣起始時間存在差異，傳輸效率也不盡相同。為保證數(shù)據(jù)的時間同步，基于采集數(shù)據(jù)的時間戳實現(xiàn)時間同步。即保證車載相機與RT range（一種組合定位產(chǎn)品，內含GPS、IMU）時間差的消除以及采樣頻率的統(tǒng)一。

設備時鐘分別為工控機賦予車載相機以及行車記錄儀的時間戳，該時鐘為北京時間；RT range的真值時鐘為格林尼治天文臺時間，即RT range與北京時間的差為八小時。為了保證后續(xù)數(shù)據(jù)的時間同步，考慮將格林威治時間轉換為北京時間保證數(shù)據(jù)起始時間的一致性；在實際過程中，車載相機的采樣頻率為50 Hz，RT range的采樣頻率為100 Hz，為保證有效數(shù)據(jù)的最大化利用，將車載相機的數(shù)據(jù)進行線性插值，轉換為100 Hz，保證數(shù)據(jù)頻率的一致性。

1.2 多傳感器的空間同步

在融合感知系統(tǒng)中存在多個傳感器，每個傳感器的量測值均基于自身坐標系，因此數(shù)據(jù)融合前需要保證局部坐標系與全局坐標系的統(tǒng)一。描述空間中兩個物體的相對關系時，可以分為兩個物體間的位置關系以及兩個物體的方向關系。位置關系一般使用笛卡爾位置來表示，方向關系則使用姿態(tài)來表示。本文基于已有的實驗平臺實現(xiàn)空間同步，其中RT range內含標定軟件可實現(xiàn)空間同步，且實驗平臺已完成攝像機的內參標定，因此只需對相機的外參進行標定即可實現(xiàn)空間同步。

旋轉矩陣法的核心是一個3×3的旋轉矩陣，表達式如下：

在三維空間中的任意一點進行坐標系轉換，不僅需要三個獨立的位置坐標，還需要三個軸的旋轉角度來表示。兩個坐標系的位置關系通過空間位置轉換即可實現(xiàn),姿態(tài)關系則通過旋轉矩陣實現(xiàn)。因此對于坐標系的任意一點經(jīng)坐標轉換為坐標系，表達式如2所示。

2 目標追蹤框架

2.1 目標狀態(tài)估計

目標的狀態(tài)估計主要包括目標運動狀態(tài)的預測及更新。本文基于KF作為狀態(tài)估計器。首先基于上一時刻的最優(yōu)狀態(tài)以及運動學模型對車輛的狀態(tài)進行預測，將預測結果與傳感器的量測進行數(shù)據(jù)關聯(lián)，確認目標與量測之間的匹配關系后進行目標運動狀態(tài)的更新[5-6]。

2.2 數(shù)據(jù)關聯(lián)方法

數(shù)據(jù)關聯(lián)是基于上一時刻的最優(yōu)狀態(tài)，采用運動學模型對目標的狀態(tài)進行預測，并以狀態(tài)預測值作為跟蹤門限的中心。在實際應用，跟蹤門限的大小及形狀會對追蹤效果產(chǎn)生不同的影響，跟蹤門限的形狀應符合追蹤目標的運動特性，因此本文采用橢圓形跟蹤門。除此之外，在追蹤過程中，如跟蹤門限過大，會導致落入跟蹤門限內的量測過多，出現(xiàn)多個無關量測與干擾噪聲，將對追蹤精度產(chǎn)生影響，若在追蹤過程中，跟蹤門限過小則會導致跟蹤門限內無量測，數(shù)據(jù)關聯(lián)失敗。因此本文綜合考慮追蹤過程中的多種因素，實現(xiàn)對跟蹤門限實時修正[7]。

還需要確定跟蹤門限的面積，而橢圓形跟蹤門限的面積在于確定橢圓的長軸及短軸。研究表明，量測的傳遞過程存在兩種誤差：一是由于傳感器的性能導致量測值會存在隨機誤差，該隨機誤差無法避免，但該誤差會導致正確目標的量測無法落入跟蹤門限內，因此以傳感器的誤差特性統(tǒng)計結果為依據(jù)，改變跟蹤門限的大小，盡量保證有效量測落入跟蹤門限內，二是車輛狀態(tài)估計的運動模型是線性模型，由于采樣間隔較短，可以認為在短時間內車輛的運動狀態(tài)不會變化，但仍然會存在一定的誤差，所以需要考慮車輛運動狀態(tài)的不確定性導致的誤差。基于上述兩個要素構建自適應跟蹤門限。

12=2?MAX (φ(())∪?(w()))

12=2?MAX((())∪?(w())) （3）

其中12、12分別為橢圓跟蹤門限的長軸與短軸，φ(())與?(w())分別表示縱向的車輛運動特性以及縱向的傳感器誤差特性；φ(())與?(w())分別表示橫向的車輛運動特性以及橫向的傳感器誤差特性。

（1）傳感器誤差特性的建模方法。

目前車載相機的性能差別較大，因此如何正確描述傳感器的誤差特性成為構建跟蹤門限的一大難題，針對上述問題采用如下方法解決：

1）確定傳感器的有效感知范圍，在感知范圍內統(tǒng)計隨著目標車輛縱向相對距離的增加，傳感器的量測值與真值間的誤差。

2）統(tǒng)計所有工況的數(shù)據(jù)，確定隨著縱向相對距離的變大，傳感器的縱向相對距離的隨機誤差、橫向相對距離的隨機誤差。

3）將統(tǒng)計結果擬合為非線性函數(shù)。擬合結果如圖1與2所示。

圖1 縱向動態(tài)誤差擬合圖

圖2 橫向動態(tài)誤差擬合圖

（2）目標運動狀態(tài)的計算方法。

以常加速度模型對目標狀態(tài)進行估計，但實際行駛中，由于采樣間隔的不確定性以及目標運動狀態(tài)的不確定性，因此需要考慮目標的運動誤差對自適應跟蹤門限的影響，主要該表達式如下所示：

縱向位移：

表示采樣間隔，v橫向相對速度，為10 m/s2。

橫向位移：

v為縱向相對速度，而橫向的加速能力為0.4。

（3）誤差限制因子的計算方法。

為保證跟蹤門限的有效性，結合目標特性對跟蹤門先進行約束。即最小跟蹤門限應滿足一般車輛尺寸，即寬度為1.8 m，長度4.8 m；且不同傳感器誤差特性相差較大，為防止傳感器的誤差過大導致跟蹤門限過大，結合國家法規(guī)車道線的寬度不超過3.75 m為依據(jù)構建跟蹤門限短軸的自適應上限，即橫向相對誤差最大值不可超過3.75 m，由傳感器特性獲取該橫向相對誤差值對應的縱向相對距離，該縱向相對距離所對應的傳感器縱向誤差即為傳感器縱向相對誤差的最大值，如圖3所示。

圖3 誤差限制因子

當目標與自車距離較近，此時誤差將達到極小值，而目標尺寸將成為構建跟蹤門限不可忽略的因素；當目標車與自車距離較遠，此實量測值出現(xiàn)較大誤差，則該量測值已經(jīng)無法表示目標當前時刻的狀態(tài)，即使在跟蹤門限的邊緣出現(xiàn)量測是由該目標產(chǎn)生，由于傳感器性能導致該量測的偏移，則該量測已不具備確定目標狀態(tài)的能力，因為該量測已偏離真實目標過大，若關聯(lián)成功該量測將會影響目標追蹤的精度。因此需要對誤差進行自適應矯正。

誤差的限制因子的表達式如下所示：

自適應限制因子反映了該算法對于量測誤差的最大容忍限度。其中?(w())與?(w())分別為由于傳感器誤差特性對自適應跟蹤門限的短軸以及長軸的影響，當傳感器的橫向相對誤差小于3.75米時，則表明該量測誤差表明傳感器的性能正常，產(chǎn)生的誤差在允許范圍內，可以用于構建自適應跟蹤門限，對最終的追蹤結果會產(chǎn)生積極的影響；但傳感器的橫向相對距離大于3.75米時，表明傳感器的誤差已經(jīng)無法產(chǎn)生有效量測，此時的跟蹤門限為最大跟蹤門限，若跟蹤門限內仍不存在量測，則該方法失效。

綜合考慮車載感知系統(tǒng)的誤差特性以及目標運動狀態(tài)的不確定性來構建自適應跟蹤門限，確保在數(shù)據(jù)關聯(lián)時正確量測落入跟蹤門限內且減少雜波的落入。本文由于統(tǒng)計的最大誤差來構建誤差特性曲線，因此導致誤差值較大。

3 實驗驗證

3.1 實驗步驟

（1）三車保持同一直線，其中自車、目標車2、目標車1中相鄰兩車之間車輛間距20 m。

（2）三車同時緩慢起步，加速至實驗要求車速，期間盡量保持起始車距不變，且實驗數(shù)據(jù)能正確保存，實驗準備就緒。

（3）目標車2先向右側緩慢變道，變道成功后，緩慢回到原車道，期間盡量保持目標車1與目標車2間縱向間距不變。

（4）重復步驟3。該車速下實驗完成。行駛至初始位置靠邊停車（或掉頭）。

（5）改變實驗車速，重復步驟1—5。

（6）記錄實驗數(shù)據(jù)，復查實驗數(shù)據(jù)，確定實驗數(shù)據(jù)的完整、有效。

圖4 實驗示意圖

3.2 實驗結果

為驗證本文提出的目標追蹤算法的性能，選取一組實驗結果，分別為目標車2變道遮擋場景以及自車變道遮擋場景進行方法驗證。首先針對車載感知結果進行分析。分析結果表明：目標的追蹤過程中存在目標編號的切換以及由于目標間的遮擋導致被遮擋目標的軌跡被刪除。針對上述問題通過改進已有的算法，將實驗采集數(shù)據(jù)作為目標追蹤算法的輸入。車載感知的目標追蹤算法結果如圖5所示。

圖5分別為縱向相對距離與橫向相對距離的感知結果，其中綠色以及粉色實現(xiàn)分別為傳感器的感知結果，藍色以及紅色虛線為RT range提供的目標真值。

圖5 縱向相對距離與橫向相對距離感知結果

上圖為實驗1車載感知結果，由該結果可知：在0 s～4 s時對于目標車1與目標車2的追蹤結果正常，而4 s～10 s時目標車2發(fā)生變道，變道后真實情況為目標車1在感知范圍內消失，目標車2仍應該被追蹤到，但傳感器的追蹤結果顯示，目標車1被誤認為目標車2，目標車2則被認定為消失。在10 s～15 s目標車2變道結束后對目標車1及目標車2的追蹤回歸正常。因此，上述工況中存在問題是在發(fā)生目標車間的相互遮擋中發(fā)生目標編號的不合理切換。

圖6分別為被遮擋車輛的縱向相對距離、橫向相對距離、縱向相對速度、橫向相對速度的改進結果，其中綠色為傳感器的感知結果，黑色實線為改進追蹤結果，紅色點為RT range提供的目標真值。分析結果如下：

圖6 縱橫向相對距離與相對速度改進結果

如圖6目標車2向右變道短暫遮擋目標車1后再次向左變道的結果示意圖，其中，綠線表示傳感器的量測值，在換道前以及換道后對于目標車1實現(xiàn)了準確追蹤，在被遮擋期間對目標保持消失前的狀態(tài)且保留目標編號，在遮擋消失后再次實現(xiàn)對于目標的準確追蹤且目標編號沒有發(fā)生改變。

表1 實驗結果

編號切換次數(shù)縱向平均誤差/m橫向平均誤差/m 車載感知結果41.2950.612 改進感知結果00.9930.476

表1表明，在4組實驗中改進算法能夠保證目標的持續(xù)追蹤，不會發(fā)生目標的編號切換，通過結果表明，八組實驗中融合感知誤差的縱向平均誤差為0.993 m，相較于車載單傳感器的縱向平均誤差降低了23.3%；橫向平均誤差為0.476 m，相較于車載單傳感器的縱向平均誤差降低了22.2%。說明改進的追蹤結果能夠有效降低傳感器的追蹤誤差，提高追蹤的精度。

4 結論

為解決自動駕駛的感知問題，針對單傳感器的感知范圍有限、感知精度不足的問題。提出了一種多傳感器數(shù)據(jù)融合方法。根據(jù)先驗信息構建傳感器的誤差特性模型，并以傳感器誤差作為權重實現(xiàn)數(shù)據(jù)融合；針對雜波環(huán)境中目標追蹤不穩(wěn)定的問題，提出一種基于自適應跟蹤門限的聯(lián)合概率數(shù)據(jù)關聯(lián)方法。通過實驗表明，相較于單傳感器的感知結果，融合感知結果在縱向相對距離平均誤差為0.993 m，相較于原有算法誤差降低了23.3%，橫向相對距離平均誤差為0.476 m，相較于原有方法誤差降低了22.2%，且能夠100%實現(xiàn)目標的準確追蹤。

[1] Mobus R, Kolbe U. Multi-target multi-object tracking, sensor fusion of radar and infrared[C].Intelligent Vehicles Symposium. 2004:732-737.

[2] Otto C,Gerber W,Leon F P,et al.A Joint Integrated Probabilistic Data Association Filter for pedestrian tracking across blind regions using monocular camera and radar[C].Intelligent Vehi- cles Symposium. IEEE,2012:636-641.

[3] 黃偉.基于雷達和機器視覺的車輛前方障礙物檢測系統(tǒng)設計與實現(xiàn)[D].武漢:武漢理工大學,2010.

[4] 王亞麗.基于毫米波雷達與機器視覺融合的前方車輛檢測研究[D].吉林:吉林大學,2013.

[5] 姚遠.碰撞預判系統(tǒng)中車輛的圖像雷達聯(lián)合識別方法[D].北京:清華大學,2013.

[6] 麥新晨,楊明,王春香,等.一種基于多傳感器融合的車輛檢測與追蹤方法[J].上海交通大學學報,2011(7):1012-1016.

[7] Yu J,Li S E,Liu C,et al.Dynamical tracking of surrounding objects for road vehicles using linearlyarrayed ultrasonic sensors [C].Intelligent Vehicles Symposium (IV). IEEE,2016:72-77.

Target Tracking Method Based on Multi-sensor Fusion

ZHU Shihao, WU Yimin

( Vehicle Engineering, School of Mechanical Engineering, Hebei University of Technology, Tianjin 300131 )

Autonomous driving has become an important direction for the development of future automotive technology. However, the lack of perception accuracy of selfdriving cars at this stage has become an important factor restricting the application of selfdriving cars. In order to solve the above problems, this paper proposes an adaptive data association method based on the theory of multisensor information fusion, which considers the influence of the sensor's error characteristic model and the target's motion state on the data association to achieve target tracking in a cluttered environment. Design experi- ments to verify the effectiveness of the method. The experimental results show that the fusion sensing results proposed in this paper can effectively reduce the error value, and the target trajectory tracking method can 100% guarantee the consistency of the target number in all experimental scenarios.

Multi-sensor fusion; Target tracking; Adaptive tracking gate

TP212.6

A

1671-7988(2021)24-38-05

TP212.6

A

1671-7988(2021)24-38-05

10.16638/j.cnki.1671-7988.2021.024.009

朱世豪，碩士研究生，就讀于河北工業(yè)大學機械工程學院車輛工程系，研究方向：目標追蹤。