基于核相關濾波和運動模型的多目標軌跡跟蹤*

廖家才，曹立波，夏家豪，張 曉，吳 強

（湖南大學，汽車車身先進設計制造國家重點實驗室，長沙 410082）

前言

自動駕駛車輛的前方多目標檢測、跟蹤、姿態估計將為車輛自主駕駛的路徑規劃、決策控制提供準確環境信息。由于道路車輛周圍目標多、類別多、運動方向不確定、環境復雜，自動駕駛場景下的多目標檢測和長時間軌跡跟蹤仍然存在很大挑戰。多目標跟蹤過程中檢測、跟蹤匹配準確率不高，前方目標運動狀態估計不準確，協同多種信息對目標檢測、跟蹤時，運動信息無法有效地傳遞給跟蹤目標，跟蹤算法對目標尺寸適應性較差。

隨著深度卷積神經網絡的迅速發展，使用深度神經網絡實現目標檢測、協同檢測、跟蹤信息，能夠實現多目標軌跡信息獲取。使用YOLO［1］系列神經網絡模型實現多目標檢測、分類具有良好的實時性，核相關濾波（KCF）［2］跟蹤算法能夠從被跟蹤目標中提取特征訓練檢測器，具有良好的跟蹤實時性和穩定性。Wojke等［3］結合卷積神經網絡和Kalman算法提出了一種在線的實時目標檢測跟蹤網絡deep-SORT，使用級聯匹配方法檢測和跟蹤目標的位置。文獻［4］中采用YOLOv2檢測目標，使用重合度（intersection over union）作為目標的匹配系數。袁大龍等［5］提出了協同運動狀態估計的多目標跟蹤算法，使用MS-CNN［6］算法檢測目標，構建了目標跟蹤、檢測關聯矩陣。Yu等［7］基于Faster R-CNN進行目標檢測，使用ImageNet對VGG-16進行預訓練，使用遷移學習構建卷積神經網絡提取目標的外觀特征，并將這些特征用于線上和線下的跟蹤，線下跟蹤時使用特征、運動、平穩性3個相關特性進行跟蹤目標。KCF是一種基于檢測的跟蹤算法［5，8］，能夠不斷提取正負樣本訓練跟蹤目標的HOG特征檢測器，使用檢測器在周圍鄰域內搜索跟蹤目標最佳響應位置，并引入核函數來改善分類器的性能，同時利用傅里葉變換降低計算量。針對KCF跟蹤尺度不變的問題，Wu等［8］采用了基于檢測位置和大小關聯的自適應方法進行尺度調整，譚舒昆等［9］使用高斯尺度空間的方法進行尺度自適應調整。

卡爾曼濾波器［3-5，7］將系統的狀態與目標的狀態結合起來，對符合高斯噪聲分布的線性運動目標，從序列數據中準確預測目標位置。deep-SORT使用恒速運動模型作為卡爾曼濾波跟蹤器的處理模型。使用運動關聯系數、形狀關聯系數構建關聯矩陣，使用匈牙利算法（KM）進行最佳匹配能夠將檢測信息、運動信息加入到匹配規則中［5，7］。在檢測、跟蹤的基礎上，基于概率數據關聯算法（PDT）解決多目標跟蹤（MHT）交叉的干擾問題，獲得目標的運動軌跡［10］，增強車輛的持續環境感知能力。使用表觀特征與軌跡動態相結合的方法［11］能夠彌補表觀特征區分較差的情形。

在多類別、多目標的跟蹤過程中僅以重合度、特征、運動信息進行匹配無法消除多目標交叉運動時的錯誤匹配情況。卡爾曼濾波器針對符合高斯噪聲分布的線性系統具有很好的預測能力，但道路的不平及其他環境影響造成本車和前方目標的速度變化是隨機的，導致基于視覺獲得的前方被跟蹤目標無法滿足一定精度要求。道路目標在跟蹤過程中，所有相鄰幀之間的運動都使用恒定速模型處理［3，12］，沒有考慮到環境對目標運動狀態造成的隨機噪聲，被跟蹤目標的位置容易發生隨機偏離和抖動。以檢測尺度作為KCF跟蹤樣本尺寸，沒有考慮到跟蹤目標的空間位置信息和系統狀態的變化，導致KCF跟蹤器對匹配失敗的目標進行持續跟蹤時，對目標的尺度變化適應性較差。

針對以上問題，本文中從車載應用場景出發，首先，改進了協同KCF和運動模型的跟蹤算法，獲得目標的軌跡位置信息，為目標姿態估計、行為分析提供有效信息。然后，詳細描述了目標跟蹤、目標匹配、運動模型的優化方法。最后，提出了基于分段線性恒定速處理模型的卡爾曼濾波運動姿態估計方法，增加并優化了目標的匹配準則，將目標運動信息加入到目標KCF的跟蹤目標尺度中，改變KCF的尺度不變性。

1 多目標跟蹤框架

圖1 多目標檢測和跟蹤算法框圖

本文中多目標檢測和跟蹤算法框圖如圖1所示。協同KCF跟蹤和運動狀態的軌跡跟蹤算法按照以下3步實現。

（1）目標檢測、匹配 使用YOLOv2檢測目標，構建目標的檢測信息容器，檢測信息與跟蹤信息互相驗證匹配，結合多個目標匹配準則，在重合度、運動信息、特征信息關聯基礎上，增加了目標屬性和跟蹤時序內的跟蹤狀態。

（2）目標跟蹤、運動狀態估計、獲取目標軌跡分解目標運動的狀態，設置在一定跟蹤幀數內使用恒定速運動模型表示目標的變速運動狀態，超過設置跟蹤幀數后，使用當前目標位置更新目標的運動狀態到新的恒定速模型中，在此基礎上使用卡爾曼濾波器對目標進行二維矢量運動姿態估計，使用分段的線性恒定速運動逼近目標非線性運動。

（3）信息融合、調整目標尺度 融合KCF特征信息和卡爾曼預測的運動信息，使用獲得的目標運動矢量信息調整KCF跟蹤器中目標的尺度和位置，提升KCF對多尺度目標的軌跡跟蹤性能。

2 YOLOv2目標檢測與核相關濾波跟蹤

要獲得目標的連續軌跡，首先要實現目標的連續檢測和跟蹤。輔助駕駛和自動駕駛場景下的多目標檢測任務主要實現對車輛四周目標的實時檢測和跟蹤，增強車輛的環境感知和決策能力。在車載應用場景中，車載控制器計算能力有限，一般淺層卷積網絡目標檢測的速度快，但準確率低；深層卷積神經網絡準確率高，但實時性差。車載場景下檢測目標的種類主要為人、各種車輛和交通標志，因此實時性成為車載道路目標檢測和跟蹤的重要性能指標。

2.1 基于YOLOv2的目標檢測

YOLOv2使用darknet19作為基礎模型，將輸入圖像的尺寸從448×448縮減到416×416，在每個卷積層使用了批量歸一化，YOLOv2只有卷積層和池化層，可以進行動態調整輸入圖像的尺寸。特征圖的輸出是一個奇數，中心柵格專門實現預測中心落在圖像中心附近的物體，不需要使用圖像中心附近的4個柵格去預測目標。同時對圖像進行了32倍的降采樣，獲得的最終輸出特征圖尺寸是13×13。YOLOv2使用通過K-means在訓練集中學得的anchor box預測坐標，同時還對條件類別概率預測機制和空間位置做了解耦，不再由柵格預測條件類別概率，而由Bounding Box預測。

YOLOv2的網絡層設計方法使得其在檢測速度和精度上達到了很好的平衡，可以實現交通標志等目標的識別［13-14］。本文中使用YOLOv2進行跟蹤目標的初始位置提取，使用訓練COCO數據保存的權重對目標進行預測。

2.2 核相關濾波跟蹤算法

核相關濾波（KCF）是一種基于檢測的跟蹤方法［2］，在跟蹤過程中訓練一個目標檢測器，使用目標檢測器去預測目標位置，目標檢測器訓練時選取目標區域作為正樣本，目標周圍區域作為負樣本，越靠近目標區域為正樣本的可能性越大，通過特征提取，獲得一個在線的針對每個跟蹤目標的實時分類器。使用分類器再檢測跟蹤目標，重新確定目標位置。使用樣本訓練得到的分類器采集了目標樣本的HOG［15］特征，使得跟蹤算法對目標的捕捉特征從顏色特征擴展到輪廓特征，提升了跟蹤的穩定性。

訓練樣本為xi，回歸目標為yi，回歸函數為

式中w為列向量權重系數。

使用最小二乘法求解訓練權重系數的函數表達式為

式中λ為回歸參數，用于控制過擬合。

最小化函數的閉合形式為

式中：X為循環位移得到的信號集合矩陣；y的每一個元素都是一個回歸目標；I為單位矩陣。

X矩陣的每一行代表一個信號在一個周期內的信號向量集。

在傅里葉域中的簡化計算公式為

式中XH表示復共軛轉置矩陣。

為獲得充分的樣本來訓練目標檢測器，使用循環位移矩陣作用于目標樣本。循環矩陣P為

為能夠在長時間跟蹤中自適應更新初始矩陣，本文中對改進KCF的循環矩陣使用條件，在運動模型預測方向上優先使用環矩陣尋找目標最新位置。在傅里葉域中計算時，將循環矩陣對角化，加快計算速度，使用離散傅里葉（DFT）矩陣進行對角化。

式中：g為DFT的生成向量；F為DFT常數矩陣。使用傅氏對角化帶回回歸方程，使用點積運算代替矩陣運算，提高計算速度。非線性回歸對輸入的優化質量高，使用脊回歸方法將輸入的線性問題映射到一個非線性特征空間中，非線性函數為

式中：αi為訓練樣本Xi對應的系數；κ為核函數；z為候選樣本。脊回歸導致非線性回歸函數f（z）會隨著樣本數量的增加而變得復雜，KCF使用快速的核回歸計算最優解，提升計算效率。訓練得到f（z）計算候選區域內每個位置的函數值，得到最佳響應位置。

3 融合運動信息與核相關濾波跟蹤

檢測目標與跟蹤目標的狀態轉換如圖2所示。圖中，Cd為檢測目標容器集合，Cs為經過跟蹤算法后的目標容器集合。檢測目標為跟蹤算法提供跟蹤樣本，跟蹤得到的目標集與下一幀檢測目標集進行匹配，獲得新的跟蹤目標集。

圖2 目標檢測、跟蹤匹配流程

3.1 目標容器

對目標檢測、跟蹤時，需要根據類別屬性、坐標位置等信息進行記錄、匹配，結合運動信息時，需要考慮車輛的運動狀態。為每個檢測目標、跟蹤目標設置一個容器c，在容器中放置檢測、跟蹤相關的參數，并在跟蹤的過程中不斷更新其中的參數。第i個目標容器為

式中：ClassID為目標的類屬性，主要有乘用車、貨車、摩托車、人、自行車；Num為同類計數值，用于區分同一類別不同目標；Cof為檢測目標的置信度值；［x，y，w，h］為目標框坐標；TKaut為記錄目標的持續跟蹤幀數；UPaut為記錄目標在跟蹤期間進行檢測匹配的次數；UPf為目標最近一次檢測匹配成功的幀數；Km為基于運動模型實現的卡爾曼跟蹤參數。

運動模型的參數為

式中（xp，yp）和（vpx，vpy）分別為跟蹤目標位置預測值和x，y方向的矢量速度預測值。

YOLOv2檢測目標和跟蹤目標匹配后，更新被跟蹤目標的特征狀態值，基于運動模型的卡爾曼濾波跟蹤算法更新跟蹤目標的運動模型參數值。

n為跟蹤目標個數，跟蹤目標容器集合Cs為

3.2 目標匹配

目標匹配實現原有跟蹤目標與現有檢測目標的關聯，實現檢測目標與跟蹤目標的信息持續傳遞。檢測目標與跟蹤目標的匹配主要包括以下幾種情況。

（1）目標檢測丟失、位置偏離 當跟蹤目標持續一定時間內出現匹配失敗，此時跟蹤目標丟失，跟蹤位置偏離了真實位置，須刪除這些跟蹤丟失、位置偏離的目標。

（2）出現新目標 檢測到新的目標，須在跟蹤容器中添加新目標。

（3）更新原有目標的狀態 原有跟蹤目標集合中的目標在新一幀中的檢測信息須傳遞到跟蹤容器中。

（4）跟蹤目標在當前幀沒有被檢測到 此時跟蹤目標出現檢測丟失，須保留跟蹤目標位置，并結合運動狀態進行預測位置信息。

針對以上4種情況，本文中使用以下匹配準則。

（1）IOU系數

IOU值為兩個目標位置區域面積的交集與并集的比值，IOUij為t時刻第i個跟蹤目標和第j個檢測目標重合度系數。

式中：Cdt為t時刻的檢測集，包含所有檢測目標的容器；Cst為t時刻的跟蹤集；Area｛…｝為所指向矩形的面積。

匹配目標存在包含關系時，IOU值為

（2）關聯系數

跟蹤目標與檢測目標的運動關聯系數為

跟蹤目標與檢測目標的形狀關聯系數為

式中：ω1，ω2分別為運動和形狀的關聯系數；帶下標的x，y，w，h分別為第i個跟蹤目標和第j個檢測目標的坐標位置及長、寬尺寸。

構建的關聯矩陣為

使用KM算法得到關聯矩陣的最優解。

（3）類屬性（ClassID）、累計跟蹤幀數（TKaut）、狀態更新次數（UPaut）、狀態更新幀（UPf）

類屬性可根據目標類別，排除一些候選的匹配目標，提升匹配速度。對于丟失和偏離目標，使用兩個與跟蹤時間和幀數有關的差值進行判斷。

目標加入檢測容器開始，TKaut在每次匹配過程中加1，檢測目標與跟蹤目標匹配成功時，UPaut加1。UPf記錄的是目標最新一次更新狀態時的跟蹤幀數。diff2為目標自上一次檢測匹配成功后，持續的檢測丟失幀數。

目標每次都被檢測并與跟蹤目標匹配成功時：

目標在持續跟蹤過程中出現檢測丟失時：

目標匹配時，為提高檢測跟蹤速度，首先用屬性和IOU系數匹配，IOU值如果大于0.8，屬性相同，則匹配成功，不再計算關聯系數；反之匹配失敗。將匹配成功的目標加入到新跟蹤器中，對跟蹤器剩余目標和檢測候選目標使用關聯系數diff1和diff2進行再次匹配，關聯系數的計算參數取ω1＝1，ω2＝2，ω3＝ω4＝0.5［5］。檢測容器中未被匹配成功的目標都是新出現的目標，跟蹤容器中剩余未被匹配成功的目標分為兩類：僅當前幀檢測丟失和跟蹤丟失超過一定幀數。

判斷持續跟蹤丟失的條件為

判斷當前幀檢測丟失的條件為

目標持續跟蹤過程中，檢測目標會出現間斷性的檢測丟失，TH1表示一個跟蹤目標被允許連續檢測失敗的最大幀數，在本文中實驗設置為10；TH2為以當前幀為參考，一個目標最多允許被跟蹤丟失的幀數，本文中設置為20。

3.3 基于分段線性恒定速運動模型的卡爾曼目標跟蹤

對前方目標在二維圖像上的成像進行矢量跟蹤時，目標的運動姿態不斷變化，為能夠準確地估計目標位置，需要在卡爾曼濾波器中引入運動模型。目標的加速度、偏航角度和角速度都無法從圖像中獲取，無法使用恒定轉率和速度模型（CTRV）、恒定加速度模型（CA）等高級運動模型［12］對卡爾曼濾波跟蹤器進行優化。將兩幀間隔時間非常小的目標運動作為恒定速運動［3，10］，在每一幀更新目標狀態時，受到環境的噪聲影響比較大，對目標的狀態估計不準確，多目標跟蹤時，每一時刻重復迭代計算每個目標的狀態向量和跟蹤器的預測矩陣，降低了系統的跟蹤效率。

每一幀計算跟蹤目標的卡爾曼增益時，測量噪聲反映的是計算前后幀時間內的平均系統噪聲，相鄰幀的噪聲估計相互獨立，連續軌跡中包含噪聲較多，目標的預測位置發生抖動。為降低目標的噪聲估計偏差，提高KCF的目標跟蹤能力。將目標的持續變速運動分解成相連的分段恒定速運動，并將目標的運動姿態加入到KCF的跟蹤模型中，使用多幀相鄰時間段內目標平均位移矢量和平均速度矢量來更新目標的狀態向量，使用目標相鄰節點的預測位置，計算恒定速條件下目標的運動估計參數，并將該參數作為當前分段內的運動參數，分段內不再使用卡爾曼濾波器計算目標的狀態方程，直到本次分段結束，在下一時刻分段節點幀再次更新目標狀態。圖像目標的矢量速度可以通過每秒顯示幀數（fpsk）、圖像幀間運動像素位移計算獲得。在道路目標跟蹤過程中，基于恒定速卡爾曼濾波預測、更新、分段過程如下。

（1）恒定速運動模型

恒定速目標k時刻狀態向量為

式中：（px，py）和（vx，vy）分別為目標的像素坐標位置和矢量速度分量。

（2）預測

恒定速運動模型為

式中：ψ為系統的處理噪聲；A為預測矩陣。

測量誤差的計算公式為

式中：Pk為k時刻測量誤差矩陣；Qk為處理噪聲的協方差。

在使用卡爾曼濾波跟蹤目標的過程中，由式（24）可得恒定速的運動模型：

在一定時間段內的運動認為是恒定速運動，而目標實際的真實運動并非恒定速。假設模型包含的處理噪聲ψ是目標的加速運動引起的，此時，處理模型為

處理模型的前后狀態值的線性關系為

處理噪聲ψ是隨機帶入的，本質是一個高斯分布：ψ∽N（0，Q），處理噪聲Q為位移和速度矢量的協方差矩陣。

對道路運動的行人、車輛目標，根據先驗知識［12］，速度的方差近似取：

（3）更新

對目標的狀態預測完后，修正卡爾曼增益和預測誤差，為下一次預測做好準備。目標速度是根據像素位移直接計算得到的矢量，測量矩陣為

測量噪聲方差為

卡爾曼增益計算公式為

k時刻，被跟蹤目標的測量值為zk，使用測量值更新估計值：

更新測量誤差：

測量位置直接使用目標檢測獲得，k時刻目標檢測位置為

（4）分段線性運動

目標的分速度可根據間隔N幀匹配目標中心位置在x和y方向的以像素為單位的移動分量DISix，DISiy和N幀內平均幀率f psk計算得到，獲得連續目標位置信息后，使用間隔N幀匹配目標的檢測位置信息計算矢量速度，并用該速度矢量作為后續N幀內目標的運動速度，k時刻的目標矢量速度計算表達式為

因此，k時刻測量得到的目標容器中每個跟蹤目標的測量狀態為

每個目標使用運動模型預測狀態值用來更新與之關聯目標容器中的Km參數，下一次預測時再調用。每隔5幀記錄的軌跡跟蹤連續幀檢測結果如圖3所示。

圖3 多目標連續軌跡跟蹤結果

圖4 為每個目標位置中心的軌跡記錄線。

圖4 目標跟蹤軌跡

幀數N值和目標更新狀態及跟蹤實時性有關，間隔N幀取一次匹配點檢測坐標，計算N幀內的矢量速度均值，更新目標的速度和中心位置。初始化所有目標矢量速度為20 pix/ms，為了確保目標被判斷為丟失刪除之前能夠更新狀態，N≤TH1，N為10時，對圖4中的ClassID為car_1和truck_0的目標的使用分段恒定速線性運動模型卡爾曼濾波跟蹤結果如圖5和圖6所示。

圖5 car_1分段線性運動模型跟蹤軌跡與原軌跡對比分析

圖6 truck_0分段線性運動模型跟蹤軌跡與原軌跡對比分析

從圖5和圖6中可以看出，N值取10時，基于運動模型的目標跟蹤能夠預測出目標的運動趨勢。N取不同值時，對car_1的分段軌跡預測見圖7。

由圖7可知，N值越大，在分段區間內的運動細節將被丟失越多，目標運動狀態獲取相應滯后N幀，但對目標的非線性運動仍有很好的響應，能夠滿足連續跟蹤過程中對目標姿態估計的要求。為消除噪聲的同時保留運動細節，N取值越靠近2越好。

N取不同值時，卡爾曼濾波器對單個目標進行檢測、跟蹤消耗的平均時間如圖8所示。分段時間內，不再進行基于運動模型的目標運動姿態估算，減少了卡爾曼濾波運動狀態估算和目標檢測次數，提高了平均每幀的目標跟蹤速度。N為1，不對目標使用分段線性恒定速模型處理，將目標前后兩幀時間段內的運動狀態作為恒定速模型處理。相比于N大于2的分段線性恒定速模型，不使用分段運動模型處理的單個目標的卡爾曼濾波跟蹤時間約增加了7倍。

圖7 car_1不同N值下分段線性運動模型軌跡跟蹤與原軌跡對比

圖8 不同N值下單個目標的卡爾曼濾波跟蹤時間

N取不同值，多目標的檢測、跟蹤時間如圖9所示。隨著跟蹤目標個數的增多，平均每幀檢測、跟蹤消耗的時間增加，N為1時，不使用分段線性模型，檢測、跟蹤消耗的時間比使用分段線性運動模型（N≥2）估算運動狀態的時間多。

為獲得實時目標狀態信息，提高多目標的跟蹤速度，同時消除環境噪聲影響，在本文中測試實驗中N取4，多目標的軌跡跟蹤速度平均提升1.5倍。

3.4 運動跟蹤信息與核相關濾波融合

道路目標的運動信息與目標圖像尺寸相關，目標在圖像平面內的成像滿足透視成像原理。目標遠離觀測點時，觀測尺度變小；靠近觀測點時，觀測尺度變大。目標的運動方向和目標的尺度、位置有關。

KCF跟蹤器的初始化矩陣在跟蹤目標的位置確定后不再發生變化，導致KCF目標對目標的尺度變化適應能力比較差。前方的跟蹤目標運動時存在相對的旋轉、平移，尺度不斷發生變化，當目標檢測失敗時，持續使用上一次檢測目標框去跟蹤目標，不能適應目標的運動變化。

為關聯目標運動信息與檢測信息，消除KCF跟蹤的尺度不變性，提升多目標的匹配準確率。本文中在目標匹配時，結合目標屬性，使用關聯檢測目標位置和跟蹤目標位置，提升了目標匹配準確率，在目標跟蹤時，使用分段線性恒定速運動模型預測獲得目標的位置、尺度信息，在每個分段的節點修正相關濾波跟蹤的目標信息，將運動信息傳遞到圖像的特征位置信息中，目標跟蹤特征的尺度變化融合了基于KCF提取的HOG特征［15］檢測方法和圖像目標的運動分量。

KCF算法根據目標樣本框的位置首先在周圍預測區域內搜索目標的最佳響應位置。預測區域是以目標框為中心，長寬是目標框的2.5倍。

如圖10所示，圖點為基于運動模型的卡爾曼濾波跟蹤位置，A1為KCF的跟蹤目標框，P1為KCF在跟蹤時的預測區域，是檢測目標A1的2.5倍，箭頭為目標的運動方向。融合運動信息的跟蹤算法中，A2是根據目標運動信息調整后的KCF的跟蹤目標框，預測區域P2變為A2的2.5倍，跟蹤目標框和預測區域的中心都轉移到基于運動模型的卡爾曼濾波目標跟蹤位置。

圖10 結合運動模型對KCF跟蹤的改進示意圖

改進的KCF算法對目標的預測中心位置、跟蹤的尺寸進行了調整。在對目標跟蹤之前，使用基于運動模型獲得的中心位置替換檢測目標位置中心。

使用運動模型獲得的矢量速度計算目標運動增量，使用增量調整跟蹤目標的尺寸。

4 實驗

為驗證本文中算法對車輛前方多目標的軌跡持續跟蹤性能，采集了晴天和雨天在城市、高速道路工況視頻35段，每段68 s。實驗時，N取4，評價指標為丟跟率fd、錯跟率fc、檢測率fe和有效跟蹤率f，每種評價指標的定義為

將不同場景按照天氣和場景分類，跟蹤統計結果如表1所示。

高速道路條件下，目標的運動速度快，加速度大，跟蹤目標更容易丟失，受天氣影響，目標的跟蹤效率下降。平均的跟蹤效率為92.5%，目標平均檢測率為71.33%，平均丟幀率為5.27%，平均錯幀率為2.24%。

表1 目標軌跡跟蹤結果

5 結論

本文中基于YOLOv2多類目標檢測，協同KCF和運動信息的道路多目標跟蹤算法，實現了多目標軌跡跟蹤。提出了分段的線性恒定速運動模型，消除了噪聲，減少了卡爾曼濾波運動估算次數，在分段幀數為4時，多目標的跟蹤速度相比一般恒定速運動模型，目標的平均檢測、跟蹤速度提高1.5倍，將目標的運動狀態融合到特征跟蹤框的調整之中，并將目標累計的跟蹤狀態加入到匹配規則中。實驗表明，本文中算法在兩種天氣情況下對城市和高速道路對目標軌跡的平均跟蹤效率為92.5%，為后續結合其他傳感器實現車輛的姿態估計和路徑規劃提供了有效信息。

本文中跟蹤算法效果依賴于檢測算法，YOLOv2目標檢測算法對小目標的檢測準確率較低，檢測距離受到目標遮擋限制，基于視覺的目標檢測、跟蹤方法受限于攝像頭的工作條件，在陰雨天檢測精度降低，無法適用于夜晚場景。使用分段線性恒定速模型獲得目標軌跡變得平滑，但也導致目標軌跡獲取有一定滯后性，視覺目標的分類檢測、跟蹤優勢在于直接獲取目標分類結果，結合雷達和車聯網通信技術才能獲取更多車輛信息，進一步提升自動駕駛系統的環境感知能力，解決當前基于視覺的多目標軌跡跟蹤缺陷，這也是當前智能交通運輸系統研究的難點。