基于激光雷達和視覺信息融合的車輛識別與跟蹤＊

宮銘錢 冀杰 種一帆 陳瓊紅

（西南大學，重慶 400715）

1 前言

利用車載傳感器對車輛目標進行識別和跟蹤，是實現自動駕駛功能最重要的任務之一，國內外諸多學者正對該領域進行積極探索和研究。Zhang[1]等人采用3D連通分量分析技術處理激光雷達點云數據，并提出面積、矩形和細長度3 個特征來檢測車輛。基于不同障礙物對激光反射強度不同的特性，Attila B?rcs[2]等人將激光雷達點云投影到地面，并在地面俯視圖中將車輛近似成矩形。孔棟[3]、鄒斌[4]、蘇致遠[5]等人對激光雷達點云數據進行邊界提取，分別采用K-Means 算法和DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法對邊界內的障礙物點云進行聚類，根據障礙物內部特征點和邊界特征判斷是否為車輛目標。車輛在行駛過程中容易被其他車輛或環境障礙物遮擋，因此，僅依靠激光雷達點云數據識別車輛目標具有一定的局限性。

機器視覺是識別車輛目標的另外一個重要手段。Liu[6]和Sayanan Sivaraman[7]等人將支持向量機（Support Vector Machine，SVM）分別與含有Haar小波系數的特征向量和方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征結合，實現圖像中車輛目標的識別。Cui[8]等人結合Haar-like 特征與AdaBoost 分類器，通過檢測車輛的尾部來判斷車輛目標。在深度學習領域，更快速區域卷積神經網絡（Faster Region-based Convolutional Neural Network，Faster R-CNN）[9]框架提出了利用區域建議網絡（Region Propose Network，RPN）來尋找區域候選框，進而得到車輛目標的方法，該網絡在GPU 上運行，識別速度和精度大幅提高。

Tan[10]等人采用HOG 特征和SVM 分類器識別車輛目標，并利用毫米波雷達確定目標的深度信息。Huang[11]等人使用Haar-like 特征識別車輛目標，采用激光雷達測量目標的深度信息。融合兩種傳感器的信息能夠彌補單一傳感器的一些局限性，得到更加豐富的目標信息。

多目標跟蹤中常用的數據關聯方法有最近鄰（Nearest Neighbors，NN）算法、全局最近鄰（Global Nearest Neighbor，GNN）算法、概率數據關聯（Probabilistic Data Association，PDA）算法、聯合概率數據關聯（Joint Probabilistic Data Association，JPDA）算法、多假設跟蹤（Multiple Hypothesis Tracking，MHT）算法[12]。MHT算法計算所有測量結果與已知目標的關聯，其固有的復雜性延長了計算時間。JPDA 算法避免了NN 算法的唯一性，且只考慮有效測量結果與已知目標的關聯，是目前在雜波環境中進行多目標跟蹤常用的方法。

本文對激光雷達點云數據進行分割和聚類處理，采用深度學習框架識別圖像中的車輛目標，融合兩種信息獲得完整的車輛目標信息，并利用JPDA 算法和卡爾曼濾波器對車輛目標進行跟蹤。

2 激光雷達點云數據處理

以Velodyne 64 線激光雷達為例，每幀采集的點云數據數量級達10 萬個，直接處理原始數據比較復雜。智能車在行駛過程中只需要對車道范圍附近的車輛目標進行識別，因此可以縮小激光雷達的掃描范圍，減少需處理的點云數據量。點云數據中相當一部分點云屬于地面點云，因此，根據激光雷達在智能車上的安裝位置，選取距離地面0.2 m以上范圍內的點云進行處理，從而避免地面點云的影響。原始點云數據與去除地面點云后的數據如圖1所示。由圖1可以看出：原始點云的數據量較大且地面點云所占比重較大，而經過地面點云去除處理后，保留的障礙物點云數據量大幅減少，有利于提高點云處理的效率。

去除地面點云后，本文選擇基于密度的聚類算法DBSCAN[13]對剩余的障礙物點云進行聚類，該算法的主要思想是將空間中密度足夠大的區域歸為一簇，它能夠發現空間中任意形狀的障礙物且不受聚類數量的影響。相比于K-Means 算法和只考慮點云到單個聚類質心的歐氏距離的迭代式自組織數據分析技術算法（Iterative Self-Organizing Data Analysis Technique Algorithm，ISODATA），DBSCAN算法更具優勢。定義參數ε和M，分別表示聚類閾值和目標數量，當給定對象的ε鄰域內目標數量超過M時，將該鄰域內所有對象歸為相同簇。

圖1 地面點云處理結果

激光雷達的激光以雷達為中心向外發散，因此，距離激光雷達越遠，相鄰掃描點的距離就越遠，點云的密度隨著深度的變化而變化。因此，本文在傳統DBSCAN 算法的基礎上提出了一種自適應聚類閾值的算法，該算法能夠根據掃描點與激光雷達的距離自動調整聚類閾值。

三維激光雷達對立體物體的相鄰2 次掃描結果如圖2所示。其中，α、β分別為激光雷達垂直、水平方向的角度間隔，L1為點1到激光雷達的距離，L12、L14分別為點1與點2、點1與點4之間的距離。

圖2 激光雷達相鄰2次掃描結果

假設點1 為選定對象，則L12、L14分別可以近似為L1×α/180和L1×β/180，則，因此，對象i的聚類閾值εi可以表示為：

式中，Li為點i到激光雷達的距離；η為補償參數，本文取η=2。

改進后的DBSCAN 算法對于距離激光雷達較遠的障礙物聚類更加準確。利用改進的DBSCAN算法，點云數據被處理成多個大小不一的障礙物和噪聲點。由于汽車可以近似看成空間中的立方體，因此對于聚類后的障礙物，采用一個包羅其邊界的最小六面體來代表該障礙物。提取每個六面體最靠近激光雷達的水平線的中點坐標作為該障礙物的坐標(x,y)，用于表征該障礙物與激光雷達的距離。傳統DBSCAN算法與改進的DBSCAN算法對點云數據的處理結果如圖3所示。從圖3中可以看出：由于遠處的點云比較稀疏，固定的ε對遠處點云的聚類效果變差，導致圖中1、2處的障礙物無法被完整地聚類，甚至部分有效目標被劃分為環境中的噪聲點，此種情況下無法得到較為完整的障礙物信息；而采用了隨點云距離自適應的ε后，任意位置的障礙物都能夠被完整地聚類，保證了障礙物在不同位置時的信息完整性。

圖3 2種算法的點云數據處理結果

3 圖像處理

Faster R-CNN 是在快速區域卷積神經網絡（Fast Region-based Convolutional Neural Network，Fast RCNN）的基礎上提出的一種目標檢測方法，它利用RPN 來尋找可能包含目標的區域候選框。RPN 與檢測網絡共享全圖像卷積特征并且在GPU 上運行，提高了檢測網絡的處理速度。該方法的工作過程如圖4所示。

圖4 Faster R-CNN架構

本文使用KITTI 數據集中6 000 張包含汽車的圖片對神經網絡進行訓練。首先輸入圖像，并根據選用的Resnet101 卷積網絡調整圖像的大小，得到卷積特征圖，然后利用RPN 在特征圖上提取可能包含目標的區域候選框。ROI pooling 部分對區域候選框進行池化操作，與Fast R-CNN 相同，將不同尺寸的輸入轉換為固定尺寸的輸出。最后利用檢測網絡進行回歸和分類處理，得到目標邊框和得分如圖5 所示。由圖5 可知，目標分類器能夠在豐富的圖像信息中準確地識別到車輛目標，目標的得分接近于1，表明目標的識別精度非常高。

圖5 車輛目標識別結果

4 傳感器信息融合

傳感器信息融合涉及時間同步和空間匹配。由于激光雷達掃描范圍的縮小以及地面點云的去除，實際處理的點云數據量較少，點云聚類速度達到20 幀/s，基本滿足低、中速駕駛的需求。鑒于激光雷達的掃描頻率較為穩定，且相機的掃描頻率高于激光雷達，因此以激光雷達的掃描時刻為基準，每次掃描的同時觸發相機進行一次掃描，以此保證激光雷達數據和相機數據的時間一致性。

點云數據位于以激光雷達為圓心的激光雷達坐標系OlXlYlZl下，視覺圖像信息位于以相機為圓心的相機坐標系OcXcYcZc下。由于激光雷達與相機的安裝位置和角度不同，為了實現2 種傳感器的空間信息融合，需要對其坐標系進行聯合標定。激光雷達坐標系與相機坐標系的轉換關系可以表示為[14]：

式中，R、T分別為2 個坐標系的相對旋轉矩陣和轉移矩陣。

在KITTI 數據集中，3D 點云b=(x,y,z)在校正過的相機中的投影位置a=(u,v)可以表示為：

當式（4）成立時，認為該對邊框信息匹配成功，激光雷達和相機識別到同一車輛目標，同時確定該車輛目標的尺寸和坐標信息，本文取σ=8%。完整的車輛目標信息如圖7所示。

圖6 障礙物點云投影結果

圖7 完整的車輛目標信息

5 多車輛目標跟蹤

5.1 數據關聯

利用激光雷達和機器視覺信息融合方法，可確定車輛目標的邊框左上角坐標、長、寬尺寸以及距離信息。將其依次作為狀態參數[u v l w x y]′并采用等加速度運動模型在卡爾曼濾波器中對車輛目標的狀態進行預測和更新。數據關聯是多目標跟蹤中關鍵的一步，其目的是將測量到的對象與已知的航跡進行匹配。JPDA算法是在雜波環境中對多目標跟蹤進行數據關聯的較好方法。假設在雜波環境中跟蹤n個目標，目標的狀態方程可以表示為：

式中，Xi(k)、Vi(k)分別為k時刻目標i的狀態向量和零均值高斯過程噪聲向量，不同時刻的過程噪聲相互獨立；

目標的測量方程可以表示為：

式中，Zi(k)、Wi(k)分別為k時刻目標i的測量向量和零均值高斯測量噪聲向量，不同時刻的測量噪聲相互獨立；

JPDA 算法接收到狀態向量和測量向量后，針對當前目標設置驗證門，只對門內的有效量測進行數據關聯，避免處理所有量測數據。驗證門的范圍為橢圓形：

式中，z為目標測量值；為預測測量值；S(k)為預測測量的協方差矩陣；γ為門限值，本文取γ=0.97。

該驗證門假設所有的有效量測都由目標或噪聲產生，且每個目標最多產生1個有效量測。所有可能的聯合關聯事件A(k)都由驗證門創建，可以表示為：

式中，Aji(k)為k時刻有效量測j來自于目標i的事件，j=1,2,…,m；m為有效量測的數量；ij為所考慮事件中與有效量測j關聯的目標的索引。

基于所有量測Zk的聯合關聯事件A(k)的聯合關聯概率可以寫成：

當量測進入某個目標的驗證門內時，認為該量測為有效量測。有效量測j與目標i的關聯概率為：

每個目標的狀態更新矩陣為：

式中，Ki(k)=Pi(k|k-1)H(k)′Si(k)-1為卡爾曼增益；Pi(k|k-1)、Si(k)分別為目標i的協方差矩陣和殘差協方差矩陣；vji(k)為有效量測j與目標i之間的殘差。

多目標跟蹤場景中，不斷有車輛在道路場景中出現或消失，航跡進而也會發生變化，因此需要對航跡進行管理。多目標跟蹤中主要有試探性航跡和確認航跡，航跡被確認前屬于試探性航跡。在一次測量中，首先將量測信息與已有航跡進行關聯，若沒有相關性，則判斷是否要開始新的試探性航跡。當航跡沒有量測與之關聯時，認為該目標從場景中消失，刪除其航跡。

為了在跟蹤過程中適應目標數量的變化，本文將數據關聯過程中來源于噪聲的量測定義為新的試探性航跡。同時采用了M/N測試方法[15]，當一個試探性航跡在N次測量中出現至少M次時，將其確認為確認航跡，從而保證了新目標能夠被及時發現，同時避免了噪聲的干擾。本文中取N=4，M=3。

5.2 航跡管理

為了更加方便地管理航跡，本文設計了目標年齡模塊，用于表示目標的跟蹤時間。每當正確跟蹤到同一車輛目標時，該目標的年齡增加1。當目標消失時，該目標年齡變為0，且不再顯示其航跡。多目標跟蹤的過程如圖8所示。

圖8 多目標跟蹤過程

6 仿真結果

本文分別在仿真場景和真實場景下對所設計的算法進行驗證。在仿真場景下對3 個目標在不同時刻的運動狀態進行模擬。其中場景1模擬了雜波環境中3個目標的直線運動，且運動過程中存在軌跡交叉。場景2模擬了雜波環境中2個目標的轉向運動和1個目標的直線運動，在運動過程中同樣存在軌跡交叉。真實場景采用KITTI數據集，同時對所提出的車輛目標識別方法進行驗證。

6.1 仿真場景驗證

本文首先對增加了M/N測試方法和目標年齡模塊的JPDA 算法進行仿真驗證。場景1和場景2中均假設目標1和目標2同時出現，目標3分別于5 s和7 s后出現，隨后目標2消失，目標1和目標3繼續運動。場景1中3個目標的跟蹤過程、估計誤差和年齡曲線如圖9所示。

當一個試探性航跡在連續4次跟蹤中出現至少3次時，就被確認為確認航跡，開始顯示航跡并記錄目標年齡。從圖9c中可以看出：目標1和目標2的試探性航跡在第3 s 時被確認并開始跟蹤其航跡和記錄年齡值；第5 s開始出現的目標3的試探性航跡在第7 s時被確認并開始跟蹤其航跡和記錄年齡值；第10 s 時目標2 消失，其年齡值變為0 且不再記錄其航跡。當目標出現或消失時，該算法能夠及時對航跡進行管理，具有較強的魯棒性。從圖9a 和圖9b 中可以看出，目標1～目標3 的最大位置估計誤差分別為0.27%、0.35%和0.12%。在雜波環境中目標位置的估計誤差非常小，基于JPDA 算法的多目標跟蹤算法依然能夠保持較高的跟蹤精度。

圖9 仿真場景1驗證結果

場景2 中3 個目標的跟蹤過程、估計誤差和年齡曲線如圖10 所示。從圖10c 中可以看出：目標1 和目標2的試探性航跡在第3 s時被確認，其年齡值開始增長；第7 s 開始出現的目標3 的試探性航跡在第9 s 時被確認，其年齡值開始增長；第17 s 時目標2 消失，其航跡被刪除且年齡值變為0。當場景中目標數量發生變化時，該算法能夠及時對航跡進行更新。從圖10a和圖10b中可以看出，目標1～目標3 的最大位置估計誤差分別為7.8%、8.1%和3.2%。在周圍環境中有雜波干擾、目標的運動過程出現交叉的情況下，基于JPDA 算法的多目標跟蹤算法依然能夠以較高的精度跟蹤目標的運動過程。

圖10 仿真場景2驗證結果

6.2 真實場景驗證

本文利用真實場景下的KITTI 數據集對所提出的方法進行驗證。以激光雷達為原點，規定自車縱向向前為x軸正方向，駕駛員橫向向左為y軸正方向。根據《城市規劃定額指標暫行規定》的有關要求，一般車道的寬度為3.5 m 或3.75 m。因此本文選擇自車縱向向前60 m，左、右各10 m 的范圍作為激光雷達和相機的檢測范圍。首先對激光雷達采集到的點云數據進行聚類處理，得到障礙物位置和坐標信息，同時對相機采集到的圖像進行車輛目標的識別。然后利用2 種傳感器的坐標標定關系融合車輛目標的信息。最后對檢測到的車輛目標采用基于JPDA算法的多目標跟蹤算法和目標年齡模塊進行跟蹤。數據集中一組數據的目標年齡曲線如圖11所示。其中每一條增長的曲線都代表一個車輛目標被跟蹤，年齡值超過40時仍用40表示。當目標車輛駛出識別范圍時，其年齡值變為0并不再跟蹤其航跡。

圖11 目標年齡曲線

在仿真過程的第11、26、27、61、90和91幀中出現漏檢現象，導致航跡滯后確認，在第46、79、108和111幀中出現漏檢現象，導致航跡提前結束。車輛目標的識別和跟蹤綜合精度達到91.8%。圖11 中第63 s 時刻車輛目標的識別和跟蹤結果如圖12所示。

以激光雷達測量的坐標為基準對場景中1 號車的縱向和橫向估計距離進行誤差分析。目標車輛的跟蹤結果及其縱向和橫向估計距離的誤差分析如圖13所示。

圖12 第63 s時車輛目標的識別與跟蹤結果

圖13 1號車的跟蹤結果和估計誤差

從圖13中可以看出：1號車在x方向上的最大估計誤差為3%，在y方向上的最大估計誤差為1.6%，該算法在真實場景中對車輛目標的識別和跟蹤精度較高。當傳感器出現誤測導致數值跳動時，該算法依然能夠精確地估計目標的運動，使之趨近于真實值。當場景中目標數量發生變化時，該算法也能夠及時地更新當前目標數量和航跡，在真實場景下的魯棒性較強。

7 結束語

本文設計了一種基于三維激光雷達和單目相機的信息融合框架。基于三維激光雷達的點云數據及單目相機的圖像信息，快速準確地識別出道路車輛目標，并獲得了車輛目標的尺寸、坐標等豐富的目標信息。基于JPDA 算法的多目標跟蹤算法，可在雜波環境中對多車輛目標進行有效跟蹤，且當場景中目標數目發生變化時，該算法能夠及時更新航跡信息，具有較強的魯棒性。本研究沒有考慮自車兩側和后方的車輛目標的識別與跟蹤，在下一步研究中將側重于基于多激光雷達和多相機的傳感器信息融合，得到更加豐富的全道路車輛目標信息。