基于雷視融合的車輛跟蹤系統設計研究

陳 強

(廣西交科集團有限公司,廣西 南寧 530007)

0 引言

隨著我國機動車保有量突破4億輛,高速公路里程數突破16×104km,高速公路的通行效率和通行安全成了智慧高速領域重點的關注對象[1]。對高速公路上的車輛進行跟蹤不但可以為高速公路的調度提供有效的數據支撐,提高高速公路的通行效率,還可以對重點車輛進行跟蹤,保障高速公路的行車安全。然而,目前的路側感知通常以單獨的視頻或者雷達為主[2-3],前者雖然可以提供車輛的有效特征和具體的可視化靜態信息,卻難以獲取精確的車輛行駛速度、位置等動態信息,無法對車輛的進行準確的軌跡跟蹤[4];后者雖然可以得到精確的車輛行駛狀態,但是稀疏的數據使得其難以標識車輛的類型、顏色等靜態信息,且由于缺乏可視化的車輛特征,使其無法快速識別重點車型。因此,高速公路迫切需要一套可以兼顧車輛行駛狀態和車輛靜態特征的路側感知系統。

針對這一需求,本文研究設計了一種基于雷視融合的車輛跟蹤系統。基于深度學習、數據增強等技術,依托毫米波雷達和高清相機的數據融合,構建一套完整的基于雷視融合的車輛跟蹤軟硬件系統。系統可以通過融合毫米波雷達和高清相機的數據達到對車輛的精準識別與跟蹤,彌補了毫米波雷達或者高清相機等單一路側難以全方面感知高速公路行駛狀態的缺點,為高速公路的高效安全通行提供有效的數據感知支撐。

1 系統總體架構

基于雷視融合的車輛跟蹤系統指的是對毫米波雷達和高清交通攝像頭數據進行處理及融合,綜合二者的數據特點進行車輛精準跟蹤。由于系統是對動態多源數據進行融合,數據大且需要較高的實時性,因此需要算法的部署設備與數據采集直接進行鏈接以降低數據傳輸的時延。為了降低時延,在設計中采用了邊-端的二級物聯網總體架構,如圖1所示。在前端,毫米波雷達和高清交通攝像頭使用剛性較大的結構進行連接,通過位置標定、時間標定同步采集數據。在邊緣端,部署毫米波雷達數據的優化算法對雷達數據進行濾波、平滑及修正等數據增強,提高雷達點云數據的檢測精度;部署基于CNN的車輛識別算法,提取車輛的車型和顏色等靜態信息,以彌補毫米波雷達難以進行車輛識別的問題;通過位置和時間標定參數進行空間坐標系和時間坐標系數據的融合,完成車輛的精準跟蹤。在完成雷視融合后,將結果以視頻的形式上傳到中心。雷視融合系統在全域、全天候進行車輛跟蹤的同時,可以得到車輛運行現場的各種信息,為高速公路的應急保障、調度指揮提供直觀可視的圖像,彌補單一傳感器在應用中數據單一的問題,具有較高的應用價值與技術優勢。

圖1 系統的總體框架設計圖

2 系統設計

2.1 前端數據采集系統

雷視融合的前端由一臺毫米波雷達和一臺高清相機組成,部署在進行車輛跟蹤的重要交通路段,對路面數據進行實時采集。在前端,毫米波雷達主要作用是采集高速公路中車輛的行駛速度、空間位置、運行狀態、車流量等關鍵交通信息。然而,毫米波雷達的數據較為稀疏,缺乏可用于車輛顏色、大小、類型的識別數據,難以對車輛本身進行識別判斷。高清相機則是一種數據稠密的傳感器,可以采集路面上的全部信息,用于車輛特征的提取及提供直觀可視的現場數據。

系統前端采用的毫米波雷達和高清相機分別是H1200長距毫米波雷達和HIC2641-FW高清相機。與目前的車輛跟蹤與檢測傳感器包括超聲波雷達、激光雷達、雙目相機等設備相比,毫米波雷達具有跟蹤目標多、數據量小、抗干擾能力更強等優點。(1)與超聲波雷達相比,H1200長距離毫米波雷達可以同時跟蹤多達512個目標,可以保證系統在交通繁忙的路段進行多車跟蹤。(2)與精密的激光雷達相比,H1200長距離毫米波雷達具有更好的抗霧、煙、灰塵等干擾的能力,具有規模更小的點云數據和更好的可維護性能。(3)與雙目相機等光學傳感器相比,毫米波雷達具有全天候監測的優點,且可以在無算法情況下實時提供包括停車、超速、逆行等交通異常事件信息。另外,與現有的普通毫米波雷達相比,H1200毫米波雷達具有超視距的探測距離,由于可以檢測更遠的距離,可以極大地降低部署密度,且在雷視融合中可以為融合算法提供更長融合時間。雖然毫米波具有以上優點,但其無法進行車型、顏色的識別。因此,本系統選用了HIC2641-FW高清相機作為數據的補充,相機的最大分辨率達到2 688×1 520,可以滿足基于卷積神經網絡的車輛識別等算法要求。

2.2 邊緣處理系統

系統的邊緣設備是部署雷視融合算法的重要載體,一方面接收毫米波雷達和高清相機的數據,另一方面需要部署多種算法進行數據的處理。在系統設計中邊緣設備應該綜合考慮設備的算力性能、接口、價格等特點。本系統在設計中選擇在搭載Intel I7的服務器上進行部署運行,所選服務器搭載了HDMI+DP雙顯示接口、4個USB3.0端口、2個USB2.0端口、1個Mini PCIe插槽、2個千兆網口,具有穩定可靠、接口豐富、尺寸小巧等優點,符合雷視融合算法快速部署的要求。

2.3 數據流系統

數據流設計是保障數據能在硬件系統中快速處理的重要手段。通過高清相機對路面情況進行圖像采集,并且在邊緣計算設備進行預處理。其中,本系統使用的圖像預處理包括兩部分:(1)由于本系統設計的算法模型在部署后能處理的圖像大小是固定的,因此,第一步需要將視頻流逐幀轉換成固定尺寸;(2)為了提高數據在神經網絡中流水化處理速度,需要將雷達數據和圖像數據進行同步采樣,并將其打包成一個數據包進行傳輸。

系統傳輸使用的PCIe高速接口作為邊緣設備處理器和圖形計算卡直接傳輸地數據接口。PCIe是一種串行擴展總線標準,用于連接計算機到一個或多個外圍設備。根據系統要求,單個邊緣設備需要對接三臺高清相機和三臺毫米波雷達,因此產生的數據量是巨大的,需要使用高速接口進行數據傳輸。如圖1所示,為了提高傳輸效率,本文使用的PCIe傳輸都是以直接存儲器存取(Direct Memory Access,DMA)的方式進行傳輸。所有數據的下載與結果的上傳都是通過PCIe進行傳輸以降低系統延時。

3 雷視融合系統

3.1 毫米波雷達數據的優化模塊

毫米波雷達可以獲得車輛的位置、速度等關鍵信息,且雷達數據的精確程度影響著整個系統的精度。然而在實際的數據采集中,雷達的數據比較容易受到干擾,產生錯誤的數據。(1)由于路面、路邊設施等對微波的反射干擾,會產生虛假目標或者一輛車分裂成多個目標的情況。(2)在實際的應用中,需要對車輛進行一段時間的跟蹤,而雷達在對車輛進行跟蹤的過程中,會出現部分幀無法探測到車輛的情況。前一種誤差會導致車輛在映射到視頻中時出現問題,產生映射錯誤;后一種誤差會導致在跟蹤中出現跟丟或者位置跳躍的情況。針對以上問題,系統對毫米波雷達進行數據優化。使用k-mean聚類對數據進行二次聚類,消除虛假目標和目標分裂的問題。對雷達的持續數據使用時間滑窗的辦法,保證數據的連貫性。使用車輛的運動模型,對雷達的跟蹤軌跡使用Kalman濾波,使得跟蹤結果更為平滑。通過以上三個數據優化算法,可以有效提高雷達數據的準確性,進一步保證系統的跟蹤效果。

3.2 基于卷積神經網絡的車輛跟蹤與識別模塊

雖然雷達可以對車輛的軌跡進行比較精確的跟蹤,但雷達的點云數據過于稀疏,且難以提供車輛的有效特征。因此,需要高清相機的視頻數據作為車輛識別的主要數據來源。本系統使用Yolo v5 Deepsort模型對多車輛進行識別與跟蹤。為了提高識別精度,系統使用手工標注的高速公路車輛數據對Yolo v5 Deepsort進行進一步訓練。訓練后的模型部署在邊緣設備的圖形計算卡中進行車輛的跟蹤與識別。

3.3 雷視數據融合模塊

根據以上方法對毫米波雷達和視頻數據進行處理后,可以得到車輛的位置、速度等信息和車輛的標識結果,然后將雷達的位置、速度等信息通過雷視融合算法融合到視頻的車輛標識框中。雷視融合算法模塊主要包括三個步驟:(1)通過相機的安裝位置,對車道線的距離進行標定和劃分,得到一個像素和距離的映射關系;(2)根據車輛的實際運行情況,離線計算毫米波雷達和相機之間的旋轉和平移矩陣;(3)將毫米波雷達的數據通過旋轉和平移矩陣映射到視頻的像素點中。

4 測試結果與分析

表1展示了本文提出的雷視融合系統在實際運行中各個模塊的運行時間。表1中的統計方法為使用服務器自帶時間進行10 000次運行,取其平均時間。如表1所示,整個系統的運行時間為52.8 ms,因此系統可以以18.9幀/s的速度實時處理高清圖像。其中最耗時的計算模塊為圖像識別,占據了整個運行時間的52.7%,這是因為本文使用了深度卷積網絡進行特征提取,需要較高的算力。

表1 雷視融合算法各模塊的運行時間表

除了運行時間,還對系統進行了實地測試,具體測試結果如表2所示。由表2可知,雷視融合的有效距離為140 m,這是由于圖像識別的有效距離僅有150 m;系統可以對雙向十車道進行全監控,可以有效滿足目前高速公路的要求;融合檢測準確率為92%,準確率的計算方式為:在有效范圍內,系統可以完整地跟蹤車輛信息則記為一次正確檢測,否則記為一次錯誤檢測;速度的測量精度為96%,可以較為準確地顯示車輛速度。

表2 雷視融合系統的測試結果表

以上所有的模塊獨立部署在邊緣設備上并且獨立運行,模塊之間使用總線進行數據通信。在完成以上全部模塊的計算后,系統將得到如圖2所示的結果傳回中心進行雷視融合可視化輸出。

圖2 雷視融合的可視化結果輸出示例圖

5 結語

路側感知是保障高速公路高效、安全通行的數據保障。本文通過融合毫米波雷達和高清相機的數據,設計實現了一套完整的車輛跟蹤系統。該系統由前端數據采集、邊緣計算系統和雷視融合算法三部分組成。通過使用數據增強、深度學習等技術,得到準確的車輛識別與跟蹤,有效解決了單一路側識別難以同時提供車輛的動態和靜態特征的問題,為保障高速公路高效、安全通行提供有效的數據支持。