基于毫米波雷達和機器視覺融合的全息路口感知

摘 ?要：基于邊緣計算設備MEC接入部署在路口的毫米波雷達和攝像頭，通過機器視覺深度學習技術和多傳感器目標融合技術，實現對路口本地的車輛、行人、路況的精細化、實時性感知，構建路口的泛感知體系，從而實現道路交通多維度、多來源、全要素的全息感知。通過利用這些全息感知數據可以有效提升路口、區域整體通行能力，提高車輛平均速度，帶來城市交通管理成效的顯著提升。

關鍵詞：邊緣計算;機器視覺;深度學習;目標融合;全息感知

中圖分類號：TP393 ? ?文獻標識碼：A文章編號：2096-4706（2022）05-0098-03

Holographic Perception at Intersections Based on Fusion of Millimeter-Wave Radar and Machine Vision

CHEN Xinyun

（Zhejiang Hikalllink Technology Co.， Ltd.， Hangzhou ?311100， China）

Abstract： Based on the edge calculation device MEC with millimeter wave radar and camera device deployed on road intersections， this paper realizes the refined and real-time perception on intersection of local vehicles， pedestrians， road refinement through machine vision deep learning technology and multi-sensor target fusion technology， builds intersection general perception system， so as to realize the road traffic multi-dimensional， multi-source， total elements of holographic perception. By using these holographic perception data， it can effectively improve the overall traffic capacity of intersections and regions， improve the average speed of vehicles， and bring a significant improvement in the effectiveness of urban traffic management

Keywords： edge calculation; machine vision; deep learning; target fusion; holographic perception

0 ?引 ?言

近年來，國家智能汽車創新發展戰略日趨清晰，為促進智能網聯汽車和地理信息產業融合發展、搶占全球智能網聯汽車發展先機，全國各個省市都力爭通過智能交通基礎設施建設和自動駕駛測試及應用示范區建設，構建國內自動駕駛和智慧出行的產業集聚區，建成全域城市級自動駕駛與智慧出行示范區。

自動駕駛目前有單車智能和車路協同兩種技術路線。其中車路協同是國家統籌管控自動駕駛、提高智能交通管理、提升交通出行大數據分析的重要手段。在城市級智能網聯示范區建設過程中，城市交叉口是一個重要的區域，是交通堵塞和事故的多發地，是車輛、行人交通匯集、轉向和疏散的必經之處，其交通環境相對復雜。在自動駕駛車輛行駛過程中，在交叉口區域廣泛存在因視野遮擋、車輛遮擋等原因造成的交通參與者感知不全等隱患。針對這一系列問題，引入基于毫米波雷達和機器視覺的全息路口融合感知系統、可對交叉口區域所有交通參與者目標類型、實時經緯度、航向角、速度等屬性進行全面感知。

此次研究目標是具備實時接入四路視頻和四路毫米波雷達數據，實現對毫米波雷達的感知信息進行兩兩對向融合、視頻感知信息與毫米波雷達感知信息的對向融合。基于多傳感融合的全息路口感知探索采用毫米波雷達與視頻融合，借助毫米波雷達輸出的目標結構化數據與視頻流數據的深度融合，實現路口目標的厘米級感知精度。運用時空同步技術，再運用深度學習算法，進行交通參與者識別，輸出交通參與者速度、方向、航向角、屬性等相關數據。

1 ?基于機器視覺的深度學習

基于機器視覺的深度學習技術主要是實現對視頻流中的行人、車輛與騎行目標的檢測與跟蹤。關鍵技術實現包含以下兩點：（1）采用深度學習目標檢測算法，檢測場景中存在的目標;（2）采用SORT跟蹤算法，對前后兩幀的同一檢測目標進行關聯。

如圖1所示，從實時視頻流中獲取單幀圖像，將圖像送入到深度學習檢測器，檢測器通過深度卷積神經網絡提取目標特征，并對得到的特征進行分類與邊框回歸。檢測器最終輸出圖像中存在的目標類別與位置信息。

得到目標檢測結果后，再通過目標跟蹤算法將前后兩幀的同一目標進行關聯。T1代表某一時刻的目標跟蹤結果。通過卡爾曼濾波算法來預測下一幀目標的位置，得到跟蹤預測結果，如T2所示。卡爾曼濾波采用線性等速模型，來近似每個目標的幀間位移。每個目標狀態建模為：x=[u，v，s，r，u，v，s]′;其中u，v為目標的中心位置坐標，s，r為目標檢測框的面積與縱橫比。計算跟蹤預測框與下一幀的目標檢測框的IOU，通過匈牙利算法得到IOU最大的最優匹配，將檢測結果與跟蹤預測結果進行匹配，得到當下一幀的跟蹤結果，如圖2中T3所示。

2 ?基于機器視覺的GPS標定

基于機器視覺的GPS標定主要是建立單應性矩陣，通過單應性矩陣配合相關轉換算法可獲取視域目標的GPS坐標信息。單應性矩陣表述的是一個平面到另一個平面的坐標轉換關系，可以用在任意兩個坐標系的轉換上，即可用于任意兩個傳感器之間的標定，是一個3×3的矩陣，表示如下：;對于位于平面一的（x1，y1）和平面二的（x2，y2），H矩陣把二者映射關系建立起來：;矩陣展開后有3個等式，將第3個等式代入前兩個等式中可得：;H矩陣內包含9個未知數，由于使用的齊次坐標系，即可以進行任意尺度的縮放，如將hij乘以任意一個非零常數k并不改變等式結果。即上述公式等價于：;所以，實際上H矩陣只有8個自由度，因此需要4個標定點對進行求解（1點包含x、y兩個參數）。在真實的應用場景中，由于選取的點對中可能包含噪聲，為了使得計算更精確，一般都會使用遠大于4個點對來計算單應矩陣。

另外上述方程組采用直接線性解法通常很難得到最優解，所以實際使用中一般會用其他優化方法，如奇異值分解求取最小二乘解，再使用隨機采樣一致性（RANSC）進行精選，或者通過Levenberg-Marquarat（LM）進行優化。

視頻攝像機與GPS標定基于角點檢測與GPS點的平面擬合方式，采集多對GPS坐標與像素坐標匹配點，通過單應性矩陣標定算法，輸出最優匹配結果，獲取坐標轉換矩陣，即相機內外參矩陣。

3 ?基于多傳感器目標的融合技術

基于多傳感器目標的融合技術主要是將通過毫米波雷達所獲取的目標信息和通過攝像頭獲取的目標信息進行補償、去重和擬合，從而獲取路口交通目標的各類準確信息。

毫米波雷達模塊主要可以獲取運動的目標信息，包括目標的類型、位置、速度、航向角等，但由于缺乏紋理信息，對目標類別可能會有誤判，在車流密集的復雜環境下，這一問題尤為突出。攝像頭在感知系統里使用頻率最高，攝像頭可獲取車輛、非機動車、行人的類型、位置、車輛車牌等信息，從而彌補毫米波雷達的缺陷。

本算法的主要思路是基于卡爾曼濾波和匈牙利匹配完成互補信息的關聯融合，以匈牙利匹配算法匹配卡爾曼濾波的目標預測信息與上一時刻的目標信息（目標的匈牙利匹配包括單目標和多目標兩種情況），若匹配成功，則利用卡爾曼濾波進行本時刻的信息更新;若匹配失敗，則以目標的量測信息作為本時刻的輸出信息。本算法以速度和位置作為狀態量，以位置作為觀測量，方程如下：

（1）狀態一步預測方程：

;

（2）狀態估計方程：

;

（3）最優濾波增益方程：

;

（4）一步預測均方差誤差方程：

;

（5）估計均方誤差方程：

;

初始定義時，定義Q陣、R陣、P0陣以及X0;Q陣是系統噪聲矩陣，即雷達的噪聲值常值;R陣是量測噪聲的方差陣，即測量系統所能達到的位置和速度精度。當前模塊的最終輸出主要是目標的類別（行人、非機動車、機動車）、實時位置（經緯度）、速度、航向角等目標信息。

4 ?驗證分析

4.1 ?驗證方案

驗證步驟為：（1）真值車在允許速度范圍內通過感知區域;（2）真值車輸出車輛的位置、速度、航向角，根據時間戳和系統輸出的三者做比較;（3）分別測試3次并統計差值的平均值、標準差。

評價方法為：（1）定位精度可將經緯度轉化成歐式距離進行結果統計;（2）差值的平均值和標準差滿足要求。

注意事項有：（1）在能夠保證授時精度的前提下，認為真值車與待測系統時間相差10毫秒內的兩幀數據為同一時刻的數據;（2）車輛輸出位置的選擇可以選在車輛前保險杠中心點、后保險杠中心點或者幾何中心點，只需要在上報數據的時候標明該組數據的輸出位置即可;（3）航向角以正北方向為基準，沿順時針方向，正北向和目標頭部運動方向之間的夾角即為航向角，方向角的取值范圍是[0°，360°）。

4.2 ?驗證結果

平均偏差是指多次測試后所得到的各個偏差值的平均值，標準差是各數據偏離平均偏差數的距離（離均差）的平均數。如表1所示，3次目標定位測試偏差均小于1米;如表2所示，3次目標速度測試偏差均小于0.5米/秒;如表3所示，3次目標航向角測試偏差均小于1°;各項指標均符合預期。

5 ?結 ?論

提出一種基于機器視覺的目標匹配算法對前后兩幀的同一檢測目標進行關聯，通過匈牙利算法得到IOU最優匹配，將檢測結果與預測結果進行匹配，實現對目標的跟蹤。

針對毫米波雷達檢測目標時出現定位精度不準的問題，提出一種基于機器視覺的GPS標定方法，通過建立單應性矩陣配合相關轉換算法可獲取視域目標的GPS坐標信息，用以針對毫米波雷達定位功能的精度補償。

提出一種基于毫米波雷達和機器視覺的多傳感目標融合技術，通過基于卡爾曼濾波和匈牙利匹配完成互補信息的關聯融合，實現對目標信息的補償、去重和擬合功能。

參考文獻：

[1] 李原.毫米波雷達在車路協同系統中的應用研究 [J].工業控制計算機，2020，33（1）：44-46+50.

[2] 王宇寧，龐智恒，袁德明.基于YOLO算法的車輛實時檢測 [J].武漢理工大學學報，2016，38（10）：41-46.

[3] WANG C Y， LIAO H Y M. YOLOv4：Optimal Speed and Accuracy of Object Detection [J/OL]. arXiv：2004.10934v1 [cs.CV].（2020-04-23）.https：//arxiv.org/abs/2004.10934v1.

[4] OH J， KIM K S， PARK M， et al. A Comparative Study on Camera-Radar Calibration Methods [C]//15th International Conference on Control，Automation，Robotics and Vision （ICARCV）.Singapore：IEEE，2018：1057-1062.

[5] ZHANG X，ZHOU M，QIU P，et al. Radar and vision fusion for the real?time obstacle detection and identification [J].Industrial Robot An International Journal，2019，46（3）：391-395.

作者簡介：陳信云（1979—），男，漢族，浙江寧波人，工程師（中級），學士學位，研究方向：車路協同、智慧交通。