基于信息融合的典型工況感知算法研究

王夢園，甘海云*，袁志宏

基于信息融合的典型工況感知算法研究

王夢園1,2，甘海云1,2*，袁志宏3

（1.天津職業技術師范大學汽車與交通學院，天津 300222；2.智能車路協同與安全技術國家地方聯合工程研究中心，天津 300084；3.山東大學能源與動力工程學院，山東 濟南 250061）

針對自動駕駛頻發交通事故的問題，結合中國道路的典型工況，文章基于信息融合的理念，將毫米波雷達與攝像頭融合的目標檢測的結果進行融合來解決盲區中行人橫向穿越道路的小目標檢測問題。首先將毫米波雷達和攝像頭環境感知的信息進行融合；然后通過yolov2目標檢測算法對相鄰車道前方車輛進行檢測；最后，對車輛前方劃定ROI（Region of Interest），并通過yolov3-bt對ROI進行檢測。實驗對比結果表明，對車輛前方出現行人這一現象，毫米波雷達與攝像頭信息融合的方法比單視覺算法檢測提前135幀，即檢測時間提前4.5 s，提升了17.8%。表明文章提出的毫米波雷達與攝像頭信息融合的方法可以進一步提高自動駕駛車輛行駛的安全性。

自動駕駛；環境感知；信息融合；目標檢測

前言

智能網聯汽車的快速發展在帶來許多便利的同時也引發了許多安全問題。就自動駕駛頻頻發生的事故而言，2016年5月，美國佛羅里達州一輛開啟自動駕駛模式的特斯拉與白色卡車相撞，導致特斯拉車主身亡[1]。2019年11月7日，Uber的一輛自動駕駛SUV與一位橫穿馬路的女士相撞，造成該女士的死亡[2]。2021年3月11日下午，美國底特律市一輛特斯拉Model Y撞上了一輛白色半掛卡車，從車禍現場來看，地面并沒有剎車的跡象，推測該車的自動駕駛系統可能把白色卡車貨箱識別成天空。當前隨著人工智能技術的發展，自動駕駛的技術路線方案也各不相同，但結合自動駕駛車輛事故的數據來看，當前自動駕駛車輛在某些危險場景中，如視線盲區、夜間、雨雪天氣等，自動駕駛車輛的感知效果的性能仍然有很多不足。

根據國家汽車安全統計數據，94%的交通事故是由人為因素造成的，而在所有人為因素里，94%的人為事故中80%是由于駕駛員在交通事故的前3秒的時間內未注意到路況。實際上，駕駛員在駕駛時，其視線很容易被道路兩旁的障礙物遮擋，司機沒有及時發現目標并且做出相應的制動，從而造成事故的發生。而當前的汽車自動駕駛系統在面對駕駛視覺盲區時，往往不能提前對車輛前方障礙物進行識別。為了提高自動駕駛環境感知系統識別的準確性，以防交通事故的發生，本文基于信息融合的理念，將毫米波雷達與攝像頭融合的目標檢測方法來解決盲區中行人橫向穿越道路的小目標檢測問題。

1 典型工況場景分析

眾所周知，在駕駛員開車的過程中，除正常視野之外，還存在一定的視覺盲區，若盲區檢測問題不能有效解決，那么自動駕駛車輛中環境感知就會存在一定的缺陷，這些盲區場景往往是由于其他物體的遮擋，若突然出現行人或車輛時，駕駛員毫無防備，將會導致事故的發生。隨著智能車輛的發展，這類車輛配有環境感知系統，像人類的眼睛一樣感知周圍的環境，為后續車輛的控制系統提供相應的信息，從而進行本車的決策。本文主要是針對交通道路環境下，突然出現在前車側邊前方的行人目標檢測，現有的視覺感知算法往往是在行人基本全部出現在視野中才能被準確地檢測到，而當面對前方車輛側邊突然橫穿的行人時，由于車輛的遮擋，往往是先出現人的頭部或者手腳等，其檢測的泛化能力和準確性差。基于此，本文根據出現在視線中的人體的部分特征來判斷前方是否存在行人，這將有效解決自動駕駛盲區檢測的問題，提升駕駛安全性。

2 方案場景設計

本文在對自動駕駛車輛毫米波雷達以及攝像頭進行信息融合時，由于決策層融合是信息融合中的最后一級，其偏向于應用層面；另外特征層融合在毫米波雷達數據處理上存在一定的困難[3-5]。鑒于此，考慮到毫米波雷達和攝像頭在不同場景下的精度，本文在數據層融合方面進行研究。

2.1 數據融合平臺搭建

本文為了解決盲區中行人橫向穿越的中國典型道路場景的前方障礙物檢測問題，以我國某自主品牌乘用車為平臺，并搭建LEOPARD IMAGING攝像頭和大陸ARS408毫米波雷達的融合平臺。

2.1.1基于感興趣區域的空間融合方案

由于毫米波雷達ARS408和攝像頭單獨獲取物體信息時采取的參考系不同，因此需要將毫米波雷達與攝像頭采集到的信息在空間上進行統一，分別將兩者獲取的信息轉換到同一坐標系下，轉換過程如下：

（1）雷達投影坐標系轉換成攝像頭投影坐標系。

坐標系轉換示意圖如圖1，將攝像頭與雷達坐標系投影到地面上，得到對應的投影坐標系。

圖1 雷達投影與攝像頭投影坐標系轉換示意圖

假設車輛前方物體在雷達投影坐標系下的坐標為（X，Y），而其在攝像頭投影坐標系下坐標為（X，Y），由公式（1）可以將兩者進行空間轉換。其中0，0分別為兩投影坐標系、軸方向的距離。

（2）圖像坐標系轉換到攝像頭坐標系。

圖像坐標系是三維坐標，因此根據圖像坐標系下的坐標能夠計算出車輛前方物體的高度。圖像坐標系與攝像頭坐標系之間得相互轉換如圖2所示。

圖2 圖像坐標系與攝像頭坐標系相互轉換示意圖

攝像頭技術參數如表1。利用水平視場角和垂直方向分辨率的比例關系完成坐標系轉換，可求出障礙物高度。

表1 攝像頭技術參數

技術參數垂直視場角/°水平視場角/°水平方向分辨率垂直方向分辨率 數值31581 9201 080

圖3 圖像坐標系轉換成攝像頭坐標系

如圖3所示，攝像頭能實現障礙物檢測，由檢測結果得、點的像素坐標，參考目標上側的點，得到障礙物在攝像頭坐標系下的信息，進而求得的像素值P。從而根據式（2）求出值。

結合攝像頭坐標系中的X，求的高度H，即障礙物Z的坐標。

通過不同坐標系的轉換，使得攝像頭與毫米波雷達的信息能夠互相補充，信息共享，確保了毫米波雷達與攝像頭探測到的是同一目標，能夠準確描述前方障礙物的距離和高度信息，為智能車輛提供更加精準的環境信息。

2.1.2時間數據融合

在攝像頭和雷達在空間坐標達到統一的條件下，還需要毫米波雷達與攝像頭采集的數據在同一時刻，實現時間上的對應統一。

本文數據融合平臺所使用的雷達為德國大陸ARS408毫米波雷達，具有每秒能夠采集79幀數據的能力，每幀數據間隔為13 ms；而LEOPARD IMAGING攝像頭的拍攝頻率是30 fps，即每幀圖像數據間隔為33.3 ms。鑒于攝像頭的采集周期比毫米波雷達長，為了更好地將其進行時間維度上的融合，以攝像機采樣速率為基準，攝像機每采一幀圖像，選取毫米波雷達上一幀緩存的數據，即完成共同采樣一幀雷達與視覺融合的數據，從而保證了毫米波雷達數據和攝像機數據時間上的同步。

2.2 基于融合識別方案

本文在毫米波雷達和攝像頭采集到的數據融合時，主要包括兩部分，如圖4所示。將毫米波雷達經過采集和濾波處理得到的有效目標數據，投影到攝像頭采集到的圖像上，從而形成ROI；然后利用攝像頭傳感器對ROI進行檢測，判斷出車輛前方障礙物的種類。

圖4 融合思路

而對于盲區中行人橫向穿越場景這一特殊檢測情形，其產生駕駛員視覺盲區的主要原因是相鄰車道的車輛。為了提高檢測的泛化能力與準確性，本文利用攝像頭傳感器對相鄰車道前方車輛進行檢測，若相鄰車道前方出現車輛，對其前方劃定ROI，并對ROI利用yolov3-bt[6-7]進行目標檢測，詳細的檢測方案如圖5所示。

圖5 小目標檢測方案

3 實驗驗證與結果分析

為了對比視覺檢測準確率與本文融合算法準確率的差距，體現融合算法的優勢，需要采集相應的目標數據集，在深度學習的Darknet框架下，訓練網絡模型，之后進行測試驗證，而融合方面需要建立一個毫米波雷達與攝像頭兩者融合的軟硬件系統，最后將該系統應用到實車檢測。

3.1 試驗平臺介紹

本文融合實驗的環境感知系統是基于現有的實驗車設備，在數據采集的車輛上，安裝毫米波雷達與攝像頭，位置如圖6所示。該車配有一臺開發信息采集系統的工控機，能夠對采集的信息進行保存，錄制視頻，同時具有回放的功能。該系統可分別通過USB線和周立功CAN卡接收毫米波雷達與攝像頭的信息。

圖6 環境感知采集系統

3.2 數據集的采集與制作

深度學習網絡模型的性能往往取決于數據集是否合適，若是訓練車輛檢測模型，就需要提前在數據集上標注車輛的信息，同樣，若是小目標針對人頭的檢測，就需要相應的數據集，然而，目前常用的開源數據集有VOC與COCO，雖然這兩大數據集包括大量的行人、車輛等其他目標，但是對于突然出現的小目標的數據少之又少。因此本文針對小目標進行數據集的制作。

3.2.1數據采集

首先在學校內選取經常有學生走動的道路進行所需的數據集，視頻采集的過程按照車輛視角，采集突然出現在小轎車與模擬公交車前的行人目標特征，攝像機采集圖片的高度和車輛安裝攝像頭的高度保持一致。具體采集過程如下：

（1）模擬公交車前出現行人。因為公交車高于行人，所以若突然出現行人時，其特征為：胳膊、腿，半身、頭部等。

（2）模擬轎車前出現行人。一般人的身高比家用轎車高，所以若從側邊突然出現行人時，首先視覺系統下出現的特征是頭部，然后是胳膊，腿等。

圖7 數據集整理

本文通過錄制視頻進行數據集的采集，采集完成后通過視頻解析算法將視頻分為一幀幀圖片，為了提升數據集的質量，要對重復性大的圖片進行篩選與剔除。得到有效的數據集如圖7所示。

3.2.2數據集制作

通過上文的介紹，本文的典型場景為突然在車輛前方的行人頭部位置。所以，首先需要訓練識別大量行人的頭部。根據解析之后的圖片可知，人體的頭部在整個場景中的占比很小，并且距離越遠，行人頭部信息越少，如果不找出頭部出現的區域，直接訓練，會造成訓練時間長，檢測結果差。由此本文提出對小目標出現的感興趣區域進行檢測。

首先，根據訓練好的車輛檢測模型，對圖片進行檢測，選取距離本車比較近的目標車輛，截取車輛周圍環境。根據車輛檢測框的中心位置，感興趣區域寬度和高度的像素分別為320、224。如圖8所示。

圖8 形成的感興趣區域圖

其次，只保留所需的感興趣區域，其他區域刪除，得到寬度和高度的像素分別為320、224的圖片集。如圖9所示，與圖8相比，感興趣區域內的目標較少，干擾信號大大降低，縮短了訓練周期。

本文采用數據標注軟件LebelImg完成標注，框出圖片中所存在行人頭部進行標注，保存yolo格式得標簽文件，得到圖片與該圖片相對應得標簽文件夾。最終的數據集如圖10所示。

圖9 最終的感興趣區域圖

圖10 數據集匯總圖

3.3 實車驗證

將已完成的數據集進行訓練，并把模型加載到工控機中，然后選擇某一檢測場景，分別利用單一攝像頭以及本文的融合檢測方案進行目標檢測。

3.3.1普通交通場景檢測結果與分析

選取包含相鄰車道與對向車道的普通交通道路，如圖11所示，視覺檢測結果如圖12所示，該場景下的車輛目標基本都會被檢測并標記出來。毫米波與攝像頭融合的檢測結果如圖13所示，首先是融合的第一步，假設產生，雷達對前方目標進行檢測，在圖上以綠點表示雷達的檢測結果。其次是將雷達的檢測結果通過坐標系之間的轉換投影到圖像上形成一個ROI[7-8]，融合的第二步是假設驗證過程，視覺系統的檢測只需在此感興趣區域內進行，相對于原圖片，縮小了視覺檢測的范圍，周圍的干擾信號也大大減少，檢測性能有所提升。在相同的硬件與軟件環境下，確保被檢測的圖片有相同的分辨率，單一攝像頭的檢測時間與融合的檢測時間對比如表2所示。最終加上雷達的檢測時間為24.53 ms，明顯高于單一視覺的檢測結果29.89 ms。在檢測時間方面提高17.8%。

圖11 交通場景圖

圖12 攝像頭檢測結果

圖13 融合方案檢測結果

表2 兩種方案檢測時間對比

方案算法檢測時間/ms 攝像頭方案Yolov3-bt-41629.89 融合方案Radar+Yolov3-bt-41624.53

由于校園環境條件有限，只能根據現有的條件模擬普通交通場景圖14，分別用單一視覺與融合方案檢測本車前方沒有任何遮擋的車輛與行人，將視覺檢測與融合檢測結果與目標的實際尺寸進行對比，實驗檢測結果如圖15、16所示。目標的尺寸大小對比如表3所示。由表可知，本文融合方案的檢測效果更加貼近目標的真實尺寸。

圖14 模擬交通場景圖

圖15 Yolov3-bt目標檢測算法結果

圖16 Radar+Yolov3-bt目標檢測算法結果

表3 實驗結果

類別車輛行人單位 目標寬目標高目標寬目標高 真實尺寸120903073像素 Yolov3-bt1501104589 Radar+Yolov3-bt1311023680

3.3.2典型交通場景檢測結果與分析

在校園內模擬搭建典型的十字交通路口，如圖17所示，存在從側邊突然出現小目標的典型危險場景如圖17里框所示，即為視覺檢測的感興趣區域。常用的視覺檢測算法往往是對該場景下的所有目標進行檢測，存在兩處不足，一是無法及時檢測“鬼探頭”式的小目標（本文為行人頭部），二是針對場景下的所有目標進行檢測，干擾信號多，檢測性能差，檢測速度慢[9]。通過本文的融合算法，首先以車輛為基準劃定感興趣區域，如圖17的綠色框所示，針對感興趣區域進行探測，大大減少了計算量，提升了檢測速率；其次本文毫米波雷達與視覺融合方案，提升了小目標的檢測準確率；有效解決了這兩處不足。同時，若大量訓練行人的特征，也能在交通場景中及時準確的識別出行人目標。

圖17 典型道路交通場景

圖18 yolov3-bt檢測效果

圖19 改進后的檢測效果

此外，針對車輛前方出現行人這一典型工況，本文改進后的融合算法優于單一視覺的檢測結果。本文以典型的行人突然從側邊出現在車輛前方為場景，如圖19所示。普通視覺檢測算法只能在行人基本完全出現在視野中才能檢測到，如圖21所示，然而本文改進后的算法在人體的頭部剛剛出現在視野中時即可被探測到，如圖22所示。此外，選取校園內多種典型場景，大量實驗對比結果如表4所示，本文的方案比普通視覺檢測方法平均提前了135幀，根據攝像頭每秒30幀圖片得出，檢測時間提前4.5 s。根據實驗發現，攝像頭在該典型場景下，平均最遠能夠在21.7米的距離處檢測到行人的人頭。若自動駕駛車輛在這種典型的復雜場景下以20 km/h的速度行駛時，從發現行人到汽車制動大約有3.95 s的反應與制動時間，符合智能駕駛汽車實時性的要求。

圖20 小目標檢測場景

圖21 普通算法行人檢測結果

圖22 改進后的算法行人檢測結果

表4 測試數據記錄

場景搭建yolov3-btYolov3-bt-head相差幀數 第一組18652134 第二組20560145 第三組15732125 第四組18848140 第五組17242130 第六組17236136 平均值135

4 結論

本文提出了一種毫米波雷達與攝像頭信息融合的方法來解決中國典型工況的問題。實驗對比結果表明，對車輛前方出現行人這一現象，毫米波雷達與攝像頭信息融合的方法比單視覺算法檢測提前135幀，即檢測時間提前4.5 s，提升了17.8%。表明本文提出的毫米波雷達與攝像頭信息融合的方法可以進一步提高自動駕駛車輛行駛的安全性。

[1] 劉葳漪.無人駕駛技術不會因特斯拉停擺[N].北京商報,2016-7-5.

[2] Self-Driving Uber Car Kills Pedestrian in Arizona, Where Robots Roam[EB/OL].(2018-03-19)[2018-03-30].https://www.nytimes.com/2018/03/19/technology/uber-driverless-fatality.html.

[3] 譚力凡.機器視覺與毫米波雷達融合的前方車輛檢測方法研究[D].長沙:湖南大學,2018.

[4] 梁翼.基于毫米波雷達及深度學習視覺信息融合的前方車輛檢測方法研究[D].廣州:華南理工大學,2019.

[5] 陳曉偉.汽車前方車輛識別的雷達和視覺信息融合算法開發[D].長春:吉林大學,2016.

[6] N Long,Wang K,Cheng R, et al.Unifying obstacle detection, recogni- tion, and fusion based on millimeter wave radar and RGB-depth sensors for the visually impaired[J].Review of Scientific Instrumen- ts,2019,90(4):044102.

[7] Chen X, Ma H, Wan J, et al. Multi-View 3D Object Detection Netw- ork for Autonomous Driving[C].2017 IEEE Conference on Compu- ter Vision and Pattern Recognition (CVPR). IEEE, 2017. Redmon J, Farhadi A.YOLOv3:an incremental improvement[J].arXiv,1804. 02767v1,2018.

[8] 宋偉杰.基于毫米波雷達與機器視覺融合的車輛檢測技術研究[D].合肥:合肥工業大學,2020.

[9] He K,Zhang X,Ren S,et al.Deep residual learning for image recogni- tion[C].Proceedings of the IEEE conference on computer vision and pattern recognition.2016:770-778.

Research on Typical Working Condition Perception Algorithm Based on Information Fusion

WANG Mengyuan1,2, GAN Haiyun1,2*, YUAN Zhihong3

（1.School of Automotive and Transportation, Tianjin University of Technology and Education,Tianjin 300222;2.National and Local Joint Engineering Center for Smart Vehicle-Road Collaboration and Safely Technology, Tianjin 300084;3.College of Energy and Power Engineering, Shandong University, Shandong Jinan 250061）

Aiming at the frequent traffic accidents of autonomous driving, combined with the typical working conditions of Chinese roads, an information fusion scheme is proposed in this paper. Firstly, the millimeter-wave radar and camera are used to perceive the front environment, and the collected information is fused. Secondly, the front right vehicle is detected based on the yolov2 target detection algorithm, which forms the trigger condition for the appearance of a specific scene. Finally, the area of interest in front of the vehicle is divided, and the yolov3-bt algorithm is used for target detection in the area of interest to solve the problem of small target detection under typical working conditions. Through experimental comparison, it is found that the fusion algorithm improves the detection time by 17.8% compared with the ordinary vision detection algorithm. Aiming at the phenomenon of pedestrians in front of the vehicle, compared with ordinary visual detection algorithms, the improved algorithm is advanced by 135 frames on average, and the corresponding detection time is advanced by 4.5s, thereby further improving the safety of intelligent driving vehicles.

Autonomous vehicles; Environment perception; Information fusion; Target detection

B

1671-7988(2021)22-17-07

U495

B

1671-7988(2021)22-17-07

CLC NO.:U495

王夢園，碩士研究生，就讀于天津職業技術師范大學，研究方向：智能駕駛環境感知融合。

甘海云，博士、教授，就職于天津職業技術師范大學，研究方向：智能網聯汽車。

基于封閉園區及開放道路的L4級智能網聯汽車研發及示范運行（編號18ZXZNGX00230）。

10.16638/j.cnki.1671-7988.2021.022.005