面向高級輔助駕駛雷達和視覺傳感器信息融合算法的研究

楊鑫，劉威，林輝

（1.東軟集團股份有限公司，遼寧 沈陽 110179；2.東北大學 遼寧 沈陽110819）

引言

隨著人們對汽車安全技術的日益重視，高級輔助駕駛系統(tǒng)的研究與應用得到了快速的發(fā)展。環(huán)境感知技術是高級輔助駕駛系統(tǒng)的重要研究內容，對于減少車輛碰撞交通事故，提高車輛的道路行駛安全性具有重要意義。雷達傳感器和視覺傳感器作為環(huán)境感知系統(tǒng)的重要組成部分，被廣泛應用在多種汽車高級輔助駕駛系統(tǒng)中。

雷達傳感器對環(huán)境適應性強，對距離信息與速度信息提取方面具有優(yōu)勢，然而其存在原始數(shù)據(jù)噪聲較大，漏檢率與誤檢率較高，角度分辨率不高的劣勢。視覺傳感器獲取信息豐富，成本較低，尤其在目標識別分類具有較大優(yōu)勢，但其存在實時性較差，易受環(huán)境影響等不足[1]。為此，本文提出了一種基于毫米波雷達與高清相機信息融合的目標識別算法。

雷達和視覺傳感器融合算法利用雷達與視覺不同測量結果，通過對兩種傳感器檢測信息的比較分析處理，提取出前方道路的目標信息，用于對車輛當前行駛環(huán)境做出最佳的估計。該算法可彌補單傳感器在獲取道路環(huán)境感知信息量不夠豐富的缺陷，尤其在復雜交通工況下，極大地提高了車輛環(huán)境感知系統(tǒng)的可靠性、準確性與適應性。

圖1 雷達與視覺融合系統(tǒng)功能圖

1 ADAS系統(tǒng)的數(shù)據(jù)融合結構模型

雷達和視覺傳感器融合分為數(shù)據(jù)級融合、特征層融合和決策層融合[2]。數(shù)據(jù)級的信息融合是最基本的融合方式，即對傳感器信息進行簡單預處理后就進行融合，其運算量較大實時性較差，但可以最為完整的涵蓋各信息源。特征級的信息融合將信息源提取其特征信息然后進行融合，其優(yōu)點在于提高了信息融合的效率。決策級的信息融合是一種高層級的融合方式，按照一般來講需要對決策可信度進行評價，綜合各優(yōu)化指標得到決策結果。各級融合的詳細指標對比見表1。

表1 不同層級融合算法比較

圖2 雷達與相機數(shù)據(jù)融合流程圖

本文的雷達傳感器和視覺傳感器融合是決策級的信息融合，信息融合流程如圖2所示。根據(jù)雷達和攝像機安裝相對位置，建立雷達坐標系和攝像機坐標系轉換關系，構建數(shù)據(jù)空間融合模型。將雷達和視覺傳感器得到的觀測值預處理后，與上一個周期的目標值相匹配，對已經確認的雷達和圖像的觀測值進行融合，得到當前目標值，構建數(shù)據(jù)時間融合模型。對融合的目標進行多周期管理，進行目標濾波處理。

2 ADAS數(shù)據(jù)融合算法

雷達與視覺傳感器融合算法主要結合雷達與視覺兩個常用傳感器的目標探測各自優(yōu)點，使得被探測的目標能夠被更加精確和及時地識別。整個算法的實現(xiàn)主要由三個部分組成：時間空間同步、數(shù)據(jù)匹配關聯(lián)、目標濾波。

2.1 雷達傳感器和視覺傳感器的數(shù)據(jù)同步

2.1.1 雷達與視覺傳感器空間同步

毫米波雷達的掃描平面為二維平面，先確定雷達安裝在車輛的位置，然后將雷達測量的點轉化為車輛坐標系中的某點。本文采用三線式激光儀找出車輛的中軸線，使雷達中心軸線與車輛中心軸線重合，然后安裝雷達時需要確保其水平角度、橫擺角度和俯仰角度滿足安裝要求。其中水平角度和俯仰角度可以通過角度尺和重錘等工具進行測量，并通過調整雷達安裝機構來滿足雷達安裝的角度要求。橫擺角誤差需要以截面積較小的錐狀障礙物作為雷達探測目標，通過標定軟件，進行誤差補償。

相機標定包括內參標定和外參標定。相機內參由其硬件特性決定，外參獲得需先調整相機俯仰角、側傾角和橫擺角，然后測量相機距離車輛后軸的距離、水平高度和橫向偏移距離，并將其結果與車輛坐標系進行坐標轉換，即可完成相機標定。

雷達與視覺傳感器空間同步就是將不同傳感器坐標系的測量值轉換到同一個坐標系中。由于毫米波雷達位于前保險桿中心，只需將視覺的測量點通過坐標系轉換到該位置即可。

圖3 雷達與相機空間同步

2.1.2 雷達與視覺傳感器時間同步

雷達和視覺信息在除在空間上需要進行融合，還需要傳感器在時間上同步采集數(shù)據(jù)，實現(xiàn)數(shù)據(jù)時間上的融合。

多傳感器信息融合的時間配準就是將各傳感器關于同一目標的時間異步測量數(shù)據(jù)通過某種算法處理統(tǒng)一到同步的融合處理時刻。在同一時間片內對各傳感器采集的目標觀測數(shù)據(jù)進行內插、外推，將高精度觀測時間上的數(shù)據(jù)推算到低精度時間點上，以實現(xiàn)各傳感器時間上的匹配。其算法為：先取定時間片，對應融合時間片可以選為毫秒級；然后再將各傳感器觀測數(shù)據(jù)按測量精度進行增量排序；最后將各高精度觀測數(shù)據(jù)分別向最低精度時間點，按照運動狀態(tài)進行內插、外推，從而形成一系列等間隔的目標觀測數(shù)據(jù)以進行融合處理。

圖4 內插外推法的傳感器采樣序列圖

設傳感器A和傳感器B對同一目標進行觀測，在同一時間片內的采樣數(shù)據(jù)序列如圖1所示，傳感器A在Tai時刻的測量數(shù)據(jù)為（Xai，Yai，Vxai，Vyai），傳感器B在Tbj時刻的測量數(shù)據(jù)為（Xbj，Ybj，Vxbj，Vybj），設由傳感器 A 向傳感器 B的采樣時刻進行時間配準，配準后的數(shù)據(jù)用（Xaibj，Yaibj，）表示。

內插外推法的配準公式為：

由于雷達和攝像機工作頻率不同,以頻率較低的雷達數(shù)據(jù)為基準,采用多線程同步程序設計方式,構建多傳感器數(shù)據(jù)時間融合模型[3]。每次當毫米波雷達數(shù)據(jù)刷新時，采錄當前幀的圖像數(shù)據(jù)，即完成共同采樣一幀雷達與視覺融合的數(shù)據(jù)，從而保證了毫米波雷達數(shù)據(jù)和視覺數(shù)據(jù)時間上的同步。

2.2 數(shù)據(jù)匹配關聯(lián)

在獲得了決策級的視覺和雷達目標后，將單獨傳感器（毫米波雷達或高清相機）測量的目標進行預處理，對已經挑選出的雷達信號和視覺信號進行關聯(lián)性和區(qū)分性計算，辨識兩組獨立來源的信息是否指同一目標。

2.2.1 傳感器數(shù)據(jù)預處理

視覺傳感器目標分類為車輛和行人，將檢測結果按照行人和車輛進行分類數(shù)據(jù)預處理，可以減小融合算法數(shù)據(jù)處理計算量。

按照雷達傳感器相鄰采集周期內目標運動狀態(tài)變化具有一定極限范圍原則，進行有效目標一致性檢驗；采用生命周期算法，通過對有效目標設置生命閾值進行有效目標決策，消除虛假目標、漏檢現(xiàn)象、車輛顛簸和橫擺等對有效目標選取的干擾[4]。

2.2.2 目標關聯(lián)

目標匹配門限設定是根據(jù)視覺檢測目標的結果，按照測量目標縱向距離的不同進行匹配門限的設定[5][6]。該門限設定是在統(tǒng)計雷達與相機傳感器標準差的基礎上，綜合考慮匹配結果進行的數(shù)據(jù)統(tǒng)計結果。

將滿足門限條件的雷達與視覺目標進行配對，根據(jù)配對的結果將匹配的雷達和視覺目標進行融合。

圖5 目標關聯(lián)

2.3 目標濾波

對匹配關聯(lián)的目標進行多周期管理，對跟蹤的目標進行刪除、新建、跟蹤處理，維護有效目標庫。雷達和視覺傳感器融合后輸出的目標屬性信息根據(jù)視覺和雷達檢測目標的方差和評價值進行不同權重的計算。

3 仿真分析

為驗證車輛識別算法的性能，開發(fā)了軟件程序，實現(xiàn)了雷達和視覺傳感器數(shù)據(jù)同步在線顯示與離線數(shù)據(jù)分析功能。該程序可實現(xiàn)視頻信息與雷達數(shù)據(jù)的同步采集與存儲，用于進行離線分析，也可將視頻信息與雷達數(shù)據(jù)融合結果實時在線顯示。本論文仿真分析主要針對單傳感器存在虛檢、漏檢場景進行數(shù)據(jù)分析，并評價融合算法在該場景下的檢測效果。

3.1 傳感器虛假目標檢測

在有減速帶的城郊道路上，跟蹤前方車輛行駛。雷達傳感器與相機傳感器的檢測結果如圖6所示，雷達檢測目標存在虛假目標較多，不能對目標信息進行分類。相機傳感器能夠正常檢測車輛，輸出目標寬度信息，但是距離誤差較大。

圖6 融合檢測結果

基于影響本車正常行駛考慮，分別采集了基于單雷達傳感器和融合算法的本車道最近目標，從目標輸出屬性進行了數(shù)據(jù)分析。

圖7 傳感器數(shù)據(jù)分析

由圖7可以看出，單獨雷達目標縱向距離有擾動點，將檢測減速帶作為目標輸出，影響本車正常行駛。而融合算法輸出目標縱向距離輸出穩(wěn)定，能夠對前方車輛目標進行穩(wěn)定跟蹤。融合算法解決了單獨雷達傳感器存在的虛假目標問題。

由于雷達傳感器的檢測特性，除了道路設施對傳感器檢測有影響外，對于隧道有限空間目標檢測，也存在虛假檢測結果且側向距離測量不準，如圖8所示。

圖8 傳感器檢測結果

針對本車道的前方目標，進行數(shù)據(jù)分析如下：

圖9 傳感器融合結果

由上圖數(shù)據(jù)分析可以看出，應用單獨雷達傳感器會存在虛假檢測目標，且側方位存在擾動較大，而單相機傳感器則存在距離輸出結果有跳變，而融合目標輸出的信息解決了單獨傳感器存在的問題，并且能正確的檢測目標。

3.2 傳感器漏檢

在交通復雜的城市環(huán)境道路中，傳感器檢測結果如圖10所示。本車右車道黑色車輛在相機傳感器檢測過程中存在漏檢問題，且本車道雷達傳感器檢測存在虛假目標。

針對該目標存在的相機漏檢問題，對檢測目標的縱向距離、寬度信息進行數(shù)據(jù)分析如圖所示。其中相機存在漏檢現(xiàn)象，縱向距離輸出為 0，融合目標輸出結果平穩(wěn)，正常輸出目標距離信息。融合算法對寬度信息進行了濾波平滑處理，對于相機目標短暫丟失情況能夠正常輸出寬度信息。

圖11 融合前后對比結果

融合結果在相機漏檢情況下仍能正常跟蹤目標，并輸出目標的寬度信息，且縱向輸出結果穩(wěn)定，解決了單一傳感器存在的目標漏檢問題。

4 結論

本文提出了毫米波雷達傳感器與視頻傳感器數(shù)據(jù)融合的技術和方法，融合后得到的目標參數(shù)可應用于車輛運動控制命令生成；初步的仿真分析，驗證了模型和算法的可行性與有效性。由于數(shù)據(jù)融合算法充分利用了毫米波雷達與攝像頭這兩類得到廣泛應用的傳感器的各自優(yōu)點，融合后的目標信息有助于生成更為準確和及時的車輛運動控制指令，使得車輛ADAS（高級輔助駕駛）系統(tǒng)具有更好的性能表現(xiàn)。

[1] 王寶鋒,齊志權,馬國成,陳思忠.一種基于雷達和機器視覺信息融合的車輛識別方法[J].汽車工程,2015.

[2] 肖斌.多傳感器信息融合及其在工業(yè)中的應用[D].太原理工大學,2008.

[3] 李鵬,王軍寧.攝像機標定方法綜述[J].山西電子技術,2007(4):77-79.

[4] 韓星.基于毫米波雷達的汽車主動防撞預警目標識別[D].吉林大學,2013.

[5] G.Alessandretti,A.Broggi and P.Cerri,"Vehicle and Guard rail Detection using Radar and Vision Data Fusion," TEEE Transactions on Tntelligent Transportation Systems, Vol. 8, no. 1, pp.95-105, 2007.

[6] X. Liu, Z. Sun and H. He, "On-road Vehicle Detection Fusing Radar and Vision," in Vehicular Electronics and Safety (ICVES), pp. 150-154.201l.