基于毫米波雷達(dá)和視覺信息融合的車輛檢測

王淑林 張冉

摘 要：為了避免單一傳感器對于車輛檢測的不穩(wěn)定問題，本文基于假設(shè)驗證的決策思想，通過融合毫米波雷達(dá)和機器視覺信息，將雷達(dá)檢測信息映射到圖像中構(gòu)建感興趣區(qū)域，而后采用機器視覺方法在感興趣區(qū)域中進行前方車輛驗證。實驗表明該信息融合方法提高了車輛檢測的準(zhǔn)確性。

關(guān)鍵詞：車輛檢測;信息融合;假設(shè)驗證;毫米波雷達(dá);機器視覺

基于機器視覺的車輛檢測方法簡單直接，但受天氣、光照、陰影、攝像頭抖動等因素影響嚴(yán)重，易將一些非車輛區(qū)域誤認(rèn)為是車輛。基于毫米波雷達(dá)的車輛檢測方法能準(zhǔn)確檢測前方障礙物，且不易受天氣、光照、陰影等環(huán)境影響，但主要缺點是不能區(qū)分障礙物是否為車輛。本文融合毫米波雷達(dá)采集信息以及攝像頭采集圖像數(shù)據(jù)對前方車輛進行檢測。[1]

1 前車檢測的傳感器信息融合策略

基于毫米波雷達(dá)與機器視覺信息融合的車輛檢測流程方法如圖1所示，包括毫米波雷達(dá)信息處理模塊、雷達(dá)視覺信息融合模塊以及機器視覺信息處理模塊。毫米波雷達(dá)信息處理模塊用于獲得初步前方障礙物區(qū)域，主要包括采集信息、信息預(yù)處理、有效運動目標(biāo)初選以及基于卡爾曼濾波的有效目標(biāo)運動狀態(tài)估計。[2]雷達(dá)視覺信息融合模塊用于獲得毫米波雷達(dá)信息與圖像信息在時間和空間上的對應(yīng)關(guān)系，并基于此對應(yīng)關(guān)系將毫米波雷達(dá)獲得的初步前方障礙物區(qū)域映射到圖像信息中。機器視覺信息處理模塊用于在毫米波雷達(dá)信息的基礎(chǔ)上進一步采用機器視覺進行前車驗證，包括視覺采集信息、圖像預(yù)處理、建立圖像感興趣區(qū)域以及基于Adaboost的前車檢測。

本文基于毫米波雷達(dá)和機器視覺信息融合的前車檢測方法本質(zhì)上主要包括兩個步驟：假設(shè)產(chǎn)生和假設(shè)驗證。假設(shè)產(chǎn)生：將毫米波雷達(dá)獲取的前方障礙物判定為車輛，并在圖像上劃分出該區(qū)域，即圖像感興趣區(qū)域。假設(shè)驗證：基于機器視覺的方法對上述感興趣區(qū)域進行驗證，判斷該區(qū)域內(nèi)是否存在車輛。如果是，則最終判定前方障礙物為車輛。可以看出，信息融合是整個檢測方法獲取準(zhǔn)確信息的關(guān)鍵，主要包含兩方面的融合，即空間上融合、時間上融合。

2 傳感器信息的時間空間融合

傳感器信息空間上的融合主要包括以下步驟：

（1）基于左手坐標(biāo)系原則，通過旋轉(zhuǎn)、縮放和平移操作，得到毫米波雷達(dá)坐標(biāo)系與三維世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系;

（2）通過反用基于單幀靜態(tài)圖像的測距模型，得到三維世界坐標(biāo)系與攝像機坐標(biāo)系之間的轉(zhuǎn)換關(guān)系;

（3）通過小孔成像模型，得到攝像機坐標(biāo)系與圖像坐標(biāo)系之間的位置關(guān)系;

（4）依據(jù)攝像機中的CCD傳感器的存儲原理，得到圖像坐標(biāo)系與像素坐標(biāo)系之間的轉(zhuǎn)換;

（5）在離線狀態(tài)下，基于張友正相機標(biāo)定方法，采用MATLAB攝像機標(biāo)定工具箱，求出空間融合模型建立所需要的攝像機內(nèi)、外參數(shù)以及攝像機的畸變參數(shù)。這樣可以消除鏡頭引入的變形現(xiàn)象，完成空間上的信息融合。

時間上的信息融合主要是指兩種傳感器在時間上的同步。[3]本次采用的毫米波雷達(dá)采樣頻率為20Hz，攝像機的頻率為60Hz。由于這兩種傳感器的采樣頻率不相同，因而導(dǎo)致采集的信息很可能為不同時刻的信息。傳感器時間上的信息融合需要兩種傳感器信息在時間上同步，本次采用線程同步的方式實現(xiàn)。在主控制程序中創(chuàng)建兩種傳感器信息的接收線程，并設(shè)置當(dāng)毫米波雷達(dá)采集當(dāng)前時間的信息時同時攝像機也檢測當(dāng)前幀圖像，從而保證了兩者信息達(dá)到時間上的同步。

兩種傳感器的時間空間信息完成融合后，將毫米波雷達(dá)檢測到的前方障礙物信息映射到圖像上，形成圖像的感興趣區(qū)域，每個感興趣區(qū)域被傳遞給嵌套級聯(lián)Adaboost分類器來檢測前方障礙物是否為車輛。如果此時基于機器視覺的車輛檢測判斷前方為車輛，則認(rèn)為感興趣區(qū)域位置中存在車輛。因此，感興趣區(qū)域的獲取對于車輛檢測尤為重要。本文感興趣區(qū)域的定義為：首先，以轎車尾部的寬高值為依據(jù)（寬度為2.55m，高度值為2m），形成矩形區(qū)域作為感興趣區(qū)域的基準(zhǔn)大小;然后，將毫米波雷達(dá)得到的前方障礙物形心、距離信息映射到圖像信息上，作為圖像感興趣區(qū)域的中心;最后，將車輛尾部矩形區(qū)域映射在圖像信息上繪制出感興趣區(qū)域，并且感興趣區(qū)域大小與毫米波雷達(dá)測出的前車距離成反比。

3 車輛檢測實驗

4 結(jié)語

實驗證明，毫米波雷達(dá)能夠快速檢測到前方的障礙物信息，并據(jù)此信息得到圖像的感興趣區(qū)域，使得基于機器視覺的檢測方法能夠根據(jù)該感興趣區(qū)域快速地檢測前車，同時也節(jié)約的計算資源，提高了不同環(huán)境下前方車輛檢測的穩(wěn)定，平均準(zhǔn)確性達(dá)到97.1%。

參考文獻：

[1]賈立山.體現(xiàn)駕駛員特性的車道偏離預(yù)警系統(tǒng)關(guān)鍵技術(shù)研究[D].武漢：華中科技大學(xué)，2011.

[2]劉志強，王盈盈，倪捷，劉恒.前方車輛障礙物檢測方法的研究[J].機械設(shè)計與制造，2018，7，23-29.

[3]高德芝，段建民，于宏嘯.基于機關(guān)雷達(dá)和攝像頭的前方車輛檢測[J].北京工業(yè)大學(xué)學(xué)報，2012.38，1337-1342.

項目支持：江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項目（201711052004Y）