智能車輛環(huán)境感知技術(shù)與平臺(tái)構(gòu)建

黃武陵

(中國科學(xué)院 自動(dòng)化研究所，北京 100190)

?

智能車輛環(huán)境感知技術(shù)與平臺(tái)構(gòu)建

黃武陵

(中國科學(xué)院 自動(dòng)化研究所，北京 100190)

本文從智能車輛環(huán)境感知功能入手，剖析了感知功能實(shí)現(xiàn)及其存在的技術(shù)挑戰(zhàn)，實(shí)現(xiàn)復(fù)雜交通環(huán)境感知所需傳感器，并介紹了車載傳感器融合平臺(tái)。分析現(xiàn)有智能車輛環(huán)境感知平臺(tái)實(shí)現(xiàn)，通過縮微智能車輛載體，介紹了低成本、低功耗的嵌入式環(huán)境感知系統(tǒng)，對(duì)于智能車輛功能研發(fā)具有參考意義。

智能車輛；環(huán)境感知技術(shù)；車載傳感器；嵌入式計(jì)算平臺(tái)

引　言

智能車輛技術(shù)是自動(dòng)控制、車輛工程、人工智能、視覺計(jì)算與模式識(shí)別等學(xué)科的綜合載體。隨著機(jī)器人與人工智能的發(fā)展，各種技術(shù)融入到車輛平臺(tái)中，進(jìn)而提高了車輛智能化水平，實(shí)現(xiàn)了從輔助駕駛、自動(dòng)駕駛到自主駕駛的全過程，將從根本上改變傳統(tǒng)的交通出行方式。從技術(shù)實(shí)現(xiàn)角度來看，除了車輛平臺(tái)的ECU和線控單元之外，還包括多種傳感器模塊、信息融合模塊、智能化計(jì)算模塊以及V2X通信模塊等，是多種嵌入式系統(tǒng)的綜合載體。

本文從智能車輛環(huán)境感知功能入手，剖析了感知功能實(shí)現(xiàn)及其存在的技術(shù)挑戰(zhàn)，實(shí)現(xiàn)復(fù)雜交通環(huán)境感知所需要的傳感器，并介紹了車載傳感器融合平臺(tái)。通過縮微智能車輛載體，介紹了低成本、低功耗的嵌入式環(huán)境感知系統(tǒng)。

1　智能車輛環(huán)境感知技術(shù)綜述

1.1智能車輛的總體功能

如圖1所示，智能車輛的軟件功能總體結(jié)構(gòu)可以分為感知層、任務(wù)規(guī)劃層、行為執(zhí)行層和運(yùn)動(dòng)規(guī)劃層等[8]。其中，環(huán)境感知層融合處理來自車載傳感器的數(shù)據(jù)，為系統(tǒng)的其他部分提供周圍環(huán)境的關(guān)鍵信息，例如車輛的位姿和速度等狀態(tài)信息，道路形狀、停車區(qū)域和交叉路口等道路信息，車輛周邊其他車輛和行人等動(dòng)態(tài)障礙物信息。局部靜態(tài)障礙物地圖以二維柵格圖展示現(xiàn)實(shí)環(huán)境中的無障礙區(qū)域、危險(xiǎn)區(qū)域和不可通行區(qū)域。通過道路堵塞信息對(duì)不能通過區(qū)域進(jìn)行估計(jì)。

任務(wù)規(guī)劃層根據(jù)路網(wǎng)信息計(jì)算到達(dá)下一個(gè)任務(wù)檢測點(diǎn)的最優(yōu)可行路徑。行為執(zhí)行層將任務(wù)規(guī)劃層提供的決策信息與感知層提供的當(dāng)?shù)亟煌ㄅc障礙信息結(jié)合起來，為運(yùn)動(dòng)規(guī)劃層產(chǎn)生一系列以離散運(yùn)動(dòng)目標(biāo)形式表達(dá)的局部任務(wù)。這些期望路線和速度發(fā)送給運(yùn)動(dòng)規(guī)劃層，完成如車距保持、超車等行為規(guī)劃。運(yùn)動(dòng)規(guī)劃層根據(jù)來自行為執(zhí)行層的運(yùn)動(dòng)目標(biāo)生成相應(yīng)的運(yùn)動(dòng)軌跡并執(zhí)行，從而使智能車輛到達(dá)該運(yùn)動(dòng)目標(biāo)[4]。

1.2智能車輛環(huán)境感知功能及其挑戰(zhàn)

環(huán)境感知功能是實(shí)現(xiàn)自主駕駛的基礎(chǔ)，以視覺傳感器為主的智能車輛環(huán)境感知功能必須能夠檢測和識(shí)別行駛車道及周邊的目標(biāo)，包括結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路信息、行駛環(huán)境中行人和車輛、交通信號(hào)燈和交通標(biāo)志等[3]。

環(huán)境感知功能主要由車載相機(jī)、微波雷達(dá)和激光雷達(dá)等主被動(dòng)視覺傳感器完成。通過車載相機(jī)辨識(shí)車道線和交通信號(hào)，檢測運(yùn)動(dòng)目標(biāo)等；通過激光雷達(dá)的激光點(diǎn)云來建立周邊環(huán)境的3D模型，檢測車輛、行人、樹木、路沿等；通過微波雷達(dá)檢測運(yùn)動(dòng)目標(biāo)，檢測車身周圍的移動(dòng)障礙物及其位置等。最后，將上述傳感器信息融合成如圖2所示的環(huán)境視圖，完成場景感知和理解。

圖2　智能車輛環(huán)境感知場景視圖

智能車輛環(huán)境感知存在的挑戰(zhàn)包括：如何在復(fù)雜、動(dòng)態(tài)和多樣化的交通環(huán)境下，克服傳感器各自物理限制和車輛運(yùn)動(dòng)干擾，提高環(huán)境感知精確程度，對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行識(shí)別與估計(jì)，完成交通環(huán)境信息的多視圖數(shù)據(jù)融合等[1]。

其中，多種因素限制了視覺感知能力。例如，受不同車載傳感器的工作范圍限制，智能檢測到一定范圍和距離、一定大小、某個(gè)相對(duì)運(yùn)動(dòng)方向、一定速度和加速度的目標(biāo)，感知能力受所在交通環(huán)境的光照、遮擋、雨雪沙塵等自然條件的限制。許多突發(fā)事件形式不可預(yù)知，更是難以檢測。只有通過加強(qiáng)傳感器和算法，保證在所有情況下能檢測到所有車輛、行人、道路上的其他移動(dòng)或靜止的障礙物[12]。

由于計(jì)算機(jī)視覺技術(shù)還處于不斷發(fā)展中，要理解復(fù)雜的交通環(huán)境存在不少挑戰(zhàn)，例如由于靜態(tài)和動(dòng)態(tài)環(huán)境因素，在道路環(huán)境感知與理解、交通信號(hào)檢測、動(dòng)態(tài)障礙物檢測、車輛姿態(tài)估計(jì)和定位等方面存在挑戰(zhàn)。由于路面難以和路沿區(qū)分，其幾何特性多變，對(duì)非結(jié)構(gòu)化的交通環(huán)境感知存在困難，還需要采用更高性能的傳感器和更好的信息處理算法，結(jié)合機(jī)器學(xué)習(xí)車間通信技術(shù)擴(kuò)展功能，解決自身局限性，進(jìn)一步理解非結(jié)構(gòu)化環(huán)境[2,10,11]。

2　智能車輛環(huán)境感知常用方法

智能車輛環(huán)境感知內(nèi)容主要包括結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路檢測、行駛環(huán)境中行人和車輛的檢測、交通信號(hào)燈和交通標(biāo)志的檢測等，其感知要素如圖3所示。

圖3　智能車輛環(huán)境感知要素

(1) 結(jié)構(gòu)化道路檢測

道路檢測是智能車輛環(huán)境感知的重要內(nèi)容，通過檢測車道信息準(zhǔn)確獲得車輛相對(duì)于車道的位置和方向。城市交通環(huán)境中常見的是結(jié)構(gòu)化道路，有清晰車道標(biāo)志線和道路邊界的標(biāo)準(zhǔn)道路。在車載視覺系統(tǒng)中，利用距攝像機(jī)近處車道線方向變化不大(即道路曲率變化很小)的一般假設(shè)，可以用直線來擬合車道線。在道路曲率變化較大的彎道處，可以采用多種曲線形式進(jìn)行車道擬合[9]。

車道檢測流程主要包括圖像預(yù)處理、邊緣提取和二值化等。預(yù)處理一般先選定圖像的感興趣區(qū)域，用中值濾波、均值濾波和高斯濾波等消除噪聲，再進(jìn)行邊緣增強(qiáng)和邊緣提取。通過所采集的車道線信息進(jìn)行道路區(qū)域與非道路區(qū)域的分割，從而完成道路檢測。

(2) 非結(jié)構(gòu)化道路檢測

鄉(xiāng)村公路等非結(jié)構(gòu)化道路在結(jié)構(gòu)上符合道路的特征，但一般缺少車道線等標(biāo)志，無法采用結(jié)構(gòu)化道路所用的車道線檢測方法[14]。基于機(jī)器學(xué)習(xí)的檢測算法，識(shí)別車道及其邊界的不同顏色和紋理等特征，進(jìn)行自監(jiān)督樣本選取、特征選取、在線學(xué)習(xí)、監(jiān)督學(xué)習(xí)等過程，完成道路檢測。

(3) 行駛環(huán)境中的行人

基于視覺的行人檢測方法主要有基于背景建模的方法和基于統(tǒng)計(jì)學(xué)習(xí)的方法等。基于背景建模的方法首先分割出前景，提取其中的運(yùn)動(dòng)目標(biāo)，然后進(jìn)一步提取特征、分類判別。基于統(tǒng)計(jì)學(xué)習(xí)的方法根據(jù)大量訓(xùn)練樣本構(gòu)建行人檢測分類器，提取的特征一般有目標(biāo)的灰度、邊緣、紋理、形狀、梯度直方圖等信息。

由于室外場景中的光照變化、遮擋、陰影等影響，導(dǎo)致視覺檢測行人的算法在交通環(huán)境中魯棒性較低。通過激光雷達(dá)可以獲得行人在二維平面內(nèi)的位置、形狀等狀態(tài)估計(jì)，因此可以有效地實(shí)現(xiàn)行人的狀態(tài)跟蹤。通過融合激光雷達(dá)與視頻圖像數(shù)據(jù)，可以對(duì)行人進(jìn)行較為準(zhǔn)確的檢測[13]。

(4) 行駛環(huán)境中的車輛檢測

基于單目視覺的車輛檢測方法可分為基于外觀的方法和基于運(yùn)動(dòng)的方法。采用更通用并具魯棒性的特征(如HOG特征、類Haar特征)來對(duì)車輛進(jìn)行檢測。這些特征可被用來直接對(duì)圖像中的目標(biāo)進(jìn)行分類和檢測[8,15,16]。

激光雷達(dá)能夠快速地獲取掃描平面中的距離信息，并獲得障礙物在掃描平面中的外輪廓；機(jī)器視覺能夠提供更加豐富的平面信息。通過建立坐標(biāo)轉(zhuǎn)換模型，將激光雷達(dá)數(shù)據(jù)與圖像數(shù)據(jù)統(tǒng)一到同一坐標(biāo)系中進(jìn)行處理。結(jié)合激光雷達(dá)的數(shù)據(jù)特點(diǎn)選取合適的聚類方法，對(duì)聚類后的數(shù)據(jù)進(jìn)行形狀匹配和模板匹配，確定感興趣區(qū)域；通過類Haar特征結(jié)合AdaBoost算法在感興趣區(qū)域進(jìn)行車輛檢測，通過車輛在激光雷達(dá)中的數(shù)據(jù)特征可實(shí)現(xiàn)Kalman預(yù)估跟蹤。

(5) 交通信號(hào)燈檢測

在背景環(huán)境相對(duì)簡單的情況下，基于色彩特征的交通信號(hào)燈識(shí)別方法能夠有效地檢測和識(shí)別出交通信號(hào)燈；對(duì)于背景環(huán)境復(fù)雜的情況，則容易出現(xiàn)誤檢現(xiàn)象。基于形狀特征的識(shí)別方法可有效地減少這類虛警，但需要通過建立形狀特征規(guī)則來實(shí)現(xiàn)。基于模板匹配的識(shí)別方法同樣需要建立不同樣式的交通信號(hào)燈模板或者建立多級(jí)的交通信號(hào)燈模板。因此，需要綜合上述算法和特征識(shí)別方法才能適應(yīng)環(huán)境的變化，對(duì)不同樣式交通信號(hào)燈進(jìn)行識(shí)別[18]。

(6) 交通標(biāo)志檢測

交通標(biāo)志檢測與識(shí)別系統(tǒng)主要包含色彩分割、形狀檢測和驗(yàn)證、圖形識(shí)別等。在良好光照條件時(shí)，HSV色彩空間的色度和飽和度信息能夠有效地進(jìn)行無關(guān)顏色過濾，通過室外環(huán)境中實(shí)際標(biāo)牌的圖像采樣可以得到選取閾值。通過Hough直線變換能夠有效地檢測到標(biāo)志牌的邊緣直線，從色彩空間處理后得到的精確分割圖像，所檢測到的直線可能構(gòu)成標(biāo)志牌的三角形或矩形圖像的一部分，分割直線如果封閉，則可以定位候選區(qū)。對(duì)于每類交通標(biāo)志，都需要分別設(shè)計(jì)分類器，進(jìn)行圖像的象形識(shí)別[7]。

3　環(huán)境感知中的傳感器及嵌入式計(jì)算平臺(tái)

3.1環(huán)境感知中的傳感器

在智能車輛設(shè)計(jì)中，常用的環(huán)境感知傳感器包括紅外傳感器、激光雷達(dá)、毫米波和微波雷達(dá)、(立體)視覺攝像機(jī)等，根據(jù)各類傳感器的環(huán)境適用特點(diǎn)進(jìn)行選擇。如圖4所示，典型的無人駕駛車輛所用的傳感器包括Velodyne的64線激光雷達(dá)、Point Grey攝像機(jī)、IBEO和SICK激光雷達(dá)、Applanix POS-LV高精度GPS定位及慣導(dǎo)單元、Continental 測距雷達(dá)和輪速傳感器等[5]。

圖4　典型無人駕駛車輛所用傳感器

各種車載視覺傳感器各具特色。相機(jī)等被動(dòng)視覺系統(tǒng)視場寬，側(cè)向精度高，成本低，不受其他傳感器影響，可以提供亮度和深度信息，但容易受到環(huán)境中的光照等氣候因素影響。激光雷達(dá)等主動(dòng)傳感器抗干擾能力較強(qiáng)，能提供高精度的測量結(jié)果，但對(duì)惡劣天氣(如雨、霧、雪等)敏感，受其掃描角及分辨率的影響，對(duì)于很細(xì)小的柱狀障礙物難以識(shí)別。毫米波雷達(dá)在惡劣天氣也能提供足夠的精度，但視場較小，側(cè)向精度相對(duì)較低。

3.2車載環(huán)境感知嵌入式計(jì)算平臺(tái)

早期無人駕駛車輛平臺(tái)，如圖5所示的Stanford的Junior計(jì)算系統(tǒng)通過刀片服務(wù)器和多個(gè)Core2Duo處理器等平臺(tái)提供實(shí)時(shí)處理與計(jì)算，計(jì)算單元通過高速以太網(wǎng)接口進(jìn)行信息通信。

圖5　Stanford的Junior車載計(jì)算平臺(tái)和奧迪自動(dòng)駕駛汽車ZFAS

由于嵌入式平臺(tái)計(jì)算能力的提升，現(xiàn)在智能車輛計(jì)算平臺(tái)一般采用帶有GPU單元的嵌入式處理器來構(gòu)建。例如，奧迪自動(dòng)駕駛汽車架構(gòu)中的駕駛輔助控制器(ZFAS)中的傳感器融合單元核心部件是Nvidia Tegra K1平臺(tái)，極大簡化了車載計(jì)算平臺(tái)。Nvidia Tegra K1平臺(tái)如圖6所示。

Nvidia的TK1有4個(gè)ARM Cortex-A15內(nèi)核，192 Kepler GPU集成CUDA，提供327 GFLOPS計(jì)算性能，處理CUDA數(shù)據(jù)時(shí)，功率小于6 W(包括SoC和DRAM)，集成了面向傳感器的處理并提供CUDA異步硬件加速，如H.264編解碼引擎和雙MIPI CSI-2相機(jī)接口和圖像處理器(ISP)。Tegra K1 VCM運(yùn)行Linux、Android、QNX、Windows等操作系統(tǒng)，支持網(wǎng)絡(luò)更新軟件。Nvidia開發(fā)網(wǎng)提供算法庫支持，有助于加速開發(fā)。Nvidia PX2構(gòu)建的Drivenet平臺(tái)，已在自動(dòng)駕駛車輛上進(jìn)行測試[17]。

圖6　Nvidia Tegra K1平臺(tái)

流行的深度學(xué)習(xí)框架如Caffe、Theano、Torch推出CUDA工具庫，大幅提高了圖像識(shí)別的準(zhǔn)確率。Tegra K1模塊讓車載計(jì)算平臺(tái)擁有更強(qiáng)的數(shù)據(jù)處理能力，通過運(yùn)行深度學(xué)習(xí)算法來加強(qiáng)車輛感知能力，對(duì)各類車載傳感器數(shù)據(jù)進(jìn)行處理與分析，進(jìn)行駕駛決策。嵌入式計(jì)算平臺(tái)如圖7所示。

圖7　深度學(xué)習(xí)的車載嵌入式計(jì)算平臺(tái)

4　智能車輛環(huán)境感知方案

我們在縮微智能車實(shí)驗(yàn)平臺(tái)上驗(yàn)證了環(huán)境感知方案，如圖8所示，使用TK1作為處理模塊和傳感器接口，使用CUDA處理相機(jī)的視覺圖像，處理LIDAR激光測距掃描數(shù)據(jù)，進(jìn)行車道、交通信號(hào)、障礙物和可行駛區(qū)的檢測。通過串口整合GPS模塊、慣性測量單元(IMU)、轉(zhuǎn)向角和碼盤輪速檢測等傳感器。車載傳感器的感知效果驗(yàn)證如圖9所示。

圖8　基于Tegra K1的縮微智能車輛感知方案驗(yàn)證

圖9　車載傳感器的感知效果驗(yàn)證

縮微智能車輛在傳感器支持下具備路徑規(guī)劃規(guī)避障礙物功能，具備直、彎道、橋梁、交叉路口行駛，超車換道。通過基于GPS路點(diǎn)任務(wù)文件進(jìn)行解析和導(dǎo)航。基于車輛動(dòng)力學(xué)模型，采用PID實(shí)現(xiàn)橫縱向控制。遙操作也可以通過無線網(wǎng)絡(luò)加壓縮視頻流來實(shí)現(xiàn)。

結(jié)　語

由于交通環(huán)境復(fù)雜多變，車載傳感器能力各有偏重，如何在復(fù)雜交通環(huán)境下，克服傳感器各自物理限制和車輛運(yùn)動(dòng)干擾，提高環(huán)境感知精確程度，對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行識(shí)別與估計(jì)，完成交通環(huán)境信息的多視圖數(shù)據(jù)融合，是智能車輛環(huán)境感知面臨的挑戰(zhàn)。本文對(duì)上述問題進(jìn)行了探討，有助于厘清難點(diǎn)，重點(diǎn)突破。

在面向無人駕駛汽車環(huán)境感知總體任務(wù)實(shí)現(xiàn)的集成系統(tǒng)中，如何優(yōu)化龐大與昂貴的傳感器系統(tǒng)以及提高多模態(tài)數(shù)據(jù)融合處理效率，仍需要深入研究。本文提出的基于嵌入式融合平臺(tái)開展深度學(xué)習(xí)的框架，有助于將人工智能技術(shù)用于車載多信息融合感知，將極大提升感知能力，對(duì)克服其難點(diǎn)具有參考意義。

[1] W Huang,D Wen,J Geng,et al.Task-Specific performance evaluation of UGVs:Case studies at the IVFC[J].IEEE Transactions on Intelligent Transportation Systems,2014,15(5):1969-1979.

[2] M Buehler,K Lagnemma,S Singh,et al.The DARPA Urban Challenge:Autonomous Vehicles in City Traffic[C]//Springer-Verlag Berlin Heidelberg,2009.

[3] 湯淑明,喬昕,黃武陵.無人駕駛車輛測試研究現(xiàn)狀與未來展望[C]//國家自然科學(xué)基金委員會(huì)視聽覺信息的認(rèn)知計(jì)算重大研究計(jì)劃2010年學(xué)術(shù)交流會(huì),2010:320-326.

[4] 陳清陽,張小波,孫振平,等.非結(jié)構(gòu)化環(huán)境下自主車輛軌跡規(guī)劃方法[J].中南大學(xué)學(xué)報(bào):自然科學(xué)版,2011,42(11):3377-3383.

[5] Michael Montemerlo,Jan Becker,Sebastian Thrun.Junior:The Stanford Entry in the Urban Challenge[J].Field Robot,2008,25(9):569-597.

[6] C Urmson,J Anhalt,D Bagnell,et al.Autonomous driving in urban environments:Boss and the urban challenge[J].2008,25(1):425-466.

[7] MengYin Fu,YuanShui Huang.A survey of traffic sign recognition[C]//Wavelet Analysis and Pattern Recognition (ICWAPR),2010 International Conference,2010.

[8] 王榮本,趙一兵,李琳輝,等.智能車輛的障礙物檢測研究方法綜述[J].公路交通科技,2007,24(11):109-113.

[9] 路順杰.綜合考慮視覺和雷達(dá)的車道線檢測研究[D].長春:吉林大學(xué),2015.

[10] 沈峘.智能車輛視覺環(huán)境感知技術(shù)的研究[D].南京:南京航空航天大學(xué),2010.

[11] 王科.城市交通中智能車輛環(huán)境感知方法研究[D].長沙:湖南大學(xué),2013.

[12] 陳龍.城市環(huán)境下無人駕駛智能車感知系統(tǒng)若干關(guān)鍵技術(shù)研究[D].武漢:武漢大學(xué),2013.

[13] 諶彤童.三維激光雷達(dá)在自主車環(huán)境感知中的應(yīng)用研究[D].長沙:國防科技大學(xué),2011.

[14] 周圣硯.基于學(xué)習(xí)算法的智能車輛非結(jié)構(gòu)化道路檢測技術(shù)研究[D].北京:北京理工大學(xué),2014.

[15] 靳璐,付夢印,王美玲,等.基于視覺和毫米波雷達(dá)的車輛檢測[J].紅外與毫米波學(xué)報(bào),2014,33(5):465-471.

[16] 胡銦,楊靜宇.基于模型的車輛檢測與跟蹤[J].中國圖象圖形學(xué)報(bào),2008,13(3):450-455.

[17] Jetson TK1[EB/OL].[2016-07].http://elinux.org/Jetson_TK1.

[18] 徐迪紅,唐爐亮.基于顏色和標(biāo)志邊緣特征的交通標(biāo)志檢測[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2008,33(4):433-436.

Intelligent Vehicle Environment Sensing Technology and Platform Construction

Huang Wuling

(Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)

Environment perception provides the basic support for the other intelligent vehicle functions.This paper analyzes the implement of environment perception and its challenges in details,discusses the various sensors used in perception,and introduces the embedded computing platform used in data fusion.By the analysis of the current perception architecture used in our micro intelligent vehicle for verification purpose,this paper brings out a low cost,low-power consumption embedded perception system,which will be a good reference in the intelligent vehicle design.

intelligent vehicle;environment perception;vehicular sensor;embedded computing platform

TP277

A

黃武陵，中國科學(xué)院自動(dòng)化研究所副研究員，中國科學(xué)院大學(xué)博士，主要從事智能車輛研究，參與和主持了多項(xiàng)國家863和973、交通部和自然基金課題，發(fā)表SCI/EI論文12篇，申請和獲得發(fā)明專利20項(xiàng)。獲北京市科技進(jìn)步獎(jiǎng)、北京市“金橋工程”項(xiàng)目獎(jiǎng)、吳文俊人工智能科學(xué)技術(shù)進(jìn)步獎(jiǎng)、中科院教學(xué)成果獎(jiǎng)等獎(jiǎng)勵(lì)。

(責(zé)任編輯：薛士然2016-07-07)