激光雷達在無人駕駛環境感知中的應用

黃武陵

(中國科學院　自動化研究所,北京　100190)

激光雷達在無人駕駛環境感知中的應用

黃武陵

(中國科學院自動化研究所,北京100190)

激光雷達是實現無人駕駛環境感知的重要傳感器,特別是通過與相機和毫米波雷達等實現感知信息融合之后,適用于復雜交通環境感知,可以檢測交通環境中的不同目標,包括道路、可行駛區域、行駛環境中行人和車輛、交通信號燈和交通標志等交通要素。本文通過激光雷達的技術描述,介紹它在環境感知中的重要作用,分析了激光雷達標定及測試等技術基礎,分析了激光雷達在環境感知中的應用,可以為相關技術應用提供參考。

無人駕駛;激光雷達;環境感知;標定與測試

引 言

傳感器負責采集無人駕駛車輛所需的自身姿態和周邊環境信息,為無人駕駛車輛的安全行駛提供及時、準確的決策依據。因此,需要面向復雜環境感知需求集成低價、性能優秀的車內和車外傳感器,發揮各傳感器的優勢,按照不同的自動駕駛功能需求進行傳感器優化配置。目前常用傳感器包括超聲波、紅外相機、激光雷達、毫米波雷達、單目或雙目相機等。其中,激光雷達能夠檢測目標物體的空間方位和距離,并可通過點云來描述3D環境模型,可提供目標的激光反射強度信息,為毫米波雷達等傳感器提供被檢測目標的詳細形狀描述,而且在黑夜和雨天等極端情況下也有較好表現。

本文通過激光雷達的技術描述,介紹了激光雷達在環境感知中的重要作用,講解了激光雷達標定及測試等基礎技術,分析了激光雷達在環境感知中的應用等。

1 激光雷達在無人駕駛環境感知中的重要作用

1.1 無人駕駛車載傳感器的分類

在選擇車載傳感器時,一般需要綜合考慮多個方面的屬性,包括傳感器精度、分辨率、靈敏度、動態范圍、傳感器視角、主動與被動傳感器、時間精度和輸出接口,以及誤報率、溫度適應性、黑暗適應性、不良天氣適應性、硬件成本、信號處理能力等。結合這些參數和不同等級的無人駕駛功能實現需求,從超聲波雷達、激光雷達、毫米波雷達、攝像頭、紅外探頭等傳感器中綜合考慮加以選取。無人駕駛車載傳感器配置要求如圖1所示。

圖1 無人駕駛車載傳感器配置要求

如圖2所示,典型自動駕駛功能實現中,要求車載傳感器能夠覆蓋長、短距檢測,兼顧日夜行駛等需求,方案中要求配備毫米波雷達傳感器6個(超長距前窄角1個,中距前窄角1個,后/側面廣角4個)、紅外夜視傳感器1個(長距前窄角)、圖像攝像頭6個(長距前窄角1個,短距廣角后方1個、側面4個),以及超聲波傳感器4個(前/后側短距廣角)。

圖2 實現自動駕駛所需的車載傳感器配置

1.2 車載激光雷達重要作用

現階段,常用的車載外部傳感器只在某些特定情況下使用。例如,毫米波雷達可以準確檢測前方車輛的距離和速度,具備較強的穿透霧、煙、灰塵的能力,但無法對目標進行細化識別。而相機視覺系統可以獲得車道線、交通信號等目標的顏色和形狀等細節,從而進行細化識別。但是,相機視覺系統的測距能力沒有激光雷達精確。激光雷達通過點云來建立周邊環境的3D模型,可以檢測出包括車輛、行人、樹木、路沿等細節。為了適用復雜環境,需要進行多傳感器信息融合,所以,通過激光雷達或毫米波雷達與視覺傳感器進行融合,不僅可以進行目標物體檢測,而且還能進行目標空間測距、目標圖像識別等功能。類似,GPS定位、視覺傳感器和激光雷達進行融合,則可以實現車道保持所需的高精度定位,也能實現多類障礙物目標檢測。

近期的特斯拉汽車事故說明,自動駕駛僅靠單類傳感器難以實現,還需要多種傳感器融合,關鍵性傳感器不能減配。要實現無人駕駛,除了常見的傳感器,更需要選配高精度GPS定位系統及激光雷達等高精度測距傳感器。圖3所示,參加2007年DARPA Urban Challenge比賽的Stanford大學“Junior”無人車輛配備5個激光雷達(IBEO、RIEGL、SICK和Velodyne),1個Applanix GPS慣性導航系統,5個BOSCH毫米波雷達,以及前向相機系統。

Junior無人駕駛車輛定位通過Applanix POS LV 420集成慣性導航系統實現,包括GPS方位航向測量、高性能慣性測量單元、車輪里程計(DMI)和OMNISTAR衛星虛擬基站服務,提供低于100 cm和0.1°的實時位置和方向誤差。2個側向的SICK LMS 291-S14激光雷達和1個前向的RIEGL LMS-Q120激光雷達提供3D道路結構和車道標線檢測,并進行車輛高精度定位。1個車頂64線 Velodyne HDL-64E激光雷達用于障礙物和移動車輛檢測,形成水平方向360°和垂直方向30°視域的掃描數據,由車尾的2個SICK LDLRS激光雷達和前保險杠2個IBEO ALASCA XT激光雷達進行視野補充。5個安裝在前格柵的BOSCH長距離雷達(LRR2)提供周圍移動車輛的檢測信息。Junior無人駕駛方案充分體現了激光雷達傳感器的重要性。

圖3 Junior無人駕駛車輛及其傳感器配置

1.3 常見的車載激光雷達

現階段,激光雷達傳感器廠商主要包括Velodyne、IBEO和Quanergy,國內也陸續出現類似產品,例如北科天繪公司的機載和車載激光雷達。無人駕駛車輛上所用的激光雷達最好能被做成小體積直接嵌入車身,需要將機械旋轉部件做到最小甚至不用旋轉器件。IBEO的激光雷達產品LUX,已經用固定激光光源通過內部玻璃片旋轉的方式改變激光光束方向,滿足多角度檢測的需要。Velodyne目前已經量產的激光雷達包括HDL-64E(64線)、HDL-32E (32線)、VLP-16(16線),以及和福特一起發布的半固態激光雷達Solid-State Hybrid Ultra Puck Auto,線數增加到32線,體積和原16線產品一致,將旋轉部件做到內部隱藏起來。Quanergy旗下產品S3是一款全固態產品,使用了相位矩陣技術,內部不存在任何旋轉部件。

2 車載激光雷達的標定及測試

2.1 激光雷達的主要參數

激光雷達用來描繪周圍環境的幾個主要參數,包括線數、點密度、水平垂直視角、檢測距離、掃描頻率、精度等。除了位置和距離信息,激光雷達還提供返回所掃描物體的密度信息,后續算法據此可以判斷掃描物體的反射率,再進行下一步處理。例如,從眾多目標中判斷出交通標志牌,再由相機有針對性地分析標志牌內容,從而減少算法成本。

激光雷達的探測范圍指標包括有效距離、水平視場(識別范圍)、縱向識別范圍。其有效距離最遠可達300 m,水平視角一般在80°到360°,如果是64線雷達,則可以達到32°的縱向視場角。激光雷達的角分辨率水平方向上一般能到0.1°,縱向可達0.5°,縱向探測角度一般通過線束計算,每個接收器覆蓋0.5°,4線激光雷達縱向掃描范圍為2°。1線激光雷達是一個二維掃描雷達; 4線或8線縱向掃描范圍從3.2°到6.4°,可定義為2.5D掃描雷達。64線雷達縱向掃描范圍為30多度,可定義為3D掃描雷達。車載激光雷達工作電壓一般是12 V,其輸出格式一般是以太網、USB或FlexRay格式。以國內北科天繪公司R-Fans16(2016)激光雷達為例,其參數如表1所列。

圖4 降雨量對激光雷達的影響

表1 北科天繪R-Fans16(2016)激光雷達參數

2.2 激光雷達的標定

(1)激光雷達影響因素

激光雷達也有缺點,例如在雨雪霧天氣下性能變差、價格昂貴、數據量較大、需要高性能計算實時處理。激光雷達精度受天氣影響較大,例如,空氣中懸浮物會對光速產生影響,大霧及雨天影響其測量精度。如圖4所示,隨著實驗雨量增大,兩種激光雷達的最遠探測距離都呈線性下降。

(2)多線激光雷達的外部參數

在理想狀態下,激光雷達多線束激光從坐標系原點射出,且每束激光的起始位置都為坐標系原點。但實際上,每個激光傳感器安裝位置不同,光束的水平方位角也有差異,光束并不在同一個垂直平面內。因此,對應每個激光器都有一組校準標定參數,可以通過標定方法或者標定參數(即每個激光束的位置和方向的參數)估計。坐標系定義如圖5所示。

圖5 Velodyne HDL-64E激光雷達坐標系定義

為了將激光雷達返回的距離和角度信息轉換為激光雷達坐標系中的笛卡爾坐標,需要對每一條激光束采用5個參數進行建模,然后通過這5個參數將每條激光返回的距離值轉換為3D點坐標[5]。

①距離校正因子Dcorr:每一條激光束的距離偏差,返回的距離值Dret上距離校正因子Dcorr,表示激光束測得的真正距離D。

②垂直偏移量V0:在豎直平面內,激光束測量的起點到雷達坐標系原點的偏移量。

③水平偏移量H0:在xy平面,激光束測量的起點到激光雷達坐標系原點的偏移量。

④垂直校正角θ:激光束相對于激光雷達坐標系xy平面的角度偏移量,向上偏移為正,向下偏移為負。

⑤ 旋轉校正角α:激光束與激光雷達編碼盤零度角之間的角度偏移量。當激光雷達旋轉時,假設其當前旋轉角度為γ,每一條激光束都有一個不同的旋轉校正角α,定義另外一個角β=γ-α,表示激光束相對于yz平面的角度。

以Velodyne HDL-64E激光雷達為例,出廠時對每束激光校準參數都已進行標定,但在使用時,一般還需對該校準參數進行重新標定。獲取64束激光的標定參數后,采用式(1)可將每條激光束返回的距離值Dret和當前激光雷達的旋轉角度γ轉化為激光雷達坐標系中的笛卡爾坐標(px,py,pz)。

(3)多線激光雷達的標定

激光雷達與車體為剛性連接,兩者間的相對姿態和位移固定不變,為了建立各個激光雷達之間的相對坐標關系,需要對激光雷達的安裝進行簡單的標定,并使激光雷達數據從激光雷達坐標統一轉換至車體坐標上[2]。通過建立車輛質心坐標系、雷達基準坐標系以及車載激光雷達坐標系,將激光雷達的數據轉換到基準坐標系中,再將其統一轉換到車輛坐標系下。激光雷達外部安裝參數的標定,通常采用等腰直角三角標定板和正方形標定板來完成。需要標定的激光雷達的安裝參數包括激光雷達的俯仰角與側傾角等[3]。其他較好的標定方法還包括交互信息最大化外部自動標定法,激光攝像頭融合的邊緣對齊聯合自動標定法和測距與圖像融合的基于線段外部參數標定法等[4]。

圖6所示的測距與圖像融合的基于線段外部參數標定法,無需特殊的人工標定目標,通過自然線性特征獲取來確定精確線段變換。通過一組點云形成的3D線段、一組從圖像獲得的2D線段之間的對應關系,以及兩者相對平移和旋轉的聯合估計的優化解,來獲得外部標定參數。

圖6 測距與圖像融合的基于線段外部參數標定法

2.3 激光雷達的測試

在車載激光雷達的評測中,需要針對測試指標構建車用激光雷達測試場景,建立標定場、控制點和檢測點,通過設置標靶,結合已有的高精度、高置信度測試儀器進行激光雷達標定,通過控制點進行測評指標精度分析,結合檢測點進行指標精度對比分析,最后形成指標參數精度的置信描述。比較重要的激光雷達測評參數包括:最大測距為最初看到采樣目標的距離;檢測距離為檢測到有效目標時的距離;分類距離為能夠將車輛等目標與其他物體分離出來的距離;最佳分類距離為能夠將目標的形狀識別出來的最佳距離。

3 基于激光雷達的環境感知

(1)激光雷達數據獲取

二維激光雷達和三維激光雷達在無人駕駛車輛上得到了廣泛應用。與三維激光測距雷達相比,二維激光雷達只在一個平面上掃描,結構簡單、測距速度快、系統穩定可靠,但是將二維激光雷達用于地形復雜、路面高低不平的環境時,無法完成地形的重建工作,且容易出現數據失真和虛報等現象;而三維激光雷達則可以獲得車輛周圍的環境深度信息,準確發現車輛周圍的障礙物并構建地面環境即可行駛區域。

以R-Fans16為例,通過上位機的處理模塊接收16線高精度激光雷達實時輸出的點云數據,以圖形化的方式對原始數據進行顯示,并在點云數據基礎上處理得到激光雷達感知的環境信息,如圖7所示,可以獲得包括結構化道路與非結構化道路可行駛區域、行駛環境中行人和車輛、交通信號燈和交通標志等信息。

圖7 R-Fans16激光雷達獲得的點云信息

(2)可行駛區域檢測

可行駛區域檢測流程圖如圖8所示。

在接收到激光雷達輸出的原始點云數據之后,通過坐標轉換形成點云的柵格化表述,并從中區分地面點的集合以及地面以上障礙點的集合,完成地面和障礙物分離,形成地面估計與分割[5]。激光雷達的環境感知點云圖、柵格圖和可行駛區域檢測圖如圖9所示。

如果在非結構化的越野環境中行駛,還需考慮包括地面起伏、凸起障礙、負障礙物、水體等多種環境要素;如果在結構化道路環境中行駛,還需要完成道路邊沿、車道劃分、地面障礙物、車輛和行人等環境要素檢測。通過上述結構化和非結構化行駛環境的多要素合成,最終完成可行駛區域檢測。

圖8 可行駛區域檢測流程

(3)目標檢測與跟蹤

只有通過對行駛環境下車輛周圍的目標進行有效檢測及跟蹤預測,才能實現跟車、換道和交叉口通行等場景下的安全自主駕駛。由于行駛環境的復雜性,特別是道路環境中交通擁擠的情況下,車輛之間容易互相遮擋,并且行人目標較多且行走較難預測,所以實現可靠的目標檢測與跟蹤存在挑戰[1]。運動目標檢測與跟蹤流程如圖10所示。

圖9 激光雷達的環境感知點云圖、柵格圖和可行駛區域檢測圖

可以在接收到原始點云數據并進行點云柵格化描述、完成地面和障礙物分離以及地面估計與分割的基礎上,采用K-Means或DBSCAN等方法進行目標聚類,通過柵格網疊加以及表面特征匹配,進行目標尺度比較,確認跟蹤列表并采用擴展卡爾曼等方法進行目標跟蹤。其中,較為有效的是可以采用基于幾何模型和運動模型假設結合的方法來進行目標檢測跟蹤,可以有效地處理目標幾何特征不明顯的情況下多目標檢測與跟蹤,并使用擴展卡爾曼濾波對目標的位置、速度以及速度的方向進行最優估計。如圖11所示,采用R-Fans16激光雷達可以很容易獲得周邊行人的可靠檢測。

結 語

激光雷達是實現無人駕駛環境感知技術的關鍵傳感器,現階段還比較昂貴、應用范圍不夠廣泛。但隨著可能的規模應用,其價格將降低到可接受程度。本文通過激光雷達傳感器各方面的綜述,包括激光雷達傳感器的技術特性,在環境感知中的重要作用及其技術指標,分析了標定及測試等技術,列舉了激光雷達在環境感知中的應用等,希望對相關應用起到參考作用。

圖10 運動目標檢測與跟蹤流程

圖11 基于激光雷達的行人檢測

[1]辛煜.無人駕駛車輛運動障礙物檢測、預測和避撞方法研究[D].合肥:中國科學技術大學,2014.

[2]劉釗.無人車2D激光雷達結構化環境感知技術研究[D].長沙:國防科學技術大學,2013.

[3]海智淵.激光3D導航系統設計與研究[D].長春:長春理工大學,2014.

[4]Nordin P,Andersson L,Nygards J.Sensor data fusion for terrain exploration by collaborating unmanned ground vehicles [C]//2008 11th International Conference on,2008.

[5]陳慧巖.智能車輛先進技術叢書:無人駕駛汽車概論[M].北京:北京理工大學出版社,2014.

Application of Lidar in Perception of Autonomous Driving Environment

Huang Wuling

(Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)

Lidar is an important sensor in autonomous driving implementation,specially,with fusion of cameras,radar and other sensors, which can be applied to complex traffic environment perception,archiving different type objects detection,such as structured or unstructured road,drivable areas,pedestrians and moving vehicles,traffic lights and traffic signs and other elements.This paper describes the technical details of Lidar sensors,introduces its important role in environment perception and also its technical specifications,introduces its calibration and testing technologies,analyzes its applications in environment perception.It can be a good technical reference for the related applications.

autonomous driving;lidar sensor;environment perception;calibration and testing

TP277

A

黃武陵,中國科學院自動化研究所副研究員,中國科學院大學博士,主要從事智能車輛研究,參與和主持了多項國家863和973、交通部和自然基金課題,發表SCI/EI論文12篇,申請和獲得發明專利20項。獲北京市科技進步獎、北京市“金橋工程”項目獎、吳文俊人工智能科學技術進步獎、中科院教學成果獎等獎勵。

(責任編輯:薛士然2016-09-05)