無人駕駛汽車環境感知技術綜述

王世峰，戴祥，徐寧，張鵬飛

（長春理工大學光電工程學院，長春 130022）

無人駕駛汽車環境感知技術綜述

王世峰，戴祥，徐寧，張鵬飛

（長春理工大學光電工程學院，長春 130022）

無人駕駛汽車在行駛過程中獲取外界環境信息是車輛進行導航定位、路徑規劃及運動控制的根本前提。首先對無人車環境感知所需傳感器的特點和原理進行了介紹，然后闡述了激光雷達和相機的標定方法，并論述了道路、行人、車輛、交通信號及標識檢測任務中的關鍵技術，同時分析了各種傳感器的優勢與限定條件，論述了各項關鍵技術的原理與方法，從而對無人駕駛汽車在環境感知領域的關鍵技術進行了綜合論述。

激光雷達；相機；毫米波雷達；環境感知；無人駕駛汽車

自主行駛機器人包含無人地面行駛車輛、無人航空飛行器和無人水面/水下艦船，它們都具備自主對所行駛/飛行/航行的環境進行感知和判斷的能力，從而指導機器人行進并到達指定位置。

無人地面行駛車輛也稱作無人駕駛汽車（簡稱無人車），由于近年來新型傳感器的研制和機器學習技術基礎研究的飛速發展［1］，使得民用無人駕駛汽車的研制在技術上成為可能。國內外的科研機構和企業紛紛投入智能汽車或無人駕駛汽車的研發行列，其中一些機構稱將在未來五年內實現無人車的商業化推廣［2］。

無人車的技術結構主要分為環境感知、導航定位、路徑規劃和運動控制四個方面［3］。本文將詳細對環境感知中的常用技術手段和關鍵技術進行講解與分析，并闡述所涉及使用到的各種傳感器。

1 無人車獲取環境信息的傳感器

無人車在行駛過程中需要對環境信息進行實時獲取并處理。從目前的大多數技術方案來看，激光雷達對周圍環境的三維空間感知完成了60%～75%的環境信息獲取，其次是相機獲取的圖像信息，再次是毫米波雷達獲取的定向目標距離信息，以及GPS定位及慣性導航獲取的無人車位置及自身姿態信息，最后是其他超聲波傳感器、紅外線傳感器等其他光電傳感器獲取的各種信息［4］。

1.1 激光雷達

激光雷達可獲取環境空間的三維尺寸信息。激光雷達使用遠距測距技術，通過向目標發射光線并且分析反射光來完成距離的測量。有單線（亦稱單層、二維）和多線（亦稱多層、三維）兩種激光雷達，多線雷達能夠增加一定角度的俯仰，實現一定程度的面掃描。一般在無人駕駛汽車上會結合兩種激光雷達來實現障礙物探測和指導汽車安全通過道路的功能。

1.1.1 單線激光雷達

以德國SICK公司的LMS511單線激光雷達為典型代表［5］，它能夠發出一條激光束掃描某一區域，并根據區域內各點與掃描儀的相對位置返回由極坐標表達的測量值即測量物體與掃描儀掃描中心之間的距離和相對角度。它可以設置多種角度分辨率和掃描頻率組合。該雷達有多種數據傳遞方式，一般選擇網絡接口傳輸的方式，由上位機向雷達發送請求，雷達根據請求中的測量要求收集數據并返回給上位機。

式中，ρ為距離值，θ為相對角度值。為了提高數據返回速度，常用網絡接口傳輸方式連接上位機。SICK LMS511可以根據需要設置不同角度分辨率和掃描頻率組合，其參數如表1所示。在無人駕駛技術中常使用多個單線激光雷達來協助實現地形重建。

表1 SICK LMS511參數指標

1.1.2 多激光雷達傳感器

多線激光雷達是指發射2條或以上的激光束作為探測光的激光雷達，目前以美國Velodyne公司的HDL-64E S2激光雷達為典型代表［6］，它發出多達64個激光束，全部安裝在旋轉電機上，其水平探測范圍360°垂直方向探測范圍26.8°。上位機通過串口連接對其發送控制命令，通過基于UDP協議網絡連接返回數據。因為雷達64對激光發射器與接收器分為上下兩層，傳輸數據也分為兩部分。處理收集到的數據建立幾何模型，首先，由于激光器安放位置不同，而坐標原點應在同一垂直平面因此每一個激光器都有一組校準數據來協助建模。

式中，Dcorr為距離校正因子、V0為垂直偏移量、H0為水平偏移量、θ為垂直校正角、α為旋轉校正角。通過每一條激光束返回的距離Dret值和當前激光雷達的旋轉角度γ轉化為激光雷達坐標系中的笛卡爾坐標（Px，Py，Pz）。

激光雷達因其測距精度高、實時性好、抗干擾能力強等優點，在障礙檢測、道邊檢測、動態障礙分類、跟蹤、移動機器人定位和導航中被廣泛使用。

1.2 相機

圖像傳感器—相機能夠獲取環境彩色景象信息，是無人車獲取環境信息的第二大來源。相機可選擇的型號和種類非常多樣，可簡單分為單目相機、雙目立體相機和全景相機三種。

1.2.1 單目相機

無人車的環境成像是機器視覺在車輛上的應用，需要滿足車輛行駛環境及自身行駛狀況的要求。天氣變化、車輛運動速度、車輛運動軌跡、隨機擾動、相機安裝位置等都會影響車載視覺。無人車任務中對圖像質量要求高，不僅在圖像輸出速度上需要較高幀頻，且在圖像質量上也具有較高要求。

單目相機是只使用一套光學系統及固體成像器件的連續輸出圖像的相機。通常對無人車任務的單目相機要求能夠對其實現實時調節光積分時間、自動白平衡，甚至能夠完成開窗口輸出圖像功能。另外，對相機光學系統的視場大小、景深尺度、像差抑制都有一定要求。

值得一提的是以色列Mobileye公司的單目智能相機產品［7］，它將圖像處理及運算部件也集成在同一相機產品之內，完成諸如前向碰撞、行人探測、車道線偏離等檢測功能，其性能在同類產品中具有一定優勢。

1.2.2 雙目相機

雙目相機能夠對視場范圍內目標進行立體成像，其設計是建立在對人類視覺系統研究的基礎上，通過雙目立體圖像處理，而獲取場景的三維信息［8］。其結果表現為深度圖，再經過一步處理就可以得到三維空間中的景物，實現二維圖像到三維圖像的重構。但是在無人車任務應用中，雙目相機的兩套成像系統未必能夠完美對目標進行成像和特征提取，也就是說，所需目標三維信息往往不能十分可靠地獲取。

1.2.3 全景相機

以加拿大Point Grey公司的Lady bug相機為代表的多相機拼接成像的全景相機被用于地圖街景成像的圖像傳感器［9］，它是由完全相同6個相機對上方和360度全周進行同時成像，然后再進行6幅圖像矯正和拼接，以獲得同時成像的全景圖像。使用該全景相機的無人車可以同時獲得車輛周圍環境的全景圖像，并進行處理和目標識別。

另外，使用魚眼鏡頭的單目相機也能呈現全景圖像［10］，雖然原始圖像的畸變較大，但其計算任務量相對多相機拼接方式較小，且價格低廉，也開始受到無人車領域的重視。

1.3 毫米波雷達傳感器

毫米波雷達傳感器是工作頻率選在30～300GHz頻域（波長為1～10mm，即毫米波段）的雷達［11］。其優勢在于波束窄，角分辨率高，頻帶寬，隱蔽性好，抗干擾能力強，體積小，重量輕，可測距離遠。雖然沒有激光雷達的探測范圍大，但其較好的指向性和穿透力仍然使其無法被激光雷達替代。根據測量原理不同，毫米波雷達傳感器可分為脈沖方式和調頻連續波方式兩種。

1.3.1 脈沖方式的毫米波雷達傳感器

采用脈沖方式的毫米波雷達需要在短時間內發射大功率脈沖信號，通過脈沖信號控制雷達的壓控振蕩器從低頻瞬時跳變到高頻；同時對回波信號進行放大處理之前需將其與發射信號進行嚴格隔離。

1.3.2 調頻連續波方式的毫米波雷達

調頻連續波測距方式的雷達結構簡單、體積小，最大的優勢是可以同時得到目標的相對距離和相對速度。當它發射的連續調頻信號遇到前方目標時，會產生與發射信號有一定延時的回波，再通過雷達的混頻器進行混頻處理，而混頻后的結果與目標的相對距離和相對速度有關。

1.3.3 ESR毫米波雷達

ESR（Electronically Scanning Rader）高頻電子掃描毫米波雷達，在其視域內可同時檢測64個目標。該雷達的發射波段為76～77GHz，同時具有中距離和遠距離的掃描能力。因為其硬件體積小且不易受惡劣天氣影響等優點，仍然被應用于無人車領域，且在商用上被廣泛應用在汽車的自適應巡航系統、汽車防撞系統等產品中。

1.4 超聲波傳感器

超聲波傳感器是利用超聲波的特性研制而成的傳感器。超聲波傳感器的數據處理簡單快速，檢測距離較短，主要用于近距離障礙物檢測。超聲波在空氣中傳播時能量會有較大的衰減，難以得到準確的距離信息，一般不單獨用于環境感知，或者僅僅用于對感知精度要求不高的場合，如倒車雷達的探測任務中［12］。

2 無人駕駛汽車環境感知關鍵技術

無人車使用了多種傳感器進行環境感知，將這些傳感器安裝于車輛固定位置后，需要對這些傳感器進行標定。在無人車行駛過程中，對環境感知的要求是極其多樣和復雜的，作為一個地面自主行駛機器人，其應該具備提取路面信息、檢測障礙物、計算障礙物相對于車輛的位置和速度等能力。也就是無人車對道路環境的感知通常至少包含結構化道路、非結構化道路檢測，行駛環境中行人和車輛檢測，交通信號燈和交通標志的檢測等能力。

2.1 傳感器標定

通過傳感器標定來確定傳感器輸入與輸出之間的關系，從而完成基礎性的環境識別。

2.1.1 激光雷達標定

激光雷達與車體為剛性連接，兩者間的相對姿態和位移固定不變，為了處理數據的方便性，需要把各個激光雷達的坐標系轉化到統一的車體坐標系上［13］。首先進行對激光雷達外部安裝參數的標定，然后通過雷達返回的極坐標數據實現單個激光雷達的數據轉換，最后實現多個激光雷達數據轉換。通過（3）實現基準坐標中的轉化。

式中，β0為基準坐標系旋轉的角度，di為掃描距離，i為激光雷達數據序列號，A是設計采樣步距。通過式（4）實現車輛坐標系建立。

式中，L為激光雷達安裝點到車輛質心的距離沿y軸的分量，HL為激光雷達安裝點離地的高度，HV為汽車質心離地的高度。

2.1.2 相機的標定

相機與車體也為剛性連接，兩者相對姿態和位置固定不變，相機的標定是為了找到相機所生成的圖像像素坐標系中的點坐標與相機環境坐標系中的物點坐標之間的轉換關系。從而實現把相機采集到的環境數據與車輛行駛環境中的真實物體對應。

單目相機的標定主要包括對相機模型的建立和對物點坐標的轉換［14］。通過下式可以得到相機環境坐標系中的物點P(xyc，yvc，zvc)到圖像像素坐標系中的像點Pi(u，v)的轉化關系。

式中，f為透鏡的焦距，dx與dy分別為相機傳感器x與y方向的像素單元距離由廠家提供，R*c為3*3的坐標旋轉矩陣，Tc*為1*3的坐標平移矩陣，u0與v0為圖像像素中心坐標，zc為相機坐標系下P點的zc軸上的值。（5）忽略實際情況中畸變的誤差。雙目立體相機標定主要包括雙目立體視覺模型建立、雙目圖像去畸變處理、雙目圖像校正、雙目圖像裁切等四個步驟。

2.1.3 相機和激光雷達聯合標定

相機的每一個像素點和激光雷達的每一個數據點都對應著三維空間中唯一的一個點，因此能實現激光雷達與相機的空間對準［15］。其中有空間上和時間上兩部分數據的融合。空間上數據的融合通過下式實現：

式中，R*c為坐標旋轉矩陣，T*c為坐標平移矩陣，Xlv由激光雷達的外參標定，而K-1c為相機內參標定矩陣，U是可見光圖像中投影點的坐標。確定式（6）需要12個參數，所以要求多次改變標定箱的遠近和方位，使其位置盡可能均勻分布在圖像分辨率的各個位置。時間上的數據融合是為了解決傳感器在采集數據時間差異問題的方法。通過GPS獲得絕對時間，給不同的傳感器所記錄數據進行時間戳標定。

2.2 結構化道路檢測

結構化道路檢測是通過了解具有清晰車道標志線和道路邊界的標準化道路的信息來準確獲得本車相對于車道的位置和方向［16］。

2.2.1 結構化道路的常用假設

由于各地的路況都有一定的區別，所以只能提供一個簡化的道路場景。因此建立了道路形狀假設、道路寬度和道路平坦假設、道路特征一致假設、感興趣區域假設等，有助于識別結構化的道路。

2.2.2 直道檢測

在官方制定的行業標準下，結構化道路的設計和建設都比較規則，有明顯的區分道路和非道路的車道線。在視覺導航系統中，利用距相機不遠處的車道線方向變化不大，即曲率變化很小的假設，近似用直線來擬合車道線。

通過車道線邊緣點搜索和車道線邊緣曲線擬合實現直道擬合。其算法流程如圖1所示。

圖1 算法流程

2.2.3 彎道檢測

彎道是公路中必不可少的道路形式，因此需要從道路圖像中檢測出彎曲車道線的邊界，判斷道路彎曲的方向，確定彎道的曲率半徑才能為無人車提供有效的信息。一般公路平面的線形主要分為直線、圓曲線與回旋線，因此選擇俯視圖進行擬合。國內外的彎道檢測辦法主要是基于道路模型的檢測辦法。一般分為三個步驟：建立彎道模型，完成對道路形狀的假設；提取車道線像素點，把每一條車道線的像素點從前景像素點中提取出來作為依據；擬合車道模型，運用檢測到的像素點確定彎道數學模型的最優參數。

2.2.4 復雜環境下檢測圖像預處理

實際情況下往往會出現復雜的情況，由于外界環境光線的變化不均勻導致相機提取的圖像出現多塊純白色和純黑色區域，讓圖像識別算法失去目標。常用圖像預處理來解決這個問題。其中有：Gamma調節、灰度映射調節、直方圖調節等方法。

由于無人車在車載視覺中的導航圖像對圖像灰度信息、圖像真實性、圖像實時性要求較高，所以圖像預處理方法必須要滿足快速、簡單、合成圖像平滑自然和產生合成痕跡少等要求。可采用設置長短快門進行多重曝光，用雙目相機中不同相機交替曝光等方法。

2.3 非結構化道路檢測

對于鄉村公路、野外土路等非結構化道路的情況，采用基于機器學習的道路探測，結合探測到的環境信息和先驗知識庫中的模型，對圖像和數據進行處理。同時根據環境的不同來修正預測模型，實現模型不斷更新的效果。其方法框架如圖2所示［17］。

圖2 基于機器學習算法的非結構化道路檢測方法框架

2.4 行駛環境中目標檢測

根據不同的檢測目標選擇不同的傳感器數據、不同的處理算法來實現行駛環境中的目標檢測。

2.4.1 行人檢測

基于HOG特征的行人檢測［18］，HOG特征是一種對圖像局部重疊區域的密集型描述符，它通過計算局部區域的梯度方向直方圖來構成人體特征。該方法是提取圖像的HOG特征后通過SVM進行決策的檢測方式。

基于Stixel模型的行人檢測通過融合激光雷達和視頻數據，可以對目標進行較為準確的檢測。利用激光雷達數據抽取出感興趣的區域，再利用視頻圖像識別該目標的屬性，可以有效地實現不同模態傳感器間的互補，提高傳感器的性能。分為三步：首先處理激光雷達數據，得到感興趣區域；再準備圖像數據，進行基于圖像的行人檢測算法的訓練；最后利用訓練好的分類器，基于感興趣區域進行行人檢測。

2.4.2 車輛檢測

V-disparity方法是基于立體視覺的障礙物檢測方法［19］。其算法流程為：首先獲取立體圖像對，然后計算得到稠密視差圖，建立V-disparity圖，通過分析V-disparity圖，可以提取出行駛環境中的路面，從而計算出路面上障礙物的位置。

視覺與激光雷達信息的結合，避免了機器視覺受光照影響和激光雷達數據不足的問題，實現了傳感器信息的互補，通過建立激光雷達、相機和車體之間的坐標轉換模型，將激光雷達數據與圖像像素數據統一到同一坐標中進行識別處理。結合激光雷達的數據特點選取合適的聚類方法，對聚類后的激光雷達數據新型形狀匹配和模板匹配，確定感興趣區域；通過類Haar特征結合AdaBoss算法在感興趣區域進行車輛檢測，然后通過車輛在激光雷達中的數據特征實現Kalman預估跟蹤。

2.4.3 交通信號燈檢測

交通信號燈識別采用的系統結構可分為圖像采集模塊、圖像預處理模塊、識別模塊和跟蹤模塊。其系統機構如圖3所示。

圖3 交通信號燈識別系統結構

運用基于彩色視覺的交通信號燈識別方法可以檢測到單幀圖像中的交通信號燈。為防止出現誤檢或跟蹤丟失的現象，可以采用基于彩色直方圖的目標跟蹤算法。CAMSHIFT（Continuously Adaptive Mean SHIFT）算法［20］，它可以有效地解決目標變形和遮擋的問題，且運算效率較高。

2.4.4 交通標志檢測

交通標志檢測包括三方面內容：色彩分割、形狀檢測和象形識別［21］。

當光照條件良好時，色彩分割需要通過室外環境的圖像采樣選取閾值，運用HSV彩色空間的色度和飽和度信息能夠將交通標志從背景中分離出來。

通常情況下交通標志和駕駛方向并不是垂直的。在對圓形標志進行判斷時往往采用基于隨機連續性采樣的橢圓檢測。而在色彩分割后的邊緣直線可以通過Hough直線變換獲得。選擇相關的模板對處理后的圖像大致分成紅色禁止標志、藍色允許標志和黃色警告標志。

對于每一類交通標志分別設計分類器。首先運用OTSU閾值分割算法對探測到的標志進行預處理，能有效避免光照陰影和遮擋造成的誤差。然后基于算法獲得的圖像運用矩運算提取輻射狀特征，最后選取多層感知器來完成識別內核的目標。輸出相似程度最高的結果。

3 結語

無人駕駛汽車為減少交通事故，優化人類時間結構，節約能源消耗等實際的問題在市場的強烈需求下應運而生。無人車對空間環境的感知十分依賴于單線或多線的激光雷達，對交通信號燈及交通標志燈圖像信息的采集使用相機來完成，同時應用毫米波雷達等其它傳感器共同進行環境信息的采集。各種信息數據的分析與識別使用了多項數據分析與解算方法，并利用人工智能的機器學習手段進行各種目標的識別工作，從而最終完成無人車的環境感知任務。

［1］http：//www.rand.org/pubs/research_reports/RR443-2. html

［2］http：//news.xinhuanet.com/info/2015-12/15/c_13491 7019.htm

［3］Raj Madhavanm，Elena Messina.James Albus.Intelligent vehicle systems：a 4D/RCS approach［M］.New York：Nova Science Publishers，2006：6-15，302-309.

［4］Sebastian Thrun.Toward robotic cars［J］.Communications of the ACM,2010（53）：99-106.

［5］https：//www.sick.com/media/pdf/5/45/945/dataSheet_ LMS511-10100S01_1055659_en.pdf

［6］http：//velodynelidar.com/hdl-64e.html

［7］http：//www.mobileye.com/products/mobileye-5-series/

［8］張堯，趙洋，劉博宇，等.一種基于雙目測距系統的亞像素精度自適應圖像匹配算法［J］.長春理工大學學報：自然科學版，2016，39（2）：1-4.

［9］https：//www.ptgrey.com/360-degree-spherical-camera-systems

［10］李松，張欽泉，呂卓，等.基于特征點的球面全景圖快速生成算法［J］.長春理工大學學報：自然科學版，2012，35（3）：1-4.

［11］趙爽.汽車毫米波防撞雷達的研究與實現［D］.長春：長春理工大學，2013.

［12］湯傳國.基于超聲波測距的倒車雷達系統研究［D］.長安：長安大學，2015.

［13］諶彤童.三維激光雷達在自主車環境感知中的應用研究［D］.長沙：國防科學技術大學，2011.

［14］Bertozzi Massimo，Broggi Alberto，Fascioli Alessandra.Vision-based intelligent vehicles：state of the art and perspectives［J］.Robotics and Autonomous Systems，2000（1）：1-16.

［15］葉春蘭.基于圖像顏色與激光點云信息的智能車輛行駛環境三維重建［D］.北京：北京理工大學，2013.

［16］HendrikDeusch，JürgenWiest，StephanReuter，Magdalena Szczot，Marcus Konrad und Klaus Dietmayer.A random finite set approach to multiple lane detection［C］.15th International IEEE Conference on Intelligent Transportation Systems，Anchorage，2012：270-275.

［17］周圣硯.基于學習算法的智能車輛非結構化道路檢測技術研究［D］.北京：北京理工大學，2011.

［18］Pedro Felzenszwalb，Ross Girshick，David McAllester，etal.Objectdetectionwithdiscriminatively trainedpartbasedmodels［J］.IEEETransactions on Software Engineering，2014（9）：1627-1645.

［19］Sayanan Sivaraman，Mohan Trivedi.A review of recent developments in vision-based vehicle detection［J］.IEEE Intelligent Vehicles Symposium，Gold Coast，2013：310-315.

［20］Z Wang，X Yang，Y Xu，et al.CamShift guided particle filter for visual tracking［J］.Pattern Recognition Letters，2007（4）：407-413.

［21］Jiang Yanhua，Zhou shengyang，Jiang Yan，et al. Traffic sign recognition using ridge regression and otsu method［J］.IEEE Intelligent Vehicles Symposium，Baden-Baden，Germany，2011：613-618.

Overview on Environment Perception Technology for Unmanned Ground Vehicle

WANG Shifeng，DAI Xiang，XU Ning，ZHANG Pengfei
（School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022）

Navigation and location path planning and motor control are essential prerequisites of obtaining environmental information during the Unmanned Ground Vehicle’s driving.First of all，this paper introduces characteristics and the theories of sensors which are employed in environmental perception of UGV.The methods of calibration for lidar and camera as well as the crucial technique in road，pedestrians，vehicles，traffic signal and marked detection assignments are described afterwards.Due to the limits and advantages of all types of sensors and the theories of each item，this paper makes a comprehensively and synthetic discussion about the unmanned ground vehicle environmental perception.

lidar；camera；ESR；environment perception；unmanned ground vehicle

TP242.6

A

1672-9870（2017）01-0001-06

2016-09-16

吉林省自然科學基金項目（20150101047JC）；長春理工大學青年科學基金（XQNJJ-2014-05）

王世峰（1978-），男，博士，副教授，E-mail：SF.Wang@cust.edu.cn