無人駕駛汽車環境感知與定位技術

徐文軒 李偉

摘要：環境感知與定位技術是無人駕駛汽車技術的關鍵組成部分。在概括介紹無人駕駛汽車系統總體架構基礎上，首先介紹各類環境感知傳感器的原理和特點，比較各技術優缺點。然后闡述了傳感器的標定方法，并綜合論述了車道線檢測、障礙物檢測、紅綠燈檢測等環境感知中的關鍵技術;同時，從高精度地圖環境定位、汽車自身定位、多傳感器融合定位以及無線通信輔助定位等方面，對汽車定位技術進行了分析。最后，剖析了無人駕駛汽車環境感知與定位技術的難點，并展望了未來研究的發展趨勢。

關鍵詞：無人駕駛;環境感知;定位;難點;發展趨勢

中圖分類號：TP242.6 文獻標識碼：A 文章編號：1005-2550（ 2021） 06-0053-08 Environment Perception And Location Technology Of Driverless

Vehicles

XU Wen-xuan l， LI Wei 2

（1. College of Electrical Engineering， Chongqing University， Chongqing 400000， China;

2. College of information science and Engineering Chongqingjiaotong University，

Chongqing 400074， China）

Abstract： Environment perception and location technology is the key component ofdriverless vehicles. Based on the overall architecture of the driverless vehicle system， thispaper first introduces the principles and characteristics of various environmental sensors， andcompares the advantages and disadvantages of each technology. Then， the calibration methodof the sensor is described， and the key technologies of environment perception， such as lanedetection， obstacle detection， traffic light detection， are comprehensively discussed; Besides，from the high-precision map environment positioning， vehicle positioning， multi-sensor fusionpositioning and wireless communication aided positioning， the vehicle positioning technology isanalyzed. Finally， this paper analyses the difficulties of environmental perception and locationtechnology for driverless vehicles， and forecasts the development trend of future research.

Key Words： Driverless Vehicles; Environmental Perception; Location; Difficulties; DevelopmentTrend

1 無人駕駛汽車系統架構

無人駕駛是一個軟硬件結合的復雜系統，主要分為感知定位、決策規劃、控制執行三大技術模塊。感知模塊主要通過攝像頭、雷達等傳感器探測周圍環境，定位模塊主要包括衛星定位、慣性導航定位和多傳感器融合定位。同時，新興的高精度地圖技術和V2X協同技術都為無人駕駛汽車的環境感知和定位提供了較大的幫助。規劃模塊利用傳感器探測的環境信息和定位系統獲得的位置信息進行路由尋徑，規劃一條最適合的道路，以實現從起始地到目的地。決策模塊會接收路由尋徑產生的尋徑結果并決定無人汽車該如何駕駛，包括如何正常跟車、當遇到交通標志時怎么處理，遇到行人時如何避讓等。決策規劃是對外在的道路進行判斷，而車內的具體操作將由控制執行模塊來實現。下圖1是一個典型無人駕駛汽車系統的架構圖，對三大技術模塊進行了詳細描述。

2 無人駕駛汽車環境感知

2.1 環境感知傳感器技術

無人駕駛汽車環境感知采用的傳感器主要有

徐文軒

重慶大學電氣工程學院，本科學歷，主要研究方向為無人駕駛汽車、自動控制技術。車載攝像頭、激光雷達、毫米波雷達和超聲波雷達幾種類型[1]，分別如下圖2所示。表1從各個傳感器的實現原理、優缺點等方面進行了技術比較。

2.2 環境感知關鍵技術

2.2.1 傳感器標定

傳感器標定是無人駕駛汽車環境感知的必要環節，也是多傳感器數據源融合的關鍵前提。其目的是進行各種傳感器坐標之間的轉換，將兩個或多個傳感器變換到統一的時間和空間坐標系，從而實現多傳感器的融合。

1）攝像頭的標定

車載攝像頭以一定的角度和位置安裝在車輛上，為了找到車載攝像頭所生成的圖像像素坐標系的點坐標與攝像機環境坐標系中的物點坐標之間的轉換關系，需要進行攝像頭標定，從而實現把攝像機采集到的環境數據與車輛行駛環境中的真實物體相對應[3]。

車載攝像頭標定分為單目攝像頭和雙目攝像頭的標定兩大類。單目攝像頭的標定稱為內參數標定，其本質是建立圖像坐標系中的坐標與物體在環境坐標系中的坐標之間的關系。在無人駕駛汽車中，采用雙目攝像頭可以減少感知盲區，對其標定稱為外參數標定，即兩個攝像頭之間需要確定它們之間的相對位置關系。

2）激光雷達的標定

與攝像頭標定類似，激光雷達在使用前也要對其內外參數進行標定。內參標定是指其內部發射器坐標系與雷達坐標系兩者間的轉換關系，在出廠前已經完成，可直接使用。無人駕駛汽車需要進行的是外參數標定，即建立起激光雷達自身坐標系與車體坐標系之間的關系點[4]。

3）攝像頭與激光雷達的聯合標定

攝像頭與激光雷達的聯合標定，是指通過提取標定物在單線激光雷達和圖像上的對應點，完成單線激光雷達坐標、攝像機坐標、圖像像素坐標等多個傳感器坐標的統一，從而實現激光雷達與攝像機的空間校準[5]。攝像頭與激光雷達的聯合標定問題是當前學術界研究的熱點。

2.2.2 環境感知與識別

環境感知的對象包括行駛路徑、周邊物體、駕駛環境和駕駛狀態。行駛路徑包含車道線、道路邊緣等，周邊物體包含了汽車周圍的行人、車輛以及其它可能阻礙車輛的障礙物。以下主要從車道線檢測、障礙物檢測、紅綠燈的檢測等角度，簡述無人駕駛汽車的環境感知方式[6]。

1）車道線檢測

車道線檢測能快速、準確地檢測出車道線，幫助車輛進行路徑規劃和偏移預警。目前較為常見的檢測方案是基于傳統計算機視覺的檢測，近年來也興起了基于深度學習的車道線檢測和基于激光雷達等高精度設備的檢測方式。

傳統計算機視覺的車道線檢測：傳統的檢測方法是利用車道線顏色的不同來進行判斷。在路面與車道線的交匯處顏色變化較劇烈，可以利用邊緣增強算子突出圖像的局部邊緣。但這種方法僅適用于道路平整、車道線清晰的情況，當光照較強、車道線較為模糊時，檢測效果會大打折扣。

基于深度學習的車道線檢測：傳統的車道線檢測需要人工對道路場景進行特征提取和模型建立。而基于深度學習的檢測方法可以把車道線檢測看作分割或分類問題，利用神經網絡去代替傳統視覺中的手動調節濾波算子。

激光雷達融合的車道線檢測：激光雷達照射到不同介質上時，其反射波強度也不同。因此可以通過掃描得到點云，通過對比反射強度值來區分出道路和車道線，但這種方法成本較高，較難得到推廣。

2）障礙物檢測

基于圖像的障礙物檢測：該方法是將得到的圖像進行預處理，然后提取特征，如顏色、紋理、邊緣形狀等，并與已有的障礙物特征進行對比，從而識別出障礙物。

激光雷達的障礙物檢測：激光雷達測距是通過激光發射器發射激光，遇到障礙物后，激光經過漫反射返回部分能量，再分別進入激光接收機，最后進入信號處理系統進行數據處理。目前基于幾何特征的聚類算法較為常見，通過將數據與障礙物的幾何特征進行對比，可實現對障礙物的檢測和分類。

視覺和激光雷達融合的障礙物檢測：激光雷達和攝像頭各有優劣，可將這兩種方法融合使用，以獲得更好的檢測效果[7]。融合方法主要分為空間融合和時間融合兩類?？臻g融合以前向視覺系統為主，將激光雷達坐標系下的測量值轉換到攝像機對應的像素坐標系下，即可實現多傳感器的空間同步;同理，時間融合需要將兩者的采樣時刻調整一致，即完成共同采樣一幀雷達與視覺融合的數據，保證了雷達數據與攝像機數據時間上的同步。

3）紅綠燈檢測

紅綠燈檢測就是獲取紅綠燈在圖像中的坐標及其類別。不同的檢測結果意味著不同的決策，紅綠燈的檢測狀態，決定著無人駕駛汽車的安全。

傳統計算機視覺的紅綠燈檢測：傳統的檢測步驟是將圖像從RGB轉換為CIE Lab顏色域，增強紅綠差距，通過候選區域檢測和候選區域驗證后做出判斷。該方法檢測速度快，在一些簡單場景中取得了較好效果。

基于深度學習的紅綠燈檢測：深度神經網絡在目標檢測方面都是采用了金字塔結構，如FastRCNN、Faster RCNN，都是在最后一層卷積層進行檢測。該方法由于采用深度學習技術，對于較小目標的檢測效果比傳統方法更好。

與高精度地圖相結合：以上兩種算法只能獲取紅綠燈在圖像中的位置，而要獲得它的世界坐標則需要結合高精度地圖。有了高精度地圖，無人駕駛汽車就可以預知紅綠燈出現的位置，而不是等待圖像的識別。當無人駕駛汽車由于遮擋或算法錯誤而無法檢測紅綠燈時，高精度地圖就能告知紅綠燈的相關信息，從而保證行車安全。

4）基于V2X的道路環境感知技術

V2X（ Vehicle-to-Everything）是將車輛與其它事物相連接的新一代通信技術。V代表車輛，X代表其它與車進行信息交互的對象，可以是車、人、道路設施等等。V2X構建了一個智慧的交通體系，促進了汽車和交通服務的新模式發展，對提高交通效率起到了重要的作用。車路協同系統基于無線通信、傳感器等技術獲取車輛和道路信息，通過V2X實現信息交互和共享，從而實現了優化道路資源、提高交通安全、緩解擁堵等目標。這也是歐、美等交通發達國家和地區的研究熱點。

3 無人駕駛汽車定位技術

對無人駕駛汽車而言，準確可靠地掌握汽車位置和姿態等定位信息是實現無人駕駛汽車導航功能的前提和基礎。無人駕駛汽車對定位技術的可靠性和安全性要求較高，對定位精度的要求達到厘米級。然而采用普通的導航地圖、衛星定位很難滿足其需求。因此新的定位技術，如高精度地圖、多感知技術融合定位和無線通信輔助定位就成為無人駕駛汽車定位技術的發展趨勢。

從無人駕駛汽車定位時間應用角度，可將定位分為基于高精度地圖的環境定位、汽車定位技術和基于無線通信的輔助汽車定位三大方面[8]。

3.1 高精度地圖

3.1.1 概念與作用

同普通導航地圖相較，高精度地圖的精度更高、數據維度更廣。普通導航地圖面向的是人類駕駛員，而高精度地圖則是面向自動駕駛系統。因此它需要包含更多的數據，如車道線類型、寬度，護欄、標志牌、紅綠燈等詳細信息。此外，為保證自動駕駛的安全性，對于其靜態地圖數據要求周級或天級更新。而對于動態數據，如路況和交通事件等信息要求實時更新。對于無人駕駛汽車而言，高精度地圖主要起輔助作用。其輔助功能體現在：一是當衛星定位不夠精確時，可以利用高精度地圖進行修正，用以提高定位精度;二是高精度地圖的路徑規劃能力達到了車道級，它還可輔助無人駕駛汽車進行路徑規劃。

3.1.2 高精度地圖關鍵技術

高精度地圖關鍵技術主要涉及道路元素圖像處理、激光點云處理、同步定位與地圖構建，以及高精度地圖云端服務體系等四個方面。

1）道路元素圖像處理：高精度地圖的制作需要對各種道路元素，諸如交通標志、紅綠燈、車道線和隔離帶等進行識別，并標注名稱。在識別前，由于光線、雨水、車速等內外因素影響，圖像可能會失真，因此要先進行降噪和增強預處理，以提高圖片質量。然后需要提取這些道路元素的特征，再進行分類和標注。最后，便可將這些圖片輸入到深度學習的模型中進行訓練和識別。

2）激光點云處理：激光雷達獲取的原始數據以激光點云的形式進行存儲;而所采集到的數據通常包含噪聲，具有散亂、重復的特點。此時需要采用特征提取、配準以及分割等方法來處理點云。特征提取可提高數據的抗噪聲能力;配準可以將多個角度采集到的同一個數據進行融合、消除誤差并統一到同一坐標系下;點云分割可以將路燈、標志牌的點云從大量雜亂無序的激光點云中識別出來。

3）同步定位與地圖構造：在衛星信號薄弱或丟失的情況下，可以依靠同步定位與地圖構建技術（ SIAM）進行高精度地圖的構建以及無人駕駛汽車的定位。目前SLAM有兩種形式，以激光雷達為主的激光SLAM和以攝像頭為主的視覺SLAM。激光SLAM通過激光雷達獲取汽車周圍的點云數據，能精確地測出周圍物體的角度和距離;視覺SLAM采集的圖像信息要比激光雷達的信息更豐富，更利于后期的處理。

4）高精度地圖云端服務體系：空中下載技術（ OTA）能夠實現高精度地圖的云端更新。它通過收集終端采集的數據，包括汽車狀態、道路情況、路面標注等數據加以處理并發布，從而提升高精度地圖的準確度和鮮度。

3.1.3 高精度地圖的解決方案

其解決方案主要包括高精度地圖的采集、制作與編譯、質量控制與發布等步驟。

目前高精度地圖主要采用激光雷達、攝像頭、IMU（慣性測量單元）、輪測距儀的組合進行數據采集。其中，激光雷達和攝像頭用于獲取采集車周圍的環境數據，IMU和輪測距儀用于獲取采集車的絕對位置;傳感器所采集到的環境數據可分為激光點云和圖像兩大類。由于自動識別可能存在誤差和錯誤，需要進一步實施車道線識別是否正確、標志牌以及紅綠燈的邏輯是否合理等人工驗證。最后還需要進行編譯，即規定了對地圖統一的表述;當上述理論操作執行完后，還需要設計高效的評估標注及測試標準來檢驗高精度地圖的質量。

3.2 定位技術

定位技術是在汽車自動駕駛過程中確定其具體所在位置的一項重要技術。汽車定位主要包括衛星定位、慣性導航定位、地圖匹配定位和多傳感器融合定位等技術，分別見下圖4。不同的定位方法獲取汽車的位置信息方式有所不同，所涉及到的多種傳感器類型及其相關技術，具體的功能、原理和分類對比如下表2所示：

3.3 多傳感器融合定位技術

汽車在實際行駛中，采用衛星定位和慣性導航定位都有各自的缺點。比如，衛星定位信號會因隧道、建筑群的遮擋而中斷。而慣性導航定位雖然在短時間內可以提供連續的、精度較高的汽車位置、速度和航線信息，但其定位誤差會隨著時間的積累而持續增加。鑒于多種傳感器技術各具有不同的優、劣勢，尚不存在某單一傳感器可以滿足所有工況需求的方案。因此，可考慮將多傳感器進行數據融合，這樣就可大幅提高汽車定位精度。

目前，可以從衛星導航GPS定位，慣性導航定位，航位推算系統定位等方式中獲取多源定位信息。再利用深度神經網絡或擴展卡爾曼濾波等方式實現多源信息的融合定位。如下圖5所示。

特別地，衛星定位與慣導融合的低成本、高精度、高可靠定位傳感器是實現厘米級定位的重要手段。其中，基于差分GPS+慣性導航IMU的組合是最為常見的定位方法，其精度為米級。對于低精度的定位要求，差分GPS+慣性導航IMU可謂是一對黃金組合：在GPS信號良好時，GPS起主導作用。當GPS信號暫時中斷（例如隧道環境），慣性導航則可在短時間依靠航位推算繼續提供較高精度的定位。但是，對于自動駕駛車輛來說，這樣的定位精度顯然不夠。于是在差分GPS+IMU的基礎上，使用激光雷達或者雙目視覺進行地圖匹配，獲取當前車輛在高精地圖中的局部具體位置，此時定位精度則可達到更為精確的厘米級。

4 環境感知與定位技術難點與發展趨勢

4.1 面臨的問題

1）深度學習對無人駕駛環境的感知存在局限性。

深度學習是當前新興起的人工智能技術之一，被認為是解決無人駕駛環境感知的一種有效方案。但它仍然面臨著巨大的挑戰，大量的問題亟待解決，現有的算法仍需提高。目前深度學習存在三大局限：一是需要海量樣本數據，二是標準測試集外難以取得較好的效果，三是對數據微小變化過于敏感。后兩點局限可以認為是第一點中樣本“不夠”導致的結果。在某些背景和主體相互關系比較穩定的場景，深度學習會有較好的效果，比如醫療影像，器官相對位置總是固定的。但交通場景卻不符合這個條件，很難達到較好的效果。真實世界的圖像都是組合的。對應現實場景，尤其是我國交通狀況中路況較為復雜，吊車、摩托車，像鄉村小路牲禽亂竄，卡車拉樹等是我們生活中經常遇到的現象。這些樣本永遠都是不夠的，現實交通場景中不同元素會出現無數種組合的可能。上述深度學習的三個局限究其根源，均是來源于它的關鍵能力缺失，即無法有效應對“組合爆炸”的問題。以上場景對機器視覺是一個難題，提高在復雜情況下的感知精度是對無人駕駛汽車研究的挑戰。

同時，雖然基于深度卷積神經網絡的機器視覺技術在無人駕駛汽車任務中取得了巨大的成功，但對視頻的分析能力卻相對薄弱。因為無人駕駛汽車面對的通常是視頻流，而不是單個的靜態圖像。分析視頻的深度學習算法，通常是從圖像領域直接遷移過來的，缺乏時序性的有效描述，還未能形成獨立的科學問題。

2）環境感知能力直接決定無人駕駛汽車智能化的水平。

目前的傳感器技術及布置方案可以保證在特定工況下實現有效的感知，但是對于復雜交通環境以及雨雪極端天氣、光照、噪聲強干擾環境，感知與信息融合的準確性難以得到有效保證，其魯棒性有待加強;與此同時，涉及到汽車安全方面的控制系統，需要感知系統提供快速更新的感知融合信息，先進信息融合算法的快速實現仍然是亟待解決的問題。

3）當汽車在高速行駛、密集場景和立交橋高低位置時，無人駕駛定位技術存在著需要解決的難題。

首先，室外告訴行駛的車輛可依靠GPS或北斗定位，移動站通過對所采集到的衛星數據和接收到的數據鏈進行實時載波相位差分處理，其歷時不到一秒，得出厘米級的定位結果。車輛速度達到120km/h后，每秒移動33米，加之CPS的數據傳輸時延較高，需要車載專用短程通信以及V2X等技術車路協同，這才能支持無人駕駛的安全需要。

其次，對于大型地下停車場等車輛聚集密集場景，眾多車輛進出停車場，需要對所有車輛實時定位和路徑規劃調度導航，才能保證有序。此時沒有GPS或北斗信號，WIFI/BLE等定位技術適合尋車等簡單業務，傳統UWB定位系統無法適應大量車輛的定位精度及服務器位置信息處理導致的時延，因此無人駕駛依然有較大的缺陷與隱患。

最后，對于立交橋、涵洞、隧道等場景，由于無法收到GPS或北斗信號，且在某些場景下，如立交橋需要定位區分上下層，現有技術難以滿足這樣的精度需求，無法對車輛定位，需要其它方式的定位手段，尤其是需要無盲區定位，以確保車輛平滑穩定的自動行駛。

4.2 展望

1）“幾何深度學習”的出現為汽車無人駕駛環境感知提供了更為廣闊的前景。

隨著深度學習的發展，人們并不僅滿足于深度學習應用于傳統的圖像處理，而是更進一步地對空間點云、曲面和網絡等幾何對象應用深度學習算法，將這一領域稱為“幾何深度學習”。研究者在不規則的非歐氏數據集上對卷積神經網絡模型進行擴展，這便有了圖卷積神經網絡、PointNet等新技術的出現。這些新技術的出現拓展了神經網絡在智能駕駛感知環境中的應用。

2）視覺識別和激光雷達將逐漸成為感知技術的核心。

在實際駕駛過程中，駕駛員獲取的絕大部分信息來自于視覺。攝像頭擁有十分豐富的線性密度，其數據量遠超其他類型的傳感器。基于圖像信息密度最高的優勢，使得視頻視覺識別處于整個感知融合的中心地位。而攝像頭需要識別和估算的目標復雜繁多，這使得基于目標監測與識別的學習算法的優化研究成為必然趨勢。另外，激光雷達相對于毫米波雷達等其他傳感器具有識別效果好、分辨率高等優勢，已逐步發展成為主流的自動駕駛汽車用傳感器。目前，激光雷達正在向著小型化、低成本的固態掃描或機械固態混合掃描形式發展。

3）基于多傳感器信息融合的環境感知技術可以發揮各傳感器的優勢，使采集的信息有一定的冗余度。

在提高系統容錯率的同時，也能夠精確感知和精準定位，以保證決策的快速性和準確性，這是目前的研究熱點，也是無人駕駛汽車的必然趨勢。與此同時，智能駕駛汽車通過攝像頭、雷達、定位導航系統等獲取環境信息，其數據形式包括圖像，視頻和點云等。如何有效地挖掘利用這些感知數據，摒棄與無人駕駛無關的冗余信息，抽取并融合對無人駕駛有用的信息，正確指導車輛的駕駛，這也是無人駕駛車輛的環境感知與定位的核心問題和今后的發展方向。此外，多傳感器的融合其實是商業化自動駕駛達到高可靠性的必由之路。多傳感器融合如何同時在車載系統和路側系統實現，更是未來值得研究的關鍵問題之一。

4）融合北斗衛星和路側設施的高精度高可靠定位逐漸將成為主流。

普通導航地圖的精度低，沒有反映道路的細節信息，無法準確獲取車輛所在位置。而高精度地圖的絕對精度要求優于Im，包括車道、車道限制信息、車道中心線等豐富的信息。隨著智能交通和自動駕駛領域的飛速發展，現有的普通導航地圖在精度和完整性等方面都不能滿足車路協同自動駕駛的應用需求。而北斗衛星導航系統可在全球部分范圍內全天候、全天時為用戶提供高精度、高可靠定位、導航、授時服務，并可進行短報文通信。因此，未來將融合北斗衛星和路側設施，構建車路協同自動駕駛高精度地圖。

5）人機協同共駕技術尚處于研究階段，如何考慮人機耦合與駕駛環境的復雜性、駕駛員駕駛習性與行為不確定性，是人機共駕面臨的挑戰性問題。

對人機協同共駕研究剛剛起步，除了車輛運動控制系統之間存在協同問題，駕駛員與車輛之間也存在交互與協同，人機協同的實現難度大，需要進一步協調人機混合駕駛決策控制系統和人類駕駛員的權重，形成人機動態交互，從而實現駕駛員和控制系統的駕駛權最優化分配和切換操縱。因此，結合人類智能與機器智能各自優勢，采用人機智能混合增強技術，可進一步促進汽車智能化的發展，這也是未來無人駕駛汽車的發展趨勢。

參考文獻：

[1]王建，徐國艷，陳競凱，馮宗保著，自動駕駛技術概論[M].北京：清華大學出版社，2019.

[2]趙爽.汽車毫米波防撞雷達的研究與實現[D].長春：長春理工大學，2013.

[3]王世峰，戴祥，徐寧，張鵬飛.無人駕駛汽車環境感知技術綜述[J]長春理工大學學報（自然科學版），2017，40 （1）：1-6.

[4]諶形童.三維激光雷達在自主車環境感知中的應用研究[D].長沙：國防科學技術大學，2011.

[5]葉春蘭，基于圖像顏色與激光點云信息的智能車輛行駛環境三維重建[D].北京：北京理工大學，2013.

[6]甄先通，黃堅，王亮，夏添著，自動駕駛汽車環境感知[M].北京：清華大學出版社，2020.

[7]唐智威，基于視覺的無人駕駛汽車研究綜述[J]制造業自動化，2016，38 （8）：134-140.

[8]李曉歡，楊晴虹，宋適宇，馬常杰著.自動駕駛汽車定位技術[M].北京：清華大學出版社，2020.

基金項目：重慶大學大學生科研訓練計劃項目（CQU-SRTP-2019318）