深度學習技術在自動駕駛高精度地圖中的潛在應用

大方

（北京輕舟智航科技有限公司，北京 100086）

0 引言

在近年來自動駕駛技術的飛速發展中，高精度地圖發揮著至關重要的作用。相比于傳統的非高精度地圖，高精度地圖通常能達到厘米級精度，而且具有細粒度的車道信息，因此能夠支持多種傳統地圖無法提供的查詢操作。對于自動駕駛系統而言，高精度地圖提供多個層面的信息支持。高精度地圖的數據包含視覺或激光雷達特征圖，車道線和靜態交通標識信息，路上交通流的先驗，以及車道連接關系等方面，分別為自動駕駛系統中的定位、感知、預測、規劃控制等模塊提供支持。

由于精度高、信息量大，高精度地圖的制作成本相比于傳統地圖有較大漲幅，因此在提升高精度地圖的采集和制作效率、降低高精度地圖制作過程中的人工作業比例方面的科研十分活躍。深度學習技術作為人工智能領域在實踐中最為成功的技術之一，在降低高精度地圖成本、提升高精度地圖應用能力方面有著巨大潛力。

1 高精度地圖的測繪及其在自動駕駛系統中的應用

高精度地圖通常包括基礎地圖，語義地圖，先驗地圖三層。基礎地圖通常保存為二維或三維矢量圖或向量圖，包含描述道路外觀的基礎數據。數據的內容由面向自動駕駛應用的傳感器配置決定，可以是激光雷達的反射強度、反射率或者相機的三通道顏色數據。制作基礎地圖涉及的核心技術為同時定位和地圖構建技術以及動態物體識別和去除技術。語義地圖是建立在基礎地圖之上，保存道路語義結構的圖層，通常保存為矢量圖。語義信息內容亦由自動駕駛應用的特性決定，可能包括車道中心線、車道線、停止線、靜態交通標識等，以及車道的拓撲連接網絡。語義地圖通常可由人工標注完成，近年來也有人工智能自動標注技術出現。

先驗地圖負責提供更高層次的語義信息，主要是在路面上可能出現的交通參與者的各方面屬性，包括種類、形態和運動狀態等在地圖空間內的分布情況。制作先驗地圖需要收集大量路面交通數據，從中進行數據聚類和統計。

高精度地圖的各層次數據在自動駕駛系統中都有不同的使用方式。基礎地圖由于包含路面外觀特征信息，可以應用于自動駕駛系統定位模塊中支持基于視覺或激光雷達的高精度絕對定位。語義地圖的車道網絡和交通標識數據是對交通法規的量化表示，可以應用于自動駕駛系統預測及運動規劃模塊中支持行為決策和軌跡規劃。先驗地圖中的交通參與者先驗數據對于自動駕駛系統中基于最大后驗估計方法的感知、預測等算法都是不可或缺的。

2 深度學習技術介紹

深度學習技術是圍繞著深度神經網絡的訓練、推理和應用的機器學習技術，因其使用大于通用近似定理所要求的最小神經網絡深度而得名。深度學習技術在過去的十幾年里在自然語言處理和計算機視覺等領域發展迅速，在神經網絡架構、訓練方法、計算架構等方面都有了長足進步，出現了大量開放數據集和預訓練模型可為各種應用場景所用。相比于傳統機器學習技術，深度學習模型擁有大深度帶來的巨大的模型容量，因此可以適應各種困難和模糊的應用場景。

3 深度學習技術在高精度地圖各環節的潛在應用

深度學習作為具有靈活適配能力的通用機器學習技術，在高精度地圖的測繪和應用的各個環節都有提升效率、改進效果的潛力。本文提出四個有代表性的潛在應用，并逐一分析論述。

3.1 深度學習技術應用于基礎地圖測繪過程中的點云匹配或視覺特征匹配

基礎地圖的測繪通常使用同時定位和地圖構建技術將傳感器原始數據（激光點云或相機圖像）集成為基礎地圖的數據結構。集成的過程需要進行傳感器相臨幀數據之間的比對，特征匹配和最優變換的計算。對于三維的點云數據，特征匹配算法通常使用正態分布變換或者迭代最近點法；對于二維的圖像數據，特征匹配算法通常使用光束平差法。在二維圖像數據下，匹配通常使用經過特征提取算法提取的稀疏特征，經過隨機抽樣一致算法進行配準；傳統計算機視覺技術領域提出了大量特征提取算法，比如尺度不變特征變換。在三維點云數據下，匹配所用的特征可以是原始的稠密點云，或者下采樣的點云，也可以通過空間離散化提取特征。

深度學習技術在上述過程中有兩個潛在的應用方向。第一個應用是通過深度學習技術提取特征。對于二維圖像數據，計算機視覺領域的常見任務，如生活中常見物體的分類、目標物檢測、實例分割和語義分割都可以提供對視覺特征的有效監督，而很多視覺神經網絡架構，例如基于二維卷積的殘差網絡、稠密網絡，和基于自注意力機制的視覺變換器等，都有在大規模圖像數據庫上的預訓練模型可用。對于三維點云數據，通過三維目標物檢測預訓練也可以獲得有效的三維特征。第二個應用是通過深度學習技術直接進行匹配。一個能夠完成匹配的深度學習模型通常也會在內部某個中間層完成對數據的特征提取，因此這個應用是前一個應用的超集。直接進行匹配的好處在于標簽容易獲得，整個模型可以進行端到端訓練。

3.2 深度學習技術應用于基礎地圖測繪過程中的運動物體識別和去除

基礎地圖測繪的另一個核心技術是識別和去除傳感器原始數據中對應于非地圖元素的部分，主要是路面上的動態物體。地圖的采集過程需要搭載傳感器的車輛在路上行駛一定里程，從而實現傳感器對路上的各種地圖元素從多個方位進行數據采集。受限于市政管理要求，這一過程通常不能假定路上沒有其他車輛和行人等交通參與者，而這些交通參與者并不是所要建立的地圖的組成部分，因此它們的存在會污染數據采集。傳統的基礎地圖測繪方法中，為解決這類問題，通常要求地圖采集車輛在每一路段行駛多次，從而通過統計平均或者基于啟發式規則的統計算法完成對動態物體的去除。這個要求成倍地增加地圖數據的采集時間，導致地圖制作成本大幅上升。

深度學習技術非常適合對路面上的動態物體進行檢測、定位和分割。面向三維點云的目標物檢測和分割技術在過去的三年中進展明顯，目前對常見的物體類型，比如機動車、行人、自行車等，已經能實現在較近距離上非常可靠的檢出和分割。通過對傳感器原始數據使用深度學習三維目標物檢測和分割技術進行過濾，就可以有效地避免動態物體對地圖數據造成的污染。

3.3 深度學習技術應用于語義地圖制作

語義地圖是對基礎地圖中與交通法規相關的元素的語義解讀和標準化的存儲組織，因此傳統的高精度地圖測繪流程中，語義地圖通常由人工標注完成。標注人員需要觀察基礎地圖中的二維或者三維圖像，并利用對交通法規的常識來提取地圖中的車道線和交通標識牌等信息。標注人員通常還需要根據各個獨立的車道線，結合路沿、人行道等信息，抽象出車道輪廓和車道中心線，并推測相鄰車道之間的連接關系，從而構建車道網絡。

深度學習技術在語義地圖制作過程中的潛在應用有三個方面。第一個方面是車道線識別。車道線識別普遍被認為是計算機視覺中相對容易的任務，因為車道線通常具有形狀規則、色彩反差明顯、分布均勻等特點，在傳統計算機視覺方法中已獲得較好解決。相比于傳統方法，深度學習更適合處理理想工況之外的情況，比如車道線由于磨損而褪色，或者復雜的車道分叉、匯合處等場景，這些場景對于傳統視覺方法來說仍然是有挑戰的。第二個方面是交通標識的識別，比如停止牌、讓行牌、固定的限速牌或者交通信號燈等。這些交通標識雖然設計上色彩醒目而且形態高度確定，但有些對于傳統視覺方法來說并不友好，比如對限速牌的識別可能需要模板匹配技術搭配文字識別技術才能準確判斷限速值，而如果采用深度學習技術，模型的結構可以大大簡化。第三個方面是車道網絡的構建。雖然地圖標注人員對車道概念的抽象和車道網絡的構建規則相對簡單，一定程度上可以通過基于啟發式規則的算法進行自動化，但實際應用中有很多道路的結構很難用簡單的規則描述，啟發式算法通常有很高的失敗率，仍需要大量人工進行檢查和修補。通過監督學習訓練，深度學習技術可以有效地彌補這一不足。

3.4 深度學習技術應用于高精度地圖更新檢測

隨著城市規劃的發展，許多城市道路面臨不斷地改建、調整和維護，因此外觀甚至結構都有可能發生變化。高精度地圖在測繪完成后，就會進入維護和更新階段，在此階段需要根據道路的實際變化不斷更新地圖，因此對道路變化的識別至關重要。由于道路變化的形式多種多樣，傳統的高精度地圖測繪流程中，對測繪后地圖更新的處理方式通常是在固定的時間周期重新進行數據收集和處理，對比原有地圖的特征數據從而判斷是否需要更新。這樣的流程仍需要大量數據采集成本，因為大多數道路并不會經常發生變化，而為了保證對真正發生變化的道路的及時更新，地圖數據重采集的周期必須足夠短，這導致大量數據采集工作的浪費。另外，傳統流程中仍然需要人工進行道路變化的判斷。

深度學習技術不但有潛力提升傳統地圖更新流程的效率，而且有可能通過自動駕駛車隊的運行來提供全新的更經濟高效的地圖更新流程。在傳統流程中，深度學習可以為基礎地圖數據提供更好的特征提取，尤其是在經過充分的監督訓練之后，能夠直接提供一幀傳感器數據與對應地理位置的基礎地圖數據相比是否存在非剛性變形的判斷，這樣就可以節省人工進行道路變化判斷的工作。另外，隨著自動駕駛車隊的部署規模逐漸增長，自動駕駛系統中定位和感知模塊中的深度學習模型都逐漸會具備判斷道路變化的能力，從而達到在無需專門的地圖采集車輛的情況下，實現零延遲的道路變化監測。定位模塊可以采用與上述模型相同的方式完成道路變化的判斷。而感知系統可以通過帶有不確定性的深度學習模型來實現感知系統運行狀況的監控；由于感知系統一般依賴高精度地圖中的基礎地圖和先驗地圖的數據，通過對感知質量的監控就可以發現道路的變化。通過這樣的新型流程，高精度地圖測繪完成之后，維護和更新過程的成本會大大下降。

4 結語

深度學習技術廣泛應用的歷史較短，在很多應用領域的作用還處于探索階段。本文在闡述自動駕駛高精度地圖的結構、制作過程和應用，以及深度學習技術的特點和應用的基礎之上，提出并分析了多個深度學習技術在高精度地圖制作和應用中的潛在應用方向。通過這些探索，深度學習技術有潛力在大幅度降低高精度地圖制作成本、提升應用效果方面發揮巨大作用。