自動駕駛場景采集及模擬仿真場景重構的技術研究

劉海威 甘 雨

(上海機動車檢測認證技術研究中心有限公司，上海 201805)

0 前言

隨著第5代移動通信(5G)、大數據網絡和人工智能等技術的不斷發展，以及汽車“新四化”(電動化、網聯化、智能化、共享化)進程的不斷推進，自動駕駛技術迎來了新的發展機遇。如今，不僅有汽車產業鏈相關企業投身于自動駕駛領域，還有眾多的科技巨頭、家電制造企業、出行公司如谷歌、百度、阿里、美團、滴滴、小米和華為等公司也在加入，這極大地加快了自動駕駛算法迭代速度和傳感器換代進程。

自動駕駛技術的研究主要包括感知、定位、決策和規劃控制等。目前，針對自動駕駛感知決策算法和規劃控制算法測試的方式主要有實車測試和虛擬仿真測試。由于實車測試不能夠覆蓋所有的設計場景，并且存在很大的不確定性和危險性，因此虛擬仿真測試得到了廣泛的應用。

自動駕駛虛擬仿真測試方案包括2大類：基于里程的測試方案和基于場景分類的測試方案。基于里程的測試方案是讓自動駕駛車輛在虛擬場景下連續不斷的行駛，從而測試自動駕駛車輛的魯棒性和算法的可靠性。基于場景分類的測試方案是將測試場景進行分類，其中較常用的分類有：法規場景、事故場景、自然駕駛場景、預期功能安全場景和車聯網場景等，利用場景分類方案可以快速測試出算法存在的缺陷，加快測試速度。目前，比較常見的是將2種測試方案結合，這樣可以達到更加靈活高效的測試效果。

本文介紹了自動駕駛仿真場景的建設方案，包括從場景采集到數據處理、再到場景重構的整個流程，重點分析了場景重構的技術難點，并提出相應的解決方案。

1 系統總體架構

圖1 自動駕駛虛擬仿真測試系統總體架構

自動駕駛場景采集和模擬仿真場景重構系統的架構如圖1所示。其中，自動駕駛場景采集車作為其他硬件的載體，配備有激光雷達、毫米波雷達、組合慣性導航定位系統、智能攝像頭等，同時通過總線數據采集設備可以獲取采集車的車身總線信息，包括制動轉向和底盤控制器等相關信號。圖1中虛線框內部分為模擬仿真場景重構系統，該系統由規則場景自動篩選提取、場景目標車和目標車道提取，以及仿真場景自動化修正3個部分組成。

1.1 自動駕駛場景采集車

采集車硬件部分組成見表1。借助感知部件可以實現目標物和車道線實時標注、傳感器真值數據管理、車載顯示和遠程顯示等功能。

表1 自動駕駛場景采集車硬件組成

1.2 仿真場景重構

自動駕駛仿真場景重構系統的組成如圖2所示。該系統通過真值算法和數據清洗2種方式對采集車采集的真值數據進行后處理。處理后的數據可以進行數據回放、場景預處理和數據片段截取，仿真場景重構系統對后處理后的場景再進行優化，最后生成可以被仿真軟件識別并可以進行自動駕駛仿真測試的仿真場景。

圖2 自動駕駛仿真場景重構系統

1.3 技術難點

將采集車采集到的傳感器數據轉化為自動駕駛虛擬仿真軟件可以識別的場景數據是本文重點研究的技術內容。實現該技術方案的技術難點主要有以下3個方面。① 采集時間戳同步。自動駕駛采集車工作時，產生的數據量比較大，例如激光雷達所產生的點云數據、毫米波雷達輸出的目標物、車身總線傳來的車載總線數據、攝像頭記錄的圖像數據，以及導航定位系統傳輸的串口數據，這些數據都需統一時間標記以確保所有的設備數據同步被記錄。② 場景數據清洗。由于傳感器采集的原始真值數據中包含很多的無用數據，需要通過一定的算法進行濾波處理，這個過程需要完成：轉化數據格式、檢查缺失數據、刪除多余的片段、連接字符串和轉換時間格式等操作。③ 基礎場景修正。由于自動化場景提取仍存在很多的缺陷和不足，自動化提取后生成的場景直接導入至仿真軟件中存在抖動、車輛閃現等問題，因此需要對自動化提取后的場景進行修正處理。

2 場景采集與重構方案

2.1 場景數據預處理

解決時間戳同步主要有3個步驟：① 獲取多個傳感器數據信息和授時信息，其中多個傳感器數據信息包括圖像數據、組合慣導數據、車輛輪速數據和激光雷達數據等；② 根據所獲得的授時信息對多個傳感器進行時間戳同步，將各傳感器分別對應各自的時間戳；③ 將處理后的數據通過對應的傳輸通道發送給計算機中央處理單元。

采集車所采集的傳感器真值數據，需經過以下幾個步驟依次按序進行清洗，如圖3所示。真值數據經過數據清洗后，數據可以達到場景重構的數據輸入格式標準。

圖3 場景數據清洗

2.2 場景數據后處理

場景后處理包括場景提取和場景優化。場景提取是以數據清洗后的傳感器真值數據為輸入，通過智能算法對場景篩選，提取得到關鍵場景信息。場景提取可以分為基于單一信號提取和基于組合參數場景提取2種方式。針對描述比較單一的場景可以使用單一信號提取的方式，該方式可以快速地實現場景提取，數據處理的效率高，但是提取后的場景元素不全面；基于組合參數場景提取的方式適用于復雜場景，該方式通過多組參數可以將場景中的目標物和車道線描述的更為全面，但是處理的時間較長且對計算機的性能要求比較高。

場景優化是指在自動提取場景后，對場景中存在的不足加以優化，使得修改后的場景能夠滿足自動駕駛仿真測試的要求。場景優化主要是針對場景中的目標物和場景中生成的車道線。場景優化的界面有4個，如圖4所示。

車道修正包括對車道的彎曲程度、車道的數目和車道線型進行修改，同時還可以延長、縮短、裁剪車道線的長度。障礙物的修正主要是處理由于傳感器誤識別所產生的錯誤目標無信息，通過該系統可以實現對目標物數量和車輛類型的修改、車輛的屬性信息確認、車輛的刪減、目標車輛編號的跟蹤串聯等。經過車道修正和目標物修正后再對場景進行編譯生成，可以獲得在仿真軟件中運行的標準場景和對應的交通流。

圖4 場景優化控制界面

3 場景采集過程和對比分析

3.1 采集準備

在開始試驗之前需要針對車輛狀況和設備連接情況進行檢查，其中包括：① 檢查設備之間通信連接；② 檢查激光雷達驅動設置、獲取數據和參數標定；③ 檢查攝像頭驅動設置、獲取數據和參數標定；④ 檢查導航定位系統驅動設置、獲取數據和參數標定；⑤ 檢查場景數據記錄儲存系統在工控機中運行狀況；⑥ 檢查各設備之間同步協議配置、對齊時間戳。

3.2 采集實施

設備啟動后，采集車自動采集車輛周圍目標車的總線信息、車道信息、自車定位數據和攝像頭數據。為了保證數據的安全性和防止檢驗設備出錯，該采集系統每10 min自動保存1次數據。采集車正常數據采集時的狀態如圖5所示，其中包括前攝像頭識別信息、地圖中車輛位置信息、車輛傳感器通道和通信狀態信息、車輛油門和制動踏板輸入信息和車輛輔助功能觸發狀態信息等。

圖5 采集車數據采集界面

3.3 結果分析

采集結束后，可以通過數據回放的方式來判斷采集車的運行狀態，如圖6所示。由圖6可知，場景采集系統工作運轉正常，采集車在平穩運轉過程中速度、車輪轉角、發動機轉速曲線等一系列信號均能實時被采集監測。在監控界面中加入圖表，可以為技術人員觀察設備運行狀態提供便利。

圖6 采集車速度、車輪轉向角和發動機轉速情況

自動駕駛場景采集車的數據在遷移至場景重構服務器后，經過真值數據處理和場景優化，可以實現自動駕駛仿真軟件中的場景重構。采集車實時的數據回放和在虛擬仿真軟件中運行的場景如圖7所示。通過車道線、交通流、相對位置、相對速度等維度進行對比分析可知，通過場景采集車采集和仿真場景重構技術能夠很好地還原自然場景，為自動駕駛相關的測試服務提供便利。

圖7 采集車實測場景和仿真場景對比

4 結語

本文對自動駕駛汽車仿真技術進行了研究。通過研究自動駕駛場景采集車，獲得了適合自動駕駛場景采集和仿真場景重構的解決方案。通過場景預處理和后處理，將真實道路上采集獲得傳感器數據轉化成虛擬仿真生成的場景數據，實現了自然駕駛場景采集到場景轉化重構的過程。最后，闡述了開展自動駕駛場景采集的實施步驟，并開展對比試驗，對重構場景進行了測試驗證。

本文對自動駕駛場景采集及模擬仿真場景重構技術進行了初步探究，為解決自動駕駛場景構建研究提供參考。目前，本文提出方案的場景轉化效率還未得到進一步驗證，這是自動駕駛場景采集課題下一個階段的重點研究方向。