基于專利分析的自動駕駛汽車虛擬場景庫構建技術研究

王軍雷 王亮亮 王靜 牛錫靜

（1.中國汽車技術研究中心有限公司，天津 300300；2.中國第一汽車股份有限公司研發總院，長春 130013）

主題詞：場景庫搭建 數據處理 自動生成 專利分析 技術布局

1 前言

自動駕駛汽車在真正商業化應用前，需要經歷大量的道路測試，但采用路測來優化自動駕駛算法耗費的時間與成本很高，自動駕駛相應交通法規及保險理賠機制的缺失也制約了自動駕駛汽車路測的大范圍開展，極端交通條件和危險場景復現困難且測試安全存在隱患，形成全球認可的自動駕駛汽車產業鏈體系比較困難，這些問題都給自動駕駛汽車系統研發測試帶來了諸多困難[1]。

目前，基于場景庫的仿真測試是解決自動駕駛路測問題的重要路線。仿真測試主要通過構建虛擬場景庫，實現自動駕駛感知、決策規劃、控制等算法的閉環仿真測試，滿足自動駕駛測試的要求。仿真測試可以在一定程度上替代實際道路測試，提升測試效率，縮短開發周期[2-3]。

本文采用專利分析方法，分析自動駕駛汽車虛擬場景庫構建技術的專利布局情況和重點研發方向，梳理其在關鍵技術點的技術發展路線。

2 自動駕駛汽車虛擬場景庫構建技術專利分析

2.1 數據采集范圍及相關說明

本文使用的專利檢索數據庫為中國汽車技術研究中心自主研發的全球汽車專利數據庫，收錄了全球104個國家1.5億余條汽車及相關領域的專利，對全球汽車領域重要企業的專利按照技術領域、技術效果、技術手段3 個維度進行人工標引。在數據庫的技術領域模塊選取自動駕駛汽車節點，并用虛擬場景、場景構建、場景建模、傳感器仿真、要素提取、場景測試、場景庫等關鍵詞進行檢索，檢索截止日期為2022年6月30日，得到虛擬場景庫構建領域的相關專利。由于專利公開時間的滯后，2021～2022年的數據僅供參考。

2.2 專利公開趨勢分析

截至2022年6月，國內虛擬場景數據庫構建技術專利公開趨勢如圖1所示，可劃分為2個階段：第1個階段為2011～2016年，此階段為虛擬場景數據庫構建技術的萌芽期，專利公開量每年不足200 件，且大多進行探索性基礎研究；第2個階段為2017年至今，隨著國家出臺一系列政策和規劃，促進自動駕駛汽車產業的發展，專利公開量增長速度明顯提升，年增長率超過50%，此階段技術進入快速發展期，但專利公開量總體不大。結合相關專利的增長勢頭與公開量級情況可以推測，自動駕駛汽車虛擬場景庫構建技術具有較大的布局潛力。

圖1 自動駕駛汽車虛擬場景庫構建技術專利公開態勢

2.3 專利技術構成及發展態勢分析

如圖2所示，自動駕駛汽車虛擬場景庫構建按技術層次分為場景庫構建、場景庫應用以及場景庫運維3個層面。其中，場景庫構建技術作為自動駕駛汽車場景庫的基礎共性技術，是專利布局的重點。場景庫應用是基于已建成的智能網聯汽車虛擬場景庫開展的進一步深入的研究應用。

圖2 自動駕駛汽車虛擬場景庫構建技術專利技術構成

如圖3所示，智能網聯汽車虛擬場景庫前期相關專利以數據采集與數據處理為主，其他技術處于零星申請狀態，從2018年開始，仿真技術、場景構建、功能開發等技術發展勢頭強勁。從應用層面看，仿真技術與場景構建技術是基于場景庫的車輛測試與功能開發的前提，此類技術申請量快速提升反映出場景庫領域的參與者數量逐步提升，技術的發展存在較大的空間。

圖3 自動駕駛汽車虛擬場景庫構建技術趨勢

2.4 專利申請人研發點布局

如圖4所示，自動駕駛汽車虛擬場景庫構建技術專利申請人自身的研發側重點存在較大差異。其中：百度主要進行布局的研發點為數據處理及車輛仿真技術方面；騰訊關注的重點在于場景測試用例生成與自然場景下車輛的測試評價；當家移動關注的重點在于數據處理中的場景環境的建模與仿真。高校方面：同濟大學研發關注點主要在基于場景庫的算法開發與典型工況測試；吉林大學研發關注點與同濟大學基本一致，同時還較為關注仿真技術；清華大學研發關注點較多，有多個團隊在該領域展開研究，研究方向集中在數據處理及功能測試評價領域。中汽數據主要關注場景庫構建及測試用例的開發與應用；福特在場景庫搭建中主要布局了數據處理技術。

圖4 申請人研發點專利布局情況

2.5 關鍵技術分析

為保證自動駕駛汽車仿真測試時的場景類型足夠豐富，需要收集大量的典型場景數據并建立仿真測試場景庫。本文將重點研究數據處理、仿真技術、場景庫構建及基于場景庫的功能開發4個方面的相關專利，通過閱讀專利文獻，梳理上述各技術的發展路線。

2.5.1 數據處理技術

數據處理技術包含靜態數據提取和動態數據提取2個方面。其中，靜態數據提取主要為虛擬場景庫構建過程中高精度地圖的構建部分內容，具體包括路網數據、路口數據、路面數據、路面標識數據、車道線數據等多個方面。動態數據提取則主要包括動態指示設備、交通參與者等。數據處理技術的難點主要集中在提高靜態數據構圖效率及動態數據信息零散方面。

2.5.1.1 提高地圖構建工作的自動化率

針對現行技術方案對于高精度地圖的構建存在的負荷大、生產效率低的問題，騰訊在專利CN110796714A[4]中提出一種使得地圖要素的整體編輯工作更加高效、準確和便捷的地圖構建方法，如圖5 所示：基于目標場景的第一地圖進行圖像分割而獲得深度圖，再通過反投影法獲得第一地圖點云分布；第二地圖進行點云分割進而提取特征點形成第二點云分布；對第一、第二點云分布進行矢量化，完成目標場景的三維地圖。該方法將圖像分割法和點云分割法相結合，針對不同特征的地圖要素采用不同的分割算法獲得不同地圖要素的點云分布，從而使得地圖要素的整體編輯工作更加高效、準確和便捷，進而輔助編輯人員更好地完成地圖構建工作，提升地圖構建工作的自動化率。

圖5 圖像數據及點云數據結合方式示意[4]

2.5.1.2 提高動態數據完整性

針對利用固定位置信息采集設備進行移動軌跡獲取方案存在的數據零散問題，51WORLD 在專利CN112131327A[5]∕CN111780774A[6]中提出一種運動軌跡的生成方法，如圖6 所示，通過道路模擬圖和運動物體初始軌跡點序列（通過數組儲存），利用尋路算法生成樣條曲線后進行插值補點處理，生成目標物體的運動軌跡，尤其是在采集到的初始軌跡點的數量較少時，生成有效的運動軌跡，提高了運動軌跡的準確度。該方法基于真實路網數據，針對每對相鄰的初始運動軌跡點確定物體在路網矢量圖中的目標路徑，從目標路徑中選取目標運動軌跡點，從而擬合完整的運動軌跡，解決了固定位置信息獲取裝置獲取的車輛位置信息零散不易形成車輛運動軌跡的問題。

圖6 運動軌跡生成示意

2.5.2 仿真技術

仿真技術主要是指場景環境仿真和車輛仿真，重點在于模擬真實環境中的道路場景要素、交通流信息及周邊車輛運動行為。其中交通流信息仿真技術伴隨人工智能、云計算、大數據技術的發展，從微觀交通流仿真的機理型解析模型發展到通過強化學習得到最優駕駛策略的機器學習模型，具體技術路線如圖7所示。

圖7 仿真技術路線圖

2.5.3 場景庫構建技術

場景構建技術將場景數據傳到場景重構工具鏈中，經過坐標轉換、3D 渲染等步驟在虛擬仿真平臺中自動實現場景的復現。作為仿真測試技術的關鍵，傳統基于專家經驗的場景枚舉生成方法已無法滿足大規模仿真測試的需求，如圖8所示，2019年開始，場景自動生成及泛化技術進入快速發展期，成為場景庫構建技術發展的重點。此技術側重于解決現階段場景多樣性、交互性、生成效率等方面的不足。

圖8 場景庫構建技術研發趨勢

2.5.3.1 提高場景多樣性，實現多工況覆蓋

基于高精度地圖的虛擬場景構建過程中，側重于道路信息而自動生成的場景比較單一，還需要額外手工添加豐富的場景元素。針對這一問題，騰訊在專利CN110795819A[7]中提出一種自動駕駛仿真場景的生成方法，如圖9 所示：獲取預先確定的高精度地圖中目標區域上的道路信息，根據道路信息生成目標區域上的自動駕駛仿真場景中的虛擬路面；獲取預先確定的自動駕駛車輛在目標區域上感測到的點云感知數據和圖像感知數據，其中，點云感知數據用于表示目標區域上的場景元素的空間信息，圖像感知數據用于表示場景元素的顏色信息；將點云感知數據與和圖像感知數據進行融合，得到第一融合感知數據，用于表示場景元素的空間信息和類別信息，類別信息是根據場景元素的顏色信息確定得到的；將第一融合感知數據與虛擬路面進行融合，得到目標區域上的自動駕駛仿真場景，其中，目標區域上的自動駕駛仿真場景用于顯示虛擬路面以及由空間信息和類別信息表示的場景元素，達到了根據高精地圖中的道路信息生成自動駕駛場景中的虛擬路面，根據點云感知數據和圖像感知數據確定自動駕駛仿真場景中的場景元素的目的，從而實現了將自動駕駛仿真場景中虛擬路面和場景元素融合的技術效果。

圖9 高精度地圖和場景元素融合后的仿真場景的示意[7]

現有自動駕駛虛擬場景庫建設中，多采用原始數據進行標注、場景生成與導入，存在場景庫建設不夠完備、不能完全覆蓋所有可能工況的問題。中汽數據在專利CN111967124A[8]中提出一種重組場景通用擴增的生成方法，包括：根據測試需求確定場景生成的關鍵要素，包括靜態要素（道路信息和環境信息）和動態要素（本車信息和交通參與者信息），每種信息均設定相關字段；基于自然駕駛數據庫歷史數據，使用統計分析方法確定每個要素字段的取值域及各要素字段之間是否具有相關性，對于沒有相關性的要素，取值域內隨機選取遍歷，對于具有相關性的要素，利用統計分析方法得到約束條件，在字段的約束條件對應取值域內選取；根據遍歷得到的靜態要素信息和動態要素信息，對場景元素進行排列重組。該方案基于自然駕駛數據庫中的歷史數據，在統計學基礎上對不同要素進行重組排列，實現快速生成重組場景及場景擴增，以達到覆蓋所有可能工況的目的。

2.5.3.2 優化場景中車輛交互模式，提高虛擬測試契合程度

自動駕駛汽車工作環境和狀態復雜多樣，具有強不確定性特征，現有的場景生成及泛化技術大多采用離線生成方式，被測對象不參與生成過程，因此無法運用動態反饋實時修正場景狀態來提高測試場景的契合度。華為在專利CN114139329A[13]中提出，首先根據靜態本體的設計約束（按照道路規范來設計）、動態本體的行為（車輛與車道間位置關系、車輛間位置關系、車輛限速、車輛行駛方向約束等）和場景設計需求，確定動態本體的初始狀態，再結合交通流仿真模型（跟馳模型、換道模型、信號燈反應模型、匯入模型等）確定動態本體的行駛軌跡，最終生成測試場景模型。以換道模型為例，車輛存在進入匝道的動機時，且臨近匝道口的第一車道為期望車道：如果車輛位于第三車道上，該車輛在與匝道口間的距離大于80 m時完成換道，方能確保行車安全，如果車輛位于第二車道上，則該車輛需換道時與匝道路口間的最小換道距離為40 m（圖10）。動態本體在不同交通流仿真模型的控制下行駛，即可以確定動態本體的行駛軌跡。通過確定動態本體的初始狀態和行駛軌跡，在動態場景中可以體現各交通參與者間復雜的動態交互。

圖10 車輛換道模型示意

2.5.4 場景庫的功能開發

場景庫的功能開發是基于已建成的自動駕駛汽車虛擬場景庫開展的進一步深入的研究應用。針對當前仿真測試中，人車沖突場景中的行人模型簡單，只能進行簡單的場景測試，無法滿足自動駕駛測試需求的問題，清華大學在專利CN112131756A[14]中提出一種考慮個體激進度的行人穿行場景仿真模型，為體現行人在交通場景中的個體差異性，需要賦予行人單獨的內在邏輯，邏輯的主要功能為復現人車交互過程中的一系列決策，通過元胞自動機的行人模擬機制，將道路劃分為網格，行人具有基礎的屬性，該屬性決定平均意義下該個體的速度、加速度等特點，具體的運動則通過對周圍8 個方格的具體情況進行實時判定來產生，如果預測在某個方格會與其他個體產生碰撞，便通過交互函數產生一個占據潛在沖突區域的概率。此方法充分體現了行人在真實場景中的決策連續性以及對側向來車距離的敏感性，能夠較好地還原人車交互的過程。以色列初創公司Autobrains 在專利US16867107 中提出針對特定地形或情形下的場景仿真生成技術，采用深度神經網絡多模型推理方法，可解決在惡劣天氣條件下，繁忙交通區域內高違法點的仿真場景生成技術，通過不同仿真引擎之間的相互關聯，對多個對象的行為模式進行推導（車輛是否闖紅燈、行人是否在斑馬線處過馬路、行人是否攜帶手提包或推車、車輛在未打信號等情況下改變車道等）。

3 結束語

本文從專利公開態勢、專利技術構成、關鍵技術點等方面剖析了自動駕駛汽車虛擬場景庫構建技術的專利布局和技術發展路線。雖然近幾年場景庫構建技術進入快速發展期，專利公開量持續增長，但研究多集中在簡單的數據處理及場景生成等方面，無法完全滿足高級別自動駕駛的測試需求。未來研究應著力突破動靜態數據融合重構技術，提高動態數據識別速度以及場景自動生成效率。