基于多支柱的自動駕駛汽車測試評價體系構建方法概述

王韋清

摘 要：如何客觀準確的對自動駕駛汽車功能、性能進行測試評價，已成為其準入和上路通行落地最需要解決的問題。本文基于多支柱法，對安全性、合規性、智能性等多維度的自動駕駛汽車測試評價體系構建方法進行了概述，并對評價指標組合、解耦及計算閾值求解、迭代方法進行了分析。

關鍵詞：自動駕駛汽車；多支柱法；測試評價體系；閾值計算

中央級公益性科研院所基本科研業務費專項資金資助項目 ： 面向自動駕駛準入的交通安全場景庫及仿真測試技術研究（111041000000180001220302）

目前，自動駕駛汽車技術日益成熟，但大規模商業化落地前仍面臨諸多挑戰，如何驗證自動駕駛汽車多維功能性能的安全性、合規性以及可靠性等方面尚未有系統、完整的方案。國際上對于智能網聯汽車的測試評價采用的多支柱法[1-2]測評體系已獲得廣泛共識，是在封閉場地和開放道路測試出現效率低、成本高且無法遍歷所有測試場景時，綜合高確定性、高置信度、高可靠性的仿真模擬的保障復雜自動駕駛系統合理驗證與評估的方式。

1多支柱如何實現協同測評

從仿真模擬、封閉場地至開放道路，測試覆蓋的范圍和功能逐漸減小，而真實交通場景出現概率和評價維度反之。基于仿真測試和封閉場地測試的評價結果，可以不斷完善評價準則和測試場景庫。其中封閉場地測試承擔承上啟下的作用，對于高危險性、低概率、復現難度大的場景可以進行功能和性能的測試評估，其測試精度可控的特點能夠最大程度保障自動駕駛性能真實評價，可以驗證仿真和道路測試的準確性。開放道路測試覆蓋了日常典型駕駛場景且具有偶發性，能夠對自動駕駛系統應對真實交通狀況的能力進行評價，通過開放道路測試得出的危險場景，可以反饋到仿真測試中，有針對性的去迭代場景參數。而仿真測試場景覆蓋度最大，能夠復現各種可能性的場景、測試自動駕駛系統的決策控制能力，避免問題進入場地道路測試環節，降低風險，是自動駕駛汽車安全上路的必要條件。三者之間互相補充，形成測評閉環，共同促進自動駕駛汽車的研發和標準體系建立。

2多支柱測評體系的構建

2.1場景選取和搭建

基于自動駕駛汽車ODC覆蓋的方法和不同場景的關鍵影響因子設計測試方案[3]，確定測試規則和通過條件。通過中國道路運行特征及通行規則分析，基于收集的自然駕駛、事故調查和道路測試等多源異構數據[4]進行關鍵要素提取，得到邏輯場景。將場景劃分出不同道路類型、交通標志標線、天氣環境狀況、車輛通行狀態等層級，每一層級可以細分，如道路相關場景可分為高速、城市道路、窄路窄橋、匝道、環島、隧道等，道路又可以進一步考慮曲率、坡度、破損度等特征對自動駕駛汽車功能性能的影響。通過道路設計、交通流分析、實際道路場景分析等方法，構建基于道路交通情景的測試場景。

在仿真場景搭建中使用較為頻繁的有PreScan、VTD、Vissim等平臺，通過構建復雜的交通環境，編輯交通標志標牌、樹木和建筑物等基礎組件，模擬機動車、自行車和行人等交互行為，修改雨、雪、霧等天氣條件以及能見度來構建豐富的仿真場景。場地測試中利用模擬交通參與者，基于路側系統集成和氣象模擬等技術，搭建包含真實交通要素的場地測試場景。道路測試中依托于區域特色的開放試點道路，結合邊緣計算、毫米波雷達、通信單元等智能路側設備，全域覆蓋高精定位和高精地圖，構建滿足安全性和魯棒性測試的差異化道路測試場景。如甘肅開放的測試路段依托公路貨運大通道，同時又具備人車稀少、極寒極旱、強紫外線、風沙雨雪等環境條件，具有構建典型、極端測試場景的優勢。

2.2場景復現及參數研究

場景參數的設計是保證場景復現的關鍵，由于道路結構、測試環境和實時變化的駕駛行為導致場景復雜多樣，需要設計各ODD中的關鍵參數提取方法，進行參數采樣統計，并建立時間與場景覆蓋度的關聯模型。根據交規、自然駕駛、交通事故等數據提取環境天氣、道路類型、標志標線等靜態和速度、加速度、航向角等動態測試工況參數，通過多次測試驗證參數設計有效性，確定系統邊界并優化后記錄場景參數，實現場景高度還原和復現。

測試場景的覆蓋度具有不可窮舉的特點，尤其是具有偶發性的道路測試場景。從統計學角度來說道路測試場景覆蓋度與測試里程和測試時長成正相關[5]，基于海量采集的道路測試數據構建場景是最簡單的方法，但效率較低。可以根據場景中主車與其他目標物的相對位置及相對運動關系，進一步抽取特征元素，通過場景參數重組、確定泛化區間、隨機化擴充等方式來構建。對于前期積累數據建立的測試周期與場景覆蓋關聯模型，周期更新的測試數據可以實現數據反哺，不斷訓練和驗證模型參數，當然要預先進行測試數據異常值檢驗和誤差分析，若更新的數據僅個別特征發生變化、其余情況基本一致，則不必重復驗證所有數據。基于系統架構和設計運行條件進行分析，從測試功能、性能等需求及安全、合規等評價角度出發，有針對性的進行道路測試用例的設計，對于難以覆蓋的Corner Case結合仿真模擬、封閉場地進行測試，這樣即使無法做到全覆蓋的情況下，也能滿足區域、道路、氣候、交通等特征下的測試驗證需求。

2.3測試數據采集存儲和解析

由于測試過程中可能存在網絡延時和通訊干擾等問題，需要對多源高并發數據利用高同步、高精度的采集存儲工具，實現高效采集、無損存儲和數據保真。為解決測試時存在的交通參與者行為特征難以識別的問題，需要基于車輛動力學、自動控制理論、軟件工程、統計分析、數據解析融合技術等，結合車輛行為、交通狀況等動態要素和道路拓撲結構、交通標志標線等靜態要素，以及車輛軌跡等自動駕駛系統交互數據進行解析，結構化處理后得到包含目標物信息、環境信息、交通標志信息、信號燈信息、車道信息、輪胎接地點信息等可用于自動化評價的測試數據。

2.4評價體系和方法

從交規遵守能力和事故預防能力驗證需求的角度出發，對于測試中基準邏輯場景和復雜危險場景，采取拆解動態駕駛任務的思想，結合高精度的仿真數據及多模態的道路場地測試數據，分析動靜態場景要素。通過相關工具解析目標物信息、環境信息、交通標志信息等結構化數據，針對不同指標對評價結果的影響程度，基于層次分析法、熵權法等算法，構造判斷矩陣研究評價指標組合的權重。建立不同指標值的規范化、加權和聚合方法，將指標組合值映射到不同評價維度，構建衡量典型駕駛功能優劣的仿真模擬、封閉場地和開放道路測試協同評價指標體系，實現基于多支柱的自動駕駛汽車功能、性能、安全、合規等評價指標在不同場景下科學合理的評估驗證。

3測評體系研究維度

測評維度應以自動駕駛的故障響應、系統安全、人機交互、目標檢測、數據存儲和人車路協同等重點功能測試需求為依據，結合復雜環境條件下的仿真模擬、封閉場地、開放道路等組合測試手段，針對不同場景，進行基礎道路、交通設施、交通狀況、環境等不同層級的評價指標設計，從安全性、合規性、智能性、可靠性、舒適性、能效性等多維度進行評價指標提取，建立指標到數值空間的映射并實現量化，通過加權以及參數賦予對不同場景下高適應度、高匹配度的組合評價指標進行綜合分析。

4評價指標閾值確定方法

現有自動駕駛安全性評價指標閾值主要由經驗設置所得，雖簡單但適用場景覆蓋度不高，可以結合比較法、波動法、專家咨詢法與數理統計方法進行求解。考慮交通沖突嚴重程度劃分邊界，基于交通規則常態化設計和交通事故危害調查，以及智能駕駛系統接管事件風險挖掘等方式，可以提取評價指標閾值參考區間并進行比較分析。

對于待確定閾值的指標，參考人類駕駛人駕駛行為特性統計[6]，通常需要收集如自然駕駛數據、風險場景測試數據、交通事故數據等，根據車輛運行軌跡和動態駕駛行為計算該評價指標在時間序列下的歷史值分布，并使用核密度估計等方法建立概率分布模型，在一定置信度下利用模型殘差的計算方法來確定閾值。例如在惡劣天氣且能見度較低的情況下應保持合適的安全速度和安全距離，車輛應以不急不緩的制動減速度進行自我調整，減速度區間的上下限可以通過采集的穩定收斂自然駕駛數據及惡劣天氣物理模擬場景測試數據進行計算。

5評價指標解耦及閾值迭代更新方法

不同指標之間存在沖突與依賴關系，因此需要研究不同測試算法和測試場景下評價指標的解耦方法，建立每個評價指標獨立的等級衡量標準，創建自動駕駛汽車評價指標融合度模型。由于評價指標適用場景不同且具有閾值的差異問題，需結合開放道路隨機測試場景特征與封閉場地特定測試場景特征，分析不同場景下指標閾值的敏感性。通過研究自動駕駛汽車測試運行數據與道路幾何特征，建立起不同場景的交通沖突動態判別模型。

在求解評價指標閾值后，需要使用數理統計的方法進行指標閾值的校準與驗證，實現測評的可靠性、有效性以及適用性，通過誤差分析不斷調整參數或模型，盡可能減少評價模型出現過擬合、閾值過度發散等情況。應用測試數據反復迭代的方法，既保證了測試用例有足夠泛化代表性、盡可能多的覆蓋中國特色的測試場景特征，又驗證了在近似服從同一數據分布下的同類場景中評價指標閾值的合理性。

6結論與展望

以上通過分析多支柱法下自動駕駛汽車協同測試評價方法，對測試場景選取、搭建、復現、泛化以及測試數據采集、存儲和解析進行了概述，并從評價指標的提取方法、組合權重、閾值求解以及數據迭代等方面進行分析，可以為自動駕駛汽車測評技術研究和運行安全水平驗證提供啟示。自動駕駛綜合測評不僅要考慮功能安全，還要考慮預期功能安全，通過構建中國特色的測試用例庫，對區域、道路、氣候、交通特征和中國駕駛員行為習慣等方面深入挖掘，進行針對上路通行需求的工況覆蓋度高、場景類型豐富的測試評價技術研究，從而推動自動駕駛企業自我評估和第三方檢驗技術發展、加快我國高級別自動駕駛汽車準入落地。

參考文獻

[1]Proposal for a new UN Regulation on uniform provisions concerning the approval of vehicles with regards to ALKS，ECE/TRANS/ WP.29/2020/81.

[2]Proposal for the Future Certification of Automated/Autonomous Driving Systems，E C E / T R ANS/ W P. 2 9 / GRVA / 2 0 1 9 / 1 3 ， ht t p： // www.unece.org/trans/main/wp29/wp29wgs/ wp29grva/grva2019.html.

[3]劉法旺，何豐，周時瑩，梁偉強，何博，陳貞，徐曉慶，曹建永.基于場景的智能網聯汽車模擬仿真測試評估方法與實踐[J/OL].汽車工程學報：1-11[2022-11-14]. http：//kns.cnki.net/kcms/ detail/50.1206.U.20220805.1658.002.html.

[4]孫巍，應朝陽，潘漢中，等. 基于交通事故案例解構的自動駕駛車輛測試場景構建方法和測試方法，CN108765235A[P]. 2018.

[5]鹿暢，劉穎，趙麗影，等. 自動駕駛路測融合度建模與分析[J]. 同濟大學學報：自然科學版，2022（005）：050.

[6]劉瑞，馬志雄，武彪，等. 駕駛員駕駛行為的統計學特性[J]. 同濟大學學報：自然科學版，2019（6）：10.

交通運輸部印發《關于促進道路交通自動駕駛技術發展和應用的指導意見》

2020年交通運輸部發布《關于促進道路交通 自動駕駛技術發展和應用的知道意見》提出，到2025年，自動駕駛基礎理論研究取得積極進展，道路基礎設施智能化、車路協同等關鍵技術及產品研發和測試驗證取得重要突破；出臺一批自動駕駛方面的基礎性、關鍵性標準；建成一批國家級自動駕駛測試基地和先導應用示范工程，再不分場景實現規模化應用，推動自動駕駛技術產業化落地。

以習近平新時代中國特色社會主義思想為指導，深入貫徹黨的十九大和十九屆二中、三中、四中、五中全會精神，堅定不移的貫徹新發展理念，充分發揮新驅動在交通強國建設中的第一動力總用，以關鍵技術研發為支撐，以典型場景示范為先導，以政策和標準為保障，堅持鼓勵創新、多元發展、試點先行、確保安全的原則，加快推動自動假死技術在我國道路交通運輸中發展應用，全面提升交通運輸現代化水平，更好滿足人民群眾多元化、高品質出行需求，為加快建設交通強國提供支撐。

到2025年，自動駕駛基礎理論研究去的積極進展，道路基礎設施智能化、車路協同等關鍵技術及產品研發和測試驗證取得重要突破；出臺一批自動駕駛方面的基礎性、關鍵性標準；建成一批國家級自動駕駛測試基地和先導應用示范工程，在部分場景實現規模化應用，推動自動駕駛技術產業化落地。