自動駕駛汽車感知系統測試用例構建方法研究

文/王瀟屹 李俊成 馬雪寒

為了實現自動駕駛汽車的落地應用，測試驗證將作為產品研發和認證過程中不可或缺的重要環節。針對自動駕駛汽車，常見的基于場景的測試方法有：模擬仿真測試、封閉場地測試、開放道路測試。無論哪一種測試方法，由于駕駛場景的復雜性，都面臨著海量的測試用例。為了找出不同場景中的共同規律，進行測試場景設計，《自動駕駛測試場景工程框架》（ISO/DIS 34502）標準草案中對面向安全評估的場景生成流程、場景框架結構、數據庫存儲與接口架構、邏輯場景參數和道路交通參數選取等內容作出了規定。為了系統研究在不同駕駛環境下，自動駕駛汽車各個子系統（感知、決策、執行等）的性能局限性和人為誤作用造成的自動駕駛安全問題，《道路車輛預期功能安全》（ISO/PAS 21448:2019）[1]標準提出了基于特定場景尋找不安全觸發條件的思想，形成了自動駕駛系統開發、測試驗證和改進體系的方法論。中國智能網聯汽車產業創新聯盟預期功能安全工作組（以下簡稱“聯盟工作組”），在上述研究的基礎上提出了適合自動駕駛預期功能安全研究的7層場景庫架構，并開展了針對感知系統性能局限性的研究。但是，關于自動駕駛感知系統在7層場景庫架構下如何設計試驗、開展試驗的研究還比較少。本文將重點研究如何用盡可能少的試驗，覆蓋更多的關鍵場景，找到特定場景下影響自動駕駛感知系統的關鍵因子和參數指標。

一、預期功能安全7層場景庫架構

為了加速自動駕駛功能開發與落地，包括奧迪、寶馬在內的歐洲汽車工業領域17家企業和組織合作發起了Pegasus項目，該項目提出了場景構建的6層架構。在此基礎上，聯盟工作組提出了預期功能安全場景7層架構，即在上述6層架構上加入了第7層“自車狀態”，并通過研究提取、分類、歸納各種實際駕駛環境特征，基本覆蓋了所有自動駕駛車輛可能遇到的所有預期功能安全場景特征（見表1）。通過對7層架構進行二級、三級分層細化，將產生近300條的場景參數，考慮到場景參數泛化和交互關系，全場景測試數量變得異常龐大。因此，在自動駕駛系統開發過程中，測試人員需要考慮感知、決策、執行系統不同的考核指標，找到7層架構中不同場景對其有重要影響的參數，進行更有針對性的測試。

表1 預期功能安全7層場景庫架構

二、測試用例構建方法的選擇

構建測試用例的目的是進行試驗驗證，故遵循試驗研究的思路，試驗研究可分為試驗方案設計、試驗方案開展實施、數據收集整理和數據分析研究等步驟[3]。試驗方案設計是影響研究成功與否最關鍵的一個環節，是提高試驗質量的重要基礎，在本研究中即為測試用例的構建方法。

在測試用例構建中，測試人員常常需要同時考察3個或3個以上場景元素對自動駕駛系統的影響，若進行全面試驗，則試驗的規模將很大，往往因試驗條件的限制而難以實施。比如，4因子3水平的全交試驗需要做81次試驗，5因子4水平的全交試驗則需要做1 024次試驗，這顯然是不劃算的。

因此，本文采用正交試驗設計方法構建測試用例。利用正交表，以部分實施代替全面實施，用盡可能少的試驗次數覆蓋盡可能多的考核水平。利用正交試驗設計，同樣4因子3水平的試驗只需要做9次試驗，而5因子4水平的試驗只需要做16次試驗，有效降低了試驗次數。

測試用例構建方案的設計流程為：試驗目的與要求→試驗指標→選因子與定水平→因子、水平確定→選取合適的正交表→列試驗方案。

三、感知系統測試用例的設計

駕駛員的感知是通過眼睛等器官去觀察收集的，經由大腦處理判斷后，對環境或事物形成的認知。相對應地，自動駕駛感知系統也存在兩個過程，它們分別是：通過攝像頭、激光雷達、毫米波雷達等感知系統中物理器件固有性能的感知過程和經過一系列算法處理的認知過程。其中，基于物理器件固有性能的感知過程易受到雨、雪、霧和光等環境的影響；基于算法處理的認知過程會因目標識別物的大小、形狀、個數、顏色與背景的色差，造成誤識別與漏識別。

基于上述試驗方案設計流程和感知系統的工作原理，本文將開展本次感知系統測試用例方案設計。

1. 明確試驗目的與要求

本次試驗的感知系統包括以攝像頭、激光雷達、毫米波雷達等為基礎的單一傳感器或融合傳感器。試驗的目的是考察感知系統在靜止狀態下，受雨、雪、霧等天氣影響，識別前方交通參與者的能力。

2. 選取試驗指標

感知系統的輸出是決策系統的輸入，是智能駕駛系統可靠性的重要一環。決策系統需要感知系統準確、穩定、及時、全面地輸出目標類型、目標運動參數，并精確給出目標和本車的相對位置。上海機動車檢測認證技術研究中心有限公司前瞻技術部門和聯盟工作組相關研究小組根據感知系統的國內外標準和實際試驗結果，研究整理出感知系統在特定場景下的評價指標（見圖1）。在本次試驗中，測試人員考慮到對于目標物的識別處于靜止狀態且較為單一，故選取準確性指標中的查準率、識別精度，精確性指標中的差值計算、比值計算，穩定性指標中的跳動次數和及時性指標中的上報延時作為本次試驗考核的指標。

圖1 特定場景下感知系統評價指標

3. 選因子與定水平

測試人員梳理預期功能安全7層場景庫架構中對感知系統有重要影響的因子，最終篩選本次試驗的因子為4層交通參與者中的行人，5層氣候環境中的天氣、光照；再根據選取的因子，選取具有典型性的水平（見表2）。

表2 選取確定因子下合適的水平

4. 選取合適的正交表

測試人員考慮到各因子水平相同，并且各因子間無交互作用，因此選擇普通5因子4水平正交表L16（45）。

5. 最終的試驗方案

最終的試驗方案見表3。

表3 試驗方案表

通過正交試驗設計方法進行自動駕駛感知系統測試用例的設計，可有效減少測試用例數量，與全面試驗相比，測試用例數量減少了98.5%，達到用盡可能少的試驗次數獲得更多試驗結果信息的效果。正交試驗設計方法適用于因子間無交互作用的測試用例設計。

四、結 語

本文基于感知系統的考核評價指標，研究了在有限的試驗條件下如何選取合適的試驗水平和因子，進行測試用例設計。測試人員采用正交試驗設計思路，設計了一組測試氣候環境影響下感知系統對交通參與者的感知測試用例。與全面試驗相比，正交試驗將大大減少測試數量，從而達到用盡可能少的試驗次數，獲取更多試驗結果信息的效果。