復雜環境下自動駕駛系統軟件虛擬測試與驗證方法

胡駿 胡天翼

（1.北京計算機應用和仿真技術研究所，北京100854；2.瞬聯軟件科技（北京）有限公司，北京100102）

主題詞：自主系統 自動駕駛 軟件測試 虛擬測試 仿真環境

0 前言

特斯拉公司CEO馬斯克在幾年前曾經預言：“20年內，買無人駕駛汽車會和過去買馬那么平常。”如今，隨著人工智能和自動駕駛技術不斷取得突破，以及各國傳統、新興車企和著名互聯網公司紛紛重金投入研發并相繼展示推出不同級別的自動駕駛汽車，讓人們逐漸相信這一預言在不久的將來會變成現實。按照SAE International對自動駕駛技術的分級標準[1]，可分為駕駛輔（L1）、部分自動化（L2）、有條件自動化（L3）、高度自動化（L4）和完全自動化（L5）5個級別。傳統車企多選擇漸進的技術路線，即先開發駕駛輔助系統，逐漸向高級自動駕駛迭代的技術路線。當前國內多數汽車企業處于L2級到L3級自動駕駛過渡的關鍵階段，而互聯網企業更多是采用激進的技術路線，即直接開發L4級的自動駕駛系統，并積極組織開展在各種路況條件下的樣車測試。

自動駕駛系統是一個復雜的智能化系統，通過與外部環境交互處理大量輸入數據，涉及傳感器、數據融合、態勢分析、運動規劃和機器學習等多個領域的先進技術，由此相互結合產生的系統具有能夠感知、處理并與其周圍環境進行交互的復雜軟件系統，由于這類復雜智能系統要處理海量輸入的時間相關數據，并同時與其它系統進行交互，受到自動駕駛系統自身操控影響，使此類系統的測試與驗證面臨極大的挑戰。在實際路況下的測試是必須要做的基礎測試驗證工作，但通過其難以做到充分，除路試道路和環境條件受限外，需要耗費大量人力時間成本，而且對于不同路況、天氣、相鄰靜止和運動實體的復雜環境，特別對一些突發狀況難以人工設置和復制，導致系統測試與驗證不可重復。因此，必須解決在復雜環境下自動駕駛系統測試充分性問題，保證事故概率在一個可接受的水平，也許通過路試能夠達到95%的可靠性，但最難的仍是從95%提高到99.9999%目標[2]。

針對自動駕駛這類復雜系統的測試驗證，文獻[3]提出了一種新的高度集成的軟件測試模式，即在系統中新加入一個安全模塊，針對其中易于出錯且難于測試的決策模塊開展離線仿真測試，并根據已有測試結果在線提供決策信息，以保證決策模塊輸出結果的安全性。本文基于上述思想進一步探討了在虛擬仿真環境下開展自動駕駛系統軟件測試驗證的方法，給出了車載和實驗室仿真測試驗證系統的組成結構和相關實現方法，以克服目前在實際路況下測試的局限性，在路試基礎上進一步提高軟件測試充分性，從而達到提高系統安全性和可靠性的目的。

1 虛擬測試驗證相關基本概念

由于在實際道路上測試自動駕駛系統和軟件的不可控因素及測試本身不可重復，導致考慮在虛擬的仿真環境下對系統和軟件進行測試。因此，人們自然會采用能夠模仿實際道路的測試方式，即基于場景的測試，并且通過該種測試可以完成在現實世界實際道路測試無法完成的工作。對自動駕駛系統開展基于場景的測試涉及多類復雜問題，而這在常規測試中很難遇到，其中包括：

（1）場景類型：場景類型可以是靜態、動態或混合型。靜態場景是預先設定好的，即場景中的其他動態實體與自動駕駛系統所在自主系統本身狀態無關，而動態場景中的動態實體會根據自主系統行為做出反應。

（2）協同特征:可分為協同行為和非協同行為。根據測試要求可設置自主系統所在場景處于不允許協同行為發生的狀態，或使場景中其他交通參與者具有協同行為，這一特征對系統測試非常重要。

（3）場景描述有效性:對于測試過程中涉及的復雜路況及相關設施的描述要足夠細化和精確以滿足測試要求。例如：一些路況可能涉及各類停車場或鄉村土路，如果要測試相應路況的自動駕駛，需要繪制地圖并產生相應場景。

（4）輸入輸出不確定性:一般軟件測試選擇確定的輸入，經過系統處理后產生確定的輸出，據此判定測試結果的正確性。相反，對被測自主系統則不具備明確的輸入空間且輸出也不能明確定義。

（5）運行時間成本:基于場景的仿真測試與實際道路測試同樣需要耗費大量的運行時間和成本，因為按場景的細分通常要仿真上百萬各種相關或無關場景。當然，在實際實施過程中會重點選擇更為復雜和危險的情況開展測試驗證，這方面可以參考路試結果和人們對復雜環境、危險場景的已有經驗，以此減少測試場景的數量。

基于上述原因,為使問題描述的更清晰，需要進一步定義自動駕駛所在自主系統的狀態和其它相關術語如下：

自主系統狀態：自動駕駛所在自主系統的狀態，包括系統位置、方向和其它外部所需參數及與時間周期性相關的內部參數或初始設置信息，例如：運動規劃所需各類參數和信息，仿真測試過程中系統狀態要以適當方式存儲。

態勢：態勢被定義為自主系統與其他所有交通參與者當前（瞬間）的狀態，其中包括環境中的靜態部分，例如：自主系統所在道路和氣象條件等。

情景：態勢在一定時間間隔出現狀態變化的情況，將這種時間連續變化的態勢稱作情景。

場景：按照特定目的和時間間隔產生一系列情景形成場景。上述態勢、情景和場景的時間關系可由圖1(a)表示，圖1(b)是一個自動駕駛汽車并入一汽車隊列的場景。在仿真測試中，場景就是自主系統或者說自動駕駛系統測試的用例，簡單的場景由其中相關路網和靜態、動態實體組成。

圖1 按照特定目的和時間間隔創建一系列場景

靜態和動態實體：相對靜態實體在場景中不隨時間改變其位置或狀態，例如：路邊停放的汽車，動態實體通常是隨時間不斷改變其位置或狀態，包括運動中的汽車（連續變化）和交通信號燈（離散變化）。

協同和非協同行為：在仿真測試中，動態實體可以對其他相關實體的運動做出反應則稱其為具有協同行為，例如：協同的汽車會為要加入隊列的車輛讓出位置，這類實體可以預先估計其他交通參與者的意圖并做出友好的反應。相反，非協同行為是指動態實體只在為避免碰撞而做出反應而不會允許“加塞”。

態勢相似性：態勢相似是指當自主系統狀態及其與所處環境中的特征元素（道路及其標識、靜態實體等）的關系相似，其它動態實體也有相同的狀態，所謂相似性是其特征參數和相互關系在預先設定的范圍內。

測試驗證空間：所有可能的態勢和由此導出的各種情景按相互關系組成的場景集合被稱為測試驗證空間。顯然，對于復雜情況測試驗證空間中各種態勢和情景組合出的場景數量是非常龐大的，但通過列舉是可以完全被覆蓋。

由上述定義可以進一步區分靜態場景和動態場景，即當場景中的動態實體是按照預先設定的運動軌跡運動，不考慮其他交通參與者（包括自主系統本身）的情況則屬于靜態場景，在這種情況下可認為是對自主系統的開環測試模式；而動態實體考慮其他交通參與者并采取協同或非協同行為則屬于動態場景，這時其運動軌跡可以根據道路和起點到終點的情況及其他交通參與者狀態實時計算，比如采用某種結構化的駕駛模型，上述動態場景可被認為是一種閉環系統測試模式。當然，由此可以導出混合場景。

2 自動駕駛系統虛擬測試組成結構

自動駕駛系統一般包括采集、感知、通訊、數據庫、人機接口（HMI）和決策模塊，以及控制、執行機構模塊，如圖2所示。除采集部分直接根據不同傳感器采集的數據經處理后輸出到感知模塊外，自動駕駛系統核心的決策模塊要使用其它模塊的輸出結果，然后將其決策信息發送給控制模塊，最后由執行機構控制執行完成自動駕駛任務。

針對自動駕駛這類復雜系統的測試驗證，文獻[3]提出了一種新的高度集成的軟件測試模式，即在系統中新加入一個安全模塊（圖2中虛線部分），針對其中易于出錯且難于測試的決策模塊開展離線仿真測試，并根據已有測試結果在線提供決策信息，以保證決策模塊輸出結果的安全性。在自動駕駛過程中，其決策模塊可以向安全模塊詢問當前態勢和規劃的機動方式是否合理，后者會使用測試驗證數據庫信息判斷當前態勢是否經過驗證，且與當前態勢臨近的后續區域的驗證也能得到充分覆蓋，據此信息通知決策模塊相關處理操作安全或建議新的決策，即改變現有決策使其納入到經過驗證的區域部分。

本文基于這一思想進一步提出虛擬測試與驗證系統的組成結構，分為車載仿真測試系統和實驗室仿真測試開發系統兩部分，見圖2中替換原有安全模塊的部分，其中車載測試系統面向自控駕駛實際應用，包括在線給出駕駛策略建議和離線仿真測試，其中具體功能如下：

（1）態勢搜索：包括相似度分析、態勢更新存儲、決策結果接收；

（2）任務調度：包括場景/模型選擇、驗證集合生成、駕駛策略提取；

（3）仿真測試：包括仿真測試執行、監控和測試結果存儲；

（4）通訊接口：包括與HMI通訊接口和與測試開發通訊接口。

而測試開發系統則是面向仿真測試開發和測試與驗證，包括場景/模型建立、仿真測試驗證和結果分析，其中具體功能如下：

（1）場景生成：包括電子地圖、靜態/動態實體、2D/3D場景生成和場景數據庫；

（2）模型建立：包括環境模型（道路、天氣和各類交通參與者模型）、自主系統模型（傳感器、自動駕駛智能控制系統相關模塊、車輛動力學和運動學模型及駕駛員模擬器）和模型庫；

（3）仿真測試：包括仿真測試執行、過程監控和測試結果記錄及測試驗證數據庫；

（4）結果分析：包括測試結果分析、模型驗證分析、模型調整和更新、車載測試場景/模型/測試結果更新。

測試開發系統是自動駕駛系統設計開發和測試驗證的重要手段，從設計階段智能控制算法的研究到后續軟件開發，可利用先期建立的全數字或軟件在回路（Safety Integration Level,SIL）仿真測試系統，到后期進一步建立用于實驗室自動駕駛系統驗證的半實物（Hardware In Loop,HIL）和車在回路（Vehicle In Loop,VIL)仿真測試系統均能夠發揮重要作用

圖2 自動駕駛系統及虛擬測試驗證組成結構

該系統要為車載測試系統提供能夠滿足所需場景下的仿真模型和測試驗證結果，同時依據車載測試系統實際路試產生的場景和測試結果，對已有模型進行驗證分析并更新車載測試場景/模型/測試結果。

車載測試系統與自動駕駛系統軟硬件緊密相關，需要處理大量實時性要求很高的數據，其中包括在線接收當前態勢并進行相似度分析，依據對應測試驗證結果給出駕駛策略建議或對未曾有的態勢更新存儲；另一方面，在離線情況下對新的場景開展仿真測試驗證，并適時采用有線或無線通訊方式與實驗室測試開發系統交換信息。可以看出，實驗室和車載兩套系統面向系統測試驗證和實際應用各有側重、相互支持，使測試驗證的準確性和充分性不斷迭代提升，以滿足自動駕駛系統從L2提高到L5的測試驗證需求。

3 自動駕駛系統虛擬測試與驗證方法

為在虛擬環境下測試自主系統或自動駕駛系統，基于前述虛擬測試與驗證相關基本概念需要進一步給出系統測試與驗證的基本方法，本文未涉及自主系統模型建立相關傳統方法，其相關方法介紹可參考文獻[4]。

3.1 基于場景的測試與驗證空間

自主系統所在場景可以描述為它在所處交通路網中按運動規劃的軌跡移動并不斷改變狀態，其它相關動態實體也在路網中可以按照協同或非協同行為移動，可以用時空狀態網格（Spatiotemporal State Lattices)來表征這種狀態轉換，圖中的結點表示（位置，時間）數據元組，其結點到結點線段表明線路和狀態變化，為簡化描述用（距離，時間）二維STSLs舉例說明，見圖3用于表征基于場景的測試驗證空間時空狀態網格。圖中節點劃分取決于靜態場景中路網和靜態實體，并保證其具有足夠高精度地圖的支持，而通過結點的實際線路是由自主系統的運動規劃計算出或者由其他交通參與者的駕駛模型確定。圖中網格時間和距離步長大小要根據運動規劃是全局規劃或局部規劃的要求確定。

圖3 用于表征基于場景的測試驗證空間時空狀態網格

特別需要說明，時空狀態網格分的越細精度越高，導出的不同線路的場景數量會急劇增加，所有可能的線路組成的場景構成了測試驗證空間。圖3中給出了圖1(b)自動駕駛汽車并入汽車隊列（第2和第3輛車之間）場景的一種情況。

3.2 測試場景的參數化

通過上述對基于場景的測試驗證空間的說明，可以進一步對靜態和動態場景進行參數化，并以此構造所需的場景測試用例，即對場景及其實體特征進行定義，表1～3分別給出道路、天氣和靜態實體的特征屬性，表中的參數和相關數值只是作為一種參考。其中，考慮天氣因素是由于天氣效應直接會影響到自主系統傳感器的測量，表中Φ、θ代表球坐標系下的方位角和高低角，靜態實體位置由直角坐標X、Y和指向角Φ表示。

表1 道路參數化特征屬性

表2 天氣效應參數化特征屬性

表3 靜態實體參數化特征屬性

由于動態實體的參數化需要考慮時間因素，因此更為復雜。這里只以圖1(b)自動駕駛汽車并入汽車隊列（第二和第三輛車之間）場景的一種情況為例，給出相關第二輛（前車）、第三輛（后車）和自主系統車輛的動態實體參數化特征屬性。

表4 動態實體參數化特征屬性

表中的參數對應的坐標系是原點在兩條道路之間與第3輛車中心平行的位置，X軸與道路垂直的直角坐標系，時間零點取在自動駕駛汽車并入汽車隊列前的時刻。顯然，自動駕駛汽車并入汽車隊列的其他可能性還有很多種情況，例如從第3輛或后續車并入，前述時空狀態網格（圖3）清晰顯示了這種動態實體參數變化的態勢，由此將相關網格點作為動態實體在其路徑空間-時間上的可能取值，則可得到表4不同的動態實體參數化特征屬性。對于如何測試所述各類可能的情況或場景，則要依靠下面介紹的組合交互測試方法。

3.3 組合交互測試方法

通過上述對測試驗證所需場景的參數化，使后續工作集中在如何選擇相應參數并產生合理和更具實際應用價值場景的方法上。組合交互測試（Combinatorial Interaction Testing）方法是針對軟件系統中多個因素（參數）及它們之間相互作用的情況所采取的一種科學有效的測試方法，旨在使用盡可能少的測試用例達到較高的錯誤檢測效果。

對于一個具有k個參數的待測系統，如果每個參數有n個取值，則完全測試需要n的k次方個測試用例，而采用t維組合測試，即其中任意t個參數的所有取值組合至少被一個測試用例覆蓋，也稱為t維組合覆蓋測試，由此生成的測試用例數比枚舉的方法大幅度減少，實踐證明其所需要的測試用例數是按照k的對數而不是指數增長。目前，常用的組合測試方法分為兩大類，即各種貪心算法和啟發式搜索算法[5-6]，上述方法也很容易推廣到處理具有約束的條件的組合測試方法，可見參考文獻[7]。

在組合測試中，測試用例集合被表示成組合覆蓋矩陣或混合覆蓋矩陣，矩陣中的每一行對應待測系統中的一個測試用例，每一列代表系統的一個參數的不同取值。貪心算法的思想是從空矩陣開始，逐行或逐列擴展覆蓋矩陣直到所有t維組合均被覆蓋。常用IPO（In-Parameter-Order）算法就是首先按成對組合覆蓋測試構造前兩個參數的所有組合形成一個初始矩陣，然后按矩陣水平和垂直方向進行二維擴展，逐步增加參數列以盡可能覆蓋更多的t維元組，如果仍有t維元組未覆蓋，則進一步增加新的測試用例行。啟發式搜索算法屬于搜索最優化問題，在計算效率上不如前者。

本文以場景中動態實體的運動規劃為例，重點說明使用組合測試方法解決多車運動軌跡的場景生成，并結合回溯算法處理車與車之間軌跡約束問題。此處仍以圖3給出的場景說明應用過程，假設前車已有行車路線形成組合覆蓋矩陣CA的一個結點（列）或稱為路徑-時間元組，在此基礎上通過水平擴展增加屬于后車的結點，由其軌跡規劃根據前車軌跡產生的相關約束條件確定當前軌跡，但從測試角度可以通過簡單的網格路徑搜索和模式匹配方法（Brute force method）[8]計算出所有可能的軌跡。在理想的情況下，最好前車只有一條軌跡線路，由此產生了約束條件區域并給后車所屬新元組規劃出相應軌跡線路。如果無法獲得后車軌跡，則前車的軌跡需要重新計算，然后重復計算后車的軌跡線路，重復此過程直到能夠獲取最終解決方案。當然，上述過程可以推廣到n個車輛的情況，如圖4所示。

圖4 n個動態實體運動規劃的組合測試用例生成

圖4 中實心圓代表已覆蓋的軌跡，圓環代表當前可行軌跡，而圓圈是尚未經過測試的未覆蓋軌跡。由此可知，參數組合僅包括部分動態實體而不是全部的情況下，即使得到了相應軌跡線路的組合場景，回溯算法仍需要繼續尋求包括其它動態實體的組合場景，這實際上是一個逐步由局部到全局場景的組合過程。為使動態實體的軌跡規劃更接近于真實情況，可采用文獻[9]中提出的軌跡規劃預測模型，它能很好模仿人的駕駛行為產生的軌跡線路。

3.4 測試與驗證自動化

類似于車載導航系統的情況，通過實驗室仿真測試開發系統可以針對實際場景開展虛擬測試與驗證，并將測試與驗證結果傳輸給車載測試系統，以便在自動駕駛過程中提供安全決策信息。對于行車過程中車載測試系統當前未經過測試與驗證覆蓋的部分區域和態勢，通常情況下會自動保存并及時傳輸給實驗室開展測試與驗證，然后再由其統一發布更新車載測試系統信息。在理想情況下，上述未經測試與驗證部分區域態勢可以直接由本車車載測試系統利用已有加載的仿真測試資源（典型道路、場景和相關仿真模型）在空閑時自動開展測試與驗證工作，所謂“空閑”是指車輛未在行駛過程中但仍處在加電狀態，例如：車輛處在停駛的充電過程中。實際上，類似仿真測試與驗證需要耗費大量時間和計算資源，如果所有自動駕駛車輛均能夠按此執行，并將結果自動傳輸給實驗室測試開發系統進一步綜合和測試與驗證并發布，那么這樣一種自動化處理方式是極為合理，而且利用前述的虛擬測試與驗證方法可以實現其自動化過程。

特別指出，自動駕駛系統實際路試的結果對虛擬測試與驗證也是非常重要，通過其驗證數據可以對典型道路、場景和相關仿真模型進行驗證和更新，以彌補虛擬測試與驗證由于簡化對結果帶來的影響。同樣，實際路試結果也是測試與驗證空間中被覆蓋的組成部分，兩種測試與驗證方式缺一不可且相輔相成[10]。隨著自動駕駛級別的不斷提高（L2～L5），虛擬測試與驗證結果在測試與驗證空間被覆蓋的比重將占有絕對的優勢。

4 結論

本文探討了針對復雜環境下自動駕駛系統和軟件的虛擬測試驗證方法，給出了車載和實驗室仿真測試驗證系統的組成結構和相關實現方法，為進一步基于實際系統開展研究和系統開發打下了良好基礎。對于建立實驗室條件下的虛擬測試驗證系統，目前應該已具備成熟的基礎條件；而對于車載測試系統必須要結合實際自動駕駛系統及其軟硬件資源開展設計開發工作，并進一步解決其中涉及的海量態勢信息的存儲、態勢相似性判別、大規模混合場景的測試驗證方法及其自動化等。相信在未來，隨著自動駕駛系統逐步進入實用階段，車載虛擬測試系統也可以像當今的車載導航一樣應運而生并得到普及。