基于數字孿生的自動駕駛仿真測試研究

羅健煒，胡哲銘，鄭開超，廖 政

（廣東工業大學自動化學院，廣州 510006）

0 引言

進入21 世紀以來，全世界范圍內的汽車保有量日漸增長，由此造成的能源匱乏、環境污染和交通擁堵等問題日漸嚴重［1］，自動駕駛是解決這些問題的最佳方法，自動駕駛是未來汽車行業最有前景的發展方向。隨著計算機技術、人工智能技術的發展，通過將人工智能、邊緣計算等新興技術與傳統汽車行業進行深度的結合給自動駕駛的發展注入了全新的活力。通過自動駕駛技術可以有效地降低交通事故發生的概率，提高民眾出行的安全性［2］。2017 年Strategy Analytics 發布的自動駕駛市場研發報告預測，自動駕駛在2035 年至2045 年的十年期間將能夠間接地使58.5 萬條生命受到有益的影響。《歐洲自動駕駛智能系統技術路線報告》指出：到2050 年，由于自動駕駛技術在汽車行業的應用，污染物排放降低50%，交通傷亡率接近零［3］。

自動駕駛技術是未來汽車行業最熱門的技術方向，國內外許多大型汽車企業和科研院所都在智能駕駛領域進行了巨額的投入和研究。然而，最近幾年，自動駕駛汽車經常性地出現安全事故問題，搭載了NOP（領航輔助系統）的蔚來汽車ES8 車型在2021 年造成了一起安全事故導致駕駛員的死亡，特斯拉的汽車在輔助駕駛系統狀態下也曾發生很多次的交通事故［4］，這讓人們不得不認真思考現在的自動駕駛發展到了什么水平，它的安全性是否能夠得到充分的保障。為了保障自動駕駛汽車的安全性，對自動駕駛汽車進行全面、科學、有效的測試就顯得特別有必要。在自動駕駛汽車被商業化之前，必須要經歷一層一層的測試才能被允許進行銷售使用。

現在主要的自動駕駛測試方法有：軟件在環測試、硬件在環測試、封閉道路測試和真實開放道路測試［5］。軟件在環測試存在著虛擬測試場景與真實道路場景存在差距和車輛模型精度欠缺的問題。封閉道路測試存在著測試成本高、測試場景有限的問題。真實開放道路測試存在測試成本高、測試周期長、安全性低、缺乏極端測試場景的問題。針對這些問題，提出一種基于數字孿生的自動駕駛硬件在環仿真測試架構，能夠高精度地將真實場景映射到虛擬場景中［6］，將算法模型搭建到硬件平臺中能夠更加逼真地模擬出自動駕駛汽車的運行狀態，在提高測試效率和降低測試成本方面具有巨大的優勢［7］。從使自動駕駛測試變得安全、高效方面考慮，采用硬件在環仿真測試能夠更好地推進自動駕駛的開發。

本文首先介紹了基于數字孿生的自動駕駛硬件在環仿真測試架構的設計，然后提出了一種基于深度學習的自動駕駛控制算法模型結構，并介紹了模型的訓練過程和模型評估指標，最后對自動駕駛控制算法模型實驗進行結果分析。

1 基于數字孿生的自動駕駛硬件在環仿真測試架構設計

基于數字孿生的自動駕駛硬件在環仿真測試架構主要由三個模塊組成，分別是：仿真測試場景構建模塊、算法控制模塊、仿真測試評價模塊，它的整體架構如圖1所示。

圖1 基于數字孿生的自動駕駛硬件在環仿真測試架構

其中仿真測試場景構建模塊和通信信道是搭載在實時機上的，算法控制模塊部署在AGX 上。在仿真測試場景構建模塊中，采集真實場景數據，根據真實場景數據構建數字孿生仿真測試場景并與真實場景的數據實時映射［8］。對于構建好的數字孿生仿真測試場景，將場景中的傳感數據輸入到算法控制模塊中，經過算法控制模塊的計算得到對應的駕駛輸出量，將駕駛輸出量輸入到車輛模型中控制虛擬場景中的車輛運行，形成了一個控制閉環［9］。對于仿真測試的結果，利用仿真測試評價模塊對測試結果進行評價。

1.1 算法控制模塊

本架構中的算法控制模塊搭載的是深度學習算法控制器，它的工作流程如圖2所示。先從仿真測試場景中采集當前車輛正對的場景圖片數據，將場景圖片進行幾何變換、裁剪、去噪以及圖像增強等數據預處理操作，然后設計并搭建好一個神經網絡結構，將預處理后的場景數據導入到神經網絡中進行訓練，通過訓練構建一個神經網絡駕駛模型，對駕駛場景信息進行識別，最后生成方向盤轉角、油門增量、剎車增量等駕駛指令對車輛進行控制。

圖2 算法控制模塊流程

1.2 仿真測試場景構建模塊

仿真測試場景構建模塊是利用數字孿生技術進行仿真測試場景的構建，該模塊的工作流程分為以下幾步：①通過激光雷達和攝像頭從真實道路場景中獲取車輛數據、交通流數據、行人數據、路網數據、環境數據［10］；②對獲取到的數據進行清洗，將不符合規則的數據刪除掉，將符合規則的數據保留，然后對數據進行格式化處理，并進行數據挖掘分析以及數據的分類，最后將結構化的數據保存到自動駕駛場景數字孿生系統數據庫中；③根據自動駕駛場景數字孿生系統數據庫中的結構化數據對虛擬模型進行構建和組裝［11］，將模型構建完成之后對虛擬模型進行驗證，若驗證通過，則加入到虛擬模型庫中以便后期運行和管理；若驗證失敗，則對虛擬模型進行修正直到驗證通過為止；④將模型庫中的環境、車輛、行人、交通流和路網三維模型導出并與真實道路場景進行數據的實時映射，利用三維構圖技術使數字孿生仿真測試場景三維動態可視化［12］。

在本文中仿真測試場景構建模塊是基于Airsim 和Unity3D 來進行搭建實現的，利用Unity3D來搭建自動駕駛場景，再利用Airsim 中集成的真實地圖數據，將地圖數據與自動駕駛場景結合搭建數字孿生仿真測試場景。同時，Airsim中還提供了不同的車輛模型來導入調用，可以設置并調用相關的傳感器來獲取場景數據和車輛數據以及搭建并調用車輛模型。

1.2.1 場景數據感知

在利用真實汽車數據進行物理建模并搭建虛擬車輛模型時，應該將虛擬汽車模型與不同的傳感器組合起來進行測試，確保虛擬傳感器性能接近真實傳感器，使得仿真測試更加貼近實際場景［13］。

在虛擬車輛上的傳感器對周圍環境進行檢測時，需要有一套規則來規定當前傳感器當前時刻所檢測到的是哪一個物體從而能得到一些具體的傳感數據，在本文中采用的傳感器檢測規則是最近點檢測法［14］，在傳感器檢測范圍內，選取離傳感器最近的物體作為傳感器的檢測目標點，如圖3所示。

圖3 最近點檢測法原理圖

1.2.2 車輛模型

虛擬的車輛模型由車輛的動力學關系形成，根據虛擬車輛的速度、前后輪的距離、前輪和后輪的角度關系、虛擬車輛的長度建立虛擬車輛的數學模型從而模擬車輛的運行［15］。本文的車輛模型簡化后如圖4所示。

圖4 車輛模型簡圖

根據車輛動力學模型可得：

由以上動力學模型簡化車輛模型可得：

上式可用通式表示為

其中：W=(xb,yb,α)T，m=(mb,θ)T，W描述了當前車輛的狀態信息，m表示對車輛的控制輸入。對于這個m有3個自由度，分別是方向盤轉向角、油門增量和剎車增量。

1.3 仿真測試評價模塊

對自動駕駛進行仿真測試就是為了檢測這個自動駕駛汽車是否安全、是否按照我們所設定的運行。因此，提出一種仿真測試評價方法就非常有必要。在本架構中就引入了一個仿真測試評價模塊，仿真測試評價模塊主要用于對仿真測試的結果進行一個評價，從而直觀地展示測試結果的好壞。通過對同一駕駛場景的算法控制模塊的駕駛指令輸出和人工操縱駕駛艙的駕駛指令輸出進行比較，從而對仿真測試的結果進行評價［16］，仿真測試評價模塊的工作流程如圖5所示。在該仿真測試評價模塊中，首先將駕駛場景輸入到算法控制模塊中，得到模型輸出的駕駛指令，然后將駕駛場景導入到駕駛艙中，人工操縱駕駛艙面對駕駛場景進行駕駛，得到人工輸出的駕駛指令，對模型輸出的駕駛指令和人工輸出的駕駛指令計算偏差，利用聚類分析方法對偏差數據進行聚類分析［17］，將聚類分析結果導入到設計的評分模型中，對測試結果進行分等級評價，等級分別為優、良好、合格、不合格四個評價等級。

圖5 仿真測試評價流程

2 基于CNN-BiLSTM 的自動駕駛控制算法模型

為了實現搭建基于數字孿生的自動駕駛硬件在環仿真測試架構，針對架構中的算法控制模型，本文利用一種基于CNN-BiLSTM 的端到端深度學習算法模型來實現自動駕駛的算法控制，CNN-BiLSTM 是由卷積神經網絡模型和雙向LSTM 模型結合而成，通過Airsim 的圖像傳感器采集當前車輛駕駛員視角的圖像，將該圖像傳入CNN-BiLSTM 模型，通過CNN-BiLSTM 模型的計算得到控制車輛行駛的駕駛量：剎車增量、油門增量、方向盤轉角［18］。

2.1 CNN卷積神經網絡簡介

卷積神經網絡是一種通過將卷積核矩陣與輸入圖像矩陣進行點乘運算的神經網絡，具有深度結構，能夠對圖像信息進行有效分類和完成回歸任務，能夠有效地提取出輸入中包含的特征［19］。一個完整的卷積神經網絡由很多不同的層來構成，主要有輸入層、輸出層、卷積層、池化層和全連接層，每種隱含層中都有著復雜的運算關系，通過這些復雜的運算能夠有效地獲取到輸入圖像的特征，對圖像的特征行為進行學習，從而訓練出一個精確度高的卷積神經網絡模型完成回歸任務［20］。每個層中會包含一些神經元，每個層中的神經元都有一個權值，這個權值通過一定的梯度下降規則在訓練過程中會不斷地更新調整［21］。

2.2 RNN循環神經網絡簡介

RNN 循環神經網絡是一種能夠有效保存前幾層計算結果的神經網絡，它的元素之間不是相互獨立的，它的計算方式是將當前的輸入與上一個時刻的狀態進行運算，從而得到當前層的輸出，經常用于解決具有序列特征的問題［22］。RNN循環神經網絡的簡單結構如圖6所示。

在RNN 循環神經網絡結構圖中，st表示的是t時刻的隱藏層狀態，xt和ot表示的是t時刻的輸入和輸出，f代表的是神經網絡的激活函數，這個激活函數一般為ReLU 函數，b表示偏置。因此，RNN循環神經網絡的計算公式定義為

2.3 LSTM簡介

RNN 循環神經網絡由于其具有記憶的特征，經常被用于序列模型中，但是RNN 也存在梯度消失和梯度爆炸的問題，這個問題主要出現在解決長期依賴問題過程中［23］。LSTM 是RNN 的一種變體，能夠將輸入信息中的長期信息和短期信息有效地保存下來，能夠有效地解決RNN存在的問題。LSTM 引入了輸入門、輸出門、遺忘門三種門結構來控制特征信息的流動和丟棄［24］，LSTM的單元結構如圖7所示。

圖7 LSTM單元結構

LSTM 的單元結構中包含了遺忘門ft、輸入門it和輸出門ot，它的計算公式如下：

在上式中，W表示權重，b代表偏移量，σ表示Sigmoid 函數，Ct是單元狀態，ht表示隱藏層的狀態。

2.4 模型結構

本文提出的CNN-BiLSTM 模型的具體結構見表1。

表1 CNN-BiLSTM 模型結構表

它主要由3 個卷積層、3 個池化層、3 個全連接層和1 個雙向LSTM 層組成，同時引入一個Flatten 層作為從卷積層到全連接層的過渡，把多維的輸入轉換為一維，即一維化。為了減少模型的過擬合現象，還引入了3 個Dropout 層來在訓練的過程丟棄一定數量的神經元。

2.5 模型訓練

2.5.1 模型訓練過程

根據前面提出的CNN-BiLSTM 模型結構，對CNN-BiLSTM 模型的訓練過程進行研究，CNN-BiLSTM模型訓練流程如圖8所示。在CNNBiLSTM 模型訓練過程中，先輸入圖像信息，對圖像數據進行預處理，在數據預處理的過程中將圖像中對自動駕駛影響最大的部分截取出來，丟棄圖像中的其他干擾部分，同時為了使數據更加多樣化，得到更多的信息特征，將部分圖像和標簽進行反轉處理，以及隨機地添加或者刪除圖像中的亮度，以便模型可以獲取到亮度的全局變化。對于數據集中數據為零的數據點，為了使數據集更加平衡，需要根據一定的策略丟棄這些數據點。在完成數據的預處理之后，通過CNN-BiLSTM 模型的卷積、池化、全連接等操作提取出數據集的特征，CNN-BiLSTM 模型通過不斷地更新神經元權值來不斷地對特征進行學習，最終完成模型訓練。

圖8 模型訓練流程

2.5.2 模型評價指標

本文選取平均絕對誤差（mean absolute error,MAE）、均方誤差（mean square error, MSE）、決定系數（R squared）、預測值與真實標簽的余弦距離平均值的相反數（Cosine_Proximity）、均方對數誤差（mean_squared_logarithmic_error, MSLE）作為卷積神經網絡模型精度的評估指標［25］。

平均絕對誤差（MAE）表示的是絕對誤差的平均值，它的函數式是：

均方誤差（MSE）通過將真值與模型估值誤差的平方求平均值，用來檢驗模型的預測效果，它的函數式是：

決定系數（R squared）可以反映訓練出來的模型對數據的擬合度，它的范圍一般在0～1 之間，它的值越接近1，表示這個模型的擬合程度越好，它的函數式是：

Cosine_Proximity 是通過余弦值來判斷真實值向量和預測值向量的相似程度，它的值越趨近于1，表示兩個向量的方向越一致，也就是說預測值越接近真實值，它的函數式是：

均方對數誤差（MSLE）是通過對數來表示真實值與預測值之間的偏差，它的函數式是：

3 實驗與結果分析

3.1 實驗環境

本文實驗是基于深度學習開源庫Tensor-Flow、Python 和Keras 深度學習框架搭建卷積神經網絡模型并對模型進行訓練的，具體的實驗仿真環境見表2。

表2 實驗仿真環境

3.2 數據處理

本文實驗采用的數據集來自于Airsim 仿真平臺提供的自動駕駛數據，Airsim 是微軟公司開源的一個跨平臺的基于虛擬引擎的仿真模擬平臺，可以在Airsim 平臺上利用平臺的仿真環境采集自動駕駛訓練數據，Airsim 平臺官方本身也提供了面向自動駕駛訓練的數據集。數據集主要由兩部分組成，一部分是駕駛員視角的圖像，另一部分是一個文本文件，文本文件中記錄著與圖像文件相對應的駕駛數據，由時間戳、速度、油門量、方向盤轉角、剎車量、檔位、圖像名稱，每個圖像都對應了一行駕駛數據，駕駛數據的采集是連續的。在數據集中還分為兩種數據，這兩種數據的數據結構一致，代表了兩種不同的駕駛策略和駕駛風格，一種是正常的駕駛風格，即方向盤轉角的變動相對平緩；一種是劇烈轉向的駕駛風格，即方向盤轉角的變動相對劇烈，通過兩種截然不同的駕駛風格數據的結合使得數據集更加多樣化、普適化。

對于數據集的處理，由于在自動駕駛中并不是整個駕駛員視角都是對自動駕駛重要的部分，因此會對數據集中的圖像進行截取處理，丟棄對自動駕駛訓練會造成干擾的部分，集中關注重要特征。本文實驗對數據集進行了劃分，訓練集、驗證集和測試集的比例為7∶2∶1，同時設置訓練的批量大小為32來進行訓練。

3.3 實驗結果分析

本實驗通過平均絕對誤差（MAE）、均方誤差（MSE）、決定系數（R2）、預測值與真實標簽的余弦距離平均值的相反數（cosine_proximity）、均方對數誤差（MSLE）來評估模型精度。實驗采用CNN、CNN_LSTM、CNN_GRU、CNN_BiLSTM 四個模型進行分析對比，四個模型在訓練過程中的評估指標的變化如圖9 所示。MAE、MSE和MSLE越接近0，Cosine_Proximity和R2越接近1，表示模型回歸精度越高，真實值與預測值越相似，模型的預測效果越好，從四個模型的評估指標隨著Epoch變化的趨勢可以看出，MAE、MSE和MSLE不斷地收斂于0，Cosine_Proximity和R2不斷地收斂于1，在訓練過程中略有波動，但最終仍不斷收斂。隨著Epoch的不斷增大，模型訓練逐漸收斂于某一個值，當收斂值在設定的Epoch范圍內變化值小于閾值時，則訓練停止。

當Epoch=200時，四種深度學習模型的性能指標如表3所示，從表3可以看到，CNN_BiLSTM模型的MAE、MSE和MSLE指標值是四種模型中最接近0的，它的R2和Cosine_Proximity指標值是四種模型中最接近1的，即CNN_BiLSTM模型在四種模型中回歸精度最好、擬合優度最高。在Epoch=200 時，CNN_BiLSTM 模型的擬合優度R2達到了0.9654，均方誤差MSE為0.0030，平均絕對誤差MAE為0.0334，均方對數誤差MSLE為0.0013，Cosine_Proximity達到了0.9800。

表3 四種深度學習模型性能指標

4 結語

隨著自動駕駛的不斷發展，對自動駕駛汽車進行充分的測試成為了最重要的難題。針對開放道路測試成本高、安全性低和軟件在環測試逼真度和精度不足的問題，本文提出了一個基于數字孿生的自動駕駛硬件在環仿真測試架構，大大降低了自動駕駛的測試成本，該架構由仿真測試場景構建模塊、算法控制模塊、仿真測試評價模塊三個模塊組成，并針對基于數字孿生的自動駕駛硬件在環仿真測試架構的算法控制器，提出一種基于CNN_BiLSTM 模型的端到端深度學習自動駕駛控制方法，經過實驗證明，CNN_BiLSTM 模型相比其他三種深度學習模型更能挖掘到數據特征，回歸擬合效果最佳，該模型在Airsim 平臺數據集上的擬合優度達到了0.9654，能夠更好地實現自動駕駛控制。