基于視覺的智能駕駛虛擬仿真平臺與課程教學實踐

周 越，楊宗浩，解 宇

（上海交通大學電子信息與電氣工程學院，上海 200240）

0 引 言

隨著人工智能技術的發展，智能駕駛成為自動化領域一個研究的熱點。計算機視覺作為其核心技術之一，成為該領域人才知識結構中的重要單元。高校承擔培養各領域人才的重任，如何培養具有扎實的基礎理論和勇于創新實踐的人才是至關重要。實踐教學是其中的一個重要環節。本文基于視覺感知的智能駕駛為案例構建“感知—分析—控制—執行”的實踐平臺，有助于學生系統性地構筑知識體系，在解決探究性、綜合性的工程問題時給予學生一個很好的創新實踐平臺［1］。

構建實物環境的條件苛刻、效費比低且具有一定危險性；對于日常實踐教學的批量任務無法實時滿足，且存在安全問題。同時，基于視覺的智能駕駛領域大量引入深度學習技術，需要各種場景下標注的樣本，場景樣本數據片面和海量數據樣本無法準確標注的問題凸顯。

虛擬仿真平臺通過將復雜的智能駕駛場景進行具象化，從系統的角度讓學生體驗所學理論知識與提升學生的創新實踐能力，同時該平臺能夠仿真不同環境下的各類信息（如視覺信息和深度信息），在一定程度上解決現實場景中海量數據標注問題，尤其是環境的深度感知信息與標注一直是相關技術研究的瓶頸。

基于Unity3D 的智能駕駛虛擬仿真平臺內容豐富，本文在介紹城市場景下智能駕駛的虛擬仿真平臺構建的基礎上，著重以環境深度感知為例，說明虛擬仿真的原理與教學實踐的研究。

1 虛擬仿真平臺開發及體系建設

虛擬仿真實驗平臺主要是兩大功能：①運用計算機視覺技術實現城市場景下的智能駕駛；②仿真產生不同場景下感知各類信息的數據樣本（如深度信息的感知），并帶有準確的標注信息。

1.1 城市場景智能駕駛任務的實現

在城市場景駕駛任務部分，平臺提供了三大類型的仿真實驗，城市道路駕駛、測距測姿和自動泊車實驗。各實驗由簡到難，引導學生進行實驗，學生可以在不同類型場景下，根據不同難度逐一進行探索和實驗。此外，在測距實驗中，可以通過調整雙目相機基線距離、相機焦距參數、前后車起始距離、前車運行速度以及前車特征標志圖類型進行分組對照實驗。又如自動泊車實驗，提供地面和地下停車場2 種不同難度的仿真環境，對仿真光照和物理空間有著不同的難度。實驗需要學生通過優化不同的多視角組合獲得更有效的視覺信息來完成各項任務，增強了實驗的探索性和學生的自主性。

1.2 環境深度感知仿真的實現

平臺還提供多種場景下深度信息感知的仿真。為學生進一步探究基于深度學習的環境感知與建模提供了數據支撐。

自動駕駛需要對周圍環境中的物體距離有所感知，因此平臺為采集相機提供場景的深度信息，學生可以使用車輛上的采集相機對環境中的彩色圖像和對應的深度圖像進行采集。為獲取仿真環境中物體的深度信息，在采集相機對場景進行渲染時，平臺在通用渲染管線中的深度測試階段獲取深度緩沖信息，從而使用該信息推算物體與采集相機之間的距離。深度緩沖作用是避免對相機采集畫面中場景內的被遮擋物體進行渲染，在節省不必要計算的同時，可以獲取場景內物體與采集相機的距離。因此平臺利用深度緩沖階段的深度相關信息進行深度測試，最終得到與彩色圖像對應的深度圖，每個像素點具有該點屬于的物體相對相機的距離信息。

相機所采集的視差范圍由設定好的遠近平面所決定，利用最遠平面剪裁可以舍去比最遠平面更遠的物體的渲染計算，同理，比最近平面更近的物體不需要進行渲染。因此，常規的深度測試直接利用線性深度緩沖進行計算，將圖像像素點對應該點在空間坐標系中的z坐標映射到視差范圍內，far和near是用來提供到投影矩陣設置可見視圖截錐的遠近值。其線性轉換方程如下：

使用該方法獲取的深度圖與對應的彩色圖像對深度估計網絡模型進行訓練，發現訓練好的模型在公開數據集上的表現較差，而在可視化視差圖結果上可以看出最終得到的視差圖中遠處物體和近處物體的差異并不明顯。因此，本平臺在線性深度測試的基礎上進行改進，建立非線性映射方程以進行深度測試，犧牲對遠處不感興趣物體深度識別精度，從而提高對近處物體深度識別精度的提升。最終建立的非線性映射方程：

圖1 為非線性映射函數圖像。

圖1 深度值非線性轉換函數圖

基于非線性深度測試方法，平臺提出并實現對采集圖像像素點重建該點世界空間坐標的方法，從而獲取該點深度值。平臺使用圖形著色器進行實現。Unity默認的深度測試方法為：首先使用Unity 內置正交矩陣Munity對該頂點向量從世界空間向量vvertex轉換到觀察空間向量：

然后通過頂點向量v 在觀察空間中的z軸分量（v.z）計算出相機視點的觀察線性深度值（Eye Depth）o，公式如下：

據此，結合遠平面截斷與非線性深度緩沖計算方法，通過圖形著色器的改寫成功獲取非線性深度值f，最終的深度值計算方法公式為

2 虛擬仿真實驗平臺與課程教學研究

2.1 虛擬仿真環境開發

平臺所有仿真環境和場景的構建均基于Unity3D圖形引擎，該公開平臺不僅能夠提供充足的仿真場景中所需要的資源，還具有完整的插件系統，更有利于搭建供學生使用的自動駕駛仿真平臺。此外，本平臺在還原現實生活中自動駕駛應用場景方面，盡可能涵蓋了常見的駕駛場景，不僅包括日常行駛的城市街道或高速公路，更包括了自然駕駛場景和地下停車場等更具有視覺挑戰性的復雜場景［14-15］。

引入平臺是為了給學生提供“學以致用”的平臺［2］，整個虛擬仿真實驗系統架構如圖2 所示。①穩定的實驗環境建設機制：前端包括仿真模型的搭建和使用者代碼編輯功能的建設，后端包括車輛的仿真計算引擎以及仿真場景分配功能。②友好的系統運行需求：本仿真系統可在windows 或linux 系統下運行，用戶使用瀏覽器登錄網站后即可體驗平臺的功能。③真實的仿真信息反饋：在車輛的仿真部分，使用Unity3D搭建車輛行駛場景，代碼IDE 區域實現與python相同的功能，給使用者帶來真實準確的調試反饋信息［3］。

圖2 虛擬仿真實驗系統架構

2.2 虛擬仿真實驗教學方法

（1）以“系統導向，實踐閉環，拓展學習”為總體設計思路。智能駕駛場景下的系統性、綜合性實驗是計算機視覺課程中重要的實踐環節［3］。學生通過虛擬仿真實驗操作，可以打破時空壁壘，無須親臨真實實驗場地，可達到將理論用于實踐的教學目標，而且虛擬仿真實驗還能夠及時地給出反饋，將實驗效果以及對比結果回饋于學生，形成實踐閉環。另外，在對平臺設置的復雜工程問題進行分析-解決的過程中，可以更好地激發學生自主拓展學習的熱情，從而達到對知識深化學習和拓展知識的目的。

（2）以“實踐探究，興趣驅動，自主創新”為技術實現目標。實驗由簡到難引導學生進行實驗，學生可以在不同類型場景下，根據不同難度逐一進行探索和實驗，實現了任務多元化、難度層次化。此外，如在深度測距實驗中，也可以通過調整雙目相機基線距離、相機焦距參數、前后車起始距離、前車運行速度以及前車特征標志圖類型進行分組對照實驗。在實驗中學生可以采用控制變量法，逐漸增加實驗場景復雜度，逼近顯示實際生活場景，完成對應的車輛實驗任務。

又如智能駕駛的環境深度感知，平臺仿真在不同場景、氣象條件和不同時間，針對多樣化的場景元素仿真出深度信息，同時給出大量數據樣本相應的標注信息，為學生探究不同深度網絡和學習算法提供了重要支撐；同時可以探究與真實獲取的樣本數據的對比實驗以評估仿真數據的有效性，進一步研究不同算法在不同場景下的優劣，增強了實驗的探索性和自主研究的創新性［4］。

3 智能駕駛平臺虛擬環境構建

3.1 實驗仿真場景的設計

場景中的元素設計主要分為4 個部分，分別為現實生活中客觀環境還原、人類行為活動的模擬、道路上車輛動態行駛邏輯、不同天氣效果和晝夜更替。圖3展示了同一個場景中的不同視覺效果，為用戶還原更真實的視覺任務場景。

圖3 同一場景不同視角與天氣情況下仿真對比

平臺實現仿真場景中一天內光照效果的真實變換，還原晝夜更替效果。仿真環境中的主光源用于模擬日光或月光，因此會隨時間變換而改變照射角度、光照強度，以及光照顏色。除了光照效果外，天空盒也會隨時間變化，太陽和月亮會對應時間升起或落下，云層也會進行一定程度的隨機變換，并且與天氣系統對應。在夜晚時，建筑物、街燈和車燈都會亮起。天氣效果利用粒子系統實現，模仿雨滴或雪花的效果。場景中還使用后處理方式豐富了真實燈光細節，如路燈的光暈和車燈的強光。

在逼真的客觀仿真環境中，為了提供接近真實場景的車輛運動狀態測量環境，平臺在搭建仿真環境時提供了多因素的實驗環境，包括雙目相機間距、車輛運動狀態變化、前后車輛間距變化、車輛定位標志牌、多種交通標志、車道障礙物等外界信息的交互。為了提供接近真實停車場景的車輛泊車環境，和環境感知本仿真系統在構建仿真環境時提供了豐富主觀人為全要素的實驗環境，包括可視方位變化、停車位定位信息變化、車輛與環境中已泊車輛的距離等外界信息的交互。

3.2 多樣場景參數的調控框架設計

平臺提供一個隨機化框架，簡化了將隨機擾動因素引入場景的過程。平臺提供的多個樣本隨機化器，可以完成常見的隨機化任務（例如，隨機對象的位置、旋轉、紋理和色調，以及場景內的天氣、天空背景等等）。此外，為在同一場景內執行不同駕駛任務，本系統提供UI面板和按鍵操控功能。圖4 展示了UI操控面板所提供的部分控制接口。例如任務要求為利用街道駕駛場景中的雙目立體視覺圖像信息完成綜合駕駛任務，則使用隨機化工具可以宏觀調控場景中物體的預設組合，以及部分車輛和建筑物等物體的放置方式，從而改變任務的難度；也可以微觀設置當前駕駛汽車或場景中其他車輛的運動模式、雙目采集相機的相機參數等。

圖4 參數調控工具面板

總而言之，場景參數調控框架可以滿足用戶進行綜合任務時對場景內物體的調控要求，幫助用戶在實驗中更好地利用所需要的視覺信息，配合實驗平臺所提供的信息真值，實現更復雜的視覺算法，最終能夠有多種方式可選擇地完成綜合駕駛任務的要求。

3.3 平臺的多環境兼容

平臺無須安裝其他插件、外置設備或者軟件，打開瀏覽器，輸入有效鏈接地址，即可進入仿真平臺環境。在實驗過程中，學生只需要打開對應的實驗場景，在代碼框中編輯合適的處理算法，點擊連續運行或單步調試，即可進行實驗。對學生使用的電腦硬件條件并沒有任何約束，也無需在使用本虛擬仿真平臺前安裝任何插件，學生只需要位于網絡良好的環境中，便可以進行實驗。

4 仿真平臺教學應用案例與評估

自平臺搭建以來，共計已有大約1 200 余名學生在教學中使用該平臺，其中使用平臺的學生不僅包含了本科三、四年級，還有碩士研究生，同時在全國內部推廣，涵蓋10 余所高校。

通過使用該平臺，一方面能夠促進學生掌握計算機視覺技術，另一方面激發了學生們的創新實踐能力。

4.1 基于平臺的深度感知建模的實踐案例

本平臺最大程度提供逼真的仿真場景和供用戶利用視覺信息完成綜合駕駛任務的仿真平臺。環境感知與分析建模實驗分為3 個階段：①環境感知數據生成；②利用平臺提供的仿真數據對單目深度估計建模；③與真實數據所得的模型進行對比與評估，驗證在平臺上所使用的圖像處理算法，能夠更好地在真實場景中使用，從而達到實驗教學的目的。

平臺為學生提供了場景深度圖采集功能，為驗證本平臺仿真場景所采集的圖像質量以及對應的深度圖質量，本文于實驗部分選用目前單目深度估計常用網絡模型MonoDepth2［5］對本平臺提供的圖像數據進行質量驗證。

首先在本平臺上對不同場景采集視頻序列，分辨率設定為640 ×480。使用固定基線的兩個采集相機以20 幀／s的幀速率進行雙目圖像采集，彩色圖像與深度圖一一對應。

本案例中MonoDepth2 模型使用PyTorch 工具搭建，優化方式采用Adam優化［6］，迭代周期默認設為20個，批處理大小為12，輸入和輸出分辨率均為640 ×192。驗證集數量約為訓練集大小的10%。

4.2 建模實驗結果的評價指標

本文使用以下常用的量化指標，作為對訓練后模型單目深度估計表現的衡量標準：

（1）絕對相對誤差。計算每一個像素點i的估計深度值Di與實際深度值D*i的差值絕對值，并除以實際深度值，最后將結果進行累加并取總數為N個像素點的平均值。計算式如下：

（2）平方相對誤差。計算每一個像素點i的估計深度值Di與實際深度值的差值平方，并除以實際深度值，最后將結果進行累加并取總數為N個像素點的平均值。計算式如下：

通過以上測試指標對實驗結果進行分析，誤差值指標AbsRel和SqRel越小說明模型測試結果越好，準確度指標越高說明模型深度估計能力越好。

4.3 模型精度評測

本文首先分別使用真實數據集KITTI［7］和平臺所得到的仿真數據訓練MonoDepth2 網絡模型，訓練分為兩種方式，一種是只用單目數據對模型進行訓練；另一種是以一定比例將單目數據和雙目數據進行混合，然后訓練網絡模型。將訓練好的模型在KITTI數據集上進行測試，測試集分割選用Eigen子集，使用單目深度估計指標對不同數據訓練所得的網絡模型的深度估計能力進行比較與評估。

表1 的結果說明本平臺所采集的仿真數據訓練好的模型在4 個指標中，與真實數據建模所得的模型測試指標十分接近，說明本平臺仿真的深度數據與真實數據對網絡模型的訓練效果相近［8］。

表1 不同數據訓練后的模型在KITTI測試集上深度預測表現

再進行定性分析，使用不同數據訓練所得模型對同一張圖進行單目深度估計，并對比可視化視差圖（見圖5）。其中：圖5（a）為原圖，圖5（b）、（c）分別對應KITTI數據集中使用單目數據單獨訓練和單雙目數據混合訓練結果，圖5（d）、（e）分別對應平臺仿真數據只使用單目數據訓練和單雙目數據混合訓練結果。可視化視差圖對比可得，平臺中的仿真深度數據與真實數據對建模效果一致。

圖5 深度估計結果可視化視差圖對比

綜上所述，平臺所提供的彩色圖像數據與對應深度數據能夠滿足深度視覺相關實驗要求，擁有與真實數據相近的逼真程度與準確性，具有實驗價值［9-12］。

5 結 語

隨著科學技術的不斷發展，計算機視覺技術越來越多地應用于智能駕駛領域，實驗教學在課程中起著越來越重要的作用。

本文主要針對計算機視覺課程的教學進行了一些改革嘗試，通過虛擬仿真實驗，不僅培養了學生動手實踐的能力，還增加了學生對于此課程的學習積極性，對學生系統地掌握理論知識和提升創新能力都具有極大的促進作用，最終達到提高教學質量的目的［13-14］。