基于CARLA仿真平臺的智能汽車感知技術虛擬仿真實驗設計研究

摘要：當前，高校智能汽車感知技術的實驗教學普遍面臨硬件成本高、實驗環境復雜、教學內容滯后等問題，難以滿足行業對多傳感器融合與深度學習技術的實際需求。為此，開源的卡拉自動駕駛仿真平臺CARLA（Car"Learning"to"Act）提出了一套模塊化的虛擬仿真實驗教學方案。方案通過虛擬化手段，設計了傳感器配置與數據采集、多傳感器數據融合、目標檢測與分類等核心實驗模塊，覆蓋了從基礎操作到復雜算法開發的多層次內容。相比傳統教學方法，方案利用CARLA平臺的高可定制性和多場景仿真能力，顯著降低了硬件成本與安全風險，同時提供了真實場景條件下的多模態數據，為學生的實踐和創新提供了豐富素材。實驗內容緊貼行業發展前沿，涵蓋深度學習目標檢測、多傳感器協同感知等熱門技術，幫助學生系統掌握感知技術的核心知識與技能。此教學方案既解決了傳統教學中的重難點問題，又為智能汽車相關課程的實驗教學與人才培養提供了重要參考。

關鍵詞：CARLA仿真平臺"智能汽車感知技術"虛擬仿真實驗"多傳感器融合"深度學習

Research"on"Virtual"Simulation"Experiments"Design"for"Intelligent"Vehicle"Perception"Technology"Based"on"the"CARLA"Simulation"Platform

LI"Runlin"YIN"Mingxu*"LIU"Rui"WEN"Qiang

School"of"Intelligence"Technology，"Geely"University"of"China，"Chengdu，"Sichuan"Province，"641423"China

Abstract："Currently，"experimental"teaching"of"intelligent"vehicle"perception"technology"in"universities"faces"challenges"such"as"high"hardware"costs，"complex"experimental"environments，"and"outdated"teaching"content，"which"are"difficult"to"meet"the"industry's"actual"demand"for"skills"in"multi-sensor"fusion"and"deep"learning"technology."To"address"these"issues，"this"paper"proposes"a"modular"virtual"simulation"experimental"teaching"scheme"based"on"the"open-source"CARLA"（Car"Learning"to"Act）"autonomous"driving"simulation"platform."The"scheme"utilizes"virtualization"techniques"to"design"core"experimental"modules"such"as"sensor"configuration"and"data"acquisition，"multi-sensor"data"fusion，"and"object"detection"and"classification，"covering"multi-level"content"from"basic"operations"to"complex"algorithm"development."Compared"to"traditional"teaching"methods，"the"solution"utilizes"the"high"customizability"and"multi"scenario"simulation"capabilities"the"CARLA"platform，"significantly"reducing"hardware"costs"and"safety"risks."At"the"same"time，"it"provides"multimodal"data"under"real"scenario"conditions，"providing"rich"materials"for"students'"practice"and"innovation."The"experimental"content"closely"aligns"with"the"forefront"of"industry"developments，"covering"popular"technologies"such"as"deep"learning-based"object"detection"and"multi-sensor"collaborative"perception，"helping"students"systematically"master"the"core"knowledge"and"skills"of"perception"technology."This"teaching"scheme"not"only"addresses"the"key"and"difficult"challenges"of"traditional"teaching，"but"also"provides"a"important"reference"for"experimental"teaching"and"talent"cultivation"of"intelligent"vehicle"related"courses.

Key"Words："CARLA"simulation"platform;"Intelligent"vehicle"perception"technology;"Virtual"simulation"experiments;"Multi-sensor"fusion;"Deep"learning

智能汽車感知技術作為自動駕駛系統的核心，涵蓋多傳感器數據采集、目標檢測、環境感知等關鍵任務，其發展對自動駕駛技術的進步具有重要意義。然而，高校在智能汽車相關課程的實驗教學中，面臨硬件成本高昂、實驗環境不完善、教學內容滯后等問題，導致學生難以掌握感知技術的核心技能、實踐能力與創新意識不足。同時，傳統實驗教學模式在多傳感器融合與深度學習技術教學中存在明顯短板，與行業需求脫節嚴重。基于此，本文引入CARLA（Car"Learning"to"Act）自動駕駛仿真平臺，設計了一套模塊化的虛擬仿真實驗方案。CARLA平臺具備多樣化交通場景與傳感器模擬能力，可以生成高質量的多模態數據，為高校提供低成本、高安全性和靈活性強的實驗環境。本文的實驗方案包括傳感器配置與數據采集、多傳感器數據融合、目標檢測與分類等模塊，實驗任務從基礎到高級逐層遞進，旨在幫助學生掌握智能汽車感知技術的核心知識與實踐技能，同時激發其探索行業前沿技術的興趣與能力。研究結果為高校智能汽車課程的實驗教學提供了重要參考，并為培養行業所需的復合型技術人才奠定了基礎。

1"面向感知技術實驗教學的問題

1.1."理論與實踐結合的斷層

智能汽車感知技術是一門多學科交叉領域，涵蓋傳感器原理、數據處理等知識。但是，傳統教學以理論為主，缺乏實踐，導致學生難以掌握復雜技術。另外，實踐環節要求學生掌握傳感器標定、數據處理與算法實現，但缺乏系統指導和實驗數據，加大了學習難度。理論與實踐的脫節不僅降低了學生的學習效果，還削弱了其對感知技術核心知識的掌握深度。

1.2"硬件資源與實驗環境的限制

感知技術實驗對高昂硬件設備（如激光雷達、高清攝像頭）依賴性強，高校難以為學生提供充分條件，限制實踐機會。實驗環境受限于動態交通流和復雜天氣條件，同時，真實測試場地成本高且存在安全風險，難以支持多樣化教學。

1.3"教學內容的滯后性

近幾年，智能汽車感知技術發展迅速，許多新興技術已成為行業的研究熱點和工程實踐的核心。然而，高校的課程內容設計往往無法及時跟上技術發展的步伐，特別是在感知技術實驗教學中，教學內容的滯后性表現尤為明顯。傳統教學以單傳感器實驗為主，難以滿足多傳感器融合與深度學習技術需求。此外，許多深度學習算法（如YOLOv4[1]、DETR[2]"等）在高校教學中缺乏實踐環節，學生難以體驗其在真實任務中的應用。這種教學內容與行業需求之間的脫節不僅影響了學生的學習興趣，也限制了他們未來在科研與工程實踐中的競爭力。

2"面向感知技術實驗教學的解決方案

2.1""CARLA仿真平臺的引入

為了克服當前感知技術實驗教學中硬件資源不足、實驗環境受限、教學內容滯后等問題，虛擬仿真實驗平臺的引入為解決這些挑戰提供了有效的替代方案。CARLA仿真平臺作為一款開源的自動駕駛仿真工具，具備高度可定制性和靈活性，為感知技術實驗教學提供了理想的技術支持。該平臺能夠模擬多種復雜的交通場景，包括城市道路、鄉村公路、高速路、動態交通流等，并且支持不同天氣與光照條件的虛擬化實驗環境。這種虛擬化場景的多樣性使學生能夠在仿真環境中模擬真實的交通場景，有效規避了傳統實驗中場地與安全的限制。

CARLA平臺支持多種傳感器類型的模擬，包括激光雷達、紅綠藍攝像頭（Red-Green-Blue，RGB）攝像頭、深度攝像頭和毫米波雷達等，能夠生成高質量的多模態感知數據[3]。學生可以通過平臺配置傳感器的安裝位置、參數設置與視場范圍，并采集點云數據、圖像數據和車輛位置信息等。這些虛擬傳感器的數據輸出與真實設備的特性高度一致，能夠滿足實驗中對多傳感器數據采集與處理的需求。通過使用虛擬傳感器，學生無需依賴昂貴的硬件設備即可完成實驗任務，顯著降低了實驗教學的硬件成本。

CARLA"提供開放接口，兼容主流深度學習框架（如"PyTorch），支持學生完成從數據預處理到算法驗證的全流程。這種開放性不僅提升了學生的編程實踐能力，也為實驗教學提供了靈活的擴展空間。CARLA還提供高重復性與安全性，支持學生在虛擬環境中反復調試算法，避免真實場景中的安全風險。

2.2"解決方案

針對高校智能汽車感知技術實驗教學中存在的硬件資源不足、實驗環境復雜、教學內容滯后等問題，本文基于CARLA仿真平臺提出了一套模塊化虛擬仿真實驗教學方案。CARLA仿真平臺通過生成高質量的多模態傳感器數據和多樣化的虛擬交通場景，有效替代了傳統實驗對昂貴硬件設備和真實場地的依賴，顯著降低了實驗成本，同時提供了安全、靈活的實驗環境。學生能夠在平臺中完成從傳感器配置與數據采集到算法開發與驗證的完整流程，充分保障了實踐機會。

實驗教學內容設計采用模塊化方式，將感知技術拆解為多個核心模塊，包括傳感器配置與數據采集、多傳感器數據融合、目標檢測與分類、車道線檢測等，覆蓋了從基礎操作到復雜算法開發的多層次任務。通過逐層遞進的任務設計，學生能夠根據自身能力選擇適合的實驗路徑，逐步掌握感知技術的核心知識與技能[4]。例如：在目標檢測模塊中，學生可以利用預訓練模型（如YOLOv4、Faster"R-CNN）對虛擬場景中的車輛、行人和交通標志進行檢測與分類，并分析不同算法的檢測精度與速度優缺點；在多傳感器數據融合模塊中，學生可以完成激光雷達點云與攝像頭圖像的空間對齊與融合，實現環境感知的多模態融合。

CARLA仿真平臺的靈活性與擴展性使其能夠滿足不同教學目標與學生能力水平的需求。教師可以根據課程目標設計從基礎到高級的實驗內容，如基礎課程中的傳感器配置與數據采集、高階課程中的深度學習算法開發與優化任務，甚至根據學生的研究興趣設計個性化實驗任務。在實驗環境方面，CARLA能夠模擬多種復雜交通場景，包括惡劣天氣、光照變化與動態交通流，幫助學生驗證算法在不同條件下的適用性與魯棒性，從而全面提升對感知技術的理解與應用能力。

通過開放的接口，CARLA平臺支持學生編寫代碼實現多種感知算法，包括基于深度學習的目標檢測、目標分類和語義分割等。在虛擬仿真實驗中，學生可以利用CARLA生成的仿真數據訓練YOLOv4、Faster"R-CNN、DETR等深度學習模型，并驗證算法的精度與實時性，同時掌握算法性能優化的方法。

虛擬仿真實驗的高效性和安全性進一步提升了教學效果。學生可以在安全可控的環境中反復調試感知算法，快速迭代實驗方案，從而在短時間內完成大量實驗任務。從整體來看，基于CARLA仿真平臺的虛擬實驗教學方案通過模塊化設計和靈活任務設置，解決了傳統教學中的重難點問題，幫助學生掌握感知技術的核心技能，激發創新意識，并提升實踐能力。該方案為智能汽車課程的實驗教學提供了重要參考，也為高校培養具備實戰能力的智能汽車技術人才開辟了新的路徑。

3"基于CARLA的感知技術實驗教學設計

3.1"實驗教學目標

實驗教學在智能汽車感知技術課程中承擔著理論知識與實踐能力連接的橋梁作用，其目標不僅在于幫助學生掌握核心理論，還在于提升其實踐能力與創新意識[5]。基于CARLA仿真平臺的實驗教學通過模塊化設計與任務驅動的教學方法，使學生能夠從基礎的傳感器操作逐步深入到復雜的感知算法實現與優化。具體而言，實驗教學目標包括以下4個層面。

3.1.1"理論知識的鞏固與深化

感知技術是智能汽車系統的核心組成部分，其涉及的知識體系包括傳感器原理、多傳感器數據處理、環境感知算法等多個領域。實驗教學的首要目標是幫助學生在實踐中鞏固這些理論知識，并通過具體任務加深對核心概念的理解。例如：通過傳感器配置與數據采集實驗，學生能夠直觀感受到激光雷達、攝像頭等設備的實際工作特性；通過多傳感器融合實驗，學生能夠掌握多模態數據的時空對齊與信息融合原理。這種理論與實踐相結合的教學方式有助于學生將書本中的知識轉化為實際解決問題的能力。

3.1.2"實踐能力的培養與提升

智能汽車感知技術的實踐環節涵蓋了從傳感器數據采集到感知算法開發的多個步驟。實驗教學的另一個重要目標是幫助學生掌握這些關鍵環節的操作技能。學生需要通過CARLA平臺完成傳感器參數配置、數據采集與分析、目標檢測算法的訓練與測試等任務，從而熟悉感知技術的核心實踐流程。通過多次實驗的反復練習，學生能夠提升在虛擬環境中獨立完成實驗任務的能力，同時積累解決實際工程問題的經驗[6]。

3.1.3"創新意識的激發與培養

智能汽車感知技術的快速發展對高校實驗教學提出了更高的要求，不僅需要傳授學生現有的知識與技能，還需要引導他們關注行業前沿技術，并在實驗中嘗試新的解決方案。實驗教學的目標之一是激發學生的創新意識，通過開放性的實驗任務設計，鼓勵學生在完成基礎任務的同時，探索更具挑戰性的問題。例如：在環境感知算法優化實驗中，學生可以嘗試使用不同的深度學習模型或改進數據預處理方法，以提升算法的魯棒性與效率。通過這種引導，學生能夠逐步形成分析問題、提出新思路并驗證其可行性的能力。

3.1.4"工程實踐與行業需求的對接

實驗教學還應注重培養學生的工程實踐能力，使其掌握與行業實際需求相符的技術與技能。智能汽車感知技術的應用場景復雜多樣，包括惡劣天氣條件下的目標檢測、動態交通流中的多傳感器數據融合等，這些應用場景對感知算法的魯棒性、實時性和精度提出了嚴格要求。通過CARLA仿真平臺，學生可以在虛擬環境中模擬復雜交通場景，并測試算法在不同條件下的性能。實驗教學的目標是讓學生在實驗中接觸真實場景的技術挑戰，理解行業對感知技術的具體需求，從而為未來科研與工程實踐打下堅實基礎。

3.2"模塊化實驗設計

為了提升實驗教學的系統性與針對性，基于CARLA仿真平臺的實驗內容設計采用模塊化的方式。每個模塊針對感知技術教學中的核心環節進行任務拆解，構建由淺入深、層次遞進的學習路徑。模塊化的設計不僅能夠幫助學生逐步掌握感知技術的關鍵知識與技能，還便于根據課程目標調整或擴展實驗內容。實驗模塊主要包括傳感器配置與數據采集、多傳感器數據融合、環境感知算法開發與驗證3個部分。

3.2.1"傳感器配置與數據采集

本模塊的目標是幫助學生熟悉智能汽車感知系統中常用傳感器的基本原理與操作方法，并掌握虛擬傳感器的配置與數據采集流程。在CARLA平臺中，學生需要完成以下任務。

（1）配置激光雷達、RGB攝像頭、深度攝像頭和慣性測量單元（Inertial"Measurement"Unit，IMU）等傳感器，調整其安裝位置、視場角、采樣頻率等參數，并生成不同配置下的感知數據。實驗通過對比不同參數設置對數據采集效果的影響，幫助學生理解傳感器參數設計的重要性。

（2）采集并分析多模態感知數據，包括激光雷達點云、RGB圖像、深度圖和車輛位置信息等。為了加深對數據特性的理解，學生需要對采集到的點云數據進行三維可視化處理，并分析其空間分布特性；對RGB圖像數據進行預處理，包括分辨率調整、光照變化分析等。

（3）在動態交通場景中進行數據采集任務。學生需要在CARLA平臺中模擬復雜交通環境（如包含行人、車輛和動態障礙物的城市街道），采集場景中的多模態感知數據。這一任務幫助學生理解動態場景下傳感器數據的特點，為后續實驗中的算法開發與驗證奠定基礎。

3.2.2"多傳感器數據融合

本模塊聚焦多傳感器協同工作的關鍵技術，旨在讓學生掌握多傳感器數據標定、時空對齊與信息融合的核心方法。實驗內容包括以下幾個部分。

（1）外參標定與坐標系轉換。學生需要完成激光雷達與攝像頭的外參標定任務，實現兩種傳感器之間的坐標系轉換與對齊。在CARLA平臺中生成標定板圖像與點云數據，利用標定算法計算外參矩陣，并通過疊加顯示驗證標定精度。該任務能夠幫助學生理解多傳感器外參標定的基本原理與實現方法。

（2）多模態數據融合。在完成外參標定后，學生需將激光雷達點云與RGB圖像進行融合，實現點云數據在圖像上的投影與顯示。通過分析激光雷達與攝像頭在不同視場范圍內的數據一致性，學生能夠加深對多模態數據融合技術的理解。

（3）動態場景中的數據融合。學生在動態交通環境中進行多傳感器數據融合實驗，完成對行人、車輛和障礙物的融合感知任務。實驗要求學生對融合數據進行動態可視化處理，并分析不同傳感器組合對感知系統性能的影響。這一任務幫助學生理解多傳感器協同工作的實際意義，同時為后續的環境感知算法開發提供數據支持。

3.2.3"環境感知算法開發與驗證

本模塊以算法開發為核心，任務設計圍繞智能汽車感知技術中的核心算法展開，涵蓋目標檢測、目標分類、語義分割等關鍵環節。實驗內容包括以下幾個方面。

（1）目標檢測與分類。學生需利用CARLA平臺中采集的仿真數據，開發基于深度學習的目標檢測與分類算法。在實驗中，學生可以選擇使用YOLO、SSD或Faster"R-CNN等模型，對交通場景中的車輛、行人和交通標志進行檢測與分類。實驗要求學生對檢測結果進行性能評估，分析模型在精度、速度方面的表現，并嘗試優化模型參數以提升檢測效果。

（2）語義分割。在語義分割任務中，學生需實現對道路區域、車道線、障礙物等場景要素的像素級分割。實驗中，學生需要基于現成的深度學習框架（如DeepLab或U-Net）對CARLA生成的語義標簽數據進行訓練，并驗證分割算法在不同場景下的性能。通過該任務，學生能夠掌握場景理解的基本方法，并對語義分割算法的應用有更深刻的認識。

（3）算法性能驗證與適應性分析。學生需要在不同實驗場景中驗證感知算法的性能。例如：在CARLA中模擬惡劣天氣（如雨天和霧天）或低光照條件下，測試目標檢測與語義分割算法的魯棒性。實驗要求學生分析算法在不同條件下的性能退化情況，并提出改進方案。這一任務能夠幫助學生掌握算法性能分析與優化的基本技能，同時加深對實際應用中技術挑戰的理解。

通過上述模塊化的實驗設計，學生能夠從傳感器配置與數據采集逐步深入到多傳感器數據融合與環境感知算法開發的全過程。模塊之間的任務設計緊密銜接，既能幫助學生系統掌握感知技術的核心知識與技能，又能為其提供靈活的學習路徑。基于CARLA仿真平臺的實驗教學設計為感知技術教育提供了創新的實施方案，也為培養具備實踐能力與創新意識的智能汽車人才奠定了堅實的基礎。

4."結語

本文基于CARLA仿真平臺構建了一套模塊化的感知技術實驗教學方案，通過傳感器配置與數據采集、多傳感器數據融合、環境感知算法開發等模塊，使學生能夠系統掌握感知技術的核心知識與實踐技能。該方案有效解決了傳統教學中硬件資源不足與實驗條件受限的問題，同時緊貼智能汽車行業需求，將深度學習、數據融合等前沿技術融入教學，提升了學生的實踐能力與創新意識。虛擬仿真實驗的引入不僅降低了教學資源門檻，還為課程內容的動態更新與個性化教學提供了支持。未來的教學實踐中，可以進一步結合復雜場景與行業需求，持續優化實驗內容，為培養智能汽車領域的復合型技術人才提供重要參考。

參考文獻

[1]"BOCHKOVSKIY"A，"WANG"C"Y，"LIAO"H"Y"M."Yolov4："Optimal"speed"and"accuracy"of"object"detection[J]."arXiv："e-print，"2020.

[2]"CARION"N，"MASSA"F，"SYNNAEVE"G，"et"al."End-to-end"object"detection"with"transformers[C]//European"Conference"on"Computer"Vision."2020："213-229.

[3]"尹譽翔.基于Carla仿真平臺的YOLOv5多目標檢測研究[J].黑龍江科學，2024，15（6）：12-15.

[4]"張瓏，陳鏡宇，王雪妍.虛擬仿真實驗在物理實驗教學中的應用[J].湖北師范大學學報（自然科學版），2024，44（3）：62-66.

[5]"趙登峰，翟洪飛，侯俊劍，等.車輛工程專業課程虛擬仿真實驗教學改革探索：以汽車振動與噪聲控制課程為例[J].汽車實用技術，2024，49（22）：127-130，150.

[6]"匡卓然，汪成，朱瑞，等.基于Unity的信息光學虛擬仿真實驗設計：以阿貝成像與空間濾波實驗為例[J].物理實驗，2024，44（7）：41-45.