自動駕駛中基于多傳感器融合的目標檢測分析

摘要：多傳感器融合是一項結合多傳感器數據的綜合性前沿技術，在自動駕駛的感知和定位應用中占有非常重要的地位。汽車的自動駕駛級別越高，對傳感器性能的要求就越高，而傳感器進行目標檢測具有高度的復雜性和多變性，因此單一傳感器已無法滿足不同場景下目標檢測的準確性要求，必須采用多傳感器融合的方式進行目標追蹤。文章基于多傳感器融合的背景，提出目標檢測的整體設計方案，分析目標檢測系統涉及的多源傳感器信息處理系統設計方案、多模態傳感器數據信息融合方案、有限數據弱監督學習目標檢測方案，并從數據層、特征層、決策層3個信息融合處理層次闡述多傳感器融合的方式。

關鍵詞：自動駕駛；多傳感器融合；目標檢測

中圖分類號：U463.6；TP212"""""" 文獻標識碼：A""""" 文章編號：1674-0688（2024）01-0095-03

0 引言

自動駕駛汽車與外界信息交互過程可以分為環境感知系統、智能決策和執行控制3個部分。精確、實時地感知汽車周圍的路況，是實現自動駕駛控制決策的前提。自動駕駛汽車需要通過機器視覺技術獲取周圍環境的大量信息，如障礙物、車輛和行人、道路標線、交通信號等目標物體的信息，并輸出目標物體的位置坐標、尺寸等空間信息，從而獲得對復雜環境的正確理解和把握。目前，廣泛使用的目標檢測車載感知傳感器有攝像頭、毫米波雷達、超聲波雷達和激光雷達等，不同的傳感器各有優劣，而在各種復雜環境下，單個傳感器無法精確識別周圍目標。為提高整個感知系統的魯棒性，實現對自動駕駛汽車功能性和安全性的全面覆蓋，可采用多傳感器融合的方式，應用攝像頭、激光雷達、毫米波雷達等不同類型的傳感器融合并識別不同種類的感知信息，進行多層次、多方位的處理，完成不同光照、不同天氣條件下的感知任務。

多傳感器融合是一種涉及人工智能、信號處理、概率統計等多學科交叉的新技術。目前，已有的環境感知解決方案中，大多采用基于攝像頭、激光雷達、毫米波雷達等傳感器采集和融合數據，進行道路場景下的目標及障礙物檢測。在多傳感器融合的應用研究中，ZHANG等［1］研究高級輔助駕駛系統（ADAS），提出一種基于相機和激光雷達的車輛檢測方法；王海等［2］提出一種基于激光雷達和毫米波雷達的車輛目標檢測算法；WANG等［3］將單目相機和毫米波雷達進行融合，提出一種協同的融合方法，實現車輛檢測精度和計算效率之間的平衡；莫春媚［4］基于相機和毫米波雷達，利用 YOLO 目標檢測算法進行動態目標識別，將雷達數據投射到圖像中，實現兩者的信息融合，其測試效果較單一傳感器有明顯的提升。然而，面對復雜的道路環境，現有的傳感器融合技術仍存在一定的局限性，如自動駕駛汽車環境感知隨機類融合算法的性能不足、人工智能類算法耗時、費力等。本文針對這些問題，總結目標檢測的關鍵技術以及信息融合方式，將機器學習中的弱監督學習方法應用于多源傳感融合技術中，實現少量標注樣本下的多源傳感融合。

1 目標檢測整體框架

本文依據自動駕駛汽車全天時環境感知的需求，設計了基于攝像頭、毫米波雷達、激光雷達的多源傳感器融合的目標檢測系統，其總體技術方案如圖1所示。首先，通過不同傳感器提取檢測目標的多種類型的特征，將多源特征數據進行特征融合和動態目標檢測，分析動態目標的特性，進行動態目標的層次劃分和屬性分類。其次，通過傳感器獲取環境中的客體數據，其中涉及各類傳感器數據的處理以及同類或異類傳感器數據的融合。目標檢測系統的關鍵技術包括多源傳感器信息處理系統的設計、多模態傳感器數據信息融合技術、有限數據弱監督學習目標檢測技術，以此實現全天時的環境感知。

2 目標檢測關鍵技術方案

2.1 多源傳感器信息處理系統設計方案

多源傳感器信息處理系統包括攝像頭、毫米波雷達、激光雷達一體化模組和數據處理部分，一體化模組根據視場角、安裝方式、檢測距離等將3類傳感器組合成一體，數據處理部分根據數據處理量選擇合適的計算單元組成信息處理系統。多源傳感器信息處理系統（見圖2）包含不同傳感器的信號轉換接口和收發器、計算單元、數據存儲模塊、人機交互界面。計算單元通過數據轉換接口和收發器獲取攝像頭、毫米波雷達和激光雷達的數據，通過人機交互界面展示數據，并且將必要的數據存入數據存儲模塊用于算法升級。多源傳感器信息處理系統具備采集多源傳感數據、融合算法部署、感知效果評估等功能。

2.2 多模態傳感器數據信息融合方案

多源傳感數據信息融合采用分層級式多模態傳感器數據信息融合方案（見圖3），將數據分為原始傳感數據層、模塊檢測數據層、融合目標數據層3個部分。原始傳感器數據層為傳感器輸出的原始圖像和點云，每類傳感器采用對應的方式進行信號預處理（主要包括視覺處理、關聯濾波、點云聚類3種操作），以此獲得模塊檢測數據，然后通過弱監督學習方式將不同傳感器的數據進行融合，輸出可靠的融合目標數據，最終得到目標物的類別、位置、速度等信息。

2.3 有限數據弱監督學習目標檢測方案

有限數據弱監督學習目標檢測方案設計如下：首先通過多源傳感器信息處理系統采集所有傳感器的數據，制作原始數據集和測試數據集；其次選取少量特征數據進行人工標注，將標注好的數據與原始數據分組匹配用于算法訓練；最后設計弱監督學習算法模型，采用分組訓練和多實例學習方式完成算法模型訓練。

3 傳感器融合方式

多傳感器融合又稱多傳感器數據融合，傳感器數據融合的原理與人的大腦綜合處理來自五官的信息類似，是利用計算機技術將多個傳感器獲取的不同數據、信息在一定的準則下集中進行關聯和分析處理，得到更準確、可靠的對外界環境的描述，從而保證場景數據信息的適用性，提高系統決策的正確性。信息融合還能提升決策的可靠性和正確性，降低系統的應用成本。數據的處理需經過數據獲取、特征提取、決策識別3個層級，在不同的層級進行信息融合時，策略不同、應用場景不同，產生的結果也不同。信息融合處理的層次可分為數據層融合、特征層融合、決策層融合。

3.1 數據層融合

數據層融合也稱像素級融合，是低層次、集中式的融合方式，首先將同類別傳感器采集的原始數據進行融合，其次從融合數據中提取特征向量并進行判斷識別，主要的目的是盡量消除干擾對實際測量數據的影響，輸送可靠、準確的數據。

數據層融合的主要優點如下：由于在傳感器輸出端進行融合，能盡可能地保留原始數據，提供其他數據融合層次無法提供的細微信息，使檢測精度得到提高。數據層融合存在的問題如下：①由于融合在數據的最底層進行，容易受不穩定性、不確定性因素的影響；②需要處理的傳感器數據信息計算量大，處理代價較高，不利于實施；③要求提供對同一觀測對象的同類觀測數據。

3.2 特征層融合

特征層屬于中間層次，其融合是從各個傳感器采集的數據中提取出能體現監測對象屬性的特征向量，將特征融合成單一的特征向量并運用模式識別的方法進行處理。這種方式可行的原因是部分關鍵的特征信息可以代替全部數據信息。相比數據層融合，特征層融合所消耗的內存減少和信息數量的等級降低，極大地提高了算法的實時性。

3.3 決策層融合

決策層融合屬于高層次融合，在特征提取的基礎上進行一定的判別、分類以及簡單的邏輯運算，做出識別判斷，再在此基礎上根據應用需求完成信息融合和較高級的決策。決策層融合的優勢在于不要求傳感器為同類，并且對傳感器本身的依賴程度低、通信量較小，因此信息處理成本較低、實時性好，具有良好的容錯率。但是，決策層融合的過程會產生較大的數據損失，使決策的精度下降，而且各個傳感器均要求有獨立的算法，對計算平臺的要求較高。

4 結語

綜上所述，傳感器對環境感知的性能決定了自動駕駛汽車是否能適應復雜多變的交通環境，自動駕駛的級別越高，對傳感器性能的要求就越高，而單個傳感器已經無法滿足不同場景下目標檢測的準確性要求，只有將多個類型的傳感器進行融合，才能更大限度地發揮傳感器的優勢，提高整車自動駕駛系統的可靠性和安全性。本文針對智能車輛環境感知隨機類融合算法性能不足等問題，提出了多源傳感器融合的目標檢測系統總體技術方案，提出目標檢測的關鍵技術，根據攝像頭、激光雷達、毫米波雷達的特點開發多源傳感器一體化模組，實現多個傳感器數據的融合和數據匹配及數據格式的標準化，可獲得目標物體更多的狀態信息，同時達到實時檢測的效果。在自動駕駛需求的驅動下，未來傳感器融合技術的應用將呈現明顯的增長趨勢。汽車制造將是傳感器融合技術最重要的應用領域，該領域的發展將催生更多的新技術和新方案，多傳感器融合技術將迎來巨大的發展空間。

5 參考文獻

［1］ZHANG F，CLARKE D，KNOLL A.Vehicle detection based on LiDAR and camera fusion［C］.IEEE.International Conference on Intelligent Transportation Systems，2014：1620-1625.

［2］王海，劉明亮，蔡英鳳，等.基于激光雷達與毫米波雷達融合的車輛目標檢測算法［J］.江蘇大學學報（自然科學版），2021，42（4）：389-394.

［3］WANG X，XU L，SUM H B，et al.On-road vehicle detection and tracking using MMW radar and monovision fusion［J］.Intelligent Transporteation Systems，2016，17（7）：2075-2084.

［4］莫春媚.基于視覺與雷達信息融合的智能車環境感知算法研究［D］.重慶：重慶大學，2018.

*陜西工業職業技術學院科研基金資助項目“基于弱監督學習的全天時多源傳感融合感知技術研究與應用”（2023YKYB-016）。

【作者簡介】韓丹，女，陜西西安人，碩士，講師，研究方向：智能網聯汽車技術。

【引用本文】韓丹.自動駕駛中基于多傳感器融合的目標檢測分析［J］.企業科技與發展，2024（1）：95-97.