面向智能駕駛的多源傳感融合技術綜述

曹禮軍 魏源伯 王祎男 關瀛洲

（1.中國第一汽車股份有限公司創新技術研究院，長春 130013;2.汽車振動噪聲與安全控制綜合技術國家重點實驗室，長春 130013）

主題詞：多源 傳感融合 感知數據 關聯濾波算法 智能駕駛

縮略語

LiDAR Light Detection And Ranging

NNDA Nearest Neighbor Data Association

GNN Global Nearest Neighbor

PDA Probabilistic Data Association

JPDA Joint Probabilistic Data Association

KF Kalman Filter

EKF Extended Kalman Filter

UKF Unscented Kalman Filter

CV Constant Velocity

CA Constant Acceleration

CTRV Constant Turn Rate and Velocity

PF Particle Filter

DS Dempster Shafer

FIS Fuzzy Inference System

1 前言

近年來，智能駕駛技術發展迅速，智能駕駛汽車應用廣泛。對于消費者來說，智能駕駛的安全問題是其關注的首要問題，即需要保證智能駕駛感知系統對目標檢測的實時性和準確性。感知系統通過使用可覆蓋所關注重點區域的傳感器布局，獲取周圍環境的實時信息，進行目標定位和紋理信息提取，作為路徑規劃的重要輸入源。在此過程中，傳感器對感知周圍環境和定位車輛的路徑規劃和決策至關重要。目前使用的傳感器主要包括攝像頭、激光雷達、毫米波雷達。不同傳感器的性能各不相同，在不同的使用環境中可以發揮各自的優勢。多源傳感融合技術就是從不同角度、全方位層次進行數據關聯匹配與系統融合，將多個傳感器獲取的數據、信息集中在一起綜合分析，執行相應的信息處理，以便更加準確可靠地描述外界環境，從而提高系統決策的正確性，使得整個感知系統更加智能[1]。目前，多源傳感融合技術已成為一個研究熱點。

多源傳感融合技術具有以下優勢：

（1）有效擴大了感知覆蓋范圍，可實現360°零死角全覆蓋；

（2）提高了感知系統結果的置信度，增強系統容錯性、安全性及魯棒性；

（3）當某個傳感器發生故障時，感知系統仍可以向后端輸出高置信度信息，保證了整個智能駕駛系統的正常運行。

本文從3種常見傳感器的融合出發，重點總結智能駕駛多源傳感融合技術的研究進展，梳理車路協同融合技術發展趨勢。

2 智能駕駛常用傳感器

傳感器在整個智能駕駛系統中具有至關重要的作用，其主要目的是將感受到的被測量信息按一定規律轉換為其它所需形式的信息輸出[2]。智能駕駛常用傳感器有激光雷達、攝像頭和毫米波雷達。在多源傳感融合中，各傳感器以固定的周期頻率將雷達點云、高分辨率視覺圖像原始信息實時傳送給感知模塊處理。

2.1 激光雷達

激光雷達（Light Detection And Ranging,LiDAR）分為機械式和固態式，主要由發射系統、接收系統、信息處理3個模塊組成，能夠準確識別出障礙物具體的空間位置及輪廓信息。其工作原理是通過多線發射器不斷向四周發射光波探測信號，然后根據反射或散射光波的測量時間及反射率參數[3]進行計算。其優勢是探測距離較遠，能達到厘米級別檢測精度，且漏識別率很低。隨著多線激光雷達的發展，其分辨率越來越高。但是，激光雷達的缺點如下：

（1）體積大，安裝位置比較受限；

（2）比其它2種傳感器成本高；

（3）對工作環境要求高，受天氣環境影響較大，在雨霧、風沙等天氣時會受到極大的干擾，甚至無法工作[3]。

2.2 攝像頭

攝像頭是目前智能駕駛汽車最常用的傳感器，具有成本低、可識別目標種類多的優勢。根據探測精度和所負責功能范圍不同，攝像頭可分為廣角、窄角、魚眼和雙目攝像頭。在普通光照條件下，視覺感知系統實時獲取攝像頭拍攝的明顯幾何特征、邊界特征和灰度直方圖特征的圖像，可利用這些特征信息識別圖像中關注的車輛或行人目標，獲得目標在圖像上的位置、速度、尺寸和顏色狀態信息[4]。不過視覺感知技術十分依賴算法性能，而算法模型需要海量的數據進行訓練，對于訓練模型有極高的性能要求，并且無法獲得更多的深度信息。此外，攝像頭受逆光、能見度等環境因素影響頗大[5]，識別準確率在不同環境下會有較大波動。

2.3 毫米波雷達

毫米波雷達是利用1～10 mm波長[6]的電磁波通過振蕩器形成持續變化的信號，由發出信號和接收信號之間的頻率差來計算車輛與物體距離。毫米波雷達技術成熟、成本低、受天氣影響較小、探測距離遠，并可以直接探測目標速度，因此在智能駕駛中應用廣泛。但毫米波雷達識別精度有限，受多普勒效應影響，主流的毫米波雷達甚至無法判斷垂直障礙物信息，難以判斷障礙物的具體輪廓[7]，對小尺寸障礙物的判斷更加模糊，因此在更高級別的智能駕駛汽車上，通常只將其作為輔助傳感器。3種傳感器性能比較見表1。

表1 3種傳感器性能比較

目前，隨著智能駕駛商業化發展迅速，大多數車型均配有ADAS功能，其中感知模塊主要使用攝像頭、毫米波雷達、激光雷達這3種傳感器驅動。而實際應用中，各種傳感器均存在優勢與不足，單一傳感器的性能無法支撐日常復雜的道路環境[8]。只有將汽車搭配多種傳感器，形成優勢互補，再加上針對實際傳感器性能所開發的融合技術進行優化處理，才能更全面精細的獲取環境數據，并給出相對更準確的處理方案。

3 多源傳感融合技術

3.1 傳感器融合

傳感器融合是智能駕駛的一個重要研究方向，是將多個傳感器采集到的數據進行集成，減少了檢測數據的不確定性，彌補了單個傳感器獨立工作的缺點。此外，傳感器融合有助于建立一致的模型，在各種環境條件下準確感知周圍環境（如攝像頭和雷達融合可以提供高分辨率的圖像和感知場景中檢測到的障礙物的相對速度）[9]。

針對智能駕駛汽車環境感知和目標檢測的多傳感器融合系統，目前，主要有3種用于障礙物檢測的傳感器組合，包括攝像頭-激光雷達（Camera-LiDAR,CL）；攝像頭-毫米波雷達（Camera-Radar,CR）；攝像頭-激光雷達-雷達（Camera-LiDAR-Radar,CLR）傳感器組合。CR傳感器組合提供高分辨率圖像，同時獲取周圍障礙物的額外距離和速度信息。而CLR傳感器組合可以提供更大范圍的分辨率，并通過激光雷達點云和深度信息精確了解周圍環境，提高了整體自主駕駛的安全冗余度系統[2]。

3.2 數據關聯

數據關聯的目的是將多傳感器信息進行有效的處理，從而得到比單一傳感器更加精確可靠的結果。在多源傳感融合系統研究中，目標關聯問題是最為重要和最為困難的問題之一，其難點為：在密集復雜的環境中，很難區分相近目標的跟蹤軌跡，需要對多傳感器的檢測數據進行匹配關聯，進行穩定跟蹤[10]。文獻[11]闡述了數據關聯的概念，即計算當前幀中，從檢測器檢測到的每一個觀測值與前一幀跟蹤器中可能的各種跟蹤目標之間的關聯概率，通過概率的匹配度去關聯前后幀之間的信息，從而形成一段連續的軌跡。文獻[12]闡明了數據關聯的意義，即確定傳感器接收到的量測和目標源之間的對應關系，這種關系在傳感器觀測過程和目標跟蹤環境中存在著各種不確定性和隨機性。

數據關聯算法，主要包括最近鄰數據關聯算法（Nearest Neighbor Data Association,NNDA）、全局最近鄰算法（Global Nearest Neighbor,GNN）、概率數據關聯算法（Probabilistic Data Association,PDA）和聯合概率數據關聯（Joint Probabilistic Data Association,JPDA）。

3.2.1 最近鄰數據關聯

NNDA最早是由SINGGER等[13-14]于1971年提出，該算法主要核心思想為：在某一時刻的所有量測中，距離與被跟蹤目標預測位置最近的量測應該作為目標的真實量測，并預測目標在下一時刻的位置。該算法的基本思想是把關聯門看作搜索子空間，僅選取落入關聯門范圍內且與門中心距離最近的檢測點，其余檢測點均被當作誤檢或認為是其它目標的檢測結果（圖1）。

圖1 NNDA算法示意[15]

該算法運算量小、易于實現，在低級別輔助駕駛中較為常用。但當目標的數量較多時，由于多個測量值彼此靠近，可能導致出現誤關聯、漏識別現象。

3.2.2 全局最近鄰算法

GNN計算距離的方法和NNDA算法思想相同，不同點是其通過將所有測量值與所有系統航跡相匹配，計算所有匹配的總風險函數，尋找使總風險函數最小的匹配值，作為與此目標關聯的正確結果，使總的關聯代價達到了最小[16]（圖2）。由于進行了目標總風險函數的計算，有效降低了誤關聯現象，因此GNN算法的總體性能優于NNDA。但是，GNN使用了貪婪算法的思想，只保留一個最優關聯，拋棄了除了最優匹配以外的所有信息，當多個最優的關聯方式的概率相差不大時，很容易出錯。

圖2 不確定數據庫中的GNN查詢[17]

3.2.3概率數據關聯算法

PDA是一種次優濾波方法，通過對新的測量值進行分解，來解決復雜噪聲環境中的目標航跡的跟蹤問題。該算法把所有測量值假設并合成為一個高斯分布，并根據不同的實際情況計算出各測量值匹配目標的概率，然后利用這些概率值對相關門限內的不同測量值進行加權，各個候選測量值的加權和作為等效測量值。這也意味著要把所有可能關聯的概率都算出來，因此，計算數據關聯的可能性是一個組合問題，數據關聯的次數就是所有可能組合的數量，即所有可能組合的都需要計算，因此數據運算量相對較大。

3.2.4 聯合概率數據關聯

JPDA的基本思想是通過利用目標航跡周圍門限內的測量值來聯合更新狀態。對于測量數據落入跟蹤門限相交區域的情況，這些數據無法確定來自于哪個觀測目標，而JPDA在此時認為測量值都以一定的概率值來源于門限內每個系統航跡目標，并利用落在門限內的當前周期測量航跡，計算測量航跡和相應系統航跡的關聯概率，利用關聯概率對當前測量航跡求加權來修正航跡，將跟蹤過程系統航跡與測量值的匹配概率當作權值（圖3）。JPDA與PDA最大的區別是對于關聯概率計算方式不同。JPDA優點是不需要目標與噪聲任何的先驗信息，是在密集環境中對多目標進行跟蹤較好的方法之一。但由于數據運算量更大，當目標數量和噪聲過多時，系統運算量可能出現組合爆炸現象。

圖3 JDPA算法場景示意[15]

4 多源傳感融合的核心算法

在多源數據融合中，首先根據上文所述的數據關聯技術進行測量值與系統航跡匹配，得到實時值后，結合多源傳感融合的核心濾波算法進行定周期更新。在實際應用中，可根據情況判斷是否為線性或非線性條件、高斯或非高斯環境，結合使用前述的數據關聯技術，來選擇具體的濾波算法。

多源傳感融合的核心算法可分為概率統計算法和邏輯推理算法。其中，概率統計算法包括：多貝葉斯估計法、卡爾曼濾波算法（Kalman Filter,KF）、擴展卡爾曼濾波算法（Extended Kalman Filter，EKF）、無跡卡爾曼濾波算法（Unscented Kalman Filter，UKF）、粒子濾波算法；邏輯推理算法包括：證據理論推理（Dempster Shafer，DS）、模糊推理（Fuzzy Inference System，FIS）。不同的算法有不同的優缺點及各自適用環境，常用多源傳感融合邏輯見圖4。

圖4 常用融合邏輯示意

4.1 概率統計算法

基于概率統計的數據融合算法技術成熟，使用概率組合估計來處理不確定性的隨機分布，已經廣泛應用在智能駕駛系統中。

4.1.1 多貝葉斯估計法

多貝葉斯估計法的主要思想是對測量數據的不確定性以條件概率表示，將傳感器實時測量信息以概率形式進行組合，該方法在簡單環境中較為常用。為了評估每組傳感器輸出數據的可靠性，一般認為每個傳感器輸出的目標數據是滿足正態分布的，這也是自然界常見的噪聲分布。通過定義每組傳感器數據間的數據距離置信度，得到一個置信距離矩陣，設定一個臨界值對每個置信距離進行可靠性判定，得到一個二值關系矩陣，由此關系矩陣對多傳感器數據進行選擇，產生一個數據作為最佳融合數。最后將待測數據的均值、方差和最佳融合數對應的測量值和方差代入貝葉斯估計公式計算得到融合結果[18]，貝葉斯估計多用于多組同源傳感器的數據融合。

4.1.2 卡爾曼濾波算法

卡爾曼濾波算法（Kalman Filter,KF）是1960年由匈牙利著名數學家卡爾曼率先提出的一種經典算法，適合應用于線性高斯系統[19]。該方法的主要思想為，通過最優化自回歸的方式來處理先驗預測結果和觀測的數據，并判斷觀測模型是否符合高斯的模型范圍。在估計線性高斯系統狀態中，以最小均方差或者貝葉斯公式為最佳估計準則，采用信號與噪聲的狀態空間模型，利用前一時刻的估計值和當前時刻的觀測值來更新對狀態變量的估計，求出當前時刻的估計值，算法根據建立的系統方程和觀測方程對需要處理的信號做出滿足最小均方差的估計。

4.1.3 擴展卡爾曼濾波算法

擴展卡爾曼濾波算法（Extended Kalman Filter，EKF）屬于卡爾曼濾波的一種變體，主要思想是使用了線性變換來近似非線性變換，利用一階泰勒級數對運動模型和觀測模型展開來進行近似線性化，通常情況下保留到一階項或二階項并舍棄其余項，再利用經典卡爾曼濾波公式進行計算。在狀態估計中，擴展卡爾曼濾波是計算狀態向量的最大似然估計的標準方法，提供最優項的“低階”近似解。然而，這種近似方式會在計算高斯噪聲的后驗均值和協方差時產生較大誤差，最終可能導致濾波算法發散[20]。

4.1.4 無跡卡爾曼濾波算法

無跡卡爾曼濾波（Unscented Kalman Filter，UKF）也是經典卡爾曼濾波算法的另一種變體，與EKF的線性化近似不同，它將EKF中非線性函數線性化的方法替換成無跡變換。通過在原狀態分布中按制定規則選取采樣點，這些點的均值和協方差需要等于原狀態分布，即利用一個與非線性函數的分布期望、方差相近的正態分布去近似概率密度分布，從而通過這些非線性函數值點集，求得變換后的均值和協方差。在這個過程中保留了非線性系統的高階項，計算精度較高[21]，至少有二階精度，對于高斯分布可達三階。UKF最初用于狀態估計問題，并且已經被廣泛應用于需要全狀態反饋的非線性控制場景。

4.1.5 粒子濾波算法

KF、EKF和UKF都適用于高斯條件，核心思想都采用了高斯分布去逼近計算中的某些狀態。但某些實際情形如果是嚴重非高斯的，則將可能出現誤差，所以粒子濾波算法采用了另外的方式去逼近，可適用于非線性非高斯環境。該算法也稱作“序貫蒙特卡羅方法”，為了估計目標的狀態，設定了大量的具有獨立對目標狀態估計能力的加權粒子表征其估計值，經每一周期會進行獨立更新。在實際應用中，某些系統環境狀態發生頻率高，某些特殊狀態頻率極少，所以很多情況下，會出現幾個粒子最終共享相同的狀態估計的情形。因此，大多數粒子共享的狀態為目標最有可能的狀態。當檢測到目標時粒子濾波算法啟動，隨即創建若干粒子來表示。系統每周期接收到新的測量航跡時，粒子濾波算法將通過以下3個步驟對所有粒子執行狀態估計進行更新：

（1）所有的粒子都使用一個事先設定好的運動模型，這個運動模型上文卡爾曼濾波介紹的模型相似，不一定是線性的；

（2）賦予新計算出的粒子以權值。通過粒子狀態估計的擬合由測量值構建的概率密度函數的方式來確定該權值，這里的概率密度函數是通過以每個測量值為中心的正態分布而建立的，特征依賴于傳感器的預先定義的誤差模型；

（3）進行重采樣，這一步的目的是創建與第二步相同數量的新粒子，使用與第二步中計算的相同的概率密度函數，這時所有粒子共享相同的權重。這一點很重要，在下一次迭代的預測和加權步驟中，所有粒子都可以被同等對待。這里權值較高的粒子即為最有可能代表目標的粒子，會被多次選擇，而權重較低的粒子則不太可能代表目標，通常會將其舍棄。目前有多種重采樣技術，常用的有多項重采樣，分層重采樣，系統重采樣，殘差重采樣等。

對于上文中提及的概率統計算法中的狀態預測過程，在實際用于車輛狀態跟蹤時，可根據實際情況選擇不同的運動模型來對車輛目標的狀態進行預測，得到狀態更新的先驗信息。不同的運動模型是對實際車輛目標的運動過程進行一定的簡化來建構的，其中包括一次運動模型和更高級的二次運動模型。常用的有恒定速度（Constant Velocity,CV）模型、恒定加速度（Constant Acceleration,CA）模型、恒定轉率和速度（Constant Turn Rate and Velocity,CTRV）模型。具體描述如下：

（1）恒定速度模型：模型的速度恒定不變；

（2）恒定加速度模型：模型的加速度恒定不變；

（3）恒定轉率和速度模型：CTRV實際上是CV的一般形式，當該模型角速度等于0時，就是CV的形式。CTRV模型假設對象沿直線前進，同時還能以固定的轉彎速率和恒定的速度移動，可以看作一段圓弧運動。

4.2 邏輯推理算法

基于邏輯推理的數據融合方法具有比較強的理論基礎，能處理隨機性或模糊性所導致的數據不確定性。但該類方法未大規模應用，尚處在科研探索過程。

4.2.1 證據推理

證據推理（Dempster Shafer,DS）方法是多貝葉斯估計的一種擴展形式，可以在沒有先驗概率的情況下，靈活并有效地對不確定性建模，克服了多貝葉斯估計數據融合的缺陷。該方法的核心思想是，把包含不確定信息的數據和合成規則相結合，將多源數據所表征的信息綜合起來，得到更為可靠有效的結論[22]。但DS推論需要對假設空間中的每一種假設都分配概率，各組合規則的合理性、正確性、完整性都對處理結果有很大影響，需要建立多方面的專家經驗知識[23]，因此該方法需要進一步探索。

4.2.2 模糊推理

模糊推理方法（Fuzzy Inference System,FIS）的核心思想是使用隸屬度函數來評估各組傳感器數據的置信度，將傳感器數據的不確定性直接表示在其推理過程中。與概率統計方法相比，它對信息和處理的方式更加接近于人類的思維方式。模糊推理數據融合簡潔實用，不需要傳感器歷史數據來提供先驗信息，因此只需要傳感器提供單次測量數據即可，多適用于多組同源傳感器的單次數據融合。

5 多源傳感融合體系

目前，多源傳感融合根據融合層級不同，主要分為：數據級融合、特征級融合和決策級融合。

5.1 數據級融合

數據級融合也可稱為像素級融合[24]，針對的是感知系統中的數據處理階段，對各種傳感器的原始數據未經與處理之前就進行數據的融合與分析（圖5）。數據層融合一般是采用集中式融合體系進行融合處理，是最底層的融合，在3種融合方案中，是具有最小的數據丟失和最高的可靠性，可以獲取到檢測目標的較完整的信息，同時還可以準確的獲取到目標的位置信息，常用于攝像頭和激光雷達或毫米波雷達的融合，最普遍的方式是將點云投影到圖像，然后檢查點云是否屬于圖像中檢測的2D目標框。該方案在獲取原始數據，并進行底層融合時，對硬件平臺的算力要求很高，故目前應用主要以科學研究為主。

圖5 數據級融合[1]

5.2 特征級融合

該方法通過提取所采集數據包含的特征向量，用來體現所監測物理量的屬性，這是面向監測對象特征的融合，一般在獲取原始數據并進行特征提取后進行（圖6）。對傳感器融合后的特征信息進行卷積與池化處理后將得到帶有傳感器特征信息的數據集，對數據集進行標注與訓練后得到最終的識別模型，最后調用訓練得到的模型對各傳感器數據進行識別[25]，判斷目標是否為待檢測的目標類型。

圖6 特征級融合[1]

5.3 決策級融合

該方法通過特征級融合所得到的數據特征，進行一定的判別、分類，以及簡單的邏輯運算，根據應用需求進行較高級的決策，從而產生面向應用的融合[26]（圖7）。對每個模態數據訓練單獨的模型，而后綜合每個模型的結果獲得輸出。由于后期融合需要為每個模態提供單獨的模型，因此能夠更好地針對不同模態數據特點進行建模[27]，并且能夠應對某些模態的部分數據缺失和數據間的異步性，但同時丟失了特征層面的數據關聯性，通常具有更高的實現難度。

圖7 決策級融合[1]

6 結束語

本文總結了在智能駕駛汽車中常用的多源傳感融合技術研究現狀，并總結出以下發展趨勢：

（1）通過對多源數據融合算法的優化有利于提高感知實時性；

（2）未來傳感器將具有預判能力，可提高在復雜環境下工作的準確性；

（3）盡量避免各種算法之間產生干擾，增強魯棒性。

當前商業化應用的主流融合方式為決策級融合，通過分布式傳感器的硬件配置和集成了智能駕駛軟件的域控制器，運用高效的數據關聯技術實時更新感知結果，既最大程度保留每個傳感器的優勢，又盡可能互相彌補其劣勢，極大提升了整體系統的魯棒性和整車安全性，確保滿足后端決策系統所需信息的實時性和高精度。隨著芯片算力的極大提升，正逐步探索精度更高的數據級和特征級融合方式，目的是使融合處理系統獲取到的特征信息失真盡可能降到最低，提高復雜環境下的準確性。

但是，僅憑傳統單車智能的有限傳感器手段，無法從更廣范圍、更多樣化的動態交通環境中滿足駕駛決策需求，隨著通信技術的升級和智慧城市道路的建設，未來智能汽車會將單車智能與車路協同相融合，更多維滿足智能汽車的安全性。