汽車自動駕駛領域的傳感器融合技術*

□ 石晏丞 □ 李 軍

重慶交通大學 機電與車輛工程學院 重慶 400074

1 研究背景

傳感器的融合其實就是數據的融合,起源于20世紀末。傳感器的融合最開始運用在軍事領域,曾用名為多源相關,后逐漸應用于工程領域,并有實際成果體現應用價值。目前,傳感器的融合成為一個研究熱點。

伴隨著電子技術和控制技術的進步,在汽車自動駕駛技術領域,目前最大的障礙是沒有一個融合的訓練框架來提高感知的準確性,增強感知的容錯率。道路、車道、障礙物等的識別,對于自動駕駛至關重要,準確的識別可以使車輛在任何情況下都能安全地作出反應。在感知識別中,高靈敏度傳感器可以執行高精確的信息采集,同時伴隨著高成本,使車輛的生產成本大大增加。取而代之的是更多低成本設備的融合,從而達到預期的效果。數據融合需要很好地預估融合信息的不確定性,以改善單個測量數據,增強數據源的質量,進而保證融合為一個更精確的信號。當然,這通常無法通過一次測量得到。

在汽車自動駕駛中,目前使用的傳感器主要有熱成像、夜視、聲吶、攝像頭、激光雷達、超聲雷達、毫米波雷達等。不同傳感器的性能各不相同,在不同的使用環境中可以發揮各自的優勢。每個傳感器都有自己的優缺點,不能相互替代。

2 自動駕駛中常用的傳感器

傳感器作為一種檢測裝置,在汽車自動駕駛中占據核心地位,主要目的是將感受到的信息按一定規律轉換為其它所需形式的輸出。自動駕駛傳感器分布如圖1所示。應用在自動駕駛中的傳感器種類繁多,如攝像頭、熱成像、夜視、聲吶、激光雷達等,為駕駛環境提供強有力的多模態感知。

圖1 自動駕駛傳感器分布

2.1 激光雷達

在汽車自動駕駛中,激光雷達是非常重要的一種檢測裝置。激光雷達有很多優點,但應用在自動駕駛中不僅成本較高,而且體積較大,為自動駕駛帶來不便,其應用市場受到限制。

目前,基于混合條件隨機場的激光雷達-攝像頭融合已運用于道路檢測中。道路材料的變化,以及道路區域與非道路區域高度和紋理的相似性、光照、天氣變化等諸多原因,對正常城市道路的檢測具有很大的挑戰性。單目視覺往往會受到光照和天氣的影響,無法捕捉三維信息。激光雷達是一種獨立于環境光的主動傳感器,能準確測量物體之間的距離,然而在激光雷達捕捉的點云中,顏色和紋理信息都是不可用的。對此,對攝像頭和激光雷達的信息進行深度融合,以降低道路檢測的模糊度。未來可以運用更強大的深度學習方法來獲得融合混合條件隨機場模型的潛力,以進一步提高性能。

2.2 攝像頭

自動駕駛汽車一般具有多個攝像頭,攝像頭的長、短焦距分別用于檢測遠處場景和近處場景。攝像頭主要對車道線、交通標志牌、紅綠燈、車輛、行人等進行檢測,優點是檢測信息全面、價格便宜,缺點是會受到雨雪天氣和光照的影響。攝像頭由鏡頭、鏡頭模組、濾光片、互補金屬氧化物半導體、電荷耦合元件、圖像處理器、數據傳輸等模塊組成。

目前,攝像頭領域最新的技術是新型可見光成像通信技術,這是可見光通信的一種擴展,優點是在大多數智能設備中無需增加接收機的硬件成本。與使用光電探測器的傳統方式不同,可見光通信使用移動電話互補金屬氧化物半導體相機作為接收器。可見光通信以圖像序列的形式捕獲二維數據,相比傳統光電探測方式能傳輸更多的信息。可見光通信技術應用于汽車行業,能為自動駕駛提供更加精確的數據。

2.3 毫米波雷達

毫米波雷達主要用于交通車輛的檢測,一般設置在車身前部和兩側,檢測速度快,精度高,不易受天氣干擾,但是對交通標志等無法識別。毫米波雷達的基本原理是通過發射一束電磁波,基于回波與入射波的差異來計算距離、速度等信息。毫米波雷達硬件成本相對較低,大多數自動駕駛汽車采用毫米波雷達的調頻連續波工作方式。這一工作方式不需要瞬時大功率,沒有探測盲點。速度差分辨率、角分辨率、距離探測精度是衡量毫米波雷達成像精度的指標。毫米波頻率越高,帶寬越大,成像越精細。毫米波雷達在大霧等特殊環境中穿透性較好。

在自動駕駛中,各種不同的傳感器可以相互配合運用。一種基于視覺和毫米波的車道線定位方法如圖2所示。這一方法對毫米波雷達和攝像頭進行融合,利用攝像頭檢測車道線,利用毫米波雷達檢測道路兩旁的靜止護欄,獲取道路邊界信息,利用低精度全球定位系統獲取道路信息,對比車道線與道路邊界的相對位置關系,實現車道線定位。這一方法可以避免激光雷達定位方法中數據量大、雨雪天氣下表現不理想等缺點。不同于激光雷達,毫米波雷達的檢測距離長、數據量小,可適用于各種天氣環境下動靜態障礙物的識別。

圖2 車道線定位方法

3 圖像識別中的傳感器融合技術

在自動駕駛中,傳感器融合應用于各個方面,多傳感器融合可以顯著提高系統的冗余性和容錯性。在圖像識別中,傳感器融合主要應用于車道線規劃、行人與交通標志牌識別等方面,運用的主流傳感器主要有激光雷達、攝像頭、毫米波雷達。車載傳感器的融合是一個研究的熱點,業內學者對多傳感器數據融合進行了大量研究,但只有少數工作涉及目標檢測中的多模態和多傳感器數據融合。基于融合的目標檢測方法可以根據融合發生的抽象級別來分類,分為數據級融合、特征級融合、決策級融合三種,三者之間的比較見表1。

表1 融合級別比較

有學者結合激光雷達點云和光學圖像進行行人檢測,訓練出先進的可變形零件檢測器,并通過采樣激光雷達點云計算稠密深度圖。兩個基于可變形零件的模型接受稠密深度圖和彩色圖像的訓練。在稠密深度圖和彩色圖像上,基于可變形零件的模型檢測被融合,可以提高檢測性能。有學者使用彩色圖像和基于三維激光雷達的深度圖作為輸入,提取方向梯度直方圖和局部二進制模式特征,用不同的視覺分割訓練集樣本,考慮不同的物體姿勢,為每一個視圖訓練一個獨立的隨機森林,形成特征級融合和決策級融合方法,通過鏈接方向梯度直方圖和局部二進制模式描述符在特征級融合中將顏色和深度模式結合起來。

4 多傳感器信息融合體系

傳感器信息融合是自動駕駛汽車中傳感器融合技術的最重要一環。信息融合體系目前各不相同,不同的融合體系之間各項性能各有差異。多傳感器信息融合體系從結構上可以分為三類,分別為分布式、集中式、混合式。

4.1 分布式傳感器融合

分布式傳感器融合具有可拓展性、靈活性、魯棒性、容錯性等特點,與同類集中式傳感器融合相比,具有獨特的優勢。一般情況下,一種用于多目標跟蹤的分布式傳感器融合方案包括兩部分:局部多目標濾波、信息融合方法。將多個傳感器節點產生的原始數據結合起來,是分布式傳感器融合的目的,然后將結果傳送至信息融合中心,智能組合后進行優化,獲得最終結果。分布式傳感器融合的延續性和可靠性好,對信息帶寬的需求小,計算速度快,但跟蹤精度不如集中式傳感器融合。

4.2 集中式傳感器融合

集中式傳感器融合將獲得的原始數據直接發送至中央處理器進行融合,可以實現實時融合,數據處理精度高,算法靈活,缺點是對處理器的要求高,可靠性較低,數據多。采用集中式傳感器融合,傳感器節點與傳感器融合中心協作處理傳感信息。與傳感器節點相比,傳感器融合中心具有更大的帶寬、更強的計算能力和處理能力。

4.3 混合式傳感器融合

混合式傳感器融合的框架如圖3所示,綜合了集中式傳感器融合和分布式傳感器融合。混合式傳感器融合具有較強的適應能力,綜合了集中式傳感器融合和分布式傳感器融合的優點,穩定性較強。混合式傳感器融合的結構比較復雜,增大了通信和計算負荷,將來自多個傳感器的對每個目標的測量組合成一個混合測量,然后利用混合測量來更新全部數據。

圖3 混合式傳感器融合框架

5 融合模型

目前成功的目標檢測方法大多采用基于卷積神經網絡的深度學習模型。在自動駕駛領域,需要對多傳感器和多模態信息進行處理,以便更全面地了解所處的現實世界環境。

5.1 激光雷達+攝像頭

這是一種融合三維激光雷達和彩色攝像頭數據,進行多模態車輛檢測的方法,利用人工神經網絡聯合學習,融合基于獨立卷積神經網絡的車輛檢測器,在每種模式下獲得更精確的車輛檢測。結果表明,這一方法在目標檢測數據的各個層級上均取得了相比單一模式更高的精度。

攝像頭因實時精確度及經濟性高而在自動駕駛中普遍使用,但是,攝像頭的強光致盲性也是一個重要問題。當攝像頭和激光雷達融合后,可以充分吸收激光雷達精度高、傳播性好、方向性好、光束窄等優勢,彌補攝像頭單獨使用中的很多缺點。

5.2 毫米波雷達+攝像頭

采用單目攝像頭與毫米波雷達融合的目標跟蹤方法,將目標定位在圖像幀中,在其周圍繪制一個包圍框。使用經過訓練的深度神經網絡,利用包圍框的尺寸生成目標位置。在融合階段,攝像頭定位的神經網絡位置與目標的雷達回波位置相關聯。應用一個長時間存儲器模塊,利用融合數據生成連續的目標軌跡。毫米波雷達+攝像頭這一融合模型與攝像頭參數、系統分布無關,在至少一個傳感器有檢測數據的情況下,能夠以合理的精度跟蹤目標。在兩個傳感器都有檢測數據的情況下,具有較高的精度。

使用毫米波雷達,具有體積小、質量輕、空間分辨率高等特點。與紅外、激光等傳感器相比,毫米波雷達具有穿透霧、煙、灰塵能力強,傳輸距離遠,性能穩定等優點。毫米波雷達與攝像頭進行融合,能夠適應大霧、沙塵等特殊惡劣天氣,以及更加復雜的特殊環境。

6 融合算法

多傳感器的使用會產生大量需要處理的數據,對此通常通過融合算法來進行優化。不同傳感器采集到的信息可能相互之間會有矛盾,如何保證系統能夠準確處理這些數據,使系統最終做出及時、正確的決策,這非常重要。融合算法不僅需要處理數據的多樣性和復雜性,而且需要提高實時性和精度。雖然多傳感器數據融合算法目前沒有完整的理論體系,但是對于多種不同領域的應用,已經提出許多成熟且有效的融合算法。融合算法可以概括為隨機、人工智能兩大類。隨機類融合算法有加權平均法、卡爾曼濾波、多貝葉斯估計法等,人工智能類融合算法有模糊邏輯、神經網絡等。

在自動駕駛中,常用的融合算法包括加權平均法、卡爾曼濾波法、神經網絡。這三種方法具有直觀性、容錯性及普適性。

6.1 加權平均法

加權平均法融合數據信息可以通過獲取各種傳感器信號的平均值來實現。若某一個傳感器的信號比其它傳感器更可信,則為該傳感器分配更高的權重,以增加其對融合信號的貢獻。加權平均法是信號級融合最簡單、最直觀的一種算法,可以對傳感器接收到的冗余信息進行加權平均。加權平均法可以對原始數據直接進行使用。

通過加權平均法,可以在圖像識別中對模糊圖像進行處理,使圖像識別更加清晰與準確。加權平均法實例如圖4所示,圖4(a)的右邊部分模糊,圖4(b)的左邊部分模糊,通過在MATLAB軟件中進行加權平均得到清晰的圖片,即圖4(c)。加權平均法在交通標志牌的識別中十分重要,不僅可以提高安全性,而且可以增強魯棒性。

圖4 加權平均法實例

6.2 卡爾曼濾波

卡爾曼濾波是一種常用的自適應傳感器融合算法,用于消除系統中的冗余,預測系統的狀態。卡爾曼濾波采用一個線性空間模型,系統的當前狀態取決于先前的狀態。卡爾曼濾波狀態空間模型為:

Xk=AXk-1+Bu+Gw

(1)

Zk=HXk+v

(2)

式中:Xk為k時刻狀態向量;Xk-1為k-1時刻狀態向量;A為狀態轉移矩陣;B為輸入轉換矩陣;G為過程噪聲轉移矩陣;u為輸入向量;w為過程中噪聲向量;Zk為k時刻系統測量信息;H為測量矩陣;v為測量噪聲向量。

w、v的協方差矩陣分別為Qk、Rk。

利用卡爾曼濾波進行的狀態估計有兩個階段,預測階段為:

(3)

Pk=APk-1AT+Qk

(4)

更新階段為:

(5)

(6)

(7)

式中:Pk為k時刻估計協方差;Pk-1為k-1時刻估計協方差;Kk為卡爾曼增益;C為觀測轉移矩陣;∧表示先驗概率分布;—表示后驗概率分布。

在預測階段,估計值與觀測值一同更新。如果有兩個傳感器分別發送數據,那么在利用第二個傳感器的觀測值來更新預測值前,可以將第一個傳感器的讀取值作為先驗信息。

卡爾曼濾波在圖像識別中是一種常見的融合算法,可以進行降噪,并增強魯棒性。卡爾曼濾波雖然是數據層面的融合,但是對于傳感器的融合而言非常重要。

6.3 神經網絡

不同于卡爾曼濾波,神經網絡提供非線性傳遞函數和并行處理能力,可以幫助執行圖像融合。神經網絡由稱為神經元的處理節點連接而成。建立神經網絡數據融合模型,根據多傳感器數據輸入和輸出之間的關系,分配神經元和互連權值。神經網絡既有多層前饋型,也有遞歸型。

神經網絡融合輸出信號和輸入信號,計算相應的權重y:

y=∑wixi

(8)

式中:wi為權重;xi為傳感器數據。

傳統神經網絡將圖像一層一層映射,最后進行特征提取。目前,多用卷積神經網絡進行融合。卷積神經網絡可以看作是特征提取與分類器的結合體,單從各個層的映射來看,類似于特征提取的過程,提取不同層次的特征。神經網絡的容錯性很強,能夠用于復雜的非線性映射環境。神經網絡強大的容錯性及自學習、自組織、自適應能力等特性,滿足多傳感器數據融合技術處理的要求。神經網絡在數據模型中,主要根據當前系統所接受的樣本相似性確定分類標準,這一過程表征為網絡的權值分布。可以利用神經網絡的信號處理能力和自動推理功能,實現多傳感器數據融合。

7 結束語

筆者介紹了汽車自動駕駛中常用的傳感器、傳感器融合技術,以及融合算法。目前,各種傳感器融合技術主要實現信息數據的融合,通過算法的配合提高置信度和分辨率,增強系統的魯棒性,并提高容錯率。傳感器的融合既有相同種類的融合,也有考慮兼容性的融合。

未來,傳感器融合會更多向以下幾個方面發展:第一,通過對算法的優化提高實時性;第二,使傳感器具有預判能力,提高在復雜環境下工作的準確性;第三,避免各種算法之間產生干擾,增強魯棒性。