基于多源異構信息融合的智能汽車目標檢測算法

隗寒冰，白 林

(重慶交通大學 機電與車輛工程學院，重慶 400074)

0 引 言

融合多源異構信息的環境感知算法是智能汽車目標檢測的關鍵和共性技術之一。近年來，采用單一傳感器信息進行目標檢測算法開發的研究較為普遍，對基于多線激光雷達、GPS、相機等多源信息融合的智能汽車環境感知算法研究還相對較少。文獻[1-3]通過遞歸思想將目標檢測構建為一個回歸問題，利用單一神經網絡預測目標的位置和分類。LIU Wei等[4]采用前饋卷積網絡產生固定大小的邊界框集合，并對這些邊界框中存在的目標類別實例進行評分，然后進行非極大值抑制來選擇最終檢測結果。.ARCOS-GARCA等[5]分析了幾種目標檢測框架與特征提取器相結合的性能，并提出遷移學習方法改進交通標志檢測算法，然后對檢測算法的mPA、內存分配、運行時間等進行測試評價；但該算法未考慮到車輛運動狀態、天氣條件、傳感器抖動、目標遮擋、光照強度變化等因素對環境感知算法產生的影響。但基于深度學習識別交通標志的應用場景仍能在霧霾天氣進行[6]。

考慮到單一傳感器受自身條件與環境因素限制，XUE Jianru等[7]利用多傳感器數據融合進行障礙物檢測，并以手工標記障礙物的準確率為標準，采用數據關聯匹配對算法進行測試評價。CHEN Xiaozhi等[8]采用多視圖融合的目標檢測框架，將雷達點云映射到二維坐標圖像以得到前視圖和鳥瞰圖，然后通過提取感興趣區域特征信息進行目標檢測。LIANG Peijung等[9]采用相鄰數據幀跟蹤的方法對多源傳感器數據時間同步進行估計，空間配準變換矩陣來自點云SLAM(simultaneous localization and mapping)，最后基于多源傳感器信息融合進行目標檢測，但該算法未考慮時間同步誤差、空間配準誤差、交通場景、車輛狀態等對多源信息融合目標檢測算法準確性、實時性等的影響。WANG Jun等[10]采用概率融合框架解決了行人檢測性能限制問題，應用激光雷達提取對象結構特征并訓練SVM分類器，減少候選窗口數量，提高對行人檢測的準確率。DENG Zhidong等[11]通過關聯相機與激光雷達數據，使關聯后的數據信息包含顏色與幾何特征信息，然后利用幾何特征進行目標檢測與識別。ZHOU Lipu等[12]基于激光雷達與相機的數據，將位置、顏色、激光反射率和幾何特征等信息融合，以改進僅依靠圖像數據對交通標志識別的準確性。

筆者基于GPS、16線激光雷達和雙目深度相機等多源信息融合開發了智能汽車環境感知目標檢測算法，實現了信息融合過程中的時間同步、聯合標定及目標檢測。數據時間同步采用同一時間節點插值匹配，以減小多源傳感器基于相鄰幀估計同步時間的誤差；空間配準先對雙目深度相機與激光雷達單傳感器進行標定，以修正傳感器因自身物理結構與安裝位置產生的誤差。然后改進文獻[13]提出的聯合標定算法，將修正后的單傳感器時間同步數據信息作為聯合標定算法的輸入，對雙目深度相機和激光雷達進行聯合標定求解最優空間變換矩陣，利用標定結果得到的空間變換矩陣融合多源異構傳感器信息進行目標檢測算法開發，并在智能汽車實驗平臺對環境感知算法進行性能測試評價。

1 多源異構傳感器時間同步

在多源異構信息融合過程中，時間同步主要解決各傳感器之間因數據流時間周期或啟動時刻不同造成的觀測數據不匹配問題。筆者在GPS時間同步基礎上，采用時間節點插值匹配方法，實現異構傳感器數據時間同步。根據數據幀頭求解激光雷達的啟動時間，并設置激光雷達的工作頻率為10 Hz，相機幀率設置為30幀，并在同一時間節點對各傳感器數據幀設置相同ID編號，實現數據同步接收。

1.1 GPS與激光雷達時間同步

雷達接收由GPS提供的數據包$GPRMC中的時間信息后，賦值到設備信息輸出協議(DIFOP)的時間信息內，在1 s內，設備信息輸出協議重復發送3次，數據長度為10個字節，包括年、月、日、時、分、秒、毫秒，GPS的$GPRMC數據信息提供準確時間到秒，再以PPS正秒時刻為基準，當PPS 上升沿到來觸發雷達內部的微處理器從零以微秒開始計數，將GPS的UTC時間與雷達輸出的數據包時間戳計數值相加得到絕對精確時間，使GPS與激光雷達數據流時間同步，結果如圖1。

圖1 GPS與激光雷達時間同步序列Fig. 1 GPS and LIDAR time synchronization sequence

1.2 雙目深度相機與激光雷達時間同步

將多源異構傳感器與工控機并聯，設置工控機系統時間節點為基準時間標準，根據工控機系統時間節點求解激光雷達數據幀時間節點與相機數據幀時間節點，求解流程如圖2。若雷達數據幀時間節點與相機數據幀時間節點之差在設定閾值0.001 s內，即得到多源異構傳感器時間同步數據流。

圖2 相機與激光雷達時間同步Fig. 2 Camera and LIDAR time synchronization

2 多源異構傳感器聯合標定

多源異構傳感器聯合標定是為了求解傳感器坐標系與車輛坐標系之間的空間變換矩陣，然后根據變換矩陣將激光雷達數據與雙目深度相機進行空間配準，從而將采集的圖像和點云統一變換到車輛坐標系。假設激光雷達坐標系為OL-XLYLZL，車體坐標系為OV-XVYVZV，雙目深度相機坐標系為OC-XCYCZC，如圖3。

圖3 智能汽車實驗平臺Fig. 3 Intelligent vehicle experimental platform

2.1 單一傳感器標定

相機標定采用張氏標定法[14]標定深度相機的內外參數，完成三維坐標系到圖像坐標系的映射。對激光雷達進行標定，根據雷達信息進行距離補償及垂直角度、水平角度、旋轉角度矯正。設激光雷達三維點云測量距離為r，激光雷達安裝位置的俯仰角為ω，旋轉角為α，并將雷達數據由極坐標變換為笛卡爾坐標(x,y,z)。

根據坐標系定義，激光雷達坐標系相對車體坐標系沿x，y軸方向的平移向量為0。激光雷達外參標定簡化為求解俯仰角α、橫擺角β、航向角γ和縱向位移這4個量。根據需求選取實驗場平整的水平地面作為參照，激光雷達俯仰角和橫擺角的存在使水平地面點云形成的平面在雷達坐標系OL-XLYLZL中相對XLYL方向具有一定傾斜值。假設水平地面返回的激光雷達點云信息構成的平面在雷達坐標系中的平面擬合方程如式(1)：

ZL=AXL+BYL+C

(1)

式中：A、B、C分別為點云平面方程常數；XL、YL、ZL分別為三維空間的坐標軸。

假設雷達坐標系與車體坐標系之間的俯仰角和橫擺角偏差為0，使水平地面點云形成的平面在雷達坐標系中處于水平，平行車體坐標系XVYV平面，即參數A,B為0，C為兩個坐標系原點縱向距離。構造無約束非線性優化目標函數如式(2)：

G(α,β)=argmin(|A|+|B|)

(2)

將雷達坐標系下地面點云通過坐標變換矩陣得到的校正值應與水平面充分平行，此時G取得最小值。式(2)難以求解析解，筆者根據優化目標和優化變量，將目標點云作為輸入。依據遺傳算法優化應用場景及效果明顯[15]，采用遺傳算法迭代求解α，β最優值。

根據目標函數和變量初始化種群，利用二進制進行編碼，并通過函數轉化為十進制(x,y)，如式(3)：

(3)

式中：(ai1,ai2,…,aiL) ∈[ri,Ti]為某個個體的第i段，每段段長都為1；Ti和ri為第i段分量定義域的兩個端點，每個ai*均為0或1。

由坐標變換矩陣求解原始點云的變換坐標，擬合變換的點云坐標平面，求解系數A，B的值，由函數G(α,β)計算適應度值F′。根據適應度值進行選擇運算，對群體中個體進行優勝劣汰，按與個體適應度成正比概率決定當前群體中的個體是否遺傳下一代。筆者采用輪盤賭法選擇算子，個體i被選中遺傳到下一代的概率如式(4)：

(4)

式中：L為種群中個體數量；F′為個體i適應度值。

利用經過選擇操作后種群中的兩個隨機對象作為交叉對象，并作為父個體進行染色體交換重組生成兩個子個體。染色體重組產生的變異運算是通過按變異概率隨機反轉某位等位基因的二進制字符值來實現。然后尋找最優解，根據最優解計算俯仰角、橫擺角及縱向距離，如圖4。

圖4 目標物的投影點擬合直線Fig. 4 Fitting straight line of the projection point of the target

對兩坐標系間的導航角求解，采用垂直水平地面的物體作為標志物，通過車輛直線行駛，采集包含標志物的多幀點云數據，使用直通濾波、區域聚類等方法提取標志物點云投影至水平面，并標記每一幀數據的投影點為(xi,yi)，其中i∈(1, 2, 3,…,n)，對投影點進行直線擬合，如式(5)：

y=kx+b

(5)

式中：k為斜率，b為截距。

由此推算航向角如式(6)：

γ=arctan(k)

(6)

完成單一傳感器標定，修正傳感器因自身物理結構與安裝位置產生的誤差。并將修正后的激光雷達與相機時間同步數據信息作為聯合標定算法的輸入。

2.2 多源異構傳感器聯合標定

多源異構傳感器聯合標定是為了求解車體坐標系、激光雷達坐標系與相機坐標系之間的空間變換矩陣。調整雙目深度相機和激光雷達安裝位置，使之同時觀測到規則標定板平面，然后根據各傳感器數據在同一空間下測量時目標位姿不變性建立優化目標，求閉式解或迭代優化。對標定矯正的三維激光雷達點云數據進行濾波處理，即分別對XYZ三個維度方向進行濾波消除背景噪聲，以提取目標點云。對標定板平面激光雷達點云進行平面擬合，假設擬合平面法向量和激光雷達坐標系原點到擬合平面的距離分別為θL，sL。同時假設標定板平面在相機物理坐標系中法向量和相機物理坐標系原點至標定板平面的距離分別為θc，sc。其計算如式(7)：

(7)

式中：θL為激光雷達點云擬合標定板平面法向量；sL為激光雷達坐標系原點到標定板的距離；θc為圖像中標定板平面法向量；sc為圖像坐標系原點到標定板平面距離。

對空間任意一點，激光雷達坐標系下觀測該點到標定板平面距離應與雙目深度相機物理坐標系下觀測結果相同。當該點取為雷達坐標系原點時，定義目標函數如式(8)：

(8)

令該函數結果等于T0，如式(9)：

(9)

求解該函數的閉式解如式(10)：

(10)

與之類似，對于空間中的任意向量，先在激光雷達坐標系中進行觀測并變換到相機物理坐標系，應與相機物理坐標系中觀測結果相同，即內積最大。當選取標定板平面法向量時，定義目標函數，該令函數結果等于R0，其計算如式(11)：

(11)

在內積最大時，旋轉矩陣滿足正交矩陣條件，設此時的旋轉矩陣R有RTR=I，根據矩陣跡性質將目標函數等價如式(12)：

(12)

該函數閉式解如式(13)：

Rl=VUT

(13)

求得旋轉矩陣、平移向量的初始閉式解后，在激光雷達坐標系的標定板平面任意取點，通過變換矩陣映射至相機物理坐標系，使激光雷達點云在相機物理坐標系觀測結果與相機理坐標系中直接觀測的結果相同，由此構造優化函數如式(14)：

(14)

采集離線數據進行標定，求解空間變換矩陣，將激光雷達點云映射至圖像坐標系下，并變換到車輛坐標系，如式(15)：

(15)

式中：PV、Pc為車體坐標下坐標和相機坐標下坐標；RVL、tVL為雷達坐標系到車輛坐標系的旋轉矩陣與平移向量；RcL、tcL為雷達坐標系到相機坐標系的旋轉矩陣與平移向量。

3 基于多源異構信息融合目標檢測

在多源傳感器時間同步和聯合標定結果基礎上，提出基于多源異構信息融合的目標檢測算法，解決單一傳感器環境感知時的局限性問題，算法框架如圖5。其中：P(x,y,z)為激光雷達點云中每個點坐標信息；R為空間旋轉矩陣；T為平移向量；(x,y,w,h)lidar與(x,y,w,h)camera為異構傳感器提供的位置信息。

圖5 基于多源信息融合的目標檢測算法框架Fig. 5 Framework of target detection algorithm based on multi-source information fusion

算法框架求解步驟如下：

1)根據C/S通信模型下的數據報通信協議實現多源傳感器之間通信及時間同步處理，完成傳感器之間數據的同步采集，得到原始數據集。

2)利用相機與激光雷達同一時間節點采集的環境信息，分別實現激光雷達目標檢測及圖像目標檢測，并分析基于單一傳感器信息進行目標檢測時存在的局限性。

3)利用基于遞歸神經網絡方法對圖像信息進行預處理，在預處理過程中通過損失函數準確的求解出目標的位置信息和類別信息；利用基于幾何特征求解的方法對雷達信息預處理，并在預處理過程中利用聯合標定求解的空間變換矩陣進行空間配準，將配準的3D點云信息轉化為2D點云信息。

4)根據求解目標位置信息進行融合，融合后主要包含目標的位置信息和類別信息，能有效感知交通場景中的環境信息。

3.1 激光雷達目標檢測

在傳感器信息融合算法基礎上，基于SVM點云分割與歐式聚類法對激光雷達點云中的目標進行檢測。對激光雷達點云數據使用網格化方法進行下采樣，使保持點云有效形狀特征的同時減少點數量；在下采樣基礎上進行空間剪切濾波，獲取空間下與相機相同視場點云數據，并對點云數據進行濾波提取索引點云子集。假設索引點云集合為V，隨機選取點云V中的3個坐標點V1、V2、V3，求解兩點之間距離，設為d1、d2，即有式(16)：

(16)

式中：V1、V2、V3分別為激光雷達點云集合中3個隨機點的坐標；d1為隨機點V2與隨機點V1之間坐標差值；d2為隨機點V3與隨機點V1之間坐標差值。

根據兩點之間坐標之差，求解SVM平面方程，如式(17)：

a×x+b×y+c×z=d

(17)

式中：a、b、c分別為點云平面方程常數；x、y、z分別為三維空間坐標軸。

則法向量n的表達式如式(18)：

(18)

其中法向量n有式(19)：

(19)

式中：a、b、c分別為平面方程常數，可構成平面方程法向量。

根據法向量和平面內任意點云坐標V，即可求得點到平面的距離，在點云集合V中，遍歷求解點云到擬合平面的距離d′，如式(20)：

(20)

若點云到擬合平面的在設定距離內，即生成索引點云子集，并對點云子集進行濾波處理，提取障礙物特征點云。采用歐式距離計算和對比不同數據點之間的距離，結合二叉樹搜索方法使距離值在閾值范圍內的數據點進行組合，對障礙物特征點云進行目標聚類，如式(21)：

(21)

式中：D(x,y)為點與點之間的距離值；xi、yi分別為每個點坐標值。

在目標聚類后，根據每個點云子集求解點云子集在空間雷達坐標系下的最大點坐標信息與最小點坐標信息，由最大點與最小點坐標信息求解障礙物的包圍框。激光雷達點云隨距離增加變得稀疏，環境感知算法對障礙物檢測性能降低[16]，遠處目標不能有效檢測，如圖6。

圖6 激光雷達目標檢測Fig. 6 LIDAR target detection

3.2 圖像目標檢測

結合基于遞歸神經網絡目標檢測算法在實時性與準確性等方面的性能，對相同視場空間下的圖像處理采用文獻[3]的目標檢測算法，在圖像目標檢測方面權衡了實時性和準確性，尤其在小目標檢測方面性能較好。算法處理流程主要包含特征提取、目標預測、包圍框位置與目標類別的損失回歸等步驟，如圖7。

圖7 Yolo目標檢測算法結構Fig. 7 Yolo target detection algorithm structure

筆者針對智能汽車行駛的實際交通場景，對算法模型超參數進行微調，根據實際應用場景，學習需要檢測的障礙物目標如車輛、行人等。將采集的交通場景數據與手工標簽作為算法輸入，對場景中的目標進行特征提取、目標預測與分類，最后對包圍框與目標類別進行損失回歸，回歸函數分別對預測中心坐標、預測邊界框、類別與置信度做損失。其中：心坐標損失函數為Lc，預測邊界框的寬高損失函數為Lwh，預測類別損失函數為Lclass，預測置信度損失函數為Lci，其計算有式(22)～(25)：

(22)

(23)

(24)

(25)

根據損失函數判斷是否為求解的檢測目標，如式(26)：

Lobject=Lc+Lwh+Lclass+Lci

(26)

通過圖像紋理及顏色等信息能更有效感知環境信息，但對環境適應性較差，在目標遮擋、光照變化等條件下，會出現難適應環境變化的工況。

3.3 基于多源異構傳感器信息融合的目標檢測

在實際交通場景中，車輛、行人及其他障礙物目標形態存在較大差異，視角遮擋等干擾因素很難獲得某種固定模式，從而進行有效的目標檢測。三維點云缺少目標對象的紋理信息及實際場景數據空間拓撲結構信息；深度相機能標定目標的紋理輪廓信息，但缺少速度分辨率和角度分辨率；基于單傳感器信息的環境感知算法對環境適應性較差，并與實際場景的工程應用具有一定差距。文中算法在激光雷達信息目標檢測與圖像信息目標檢測基礎上，將激光雷達獲取的目標信息與相機圖像提供的目標顏色信息相結合，并基于時間同步、聯合標定的空間配準實現多源信息進行實時融合，為智能汽車在實際交通場景行駛時提供有效的環境感知信息。

根據圖5多源異構傳感器信息融合算法框架，多源異構信息包圍框位置信息如圖8。

圖8 多源異構信息包圍框位置信息Fig. 8 Location information of multi-source heterogeneousinformation bounding box

將激光雷達信息進行預處理，提取障礙物點云的幾何特征信息，將擁有障礙物幾何特征的點云通過R、T組成的空間變換矩陣變換至相機坐標系，如式(27)：

P(x,y,z)L_c=P(x,y,z)L×[RT]

(27)

式中：P(x,y,z)L為激光雷達點云信息；P(x,y,z)L_c為經過旋轉矩陣R和平移矩陣T組成的空間變換矩陣變換的激光雷達點云信息。

(28)

根據式(28)變換后的點云幾何特征信息求解障礙物3D包圍框的極值坐標。圖像信息求解包圍框位置坐設為a、b、c、d，如式(29)：

(29)

由點云信息和圖像信息求解的位置信息融合函數Hx_center、Hy_center、Hwidth、Hheight如式(30)：

(30)

4 實驗結果

筆者以重慶交通大學行遠智能汽車作為實驗平臺。該平臺搭載差分GPS、小覓雙目深度相機、16線激光雷達等，其參數如表1。

表1 車載多源傳感器及工控機關鍵參數Table 1 Key parameters of automotive multi-source sensors and industrial computers

4.1 多源異構傳感器標定實驗結果

在時間同步與單傳感器標定基礎之上，進行聯合標定求解獲得空間變換矩陣[R,T]，對多源傳感器數據進行空間變換，映射到圖像坐標系。根據采集20～30幀數據進行實驗，通過空間變換，能有效地將雷達數據流映射到圖像空間坐標系中，如圖9。

圖9 多源傳感器聯合標定實驗Fig. 9 Multi-source sensor joint calibration experiment

4.2 多源信息融合的環境感知算法測試結果

圖像信息處理采用文獻[3]中的深度學習算法模型，通過特征提取、分類回歸，求解圖像信息包含的障礙物位置信息與類別信息。激光雷達點云信息通過平面分割、歐式聚類等方法求解點云信息中障礙物的幾何特征，通過空間變換矩陣[R,T]將激光雷達點云信息中包含的障礙物幾何特征點云從激光雷達坐標系變換至相機物理坐標系，并將變換后的3D點云信息映射為2D信息，融合至相機圖像信息進行環境感知。

將文中構建的多源異構信息融合算法進行實車實驗，通過對時間同步誤差和空間配準誤差的優化，融合圖像信息與激光雷達信息，從而有效彌補單一傳感器在環境感知中存在的局限性。校園光影遮擋環境下的算法測試結果如圖10，算法統計結果如表2。基于多源信息融合的目標檢測準確率在78.13%～85.56%，平均耗時0.16 s，具有較好的工程實際價值。

圖10 實際檢測結果Fig. 10 Actual test results

表2 多源異構信息融合算法檢測結果統計Table 2 Statistics of detection results of multi-source heterogeneousinformation fusion algorithm

4.3 KITTI數據集對比結果

采用KITTI數據集對算法進行客觀評價，如圖11。在僅依靠圖像信息的環境感知算法中，基于卷積神網絡的圖像檢測算法準確率較高，如RV-CNN的準確率超過90%，但由于使用了非常深的網絡，即使使用GPU單幀目標檢測耗時仍然較高。YOLOv2通過優化網絡結構，檢測速度有較好提升，但準確率有所下降。在僅依靠雷達信息的環境感知算法中，行人姿態不斷變化導致目標準確率均有所降低。雖然車輛等障礙物點云信息有固定目標檢測求解模式，其準確率也僅在70%左右。如Complex-YOLO相對VoxelNet算法，單幀數據檢測速度有所提升，但準確率又有所降低。而在信息融合檢測算法中，MV3D算法利用了較深層次的網絡，準確率接近80%。筆者開發的多源異構信息融合環境感知算法平均準確率78.93%，檢測速度達到0.19 s/幀，準確率有所提升，且算法較好權衡了實時性和準確率。

圖11 標準數據集對比結果(KITTI車輛、行人數據)Fig. 11 Comparison results of standard datasets (KITTI vehicle and pedestrian data)

5 結 論

1)針對多源異構傳感器時間同步的數據幀信息多為隨機匹配，產生的誤差較大，筆者采用基于時間節點的插值匹配，能有效減少隨機匹配產生誤差，增加多源異構信息的匹配度。

2)將雙目深度相機圖像標定結果與矯正的激光雷達點云作為聯合標定輸入，求解最優的空間變換矩陣，將包含障礙物幾何特征的點云信息變換至圖像坐標系，融合圖像中求解的障礙物信息，彌補單一傳感器環境感知存在的局限性。

3)在KITTI數據集中及實車實驗對筆者提出的目標檢測算法進行驗證，準確率為78.13%～85.56%，每幀數據檢測平均耗時為0.16～0.19 s，在遮擋、光照變化等工況下均能準確檢測環境目標，具有較好的工程應用前景。