基于多傳感器數據融合的攝像頭數據預處理研究

沈平，楊國平

（201620 上海 上海工程技術大學 機械與汽車工程學院）

0 引言

汽車新技術的快速發展逐漸改變著人們的生活方式。汽車技術不僅加快了不同地區人們的交流，而且促進了不同地區的互利共贏[1]。智能輔助駕駛系統（Advanced Driver Assistance System，ADAS）是智能汽車主動安全的重要組成部分，傳感器則是實現 ADAS 感知的基石，直接影響智能駕駛車輛（Intelligent driving vehicle，IDV）的決策和控制。不同的傳感器采集周圍環境信息各有優勢與不足。如Camera 可以獲取較豐富的信息量，包括目標的種類、目標物與本車的相對距離、車道線等信息，但Camera 容易受到光照條件和天氣等環境因素的影響而導致識別目標信息不精確；特別是安裝在主車的 CalmCar 攝像頭，由于自身參數特性和主車在行駛中的顛簸抖動，識別結果會出現空目標和虛假目標現象。為解決這一問題，MAHLISCHL[2]等人提出基于時空對齊理論，搭建時空對準視覺和多波束激光雷達測量的傳感器融合系統，同時進行短程-遠程 Radar 和Camera 數據的校準；LAGHMARAA[3]等人基于 Camera 和 Radar 建立數據關聯模型，以Radar 數據為參考修正Camera 數據；孫青[4]等人提出了基于 Radar 的障礙物檢測算法，在傳統 SSD 算法基礎上改進識別算法，添加反卷積網絡層，提高識別目標的精度，通過建立各坐標系的轉換關系最終驗證了該算法的有效性。

為了提高Camera 數據的精度，本文對于Camera 采用改進的 GNN 數據關聯的方法，根據實時的需求動態調整關聯閾值，提高 Camera 采集數據與實際目標匹配精度。

1 有效目標初選

將CalmCar 采集的前方目標與主車的相對距離（S）、車速（V）和加速度（a）進行數據分析，通過多個周期跟蹤判斷，得出結論：假如CalmCar采集的S、V 和a 的最值沒有發生變化，可以斷定采集的目標為噪聲信息，即為虛假目標。圖1 所示為攝像頭初選采集前方目標信息顯示圖。

圖1 攝像頭識別信號圖Fig.1 Camera acquisition signal diagram

如圖2 所示為攝像頭Camera 在15 s 內識別周圍目標物ID 與主車相對距離曲線圖，圖2 中的曲線代表不同目標物ID 信息，縱坐標是主車與識別目標的相對距離。因為沒有經過預處理，所以圖2中存在如左上角直線所表示的虛假目標信息。

圖2 視覺識別前方目標物實時距離圖Fig.2 Visually collecting real-time distance map of front target

2 數據關聯

2.1 全局最鄰近（GNN）數據關聯

經過有效目標的初選后，剔除部分虛假目標等干擾信息，仍會出現Camera 檢測的數據與實際目標無法一一對應的情況，本文采用目標數據關聯的方法解決此問題。數據關聯是將某一時刻傳感器識別的多目標信息與實際目標信息相匹配的過程。

目前常用的多目標數據跟蹤算法主要有最近鄰（NN）方法、全局最近鄰（GNN）、概率數據關聯（PDA）和聯合概率數據關聯（JPDA），考慮到計算復雜度和設備性能，本文采用改進的GNN 方法。GNN 的一個關鍵步驟是生成代價矩陣。計算公式為

式中：εij（k+1）——第i 次采集數據的關聯與第j次實際測量產生的新數據；——第i 條關聯的預測狀態估計值；Zj（k+1）——第i 次采集數據的實際測量值；Sij（k+1）——εij（k+1）的協方差；cost（i，j）——第i 次關聯與第j 次實際測量代價函數。代價矩陣如表1 所示。

表1 代價函數檢測表Tab.1 Cost function detection

在 k 時刻有3 個有效目標跟蹤值，3 個真實測量值，此時代價矩陣為 3×3 矩陣。將數據關聯的問題轉換為數值分配問題，其中匈牙利算法是一種求解分配問題的組合優化算法。與此同時，在代價矩陣中需要考慮關聯閾值，表達式如下：

表2 是代價函數檢測表，INF 為變量的最大值，表示傳感器探測到的 3、4 和5 數值沒有被目標跟蹤。

表2 代價函數檢測表Tab.2 Cost function detection

2.2 關聯閾值的確定

關聯閾值決定Camera 識別數據與實際目標匹配精度。在整個過程中關聯閾值不能為固定值，需要實時調整。如圖3 所示，設定閾值關聯閾值為3σ。關聯閾值主要由兩部分組成，一個是置信區間即符合正態分布的方差σ，另一個為方差的權重系數。根據實時的需求動態調整關聯閾值，不僅可以調整置信區間σ，還可以調整σ的權重系數。由于權重系數是一個與置信區間有關的值，因此權重系數的選擇需要在確定置信區間后進行實時的設定。在多傳感器數據融合過程中，可以根據不同類型傳感器各自的特點分別進行不同的置信區間的設定，并且要使用相同的權重系數[5-7]。

圖3 關聯閾值設定區間分布圖Fig.3 Correlation threshold setting interval distribution chart

在目標跟蹤的過程中，Sij（k+1）主要取決于H、Pi（k+1│k）和Rj（k+1），在傳感器融合策略中，主要運用了集中式融合策略，在融合中心進行不同傳感器識別數據的處理。假設經過融合處理后的被預測的軌跡是正確的，表明在上述表達式中特性的軌跡Pi（k+1│k）是正確的。當建立測量方程相等時，即H相等，只需要改變測量噪聲Rj（k+1）即可以實現對Sij（k+1）的調節。

3 虛擬仿真與實車驗證

3.1 Prescan 與Simulink 聯合仿真

采用Prescan 與Simulink 聯合仿真平臺進行仿真驗證，選擇合適的攝像頭傳感器和參數配置。然后進行道路環境的構建及布局，盡量符合實際項目中環境要素。同時，構建一些典型工況通過3D 視圖對仿真結果進行顯示和評價分析。

場景創建時，利用仿真軟件中道路和基礎設施模塊、車輛模塊和行人模塊，添加天氣設置創建交通場景，模擬真實道路，進行直道和彎道結合的工況的虛擬仿真驗證。圖4 為在Prescan 仿真軟件場景下構建的示意圖。

圖4 Prescan 場景創建示意圖Fig.4 Prescan scene creation diagram

圖5（a）為視覺初選目標的曲線圖。可以分析得出，在沒經過數據預處理的狀況下，攝像頭探測的目標信息與實際的目標信息探測值不一致，無法保證通過攝像頭采集的每一個目標信息都與實際目標信息保持一致。圖5（b）為經過目標關聯后的攝像頭感知目標信息。分析圖5（b）曲線，可以從原始目標序列中篩選出5 個有效目標。仿真對比驗證后，得出結論：關聯后的目標信息可以保證視覺探測目標與實際目標相一致。

圖5 攝像頭目標預處理圖Fig.5 Camera target preprocessing image

3.2 實車驗證

采用之前有效目標初選后的數據，利用改進的 GNN 數據關聯的方法，根據實時的需求動態調整關聯閾值，進行優化Camera 的數據，得到如圖6 所示的優化后的數據。

圖6 目標數據關聯后識別有效目標距離曲線Fig.6 Identifying the effective target distance curve after target data associated

從圖6 中分析得出，在主車保持以一定速度勻速行駛的條件下，經過預處理后僅存在4 個有效目標物ID 信息，其中有效目標1 在3.7～5.8 s時間段存在目標丟失的情形；有效目標2 在行駛過程中與主車的相對距離從23 m 增長到44 m；有效目3 在行駛過程中與主車的相對距離從10.3 m 增長到39.0 m；有效目標4 在行駛過程中有減速的行為，與主車的相對距離在16.5～24.0 m 之間。從實際識別目標運動狀態與數據曲線可知，經過數據關聯后的Camera 可以剔除不可信的虛假目標信息。

4 結論

本文主要研究Camera 原始信號的預處理。對于Camera 采用改進的GNN 數據關聯的方法，根據實時的需求動態調整關聯閾值，提高Camera 采集數據與實際目標匹配精度。試驗驗證結果表明：通過對Camera 原始信號的預處理，可以篩選更加精確的有效目標，剔除了不可信的干擾信號。為后續數據融合提供了更加可靠的Camera 數據。