6G車聯網絡面向多源感知的數據融合技術

程宇杰，劉卓涵，閆 實，彭木根

(北京郵電大學 網絡與交換技術國家重點實驗室，北京100876)

0 引言

自動駕駛是提高出行安全、提升交通效率、實現智慧交通的關鍵技術之一，已成為當下世界研究熱點。雖然單車智能化水平正逐步提高，但在更高級的自動駕駛發展過程中仍面臨嚴峻挑戰，如2022年8月美國佛羅里達州發生的特斯拉致死事故[1]，因單車感知受到視距影響，缺少通信協同信息導致感知能力受限，導致橫穿行車道的行人死亡。為滿足未來自動駕駛全方位、高可靠等駕駛需求，實現全場景下自動駕駛的部署，亟需解決單車感知能力受限問題[2]。未來6G網絡預計可實現低于1 ms的通信時延和相對于5G算力10倍的提升，結合6G高性能通信技術，車聯網絡將在多源感知數據融合處理技術使能下實現多節點協同的超視距感知增強，突破單車智能的瓶頸限制[3]。通過引入路側感知，車輛網絡可獲得更高維的數據，并借助于通感算融合實現車-路-云一體化協同感知、傳輸、決策的全局架構[4]。在該架構中，通信功能可支持全方位多層次的協同智能，擴展感知的深度和維度，實時共享的分布式算力可對收集到的感知數據進行計算處理，實現高精度感知。通過“車-路-云”多維度、全方位的感知融合，車聯網絡將從網聯輔助信息交互階段進入到網聯協同感知階段[5]，從而能夠服務于L5級自動駕駛車輛[6]。

1 感知融合發展現狀與挑戰

目前，自動駕駛采集感知信息的傳感器主要有三類：攝像頭、激光雷達與毫米波雷達。攝像頭成本低，并可提取出豐富的語義信息，但提取深度信息能力弱，且受環境影響較大。激光雷達易于重構準確的三維環境信息，但信息稀疏，描述能力相對較弱，且易受雨雪霧霾天氣的影響導致檢測距離變短，感知信息失真。毫米波雷達幾乎不受環境影響，但感知信息更加稀疏，感知具有非常大的不確定性，穩定性差。同時基站無線感知技術也可提供范圍更廣且不受環境影響的感知點云信息，但只能檢測出目標的速度和位置，難以辨別屬性[7]。鑒于傳感器獨立工作的缺點和差異性感知方式存在的不同感知缺陷，業界對多傳感器融合技術進行了許多研究，國內外主要討論了三種多傳感器的融合方式：毫米波雷達與攝像頭融合[8]通過將毫米波雷達提供的障礙物距離和速度信息與攝像頭提供的語義信息進行融合，實現對障礙物的有效探測；攝像頭與激光雷達融合[9]通過將點云數據和高分辨圖像進行數據級融合，實現對周圍交通環境的準確感知；激光雷達與毫米波雷達融合[10]通過將雙雷達的點云數據進行配準相互補全，實現三維交通環境地圖的精確建圖。然而，上述融合方法僅對多傳感器信息進行簡單疊加，尚缺乏不同傳感器深度融合的能力。

同時，由于傳感器感知范圍有限以及單車視野易受視距影響，僅依靠傳感器堆砌的車輛感知和計算能力存在上界，如國內企業“小鵬”在為汽車裝備32個傳感器的情況下，也只能達到L2級別自動駕駛能力[11]。為此，業界開始對協同感知融合技術進行研究，借助于車車/車路等無線通信技術，車聯網絡可通過多源感知數據融合技術將車側與路側的感知數據融合，通過車路協同將分布在車側與路側的多源傳感器聯接成一個有效的傳感網絡。但在車聯網絡實現協同感知過程中，仍存在以下問題：

① 協同感知融合方法不明確：國內外主要關注于車-路-云融合的信息服務架構，計算分層架構的研究，而對車-路-云一體化協同感知融合方法和架構的研究仍處于初步階段[12]，車聯網絡尚缺乏多源感知數據進行分級融合的能力，難以滿足更高等級自動駕駛的智能感知需求。

② 多源感知數據難以進行精確融合：現有融合技術主要分為前融合和后融合，前融合將數據級信息融合，形成的高清地圖不丟失信息特征和維度，具有高精確度、廣覆蓋性等特性，可為車輛在復雜交通環境下的自動駕駛提供有力支撐[13]，但是由于感知節點空間上分布散亂，傳感器位姿難以確定，融合過程中重疊特征稀疏等問題，多視角感知數據難以實現精確融合；后融合將特征級和決策級信息進行融合，精度易受傳感器和算法等因素影響，例如當融合網絡中某個傳感器精度低但被錯誤賦予很大的權重時，將得到差的融合結果[14]。

③ 有限通信帶寬難以支撐海量感知數據上傳：目前全球車聯網通信技術標準包含的5G-V2X技術可支持單車上行傳輸速率為50 Mbit/s，然而在TR 22.886 V16.1.1[15]中，3GPP定義單車原始感知數據達G級別，若不對原始數據進行處理，則難以滿足通信一定時延要求下的感知數據傳輸。

針對上述問題，本文的主要貢獻包括如下:

① 提出了一種面向多源感知的分級融合方法。通過設計車-路-云一體化的全局感知融合架構，實現了多節點協同下的全方位感知增強。

② 設計了新穎的單車多傳感器融合技術和路側基于特征的兩步配準融合技術，在通感基站輔助下統一了多源傳感器對交通環境的空間描述。

③ 基于多源感知數據時空冗余性，設計了時間融合-八叉樹壓縮-空間去冗余的感知數據簡化流程，減少了感知數據上傳帶來的通信開銷。

④ 搭建了仿真平臺，驗證了所提數據融合方法和技術的有效性，并給出了評估結果。

2 多源感知信息分級融合結構與流程

2.1 系統模型

圖1為通感基站輔助下的多源感知與數據融合系統模型，車聯網場景中包含M個通感一體化基站、N個智能網聯車(Connected-Automated Vehicle，CAV)和其他交通參與者(包括普通車輛與行人等)。智能網聯車通過搭載攝像機、激光雷達與毫米波雷達等傳感器收集感知數據，車-車間利用V2V通信技術，自組織形成車輛隊列協同共享感知數據，車-路間利用V2N通信技術傳輸感知數據，通感一體化基站通過發送無線感知信號執行無線感知，路-云間利用前傳和回傳通信技術傳輸感知數據。

圖1 通感基站輔助下的多源感知與數據融合系統模型

2.2 感知模型

本文將車側激光雷達、攝像頭、毫米波雷達與路側無線感知作為車聯網絡主要的感知手段，并定義了5類坐標系：包含激光雷達坐標系{L}、毫米波雷達坐標系{M}、無線感知坐標系{U}、圖像坐標系{C}和世界坐標系{W}。激光雷達通過模擬全向旋轉與各通道投射的激光仿真出每幀點云，垂直感知角度值域為-30°～+10°，得到的第i幀激光雷達數據由Li(x,y,z)表示，其中x、y、z表示由笛卡爾坐標系表征的{L}中的三維坐標值；攝像頭為RGB相機，記錄每幀場景的二維畫面，水平感知角度值域為-45°～+45°，得到的第i幀圖像數據由Ci(u,v,r,g,b)表示，其中u、v表示{C}中的二維坐標值，r、g、b表示像素點中顏色深度值；毫米波雷達傳遞一個圓錐形視圖，記錄每幀探測物體的極坐標和速度，水平感知角度值域為-15°～+15°，垂直感知角度值域為-15°～+15°。得到的第i幀毫米波雷達感知數據由Mi(d,α,θ,v)表示，其中d、α、θ分別表示極坐標系中的距離、水平角與俯仰角，v表示速度。

路側感知采用基站無線感知技術，通過發送承載感知信號的無線波形，并基于反射回波估計環境信息，得到的第i幀無線感知數據由Ui(d,α,θ,v)表示。無線感知的精度、距離、角度值域與分配的感知資源和波束形狀相關，分配的感知帶寬資源越多，距離分辨率越高[16]，其關系可表示為：

(1)

式中，ΔR表示感知距離分辨率，c為光速，SNR表示接收感知信號反射回波的信噪比，B表示感知帶寬資源。

2.3 感知融合流程

圖2為單車感知融合流程，輸入為車載激光雷達、攝像機、毫米波雷達采集到的感知數據，輸出為單車感知融合結果，圖3為協同感知融合流程，融合網絡主要針對原始感知數據進行融合，協同感知融合流程輸入分為車-路-云的多級輸入，具體過程如下：

圖2 單車感知融合流程

① 單車感知融合輸入為多傳感器感知數據，輸出為單車感知融合結果。將感知到的攝像機圖像數據與激光雷達點云數據在數據層面上進行融合，得到帶深度信息的分類檢測框；然后將毫米波雷達通過目標檢測得到的檢測框進一步融合，得到多傳感器融合結果。同時，單車針對感知所得的多個幀間的高時間相關性進行時間特性融合，完成多幀的感知數據融合處理，并根據歷史幀的感知數據信息預測一定時延后的感知信息結果，降低單車感知上傳的數據量，彌補通信傳輸時延造成的感知滯后，最終得到單車感知融合結果。

② 隊列感知融合輸入為車輛隊列內多車感知數據，輸出為初步協同感知融合結果和感知需求信息。借助于V2V通信技術，車輛通過分簇算法主動組織成“簇”，協同共享感知數據，簇頭通過PC5接口接收到的來自簇內多車的感知數據后，針對不同車輛感知結果的高空間相關性，完成多車感知數據融合與空間特性去冗余處理，并向路側上報感知需求信息。

③ 路側感知融合輸入為不同簇的隊列級別融合結果與路側通感基站的無線感知數據，輸出為全局感知融合結果。借助于V2N通信技術，路側通過UU接口接收到多個車輛隊列上傳的感知融合數據后，提取不同視圖的重疊特征，在路側無線感知輔助下將多源感知數據進行配準融合，同時根據車側反饋的感知需求信息利用無線感知技術對車聯網環境缺失的全局感知信息進行補全,得到全局感知融合結果。

④ 云側融合輸入為路側全局感知數據，輸出為協同感知融合結果。借助于前傳和回傳，云和中心網絡在接收路側上傳的路側感知融合數據后，進一步融合計算得到最終的協同感知融合結果，構建出全局高清地圖。同時，云側還可通過提供數據分析、運行管理等服務，下發感知決策信息，改善車聯網道路交通狀況，提高交通通行效率，避免交通事故發生。通過上述車-路-云多級多源感知數據融合方法，構建多節點協同下的一體化感知架構，網聯車視野擴展的同時感知識別精度也得到提高。同時針對感知數據的時空冗余性對感知數據進行的優化處理，也將有效減少上傳的感知數據量，降低通信開銷。

3 感知融合處理技術

為將不同模態與不同源的傳感器進行融合，首先需將不同傳感器的坐標系進行統一，包括{L}、{M}、{U}、{C}、{W}坐標系之間的變換。

3.1 車側感知融合技術

為了更好地融合，需將由極坐標系表征的雷達數據轉換為由笛卡爾坐標系表征，轉換公式為：

(2)

3.1.1 毫米波雷達坐標系到激光雷達坐標系

(3)

式中，R表示坐標系變換的旋轉矩陣，T表示坐標系變換的平移矩陣。

如圖4所示，圖4(a)描述坐標軸由Oa-XaYaZa通過T變換到Ot-XtYtZt的過程，T表示如下：

(a) 坐標軸通過T的變換

T=(TxTyTz)T,

(4)

式中，Tx、Ty、Tz分別表示為在X軸、Y軸、Z軸上的平移分量。

圖4(b)描述了坐標軸Oa-XaYaZa通過R變換到Or-XrYrZr的過程，R由分別繞X軸、Y軸、Z軸上的三個旋轉分量計算得到：

(5)

式中，βx、βy、βz分別表示繞X軸、Y軸、Z軸上的旋轉角，最后計算得到R:

R=Rx(βx)·Ry(βy)·Rz(βz)。

(6)

3.1.2 激光雷達坐標系到世界坐標系

(7)

基于上式可通過求解R、T實現多輛CAV的點云在同一世界坐標系中的配準。

3.1.3 世界坐標系到圖像坐標系

(8)

式中，fx、fy、u0、v0為相機內參參數，R、T為旋轉平移矩陣,Zc為尺度系數。

車側感知融合處理技術主要基于式(2)～(3)、式(7)～(8)對相機、激光雷達和毫米波雷達感知數據進行融合，將激光雷達的點云深度信息[17]和毫米波雷達的檢測信息匹配到同一像素坐標系下，并利用攝像機和毫米波雷達目標檢測框的深度信息得到目標位置，得到三者的最終融合結果。

3.2 協同感知融合技術

協同感知融合流程主要以激光雷達原始點云數據作為各級融合的輸入，并引入路側無線感知數據作為全局信息的補全。為進行更好地融合，在融合算法輸入前需進行預處理操作，對于激光雷達點云數據需先去除運動畸變并分離地面點，在融合后可根據感知需求基于融合變換的矩陣重新拼接地面點云到融合點云中。對于路側無線感知數據需先進行濾波操作，將由噪聲、雜波及多徑等因素產生的孤立點、虛假點、地面點等剔除掉，以保證對交通環境的真實描述。隊列感知融合針對空間內不同CAV的點云數據，通過求解式(7)的R、T將多幀點云配準到同一個基準坐標系進行描述，配準算法采用ICP算法，具體過程如下：

① 初始化R、T矩陣，基于式(7)將待配準點云與基準點云置于同一坐標系，迭代開始將兩幀點云的空間點進行匹配。匹配點集如下：

(9)

式中，Lik代表第i輛CAV的待配準點云點集，L1k代表簇頭CAV的基準點云點集。

② 構建最小化誤差方程求解R、T矩陣:

(10)

③ 求解的R、T矩陣作為下一次迭代的輸入，直到達到預設誤差或迭代次數閾值停止。基于求解的R、T矩陣利用式(7)得到配準結果。

路側點云在配準過程中由于存在大量獨立點，導致匹配點對誤差過大，在迭代過程易陷入局部最優，傳統ICP算法不再適用。為此提出一種粗配準+精配準的兩步點云配準方法，粗配準基于點云提取的特征點對進行匹配，得到的粗配準結果再輸入到ICP算法中得到精確的配準結果。特征點提取過程引入了路側感知數據，以路側通信節點的無線感知數據為例，對路側融合過程進行說明：

① 路側無線感知基于檢測提取得到的車輛與路邊障礙物構建特征點組成基準點集U。

② 第j隊簇群基于點云聚類算法提取到的車輛與路邊障礙物構建特征點組成待配準點集Lj。

③ 迭代開始，構建U和Lj匹配點集，并刪去匹配誤差過大點，基于式(10)構建最小二乘問題，求解R、T矩陣，并利用式(3)完成路側無線感知數據和激光雷達數據的配準。

④ 重復②～③,直到所有簇的待配準點云數據都統一到無線感知的基準坐標系中時結束，完成多簇點云數據以及路側無線感知點云數據的初步融合。

⑤ 將粗配準融合結果作為輸入，利用ICP算法得到更精細的多簇點云配準融合結果。

最后，將融合的多源感知數據上傳到云側，云側通過目標檢測、數據融合等處理技術完成數據處理計算決策和數據級高清地圖的構建。

3.3 感知數據壓縮去冗技術

車聯網絡傳感節點采集得到的感知數據存在時空冗余，時間冗余指同一傳感器在時間維度上的感知數據高度相似，空間冗余指多源傳感器在空間維度上的感知數據描述的三維環境信息高度重疊。針對以上特性，通過時間特性融合實現時間序列上多幀點云融合，利用空間特性去冗和壓縮算法實現對感知數據的簡化，以降低通信上傳的數據量，具體流程如圖5所示。

圖5 感知數據壓縮去冗流程

時間特性融合針對多幀感知數據的高時間相關性，基于卡爾曼濾波完成數據級的預測，實現時間上多幀感知數據融合處理，并得到一定時延后的感知預測結果，彌補通信上傳產生的時延影響。融合分為預測步和更新步。預測：

(11)

(12)

更新：

(13)

(14)

(15)

觀測方程為：

yk=h(sk)+vk,

(16)

式中,Kk為卡爾曼增益矩陣，Hk為h(sk)在sk的觀測矩陣，sk為估計值，yk為觀測值，vk為觀測噪聲，其協方差矩陣為E，pk為更新后的協方差。以激光雷達點云數據的融合為例，具體過程為：

③ 輸入后續幀點云繼續迭代，直至迭代t-2次根據第t-1幀測量狀態值st-1得到第t幀預測狀態值st。最后基于st得到第t幀點云數據。

激光雷達點云在上傳過程中，根據其特殊的空間結構采用八叉樹壓縮算法進行壓縮處理，可減少通信上傳的數據量，具體流程如圖6所示。

圖6 基于八叉樹的壓縮算法

首先通過遞歸構建八叉樹空間模型，將點云三維場景劃分為2n×2n×2n個小區間組成的場景，并基于式(16)得到尺度參數：

(17)

式中，n代表八叉樹遞歸深度，xmax、xmin等參數為從點云中提出的對應坐標軸上最大最小值。

根據尺度參數劃分區間，將處于區間參數之間的點云坐標映射到對應區間的格點坐標上，得到映射后新點云坐標(xi,yi,zi)。

基于式(18)量化映射后的點云坐標(xi,yi,zi)，并得到每個點云坐標索引值(xk,yk,zk)。

(18)

基于式(19)進一步得到坐標索引值K，最后對K編碼表達得到壓縮結果。

K=xk·2n2+yk·2n+zk。

(19)

空間特性去冗余針對多視角點云，通過濾波去除冗余感知數據，可提升感知有效性。算法設計基于以下思想：若某一半徑為a的領域內存在一個以上的點，則視為領域內存在重復點，若某一半徑為b領域內少于閾值k的點數，則將其領域內點視為離群點。具體流程如下：

① 從第一個點開始遍歷，根據半徑a和半徑b構造KD樹索引點云，記錄半徑a和半徑b內領域點個數。

② 若半徑a的領域內點數超過1，則將除該點以外的點都視為重復點并進行去除，若半徑b內點數少于設定閾值k，則將半徑b的領域內所有點都視為離群點并進行去除。

③ 重復步驟①和②，直至遍歷完點云所有點。

由于八叉樹壓縮算法特性，解壓縮后點云將存在大量坐標完全相同的點。在將這些重復點去除的過程中，a值設置很小也能達到非常高的去除率。結合離群噪點的濾除，該方法可有效去除對感知無益處的冗余點云，提高點云數據的感知有效性。

4 仿真結果

本文基于CARLA模擬車聯網駕駛環境，搭建車聯網多源感知數據融合的仿真平臺，驗證融合技術的有效性。CARLA是許多研究自動駕駛的公司(如奔馳、豐田、華為等)正在使用的一款開源模擬器，支持傳感器和環境的靈活配置，可用于自動駕駛系統的開發和仿真驗證[18]。仿真平臺基于系統模型和感知模型生成智能網聯車、車載傳感器采集感知數據，并采用CARLA中時鐘作為同一時間源，對不同傳感器采集感知數據的時間進行同步。圖7為車輛傳感器擺放位置與感知范圍。

圖7 車側傳感器擺放位置和感知范圍

圖8對單車多傳感器融合的檢測精度進行仿真，采用均方根誤差來衡量障礙物檢測精度。

圖8 使用不同傳感器的檢測精度

(20)

仿真結果表明，當距離達到70 m時，車側數據融合相對于單目相機和雙目相機的檢測精度性能增益分別為365%和136%。雖然激光雷達檢測精度更高，但難以通過聚類算法判別障礙物類別，且當距離達到52 m后，由于激光雷達檢測點云的稀疏性，難以通過聚類檢測到障礙物。利用激光雷達深度圖和相機高分辨率圖像融合，單車感知可以達到近似激光雷達的距離檢測精度，并且相對于激光雷達多一維度語義信息，可用于判別障礙物類別，同時在遠距離情況下，稀疏點云無法進行聚類檢測時，融合方法相對于純視覺檢測方法，可更精確地檢測障礙物信息。

通過仿真平臺模擬惡劣天氣下城鎮交通環境，并生成智能網聯車與車載傳感器采集感知數據，如圖9所示。圖9(a)為CAV車載攝像機采集到RGB圖像，由于惡劣天氣影響，場景中車輛D未能被車載攝像頭檢測到。圖9(b)為CAV車載激光雷達和毫米波雷達采集到點云數據，其中白色點云來自激光雷達，紅色點云來自毫米波雷達。由于距離影響，激光雷達采集到關于車輛D的點云十分稀疏，因此也未能被車載激光雷達點云的聚類算法檢測到，而只有毫米波雷達能成功檢測車輛D。如圖9(c)所示，通過車側攝像頭-激光雷達-毫米波雷達多傳感器融合，車側數據融合處理技術實現了激光雷達深度信息與攝像機語義信息的精確融合，在達到近似激光雷達檢測精度的同時，多了一維語義信息，并利用毫米波雷達擴展了單車感知視野，提高了惡劣天氣下單車感知的魯棒性。

(a) 攝像頭檢測結果

協同感知融合結果如圖10所示，由于距離和視野遮擋，單車感知到的點云感知范圍受限，如圖10(a)所示，圖中左上框和右上框中車輛無法被檢測到，下方框中點云十分稀疏。通過簇內多車協同后，感知融合結果如圖10(b)所示，可以看出，感知范圍明顯提升。但因為車輛低視角造成視野遮擋，仍有右上框的車輛沒有被檢測到。如圖10(c)所示，路側通信節點位于矩陣框中，并朝箭頭方向在虛線范圍內發送通感波形，執行無線感知，圖中白色點云來自激光雷達，紅色點云來自路側通感基站的無線感知。最后在通感基站輔助下通過多幀點云配準實現了車聯網絡數據級高清地圖的構建，并同時通過路側高視角、高維度、不受惡劣天氣影響的無線感知信息補全了車聯網環境的全局感知信息。

(a) 車側點云數據

圖11對應圖10的協同感知融合結果，將協同感知帶來的范圍擴展通過感知覆蓋率量化展示。感知覆蓋率定義為檢測到車輛數目與總車輛數目的比值：

圖11 不同車輛數目下感知覆蓋率

η=ni/N，

(21)

式中，ni為場景中有i輛CAV參與協同感知時檢測到車輛數目，N為場景車輛總數目，該十字路口場景車輛總數目為40。車輛數目為1時對應圖10(a)中的單車感知，感知范圍受限，而隨著加入協同感知融合的車輛數目增加，協同感知范圍也在不斷提升。車輛數目為5時對應圖10(b)中的隊列側感知融合，感知范圍得到拓展。同時在加入新簇的簇成員時，感知覆蓋率會大幅提升，當三個簇中加入協同車輛數達到12時，該十字路口40輛車都能被檢測到，實現車聯網環境下的全局感知。

表1為單車感知數據量簡化前后對比，圖12展示了車側、隊列側、路側經過感知數據簡化處理前后感知數據量大小對比的仿真圖。

表1 感知數據所需傳輸速率

圖12 壓縮去冗后感知數據量

圖12結果表明，經過數據簡化處理后，單車上傳的感知數據量僅為原始數據量的1.62%，隊列側和路側上傳的感知數據量下降了兩個數量級，僅為原始數據量的0.97%和0.92%。

然而，數據壓縮去冗余時也會引入誤差，采用均方根誤差來計算原始點云數據處理前后造成的誤差：

(22)

圖13 不同感知資源分配下的均方根誤差

仿真結果表明，分配給傳輸感知數據的通信資源越多，點云數據失真越小。為保證原始感知數據厘米級別精度，在上傳15輛車的感知融合數據時，路側應至少分配支持110 Mbit/s傳輸速率的上行通信帶寬用于感知數據上傳。

5 結束語

本文對面向多源感知的數據融合處理技術進行研究，提出了一種車聯網絡面向多源感知的數據分級融合方法，該方法借助于多源感知、協同傳輸、融合計算的通感算融合，實現了“車-路-云”一體化感知的全局架構。同時對數據融合處理技術進行設計，通過攝像頭、激光雷達和毫米波雷達優勢互補的深度融合，實現了單車智能感知。通過所提出的兩步配準方法，實現了在通感基站輔助下多源感知數據的全局融合。通過感知數據壓縮去冗技術，減少了通信上傳的感知數據量。最后搭建平臺驗證，將車輛三種傳感器的感知數據進行融合，可以有效擴展單車感知維度，提升感知性能，將多源點云數據進行全局融合，可以有效擴展車聯網絡感知視野，在保證惡劣天氣下感知可靠性的同時，實現了數據級高清地圖構建。此外感知融合精度受壓縮去冗余算法影響，精度低將導致點云失真嚴重，精度高將消耗過多的通信資源，通過選擇合適的精度能在較少通信開銷前提下有效實現多節點協同下的全局感知。