基于自注意力機制的自動駕駛場景點云語義分割方法*

王大方，尚 海，曹 江，王 濤，夏祥騰，韓雨霖

（1.哈爾濱工業大學（威海）汽車工程學院，威海 264200；2.陸軍裝甲兵學院，北京 100072）

前言

語義分割是自動駕駛技術環境感知環節重要的任務之一，其旨在將傳感器獲取的場景（圖片、點云等）進行理解并標注不同區域的語義信息，是目標識別、分類等視覺任務的基礎［1］。全卷積神經網絡（fully convolutional networks，FCN）［2］的提出使得深度學習的方法在2D圖像的語義分割領域有了突破性的進展。但由于3D點云具有無序性、稀疏性、非結構化［3］的特點，使得許多已經在圖像語義分割領域已經很成熟的方法無法直接運用到點云語義分割上，因此針對點云數據的語義分割任務更加困難，特別是在自動駕駛場景下對于算法效率、內存占用、魯棒性等方面的要求更加嚴格。針對以上困難，目前主流的點云語義分割方法主要有4種：基于投影的方法、基于體素化的方法、基于點的方法和多模態融合的方法。

在2D圖像分割領域許多算法如U-Net［4］、Mask R-CNN［5］、DeepLab［6］等已經非常成熟，因此部分學者便考慮將3D點云投影轉化為2D圖像，然后再利用2D圖像的分割方法進行處理。多視圖卷積神經網絡（multi-view CNN，MVCNN）［7］通過多個視角將3D形狀進行投影以得到多個2D視圖，對每個視圖使用卷積神經網絡提取特征再進行池化聚合得到最終的語義分割結果，但這種方式會因為投影視圖不連續而丟失部分特征。為了解決這一問題，SqueezeSeg［8］將3D點云經過球面投影得到前視圖，然后再使用基于SqueezeNet［9］的神經網絡對投影圖像 進 行 特 征 提 取 分 割。SqueezeSegV2［10］和SqueezeSegV3［11］是SqueezeSeg的改進版，它們分別引入了域自適應聚合模塊和空間自適應卷積模塊來提高網絡的性能。RangeNet++［12］將激光雷達數據轉化為深度圖的形式表示，然后對深度圖進行語義分割，最后再使用基于KNN搜索的方式來對點云進行重建。以上方法雖然能夠通過轉換來利用2D語義分割的方法，但在投影的過程中不可避免地破壞了原始點云的空間結構信息，從而影響分割的精度。

為了解決3D點云數據非結構化的問題，一些研究通過體素化的方法將點云轉化為整體排列的體素網格，然后再使用3D CNN等方式進行處理。3D UNet［13］使 用3D卷 積 替 換 了U-Net網 絡 中 的 卷 積 模塊，從而可以對三維數據進行特征提取。SEGCloud［14］在3D全卷積神經網絡的基礎上引入了三線性插值和全連通條件隨機場來提高分割的準確率。然而基于體素的方法會帶來內存消耗增大的問題，體素網格越小，點云表示越精密，但內存開銷就越大。VV-Net［15］使用徑向基函數代替體素的表示方法，并通過基于核的變分自編碼器對每個體素內部幾何結構進行編碼。Cylinder 3D［16］設計了一種柱面劃分的點云表示方法，可以很好地適應點云數據“近密遠疏”的特點，并且引入了非對稱殘差塊，增強了網絡的泛化能力。OctreeNet［17］使用八叉樹集合（Octree）來表示體素化后的點云，以減少體素網格的內存占用，并提出了可以直接應用于八叉樹的最小非平凡和非重疊內核卷積以直接在構建好的樹結構上進行卷積操作。

相較于投影和體素化等間接處理點云的方式，基于點的方法直接將點云送入神經網絡，避免了處理過程中的結構損失和內存占用，但這種方法的難點在于如何從非結構化的點云中提取特征。PointNet［18］開創性地使用最大池化層（max-pooling）聚合特征，解決了直接輸入的點云無序性和置換不變性的問題。PointNet++［19］通過最遠點采樣方法對點云進行多尺度分組聚合，然后分別使用PointNet操作來捕獲點云空間中的上下文信息。PointSIFT［20］提出了一個基于SIFT算子（scale-invariant feature transform）的點云表示模塊，使網絡可以捕獲所有方向的信息，以提高局部特征捕獲能力。PointCNN［21］提出了一種X-Conv的卷積算子，該算子通過X變換矩陣解決了點云輸入無序性的問題。KPConv［22］構造了一種核點卷積算子（kernel point convolution，KPC），并利用核函數計算中心點的權重矩陣以對提取到的局部特征進行特征變換。

一些學者結合以上兩種或幾種方法提出了多模態融合的網絡對點云進行語義分割。PVCNN［23］將基于點的方法和基于體素的方法相結合，提出了點體素卷積模塊，使網絡具有較小的內存占用和良好的數據局部性、規律性的優點。RPVNet［24］分別提取深度圖、點、體素的特征，然后將3個分支通過哈希映射融合以后送入編碼器-解碼器結構進行預測，顯著提高了分割精度。

在自動駕駛場景中，點云語義分割的效率也是不可忽視的一個重要指標。為提高點云分割的實時性，RandLA-Net［25］使用隨機降采樣替代點云處理中常用的最遠點采樣方法，同時提出了局部特征聚合模塊（local feature aggregation，LFA）來彌補隨機降采樣過程中的信息丟失問題，使得大場景點云語義分割的效率大大提高。但該網絡的局部特征聚合模塊對局部特征提取的能力仍有限，而且對于大場景的點云，無法很好地捕獲全局上下文特征。鑒于此，本文中利用自注意力機制善于提取特征內部相關性的特點，設計了局部自注意力模塊和全局自注意力模塊來增強網絡局部特征提取和全局上下文聚合的性能。

1 語義分割網絡模型設計

自注意力機制通過對輸入變量自身進行相關性運算以得到不同特征之間的權重關系圖，然后再通過關系圖對特征按照權重進行“賦分”編碼：

式中：Q、K、V分別是注意力機制里面的查詢（query）、鍵（key）、值（value）矩陣，它們都是由輸入特征通過線性變換得來；dk是特征線性變換后的維度數，除以dk使得Q和K的內積控制在一個范圍內以避免數值過大；softmax是指數歸一化函數，它將輸入映射成0到1之間的概率分布，從而得到輸入特征之間的注意力得分圖，注意力得分圖再與值矩陣V相乘即可得到按照注意力得分權重加權的最終輸出。對于一組點云來說，不同點之間的相關性是不同的，屬于同一個物體或結構之間的點的相關性是大于不同類別點的。卷積的方法由于感受野較小，每次只能對輸入小部分點集進行特征變換，欠缺對上下文語義進行理解的能力。而自注意力機制對整個（或部分）輸入點云計算相關性分布圖，可以對全局信息（局部信息）進行理解，從而更好地捕獲特征信息。本文以RandLA-Net為基礎框架構造了基于注意力機制的語義分割網絡，在原網絡基礎上設計了局部自注意力編碼器和全局自注意力編碼器，以提高網絡從稀疏點云中提取局部和全局特征的能力。

1.1 網絡整體結構

網絡整體結構如圖1所示，本文中網絡采用“編碼器-解碼器”結構。在編碼器階段通過降采樣和特征提取逐步減少點的數量、提升特征維度，聚合點云特征；在解碼器階段通過上采樣將點云數量還原回輸入點的數量，并通過線性變換將特征維度映射到最終的語義標簽。

圖1 網絡整體結構

編碼器的網絡基本層由隨機下采樣（random sampling，RS）和特征聚合模塊（feature aggregation module，FAM）組成。在編碼器階段，輸入點云首先通過全連接層將維度升為8，然后再逐步進行下采樣和編碼。在每次隨機降采樣之后緊接著使用FAM提取特征。通過4次隨機降采樣將點云數量分別減少到N∕4、N∕16、N∕64、N∕256，為了對抗隨機降采樣導致的信息丟失，FAM逐步將維度數提升到32、128、256、512。在解碼器階段使用KNN算法查找點的近鄰點，然后通過三線性插值對點云進行逐步上采樣至輸入的點云數N。由于降采樣過程中被丟棄點的信息是不可逆的，為了減少損失，在上采樣過程中通過跳躍連接將網絡編碼器階段提取到的底層特征圖與解碼時的高層特征進行融合。最后將融合后的特征向量通過全連接層將維度映射到輸出類別數class。

1.2 特征聚合模塊

特征聚合模塊是語義分割網絡的基本單元，該模塊通過局部自注意力編碼器（local self-attention encoder，LSAE）和全局自注意力編碼器（global selfattention encoder，GSAE）對輸入點云進行特征提取和聚合，其結構如圖2（a）所示。對于輸入大小為N×din的點云首先使用MLP將維度變換dout∕2；然后通過兩個級聯的LSAE模塊提取局部特征信息，圖中綠色模塊代表點云坐標信息，用于局部自注意力編碼器中的位置編碼δ操作；輸出的N×dout張量再送入GSAE模塊提取全局上下文信息；最后把輸入張量通過MLP將維度對齊到輸出維度以后與GSAE模塊得到的特征進行殘差連接即可得到輸出。

1.3 局部自注意力編碼器

RandLA-Net的局部空間編碼模塊通過中心點與鄰近點的特征合并進行編碼，從而提取到了點云局部的結構特征，但實際上同一組點云中心點與其鄰近點的相關性是不同的，受Point Transformer［26］啟發，本文中設計了局部自注意力編碼器LSAE，通過自注意力機制計算中心點與各鄰近點的相關性權重進行特征編碼。

相比于以像素為單位整齊排列的2D圖像，點云本質上是嵌入在度量空間中的向量，其原始坐標信息中包含點之間的關系，因此本文中使用中心點向量與鄰近點向量之差作為兩點之間的注意力關系，其計算公式如下：

式中：P(i)為pi點的k個鄰近點組成的點集；φ、ψ、α、γ均為MLP多層感知機操作；ρ為歸一化操作；⊙為哈達瑪積，即兩矩陣逐元素相乘；δ為位置編碼操作。

式中θ是MLP多層感知機操作，通過線性變換將中心點與鄰近點坐標之差向量的維度與注意力關系矩陣的維度相同。

局部自注意力編碼器結構如圖2（b）所示。對于輸入的每個點pi，通過KNN算法查找其k個鄰近點pj；然后對pi和pj分別進行線性變換將維度映射到高維空間，再通過張量的廣播機制相減計算注意力關系；將求得的注意力關系與位置編碼向量相加后經過softmax函數歸一化得到注意力圖；將注意力圖得分與鄰近點變換后的特征矩陣α逐元素相乘即可賦予不同鄰近點相應的權重；最后再通過求和操作聚合鄰近點特征，即可得到局部注意力編碼器的輸出。

1.4 全局自注意力編碼器

對于語義分割等場景理解任務來說，提取全局上下文信息也是影響分割性能的重要因素。由于卷積核感受野并不能覆蓋全部點，所以僅通過卷積提取特征的方式并不能很好地提取全局信息。本文中基于自注意力機制設計了全局自注意力編碼器GSAE，全局自注意力模塊結構如圖2（c）所示。與局部自注意力編碼器不同，全局自注意力編碼器將整個大小為N×d的點云作為輸入，其中N為點的個數，d為輸入的維度數；通過MLP變換分別得到查詢矩陣Q、鍵矩陣KT（需要對K進行轉置操作以進行矩陣相乘）和值矩陣V；Q與K通過矩陣相乘后再對特征維度進行softmax歸一化得到大小為N×N的注意力圖；將注意力圖與值矩陣V相乘得到N×d'的注意力輸出特征，最后再通過MLP將維度變換到輸入的維度即為該模塊最終的輸出。

圖2 網絡基本層結構

2 實驗驗證

2.1 數據集和評價指標

本文中選取了大規模車載場景點云數據集SemanticKITTI［27］和SemanticPOSS［28］作為實驗數據。SemanticKITTI是Behley等人基于德國卡爾斯魯厄理工學院采集的KITTI［29］數據集中的激光雷達點云數據進行語義標注得到的。SemanticKITTI由22個點云序列組成，它包含了德國卡爾斯魯厄市中心的交通場景、住宅區、高速道路場景和鄉村道路。SemanticPOSS是由北京大學發布的數據集，它采用了與SemanticKITTI相同的數據格式，有6個點云序列，主要包含了北京大學校園內多個場景的點云。SemanticPOSS每幀點云數據包含的行人、車輛等小目標要比SemanticKITTI更加豐富，因此對于自動駕駛場景點云語義理解任務來說更具有挑戰性。

語義分割任務常用平均交并比（mean intersection over union，MIoU）來評價分割精度：

式中：k表示總類別數；i表示真實值；j表示預測值；pij表示將第i類預測為第j類的像素點數量。MIoU反映了對該場景所有類別預測的平均準確程度，本文中也通過MIoU來比較算法的分割精度。

2.2 實驗參數

實驗環境配置如下：硬件方面使用AMD Ryzen 9 3950X處理器，單塊NVIDIA RTX3090 24G顯卡；軟件、系統方面使用ubuntu18.04，CUDA版本11.1，PyTorch1.9深度學習框架；參數設置方面批處理大小設置為4，最大訓練輪數設置為100，采用Adam優化器，初始學習率設置為0.01，學習率衰減使用指數衰減方法，衰減指數設置為0.95，每訓練完一輪進行一次推理驗證。

2.3 實驗結果分析

2.3.1 LSAE、GSAE模塊消融實驗

為了驗證LSAE、GSAE兩個模塊的串聯個數和方式對于整體分割精度的影響，以1個LSAE、1個GSAE模塊串聯順序為網絡基本結構，在此基礎上分別增加2個模塊個數、改變2個模塊串聯順序，在SemanticKITTI數據集進行消融實驗，對19個物體類別的MIoU進行驗證，結果如表1所示。

表1 LSAE、GSAE消融實驗結果

表中“1LSAE、1GSAE”表示特征聚合模塊先嵌入1個LSAE模塊、再嵌入1個GSAE模塊，“1GSAE、1LSAE”表示將2個模塊串聯順序互換，先嵌入1個GSAE模塊、再嵌入1個LSAE模塊。

從結果 可 以看出，按照1個LSAE模塊、1個GSAE模塊順序嵌入特征聚合模塊組成的網絡基本結構語義分割MIoU為56.2%，這說明2個注意力模塊的加入使得本網絡相比于基準網絡RandLA-Net具有更好的特征提取能力；當把LSAE、GSAE的串聯順序互換，即先通過GSAE提取全局特征、后通過LSAE提取局部特征時，MIoU降為37.5%，這是因為GSAE模塊通過計算注意力得分提取全局特征以后破壞了各點之間原本的結構信息，使得LSAE無法再捕獲局部特征，從而導致分割精度下降；當按照“先LSAE，后GSAE”的串聯方式增加1個LSAE模塊時最終精度提升了3.4個百分點。分析可知，當網絡中有2個LSAE模塊時，網絡先通過1個LSAE提取特征維度為dout∕2的局部特征，然后再通過1個LSAE提取特征維度為dout的局部特征，從而提高了特征提取能力；而繼續將LSAE模塊增加到3個時精度反而有所下降，這是因為當使用3個LSAE模塊提取特征時，相鄰2個LSAE模塊特征維度相差較小，網絡提取到了相似的特征，會使得網絡趨向于過擬合，從而導致分割精度下降；當固定LSAE模塊為1個，增加1個GSAE模塊時，MIoU比原來下降了1.3個百分點，這說明了1個GSAE模塊已經很好地提取全局上下文信息，2個GSAE模塊使網絡提取到了多余的特征，產生了過擬合的現象。因此在最終的網絡實現中，選取“2LSAE、1GSAE”的串聯方式搭建FAM模塊。

2.3.2 LSAE模塊小目標分割提升效果驗證

車輛、行人等交通參與者是自動駕駛場景語義理解的重點，但受限于車載雷達采集的缺點，車輛、行人等小目標點云會出現部分缺失、遠處點云密度稀疏等問題，這使得網絡對于小目標物體的語義分割更加困難。為了驗證本文設計的注意力模塊對于小目標分割精度的提升效果，將RandLA-Net網絡中的局部聚合模塊分別替換為LSAE模塊、GSAE模塊和兩者組合搭建的FAM模塊，與原網絡一起分別在SemanticPOSS數據集上測試，除特征提取模塊不同以外，其他參數和超參數均與RandLA-Net原文中設置保持一致，選取數據集中汽車、行人、騎手3個交通參與者目標進行對比，結果如表2所示。

表2 小目標分割提升效果驗證

表中“+LSAE”表示將RandLA-Net中的局部聚合模塊替換為LSAE模塊，“+GSAE”模塊表示將局部聚合模塊替換為GSAE模塊，“+FAM”表示將局部聚合模塊替換為FAM模塊，即按照LSAE模塊、GSAE模塊的順序串聯后替換到原網絡中。

由表2可知，將局部聚合模塊替換為LSAE后，汽車、行人、騎手的分割精度均有提高，MIoU相比原網絡也提高了2.6個百分點，分析可得，逐點的自注意力機制通過計算中心點與鄰近點的注意力關系賦予特征提取的權重，對于小目標，其內部點的數量也比較少，LSAE模塊的感受野能夠覆蓋這些物體，從而可以更好地捕獲局部結構信息；把原網絡局部聚合模塊替換為GSAE模塊后分割精度反而降低為48.5%，這是因為原網絡中局部聚合模塊具有局部特征提取的能力，而GSAE無法對局部特征進行提取，從而使分割精度有所下降；在加入FAM模塊后分割精度為56.8%，與僅加入LSAE模塊相比分割精度僅提升0.3個百分點，由此可知GSAE模塊對于小目標特征提取能力的提升效果并不明顯。

從圖3對SemanticPOSS數據集預測結果可視化中可以看到，添加LSAE模塊后本文網絡可以準確預測出遠點處有遮擋的行人、騎手等小目標（圖中黃圈標出），甚至還分辨出了真值語義中標錯的對象（圖中白圈標出，在真值語義標注中，將該對象標注為行人，但通過動作可以看出目標為騎手），這也驗證了本文方法的可靠性。

圖3 SemanticPOSS數據集02序列第472幀

在LSAE模塊中，影響感受野的參數是KNN最近鄰查找中的鄰近點個數k。為了探究鄰近點個數k對于語義分割的影響，在上面的網絡中改變鄰近點個數k進行實驗，在SemanticPOSS上的實驗結果如表3所示。

表3 鄰近點數量實驗結果

從表中結果可以看出，當鄰近點個數為8時，由于單次局部自注意力聚合的點過少，LSAE模塊能夠學習到的局部特征信息很少，分割結果較差；當鄰近點個數為16或32時，語義分割結果表現最好，LSAE模塊能夠充分提取內部特征；而當鄰近點個數增加到64時，分割結果反而變差，這是因為鄰近點個數過多，對于小目標點云，更多的其他相鄰結構（如地面）被LSAE模塊納入相關性計算過程，從而使提取到的特征變差。而且激光雷達點云具有近密遠疏的特點，遠點處的小目標物體點密度更低，這也使得網絡對鄰近點個數更加敏感。總體來看，鄰近點個數為16或32時均可以獲得很好的分割效果，但當鄰近點個數是16時網絡參數量少、內存占用較小，因此在最終網絡實現中鄰近點個數選取為16。

2.3.3 語義分割網絡實時性驗證

在自動駕駛場景中，分割算法的實時性是必須考慮的重要指標。為了驗證本文算法的計算實時性，將本網絡、RandLA-Net和目前基于點的方法中分割精度最高的KPConv分別對SemanticKITTI數據集08序列（共有4 071幀點云數據）進行前向推理，將每幀的81 920個點輸入網絡中對比完成08序列點云前向推理所消耗的時間。3組實驗均在同一塊NVIDIA RTX3090顯卡上進行，除網絡結構不同外其他設置均相同，實驗結果如表4所示。

表4 前向推理消耗時間

表中MIoU一列標注出了3組網絡在SemanticKITTI數據集上19類物體的語義分割交并比以便從分割精度和分割實時性上進行對比。從表中可以看出KPConv消耗時間最長，處理4 071幀點云使用了656 s（約6FPS），KPConv使用網格下采樣方法以確保每次下采樣點云位置的空間一致性，這增加了點云處理的時間消耗；得益于隨機降采樣的計算效率，RandLA-Net和本文網絡所消耗時間相比于KPConv大大減少，RandLA-Net所用時間為149 s（約28FPS），本文網絡所用時間為177 s（約23FPS）。與RandLA-Net和KPConv對比分析可知，本文網絡在提高了分割精度的同時也保持了較高的分割效率。

2.3.4 最終結果分析

在SemanticKITTI數據集上對本文的網絡進行測試驗證，并將MIoU和19類物體分割交并比與現有網絡進行對比，結果如表5所示。

表5 SemanticKITTI數據集語義分割結果

從表中可以看出，本文網絡的語義分割MIoU達到了59.6%，比目前基于點的最好的網絡KPConv提高了0.8個百分點。與同樣用局部特征聚合模塊進行特征提取的RandLA-Net網絡相比，最終MIoU提高了5.7個百分點。進一步對比分析可得，與RandLA-Net相比，本網絡每個類別的分割交并比均有不同程度地提升，這也進一步驗證了全局自注意力編碼器對于全局上下文信息提取的作用。在對SemanticKITTI數據集中第08序列第729幀點云可視化的圖4中可以看到，RandLA-Net將行人點云誤判為地面和植被，而本文算法可以準確分割，這說明了本網絡相比于RandLA-Net具有更強的局部特征提取能力。通過橫向比較可以看到網絡對于摩托車騎手（motorcyclist）分割精度很低，這是因為在數據集中摩托車騎手的數量相比于自行車騎手（bicyclist）較低，且在稀疏的點云表示中這兩者結構相似，在網絡特征提取時容易將兩者混淆。另外還可以看到，本文的方法相比于多模態融合的方法（FusionNet）還有差距，基于點的方法雖然在速度和存儲上具有很大優勢，但在分割精度上僅僅通過提取稀疏點的信息相比于通過圖像、體素、深度信息等多模態的方法仍有差距。在本文方法的基礎上再通過融合圖像、體素等方式以提高分割精度也是未來改進的重點方向。

圖4 SemanticKITTI數據集08序列第729幀

3 結論

本文中基于自注意力機制的特點，設計了局部自注意力編碼器和全局自注意力編碼器，將它們應用到了自動駕駛場景點云語義分割網絡中，綜合兩種不同的自注意力特征提取方式來增強點對于鄰域拓撲結構的學習能力，并在SemanticKITTI和SemanticPOSS兩個大型語義分割數據集上進行測試。實驗結果表明，本文方法超過了目前最優的基于點的點云語義分割網絡，并且具有較高的分割效率，驗證了自注意力機制在點云語義理解任務中的有效性。

但由于稀疏點云本身的特點，對于結構相似的物體僅通過對于點的拓撲結構進行特征提取無法保證準確性，如何設計編碼器結構使得網絡可以從更細粒度的結構中學習到相似物體的不同特征也是基于點的語義分割方法需要重點研究的方向之一。