基于強語義關鍵點采樣的三維目標檢測方法

車運龍，袁 亮，孫麗慧

1.北京化工大學信息科學與技術學院，北京 100029

2.航天工程大學士官學校，北京 100000

三維目標檢測是自動駕駛感知系統的重要組成部分，其目的是在自動駕駛場景中獲得車輛、行人和其他物體的尺寸和位置信息[1-2]。激光雷達作為自動駕駛感知領域的主要傳感器，其提供的原始點云數據具有精確的幾何信息。激光點云具有數據量大且無序的特點，因此如何從眾多點云中篩選出具有較好特征代表性的可用數據點，成為目標檢測領域的一個研究熱點。

根據前人的研究進展，基于對點云數據的處理方式，現有的三維檢測方法可基本分為兩類：基于體素的方法和基于點的方法[3-4]。

基于體素的方法通常是將不規則點云數據轉換為規則的網格表示，例如三維體素網格或二維鳥瞰圖，后通過卷積神經網絡（convolutional neural network，CNN）提取特征以生成物體的三維建議。VoxelNet[5]首次提出點云的體素表示方法，采用體素特征編碼層（VFE）完成從原始點云到體素特征的轉換。雖然這種方法實現了對點云的體素特征編碼，但是編碼后的體素數量過多且含有大量空體素，導致后續三維卷積顯存占用過大，訓練速度較慢。鑒于此，SECOND[6]網絡提出稀疏卷積的方法，采用索引的方式對非空的輸入做3D卷積，之后填入對應的輸出位置。該方法避免了大量不可用的空體素對計算資源的消耗，提升了檢測效率。

基于點的方法大都采用直接從不規則點云數據中提取特征，進而保留原始點云的精確幾何信息。PointNet[7]首次提出從原始點云學習逐點特征信息，但其直接對全局特征進行池化操作，會造成局部特征信息的缺失。PointNet++[8]提出采用堆疊集合抽象層并設置靈活的感受野區域，對點云進行多層次的局部特征提取，提升了網絡的特征學習能力。PointRCNN[9]在PointNet++點云分割方法的基礎上，提出基于自下而上的三維目標檢測生成算法，取得了較好的效果。

為保留體素有效編碼多尺度特征并生成高質量三維建議框的優點，同時發揮基于點方法的靈活感受野和較好的建議框細化能力。PV-RCNN[10]通過集抽象的方式對點到體素進行關鍵場景編碼，同時保留了體素的快速編碼能力和點的特征細化能力，從而提高3D 目標檢測性能。

盡管PV-RCNN網絡在三維目標檢測任務上取得了較好的效果，但在特征融合采樣上仍然存在局限性。從原始點云中篩選出有限且準確的關鍵點是點與體素特征融合的關鍵。PV-RCNN 網絡采用最遠點采樣方法（farthest point sampling，FPS），其傾向于選擇較遠的點以更好地覆蓋整個場景，但由于原始輸入點中含有大量背景點，FPS 采樣到的點中涉及過多不相關的背景點，而大量有益的前景點被不適當地丟棄，進而影響后續網絡的特征學習。PV-RCNN++網絡[11]提出基于提案中心區域的關鍵點采樣方法，在進行關鍵點采樣前，通過區域過濾將采樣范圍縮小至提案周圍，提升了關鍵點采樣中的前景點比例，但該網絡在關鍵點采樣中仍采用傳統的FPS 采樣方式，未能全面地采樣到更多的前景點。SASA 網絡[12]提出語義增強集抽象方法，通過添加語義分割模塊估計逐點語義分數，并采用語義引導的點采樣算法，識別與前景對象相關的價值點，在基于點表示的目標檢測網絡中取得了進一步提升，但在采樣結果中仍存在對遠距離的離群點不敏感問題。

針對上述問題，文章提出一種基于強語義關鍵點采樣的三維目標檢測方法。（1）通過三維語義分割網絡，提取逐點語義信息，改進傳統FPS采樣中只基于距離采樣的缺陷；（2）將基于候選框的FPS 采樣方法與基于語義加權的FPS采樣方法融合，彌補對遠距離離群點不敏感問題；（3）在特征聚合階段，對關鍵點特征進行語義分數重新加權實現對特征貢獻的進一步分配。

水擊中流揚帆進，乘風破浪正當時。今天，云南民營經濟已成為云南省拉動投資增長的主要動力、創業就業的主力軍、財政收入的重要來源、促進對外貿易的主要力量、繁榮市場的主體力量。東風已至，在改革開放的偉大歷史進程中，云南民營經濟將繼續演繹“春天的故事”。

1 算法框架

基于PV-RCNN 網絡基本框架，對關鍵點采樣模塊和語義信息加權模塊進行改進，提出了一種基于強語義關鍵點采樣方法的三維目標檢測網絡，旨在關鍵點采樣階段提取更具特征代表性與判別性的關鍵點。

算法由五個核心模塊組成：（1）三維稀疏卷積主干網絡：將輸入點云數據進行體素化生成標準數據格式，并經三維卷積完成特征提取；（2）二維特征提取網絡和RPN 模塊：通過對特征圖進行不同尺度的下采樣，經過RPN卷積運算，生成三維目標預測框和類別信息；（3）三維點云語義分割網絡：通過語義分割得到逐點語義分數，為后續關鍵點采樣方法提供語義加權信息；（4）關鍵點采樣與集抽象特征融合模塊：根據三維點語義信息和RPN模塊生成的候選框位置信息，在三維點云中采樣出一部分關鍵點，并將其置于原始點云、體素特征層、鳥瞰圖層中進行集抽象采樣，完成特征聚合，實現對整個場景的信息表達；（5）RoI多尺度特征聚合模塊：多尺度集合抽象實現對RoI（region of interest）區域關鍵點信息的特征提取，輸出建議框類別信息與尺寸置信度。

與基準算法相比，文章所提算法的檢測精度在KITTI驗證集和測試集上都取得了不錯的效果，尤其在Cyclist類的表現，超越了當前大部分主流三維目標檢測算法。網絡整體結構為圖1所示。

圖1 網絡算法框架圖Fig.1 Diagram of network algorithm frame

2 強語義關鍵點采樣

2.1 候選框生成主干網絡

算法的主干網絡為基于體素的方法，輸入點云經體素化后成為標準三維體素數據格式。為加速張量運算速度，采取傳統三維稀疏卷積與子流形三維稀疏卷積相結合的方式對體素數據進行卷積運算，保證了合適的感受野大小以及良好的網絡卷積稀疏性，同時也減小了內存的占用。兩種稀疏卷積模塊均使用批標準化（batch normalization，BN）對數據進行歸一化處理和線性整流函數（ReLU）來提高模型的表達能力，加快學習速度。三維卷積完成對輸入點云數據的特征提取后，將輸出張量沿z軸向下壓縮生成鳥瞰圖特征映射，生成標準的二維特征數據格式。二維特征提取網絡通過對特征圖進行不同尺度的下采樣，最后將輸出特征與RPN中1×1卷積層進行卷積運算，生成三維目標預測框和預測類別。

2.2 語義引導的關鍵點采樣

三維點云語義分割網絡為采樣方法提供逐點語義信息，具體為：將點云原始三維坐標(x,y,z)及反射率r等信息送入PointNet++語義分割網絡，首先通過多個集抽象方法（在整個點云內劃定多個局部采用范圍，將范圍內的點作為局部的特征，用PointNet方法進行特征提取）實現多層次的下采樣，得到不同規模的逐點特征，之后通過反向插值和殘差連接進行上采樣，以獲得具有局部和全局加權的逐點語義信息。該模塊得到的整個場景范圍內的逐點語義分數，將為后續關鍵點采樣方法提供語義加權信息。

從原始點云中篩選出有限且準確的關鍵點，是點云特征與體素特征融合的關鍵。傳統FPS 采樣步驟為：（1）隨機選取一個點fi為起始點，并寫入起始點集B={fi} ；（2）計算所有點與（1）中點的距離，選擇距離最大的值寫入起始點集B={fi,fj} ；（3）計算剩余各點和點集B中每個點的距離，將最短距離作為該點到點集的距離，選取距離最遠點寫入起始點集B={fi,fj,fk} ；（4）重復上述操作直到滿足采樣點數量。

傳統FPS 采樣策略傾向于選擇距離較遠的點以更好地覆蓋整個場景，這可能會使采樣到的點涉及過多不相關的背景點。因此，文章采用基于語義引導的關鍵點采樣方法，保持傳統FPS 的整體過程不變，通過合并逐點語義信息校正采樣度量（即到已采樣點的距離）。具體來說，將添加到關鍵點集B中的采樣點由選取剩余點到點集B的距離最大值點變為具有語義權重p加權的距離最大值點，采樣度量如下：

2.3 強語義關鍵點采樣

基于語義引導的關鍵點采樣方法可以實現在原始點云中采樣到的關鍵點大部分都是前景語義點，但對于自動駕駛場景下的遠距離物體，由于其距離較遠、落在其表面的點較為稀少，且語義分割網絡生成的語義分數較低造成語義加權后的采樣權重值較小，導致采樣算法往往難以選擇它們。因此，語義加權的采樣方法存在對遠距離的離群點不敏感的問題。

參考PV-RCNN++網絡基于候選框的關鍵點采樣方法：將RPN階段生成的建議框置于原始點云場景中，將以建議框中心為圓心、建議框最大尺寸與擴充尺寸之和為半徑的圓形區域作為關鍵點選擇區域，從原始三維點云中篩選出位于候選框周圍的點，針對過濾后的點采用傳統FPS采樣方式，實現候選框周圍點的均勻采樣。

基于候選框的關鍵點采樣方法通過區域過濾將采樣范圍縮小至提案周圍，提升了關鍵點采樣中的前景點比例，但考慮到縮小采樣范圍的同時也出現因候選框位置不準確而導致關鍵點遺漏等問題，同時上述S-FPS采樣方式對離群點不敏感的缺點，文章提出基于候選框的FPS采樣方式與基于語義引導的S-FPS采樣方式融合的強語義關鍵點采樣方法。

圖2 展示了基于強語義關鍵點采樣方法的采樣過程，其中圓點為原始點云，五角星為采樣關鍵點。基于候選框的FPS 采樣方法首先對原始點云進行建議框過濾，之后對建議框內的點進行FPS 采樣；基于語義引導的S-FPS 采樣方法通過語義信息加權的距離值采樣關鍵點。最后，將兩種采樣到的關鍵點進行融合，保留兩者均采樣到的關鍵點，對于不重合的關鍵點基于語義引導的FPS采樣方法做進一步的關鍵點采樣，在滿足關鍵點數量的情況下篩選出具有較好特征代表性的點云數據。強語義關鍵點采樣方法既削弱了S-FPS 對離群點的不敏感性又改進了提案中心區域的關鍵點采樣方法中候選框偏差導致的關鍵點遺漏問題，提升了算法提取有用關鍵點的能力。

圖2 強語義關鍵點采樣示意圖Fig.2 Strong semantic key point sampling diagram

2.4 語義信息加權模塊

在關鍵點的采樣中，盡管引入了語義信息，但其中一部分仍可能僅代表背景區域。在特征信息提取與處理階段，屬于前景對象的關鍵點應該對目標檢測框的精確細化貢獻更大，而來自背景區域的關鍵點貢獻更少。鑒于此，提出了一個關鍵點加權模塊，在不增加網絡結構的基礎上，用點云分割結果加權關鍵點特征，實現對關鍵點權重的進一步分配，為后續網絡提供更好的特征信息。

3 損失函數

網絡的損失函數包含三個部分：RRN 階段損失Lrpn、語義分割損失Lcls、RCNN 階段損失Lrcnn。其中Lrpn損失與SECOND一樣，可表示為：

式中，Lrpn-cls是分類損失，采用的是Focal Loss函數[13]，Lrpn-reg-other是位置和尺寸的回歸損失，Lrpn-reg-q是角度損失，Lrpn-dir是方向分類損失。β1=1.0、β2=1.0 和β3=1.0 是損失公式的常數系數。文章使用相對較小的β3值來避免網絡難以識別物體方向的情況。

語義分割損失Lcls采用的是Focal Loss函數。RCNN階段損失Lrcnn由預測框的尺寸損失和置信度損失組成，可表示為：

其中，置信度損失Lrcnn-reg為：

位置損失分為兩部分Lrcnn-reg和Lrcnn-conner。Lrcnn-conner為采用Smooth L1Loss對物體框的中心點、物體框的長寬高、物體框的朝向分別與真值物體框做差進行優化的，Lrcnn-conner為預測物體框與真值物體框的8 個頂點做差值進行優化。

算法的總損失為：

4 實驗與結果分析

4.1 數據集與評價指標

KITTI數據集[14]自動駕駛三維目標檢測最流行的數據集之一，包含了道路場景的激光雷達點云和配套的圖片數據，其中有7 481 個訓練樣本和7 518 個測試樣本，并細分為簡單、中等和困難三個層級。這三個等級的依據圖片中二維包圍框的像素高度、遮擋程度和截斷比例三個指標進行劃分，表1展示了三個難度層級的劃分依據。KITTI使用兩個指標進行檢測結果的評估：三維目標檢測性能（3DmAP，3DIoU=0.7）和鳥瞰圖檢測性能（BEVmAP，2DIoU=0.7）。

表1 KITTI數據集中難度層級的劃分依據Table 1 Basis for difficulty levels in KITTI dataset

4.2 訓練細節

網絡是用ADAM優化器以端到端的方式從頭開始訓練的，初始學習率設置為0.01，衰減方式為onecycle速率策略。算法模型在2 個GTX 3090 GPU 上以批大小為8 來訓練整個網絡，持續80 個周期，耗時約12 h。對于建議框細化階段，采用隨機抽樣128個建議框的方式，并保證正負樣本比例為1∶1。其中，如果一個建議框和地面真值框具有至少0.55 個3D IoU，則該建議框被視為建議框細化分支的正樣本，否則將被視為負樣本。在訓練期間，采用3D對象檢測數據增強策略，包括沿X軸從[-π/4,π/4]的隨機翻轉和使用從[0.95，1.05]隨機采樣作為縮放因子的全局縮放。同時還進行了地面實況采樣增強，將一些新的地面實況對象從其他場景隨機粘貼到當前訓練場景中，以模擬各種環境中的對象。推理階段，首先使用非極大值抑制（NMS）操作選出前100個感興趣區域候選框，此時的IoU閾值設置為0.7，即當檢測框的IoU 置信度大于0.7 時，才被視為有效的檢測結果，這些建議框在細化階段通過集抽象對關鍵點特征進行提取，進一步細化建議框。最后，使用IoU為0.1的NMS閾值來刪除冗余框。

4.3 算法性能對比

網絡模型是在KITTI 數據集的TRAIN 訓練集上訓練生成的。為在網絡訓練過程中觀察模型的收斂情況，將TRAIN 數據細分為訓練集合和驗證集合，分別包含3 712和3 769組樣本。為使實驗結果具有可比性，實驗中采用的劃分方式和其他方法相同。最終將網絡通過訓練集訓練后在KITTI官方測試集上進行測試，并將結果提交到KITTI官方獲得訓練結果。

使用官方KITTI 測試服務器上的40 個召回位置計算測試集的平均準確度，并與先前工作的結果進行比較。表2顯示了算法在KITTI測試集上的表現。對于汽車類，本方法對比以往的方法有了一定的提升，在簡單、中等和硬難度水平上分別將mAP 提高了0.38%、0.68%和0.41%；對于汽車類的鳥瞰檢測，在簡單和困難難度級別上也具有相應的提升；對于騎車人的表現，在基于純點云算法中，較以往的方法取得了較大的提升，在簡單、中等和硬難度水平上分別將mAP 提高了5.18%、6.27%和5.25%。文章還報告了KITTI 驗證集上基于R11 標準的mAP 的性能，如表3 所示，結果表明比以往的方法也具有了一定的提升。

表2 KITTI測試集的對比實驗結果Table 2 Comparative experimental results for KITTI test set 單位：%

表3 KITTI驗證集上R11標準下不同算法3DmAP結果Table 3 3DmAP results for different algorithms under R11 standard on KITTI validation set 單位：%

實驗結果顯示，算法在Car類上的檢測精度具有一定的提升，在Cyclist類上取得了較大的提升。實驗結果證明強語義關鍵點采樣方法的有效性，尤其在遠距離小目標的檢測上具有較好效果。

4.4 消融實驗

通過消融實驗分析所提方法中各個組件的有效性。所有模型都在TRAIN 集上進行訓練，并在KITTI數據集的車輛類別的驗證集上進行評估。將原始PV-RCNN網絡分別與添加語義引導的關鍵點采樣方法S-FPS、基于候選框中心的采樣方法（PCS）、基于強語義關鍵點采樣方法三種方法在KITTI 驗證集上進行對比實驗，實驗結果為在R40和R11兩個標準下物體檢測的準確率。表4給出了分別在3D/BEV不同目標檢測指標和R40/R11不同檢測標準下的實驗結果，其中在重要指標——中等難度（Mod.）等級上，融合后的算法均取得了較好的效果。

表4 KITTI驗證集的對比實驗結果Table 4 Comparative experimental results for KITTI validation set 單位：%

為比較融合后的關鍵點采樣方法和語義信息加權對算法性能提升的貢獻率，進行了檢測性能實驗對比，實驗結果為KITTI驗證集上的Car類在中等難度水平下的40個召回位置的平均精度，如表5所示。

表5 SSPS-RCNN在不同策略下的燒蝕實驗結果Table 5 Ablation experiment result of SSPS-RCNN on different strategies

f1表示對融合后不重合的關鍵點采用FPS 采樣方式，f2表示對融合后不重合的關鍵點采用S-FPS采樣方式，f3表示不添加語義加權模塊，f4表示采用原始獨立網絡語義加權模塊，f5表示采用語義分割分數直接加權。通過實驗對比，證明對融合后不重合的關鍵點采用S-FPS的采樣方式能更好地篩選出有用關鍵點，語義分割分數直接加權也可以進一步更好地分配關鍵點貢獻權重，驗證了所設計模塊的有效性。

圖3 可視化地展示了原始算法和改進后的算法兩組在KITTI數據集驗證集場景下的定性結果：左側為改進后的算法，右側為原始算法。圖3圓圈標記處展示了在遠距離物體檢測上，算法較好地減少了原始算法的漏檢和錯檢問題。

圖3 驗證集下的可視化檢測結果對比Fig.3 Comparison of visual detection results under verification set

4.5 時耗對比分析

SSPS-RCNN在KITTI數據集上的運行時間如表6、表7 所示；表6 是網絡的各個模塊在推理一幀點云數據時所消耗的時間。包括三維稀疏卷積，二維RPN模塊、語義分割模塊（SS）、點特征提取模塊（PFE）、ROI 模塊等。其中特征聚合階段消耗時間較長，時間為56 ms，接近總時間的一半。主要原因是特征聚合模塊包含了關鍵點采樣和特征聚合兩部分，關鍵點采樣中由于采用語義引導點采樣和提案區域點過濾兩種方式進行采樣，并進行進一步的篩選，相對增加了時耗，特征聚合階段由于需要在不同尺度下進行特征提取，有不同維度水平的點云被重復提取，也導致了時耗的增加。但在最后語義信息特征加權中，不再設計新的網絡結構預測關鍵點的語義分數，用原有點云分割結果直接加權關鍵點特征，在一定程度上節約了時間。

表6 算法各模塊運行時間分析Table 6 Runtime analysis of each algorithm module

表7 方法時間對比Table 7 Method time comparison

表7是SSPS-RCNN與其他算法的時耗對比，SSPSRCNN 網絡的總推理時間為126 ms，并通過CUDA 進行算法的加速，其推理時間均是基于對Car，Cyclist 和Pedestrian多目標檢測的基礎上計算的。結果表明SSPSRCNN算法在保證較高精度的同時，推理速度雖有下降但仍基本符合目標檢測速度水平。

4.6 結果分析

在算法網絡框架中，采樣到的關鍵點主要用于候選框的后續精細化修正過程，若只采用基于候選框內的關鍵點采樣，會因個別較遠處或遮擋較嚴重的物體上原始點云落點較少，進而出現采樣點較少或漏采等情況，在后續框的置信度上呈現較低分數，經過NMS 后會被剔除，最終呈現漏檢現象；基于框內的語義采樣會保證對上述點的精確采樣，進而很好地作用到特征學習之中。由于基于框的關鍵點采樣和RoI 多尺度特征采樣的范圍不同，融合S-FPS采樣和基于候選框的FPS采樣方法能很好地在采樣初始階段獲得較為全面的有用關鍵點。

5 結束語

文章提出的基于強語義關鍵點采樣方法的三維目標檢測網絡，通過融合具有逐點語義信息加權的關鍵點采樣方法與基于候選框的關鍵點采樣方法，獲得具有更高特征代表性的采樣關鍵點，較好地提升了采樣點中前景點的比例；對聚合后的關鍵點特征進行語義加權也進一步提升了算法精度。在KITTI 數據集上的實驗結果表明，新的關鍵點采樣方法與基準算法相比，有效提高了三維目標檢測性能，尤其在遠距離和小目標檢測上取得了較好的效果。雖然強語義關鍵點采樣方法對遠距離物體檢測有所改善，但若三維稀疏主干網絡也未檢測到遠距離物體框，則仍存在對于遠距離或遮擋嚴重物體的漏檢情況，后續需要進一步對遠距離、遮擋嚴重、小物體等的檢測進行改進優化。