基于激光雷達點云的3D目標檢測技術綜述

劉明宇，嚴 俊，葛萬成

（同濟大學，上海 200092）

0 引 言

對于自動駕駛場景而言，自動駕駛車輛能夠快速、精確地感知周圍實時變化的環境是非常重要的。對于這一要求，相較于2D圖像而言，3D數據能夠提供更加豐富的場景信息，更加有利于三維環境感知任務。因此，許多不同類型的傳感器被應用在自動駕駛車輛上，來獲取三維場景信息，比如LiDAR、RGB-D cameras、RADAR等。其中，由于激光雷達獲取的點云能夠保留豐富的物體原有的幾何信息，在自動駕駛場景中獲得了很多關注。但是因為激光雷達點云是一種稀疏的和非結構化的數據，相較于圖像而言，處理點云數據需要更多的計算機算力，這些都制約了利用激光雷達點云進行三維目標檢測。因此，如何利用更少的計算機資源，利用獲取的點云數據獲取更加高效精確的目標檢測性能，成為利用點云進行目標檢測的研究方向。特別是自2018年以來，出現了許多數據量龐大的點云數據集，如KITTI[1]、nuScences[2]以及Waymo Open Dataset[3]，有了這些數據集的支持，越來越多來自學術界或工業界的學者開始關注和研究自動駕駛場景下基于點云的3D目標檢測相關問題的解決。本文收集和梳理了近年來經典和性能較好的模型，便于國內研究者能夠更好地進行相關方面的研究。本文的貢獻如下：

（1）本文總結了近年來自動駕駛領域基于激光雷達點云目標檢測方法，將對現有的相關方法進行分類和簡述；

（2）本文涵蓋相關領域最新的文章，讀者可以通過本文了解最新的、性能最好的模型；

（3）本文對于基于點云的3D目標檢測之后的發展趨勢做出了展望。

本文結構如下：第二部分將介紹現有的常用于自動駕駛領域的3D目標檢測的數據集，第三部分將介紹現有的3D目標檢測方法，第四部分是關于未來基于點云的3D目標檢測技術的展望。

1 數據集

如引言所說，現在常見的用于自動駕駛場景的激光雷達3D目標檢測數據集有KITTI[1]、nuScences[2]和Waymo Open Dataset[3]。這三個數據集的基本情況比較如表1所示。

表1 自動駕駛領域3D目標檢測常用數據集數據比較

1.1 KITTI

KITTI數據集由德國卡爾斯魯厄大學和豐田美國技術研究院在2012年聯合創辦，是目前為止使用最廣泛的自動駕駛領域的目標檢測數據集。它包括7 481個訓練樣本以及7 581個測試樣本。該數據集包含3個類別的檢測目標，分別是行人（Pedestrian）、自行車（Cyclist）以及車輛（Car）。

1.2 nuScenes

nuScences數據集能夠提供不同城市場景下360°的全景信息。它包含1 000個在波士頓和新加坡不同天氣下采樣的場景數據，每一個場景的時間為20 s。不同于KITTI數據集，nuScenes數據集還提供不同場景下時續連續的樣本。

1.3 Waymo Open Dataset

Waymo Open Dataset（WOD）包含1 000個場景，其中798個場景作為訓練集（包括大約160×103的樣本），202個場景作為驗證集（包括大約40×103的樣本）。

1.4 評價標準

通常，目標檢測領域主要使用準確率（Precision）、召回率（Recall）、平均精確率（Average Precision，AP）、平均精確率均值(mean Average Precision，mAP)以及檢測速度來評價算法的性能。其中，準確率表示全部已識別樣本中正樣本被正確識別為正樣本的比率，召回率表示正樣本中被正確識別為正樣本的比率。分別以召回率和準確率作為橫、縱坐標，可以獲得準確率-召回率曲線(Precision-Recall，P-R)，P-R曲線下的面積就是平均精確率（AP），所有檢測類的平均AP值就是平均精確率均值（mAP）。檢測速度以每秒幀率(Frame Per Second，FPS)來評價，單位為幀/秒，表示每秒處理圖片的數量，FPS越高，說明模型的檢測速度越快。

1.5 小 結

KITTI數據集因為提出時間早，在自動駕駛目標檢測領域是非常經典和使用最為廣泛的數據集。但是該數據集也存在沒有時序信息、數據量難以滿足要求更高模型等問題。

nuScenes和WOD數據集包含了大量不同場景下的點云數據，并且包含了時序信息。近年來越來越多的模型采用了這兩個數據集。

2 基于點云的3D目標檢測方法

基于點云的3D目標檢測模型通常由點云表示模塊、點云特征提取模塊以及區域提案模塊三個模塊組成。根據模型完成檢測所需的步驟，可以分為單階段檢測算法和兩階段檢測算法[4]。對于單階段方法和兩階段方法，又可以根據在對點云進行處理時所采用的不同策略進行進一步的劃分，接下來將對這些方法進行詳細的討論。

2.1 單階段檢測算法

單階段目標檢測方法就是使用單階段的網絡結構，從原始的點云中獲取特征后，使用這些特征直接進行目標預測并生成3D邊界框。單階段檢測算法通常具有非常高的運行速度，但是在精度上可能并不理想。單階段檢測方法會對原始的點云進行一定的預處理，使得非結構性的原始點云變得更加規則，便于后續的骨干網絡提取點云特征。根據不同的點云預處理方法，可以將單階段檢測方法分為基于體素的方法、基于點的方法、基于圖的方法以及其他方法。

2.1.1 基于體素的檢測算法

基于體素的檢測算法的基本思想是，將原始的點云通過變換后通過體素進行表示，之后通過骨干網絡對體素進行特征提取。例如，在VoxelNet[5]網絡中，原始的點云數據首先根據點云的(X,Y,Z)坐標被劃分為若干體素，對劃分后的點云進行特征編碼，然后生成對應的特征圖，通過在骨干網絡中使用3D卷積對特征圖進行特征提取，最后3D檢測頭將根據獲得到的特征進行目標預測并生成相應的邊界框。由于點云的稀疏性，為了提高檢測效率，SECOND[6]在VoxelNet[5]網絡的基礎上，在骨干網絡中使用了文獻[7]提出的Sparse Convolution Layer進行特征提取。PointPillars[8]則是在點云表示階段僅根據點云的(X,Y)坐標進行劃分，將原始的點云劃分為若干點柱，然后使用PointNet[9]網絡來獲取的點柱特征投影到(X,Y)平面，生成偽圖，然后使用2D 卷積神經網絡（Convolutional Neural Networks，CNN）對偽圖進行卷積。通過使用2D CNN，該方法在檢測速度上獲得了巨大的提升。TANet[10]網絡將單幀點云以體素表示，并在特征編碼階段加入了注意力機制，獲取了檢測性能的提高。而3D-MAN[11]算法則在PointPillars[8]的基礎上，在多幀點云中加入注意力機制，來提高模型的性能。AFDet[12]算法在PointPillars中加入了無錨框檢測頭，類似地，AFDetV2[13]算法在VoxelNet[5]網絡的基礎上提出了無錨框的檢測方法。VoTr[14]提出了一種體素transformer的方法。MVF[15]對點云采用動態體素劃分方法，將鳥瞰圖視角（BEV）和透視圖視角（Perspective view）下獲取的點云特征相融合，來豐富點云的特征。

2.1.2 基于點的檢測算法

顧名思義，基于點的檢測算法將直接使用原始的點云作為網絡的輸入并提取出點特征，用于目標檢測。3DSSD[16]提出了一種融合采樣方法，通過Distance-FPS和Feature-FPS代替了傳統的特征傳播層（Feature Propagation layers）從而提高模型的運行效率。之后獲得的特征將作為候選生成層（Candidate Generation layer）的輸入，最后使用無錨框檢測頭生成預測結果。

2.1.3 基于圖的檢測方法

Point-GNN[17]網絡使用圖來表示點云，首先使用體素對點云進行下采樣，利用下采樣后的點云特征作為節點，通過多層感知機（Multilayer Perceptron，MLP）來提取邊特征并迭代更新節點的特征，最后利用迭代后獲取的點云特征作為檢測頭的輸入來生成檢測結果。SVGA-Net[18]網絡通過將原始點云劃分為球形體素，然后在體素內部點云和球形體素間分別構建局部和全局圖，并融入注意力機制，來獲取更加豐富的特征表達，從而提升模型的目標檢測性能。

2.1.4 其他方法

因為PointPillars[8]的高效性，3DVID[19]算法在nuScences[2]數據集上，對單幀點云獲取點柱特征，然后將每個點柱特征作為圖的節點構建圖，利用Pillar Message Passing網絡迭代點柱信息，之后將更新的點柱特征送入AST-GRU網絡（空間-時間注意力GRU），使得獲取的點云特征包含了時序信息，從而提高了目標檢測的性能。也有許多文章探索了如何融合不同表示方法的點云特征，來提升模型的檢測性能。如PVGNet[20]方法首先將原始點云劃分為若干體素，之后使用體素特征提取網絡獲取體素特征，之后通過骨干網絡和上采樣網絡將體素特征轉換為BEV特征，同時對于每個非空體素中的點使用MLP來獲取點特征，然后將這三種特征進行融合，融合特征將作為檢測頭的輸入來進行目標檢測。HVPR[21]方法也采用了將點特征和體素特征融合的方法來提高模型目標檢測的性能。因為點云在遠距離物體比近距離物體上更加稀疏，并且大的目標比小的目標包含更多的點云，SRDAN方法[22]針對上述問題提出了一種基于尺度和范圍感知的網絡。LiDAR-Aug算法[23]探討了點云增強算法對于目標檢測模型性能提升的影響。SA-SSD算法[24]針對一階段檢測精度不高的問題，首先將點云數據輸入骨干網中并提取出多階段特征，同時在網絡中加入點級監督的輔助網絡，使得網絡可以獲取點云結構特征，從而提高檢測精度。

2.2 兩階段檢測算法

兩階段檢測方法是使用第二階段的網絡從第一階段生成的區域提案中進行更精確的檢測[4]，因此兩階段檢測算法也被稱為基于區域提案的方法。兩階段檢測方法在運行速度上較慢，但是卻可以獲得相較單階段檢測算法更好的檢測性能。

PointVoxel-RCNN[25]（PV-RCNN）算法首先將點云劃分為若干球形體素，之后使用3D稀疏卷積網絡以及基于PointNet[9]的網絡來提取點云特征。具體來說，體素化的點云將通過3D稀疏卷積網絡生成多尺度的語義信息，并生成3D目標提議。除此之外，通過體素集抽象模塊將把學習到的體素特征編碼為一組關鍵點。最后關鍵點特征將作為keypoint-to-grid ROI abstraction模塊的輸入，來獲得更加豐富的信息。這些信息將被用于優化之前生成的3D目標提議，提升檢測的精確度。Centerpoint[26]受到2D目標檢測方法CenterNet[27]的啟發，對VoxelNet[5]和PointPillars[8]進行了改進，提出了Center heatmap head，該方法取得了很好的檢測性能。Part-A*2[28]由部分感知階段和部分聚合階段組成。部分感知階段使用了帶有稀疏卷積和稀疏反卷積的U-Net[29]網絡來學習點特征，通過點特征來進行預測并生成粗略的內部對象位置。在部分聚合階段將通過RoI(Region of Interest)感知池化對預測階段生成的位置信息進行聚合，從而優化3D檢測框。Fast Point R-CNN[30]是一種使用點和體素處理點云的二階段檢測方法。具體來說，原始點云將被體素化，之后使用3D骨干網絡來生成初始的檢測結果；之后使用第一階段生成的檢測框內部的點的特征對檢測框的精度進行提升。Voxel R-CNN[31]首先將點云進行體素化，使用3D卷積對體素進行采樣，之后將3D點云特征轉換為鳥瞰圖，使用2D卷積提取特征并生成一階段的檢測結果。在第二階段時，使用體素RoI池化從3D點云特征中提取RoI特征，最后利用RoI特征來優化一階段的檢測結果。STD[32]是一種基于PointNet[9]和PointNet++[33]的方法，首先在提案生成模塊生成球形錨框，在第二階段使用每個點的語義分數去除冗余的錨框，從而獲得更好的檢測結果。3D IOU-Net[34]使用PointNet++[33]獲取點云特征并生成一階段的提案，在二階段通過IoU對齊操作優化一階段的檢測結果。文獻[35]提出了一種實例感知的IoU池化模塊，用于對一階段生成的檢測結果進行優化。文獻[36]提出了一種新的局部優化網絡，在二階段生成優化的預測結果。RSN[37]提出范圍稀疏網絡，首先使用2D卷積從范圍圖（range image）中提取特征，之后使用稀疏卷積從范圍圖的前景點中進一步提取點特征，最后使用稀疏CenterNet[27]來生成3D檢測框。LiDAR R-CNN[38]也提出了一種新的二階段檢測方法。CT3D[39]提出了一種通道級的transformer網絡用于二階段的優化。

模型在KITTI測試數據集、Waymo Open Dataset驗證數據集LEVEL 2和nuScenes測試數據集上的目標檢測結果分別如表2、表3、表4所示。

表3 Waymo Open Dataset 驗證數據集LEVEL 2目標檢測結果比較

表4 nuScenes測試數據集目標檢測結果比較

表2所列數據為各方法以運行速度（FPS）以及不同難度下各檢測類的平均精確率（AP）（單位：%）為評價標準，在KITTI測試集上的3D目標檢測結果。

表2 KITTI測試數據集上3D目標檢測結果比較

表3中，LEVEL 2表示目標類型為困難或者bbox內的點數小于5的目標，mAPH在mAP的基礎上增加了角度檢測評價。表中所列數據為各方法以mAP和mAPH為評價指標在LEVEL 2驗證集上的檢測結果，單位為%。

表4中，NDS（NuScenes Detection Score）是nuScenes官方給出的評價標準，計算參數較多，不在本文的討論之中，具體可參見nuScenes官方網站。表中所列數據為各方法以mAP和NDS為評價標準，在測試集上的目標檢測結果，單位為%。

2.3 小 結

單階段的檢測方法在運行速度上普遍優于兩階段的方法，但兩階段的方法在檢測精度上好于單階段方法。

對于現有的3D目標檢測方法而言，在保證運行效率的同時，如何充分利用點云的信息，這仍然是一個亟待解決的問題。

在點云特征提取時，通過引入注意力機制、融合多幀時序特征等方法，能有效地提升3D目標檢測模型的性能。

3 展 望

對于基于點云的3D目標檢測任務而言，依靠單一的點云表示方法獲取的點云特征來進行目標檢測的模型，在檢測精度上已經難以令人滿意。因此，如何將原始點云使用不同視角、不同表示方法進行采樣，并獲取相應的融合的點云特征，以此來增強模型的檢測性能，是目前如文獻[20]和文獻[21]所采用的思路。另外一種思路如文獻[19]是使用時序信息，將連續點云幀之間的點云特征相關聯，在單幀點云的空間特征中融入時序特征，使得點云特征包含豐富的相鄰幀之間的信息，從而提升目標檢測能力。同時這種方法也可以用于跟蹤任務。

因為點云數據量有限，人工標注點云數據是一項繁重的工作，因此，最近自監督和無監督的點云目標檢測算法受到了越來越多的關注。如在自監督領域，文獻[40]和文獻[41]使用自監督方法，在室內目標檢測中取得了較好的效果。而以文獻[42]為代表，探索了自動駕駛場景下，基于自監督框架的模型預測幀間點云運動的性能。對于無監督算法，文獻[43]和文獻[44]驗證了無監督算法對于自動駕駛領域3D目標檢測的有效性，為以后的無監督算法提供了思路。

4 結 語

3D目標檢測是自動駕駛領域非常重要的研究課題，具有廣泛的應用前景。本文詳細闡述了近年來基于激光雷達點云的3D目標檢測相關的數據集、檢測模型等，并對相關領域的發展方向做出了展望。