基于PointNet++的室外場景三維點云多目標檢測方法

吳登祿 薛喜輝 張東文 付展宏

基于PointNet++的室外場景三維點云多目標檢測方法

吳登祿1,2薛喜輝1,2張東文1,2付展宏1,2

（1.順豐科技有限公司 2.物流機器人技術與應用工程研究中心）

針對室外場景三維點云的稀疏性對目標檢測帶來的挑戰(zhàn)問題，設計一個基于PointNet++的點云檢測方法。該方法首先預處理點云，獲取感興趣區(qū)域點云；再聚類點云，對物體進行分割；接著通過PointNet++檢測，獲得目標的類別結果；最后通過三維bounding box獲得目標物體的長寬高及朝向。為驗證該方法的有效性，用16線velodyne激光雷達采集室外真實場景的數(shù)據(jù)，并制作樣本集進行網(wǎng)絡訓練。最終結果驗證，該方法能獲得較高的檢測準確率，并滿足實時性要求。

點云；目標檢測；PointNet++；室外場景

0 引言

室外場景的三維目標檢測應用廣泛，如自動駕駛、勘探以及增強現(xiàn)實等領域。目前，室外場景采用的主流傳感器有攝像頭和激光雷達2類。相對于攝像頭獲取的二維圖像信息而言，激光雷達獲取的三維點云能提供更可靠的深度及三維物體的輪廓信息，近年來逐漸應用于目標檢測。然而，激光雷達對三維空間不均勻采樣，致使獲得的點云越遠越稀疏，這給目標檢測的準確性帶來較大挑戰(zhàn)。

針對上述問題，研究者提出許多處理方法，如將點云轉化為鳥瞰圖，鳥瞰圖中的像素點對應實際場景的一系列網(wǎng)格，然后填充每個網(wǎng)格中點的密度、平均強度和高度，作為每個像素的RGB值，最后利用圖像檢測的方法得到鳥瞰圖的目標[1-2]；或將三維空間用體素柵格劃分，然后利用人工提取每個體素柵格的特征，最后進行檢測[3-4]。但上述方法處理過程中會損失點云信息，存在瓶頸，特別是對一些小物體的檢測。針對這個問題，文獻[5]首先將三維空間用體素柵格劃分，然后通過學習的方法提取每個體素柵格點的特征，最后進行檢測。但這個過程比較耗時，難以滿足室外場景實時檢測的需求。文獻[6]提出了PointNet，能夠直接學習原始點云的特征，并在ModelNet等數(shù)據(jù)集上有優(yōu)異表現(xiàn)。但PointNet只考慮點云的全局特征而忽略局部特征；為此，進一步提出PointNet++，整合了局部和全局的點云特征，提高其在數(shù)據(jù)集上的性能[7]。本文將PointNet++應用于室外場景三維點云多目標檢測，并得到三維物體的bounding box。

1 基于PointNet++的三維點云多目標檢測

1.1 整體框架

室外場景往往比較復雜，從激光雷達獲取的點云數(shù)據(jù)，除感興趣的目標外，還包含各種其他物體。首先，需要預處理點云，獲得感興趣區(qū)域的點云；其次，PointNet++做分類檢測時處理的點云是單個物體點云，需要對感興趣區(qū)域內的點云進行聚類，以區(qū)分不同物體；然后，將區(qū)分的物體輸入PointNet++網(wǎng)絡獲取檢測類別結果；最后，利用bounding box生成算法獲取三維物體的大小及朝向。整體框架如圖1所示。

圖1 基于PointNet++的三維點云多目標檢測整體框架

1.2 點云預處理

室外場景激光雷達獲取的原始點云如圖2所示，包含感興趣道路內區(qū)域點云和道路外非感興趣點云。為獲得感興趣區(qū)域內點云，減少后續(xù)步驟計算量，點云預處理流程如圖3所示。

圖2 室外場景激光雷達獲取的原始點云

圖3 點云預處理流程

1.2.1 下采樣

激光雷達的原始點云具有較多的點數(shù)，即使16線的激光雷達獲取的原始點云也有20000多個，后續(xù)步驟要完全處理這些點極其耗時。因此，需要對原始點云進行下采樣。同時，為使下采樣后的點云物體保持原來的輪廓信息，本文采用體素格濾波進行下采樣，體素格大小為0.1 m。

1.2.2 高度截取

本文主要以室外道路場景為背景，因此所需檢測的目標包含行人、汽車、卡車和騎行的人等。不考慮更高脫離地面的物體，因此需要高度截取。

1.2.3 地面濾波

為通過后續(xù)聚類得到每個物體的點云，屬于某一物體的點云應距離相近，并與其他物體有明顯的距離分界。如圖2所示，地面的點云連接地面上每個物體的點云，不利于后續(xù)聚類分割。另外，地面一般可近似為一個平面。因此，本文通過采樣一致性方法，利用平面模型對地面點云進行濾波。

1.2.4 ROI提取

經(jīng)過上述處理得到的點云依然包含道路以外的其他點云。本文通過激光雷達建立地圖得到路沿點云來過濾路沿以外的點云，最終獲取道路內需要檢測物體的點云。

1.3 點云聚類

點云經(jīng)過預處理后，根據(jù)激光雷達點云的特點，通過改進Euclidean Cluster方法對道路內的點云進行聚類分割。原始Euclidean Cluster方法如圖4所示。

d1-物體1內任何一個點與它最近點間的距離d2-物體2內任何一個點與它最近點間的距離 d3-兩個物體之間最近點的距離

圖5 激光雷達得到不同距離的3個物體點云

其中為某點離原點的距離。

1.4 PointNet++檢測

1.4.1 PointNet++分類網(wǎng)絡

PointNet是能直接處理非結構化點云數(shù)據(jù)的深度神經(jīng)網(wǎng)絡[4]，可作為一個通用的連續(xù)集函數(shù)估計器，如式(2)所示。

1.4.2 16線激光點云對PointNet++的網(wǎng)絡結構

室外場景16線激光點云的檢測難點主要是稀疏性，這需要綜合考慮每個點云物體的全局和局部特征，以獲得全面的物體輪廓信息。針對室外場景，本文采用的PointNet++網(wǎng)絡結構如圖6所示。由于點云的稀疏性，這里只采用一個set abstraction層用于提取輸入的三維點云局部特征，并設置較大的半徑參數(shù)（由于點云稀疏，過小的半徑參數(shù)無法獲取較好的局部特征）；接著利用PointNet層得到全局特征；最終通過全連接網(wǎng)絡輸出點云物體的分類結果。

圖6 PointNet++網(wǎng)絡結構

1.5 三維bounding box生成

三維物體的檢測除了類別檢測外，還需要知道這些物體的長寬高及朝向信息。

本文根據(jù)激光雷達點云的特點，設計物體三維bounding box生成方法，流程如圖7所示。

圖7 三維物體bounding box生成流程

1.5.1 初步估計物體中心點

1.5.2 根據(jù)向量夾角得到物體對角點

1.5.3 找出離對角點連線最遠的點

找出離對角點連線最遠的點，如圖8(b)中的菱形點。

1.5.4 獲取長邊方向

連接離對角點連線最遠的點與2個對角點，取長邊方向作為物體的朝向。

1.5.5 獲取長邊方向和垂直長邊方向的邊沿點

在長邊和垂直長邊方向以及這2個方向的相反方向，得到最邊沿的點。初步構成最小包圍這些點的矩形，如圖8(c)所示。

1.5.6 整合先驗信息獲得物體的長寬高

圖8 三維物體bounding box生成

2 實驗結果分析

為驗證本文方法的有效性，利用16線velodyne激光雷達采集室外道路上的數(shù)據(jù)，并截取離激光雷達20 m范圍內的點云數(shù)據(jù)。根據(jù)汽車、卡車、行人、騎行的人和其他5個類別制作樣本，如表1所示。由于室外道路上除了汽車、卡車、行人、騎行的人外，其他物體種類各異，因此其他類別需制作更多樣本來訓練網(wǎng)絡，以保證檢測的魯棒性。

激光雷達采集的室外場景各物體點數(shù)不一，而PointNet++網(wǎng)絡輸入每個樣本的點數(shù)固定，因此需將獲得的各物體點云進行歸一化處理，最終統(tǒng)一每個物體點數(shù)為1024個。另外，設置set abstraction層的采樣中心點個數(shù)為128，每個中心點對周圍1.5 m以內選取的32個點進行聚集，再做后續(xù)局部特征提取。將表1的數(shù)據(jù)隨機打亂，每個類別選取其中的4/5作為訓練集，剩余的1/5作為測試集。訓練結果如表2所示。

表1 不同類別樣本數(shù)量

表2 測試集上的結果

由表2可見，采用PointNet++網(wǎng)絡結構訓練得到的分類結果具有較高準確率。其中卡車和騎行的人這2個類別，在實測場景出現(xiàn)較少，相對于其他類別得到的樣本偏少，故準確率和召回率稍有影響，后續(xù)將繼續(xù)采集這2個類別的數(shù)據(jù)來提升準確率和召回率。

將該方法用于室外真實場景測試，檢測周期約為80 ms，相對于velodyne激光雷達100 ms的采樣周期，滿足實時性要求。室外真實場景的檢測結果如圖9所示。

圖9 室外真實場景的檢測結果

3 結論

針對室外場景激光雷達點云物體檢測的稀疏性和實時性問題，本文采用PointNet++網(wǎng)絡并設計相應方法。經(jīng)過在室外真實場景采集的16線velodyne激光雷達數(shù)據(jù)進行對比實驗，結果表明：室外場景本方法在20 m范圍內能有效識別感興趣的三維目標，具有較高檢測準確率；同時能滿足實時性要求。

本文方法存在一些缺陷，只利用點云的信息，而未利用強度信息，這將在后續(xù)工作進一步開展。

[1] González A, Villalonga G, Xu J, et al. Multiview random forest of local experts combining RGB and LIDAR data for pedestrian detection[C]. IEEE Intelligent Vehicles Symposium (IV). IEEE, 2015: 356-361.

[2] Premebida C, Carreira J, Batista J, et al. Pedestrian detection combining RGB and dense LIDAR data[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2014: 4112-4117.

[3] Chen X, Ma H, Wan J, et al. Multi-view 3D object detection network for autonomous driving[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 1907-1915.

[4] Song S, Xiao J. Deep sliding shapes for amodal 3D object detection in RGB-D images[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 808-816.

[5] Zhou Y, Tuzel O. Voxelnet: End-to-end learning for point cloud based 3D object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4490-4499.

[6] Qi C R, Su H, Mo K, et al. PointNet: Deep learning on point sets for 3D classification and segmentation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017: 652-660.

[7] Qi C R, Yi L, Su H, et al. PointNet++: Deep hierarchical feature learning on point sets in a metric space[C]. Advances in neural information processing systems, 2017: 5099-5108.

Multi-Object Detection Method of 3D Point Cloud in Outdoor Scene Based on PointNet++

Wu Denglu1,2Xue Xihui1,2Zhang Dongwen1,2Fu Zhanhong1,2

(1.SF Technology Co., Ltd. 2. Research Center of Logistics Robot Technology and Application Engineering)

The sparsity of three-dimensional point clouds in outdoor scenes poses a challenge to multi-object detection. To solve this problem, a point cloud detection method based on PointNet++ is designed. Firstly, the point cloud is preprocessed to get the point cloud in the region of interest; secondly, the point cloud is clustered to segment the object; thirdly, the result of segmentation is detected by PointNet++ to get the category result of the object; finally, the length, width, height and orientation of the object are obtained by the design of three-dimensional bounding box generation method. In order to verify the validity of the framework, we use 16-line velodyne lidar to collect outdoor real scene data, and make sample sets for network training. The final results show that our method can achieve high detection accuracy and meet the real-time requirements.

Point Cloud; Target Detection; PointNet++; Outdoor Scene

吳登祿，男，1983年生，博士，主要研究方向：圖像處理與機器學習。E-mail:wdlcas@gmail.com

薛喜輝，男，1992年生，碩士，主要研究方向：點云檢測，多機器人調度。

張東文，男，1983年生，博士，主要研究方向：激光建圖與導航，多機器人。

付展宏，女，1994年生，碩士，主要研究方向：多傳感器標定與融合，多機器人調度。