基于點云的自動駕駛下三維目標檢測

楊詠嘉，鐘良琪，閆勝業

(南京信息工程大學 自動化學院，江蘇 南京 210044)

0 引 言

三維目標檢測作為計算機視覺任務的基礎課題之一，在自動駕駛和機器人視覺領域有著廣泛的應用。尤其在自動駕駛領域，如何精確檢測出車輛周圍的三維目標，是一項富有意義的任務。目前主流的三維目標檢測算法采用的輸入數據有單目圖像、RGB-D圖像和點云數據[1]。與RGB圖像相比，點云數據幾何信息豐富、對應用環境具有較強魯棒性[2]。因此為了應對復雜多變的現實交通場景，點云數據通常是檢測算法的首選。

近年來，以點云作為輸入，使用深度學習技術的三維目標檢測算法因其具有良好的學習與泛化能力受到廣泛關注。作為開創性的工作，VoxelNet[3]將點云通過網格進行體素化，大幅降低了網絡的計算量。PointNet[4]則設計了一種全對稱網絡，解決了將原始點云直接輸入時點云的無序性帶來的檢測結果不穩定問題。PV-RCNN[5]則將兩者的優勢進行結合，以體素化點云作為主要輸入，并且將部分原始點云的特征一同送入邊界框微調過程，提高了體素化方法的特征表達能力。

然而，PV-RCNN的體素特征圖分辨率過低，以及均勻的點云下采樣，導致算法在行人等小目標上檢測效果不佳。因此，我們提出多尺度區域建議網絡以及非均勻的精確關鍵點下采樣的三維目標檢測算法(RPV-RCNN)，為不同尺度的目標生成更適配的特征圖，同時有針對性地對點云進行下采樣，使得算法在小目標檢測性能上有較大提升。

1 相關工作

基于點云的三維目標檢測算法可以劃分為3類：基于點的方法、基于體素的方法和基于點和體素融合的方法。基于點的方法通常采用PointNet或PointNet++[6]作為骨干網絡對原始點云進行多層次的局部特征提取。原始點云具有豐富的位置信息，因此這類算法提取出的特征包含了更多的幾何信息。然而由于要多次對大量的點進行特征提取，導致算法需要消耗大量的計算資源。典型的方法有PointRCNN[7]、STD[8]、3DSSD[9]等。基于體素的方法通過將原始點云劃分為規則大小的網格，即體素。對體素內的點進行特征提取來降低點云的分辨率，實現計算量的降低。提取后的體素通過3D稀疏卷積進行進一步的特征提取，由于點云的稀疏性，3D稀疏卷積僅需要提取少量的非空體素的特征，從而大幅度地提高了檢測效率。然而體素化損失的幾何信息是不可逆的，導致此類方法的檢測精度受到一定限制。此類經典方法有VoxelNet、SECOND[10]、CIA-SSD[11]等。基于點和體素融合的方法融合了兩者的優勢，通過對原始點云下采樣得到關鍵點進行特征提取并將其與對應位置的體素特征進行融合，一定程度上彌補了體素特征的幾何信息缺失問題，從而帶來了更好的檢測效果。此類經典方法有PV-RCNN、Point-Voxel CNN[12]、SA-SSD[13]等。

綜上這些方法采用了不同的方式對點云進行特征提取，其中基于點和體素融合的方法在檢測速度與精度上達到較好的平衡，是基于點云的三維目標檢測任務中理想的網絡結構。

2 網絡模型

2.1 網絡設計

基于PV-RCNN在特征提取及邊界框微調階段的良好性能，本文延用了該算法的3D稀疏卷積層、關鍵點特征融合層、關鍵點預測層和邊界框微調層。并將其原有的關鍵點采樣、區域建議網絡以及損失函數改進為新設計的精確關鍵點采樣、多尺度區域建議網絡和基于DIoU的損失函數，以此提出了RPV-RCNN算法。

RPV-RCNN算法網絡結構如圖1所示，首先將一幀原始點云體素化后輸入至3D稀疏卷積層，在輸出時將z維特征與通道特征進行疊加得到輸出尺寸為(C，H，W)的鳥瞰圖(BEV)特征。同時，將原始點云通過精確關鍵點采樣，得到由k個關鍵點。將鳥瞰圖特征經過2D卷積分別得到尺寸為(2C，H/2，W/2)，(4C，H/4，W/4)的多尺度特征圖，送入多尺度區域建議網絡后得到初步的邊界框。與此同時，另一個分支將采樣得到的k個關鍵點映射回3D稀疏卷積不同尺度的特征圖以及鳥瞰圖特征中以提取不同尺度的關鍵點特征，將多尺度特征拼接并送入關鍵點預測層后得到的關鍵點特征與邊界框送入邊界框微調層進一步精確地回歸以得到最終的邊界框。

圖1 RPV-RCNN網絡結構

2.2 精確關鍵點采樣

本文設計了精確關鍵點采樣算法，相較于PV-RCNN直接使用最遠點采樣，我們在采樣前刪除部分無關的背景點，從而提高關鍵點在目標上的命中率。首先，為了去除地面上的點云，在原始點云中隨機選取3個點并擬合出平面p， 統計平面p及與平面一定誤差范圍內包含的點的數量并多次迭代，直到查找到包含最多點的平面，則認為該平面為地面并將其從原始點云中去除。隨后，為了過濾離群點，采用統計濾波對點云進行過濾。統計濾波算法首先計算點云中的每個點xi到k個鄰近點的距離dij并將其存放在集合D中，計算過程如式(1)所示

dij=xi-xj
D={di1，di2，…，dik}

(1)

隨后計算集合D的均值di作為點xi的特征，計算過程如式(2)所示

(2)

通過統計點云中所有點的距離均值可以得到點云的均值μ和方差σ2特征，從而獲得該點云的概率分布以及篩選閾值t。計算過程如式(3)所示

(3)

式中：N表示點云包含的點的數量。如果點xi的距離均值di大于t，則被判斷為離群點并刪除。本算法k設置為50，最終的過濾效果對比如圖2所示，其中左邊為原始點云，右邊為過濾后點云。最后通過最遠點采樣對過濾后的點云進行采樣得到關鍵點。

圖2 過濾前后原始點云對比

2.3 多尺度區域建議網絡

圖3 雙聚合金字塔網絡結構

同時為了反映不同特征層在特征融合中的重要性，我們通過向特征添加額外權重來實現這一點，融合過程計算公式如式(4)所示

(4)

通過集成雙向跨尺度連接和歸一化權重融合，我們的雙聚合金字塔可以在第2級用式(5)描述

(5)

2.4 損失函數

RPV-RCNN的全局損失函數由多尺度區域建議網絡損失、邊界框微調層損失以及關鍵點分類損失組成，計算公式如式(6)所示

L=Lrpn+Lrcnn+Lk-point

(6)

(1)多尺度區域建議網絡損失

多尺度區域建議網絡損失Lrpn由分類損失和回歸損失兩部分組成。分類損失采用交叉熵損失函數計算，計算公式如式(7)所示

(7)

其中，yg表示真實分類標簽，yp表示神經網絡預測的分類結果，i表示anchor中被判定為正樣本的數量。

回歸損失相較于PV-RCNN網絡的smooth-L1損失改為加入方向感知的DIoU[18]損失。DIoU損失可以最小化預測框與真值的中心不對齊問題，而方向感知可以進一步減小兩者的朝向差別。損失函數具體計算公式如式(8)所示

(8)

其中，Bp表示神經網絡預測的邊界框，Bg表示預測的邊界框對應的真值標簽，c與d分別表示兩者的最小閉包區域ABCD的對角線距離和兩個框中心點O1與O2的歐氏距離，幾何如圖4所示。Δr表示Bp與Bg在BEV下的角度差值，通過1-|cos(Δr)| 函數可以快速幫助預測框角度進行回歸。β作為調節角度差值在回歸損失中占比的權重，在本網絡中取β=2。

圖4 3D邊界框IoU

(2)邊界框微調層損失

邊界框微調層損失Lrcnn由置信度損失和回歸損失兩部分組成。對于置信度采用交叉熵損失，計算公式如式(9)所示

(9)

(3)關鍵點分類損失

由于前景點與背景點數量相差巨大，因此采用focal loss作為關鍵點分類損失以平衡正負樣本不均衡現象，計算公式如式(10)所示

(10)

其中，p為網絡輸出的關鍵點置信度，y為關鍵點的真值標簽，通過統計關鍵點是否在邊界框的真值標簽內得到。α、γ分別為調節正負樣本以及難易樣本數量失衡的權重，在本網絡中取α=0.25，γ=2。

3 實驗與分析

3.1 實驗數據集

本文的所有實驗與測試評估都是在KITTI數據集上進行的，該數據集在三維目標檢測領域被廣泛使用。KITTI數據集包含7481個訓練樣本和7528個測試樣本，在評估時對數據集分別對car類、cyclist類和pedestrian類進行評估。由于點云數據中的目標存在被遮擋或者截斷的情況，KITTI數據集據此將檢測目標劃分為容易、中等和困難3種難度級別。

實驗評估指標采用均值精度(average precision，AP)以及平均均值精度(mean average precision，mAP)。對于同一類別的不同難度采用AP進行評估，計算方式為查準率(precision)與查全率(recall)構成的曲線下的面積。查準率與查全率定義如式(11)所示

(11)

其中，TP(ture positive)指原本為正類且被劃分為正類的樣本；FP(false positive)指原本為負類且被劃分為正類的樣本；FN(false negetive)指原本為正類且被劃分為負類的樣本。對于不同類別目標命中定義設置不同的IoU閾值，car類設置為0.7，cyclist類和pedestrian類設置為0.5。算法在每個類別的mAP通過統計該類所有難度的AP并計算其均值得到。

3.2 實驗環境

本文使用的硬件平臺為Intel(R) Core(R) 8700k CPU，NVIDIA RTX 2080ti顯卡，操作系統為Ubuntn 16.04LTS。訓練過程采用Adam優化器進行參數更新，初始學習率設置為0.001，衰減因子為0.8，每15個周期更新一次。用于平滑累積梯度及平方的衰減速率β1和β2分別為0.9和0.999。訓練的epoch設置為80，batch_size設置為4。

3.3 模型對比與驗證實驗

在實驗中將訓練數據集劃分為3712個訓練樣本和3796個驗證樣本。本文選擇SECOND、PointPillars[19]、PointRCNN、3DSSD和PV-RCNN作為對比算法，不同算法在KITTI數據集3個類別的不同難度上的3D檢測結果見表1～表3。每個難度采用AP進行評估，并對比了每個類別的mAP差異，所有數據以百分比為單位。

表1 car類別下不同算法平均精度均值對比

表2 pedestrian類別下不同算法平均精度均值對比

表3 cyclist類別下不同算法平均精度均值對比

通過對比可以看出，與PV-RCNN相比，RPV-RCNN在pedestrian類和cyclist類這兩個小目標類上的檢測性能有顯著提升，mAP分別提高了6.33%和2.05%，分析認為是由于精確關鍵點采樣給小目標物體采樣到更多關鍵點以及為小目標物體提供了與其尺寸相匹配的特征圖共同造成的結果。在pedestrian類的moderate難度中檢測精度相較3DSSD落后3.45%，分析認為是由于3DSSD以原始點云作為輸入，經過多層感知機提取后保留了更豐富的幾何特征導致。但是本算法在該類的mAP優于所有對比實驗方法，可以驗證算法設計的有效性。在car類上的性能提升有限，mAP相較于PV-RCNN提升了0.77%，分析認為車輛目標較大，在原算法中對其特征提取已經較為充分。總體來說RPV-RCNN在KITTI數據集的3個類別上的檢測精度達到了較為優秀的水平。

本文對算法的預測結果與真值標簽進行了可視化對比，對比結果如圖5～圖7所示。圖中的圖(a)和圖(b)表示的是真值標簽，圖(c)表示的是算法的預測結果，v、p、c分別表示該框的類別信息為汽車、行人和騎行人。通過圖5可以分析得出，RPV-RCNN對車輛目標檢測能力良好，所有真值標簽標注目標均被成功檢測出。通過圖6可以分析出算法在騎行人方面檢測能力良好，檢測出了所有目標。通過圖7可以分析出算法在行人方面檢測能力較強，在標注目標全部檢出的同時也檢測出了部分未標注目標。但是也有部分目標存在誤檢，分析認為是由于部分稀疏的點云特征較為相似導致。

圖5 KITTI數據集可視化樣例1

圖6 KITTI數據集可視化樣例2

圖7 KITTI數據集可視化樣例3

3.4 消融實驗

為了驗證精確關鍵點采樣、多尺度區域建議網絡以及基于DIoU的損失函數對模型檢測精度的貢獻率，決定對模型進行消融實驗。將上述模塊分別從算法模型中移除，對網絡進行重新訓練并觀察檢測精度的變化。使用mAP作為精度衡量指標，使用KITTI數據集的測試集作為驗證數據集。實驗結果見表4～表6。

表4 不同改進方法對car類別檢測精度的影響

表5 不同改進方法對pedestrian類別檢測精度的影響

表6 不同改進方法對cyclist類別檢測精度的影響

根據實驗結果可知，精確關鍵點采樣和多尺度區域建議網絡對模型檢測性能提升最明顯，其中在pedestrian類別中提升最大，提升了4.79%，在cyclist和car類別中分別提升了2.64%和0.40%，分析認為行人目標在點云中比較稀疏，經過原有的最遠點采樣后留下的關鍵點數量不多，通過精確關鍵點采樣可以為行人目標保留更多關鍵點，同時多尺度特征金字塔為行人目標提供了與其尺度適配的特征圖，在行人目標的邊界框生成以及回歸階段提供了更加豐富的特征信息，從而改善模型的檢測性能。使用基于IoU的損失函數對模型精度提升有限，在car、pedestrian和cyclist類別中分別提升了0.11%、0.92%和0.62%。分析認為是由于三維目標檢測中邊界框重疊程度不高，導致基于DIoU的損失函數不能最大程度發揮性能。

為了進一步探究不同采樣方法對關鍵點選取的影響，將精確關鍵點采樣與PV-RCNN采用的最遠點采樣進行對比實驗。實驗采用KITTI數據集，在同一場景內分別采用兩種采樣方法對原始點云進行采樣，分別截取采樣前后的車輛、行人和騎行人目標并對其包含的點云數量進行統計，實驗結果見表7。

表7 不同采樣方法對比實驗

根據實驗結果可以看出，在同一場景下，精確關鍵點采樣能夠采集到更多的前景點，為后續邊界框回歸提供更多關鍵點特征信息。相較于最遠點采樣，精確關鍵點采樣在車輛樣本的點云采樣數量提升了23.45%，在行人樣本的點云采樣數量提升了31.37%，在騎車人樣本的點云采樣數量提升了27.91%。不同采樣方法的可視化結果如圖8所示，其中第一列(a)原始點云對應的3幅圖分別為從同一原始點云中截取出的車輛、行人和騎行人點云，第二列(b)精確關鍵點采樣對應的3幅圖分別為原始點云經過精確關鍵點采樣后在相同的位置截取出的同一目標的點云，第三列(c)最遠點采樣對應的3幅圖分別為原始點云經過最遠點采樣后在相同位置截取出的同一目標的點云。通過對比可以看出，在每個類別中，精確關鍵點采樣都可以為檢測目標保留更多點。

圖8 不同采樣方法對比實驗

4 結束語

本文提出了一種基于點云的三維目標檢測算法。設計了加入點云濾波的精確關鍵點下采樣，改善了原始網絡不能將檢測目標上的點在下采樣中較好地保留的問題；設計了多尺度區域建議網絡為不同尺度目標生成更合適的特征圖；設計了加入方向感知的DIoU損失，幫助邊界框更精確地回歸。實驗結果表明，所提出的模型總體性能優于原始的PV-RCNN，在KITTI數據集的車輛、行人和騎行人的檢測精度分別提升了0.77%、6.33%和2.05%。但是本算法在實時性上仍然存在不足，主要是由于3D稀疏卷積參數量較多導致，后續將研究對模型采用自適應剪枝進行輕量化，使算法能夠更好地適用于實際使用場景。