基于卷積神經網絡的激光雷達點云目標分割*

張 青，黃影平

（上海理工大學，上海 200093）

0 引 言

自主駕駛系統依賴于對環境的準確、實時和強大感知。自主駕駛汽車需要準確分類和定位“道路對象”。本文將道路對象定義為與駕駛相關的對象，如汽車、行人、自行車和其他障礙物。不同的自主駕駛解決方案可能具有不同的傳感器組合，但是激光雷達掃描儀是最流行的組件之一[1]。激光雷達掃描儀直接生成環境的距離測量值，供車輛控制器和設計人員使用。此外，激光雷達掃描儀在幾乎所有照明條件下都具有強大的功能，無論白天還是黑夜，無論有無眩光和陰影。因此，基于激光雷達的環境感知任務已引起人們的關注。

本文使用基于Velodyne的64線3D激光雷達點云進行道路對象分割。考慮到激光雷達掃描儀的點云輸出，該任務旨在隔離感興趣的對象，并預測其類別，如圖1所示。其中，汽車用c標注，行人用p標注，騎車人用b標注。

本文提出了一種基于卷積神經網絡（Convolutional Neural Nets，CNN） 和 條 件 隨 機 場（Conditional Random Field，CRF）的端到端流水線。具體地，先設計一個輸入為轉化后的雷達點云、輸出為逐點標簽矩陣集合的CNN，并通過CRF模型進一步完善CNN，再通過應用常規的聚類算法獲得實例級標簽。為將3D點云數據送到2D CNN中，本文采用球面投影將稀疏的不規則分布的3D點云轉換為密集的2D圖像。所提出的CNN模型從SqueezeNet[2]中汲取了靈感，經過精心設計后，可減小參數大小和計算復雜度，旨在降低內存需求，達到適合嵌入式應用的實時處理速度。CRF模型[3]被表述為遞歸神經網絡（Recurrent Neural Net，RNN）模塊，可以與CNN模型一起進行端到端訓練。設計的模型在KITTI數據產生的雷達點云上訓練，從KITTI中的3D邊界框轉換逐點分割標簽。實驗表明，設計的卷積神經網絡達到了很高的準確性，且快速、穩定，可適用于自主駕駛應用。

1 相關工作

現階段，點云分割的主流方法主要分為基于點云強度、曲率等特征分割的傳統方法和基于神經網絡的點云語義分割方法。

1.1 點云分割的傳統方法

傳統方法主要是移除地面，將其余點聚集成實例，從中提取特征，并根據提取的特征對每個群集進行分類[4]。這種方法盡管很流行，但存在缺點。首先，地面分割通常依賴于手工制作的特征或決策規則，一些方法依賴預設的閾值[5]，而另一些方法需要更復雜的特征，如表面法線[6]或不變量描述符[7]，這些都需要大量的數據預處理。其次，分類或聚類算法無法利用環境，最重要的是無法利用對象的周圍環境[8]。最后，大多數地面去除的算法都依賴于迭代算法，如隨機樣本一致性（RANdom SAmple Consensus，RANSAC）[9]和高斯過程增量樣本一致性（Gaussian Process INcremental Sample Consensus，GP-INSAC）[10]等。這些算法的準確性和運行時間取決于隨機初始化的質量，存在不穩定性。對于自主駕駛系統這種嵌入式應用程序，這種不穩定性是不可接受的。

1.2 點云分割的神經網絡算法

隨著神經網絡技術的快速發展，近年來越來越多的學者開始將這種高效方法應用在點云的語義分割上。基于神經網絡的點云分割大致有兩種。一種是以3D點云數據直接作為輸入的點云分割算法。例如，文獻[11]將基于三維的卷積神經網絡對體素化后的點云數據作為輸入，完成像素級別的語義分割。該方法雖然網絡結構簡單，且不需要數據預處理，但體素點云作為輸入計算量大，難以解決空間信息丟失問題。另一種是將3D點云轉化為2D圖像作為輸入的分割算法。例如，文獻[12]主要是基于深度圖像的孔洞填充頂帽算法，將點云映射到二維圖像中，再通過檢測到的相互連接的元件提取特征信息，訓練卷積神經網絡進行點云數據的分類。此方法雖然大幅減少了計算量，但在轉換過程中丟失了點云圖像的深度信息。

2 方法描述

2.1 點云轉換

常規的CNN模型在二維圖像上運行，可以用尺寸H×W×3的3維張量表示。前兩個維度給空間位置編碼，其中H和W分別表示圖像的高度和寬度；最后一個維度給特征編碼，最常見的是RGB值。但是，3D雷達點云通常以一組笛卡爾坐標(x,y,z)表示，還包括其他特征，如強度或RGB值。與圖像像素的分布不同，LiDAR點云的分布通常稀疏且不規則。因此，直接將3D空間離散數據作為像素點會導致空像素過多。處理這樣的稀疏數據效率不高，且計算量極大。

為了獲得更緊湊的表示，本文將雷達點云投影到一個球體上，以實現密集的網格基表示，如圖2所示。

相關公式可表示為：

2.2 網絡結構

本文的卷積神經網絡結構，如圖3所示。基礎模型源自SqueezeNet，一種輕型CNN，用50倍以下參數實現AlexNet級精度。SqueezeNet已成功用于圖像的目標檢測。

神經網絡的輸入是所述的64×512×5張量，從SqueezeNet移植層（Conv1a到Fire9）進行特征抽取。SqueezeNet使用max-pooling在寬度和高度上對中間特征圖進行向下采樣，但是由于本文中輸入張量的高度遠小于其寬度，因此僅對寬度進行向下采樣。Fire9的輸出是給點云的語義編碼的下采樣特征圖。

為了獲得每個點的標簽預測，本文使用了反卷積模塊（更準確地說是“轉置卷積”），在寬度維度上對特征圖進行上采樣。使用跳躍連接，將上采樣的特征圖添加到相同大小的低級別特征圖，如圖3所示。具有softmax激活的卷積層（conv14）生成輸出概率圖，而概率圖由循環CRF層進一步完善。

2.3 條件隨機場

使用圖像分割，CNN模型預測的標號映射傾向于具有模糊的邊界。這是由于在max-pooling之類的下采樣操作中失去了低級細節。準確的逐點標簽預測不僅需要了解對象和場景的高級語義，還需要了解低級細節。后者對于標簽分配的一致性至關重要。例如，如果點云中的兩個點彼此相鄰，且具有相似的強度測量值，則它們很可能屬于同一對象，因此具有相同的標簽。使用條件隨機場（Conditional Random Fields，CRF）來優化CNN生成的標號映射。對于給定的點云和標簽預測c，其中ci表示第i個點的預測標簽。CRF模型采用能量函數：

式中：一元多項式ui(ci)=-logP(ci)由CNN分類器產生的預測概率P(ci)決定。

二元多項式定義了將不同標簽分配給一對相似點的“懲罰”，定義為：

式中：μ(ci,cj)=1，ci≠cj且都不為0。二元多項式與km有關，km是取決于點i和j的特征的高斯核。wm是相應的系數。

本文使用了兩個高斯核，即：

最小化CRF能量函數，可產生精確的標簽分配。式（2）的精確最小化很難解，可以用一種平均場迭代算法來近似有效地求解它。將平均場迭代表述為遞歸神經網絡（RNN），將平均場迭代算法的詳細推導及其公式化閱讀器定義為RNN。這里僅簡要介紹作為RNN模塊的平均場迭代的實現，如圖6所示。CNN模型的輸出作為初始概率圖被饋入CRF模塊，之后基于作為式（3）的輸入特征來計算高斯核。

上述高斯核的值隨著兩點之間的距離（在3D笛卡爾空間和2D角空間中）飛速下降。因此，將每個點限制到3×5的小區域內核上作為輸入張量。然后，使用上述高斯核對初始概率圖進行過濾。以上述高斯核為參數，可將該步驟實現為一個局部連接層。之后對聚合概率重新加權，并使用“兼容性轉換”來確定其改變各點分布的程度。此步驟可以實現為1×1卷積，訓練期間學習其參數。將初始概率添加到1×1卷積的輸出中，更新初始概率，并使用softmax對其進行歸一化。模塊的輸出為完善的概率圖，通過迭代應用此過程，可進一步完善該概率圖。實驗中，使用3次迭代來實現準確的標號映射。該遞歸CRF模塊和CNN模型可以端到端一起訓練，使用單級流水線，避開了多級工作流中存在的傳播錯誤線程。

2.4 數據收集

本文的初始數據來自KITTI原始數據集。該數據集提供了按順序組織的圖像、LiDAR掃描和3D邊界框。以3D邊界為界進行逐點注釋。對象的3D邊界框中的所有點均被視為目標對象的一部分，然后對每個點分配相應的標簽。這種轉換的例子，如圖2（a）和圖2（b）所示。使用這種方法收集了10 848張帶有逐點標簽的圖像。

3 實 驗

3.1 評估指標

本文在類級和實例級的分割任務上評估模型的性能。對于類級分割，將預測分數與地面真值標簽逐點比較，并評估精度、召回率和IoUc（交并比）分數。

這些分數定義為：

式中：pc和c?分別表示屬于c類的預測點和地面真值點集；|·|表示集合的基數；IoUc分數用作我們實驗中的主要準確性指標。

對于實例級分割，先將每個預測的實例i與地面真值實例進行匹配。此指數匹配過程可以表示為M(i)=j，式中i∈{1,…,N}表示預測實例指數，j∈{?,1,…,M}表示地面真值指數。如果沒有與實例i匹配的地面真值，則將M(i)設置為?。匹配過程M(·)通過點數對地面真值實例進行排序，對于每個地面真值實例，找到具有最大IoU的預測實例。對于每個c類，實例級精度、召回率和IoU分數計算為：

式中：pi,c表示屬于類c的第i個預測實例。不同的實例集互相排斥，因此∑i|pi,c|=|pc|。同樣，對于?M(i),c，如果地面真值實例與預測i不匹配，則?M(i),c為空集。

3.2 實驗設置

本文的主要數據集是上述轉化的KITTI數據集。將原始數據集分為具有8 057幀的訓練集和具有2 791幀的驗證集，并在實驗中確保訓練集中的幀不會在驗證序列中出現。同時，在Tensorflow中開發了模型，并在實驗中使用了NVIDIA TITAN X GPU、Drive PX2 AutoCruise和AutoChauffeur系統。

3.3 實驗結果

圖7是二維數據語義分割結果可視化。表1總結了該卷積神經網絡的分割精度。比較CNN網絡的兩種結構，一種具有遞歸CRF層，另一種不具有遞歸CRF層。較高的IoU對逐點正確性有要求，因此這有著極高的挑戰性。但是，本文設計的卷積神經網絡仍然取得了較高的IoU分數，尤其是在汽車類別中。汽車類別的類級和實例級召回率均高于90%，對自主駕駛而言是理想的。行人和騎車人類別的較低表現歸因于以下兩個原因：（1）數據集中行人和騎車人的實例更少；（2）行人和騎車人的身材要小得多，且細節更多，因此很難進行分割。

表1 本文卷積神經網絡的分割性能

將CNN與CRF相結合，顯著提高了汽車類別的準確性。提高主要來自精度的提高，因為CRF可以更好地過濾邊界上錯誤分類的點。同時，CRF在行人和騎車人分割任務中的表現略差，可能是由于行人和騎車人缺少CRF參數調整所致。

在TITAN X GPU上，不帶CRF的CNN處理一個LiDAR點云幀只需要8.9 ms，結合CRF層的CNN處理一個LiDAR點云幀也只需要13.8 ms，比當今大多數LiDAR掃描儀的采樣速率快得多。Velodyne HDL-64E LiDAR的最大和平均轉速分別為20 Hz和10 Hz。兩個模型的運行時標準偏差都非常小，這對整個自主駕駛系統的穩定性至關重要。

4 結 語

對于雷達點云產生的道路對象分割，本文基于SqueezeNet設計的卷積神經網絡，是一種較為準確、快速且穩定的端到端方法。提出的深度學習方法不依賴手工制作特征，而是利用通過訓練獲得的卷積濾波器；提出的深度學習方法使用深層神經網絡，因此不依賴于RANSAC、GP-INSAC和聚集聚類等迭代算法；提出的深度學習方法將流水線減少到單一級，避免了傳播錯誤的問題。結果表明：根據自主駕駛等應用的要求，該模型實現了非常好的精度、運行速度以及穩定性。