基于實例分割的目標三維位置估計方法

劉長吉，郝志成*，楊錦程，朱 明，聶海濤

(1. 中國科學院 長春光學精密機械與物理研究所, 吉林 長春 130033;2. 中國科學院大學, 北京 100049;3. 重慶嘉陵華光光電科技有限公司, 重慶 400000)

1 引 言

基于點云數據的三維物體檢測的難點在于深度感知設備價格高、高質量的稠密點云獲取困難且運算規模大、點云數據集制作困難。經典點云分割算法例如LCCP[1]、區域生長[2]、RANSAC[3]等，效果較差，且速度慢。近些年已經有學者提出使用深度學習進行三維物體檢測,如PointNet[4-5]、F-PointNet[6]等。其中F-PointNet提出使用基于二維檢測器的三維物體檢測，減少對點云的搜索空間。PointNet直接使用全部點云信息進行分割，達到了非常不錯的效果。但是基于深度學習的三維物體檢測都需要使用三維點云數據作為訓練樣本。而在實際的工程應用當中，很難獲得大量的、高質量的點云數據作為訓練樣本。

在圖像中存在豐富的目標信息，且二維圖像訓練集獲取容易。如今成熟的二維檢測算法,例如Yolo[7]、Faster R-CNN[8]等算法已經得到了廣泛的應用，準確率高且速度快。經典的實例分割算法Mask R-CNN[9]其分割效果已經滿足大部分的應用場景。因此本文提出了一種基于實例分割的三維目標位置估計方法，首先得到目標分割掩碼，提取深度信息，由此獲得目標粗略點云。再采用統計學異常點檢測，對混入的極少量異常點進行剔除，最終得到精細的目標點云。

經過試驗，該方法可以得到準確的目標物體點云，實現簡單、成本低，無需任何點云數據作為訓練樣本。適合在目標點云提取、三維物體檢測、障礙物檢測等工程任務當中使用。

2 基于實例分割的目標粗略點云提取

2.1 基于Mask R-CNN的目標實例分割

目標檢測(Object detection)需要獲取圖像中目標的位置(Bounding box)，還需要獲取物體的類別。實例分割(Instance segmentation)在目標檢測的基礎上，需要對每一個像素的分類，同時獲得分割掩碼，如圖1所示。

圖1 基于Mask R-CNN的實例分割結果Fig.1 Instance segmentation result based on Mask R-CNN

圖2 Mask R-CNN網絡結構Fig.2 Structure of Mask R-CNN

Mask R-CNN是一種通用圖像實例分割算法，其沿用了Faster R-CNN[10]的思想，并且在Faster R-CNN的結構上增加了全卷積網絡進行掩碼預測[11]，并將感興趣區域池化(ROI pooling)替換成感興趣區域對齊(RoI Align)，使特征圖與原圖更加準確地對準，在區域推薦的過程中，減少了量化而損失的像素偏移，使得掩碼更加準確。最后通過增加全卷積網絡對推薦區域進行語義分割。不管是實例分割或者語義分割，由于其最后一層的分割掩碼特征圖一般為16倍下采樣，直接上采樣到目標尺寸大小會造成分割邊緣的不準確。在2.2中我們會描述分割邊緣不準確對點云分割造成的影響。Mask R-CNN網絡結構如圖2所示。

2.2 RGB圖像與深度圖融合

使用成熟的二維檢測器在RGB圖像中對目標進行實例分割，得到目標掩碼和類別。不論是使用雙目相機TOF相機或者是相機與雷達融合，都可以獲得RGB圖像與深度信息。如圖3所示。

圖3 深度圖像Fig.3 RGB image and depth image

本文使用深度圖來表示深度信息，深度圖與RGB圖像尺寸一致，每一個像素上儲存的是與其對應RGB圖像每一個像素的距離，使用單通道無符號16位整形(Uint16)來保存深度信息，單位取mm，如圖4所示。

圖4 使用分割掩碼得到的RGB信息與深度信息Fig.4 Mask,RGB and depth from instance segmentation.

根據相機成像模型，物體投影在像平面上生成圖像，此時從世界坐標系轉換到像素坐標系，當擁有深度信息時，可從像素坐標系轉化到相機坐標系。相機成像模型可簡化為圖5。

圖5 簡單相機成像模型Fig.5 Simple camera model

空間中一點可以分別在世界坐標系OwXwYwZw，相機坐標系OcXcYcZc，圖像坐標系o-x-y，與像素坐標系u-v中描述。世界坐標系中一點P轉化到像素坐標系的過程如下：

從世界坐標系到相機坐標系:

(1)

其中:R為旋轉矩陣，T為平移矩陣。

從相機坐標系到理想圖像坐標系:

(2)

其中:fx、fy為焦距。

假設像素坐標系原點在圖像坐標系下的坐標為(u0，v0)，每個像素點在圖像坐標系x軸、y軸方向的尺寸為dx、dy，且像點在實際圖像坐標系下的坐標為(x,y)，于是可得到像點在像素坐標系下的坐標為：

從實際圖像坐標系到像素坐標系：

(3)

式(4)被稱為內參矩陣：

(4)

根據式(1)、(2)、(3)、(4)可以得到圖像坐標系到相機坐標系的轉換公式：

(5)

其中depth為深度圖中儲存的深度信息，根據式(5)可以將RGB圖像與深度圖像融合得到點云數據，其點云效果如圖6所示。

圖6 不同視角下椅子點云中混入的非目標點云[12]Fig.6 Outliner point cloud in different view

圖7 分割邊緣不準確性Fig.7 Segmentation edge inaccuracy

由于分割邊緣不準確性[13]，如圖7所示，導致得到的分割掩碼中混入背景，從而造成點云中混入一定量的異常點。異常點云一般都與實際目標有一定距離，這些非目標點云會嚴重影響物體位置的判斷，有必要將非目標點云進行去除。

3 點云主成分提取

3.1 自適應統計學異常點檢測

由于每個目標形狀差異不同，僅使用圖像分割獲取到的點云區別也很大，有些異常點云占比很大，有些異常點云占比很少，甚至有些規則形狀的目標不存在異常點云的混入。異常點云有以下特點：(a)異常存在性未知，即是否存在異常點云；(b)異常占比未知性，即不同情況不同目標，基于圖像分割得到的點云中，異常點云占比是不確定的；(c)異常分布未知性，即異常點云所處的位置是不確定、異常點云簇數量也不確定，可能存在多個點云數量較少的點云簇[14]，分布在不同的位置。

由于以上3點特性，使得異常點的判斷變得十分困難，并且由于異常占比未知性，使得異常點云的去除需要手動設置異常率的占比，這在同一場景多目標的情況下是不可用的。圖8所示為在復雜室外場景下，不同目標混入的異常點云分布。

(a) 室外分割掩碼與深度圖(a) Outdoor segmentation mask and depth map

(b) 汽車分割掩碼與粗略點云(異常占比少)(b) Car segmentation mask and coarse point cloud (few abnormal points)

(c)自行車分割掩碼與粗略點云(異常占比多)(c) Bicycle segmentation mask and coarse point cloud(more anomalous point clouds)圖8 不同目標混入的異常點云分布Fig.8 Distribution of abnormal point clouds blended in different objects

所以我們需要一種可以不指定異常占比、依賴點云形態分布來提取目標點云的算法。通過觀察我們發現，異常點云與真實目標點云的分布存在明顯不同，最明顯的是數量與密度的不同。

統計學異常點移除(Statistical Outlier detect,SOD)[15]是一種無監督學習方法，可以應用在數據異常數據檢測、工業產品檢測等領域。該算法有以下特點：(a)無需指定異常點占比; (b)無監督學習，無需訓練樣本。適用于連續數據的異常檢測，檢測分布稀疏且離密度高的群體較遠的點、容易被孤立的離群點。

已有檢測數據集X={x1,x2,x3…xn}，?xi∈X,且xi由m維度的特征構成,xi={xi1,xi2,xi3…,xim}。在點云數據中，只保存位置信息，則m=3，則xi={x,y,z}。對每個點，我們計算它到所有k個臨近點的平均距離。得到所有點的平均距離向量D={d1,d2,d3…dn}。假設得到的結果是一個高斯分布，其形狀由均值μ和標準差s決定。當某一點的平均距離di>n·s+μ時，可被定義為離群點并可從數據集中去除掉。算法具體流程如表1所示。

表1 異常點去除算法流程表Tab.1 Outlier removal algorithm

3.2 k與n的選取

k值代表計算一個其最臨近k個點，其中k值的大小決定了SOD對異常點的敏感程度。k越小,SOD對局部特征越敏感。對于目標來說，異常點占比通常很小，也會出現局部聚集的情況，所以k不宜取過小的數。一般對于一個目標來說，假設其點云數量為a，令k=a/t，其中t代表將整個目標當做t個部分來考慮。我們使用t來控制SOD對整體與局部敏感度。

在計算k近鄰平均距離后，每個點會形成新的映射關系，異常點會被映射到離散區域,如圖9所示。SOD去除異常點效果如圖10所示。最終

圖9 t=3，n=1時,點云k臨近距離統計。Fig.9 Point cloud k proximity statistics at t=3, n=1.

圖10 自適應SOD去除異常點云,紅色點被判定為異常點。Fig.10 Adaptive SOD removes the abnormal point cloud, and the red points are determined as abnormal points.

將異常點進行移除，得到目標精細點云，同時獲得了目標的準確的空間位置信息。

4 實驗結果與分析

實驗分別使用了TUM數據集[16]與KITTI數據集[17-18]。TUM數據集由尼黑工業大學的Computer Vision Lab制作。采集設備使用Kinect，主要針對室內的辦公室場景，于是使用飛行時間法(TOF)，點云較為稠密。KITTI數據集由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯合創辦，是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數據集。該數據集用于評測立體圖像(Stereo)、光流(Optical flow)、視覺測距(Visual odometry)、3D物體檢測(Object detection)和3D跟蹤(Tracking)等計算機視覺技術在車載環境下的性能。3D物體檢測包含7 481張訓練圖片和其對應的點云。由于KITTI-3D object數據集中物體只有三維框與二維框標注，并無實例分割標注，所以我們使用了COCO作為訓練集。COCO中包含類別人與車，并使用KITTI訓練集作為驗證集進行性能評估。

3D目標檢測需要同時實現目標定位和目標識別兩項任務。通過比較預測框與真值框之間的交并比(Intersection over Union,IOU)來計算重疊程度。通過置信分數和IOU來確定檢測結果的性能，最終使用單類別平均精度值(Average precision, AP)來評估單類目標檢測的結果如圖11所示。其中2D邊界框的性能也使用AP來衡量，IOU閾值使用KITTI標準。由于算法機制不同，我們估算物體位置使用了最小外包立方體，而遠處目標的點云數量稀少且只有物體表面被激光雷達捕捉到，所以在遠處物體的3D預測邊界框會比真值3D邊界框小很多，所以隨著IOU增加AP會降低，如表2所示。在表3中，我們對比了不同算法在KITTI上的AP得分，經比較，我們的算法可以只使用2D數據集進行訓練，在AP得分上，與主流的算法比較有一定差距。在測量精度上，當前主流的深度感知設備激光雷達Velodyne HDL-64E誤差<2 cm，深度相機RealsenseD435i在<4 m的距離下誤差不超過2%。

圖11 不同IOU閾值下的車輛AP值(3D)Fig.11 Car AP at different IOU thresholds (3D)

表2 不同IOU閾值下的KITTI數據集上的APTab.2 AP on KITTI dataset with different IOU threshold (%)

表3 在KITTI數據集上的性能對比Tab.3 Performance comparison on KITTI dataset (%)

圖12 在KITTI上的檢測結果與真值對比Fig.12 Detection results vs. ground truth on KITTI

圖13 TUM數據集上的檢測結果Fig.13 Results of TUM dataset

圖.14 KITTI數據集上的檢測結果Fig.14 Detection results of KITTI dataset

5 結 論

使用二維檢測器驅動的三維物體檢測可以得到非常好的效果，經過試驗，在KITTI數據集上的AP可以達到50%以上。以Mask R-CNN作為檢測器，在2080 Ti上可以達到15 FPS。

對于遠距離、重疊、復雜的目標來說，點云已經無法分辨其輪廓形狀，二維檢測器可以提供一個強有力的前端策略，來獲取目標的點云。同時，本文使用了無監督學習來對異常點云進行檢測，整個算法不需要任何的三維數據作為訓練樣本，輕量化，更加易于部署應用于各個環境。其中輕量化體現在硬件輕量化與訓練集輕量化。硬件輕量化是指以圖像為主，對點云質量要求不高，可以降低硬件成本。訓練集輕量化是指僅使用了二維數據集，相比三維點云數據集，容易獲取容易標注。

對于二維驅動的三維物體檢測來說，其前端可以搭載強大的二維檢測器以達到更多功能的拓展。比如骨架識別、人體姿態識別、全景分割等。并且目前主流的三維目標檢測方法都使用了RGB數據與點云數據的多模態融合，這也是三維物體檢測的發展趨勢。RGB提供豐富的語義信息，而點云數據提供準確的位置、輪廓信息。多模態的融合可以優勢互補，但網絡也會變得復雜，也更難應用于實時處理當中。