融合深度卷積網(wǎng)絡與點云網(wǎng)絡的三維車輛檢測方法分析

王鵬 葉子豪 孫銳

摘 ? 要：在常規(guī)的車輛目標檢測中，YOLO，SSD，RCNN等深度模型都獲得了較好的檢測效果，但是在無人駕駛系統(tǒng)中，車輛的速度、方向、相對距離等因素對于系統(tǒng)來說十分重要，所以采用二維車輛檢測對于駕駛場景的理解還遠遠不夠。激光點云數(shù)據(jù)蘊含著豐富的三維環(huán)境信息，融合點云數(shù)據(jù)和深度網(wǎng)絡的三維車輛檢測已成為未來的發(fā)展方向。文章給出了一種基于點云網(wǎng)絡與卷積神經(jīng)網(wǎng)絡的三維車輛檢測方法，首先，使用CRC和輸入尺寸有關的SDP技術來提高車輛檢測的準確性;其次，采用點云網(wǎng)絡結構（Pointnet）來處理點云數(shù)據(jù)，實現(xiàn)三維目標檢測，研究表明設計網(wǎng)絡結構在檢測精度上有著較大的優(yōu)勢。

關鍵詞：車輛檢測;點云網(wǎng)絡;卷積神經(jīng)網(wǎng)絡;拒絕分類器

1 ? ?車輛檢測的相關算法

近年來，由于深度學習技術的興起，機器視覺與人工智能有了快速的發(fā)展，特別是智能汽車領域，通過在車輛中安裝視覺傳感器使駕駛變得越來越安全以及智能化，而無人駕駛技術更是得到了工業(yè)界與學術界的高度關注。

車輛檢測是無人駕駛感知系統(tǒng)的關鍵環(huán)節(jié)，大多數(shù)的交通事故發(fā)生在車車之間，傳統(tǒng)的二維車輛識別技術僅能提供方位信息，并不能滿足無人駕駛系統(tǒng)對車輛檢測的需求，車輛的空間位置、速度等因素對后期的控制決策起到極為重要的作用。因此，需要激光雷達等傳感器提供三維點云信息、融合處理三維點云信息以及二維圖像信息成為車輛檢測的關鍵技術。目前，深度學習已被證明是目標檢測中最為有效的方法，卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）[1-2]更是在圖像處理領域中得到了廣泛的應用，例如圖像的分類、檢測、分割等。但是CNN也存在一些明顯的問題，最為突出的就是要對海量數(shù)據(jù)進行大量卷積運算需要消耗較大的計算量，為了提高目標檢測的速度，近些年部分學者又提出了Fast RCNN[3]和空間金字塔網(wǎng)絡（Spatial Pyramid Pooling Net）[4]，在Fast RCNN中，僅在整幅圖像中進行一次卷積操作，其比R-CNN[5]通過共享卷積層來說提高了運算效率。Fast RCNN已經(jīng)實現(xiàn)了分別在訓練和測試階段的加速。為了進一步提升速度，其他的深度神經(jīng)網(wǎng)絡模型也被提出，SSD[6]采用了一個CNN網(wǎng)絡來檢測，不過其使用了多尺度特征圖，并設置了先驗框。SSD借鑒了Fast R-CNN的錨點方法，對每一個候選單元設置不同大小的檢測框，取得了較好的檢測效果。YOLO[7]是另外一種快速單階段目標檢測方法，與R-CNN類型的模型有著明顯的不同，不再是將目標檢測視為分類問題，而是作為一種回歸問題，可以直接從圖像得到目標邊界框以及類別的判斷。YOLO擁有非常快的速度優(yōu)勢，并且是直接在圖像中進行訓練，這使得其自然包含有目標的上下文信息。YOLO模型相比于R-CNN模型有著較大的速度優(yōu)勢，但是精度上則不及大多主流的深度網(wǎng)絡模型。

三維車輛檢測可以提供更多的目標信息，目前已有少量研究成果發(fā)表，把這些方法分為3類：（1）基于前景視角圖像的方法，通過單幅RGB圖像和形狀或遮擋樣式來推斷目標三維邊界框[8]。利用深度數(shù)據(jù)集合CNN網(wǎng)絡來對二維目標檢測的結果三維化[9]。（2）基于鳥瞰圖的方法，MV3D[10]將LIDAR點云投射到鳥瞰圖并采用RPN[11]網(wǎng)絡來預測目標三維邊界框，但是該方法在檢測小物體時存在較大誤差，例如行人以及自行車都不是很準確。（3）基于3D點云的方法，通過支持向量機（Support Vector Machine，SVM）從點云數(shù)據(jù)中提取幾何特征，最后使用滑動窗口實現(xiàn)三維目標檢測[12]。將整個場景的點云轉換為體積網(wǎng)格，并使用3D-CNN網(wǎng)絡進行目標特征提取和檢測。該方法使用到了3D卷積，其計算量十分龐大[13]。

本文采用了直接處理點云數(shù)據(jù)的PointNet網(wǎng)絡[14]，該網(wǎng)絡結構簡單，但是卻可以高效處理點云數(shù)據(jù)。同時，本文設計了一種基于深度點云網(wǎng)絡的目標檢測方法，先采用卷積神經(jīng)網(wǎng)絡快速、準確地檢測車輛候選區(qū)域，再采用PointNet網(wǎng)絡實現(xiàn)三維實例分割，利用逐層級聯(lián)的拒絕分類器（Cascaded Rejection Classifiers，CRC）和與輸入大小有關的池化層（Scale Dependent Pooling，SDP）來提高目標車輛的檢測結果。

2 ? ?激光雷達與點云數(shù)據(jù)

激光雷達屬于光電技術，會向周圍物體發(fā)射激光束，再接受反射的光，通過反射的時間差得到物體的距離信息。激光雷達得到距離信息后再結合發(fā)射的角度，由空間幾何原理來推測到物體的位置與形狀。這個過程中，激光幾乎不受到環(huán)境因素的干擾，激光雷達的工作范圍可達100 m以上。激光雷達采用激光射線而非無線電雷達的電磁波，因此擁有更短的波長，對于獲取目標的距離以及形狀都會有更大的優(yōu)勢，精度可以達到厘米級。激光雷達通常包括3部分：（1）激光發(fā)射器。（2）掃描與光學部件，可感知距離、時間以及角度信息。（3）感光部件，用來檢測反射光的光強。

現(xiàn)有的無人駕駛車輛中已廣泛安裝了激光雷達，在車輛行駛的過程中，激光雷達會按照恒定的角速度進行勻速轉動并發(fā)射激光，會獲得360°全角度的環(huán)境信息，繼而可由距離、時間以及角度三者信息再加上激光雷達的位置信息，推導出反射點的三維坐標。激光雷達旋轉360°獲得的反射點坐標集合就叫點云，工作原理如圖1所示。激光雷達距離傳感器可以比普通攝像機更直接地得到三維信息，可以在識別分類的過程中提供三維形狀的信息。但是激光雷達所形成的三維點云一般都比較稀疏，空間的分辨率有限，所以缺乏目標的外觀與紋理信息。本文結合二維視覺目標檢測以及三維空間定位的各自優(yōu)勢，先利用RGB圖像檢測網(wǎng)絡對目標進行候選估計，再利用點云網(wǎng)絡對候選區(qū)域處理，最終完成三維車輛檢測任務。

3 ? ?三維車輛檢測算法

在三維車輛檢測算法中分別利用2D神經(jīng)網(wǎng)絡在車輛檢測的精度優(yōu)勢、3D點云網(wǎng)絡在處理點云數(shù)據(jù)時的空間定位優(yōu)勢，綜合設計該網(wǎng)絡模型，如圖2所示。該模型分為3個部分：2D檢測區(qū)域建議、三維實例分割以及3D邊界框估計，分別由圖2中的3個子網(wǎng)絡模塊完成。首先，由激光雷達和視覺傳感器分別接收點云數(shù)據(jù)與RGB圖像數(shù)據(jù);其次，利用含有級聯(lián)拒絕分類器及比列相關池化的CNN網(wǎng)絡對RGB圖片識別出車輛檢測區(qū)域;再次，由點云數(shù)據(jù)將2D檢測的區(qū)域轉換到3D點云中;最后，由PointNet預測出車輛的最終回歸框。

3.1 ?基于卷積神經(jīng)網(wǎng)絡的車輛識別

基于卷積神經(jīng)網(wǎng)絡的車輛識別方法第一階段設計了一種快速、準確的深度卷積神經(jīng)網(wǎng)絡來檢測車輛，該網(wǎng)絡利用了網(wǎng)絡所有層中的卷積特征，通過拒絕分類器對候選對象進行分類檢測;依賴于尺度的集合以及逐層級聯(lián)的拒絕分類器和與輸入尺寸有關的池化層來提高目標車輛的檢測結果。級聯(lián)拒絕分類器有效地利用了卷積特征以及消除在候選對象中存在大量負樣本，大大加快了檢測速度，同時也保存了較高精度。該網(wǎng)絡結構解決了Fast-RCNN中池化層的候選框不能精確識別小物體，以及多尺度圖像輸入中計算量的問題。常規(guī)的Fast-RCNN網(wǎng)絡需要進行大量高維卷積和邊界框池化，消耗大量運算時間和資源。該網(wǎng)絡結構如圖3所示。

由于SDP層也加入了4個全卷積層，所以為了進一步減少計算量，在所設計的網(wǎng)絡中使用了級聯(lián)拒絕分類器來減少候選樣本的數(shù)量，其網(wǎng)絡結構如圖4所示。該結構首先通過卷積層后得到一組特征，再使用興趣區(qū)（Region of Interest，ROI）池化策略得到若干個候選特征，對于所有的候選特征設置分類標簽為0與1，然后訓練50個弱分類器，整體策略類似adaboost集成學習，這種網(wǎng)絡結構會使得檢測時速度提高3～4倍。

3.2 ?基于點云網(wǎng)絡的三維車輛檢測技術

針對傳統(tǒng)方法處理點云數(shù)據(jù)難以準確分割的問題，本文采用PointNet網(wǎng)絡來處理點云數(shù)據(jù)，結構簡單，但是卻可以高效處理點云數(shù)據(jù)，從而實現(xiàn)目標分割及識別等任務，該網(wǎng)絡結構如圖5所示，通過最大池化來將點云信息中所有點的信息融合，其輸入是一個三個維度的點云數(shù)據(jù)，輸出可以是檢測標簽也可以是點云分割結果。

網(wǎng)絡結構中，第一部分的T-Net網(wǎng)絡可以產(chǎn)生仿射變換矩陣，將輸入的點云信息進行如旋轉及平移變換的規(guī)范化預處理，相當于一個小型的PointNet網(wǎng)絡，該網(wǎng)絡輸入為點云信息，輸出則是對應的3×3矩陣。該網(wǎng)絡也可以應用在特征空間的對齊，對應輸出的矩陣大小為64×64。第二部分是將點云數(shù)據(jù)以及提取的點云特征做進一步處理得到全局特征，該網(wǎng)絡輸入為n×3的點云結構，通過各點云數(shù)據(jù)在感知機中的學習以及特征提取，使用最大池化來將所有信息融合為全局特征，在激光雷達收集到點云數(shù)據(jù)后，就可以利用PointNet網(wǎng)絡進行處理，根據(jù)上一節(jié)的分析，該網(wǎng)絡不僅可以實現(xiàn)分類的功能，還可以實現(xiàn)三維實例分割的效果。而算法主要是靠點云網(wǎng)絡來實現(xiàn)分割的功能，利用PointNet網(wǎng)絡實現(xiàn)的分割效果如圖6所示。

4 ? ?實驗結果與分析

4.1 ?數(shù)據(jù)集

本文實驗對象為KITTI的二維與三維車輛目標的數(shù)據(jù)集，該數(shù)據(jù)集由卡爾斯魯厄理工學院以及豐田汽車共同發(fā)起創(chuàng)建，現(xiàn)為無人駕駛領域視覺感知模塊中應用最廣的數(shù)據(jù)集，其中包含行人、車輛等各種交通目標。同時，本團隊在訓練中還采用了部分PASCAL VOC2007數(shù)據(jù)集。方法采用平均準確率（Average Precision，AP）指標來評價算法的車輛檢測精度。由于方法涉及二維圖像檢測網(wǎng)絡與三維點云網(wǎng)絡的結合，最終的檢測精度受到這兩種網(wǎng)絡精度的共同影響，故在實驗中對兩個部分的實驗結果分別做一次對比分析，同時再將整體的實驗精度與其他算法做出對比。

4.2 ?實驗結果與分析

實驗包含3個部分。本文通過二維檢測網(wǎng)絡提供的車輛檢測區(qū)域，故二維圖像檢測網(wǎng)絡的精度影響了最終的結果，首先，給出RGB圖像的實驗結果;其次，由點云網(wǎng)絡預測三維車輛的最終回歸框，所以本文也對比分析做出了點云網(wǎng)絡的實驗結果以及最終整體方法的完整實驗結果。

本文采用的二維目標檢測網(wǎng)絡使用循環(huán)冗余校驗（Cyclic Redundancy Check，CRC）與戰(zhàn)略數(shù)據(jù)規(guī)劃（Strategy Data Planning，SDP）來加強網(wǎng)絡的精度與減少計算量，使得方法在保證目標檢測的高精度同時保障了無人駕駛中所要求的高實時性。在KITTI數(shù)據(jù)集上的實驗結果如表1所示，其中E，M，H分別指簡單、中等、困難的識別場景。

SDP+CRC+fine是將CNN模型加入SDP與CRC之后微調的結果，在加了SDP之后候選區(qū)域少了70%～80%，大大減少了網(wǎng)絡的計算量。 該算法在VOC2007數(shù)據(jù)集中檢測結果如表2所示。

本文最后給出算法在KITTI三維點云數(shù)據(jù)集的實驗結果，可以看出該方法達到了較好的實驗結果，如表3所示，其中，模型在二維目標檢測基礎上使用了PointNet網(wǎng)絡。圖7為算法直觀的3D車輛檢測結果。

5 ? ?結語

三維車輛檢測在無人駕駛系統(tǒng)中有著廣闊的應用前景，二維車輛檢測僅提供的簡單的目標方位，三維車輛檢測提供了更多有用的如車輛位置信息以及速度信息。針對早期三維目標檢測算法并不能直接利用激光點云數(shù)據(jù)，且計算量十分龐大的缺陷，本文給出了一種融合二維與三維目標的檢測模型，一方面是利用激光點云數(shù)據(jù)，實現(xiàn)了三維目標的有效分割與提取;另一方面又結合原有深度學習算法中二維目標檢測中的高精度優(yōu)勢，整體上實現(xiàn)了一種高效的三維目標車輛檢測方法，具有較高的應用價值。

[參考文獻]

[1]KRIZHEVSKY A，SUTSKEVER I，HINTON E.Imagenet classification with deep convolutional neural networks[J].In Advances in Neural Information Processing Systems，2012（3）：1097-1105.