稀疏激光雷達(dá)深度圖無(wú)監(jiān)督域自適應(yīng)算法

張睿杰

（重慶交通大學(xué)機(jī)電與車輛工程學(xué)院，重慶 400074）

0 引言

深度傳感在許多任務(wù)中有著非常重要的作用，如定位［1］、3D傳感［2］和自動(dòng)駕駛［3］。激光雷達(dá)設(shè)備可以通過(guò)激光傳感器測(cè)量物體與設(shè)備之間的距離，因此常常被集成到自主機(jī)器人和車輛中，以提供深度信息。然而，由于現(xiàn)有的激光雷達(dá)只能提供有限的水平掃描線，并且測(cè)量距離通常不會(huì)太遠(yuǎn)，激光雷達(dá)提供的深度圖無(wú)法為機(jī)器人提供足夠的深度信息來(lái)確定與其他物體的距離。而且增加激光雷達(dá)掃描密度的成本過(guò)高。因此，從稀疏激光雷達(dá)掃描深度圖中估算深度具有重要意義。現(xiàn)有技術(shù)通常采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)生成預(yù)測(cè)深度圖。

深度補(bǔ)全模型［4］的性能主要取決于激光雷達(dá)的密度和精度。隨著掃描密度的增加，雷達(dá)的成本將大大增加。目前，一臺(tái)16 線Velodyne激光雷達(dá)的成本約為6000 美元，一臺(tái)64 線Velodyne 激光雷達(dá)的成本約為8000 美元。對(duì)于自動(dòng)駕駛來(lái)說(shuō)，激光雷達(dá)對(duì)于探測(cè)車輛周圍物體的距離至關(guān)重要，探測(cè)的準(zhǔn)確性將影響車輛的行駛安全。如果車輛配備更精確、掃描更密集的激光雷達(dá)，無(wú)疑會(huì)大大增加成本。

同時(shí)，用于深度補(bǔ)全訓(xùn)練的準(zhǔn)確值很難得到。KITTI數(shù)據(jù)集中的準(zhǔn)確值是用64線Velodyne激光雷達(dá)對(duì)單個(gè)場(chǎng)景進(jìn)行多次掃描的結(jié)果結(jié)合起來(lái)得到的，測(cè)量過(guò)程十分耗時(shí)。然而，使用在現(xiàn)有數(shù)據(jù)集上訓(xùn)練過(guò)的模型用于在稀疏激光雷達(dá)上進(jìn)行深度補(bǔ)全，結(jié)果的精度往往不理想。

因此，研究如何利用已有的數(shù)據(jù)集來(lái)訓(xùn)練稀疏激光雷達(dá)掃描輸入，并得到精確結(jié)果的深度補(bǔ)全模型具有現(xiàn)實(shí)意義。本文提出了一種無(wú)監(jiān)督域自適應(yīng)方法來(lái)解決這種問(wèn)題。該方法可以提高密集激光雷達(dá)掃描訓(xùn)練的模型在稀疏激光雷達(dá)數(shù)據(jù)上的性能。

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 深度補(bǔ)全網(wǎng)絡(luò)

在本節(jié)中，首先構(gòu)造一個(gè)疏密深度補(bǔ)全網(wǎng)絡(luò)。參考疏密結(jié)構(gòu)（sparse-to-dense structure），在網(wǎng)絡(luò)中實(shí)現(xiàn)編碼層和解碼層。疏密網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 基于深度補(bǔ)全的疏密深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

為了便于后續(xù)實(shí)驗(yàn)，首先構(gòu)建一個(gè)簡(jiǎn)化的疏密網(wǎng)絡(luò)。激光雷達(dá)掃描輸出的是灰度圖像，灰度值表示深度值。KITTI數(shù)據(jù)集中深度圖的大小不統(tǒng)一，因此輸入首先被裁剪成統(tǒng)一的大小，然后被送入網(wǎng)絡(luò)中。裁剪后的訓(xùn)練數(shù)據(jù)將被轉(zhuǎn)換成一維特征圖，然后送到編碼層。編碼層用于從激光雷達(dá)掃描輸入中提取特征。編碼層使用預(yù)訓(xùn)練ResNet 的卷積層［5］。在保證反向傳播過(guò)程的同時(shí)，ResNet 在提取深度特征方面表現(xiàn)良好。實(shí)驗(yàn)中使用的是預(yù)訓(xùn)練過(guò)的ResNet-18 網(wǎng)絡(luò)的卷積層。

編碼層由4 個(gè)卷積層（Conv）組成，每個(gè)卷積層包含最大池化層（MaxPool）和歸一化層（Batch Normalization）。編碼層生成的深度特征圖將被送到解碼層。解碼層包含4 個(gè)上采樣層，上采樣層由上投影（Up-Projection）模塊實(shí)現(xiàn)。上投影模塊的結(jié)構(gòu)如圖2所示。

圖2 上投影模塊結(jié)構(gòu)圖

與傳統(tǒng)的上卷積相比，上投影模塊增加了一個(gè)短連接，類似于ResNet 中的res-block。通過(guò)這種結(jié)構(gòu)，可以更好地傳播特征［6］。實(shí)驗(yàn)表明，在深度補(bǔ)全任務(wù)中，該結(jié)構(gòu)比傳統(tǒng)的特征傳播方法具有更好的效果。

同時(shí)，為了實(shí)現(xiàn)無(wú)監(jiān)督域自適應(yīng)算法，在上采樣層之后增加一個(gè)掩碼卷積層。在輸入網(wǎng)絡(luò)之前不對(duì)輸出進(jìn)行采樣處理，以生成與輸入大小相同的預(yù)測(cè)深度圖。

1.2 深度補(bǔ)全的無(wú)監(jiān)督域自適應(yīng)算法

無(wú)監(jiān)督域自適應(yīng)（unsupervised domain adaptation，UDA）是一種能夠使在帶標(biāo)簽的源域數(shù)據(jù)上訓(xùn)練的模型在不帶標(biāo)簽的目標(biāo)域數(shù)據(jù)上表現(xiàn)良好的方法。源域和目標(biāo)域兩個(gè)數(shù)據(jù)集的數(shù)據(jù)存在偏差。每個(gè)領(lǐng)域都有一些本領(lǐng)域獨(dú)有的特征，這可能對(duì)其他領(lǐng)域上有用數(shù)據(jù)產(chǎn)生干擾。UDA 的目標(biāo)是在不同領(lǐng)域的數(shù)據(jù)之間找到“共同特征”進(jìn)行學(xué)習(xí)。

為了應(yīng)用UDA 算法，本文在疏密網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)造一個(gè)網(wǎng)絡(luò)，使模型能夠適應(yīng)稀疏激光雷達(dá)的掃描輸入。該網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 基于無(wú)監(jiān)督域自適應(yīng)的適應(yīng)疏密輸入的網(wǎng)絡(luò)結(jié)構(gòu)圖

其中，共享網(wǎng)絡(luò)是疏密網(wǎng)絡(luò)結(jié)構(gòu)，由稀疏的和密集的激光雷達(dá)掃描輸入共享。共享網(wǎng)絡(luò)輸出的特征圖用來(lái)計(jì)算兩個(gè)域之間的差異，表現(xiàn)為自適應(yīng)損失。為了在減少差異的同時(shí)提高預(yù)測(cè)精度，對(duì)密集輸入經(jīng)過(guò)共享網(wǎng)絡(luò)的輸出進(jìn)行卷積和上采樣操作。最終的輸出與對(duì)應(yīng)的真實(shí)值進(jìn)行比較，并計(jì)算缺失的均方差損失（mean squared error loss）。

首先，考慮將最大均值差異（maximum mean discrepancy，MMD）距離應(yīng)用于無(wú)監(jiān)督域自適應(yīng)的深度補(bǔ)全算法［7］。本文構(gòu)建了一個(gè)具有5核的多核最大均值差異（multiple kernel maximum mean discrepancy，MK-MMD）來(lái)表示自適應(yīng)損失，MK-MMD 由多個(gè)單一的MMD 組成，MK-MMD計(jì)算如式（1）所示。本文使用MK-MMD對(duì)每個(gè)維度的特征進(jìn)行自適應(yīng)，并將所有維度的結(jié)果相加作為自適應(yīng)損失。

用于深度補(bǔ)全的特征圖比較大，在計(jì)算MMD 距離時(shí)對(duì)GPU 內(nèi)存的要求比較高。與MMD 相比，計(jì)算CORAL 距離的特征二階統(tǒng)計(jì)量需要的資源更少。因此，本文選用特征的二階統(tǒng)計(jì)量來(lái)最小化兩個(gè)域之間的距離。源特征圖的二階統(tǒng)計(jì)量與目標(biāo)特征圖的二階統(tǒng)計(jì)量之間的距離如式（2）所示。

其中，d為特征矩陣的列數(shù)，為平方矩陣的Frobenius 范數(shù)，矩陣的Frobenius 范數(shù)被定義為矩陣中各元素絕對(duì)值的平方和，C為基于協(xié)方差矩陣的源特征和目標(biāo)特征的非線性變換，表達(dá)式如式（3）所示。

其中：D為源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的特征矩陣。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

本文使用KITTI基準(zhǔn)數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練和驗(yàn)證。原始數(shù)據(jù)集從KITTI網(wǎng)站下載。對(duì)原始數(shù)據(jù)按4∶1 比例采樣得到稀疏激光雷達(dá)掃描深度圖，原始數(shù)據(jù)集和稀疏數(shù)據(jù)集以相同的結(jié)構(gòu)構(gòu)造，而稀疏數(shù)據(jù)集中的真實(shí)值僅用于驗(yàn)證集。數(shù)據(jù)集分為三部分，包括訓(xùn)練集、驗(yàn)證集和測(cè)試集。網(wǎng)絡(luò)通過(guò)訓(xùn)練集進(jìn)行訓(xùn)練；驗(yàn)證集在每個(gè)訓(xùn)練集之后使用以避免過(guò)擬合；測(cè)試集對(duì)訓(xùn)練后的模型性能進(jìn)行測(cè)試。該訓(xùn)練集包含超過(guò)80000 組激光雷達(dá)掃描數(shù)據(jù)。驗(yàn)證集包含超過(guò)4000組數(shù)據(jù)，測(cè)試集包含1000組數(shù)據(jù)。

2.2 評(píng)價(jià)指標(biāo)

本文將采用均方誤差（mean squared error，MSE）、平均絕對(duì)誤差（mean absolute error，MAE）、逆深度均方根誤差（root mean squared error of the inverse depth，iRMSE）和逆深度平均絕對(duì)誤差（mean absolute error of the inverse depth，iMAE）作為評(píng)價(jià)指標(biāo)，計(jì)算分別如式（4）～（7）所示。

2.3 實(shí)驗(yàn)結(jié)果

為了評(píng)估在訓(xùn)練過(guò)程中使用UDA 算法是否可以提高模型性能，我們比較了在原始密集數(shù)據(jù)上訓(xùn)練的模型和基于UDA 算法的訓(xùn)練模型的性能。模型的預(yù)測(cè)結(jié)果對(duì)比見(jiàn)表1。原始模型和基于MMD 和基于CORAL 方法的網(wǎng)絡(luò)預(yù)測(cè)深度圖如圖4和圖5所示。

表1 基于UDA方法的網(wǎng)絡(luò)對(duì)于稀疏激光雷達(dá)掃描圖的預(yù)測(cè)性能

圖4 原始模型與基于MMD的模型預(yù)測(cè)結(jié)果對(duì)比

圖5 原始模型與基于CORAL的模型預(yù)測(cè)結(jié)果對(duì)比

可以看出，基于MMD 方法訓(xùn)練的網(wǎng)絡(luò)的MSE 略好于基于CORAL 方法訓(xùn)練的網(wǎng)絡(luò)，而其他三個(gè)指標(biāo)相對(duì)較差；兩種方法的預(yù)測(cè)結(jié)果的RMSE相對(duì)原始模型有所減小，這說(shuō)明預(yù)測(cè)結(jié)果更加準(zhǔn)確；對(duì)于基于MMD 的方法，其他三項(xiàng)指標(biāo)相較原始模型表現(xiàn)更差。此外，從彩色的預(yù)測(cè)深度圖中可以發(fā)現(xiàn)，基于CORAL 方法訓(xùn)練的網(wǎng)絡(luò)預(yù)測(cè)出的深度圖上的目標(biāo)輪廓更加清晰，物體的輪廓更平滑，更容易區(qū)分；而對(duì)于未經(jīng)UDA 訓(xùn)練的模型，雖然可以在預(yù)測(cè)結(jié)果中區(qū)分出目標(biāo)位置，但目標(biāo)輪廓存在一定程度的失真。

UDA 損失應(yīng)用于疏密網(wǎng)絡(luò)的深層結(jié)構(gòu)中，能夠使域差異達(dá)到最小化。因此，當(dāng)輸入稀疏激光雷達(dá)掃描圖時(shí)，自適應(yīng)后的網(wǎng)絡(luò)可以生成與密集輸入相對(duì)應(yīng)的輸出接近的預(yù)測(cè)結(jié)果。

3 結(jié)語(yǔ)

針對(duì)密集掃描激光雷達(dá)設(shè)備成本高、現(xiàn)有數(shù)據(jù)集訓(xùn)練的補(bǔ)全網(wǎng)絡(luò)在稀疏激光雷達(dá)掃描輸入表現(xiàn)不佳的問(wèn)題，本文提出了一種網(wǎng)絡(luò)適應(yīng)稀疏輸入的方法。該方法基于無(wú)監(jiān)督域自適應(yīng)算法，只需要稀疏的激光雷達(dá)掃描數(shù)據(jù)，以及現(xiàn)有數(shù)據(jù)集中提供的原始密集輸入數(shù)據(jù)，從而減少了獲取稀疏掃描數(shù)據(jù)集的成本。

無(wú)監(jiān)督域自適應(yīng)算法是使用特定的算法來(lái)量化來(lái)自不同領(lǐng)域的兩個(gè)特征之間的差異。差異可以表示為不同域之間的距離，并通過(guò)損失函數(shù)計(jì)算，期望在訓(xùn)練過(guò)程中將其最小化。深度補(bǔ)全算法能夠從激光雷達(dá)掃描圖中得到預(yù)測(cè)的深度圖。實(shí)驗(yàn)對(duì)比結(jié)果表明，該方法能在一定程度上提高模型預(yù)測(cè)的精度，基于無(wú)監(jiān)督域自適應(yīng)算法的方法預(yù)測(cè)的深度圖可以顯示更清晰、更平滑的目標(biāo)輪廓。