高速公路典型要素語(yǔ)義分割深度學(xué)習(xí)模型適用性分析

賈 洋 李升甫 周城宇 南 軻 許瀕支

(1. 四川省公路規(guī)劃勘察設(shè)計(jì)研究院有限公司, 四川 成都 610041;2. 西南交通大學(xué) 地球科學(xué)與環(huán)境工程學(xué)院, 四川 成都 611756)

0 引言

激光點(diǎn)云語(yǔ)義分割是一種根據(jù)點(diǎn)云數(shù)據(jù)的視覺(jué)內(nèi)容將其中的每一個(gè)點(diǎn)歸類為其所屬對(duì)象的語(yǔ)義類別的技術(shù)。隨著越來(lái)越多應(yīng)用需求的出現(xiàn),點(diǎn)云語(yǔ)義分割已成為三維場(chǎng)景理解和分析的關(guān)鍵步驟,也是場(chǎng)景單體信息化的重要基礎(chǔ)。在智慧交通行業(yè)應(yīng)用中,高速公路路面實(shí)體要素信息的綜合利用是公路工程建管養(yǎng)多階段數(shù)字化綜合業(yè)務(wù)應(yīng)用的重要體現(xiàn)。多平臺(tái)激光掃描設(shè)備可以快速完整地獲取高速公路路域范圍的三維激光點(diǎn)云數(shù)據(jù),如何高效利用點(diǎn)云數(shù)據(jù)快速、精準(zhǔn)識(shí)別路面及其他典型公路要素成為研究熱點(diǎn)[1-7]。

現(xiàn)有的點(diǎn)云語(yǔ)義分割方法大多是采集點(diǎn)云的強(qiáng)度信息、輻射信息和回波信息,以及幾何屬性分布,通過(guò)先驗(yàn)經(jīng)驗(yàn)設(shè)置各項(xiàng)閾值,建立分類器,構(gòu)建判別模型,采用支持向量機(jī)、隨機(jī)森林、馬爾可夫隨機(jī)場(chǎng)和條件隨機(jī)場(chǎng)等方法進(jìn)行點(diǎn)云分類。此類傳統(tǒng)方法需要經(jīng)驗(yàn)知識(shí),固定的閾值不適用于多個(gè)場(chǎng)景,且原始點(diǎn)云雜亂無(wú)序,噪聲會(huì)對(duì)結(jié)果有隨機(jī)性的干擾[8]。深度學(xué)習(xí)語(yǔ)義分割起源于二維圖形,隨著深度學(xué)習(xí)的發(fā)展,更多學(xué)者嘗試用深度學(xué)習(xí)方法對(duì)點(diǎn)云語(yǔ)義分割。當(dāng)前基于深度學(xué)習(xí)的點(diǎn)云分割方法主要分為基于多視圖、基于體素和基于點(diǎn)云的方法[9-10],其中,基于多視圖的語(yǔ)義分割方法將點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為若干個(gè)二維圖像的過(guò)程通常較為復(fù)雜,存在著關(guān)鍵的三維空間信息丟失、語(yǔ)義分割結(jié)果易受所選投影角度影響的問(wèn)題[11]；基于體素的語(yǔ)義分割方法較好地解決了點(diǎn)云非結(jié)構(gòu)化的問(wèn)題,但由于該類算法計(jì)算量較大,且存在信息丟失的問(wèn)題,導(dǎo)致其針對(duì)大場(chǎng)景點(diǎn)云語(yǔ)義識(shí)別的實(shí)用性較,仍有巨大的發(fā)展空間[12]；基于多視圖和體素的方法都存在著一定的局限性,為了更好地對(duì)點(diǎn)云數(shù)據(jù)的特性加以利用,很多研究者開(kāi)始對(duì)基于點(diǎn)云的語(yǔ)義分割方法進(jìn)行研究,這類方法直接對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行處理,逐點(diǎn)輸出標(biāo)簽,這類方法可以處理任意的非結(jié)構(gòu)化的點(diǎn)云,且識(shí)別精度及計(jì)算效率綜合表現(xiàn)較好。目前,基于點(diǎn)云的方法以其較好的分割效果吸引著越來(lái)越多的學(xué)者對(duì)其進(jìn)行研究,以深度學(xué)習(xí)點(diǎn)云語(yǔ)義分割算法PointNet[13]、PointNet++[14]及RandLA-Net[15]等網(wǎng)絡(luò)模型為代表。文章將對(duì)具有代表性的激光點(diǎn)云深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型在計(jì)算效率、識(shí)別精度等方面進(jìn)行對(duì)比分析,優(yōu)選一種適用于高速公路典型要素激光點(diǎn)云語(yǔ)義分割的模型方法。

1 研究方法

本文主要針對(duì)高速公路路面、護(hù)欄、綠化帶植被、車輛、車道標(biāo)線、桿狀交安設(shè)施及面狀交安設(shè)施等典型要素語(yǔ)義識(shí)別問(wèn)題,分別使用PointNet、PointNet++及RandLA-Net三個(gè)激光點(diǎn)云深度學(xué)習(xí)模型進(jìn)行1 km路段的信息識(shí)別性能測(cè)試,通過(guò)優(yōu)選后的模型,進(jìn)行差異性路段更長(zhǎng)距離公路要素識(shí)別的魯棒性實(shí)驗(yàn)。具體過(guò)程為:①構(gòu)建樣本集；②1 km路段模型比選測(cè)試；③長(zhǎng)距離路線魯棒性實(shí)驗(yàn),如圖1所示。

圖1 技術(shù)流程

2 構(gòu)建樣本集

高速公路場(chǎng)景激光點(diǎn)云數(shù)據(jù)包含三維空間坐標(biāo)(XYZ)信息及相應(yīng)的附加信息如強(qiáng)度、全球?qū)Ш叫l(wèi)星系統(tǒng)(global navigation satellite system,GNSS)授時(shí)、回波數(shù)、影像光譜(red green blue,RGB)信息等。使用激光數(shù)據(jù)處理軟件TerraSolid對(duì)整段高速公路點(diǎn)云數(shù)據(jù)進(jìn)行分段,然后對(duì)每段數(shù)據(jù)單獨(dú)進(jìn)行濾波去噪。文章選擇使用半徑濾波器進(jìn)行濾波操作,具體操作如下:對(duì)于任意一個(gè)點(diǎn),設(shè)定半徑r為0.05 m,若在該點(diǎn)半徑r內(nèi)的鄰近點(diǎn)數(shù)小于10,則認(rèn)為該點(diǎn)為噪聲點(diǎn)。由于選定的高速公路基礎(chǔ)要素集中于路面范圍以內(nèi),為便于進(jìn)行深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證,濾波后還需利用行車軌跡去除路面以外的點(diǎn)云。圖2為高速公路點(diǎn)云數(shù)據(jù)預(yù)處理前后對(duì)比。

(a)預(yù)處理前點(diǎn)云數(shù)據(jù) (b)預(yù)處理后點(diǎn)云數(shù)據(jù)

點(diǎn)云樣本數(shù)據(jù)集的構(gòu)建是以人工標(biāo)注為主。使用TerraSolid的框選工具和剖面選擇工具對(duì)預(yù)處理后的高速公路點(diǎn)云數(shù)據(jù)手動(dòng)標(biāo)注每個(gè)點(diǎn)的類別,共分為7類,分別是路面、護(hù)欄、植被、車輛、桿狀物、車道線、面狀物。

3 模型比選測(cè)試

本節(jié)利用標(biāo)注好的高速公路場(chǎng)景車載激光點(diǎn)云數(shù)據(jù)集訓(xùn)練PointNet、PointNet++及RandLA-Net,并在測(cè)試數(shù)據(jù)集上對(duì)上述深度學(xué)習(xí)網(wǎng)絡(luò)的語(yǔ)義分割效果進(jìn)行了對(duì)比測(cè)試,經(jīng)調(diào)參實(shí)驗(yàn)后最高精度的網(wǎng)絡(luò)模型實(shí)驗(yàn)設(shè)置如下。

3.1 PointNet網(wǎng)絡(luò)模型的實(shí)驗(yàn)設(shè)置

PointNet使用每個(gè)點(diǎn)的XYZ及歸一化后的xyz和歸一化后的強(qiáng)度信息組成9維的特征作為網(wǎng)絡(luò)輸入。PointNet采用塊狀的點(diǎn)云輸入(本節(jié)實(shí)驗(yàn)中設(shè)定塊邊長(zhǎng)為3 m×3 m,若該塊內(nèi)總點(diǎn)數(shù)小于1 000則舍去,點(diǎn)數(shù)位于1 000～8 192,則隨機(jī)復(fù)制部分點(diǎn)至總點(diǎn)數(shù)到8 192,若大于8 192,則隨機(jī)選擇8 192個(gè)點(diǎn)),先將整個(gè)場(chǎng)景劃分為規(guī)則平面體,再通過(guò)固定長(zhǎng)寬的矩形框進(jìn)行搜索。而公路場(chǎng)景呈長(zhǎng)條形,會(huì)劃分為較多的塊狀,搜索效率極低,多段數(shù)據(jù)累計(jì)處理時(shí)間較長(zhǎng)。輸入點(diǎn)云數(shù)為8 192,訓(xùn)練輪數(shù)設(shè)置為50,指數(shù)衰減初始學(xué)習(xí)率為0.001,每批數(shù)據(jù)量(batchsize)為24,使用自適應(yīng)矩估計(jì)(adaptive moment estimation,Adam)優(yōu)化器。

3.2 PointNet++網(wǎng)絡(luò)模型的實(shí)驗(yàn)設(shè)置

PointNet++在PointNet上做出改進(jìn),采用最遠(yuǎn)點(diǎn)采樣方法逐級(jí)下采樣,增加鄰域信息的利用,有效地使用了上下文語(yǔ)義信息,再通過(guò)最鄰近算法(K-nearest neighbor,KNN)內(nèi)插將傳遞至原輸入點(diǎn)云上。PointNet++同樣需要塊狀點(diǎn)云輸入(與PointNet的數(shù)據(jù)預(yù)處理方式相同),為了公平比較,使用和PointNet同樣的輸入點(diǎn)云。輸入點(diǎn)云數(shù)為8192,訓(xùn)練輪數(shù)設(shè)置為50,指數(shù)衰減初始學(xué)習(xí)率為0.001,batchsize為24,使用Adam優(yōu)化器。

3.3 RandLA-Net網(wǎng)絡(luò)模型的實(shí)驗(yàn)設(shè)置

RandLA-Net使用隨機(jī)采樣替代最遠(yuǎn)點(diǎn)采樣,可一次性輸入65 536個(gè)點(diǎn),極大地提高了效率,配合局部空間編碼模塊和自注意力機(jī)制取得了良好的分割效果。數(shù)據(jù)預(yù)處理中,體素尺寸設(shè)置為0.06 m,輸入點(diǎn)云數(shù)為65 536,訓(xùn)練輪數(shù)為50,初始學(xué)習(xí)率為0.01,每輪減少5%,batchsize為5,使用Adam優(yōu)化器。

模型比選測(cè)試評(píng)價(jià)指標(biāo):本文采用交并比(intersection over union,IoU)評(píng)估神經(jīng)網(wǎng)絡(luò),如式(1)所示。

(1)

式中,IoU表示交并比,可以更好地評(píng)估語(yǔ)義分割結(jié)果。tp、fp和fn函數(shù)分別為語(yǔ)義標(biāo)注正確的目標(biāo)個(gè)數(shù)、錯(cuò)誤標(biāo)注的目標(biāo)個(gè)數(shù)和錯(cuò)誤識(shí)別的正樣本目標(biāo)個(gè)數(shù)。

測(cè)試數(shù)據(jù)集在PointNet、PointNet++、RandLA-Net上的語(yǔ)義分割實(shí)驗(yàn)結(jié)果如表1所示。

表1 模型測(cè)試結(jié)果

通過(guò)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析可以發(fā)現(xiàn),PointNet使用兩個(gè)張量網(wǎng)絡(luò)(tensor network,T-net)結(jié)構(gòu)使得網(wǎng)絡(luò)具備旋轉(zhuǎn)不變性,并結(jié)合了全局特征和單點(diǎn)特征,但是PointNet沒(méi)有考慮點(diǎn)云的鄰域信息,造成語(yǔ)義信息缺失,同時(shí)基于塊狀的輸入方式會(huì)造成數(shù)據(jù)準(zhǔn)備大量耗時(shí)的問(wèn)題,導(dǎo)致效率極低。PointNet++雖然通過(guò)半徑搜索的方式利用了每個(gè)點(diǎn)的鄰域點(diǎn)特征,但最遠(yuǎn)點(diǎn)采樣會(huì)隨著點(diǎn)云數(shù)量的增加而變得效率低下,并不適合用于高速公路大場(chǎng)景點(diǎn)云語(yǔ)義分割。RandLA-Net中采用的隨機(jī)采樣方法的時(shí)間復(fù)雜度不會(huì)隨著點(diǎn)云數(shù)量的增加而變化,是高速公路大場(chǎng)景點(diǎn)云語(yǔ)義分割的首選網(wǎng)絡(luò)。因此,優(yōu)選RandLA-Net進(jìn)入高速公路點(diǎn)云語(yǔ)義分割魯棒性實(shí)驗(yàn)。

4 研究方法

4.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

長(zhǎng)距離路線魯棒性實(shí)驗(yàn)路段為雅西高速中長(zhǎng)約6 km的一段高速公路,通過(guò)車載激光掃描設(shè)備獲取激光點(diǎn)云數(shù)據(jù),最終得到了1,1 102,3 233個(gè)點(diǎn)的原始點(diǎn)云,大小為3.51 GB,如圖3所示。將原始點(diǎn)云分為12塊通過(guò)Terrsoild工具進(jìn)行人工標(biāo)注(圖4),分為7類,分別是路面、護(hù)欄、植被、車輛、桿狀物、車道線、面狀物。

圖3 雅西高速激光點(diǎn)云掃描

圖4 分塊處理點(diǎn)云數(shù)據(jù)

文章采用深度學(xué)習(xí)框架TensorFlow 1.13.1實(shí)現(xiàn)具體RandLA-Net模型的訓(xùn)練和語(yǔ)義分割實(shí)驗(yàn)。實(shí)驗(yàn)軟硬件環(huán)境見(jiàn)表2、表3。

表2 實(shí)驗(yàn)硬件配置

表3 實(shí)驗(yàn)軟件配置

數(shù)據(jù)集共包含12段數(shù)據(jù)。數(shù)據(jù)包括訓(xùn)練集、驗(yàn)證集、測(cè)試集。其中訓(xùn)練集為第1、2、4、7、9段,驗(yàn)證集為第3、8、11段,測(cè)試集為第5、6、10、12。段訓(xùn)練批次為5,迭代100輪,初始學(xué)習(xí)率為0.01,每輪下降95%。網(wǎng)絡(luò)模型通過(guò)Adam優(yōu)化器對(duì)網(wǎng)絡(luò)的權(quán)重和偏置進(jìn)行更新。每輪訓(xùn)練完成后進(jìn)行驗(yàn)證,選取在驗(yàn)證集的平均交并比(mean intersection over union,MIoU)值最高的模型作為最終測(cè)試的網(wǎng)絡(luò)模型。

4.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果見(jiàn)表4。從表中可以看出,七類要素的整體精度達(dá)到90.53%,其中,路面的分割結(jié)果精度最高,車道線的分割結(jié)果精度最低,為79.14%,這是由于車道線長(zhǎng)期受車輛碾壓,存在污損、缺失等現(xiàn)象。總體來(lái)看,RandLA-Net模型可以較好地實(shí)現(xiàn)高速公路場(chǎng)景的激光點(diǎn)云語(yǔ)義分割。

表4 實(shí)驗(yàn)結(jié)果

5 結(jié)束語(yǔ)

針對(duì)高速公路路面、護(hù)欄、綠化帶植被、車輛、車道標(biāo)線、桿狀交安設(shè)施及面狀交安設(shè)施等典型要素語(yǔ)義識(shí)別問(wèn)題,文章對(duì)比評(píng)估了PointNet、PointNet++及RandLA-Net三大主流深度學(xué)習(xí)點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)模型在高速公路場(chǎng)景下的語(yǔ)義分割性能和效果,最后選擇性能最優(yōu)的RandLA-Net網(wǎng)絡(luò)模型進(jìn)行長(zhǎng)距離(>5 km)高速公路基礎(chǔ)要素的語(yǔ)義分割實(shí)驗(yàn),結(jié)果表明,RandLA-Net網(wǎng)絡(luò)模型可以較好地實(shí)現(xiàn)高速公路場(chǎng)景的激光點(diǎn)云語(yǔ)義分割,總體精度達(dá)90.53%,能夠滿足高速公路場(chǎng)景數(shù)字化應(yīng)用的信息識(shí)別精度要求。

雖然本文通過(guò)實(shí)驗(yàn)研究得到RandLA-Net在同類點(diǎn)云語(yǔ)義分割算法中更適用于高速公路線性帶狀場(chǎng)景的目標(biāo)識(shí)別計(jì)算,但當(dāng)前主流的幾種基于深度學(xué)習(xí)的點(diǎn)云語(yǔ)義分割算法均需要大量人工標(biāo)記樣本數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí),這無(wú)疑將增加大量前期工作。提高樣本標(biāo)記效率、提出弱樣本依賴的語(yǔ)義分割方法等是未來(lái)高速公路線性帶狀場(chǎng)景目標(biāo)要素自動(dòng)識(shí)別的研究方向。