基于PointCNN的車載行道樹點云分割方法

孫國強 龐 巖

(1.上海市測繪院, 上海 200063;2. 自然資源部超大城市自然資源時空大數據分析應用重點實驗室, 上海 200063;3. 五圖街道辦事處, 山東 濰坊 262405)

0 引言

行道樹數量大、空間分布復雜,利用傳統人工方法獲取行道樹信息工作強度大、效率低,車載移動測量系統能夠快速獲取道路點云信息,利用點云獲取行道樹信息,能夠有效改善工作效率以及強度[1]。判斷地物類別中使用神經網絡,使研究更智能化,近年來針對點云數據特征的研究也有一定進展。Maturana等[2]的思想為將點云投影轉為二維,再使用傳統卷積,但是受到點云密度不均勻的影響,處理中容易造成部分信息丟失。Yi等[3]對三維點云的分類思想是將三維點云投影到二維圖像中,再對于投影后的數據使用二維卷積網絡。點云網絡(PointNet,PN)[4]的提出是對于三維點云處理的一個新的高度,因為此網絡可以直接針對原始點云進行分類操作,其利用最大池化實現應對點云的無序特點,完成無序點云的有序處理。后來針對PointNet欠缺對局部特征的提取的問題繼續提出深度點云網絡(PointNet++,PN++)[5],該算法設置層次卷積框架,采集的點云通過不同層次,通過對點云進行局部劃分、局部特征提取做了改進,令框架的特征獲取效率大幅提高。Yang等[6]對于三維點云數據中不能直接使用卷積而創新性地提出X變換解決點云的無序性問題,效果提升很多,這種解決辦法的框架命名為點云卷積網絡(Point-CNN)。

分類方法的重點就是對關于目標重要特征的區域劃分方式和特征獲得方式[7],但移動測量獲取的點云數據分布不均勻,整體稠密或稀疏不一。卷積方法雖然在二維數據的分類中常用,但應用于三維的點云數據分類中會導致采樣不均[8],也就導致不能實現地物點云特征的高效提取,同時也會由于所采集的海量點云的密度差距,對于稀疏部分采用卷積方法易產生資源的浪費。本文嘗試以PointCNN為基礎對車載移動測量系統采集的道路場景行道樹點云數據進行分割實驗,為行道樹點云幾何信息的提取基礎數據。

1 方法與原理

PointCNN針對三維點云數據無法正常卷積的異常問題,提出采用X-變換[6]來解決卷積問題。假設有三個區域,其中區域1與區域2的區別是兩者有著有不同的形狀但順序相同,而區域2與區域3的不同點是點集的順序不同但形狀相同。式(1)表示對以上區域的卷積處理過程：

(1)

針對這一情況PointCNN提出X-Conv操作,得以適用于點云數據：卷積中先從前一層的數據中取出準備點(P1,P2,…,Pn),將其導入多層感知器(multilayer perceptron,MLP)[9]來學習一個N×N規格的變換矩陣,如此變換如式(2)所示。

(2)

再利用此矩陣對上一層的特征實現變換,并對此時的特征展開卷積。式(3)為卷積之后的結果。

(3)

式中不同的輸入順序,對應不同X變換矩陣,X1、X2、X3是從不同形狀中學習得到的變換矩陣。通過變換矩陣的處理后卷積結果可以讓f1≠f2,而且在大多數情況下實現f2≡f3。繼而不會出現異常狀況,獲得所針對目標正確的信息。如此便實現了數據的規則化。

為了學習得到足夠的特征,PointCNN通過多級卷積可以訓練獲取所針對目標更為全面的信息,再通過連接全連接層分析得到擬合損失[10]。圖1是本文語義分割行道樹點云方法中所使用訓練框架的簡略圖。

圖1 PointCNN采用的架構

將車載移動測量系統實際作業后得到所量測環境和目標的三維點云,然后輸入所獲得的數據經過PointCNN特有的“規則”操作后,得到可以用于正常訓練的樣本,再將大量的訓練樣本輸入PointCNN框架中進行訓練,隨著每一層的映射,點的數量會越來越少,而每個點的特征會越來越多[11],模型可以學習得到足夠的特征,進而訓練出后續提取分割行道樹所用的模型。通過這些點的三維坐標位置、灰度、回波強度等特征[12]信息來顯示物體的結構特征,按需求可以增加相應點的強度等作為其他維屬性。

2 行道樹分割實驗

2.1 方法路線

欲實現基于PointCNN的行道樹語義分割,首先要對所獲取數據進行預處理[13],包括對于點云數據的零均值歸一化處理和重采樣。

完成這些處理工作后進行樣本制作、深度學習模型訓練、判別行道樹分類、獲取分類成果。該環節的流程如圖2所示。

方案一 （PPS含基布濾料）試樣針刺工藝路線如圖1；方案二、三 （PPS無基布濾料）試樣針刺工藝路線如圖2。

圖2 行道樹點云分割方法路線

首先將部分道路環境中行道樹目標的點云數據集進行人為標注,為的是分辨標記出行道樹點云與非行道樹點云并作為樣本;然后將其轉換為可供PointCNN輸入后讀取的源數據格式。此時要想PointCNN的運行適合本文實驗的研究平臺,需要改善調整PointCNN算法運行中的某些訓練參數,使其適用于道路環境下三維點云數據集的訓練和分類;然后使用調整后的PointCNN算法對訓練集與測試集分別進行框架訓練與提取實驗。利用該行道樹目標模型對所有道路環境下點云數據開展識別和分割操作,即將場景點云劃分為行道樹點云與非行道樹點云兩類。

2.2 實驗設備與數據來源

本文實驗設備是利用車載移動測量系統對實驗區進行數據獲取作業。實驗地點位于青島市黃島區,實驗區域包含大量的行道樹和路燈、交通信號燈、交通指示牌、景觀林等其他地物數據。

本實驗從研究區域中選取青云山路與青龍河路交叉路段當作訓練集,另外渭河路部分路段作為測試集A和前灣港路部分路段作為測試集B。圖3中展示了實驗區域中訓練集、測試集的總體點云數據。

(a)青云山路和青龍河路交叉路段

2.3 行道樹分割實驗

本次實驗使用點云后期作業軟件VSursPROCESS對每個目標數據集的點云進行人工標記,形成本次測試所需樣本,用于分類模型的訓練以及語義分割方法效果的測試。圖4展示了模型訓練時所用的部分行道樹樣本。圖中可以看出A類行道樹樣本均為獨立且完整的樹木,B類為兩類其他樣本：B1類是樹冠或者樹干不完整的行道樹,B2為相連行道樹。

利用VSursPROCESS軟件對某棵屬于完整行道樹點云進行標記,將道路環境下所采集的點云數據劃成為行道樹與非行道樹兩類,三組實驗數據的屬性值進行按類別標把本次實驗對象行道樹類別的點標為1,非行道樹類別的標為0。

具體參數包括類別數量設置為2,批處理參數根據訓練集大小以及計算機性能設置為2,根據實驗場景點云特征臨近點數量取1 280、采樣距離取0.3 m、PointCNN模型的訓練次數設置為8 000次等,一般來說算法模型的訓練量越大[14],后期目標種類辨別的精準度也會越高,但與此同時對應的擬合時間也會同比例增多,部分參數的選取在下一節有所討論和分析。

3 行道樹分割結果與分析

3.1 評價方法

對于本次分割算法實驗,精度評定采用點云分類精度指標IOU[15]評價。

IOU為交并比,用于在深度學習算法中判斷預測值與真實值的相似程度,IOU值越大,代表相似程度越高。如圖5所示,假設A為進行檢測后輸出的預測框,B為對數據集進行標注時的標注框,IOU可以用來衡量他們之間的重疊程度,此處的IOU就是圖中陰影部分面積比整個AB組合的面積[9]。

圖5 交并比示意圖

本此精度評價指標的IOU值的計算如式(5)所示。

(5)

式中,a代表預測值與真實值均為1的點數;m代表真實值為1的點數;n為預測值是1而真實值為0的點數。

3.2 精度分析

本次實驗數據全部設置為復雜地物道路場景,場景中有3組實驗區域,其中1組訓練集,2組測試集。經過對本次實驗準備的訓練集數據的學習訓練構建而成的訓練結果并對測試集進行分割實驗。圖6分別為測試集1、測試集2的分割效果。

(a)渭河路行道樹點云

從分割效果圖中可以發現,本文方法基本能將行道樹點云從各類地物點云中分離出來,但是由于本次實驗未做景觀林樣本,并且景觀林中有少許獨立樹木特征與行道樹相近,所以部分行道樹附近的景觀樹被誤分為行道樹,其中渭河路路段比前灣港路路段有更多的景觀樹被誤分為行道樹。而且本次實驗未做路燈、廣告牌等其他桿狀負樣本,而對于路燈穿插在行道樹樹冠當中的情況分割難度較大,實驗結果表明前灣港路路段比渭河路路段有更多的穿插在行道樹樹冠當中的桿狀物被誤分為行道樹。再有由于掃描過程中存在遮擋,車載移動測量在采集信息中對于少數游離行道樹只獲得了極少部分樹干或者樹冠的點云,這樣存在少量的殘缺樹木深度學習未能識別,導致漏分情況。除少部分錯誤分割外,該方法可以實現分辯行道樹與非行道樹的工作且效果良好。實驗中在某些狀況下PointCNN會出現行道樹的誤分和丟失,不過對于整體精度影響不大。

分割準確度[16]的檢測方法是將PointCNN算法訓練8 000次得到的訓練模型對測試集的訓練結果與測試集的人為判讀結果進行比較分析,展示對于渭河路路段和前灣港路路段兩個試驗地域的實驗中正確分割情況所占的百分比,具體分割準確度的檢測方法的結果如表1所示。

表1 PointCNN算法精度評定

根據PointCNN算法精度評定,本次兩組實驗的結果交并比分別為86.89%和84.33%,相對于目前PointCNN的應用研究來說,本次實驗的實現效果良好。

3.3 相關參數的研究分析

通過對PointCNN深度學習算法相關參數的分析與討論,使其可以更有針對性地應對道路場景下行道樹點云處理問題,進而使訓練及分割的速度、效果更好。相關討論在兩段測試集上進行。

(1)訓練次數。訓練次數過多或者過少都會影響算法的收斂速度,不利于在實驗環境下實現較好的效果。對此,想要研究多種情況下的訓練次數對行道樹提取準確度的影響。

在實驗中,以300、500、1 000、3 000、5 000、6 000、8 000、10 000為實驗的訓練次數分析IOU結果。實驗結果如圖7,可以表明IOU最大值隨著訓練次數的增多不斷增大,8 000次基本達到最大化,此時兩個數據IOU最大值分別為86.89%、84.33%。

圖7 訓練次數對實驗影響

(2)臨近點數量。臨近點就是選取點云中每個點附近n個點作為第一層輸入層的輸入值。臨近點數量設置過多同樣不利于算法的收斂速度,容易過擬合影響訓練效果,進而影響訓練速度和效果。以256、512、768、1 024、1 280、1 536、1 782、2 048為實驗的臨近點數量,實驗結果如圖8所示，可以表明IOU最大值隨著選取臨近點數量的增加不斷增加,訓練時間也逐漸增多,通過結果圖可以表明臨近點選取為1 280后效果提升幅度提升很小,但訓練速度變長,為了保證訓練速度以及防止過擬合情況所以選取1 280更為合適,此時兩個數據IOU分別為86.38%、84.82%。

圖8 臨近點數量的影響

4 結束語

本文基于PointCNN深度學習算法對道路環境下行道樹點云的語義分割方法,能夠在道路場景中完成行道樹與其他地物的分類,實現行道樹點云的語義分割。為了評估該提取方法的有效性,本文選取了總共三個道路路段為實驗區域進行實驗及結果分析。實驗結果表明,本文提出的方法在分割行道樹與其他地物的實驗中具有較高的分割精度。但是本文的訓練樣本較少,只對區域內單一的行道樹樹種分割效果較好,如果區域內為樹群以及多種樹種時,將會大大影響分割效果,下一步將會豐富樣本庫,提高算法的適用性。