適用于城市場景大規模點云語義標識的深度學習網絡

楊必勝，韓 旭，董 震

武漢大學測繪遙感信息工程國家重點實驗室，武漢 430079

智慧城市建設、城市精細化管理、自然資源立體監測等國家重大戰略對城市立體空間內人事物發生發展的全過程精細刻畫、仿真建模、模擬預測等需求強烈，尤其對全域、全要素、實時、高質量的三維地理信息需求尤其迫切。長期以來，以地圖和影像為代表的二維空間數據表達已經遠遠不能滿足多種應用需求[1]，迫切需要從以4D測繪產品(數字正射影像DOM、數字高程模型DEM、數字線劃地圖DLG、數字柵格地圖DRG)為基礎的信息化測繪走向智能化測繪，從而滿足智慧社會、智慧城市等對高質量、精細化三維地理信息的緊迫需求。近年來，智能小衛星、低空無人機、地面移動三維掃描測量等對地對觀測技術的創新發展快速提升了全空間、全時域的感知能力[2]，尤其是以點云為代表的三維數據獲取能力，有力促進了三維地理信息快速提取的進步[3]。不同于自然地表空間要素，城市立體空間要素具有高度的復雜性、動態性、交錯性和多態性，對三維精準提取城市立體空間地理信息要素提出了巨大挑戰。點云作為矢量地圖和影像數據后的一類獨特的時空數據，已成為物理空間實體對象三維數字化結果的重要表達方式[4]。如何利用人工智能手段，高度提升點云的解譯能力，實現城市地物目標的語義標識與三維精準提取成為亟待攻克的難題。

盡管目前一些研究者提出了諸多基于模型擬合或特征聚類的方法[5-6]，但是這些方法僅限于較為簡單的實體目標，且對于具有弱泛化性的目標結構需要較多的先驗知識。深度學習在處理具有規則結構的二維圖像領域(如目標識別、分割等)取得了長足的進步。近年來，點云深度學習日益受到關注，且發布了一定規模的點云數據集，如ShapeNet[7]、ModelNet[8]、ScanNet[9]、Semantic3D[10]、

KITTI[11]、WHU-TLS[12]、WHU-MLS[13]等，使得深度學習模型從三維點云中學習有效特征成為可能。然而，傳統的卷積神經網絡(CNN)難以直接應用于空間分布不規則的點云[14]，并且大多數點云語義分割的方法都難以處理大規模的點云[15]，尤其是城市場景大規模點云的語義標識。部分學者嘗試將點云投影到不同視角的圖像中，然后利用CNN從圖像中提取特征[16-18]，但是在投影過程中，有限的投影視角不可避免地丟失有用的細節，因此不利于目標的準確提取。也有學者將點云體素化為3D網格，通過3D CNN提取目標特征[19-20]。然而，此類方法計算成本高且難以滿足大規模點云語義分割的需求。顯然，原始點云可以更準確和直接地刻畫目標的幾何結構，為此有學者相繼提出了PointNet[21]和PointNet++[22]用于直接學習逐個點的特征。除此之外，圖卷積[23,24]、核卷積[25-27]被提出用于學習不規則點云的特征。盡管上述方法可以從不同角度有效地學習點云的特征，但它們主要適用于具有簡單結構的模型或室內場景點云，難以有效地學習更為復雜的結構。文獻[28]通過融合2D圖像和3D點云對大規模三維場景進行語義分割，但是需要基準數據集(同時包括2D和3D室外數據)的支撐，且兩者融合的質量嚴重影響語義分割結果。文獻[29]提出了一種具有注意力嵌入模塊的遞歸順序切片網絡，從不同的角度學習空間關系并使用CNN提取高級信息，但是該網絡模型規模較大，且泛化能力較弱。

不同于規則格網的二維影像，城市場景大規模點云具有點位空間分布不均、因遮擋導致的數據缺失及目標多樣且尺度差異大等獨特性。點云深度學習需要突破現有的深度學習網絡在點云采樣、局部特征提取與聚合，以及訓練樣本不均衡方面存在的缺陷，從而有望實現點云場景的全面精準感知。為此，本文旨在構建一種直接用于城市場景大規模點云的目標語義標識深度學習網絡，用于解決大規模點云的有效采樣、點云局部特征自主學習與聚合，以及訓練樣本不平衡等難點，實現多類目標的正確語義標識，為高質量三維地理信息的快速提取提供核心支撐。

1 端到端城市大規模點云語義標識深度學習網絡

點云深度學習的本質是基于訓練樣本學習點云特征并予以表達，然后通過損失函數度量數據預測值與訓練樣本真值之間的差異(兩者之間的差異越小說明模型與參數對訓練樣本的擬合越好)。由于城市點云場景的復雜性(點位分布不均且量大、目標多樣等)，為保證點云深度學習網絡的高效和準確，必須首先對大規模點云進行采樣，降低點云的數據量，從而減少計算量，保證網絡的高效性；其次，要克服點位不均勻分布和因遮擋導致的不完整對點云特征準確學習的影響；同時要盡量減少由于訓練樣本不均衡而對網絡預測結果的影響。為此，本文重點圍繞點云深度學習的效率和結果的準確性，從高效的點云空間降采樣策略，基于點特征抽象表達與傳播以及提升總體表現的損失函數3個方面出發，構建了點云語義標識深度學習網絡。該深度學習網絡直接輸入點云數據，并端到端地標識每個點的語義類別，其總體框架如圖1所示。

圖1 端到端的點云語義標識深度學習網絡架構

1.1 下采樣與上采樣

該網絡使用下采樣-上采樣結構和跳躍連接的U形結構作為骨干網絡。下采樣過程包括空間下采樣和特征聚合，空間下采樣用于減少點數，而特征聚合則得到空間采樣后的點云特征。下采樣過程將特征逐層映射到更高的特征空間，并擴大感受野以獲得更高層次、更抽象的特征，而上采樣過程旨在逐步將抽象特征傳播到每個點，從而獲得逐點特征。

(1)

1.2 局部特征聚合

圖2 特征聚合模塊

在每個聚合過程之前，對每個下采樣點通過K近鄰(KNN)分組得到用于特征聚合的局部單元N(x)。通過設置一個較大的K=σk(σ為擴張比，σ>1，例如，σ=1.5)，然后對k點在前幾層中隨機采樣，以嘗試擴大感受野。在對輸入特征進行編碼的過程中，對點的原始空間位置、相對空間位置和相對特征(邊特征)融合。對于每個位置x，其相鄰ith位置的原始空間信息定義為

(2)

式中，xi∈N(x)，xgl是分塊前的全局位置；⊕表示特征級聯。需要注意：x∈X(空間下采樣后的點集)，xi∈Xin(原始點集)。

相對空間位置定義為

(3)

式中，‖·‖表示歐幾里得距離的計算。

邊特征定義為

(4)

式中，f∈F(空間下采樣后的特征集)；fi∈Fin(原始特征集)。

最后，通過簡單的級聯操作獲得位置x的ith鄰域點的融合特征

(5)

(6)

式中，w∈RD表示可學習權重(有D′個)；g∈Rk表示空間映射值(有D′個)。

(7)

式中，w(d′)d表示d'th個w的dth個權值；σ是一個非線性激活函數。

(8)

式中，·表示逐元素相乘；max是最大池化操作。

1.3 代價函數

由于城市點云場景中目標類別數量差異大，且訓練樣本不均衡，簡單地分配不同的類權重平衡網絡的監督信號難以有效控制深度學習網絡的整體性能。如何控制不同類別目標的權重變得尤為重要。基于加權交叉熵的代價函數更專注于單個類的精度，而不關注特定類中的錯誤，這意味著如果為小樣本分配了更大的權重，則這些類的錯誤點數也可能更大。為此，本文提出的深度學習網絡主要根據訓練過程中存在的點數，合理提高對小樣本學習的關注，定義了代價函數L，旨在平衡少數類的表現和整體表現

(9)

式中，Nc是訓練過程中出現的cth類的總點數；M表示類別數；yc、pc分別表示cth類的真實標簽向量和預測標簽向量。

2 試驗分析

2.1 測試數據集和評價指標

整個場景在訓練期間被分成10 m×10 m的塊，每個塊被隨機采樣到20 000點，使用0.8 m半徑的鄰域范圍進行法向量計算。輸入點的特征包含全局坐標、分塊內標準化坐標、法向量和強度。本文構造的網絡采用0.05 m網格作為分塊前規則采樣的分辨率，然后是采樣比為0.25、0.25、0.25、0.25、0.25、0.5、0.5的下采樣層。該網絡在PyTorch平臺上實現。在網絡訓練期間，Adam優化器用于更新模型，動量和初始學習率分別設置為0.9和0.001，衰減率設置為0.000 1，學習速率每16個遍歷(epoch)降低一半。該模型在NVIDIA GTX 1080Ti的GPU上訓練了100個批量大小為28的迭代，并且選擇使用具有最佳mIoU的模型進行測試。

為驗證本文構建的深度學習網絡性能，使用WHU-MLS數據集[13]進行測試。WHU-MLS數據集包括40個場景，超過3億點，其中30個場景作為訓練場景和10個場景作為測試。其中的地物目標類包括：行車道(driveway)、非駕駛車道(nd.way)、道路標線(rd.mrk)、建筑物(building)、圍欄(fence)、樹木(tree)、低矮植被(low veg)、路燈(light)、電線桿(tel.pole)、市政立桿(mun.pole)、交通信號燈(trff.light)、監控探頭(detector)、廣告牌或提示牌(board)。動態目標類包括：行人(pedestrian)和車輛(vehicle)。

為評估本文構造網絡的性能，采用如下的幾類指標：精度(Precision)、召回(Recall)、F1-Score、IoU和總體精度(OA)

(10)

(11)

(12)

(13)

(14)

式中，TP是預測正確的該類別樣本數量；FP是將其他類別樣本錯預測成該類別的樣本數量；FN是將該類比樣本錯預測成其他類別的樣本數量；N是樣本總數。精度、召回、F1-Score和IoU在每個類別中分別計算，然后計算平均值。

2.2 語義標識結果

不同測試場景的預測結果如圖3所示。圖3(a)所示場景具有較為復雜的結構。圖4和圖5分別從更細節的角度和駕駛角度展示了語義標識的結果。從示例結果可以看出，該網絡語義標識的整體表現較好，但也存在一定的錯誤標識，如圖6所示。造成此類錯誤分類的原因有幾種：①語義模糊性，如某些類定義較為模糊，這意味著一個點可能既屬于某一類，同時也屬于另一類，例如由提示牌和路燈連接的桿狀結構，如圖6(a)所示；②多個目標相互重疊，例如在樹叢中豎立的燈，如圖6(b)所示；③局部位置預測出了不同的類別，由于場景在點被送入網絡之前被劃分為塊，推測主要是因為相鄰的區塊在重疊區域內預測結果存在不同，如圖6(c)所示。

注：左側為人工標記的結果；右側為預測結果。

圖4 WHU-MLS數據集中部分類別的預測結果

圖5 WHU-MLS數據集中單個場景的預測結果

圖6 WHU-MLS數據集上錯誤的語義標識

為定量地評價本文構建的深度學習網絡的效果，分別計算了WHU-MLS數據集中17個精細類別(樹木、非機動車道、建筑物、箱狀地物、路燈、電線桿、市政立桿、低矮植被、提示牌、駕駛車道、道路標線、車輛、行人、信號燈、探頭、圍欄和電線)和6個粗分類(動態物體、桿狀目標、植被、建筑和地面)的IOU、F1-Score、精度、召回率，見表1。由表1可以看出，本文的深度學習網絡在一些大尺寸目標，如車道(IoU：83.6，F1-Score：91.0)、建筑(IoU：77.1，F1-Score：87.1)和樹(IoU：84.5，F1-Score：91.6)，以及一些運動目標，如行人(IoU：60.8，F1-得分：75.6)和車輛(IoU：79.1，F1-得分：88.3)上取得較好結果。

表1 WHU-MLS語義標識結果

表2比較了本文構造的網絡與其他幾個主流的點云深度學習網絡在17個類別語義標識中的表現。可以看出，本文的深度學習網絡在非機動車道、建筑物、箱體、燈、電線桿、市政立桿、提示牌、機動車道、道路標線、車輛、行人、探頭和電線等大多數類別中優于其他幾種方法。

表2 WHU-MLS數據集上本文網絡和主流網絡的性能對比

表3給出了本文構建的深度學習網絡在不同網絡層中的參數個數和推理時間。時間為使用一百萬個點單次前向傳播的耗時。可見本文的深度學習網絡可以在2 s內預測100萬個點，表明了該網絡的輕量級和高性能。

表3 本文構建的深度學習網絡在單個GPU單次預測1 000 000點的參數和平均推理時間

3 結 論

本文構造了一種城市大規模點云語義標識的端到端深度學習網絡，為目標的識別和信息的提取提供了關鍵支撐。該深度學習網絡直接對大規模三維點云進行特征學習，通過卷積操作模擬人眼擴大視覺感受野，兼顧了單個點的上下文特征，有力提高了不同尺度目標特征準確刻畫和表達的能力，為目標的提取和類別的區分提供了有益的知識。實際的測試表明：該深度學習網絡在高效的采樣策略、多層的特征聚合與傳播，以及兼顧樣本不平衡的代價損失函數具有較好的性能，可高效地對大規模的室外場景點云進行近20類目標的正確語義標識，且性能優于現有的幾個主流網絡(如：PointNet等)，為三維地理信息的快速有效提取提供了有力支撐。當前，本文構造的點云深度學習網絡測試的目標多為人工地物，在自然地物的語義類別的自動識別方面還需要進一步測試。其次，本文當前的研究尚未開展實體對象的識別工作，下一步將在語義類別的基礎上開展實體對象的提取研究。