基于深度學習的點云語義分割網絡研究

摘""要："隨著激光雷達探測技術的發展，激光雷達點云在測繪生產、自動駕駛、智慧城市等領域得到了廣泛的應用。但是，點云的分割、識別等基礎研究卻遇到了瓶頸，嚴重制約了點云應用的發展。點云語義分割網絡由三維體素構建方法、特征學習網絡和骨干網絡組成。三維體素構建方法通過體素分割、點云分組、隨機采樣和KNN編碼，將稀疏的、密度可變的點云數據轉換為密集的、特征數目相等的三維體素；特征學習網絡通過全連接層、鳥瞰投影將無序點云轉化為規則、有序的二維網格特征；骨干網由堆疊的沙漏網絡組成，可以有效地學習二維網格特征，實現高精度的點云語義分割。

關鍵詞："深度學習""""點云語義分割"""""三維體素構建"""""特征學習網絡

中圖分類號：G648.4、C961

Research"on"Point"Cloud"Semantic"Segmentation"Network"Based"on"Deep"Learning

FANG"Xiaohui1""""WANG"Hailong2""""TIAN"Zeyu1*""""GUO"Ting3""""TIAN"Jing1

• College"of"Surveying"and"Mapping"Engineering，"Heilongjiang"Institute"of"Technology，"Harbin，"Heilongjiang"Province，"150050"China;"2."31016"Troop"of"People's"Liberation"Army"of"China，"Beijing，"100088"China;"3.College"of"Electromechanical"Engineering，"Heilongjiang"Institute"of"Technology，"Harbin，"Heilongjiang"Province，"150050"China

Abstract：With"the"development"of"Lidar"detection"technology，"Lidar"point"clouds"have"been"widely"used"in"fields"such"as"surveying"and"mapping"production，"autonomous"driving，"and"smart"cities."However，nbsp;basic"research"on"point"cloud"segmentation"and"recognition"has"encountered"bottlenecks，"seriously"restricting"the"development"of"point"cloud"applications."The"point"cloud"semantic"segmentation"network"in"this"research"consists"of"the"3D"voxel"construction"method，"feature"learning"network，"and"backbone"network."The"3D"voxel"construction"method"converts"the"sparse"and"variable"density"point"cloud"data"into"the"dense"3D"voxels"with"an"equal"number"of"features"through"the"voxel"segmentation，"point"cloud"grouping，"random"sampling，"and"KNN"encoding."The"feature"learning"network"transforms"unordered"point"clouds"into"the"regular"and"ordered"two-dimensional"grid"features"through"the"fully"connected"layers"and"bird's-eye"projection."The"backbone"network"is"composed"of"the"stacked"hourglass"networks，"which"can"effectively"learn"two-dimensional"grid"features"and"achieve"high-precision"point"cloud"semantic"segmentation.

Key"Words："Deep"learning;"Point"cloud"semantic"segmentation;"3D"voxel"construction;"Feature"learning"network

點云語義分割是測繪生產、自動駕駛和智慧城市等應用的基礎，也是遙感識別、計算機視覺等領域的研究熱點。近年來，國內外研究人員將發展迅猛的深度學習應用在點云分割處理領域。麻省理工學院WANG等人[1]提出了邊卷積EdgeConv，進行點云分割。俄勒岡州立大學WU等人[2]提出了卷積PointConv，處理不規則點云。中科院WEN等人[3]引入方向約束點卷積D-Conv，提取點云的局部特征。中科院"WEN等人[4]通過圖局部注意力機制，動態改變卷積核的權重和形狀。牛津大學ZHANG等人[5]將三維點云投影到二維鳥瞰圖，通過自注意力機制，學習特征表示。阿卜杜拉國王科技大學LAHOUD等人[6]在稠密三維體素網格的基礎上，進行實例分割。德國波恩大學MILIOTO等人[7]將點云投影為深度圖像，通過迭代聚類，提取實例。德國慕尼黑工業大學GASPERINI等人[8]設計了共享一個編碼器、并行兩個解碼器的網絡結構，輸出語義標簽。北京航空航天大學王章宇等人[9]提出包括預處理、特征提取網絡和逆處理的分割方法。蘭州交通大學楊軍等人[10]將點云嵌入到高維空間，獲取高維特征。盡管以上研究在點云分割上取得了一定進展。但是，點云的稀疏性、無序性和密度可變性還是嚴重阻礙了點云中地物的分割提取。為了有效避免點云的以上特性對分割帶來的影響，本研究提出了一個由三維體素構建方法、特征學習網絡和骨干網絡組成的點云語義分割網絡。

1"""基于深度學習的點云語義分割網絡

本文提出的點云語義分割網絡如圖1所示。三維體素構建方法先對三維空間進行體素分割，將三維空間劃分為體素網格；再對點云進行分組，將特征點劃分到體素中；然后，通過隨機采樣減少體素中過多的特征點，通過KNN編碼為空的體素或者特征點較少的體素，添加特征點，使所有體素中的特征點數目相等，并將特征點逐個輸入全連接網絡；然后，通過鳥瞰視圖投影，將三維體素網格轉換為二維網格結構；再將二維網格中的特征點，逐個輸入全連接網絡，將二維網格中的無序點，組織成規則、有序的表示，形成網格級別特征；最后，將網格級別特征輸入主干網絡，識別語義特征，進行語義分割。

1.1""""特征學習網絡

1.1.1"""體素劃分

本研究將點云所在的三維空間劃分為體素網格，如圖1的體素分割所示。假設在坐標系中，點云包含的三維空間范圍為，單個空間體素的尺寸為、、，則三維體素網格的尺寸為、、。其中，點云包含的三維空間范圍是單個空間體素尺寸、、的整數倍。

1.1.2""""點云分組

將點云所在的三維空間劃分為體素網格后，將位于同一體素中的點劃分為一組。由于點云的稀疏性和密度可變性，每個體素中點的數目并不相等。如圖1的點云分組所示，體素1中的點比體素3、體素4中的點多，體素2是空的。

1.1.3""""""KNN編碼

對于點的數目大于規定值的體素，進行隨機采樣，將體素中點的數目采樣為規定值。對于點的數目小于規定值或者空的體素，以該體素的中心坐標為基準，通過KNN算法，以歐拉距離為度量，搜索最近的個鄰域點，擴展該體素中點的數目為，如圖1的KNN編碼所示。

在個體素中均包括個點，體素中第個點為，表示體素中第個點的XYZ坐標，為第個點的反射強度，體素可表示為。

1.1.4""""瞰視圖投影

由于處理三維體素網格，需要進行三維卷積操作，而三維卷積操作比較耗費計算資源，效率也比較低。為了提高處理效率，將三維體素網格投影為二維鳥瞰視圖，每個體素包含k個點，投影到尺寸為的二維網格后，每個二維網格包含個點，如圖1的鳥瞰視圖投影所示。

1.2""""主干網絡結構

本研究使用堆疊沙漏網絡（Stacked"Hourglass"Networks），構建主干網絡。沙漏網絡是全卷積神經網絡（Fully"Convolutional"Network）的擴展，使用了跳躍連接和殘差網絡。本研究使用4階沙漏網絡Hourglass。沙漏網絡具有編碼/解碼結構，可以提取較高層次的特征（卷積路），同時保留原有層次的信息（跳級路）。

2""""基于深度學習的點云語義分割的實驗結果

本研究選用國際攝影測量協會提供的機載點云數據集ISPRS"3D"Semantic"Labeling"Contest進行訓練與測試。該數據集是用Leica"ALS50系統在德國的一個小村莊Vaihingen上收集的，包含9個類別，分別是電力線、低植被、不透水表面、汽車、圍欄/樹籬、屋頂、立面、灌木和樹木。該數據集的訓練數據集包含753"876個點，測試數據集包含411"722個點。

在實驗中，使用國際攝影測量協會的評估標準，包括準確度Precision、召回率、分數和總體準確度OA（Overall"Accuracy）來評估模型的分割性能，評價標準公式如下：

其中，TP為真陽性的點數、TN為真陰性的點數、FP為假陽性的點數和FN為假陰性的點數。

圖2顯示了本方法在ISPRS"3D"Semantic"Labeling"Contest的測試數據集上的屋頂、不透水表面、樹木、低植被共4類地物的分割結果，這4類地物共占點云所有點數目的88.40%。本方法在測試數據集上的平均分數和總體準確率分別為0.651和0.830，因此，本方法實現了令人滿意的點云語義分割效果。

3"""結語

基于深度學習的點云語義分割網絡通過三維體素構建方法、特征學習網絡和骨干網絡，將稀疏的、密度可變的點云數據轉換為密集的、特征數目相等的三維體素，將無序點云轉化為規則、有序的二維網格特征，實現了二維網格特征的有效學習，實現了高精度的點云語義分割。本文通過在ISPRS"3D"Semantic"Labeling"Contest的訓練集和測試集上，對本文的點云語義分割網絡進行了訓練和測試，本文的點云語義分割網絡可以有效地收斂，可以有效地實現點云中地物的識別。

參考文獻

• WANGY，"SUN"Y，"LIU"Z，"et"al.Dynamic"graph"cnn"for"learning"on"point"clouds[J]."ACM"Transactions"on"Graphics，2019，38（5）：1-12.
• WU"W，"QI"Z，"LI"F.Pointconv："Deep"convolutional"networks"on"3d"point"clouds[C]//Proceedings"of"the"IEEE/CVF"Conference"on"computer"vision"and"pattern"recognition."Piscataway，NJ，USA：IEEE，2019：9613-9622.
• WEN"C，YANG"L，"LI"X，"et"al.Directionally"constrained"fully"convolutional"neural"network"for"airborne"LiDAR"point"cloud"classification[J].ISPRS"journal"of"photogrammetry"and"remote"sensing，2020，162：50-62.
• WEN"C，LI"X，YAO"X，et"al.Airborne"LiDAR"point"cloud"classification"with"global-local"graph"attention"convolution"neural"network[J].ISPRS"Journal"of"Photogrammetry"and"Remote"Sensing，2021，173：181-194.
• ZHANG"F，GUAN"C，FANG"J，et"al.Instance"segmentation"of"lidar"point"clouds[C]//2020"IEEE"International"Conference"on"Robotics"and"Automation."Piscataway，NJ，USA：IEEE，2020：9448-9455.
• LAHOUD"J，GHANEM"B，POLLEFEYS"M，"et"al.3d"instance"segmentation"via"multi-task"metric"learning[C]//Proceedings"of"the"IEEE/CVF"International"Conference"on"Computer"Vision."Piscataway，NJ，USA：IEEE，2019："9256-9266.
• MILIOTO"A，BEHLEY"J，McCool"C，et"al.Lidar"panoptic"segmentation"for"autonomous"driving[C]//2020"IEEE/RSJ"International"Conference"on"Intelligent"Robots"and"Systems."Piscataway，NJ，USA：IEEE，2020：8505-8512.
• GASPERINI"S，"MAHANI"M"A"N，"MARCOS-Ramiro"A，"et"al.Panoster："End-to-end"panoptic"segmentation"of"lidar"point"clouds[J].IEEE"Robotics"and"Automation"Letters，"2021，"6（2）："3216-3223.
• 王章宇，陳陽，周彬，等.一種面向非結構化道路的點云語義分割方法[J/OL].北京航空航天大學學報：1-12[2024-09-12].https：//doi.org/10.13700/j.bh.1001-5965.2023.0045.
• 楊軍，王連甲.結合位置關系卷積與深度殘差網絡的三維點云識別與分割[J].西安交通大學學報，2023，57（5）：182-193.