基于RandLA-Net的機載激光雷達點云城市建筑物變化檢測

孟琮棠, 趙銀娣, 韓文泉, 何晨陽, 陳錫秋

(1.中國礦業大學環境與測繪學院,徐州 221116； 2.南京市測繪勘察研究院股份有限公司，南京 210019)

0 引言

建筑物是城市中的重要主體，在一定程度上反映了城市的發展規模。準確獲取建筑物變化信息對于城市發展規劃、非法建筑物識別、災害評估和地理數據庫更新等實際領域中具有重要的作用與意義。利用遙感手段對城市建筑物進行變化檢測可以快速準確地獲取建筑物的變化信息，借助機載激光雷達(light detection and ranging，LiDAR)點云數據可以實現建筑物的三維變化檢測，本文三維變化檢測意在獲取建筑物在三維空間中面積與高程的變化，包括水平面上的新增、拆除以及高度方向上的增高、降低的變化位置與面積。

多年來，研究者們持續挖掘點云在變化檢測中的潛力，并發展出了多種檢測建筑物三維變化的方法，如基于2期數字表面模型(digital surface model,DSM)差分結果進行人工解譯[1]、直方圖統計[2]、連通性分析[3]等確定發生變化的建筑物； 或分別對2期點云的DSM通過邊界擬合[4]、高度與平整度分析后聚類[5]等方法提取建筑物后，再差分進行變化檢測； 通過先提取點云中的非地面點，再利用影像與分類樹提取建筑物后，與現有地理數據庫對比的方法[6]； 通過影像數字制圖產品與激光雷達(light detection and ranging,LiDAR)點云經過支持向量機(support vector machine，SVM)提取建筑物后對比的方法[7]； 使用航空影像密集圖像匹配點云與LiDAR點云建立差分DSM提取變化信息后，再使用點云法線方向方差的方法確定變化的建筑物[8]。可見在這些方法中，獲取變化建筑物主要有2種手段： 提取建筑物后再檢測變化； 先確定變化候選區域，再確定屬于建筑物的變化。而上述方法存在的問題在于： 將點云轉換為其他規則格式數據易造成信息丟失，局部點甚至更大尺度點云間的關系被忽略； 沒有充分利用點的強度和光譜信息特征； 自動化程度低，需要較多的后處理分析來改善精度。

隨著近年來深度學習技術的迅速發展，圖像處理算法層出不窮[9-15]，且在遙感影像分類與目標檢測等任務中的表現優于多種傳統方法[16-20]。點云語義分割方法同樣發展迅速[21]，既有以PointNet[22-24]為代表的適用于室內場景點云的語義分割算法，也有適用于大規模點云的RandLA-Net[25]，但利用深度學習方法進行點云的變化檢測卻少有研究。

本文采用深度學習與分類后檢測的方法研究基于機載LiDAR點云的建筑物三維變化檢測，與當前主流點云變化檢測研究不同的是： ①引入基于深度學習的點云語義分割網絡RandLA-Net，快速準確地提取建筑物； ②結合本文的建筑物提取方法，設計了針對本文異源點云數據的處理方法，以減少點云間的差異，保證變化檢測的精度； ③充分考慮局部點間的結構與距離特征，加入LiDAR點云的反射強度特征與影像賦予的光譜信息作為語義特征，以提高建筑物提取的準確率。

1 研究區數據采集與標注

1.1 研究區概況與數據源

研究使用的機載LiDAR點云，與車載LiDAR不同之處在于： 飛機在一定高度飛行，點云密度較為一致，而車載LiDAR主要為獲得較近處的點云，點云密度相較于機載雷達高，但遠近點云的密度不同，且點云規模較機載點云規模小。選擇南京市部分區域為研究區，地理坐標在N32°2′26″～32°4′8″，E118°34′17″～118°36′21″之間。通過航空機載LiDAR分別采集研究區2017年3月2日及2019年4月6日的點云數據，獲得包含地物位置信息以及反射強度的點云，2017年與2019年點云密度分別為1點/m2與16點/m2，點數量分別為10 428 812與181 208 261個點。點云數據示例見圖1。

(a) 示例1 (b) 示例2 (c) 示例3 (d) 示例4 (e) 示例5圖1 LiDAR點云數據示例Fig.1 Examples of LiDAR point cloud data

1.2 數據集制作

2期點云數據由不同的LiDAR傳感器獲取，其點云的不同主要在于點云密度與反射強度的值域。由于RandLA-Net在獲取局部點信息時，使用了K最鄰近(K-nearest neighbor，KNN)算法，并固定了最鄰近點的數量，導致在點云密度不同的情況下獲取的局部信息存在差異，進而在較小樣本上進行訓練時，網絡損失與精度曲線難以收斂。因此使用稀疏的2017年點云進行訓練，并對2019年點云下采樣(圖2)，使得2期點云密度相同，以保證異源數據的語義分割精度，但是，本文使用網格采樣的方法，采樣后的點云結構同樣存在差異，2017年獲取的點云是完全無序的，而2019年點云在采樣后則存在著一定的有序性，其表現為點云呈網格狀排列。其次，2期點云的反射強度值域不同，2017年點云值為1～6的整數，2019年點云為1～65 535的整數，本文將2019年點云強度值線性映射至2017年的反射強度值域。

(a) 2017年 (b) 2019年圖2 采樣后點云結構Fig.2 Point cloud structure after sampling

點云數據集基于MicroStation的Terrascan軟件，結合航拍影像判讀，對研究區內建筑物點云進行目視解譯并人工標注。由于實驗用的點云重復區域較多，因此僅將2017年點云數據進行數據劃分，其中2期點云5%的區域用于測試，并將2017年點云其他部分按4∶1的比例劃分為訓練集與驗證集，2019年點云數據不參與訓練，僅用于測試。

數據集的格式參考點云語義分割數據集Semantic3D格式標準[26]，以方便研究與使用時數據集格式的統一。點云數據集包含有標簽、坐標、反射強度和光譜信息，標注后的點云數據集如圖3所示。

(a) 示例1 (b) 示例2 (c) 示例3 (d) 示例4 (e) 示例5圖3 點云數據集示例Fig.3 Examples of point cloud dataset

2 研究方法

傳統的使用點云數據進行變化檢測，往往基于DSM差分的方法，依賴于高程與手動調整閾值提取建筑物與其變化信息，忽略了較多的局部信息與點云特征，且自動化程度低，結果易與樹木混淆，導致低矮建筑物檢測結果不佳。針對這些問題，本文引入基于深度學習方法的RandLA-Net點云語義分割網絡提取建筑物，利用點云坐標、局部點的位置關系、強度、光譜信息，快速、高精度、自動化地提取建筑物。結合分類后檢測的變化檢測方案，比較前后時期點云語義分割結果，定性與定量地獲得目標區域地物范圍與高程的變化。同時，本文還通過實驗研究了不同特征的組合對最終結果的影響，提出了不同情況下的應用建議。

點云具有無序性的特點，以及前后時期點云數據密度大多不同，無法實現2期點云的分割結果的直接差分進行變化檢測。因此本文結合影像差分的思路，將RandLA-Net網絡提取出的點云建筑物通過正射投影的方式，按照相同的空間分辨率投影為包含建筑物高度信息的灰度影像。投影時根據點云的尺寸以及設定的空間分辨率自動計算點云每點坐標與影像像素坐標的轉換公式，獲得每點對應的像素坐標，像素值為該像素內所有建筑物點的最大Z值，非建筑物目標像素值為0； 然后通過2期結果差分前后的狀態與差分后的值定性定量地判斷建筑物目標在三維空間上的變化。其中，假設前一時期的投影結果對應像素值為A，后一時期為B，則差分時的評判規則為： 若B>A，且A=0，則該位置為新增建筑物； 若B>A，且A≠0，則為增高； 若B

2.1 RandLA-Net算法結構

RandLA-Net結構遵循具有跳躍連接的編碼解碼思想。其結構如圖4所示，點云不同于影像在于無法通過卷積核的遍歷影像提取特征，因此在點云的語義分割算法中，其基本單元為多層感知機(multilayer perceptron，MLP)。在編碼端，點云通過每一層的局部特征聚合(local feature aggregation，LFA)算法豐富與學習點的特征，并使用隨機采樣(random sampling，RS)減小點云的規模，每次保留25%的點云數量，每一層的特征維數為(8，32，128，256，512)。解碼端使用每個點與KNN獲得最鄰近點的線性插值方法進行上采樣(up-sampling,US)，通過跳躍連接與編碼端的特征圖疊加，然后輸入共享的MLP進行特征降維。最后，3個全連接層(fully connected layers,FC)與Dropout層用于預測每個點的類別。

圖4 RandLA-Net整體結構圖Fig.4 RandLA-Net overall structure

2.2 LFA算法

LFA算法是RandLA-Net結構的核心，主要由3個模塊組成，包括局部空間編碼(local spatial encoding，LocSE)、注意力池化(attentive pooling)與擴張殘差塊(dilated residual block)，LFA的模塊結構如圖5所示。

圖5 LFA模塊結構Fig.5 LFA module structure

2.2.1 LocSE

(1)

式中⊕表示兩者串聯拼接。經過MLP編碼后的特征數為d，并與原始輸入的特征疊加。最終的輸出是該點K個2d長度的特征信息。

2.2.2 注意力池化

注意力池化模塊用于聚合點的局部特征。LocSE獲得的局部點特征，經過可學習的FC與Softmax激活函數獲得每個鄰近點特征的得分作為輸入鄰近點特征的權重，對所有鄰近點特征加權求和后獲得該點2d長度的特征，在經過MLP后，獲得該點最終池化后的特征。

2.2.3 擴張殘差塊

為了處理大規模的點云，RandLA-Net采用了隨機采樣的方法對編碼端的點云進行下采樣，因為其具有時間與空間復雜度低的特點，高效且占用內存小。但是隨機采樣有幾率造成關鍵點信息的丟失，因此使用擴張殘差塊模塊對LocSE、注意力池化與MLP進行堆疊，增加每個點的感受野，降低隨機采樣丟失關鍵點信息的影響。

在擴張殘差塊中，將LocSE與注意力池化模塊進行多次堆疊，并在每次進行LocSE前將點的位置信息加入。同時在輸入前與輸出后饋入MLP，以獲得必要的特征數，并將堆疊后的輸出特征與輸入點云經過MLP處理后的特征相加，獲得最終的聚合特征。

3 實驗與結果分析

3.1 實驗環境與各項參數

本文的實驗環境為I5-8400處理器，內存大小16 G， NVIDIA GeForce GTX 1080Ti 11 G顯卡，使用CUDA 11.0 加速GPU計算，深度學習框架為基于Python 3.5.6的TensorFlow-GPU 1.11.0。實驗準備數據采樣為1點/m2的點云，模型使用的最鄰近點K值為16，單次輸入點數為40 960，初始學習率為0.01，動量為0.95，模型迭代次數為100。點云的預處理與數據集的制作主要基于MicroStation上的TerraScan軟件，點云投影影像空間分辨率為1 m。

3.2 LiDAR點云建筑物提取

從LiDAR點云中準確提取建筑物有著諸多干擾，首先是低矮建筑物高度往往低于周邊的高大樹木，因此在提取過程中，單純考慮建筑物的高度常會混淆樹木與建筑物的提取結果，同理，在地形地勢起伏較大的區域，也存在著這種問題，因此建筑物中點與點之間的關系信息不能忽略。同時，在考慮點與點之間關系時，往往受困于建筑物不同的幾何結構，而人工尋找并定義這些結構費時費力。另一方面，可以借助LiDAR點云的反射強度信息作為輔助信息，在同一棟建筑物上的反射強度常常具有一致性，但是不同建筑物仍然會表現不同的強度信息，甚至與周圍地物強度一致，所以無法單獨作為判斷的依據。再者，點云也可以結合影像的光譜信息作為輔助特征，本文則基于以上信息，分析了不同方法以及不同特征對建筑物提取以及變化檢測結果的影響。

使用RandLA-Net結合不同的點云特征提取2時期異源點云中的建筑物，并同時使用傳統基于DSM高程閾值的方法與基于軟件ENVI LiDAR和TerraScan的建筑物提取方法進行了對比。在基于DSM的方法中，為了盡可能獲得最好的結果，對每一塊區域單獨設置基于人工判斷的高度閾值，包括最低、最高與分段的高度閾值。測試區域選取了2017—2019年變化較大的區域，并存在著不同形態的建筑物，如矮于樹木的低矮臨時建筑物、形狀不規則的樓宇以及常見的小區住宅樓等。為了直觀表達建筑物提取結果以及便于精度評價，將點云垂直投影為二維圖像，并通過分級色彩表達建筑物的高程信息，如表1—2所示。其中，RandLA-Net代表本文使用的方法； I代表訓練與測試時，除坐標外使用了反射強度信息作為特征； RGB表示結合了后期賦予點的光譜信息作為特征； IRGB則表示同時加入了強度信息與光譜信息； C代表該數據中每一點云塊的坐標轉換為最小坐標為0的相對坐標。

表1 2017年點云建筑物提取結果Tab.1 Point cloud building extraction results in 2017

表2 2019年點云建筑物提取結果Tab.2 Point cloud building extraction results in 2019

由建筑物提取結果可以看出，使用RandLA-Net算法提取建筑物在2017年與2019年2期點云數據上的結果完整度高，漏檢與錯檢的情況少，并且可以很好地區分低矮建筑物與樹木，如圖6所示，其中深綠色表示建筑物，紅色表示樹木，對應表1第一行結果。尤其坐標轉換后的點云建筑物提取精度提升明顯。

(a) 低矮建筑物與樹木 (b) 局部放大圖6 低矮建筑物與樹木區分Fig.6 Low buildings and trees

一方面，使用傳統方法時，本文未對原始點云進行下采樣，由TerraScan提取的建筑物在稀疏與密集的點云上表現較為一致，但是目標的邊界準確度低，存在著較多的錯檢情況； 而ENVI LiDAR的結果受點云密度影響較大，難以有效提取2017年點云的建筑物； 使用人工DSM設置高程閾值的方法簡單，且不受點云質量差異的影響，但是高聳的樹木與地形的起伏使得在處理時要面對樹木與低矮建筑物的取舍，同時，為了避免較多的誤差，分區域地設置閾值人工成本高，自動化程度低。

另一方面，在使用RandLA-Net算法時，對比了4種情況，考慮到LiDAR點云數據普遍帶有反射強度信息，且在早期測試中的結果也反映出帶有特征的點云比單純使用坐標信息的結果要好，因此本文并沒有單獨使用坐標信息。在設置的組合中，最值得注意的是，在同樣只使用強度信息作為特征時，將坐標轉換為相對坐標帶來的提升效果明顯，尤其在對低矮建筑物的提取上，使用相對坐標則有著更完整的建筑物個體與更為準確的建筑物邊界。基于RandLA-Net的結果明顯好于其他方法，其誤差主要在于建筑物本身上，很少存在將樹木或其他地物錯分為建筑物的情況。精度對比如表3所示。

表3 建筑物提取方法精度對比Tab.3 Accuracy comparison of the building extraction method

由表3計算出的各項指標可以看出，基于RandLA-Net算法獲得建筑物區域的各項指標均優于ENVI LiDAR，TerraSacn以及DSM高程閾值的方法。對比不同特征的影響，在2017年點云上進行的訓練，并同時對2017年與2019年點云進行測試，結果是： 2017年點云同時使用反射強度與光譜信息的結果最好，2019年點云僅使用光譜信息結果最好，2期點云差異如圖2所示。因此建議： ①在提取建筑物時，使用格網采樣后的2019年點云，僅需加入光譜信息。考慮到LiDAR傳感器大多無法同時獲取光譜信息，或者相機參數未知及相機參數誤差較大，無法利用光譜信息的時候，僅使用強度信息同樣可以獲得很好的結果，不建議同時加入強度和光譜信息； ②在處理質量較差的2017年點云時，其點云整體無序，則需要更多的特征，此時越豐富的特征帶來的效果越好，正如結合了反射強度與光譜信息的2017年點云結果最好。

此外，點云差異如第1.2節所述，使用點的位置、鄰近點的位置、2點的相對位置關系以及其歐式距離來表達坐標位置的特征。如圖2(b)，越是規則的點云其相對位置關系的特征越是一致，這點在RandLA-Net原文中也有闡述。這也解釋了在2017年點云上訓練的網絡在不同特征組合下，2019年的結果會比2017年結果更好的現象。

3.3 LiDAR點云建筑物變化檢測

點云存在無序性的特點，以及2期點云獲取的傳感器不同導致的密度不同，無法直接使用點云間差分的方法進行變化檢測，因此本文的思路是將提取建筑物后的點云投影為二維的灰度影像，使用灰度值表示建筑物目標的高度，投影后的二維影像進行差分獲得建筑物的變化情況。變化檢測結果如表4所示，其中不同顏色表示建筑物變化類型，面積與高度變化檢測精度分別為1 m2和1 m，此精度決定于點云的密度。使用混淆矩陣評定建筑物變化檢測的精度，如表5所示。

表4 變化檢測結果Tab.4 Change detection results

表5 建筑物變化檢測結果精度對比Tab.5 Accuracy comparison of building change detection results

(續表)

由變化檢測結果與指標的計算結果可知，使用RandLA-Net方法獲得的結果明顯優于傳統方法，其中使用光譜信息與相對坐標的點云獲得最優的變化檢測結果，而不是加入所有的特征。同時，使用相對坐標比使用絕對坐標的變化檢測結果精度提升明顯，而且在僅使用強度信息與相對坐標時的結果與最好的結果差異較小，這些與上一階段提取建筑物結果的結論基本一致。

但是明顯的問題是存在2期建筑物邊界不完全重合的情況，即使在原始數據上也存在著邊界的粗差，雖然對指標的計算影響較小，但是在實際應用時仍然有著一定問題。其主要原因在于： 原始點云的差異，如圖2所示的點云結構，使得2期點云表達的建筑物存在偏差。面對此種問題的處理可使用形態學的后處理方法，但本文為了表現實驗過程中的真實性，并未進行過多的后處理。

4 結論與展望

為了同時實現建筑物的面積與高程定性定量的變化檢測，使用機載LiDAR點云數據制作建筑物點云語義分割數據集，并基于深度學習方法RandLA-Net的點云語義分割網絡提取建筑物，利用點云的語義分割結果投影為二維影像并進行分類后檢測。本研究得出以下結論：

1)使用的RandLA-Net算法在建筑物提取與變化檢測上的總體精度優于常用的軟件與DSM分析的方法。

2)在對點云的數據預處理上，使用相對坐標要比使用絕對坐標結果好。

3)在對點云特征的取舍上，過多的特征會造成冗余，僅使用光譜或強度信息時獲得的變化檢測結果有時要好于兩者結合的結果，結合成本分析，僅使用LiDAR點云特有的強度信息是最佳方案。

雖然使用的RandLA-Net算法獲得了很好的建筑物提取與變化檢測效果，但是仍然存在由點云差異而影響建筑物邊界精度的問題。本文僅使用了較少的建筑物樣本進行訓練，且只使用了2017年的點云進行訓練與驗證，在之后的研究中會增加點云中目標的樣本，通過上下采樣增加點云結構化程度； 同時優化算法與數據組成，提高模型在異源點云數據上的泛化能力，改善異源點云數據的變化檢測精度； 未來會加入點云法向量作為特征，進一步提高點云語義分割的性能。