利用傾斜影像重建點云的建筑物變化檢測

黃 樺,葛為燎,劉微微,錢榮榮,李 杰

(浙江省測繪科學(xué)技術(shù)研究院,浙江 杭州 311100)

建筑物是數(shù)字城市中的一類關(guān)鍵要素和信息載體,人造建筑物的變化主要包括建筑物的新建、加蓋和拆除等。自動提取建筑物的變化信息對于城市規(guī)劃、三維地圖、市政和交通等任務(wù)具有重要的意義[1-2]。

在數(shù)據(jù)源方面,基于衛(wèi)星遙感影像的分析方法有大量廣泛深入的研究[3-5]。由于面臨著地物間紋理混淆、遮擋、陰影和混合像元解譯難等問題,在建筑物判別的幾何精度和結(jié)構(gòu)豐富度等方面仍有很大的不足。因此,一些研究借助多源信息融合的手段,利用數(shù)據(jù)的光譜互補性,以提高地物判別精度[6-8]。然而,由于衛(wèi)星遙感數(shù)據(jù)的高程信息相對缺乏,針對建筑物的局部變化檢測能力仍有不足,人工復(fù)核的工作量依然很大。在建筑物變化檢測方面,很多國內(nèi)外學(xué)者提出了基于激光探測及測距(light detection and ranging,LiDAR)技術(shù)的解決方案[9-10]。在實際應(yīng)用中,對于大規(guī)模的城市場景,車載LiDAR的作業(yè)效率仍顯欠缺,機載LiDAR的作業(yè)成本較高。

當前,無人機傾斜攝影測量技術(shù)能夠獲得更高的空間高分辨率和幾何精度,并具有良好的高程精度。其中,三維點云精度甚至可達到厘米級,在城市建模和三維變化檢測方面占據(jù)越來越重要的地位[1,11-12]。然而,利用影像密集匹配直接重建的三維數(shù)據(jù)缺乏語義信息,而且噪聲和遮擋等情況較嚴重。因此,基于三維點云數(shù)據(jù)進一步開展結(jié)構(gòu)化的信息提取是當前的一項研究熱點。

在語義識別的技術(shù)手段方面,早期基于模式識別的建筑物提取算法,特征選取和設(shè)計取決于先驗知識,具有較大的不確定性,難以適用于大范圍密集點云。近年來,基于深度學(xué)習(xí)的遙感圖像處理算法不斷發(fā)展,能夠自動地學(xué)習(xí)抽象特征,無需任何手工特征的設(shè)計,既節(jié)約了算法復(fù)雜度又極大地提高了精度[13-14]。然而,使用深度學(xué)習(xí)技術(shù)處理三維點云時,由于點云數(shù)據(jù)量大、空間分布非結(jié)構(gòu)化和點密度不均勻等問題,難以直接使用普通的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)進行特征提取,因而CNN在三維點云處理方面的應(yīng)用相較于圖像領(lǐng)域發(fā)展滯后。

綜上,為解決基于點云進行建筑物變化檢測所面對的噪聲、復(fù)雜邊界等干擾難題,提高點云語義識別精度,得到更加精確的變化檢測結(jié)果,本文提出一種綜合多種手段的建筑物點云變化檢測方法。該方法首先利用布料模擬濾波(cloth simulation filtering,CSF)[17]消除地面點云的干擾,然后基于動態(tài)圖卷積深度學(xué)習(xí)網(wǎng)絡(luò)(dynamic graph CNN,DGCNN)提取不同期點云數(shù)據(jù)中的建筑物,最后利用形狀指數(shù)比較建筑物的高差,檢測建筑物的變化,以期為城市場景下的點云建筑物變化提供一種切實有效的檢測方法。

1 技術(shù)方法

兩期基于無人機傾斜攝影測量技術(shù)得到的三維點云數(shù)據(jù)經(jīng)過了嚴格的幾何校正,保證在統(tǒng)一坐標基準下具有良好的空間定位精度。技術(shù)流程如圖1所示。

圖1 技術(shù)流程

首先,從目標區(qū)域的兩期點云數(shù)據(jù)中,分步進行地面點云預(yù)分割處理,較大程度地剔除地面點云,解決數(shù)據(jù)量大的問題。采用CSF算法,通過設(shè)置參數(shù),提取地面部分的點云。

然后,由第一期點云分離出的非地面點數(shù)據(jù)進行建筑物的樣本制作,用于訓(xùn)練DGCNN模型,將訓(xùn)練得到的網(wǎng)絡(luò)模型應(yīng)用到一、二期的非地面點云數(shù)據(jù)中,得到兩期的建筑物點云數(shù)據(jù)。

最后,對兩期的點云數(shù)據(jù)進行正射投影柵格化處理,通過對比兩期的像素值,提取新建、加蓋、拆除的區(qū)域。

1.1 CSF算法

傳統(tǒng)的地形濾波算法主要考慮坡度和高程變化信息,而CSF算法考慮先把點云上下翻轉(zhuǎn),然后假設(shè)有一塊布料受到重力從上方落下,則最終落下的布料即代表當前地形[17]。其數(shù)學(xué)模型定義基本公式為

影像化線上單據(jù)傳遞模式能夠解決人工傳遞可能出現(xiàn)的單據(jù)受損、遺失等問題，同時能夠降低單據(jù)傳遞成本，但由于影像化單據(jù)需要人工審核，且原始資料需要進行歸檔保管，故工作效率有待進一步提高，工作流程也有優(yōu)化空間。

(1)

式中,X為布料中的粒子在t時刻的位置;Fext(X,t)為外部驅(qū)動因素(重力、碰撞等);Fint(X,t)為內(nèi)部驅(qū)動因素(粒子間的內(nèi)部聯(lián)系)。模擬過程如圖2所示。

圖2 CSF算法模擬過程

圖2(a)為初始狀態(tài),假設(shè)一個虛擬的布放在翻轉(zhuǎn)的點云上方,黑色點為點云分布,深紅色點為可移動粒子。圖2(b)計算重力影響下對粒子產(chǎn)生的位移,一些粒子可能會出現(xiàn)在地面的下方,淺紅色點為粒子的舊位置。圖2(c)相交檢查,檢查粒子新位置是否到達地面,如果已經(jīng)到達地面則設(shè)置為不可移動,藍色點代表粒子不可移動。圖2(d)考慮“布料”的內(nèi)部驅(qū)動,對現(xiàn)有的“可移動”粒子,根據(jù)鄰近粒子所產(chǎn)生的“力”進行移動新的位置。因而,對外部/內(nèi)部驅(qū)動因素進行建模是計算分割部分的關(guān)鍵。首先假設(shè)只有外部因素Fext(X,t),設(shè)置Fint(X,t)內(nèi)部因素為0,則

(2)

式中,m為粒子的重量,通常設(shè)置為1;Δt為時間步長。由于G是一個常數(shù),因此只要給定一個 Δt就可以計算出下一次迭代粒子所在的新位置。

為了約束粒子在反轉(zhuǎn)表面空白區(qū)域的反轉(zhuǎn)問題,考慮使用內(nèi)部因素Fint(X,t)。任意選取兩個相鄰的粒子,若兩個粒子均可移動,則令兩者往相反的方向移動同樣的距離;若一個是不可移動的,則移動另一個;若兩者具有相同的高度,則不進行移動。位移量計算公式為

(3)

式中,d為粒子的位移量;粒子可移動時b等于1,不可移動時b等于0;pi為p0的相鄰粒子;n為把點進行標準化到垂直方向上的單位向量[0 0 1]T。通過上述計算,可有效地分離出地形點云,從而減少其對后續(xù)處理的影響。

1.2 DGCNN模型

圖卷積對非結(jié)構(gòu)化的空間數(shù)據(jù)具有較強的適用性,適合對離散點進行數(shù)據(jù)建模,能夠通過映射方式使圖的節(jié)點聚合鄰域信息生成新的節(jié)點特征值,構(gòu)建任意拓撲結(jié)構(gòu)的節(jié)點與圖[15-16]。網(wǎng)絡(luò)架構(gòu)與深度學(xué)習(xí)的特性類似,通過層級網(wǎng)絡(luò)逐步抽象更高級的特征,利用非線性函數(shù)增加模型的表達能力,端到端的訓(xùn)練方式只需要給定圖中節(jié)點一個指標,模型即可融合節(jié)點特征和結(jié)構(gòu)特征。

對點云進行空間圖結(jié)構(gòu)構(gòu)建的過程具體為:首先計算一個點集合的空間點對距離,得到空間距離矩陣;然后以點集合中的所有點作為當前的中心點,返回K個距離最近的鄰域點;最后將中心點和鄰域點進行拼接,實現(xiàn)鄰域聚合及點云維度擴充。

整體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其中,KEF表示對點云進行空間結(jié)構(gòu)構(gòu)建的過程。

注:B為批處理點云大小;N為批處理點個數(shù);C為點云維度;K為鄰域點個數(shù);p為待分類別數(shù);mlp為多層感知機;fc為全連接層;dp為dropout層。

深度網(wǎng)絡(luò)點云分類的具體步驟為:

(1)輸入包含X、Y、Z的C維點云,經(jīng)過KEF構(gòu)建聚合鄰域。

(2)利用雙層感知機(64,64)抽象對齊點云的淺層特征,將每個點特征映射到64維再進行K維度池化,得到淺層特征中最具代表性的特征。

(3)在兩層特征空間中利用KEF構(gòu)建聚合鄰域,對每個點的64維淺層特征構(gòu)建KNN有向圖擴充點云的維度,與特征聚類相似增加K個鄰域點的局部信息,在K維度進行池化得到最具代表性的鄰域特征。

(4)以單層感知機(1024)將融合的特征映射到高維,利用殘差網(wǎng)絡(luò)思想,采用跳躍連接的方式將點云的淺層特征與經(jīng)過圖卷積生成的特征連接。在深度網(wǎng)絡(luò)中,隨著特征抽象程度的加深保持原始點云信息以增強網(wǎng)絡(luò)的預(yù)測能力,得到1216維點云特征。

(5)進入兩個全連接層進行特征降維,同時設(shè)置0.5比例的dropout層防止模型過擬合,得到N個點對應(yīng)p個類別的概率矩陣,實現(xiàn)點云分類。

1.3 變化信息檢測

在提取出兩期的建筑物點云區(qū)域后,采用二維柵格化的方式,對三維點云進行降維處理。柵格化的每個像素內(nèi),只要存在建筑物類型的點,即認為是一個建筑物像素,像素內(nèi)存儲建筑物點云的最高點的高程值。通過對兩期的建筑物進行布爾運算,提取出兩期的變化柵格區(qū)域。

2 試驗與分析

本文采用浙江省杭州市蕭山區(qū)錢江世紀城21.4 km2的區(qū)域進行試驗,通過2018、2021年兩期傾斜攝影測量提取的密集點云匹配數(shù)據(jù),進行建筑物變化信息分析。對比兩期數(shù)據(jù)結(jié)果,統(tǒng)計建筑物的新增、加蓋和拆除情況。首先,利用人工提取的方法,構(gòu)建建筑物的矢量化范圍和變化信息標注情況作為真值,對本文的方法進行定量的對比分析。

使用CSF濾波濾除地形點云的影響,濾波后的地形點云基本被剔除。對數(shù)據(jù)樣本的選擇和標記情況如圖4所示,其中訓(xùn)練區(qū)域和測試區(qū)域分別進行了劃分,如圖5所示。

圖4 測區(qū)部分數(shù)據(jù)的CSF前后結(jié)果

通過DGCNN算法,對兩期建筑物的點云提取結(jié)果進行部分放大展示,如圖6所示。可以看出,兩期的建筑物點云已經(jīng)能夠很好地被分類,這為下一步的變化信息提取提供了支撐。

圖6 前后兩期點云建筑物提取結(jié)果

由于點云識別出的建筑物包含周邊的部分點云數(shù)據(jù),與真正的矢量面無法嚴格重合,點云柵格化過程中,柵格的大小設(shè)定,與外部的填充有一定的誤差。本文通過對比兩期點云數(shù)據(jù),計算變化率。

結(jié)合兩期的密集匹配點云數(shù)據(jù),對點云分類結(jié)果進行柵格化處理。對比兩期數(shù)據(jù),新增建筑物和拆除建筑物的信息如圖7所示,其中紅色部分表示新增,綠色部分表示拆除。

圖7 兩期數(shù)據(jù)的建筑物變化檢測

由于點云數(shù)據(jù)的定位精度及矢量數(shù)據(jù)柵格化過程中的取整精度等原因,對最終的提取結(jié)果造成一定程度的精度損失。本文僅對新增變化率與拆除變化率,與人工矢量化方法進行對比。由表1可以看出,自動提取出的建筑物新增、拆除比率與人工矢量方法提取出的結(jié)果接近,但自動化程度高,節(jié)約了大量的人工工作量。

表1 建筑物新增、拆除面積對比

針對兩期數(shù)據(jù)建筑物增高部分,采用人工方式,對比2018、2021兩期數(shù)據(jù)。如圖8所示,紅色區(qū)域為傾斜攝影數(shù)據(jù)人工發(fā)現(xiàn)高程增高地塊,白色區(qū)域為深度學(xué)習(xí)提取的增高區(qū)域。

圖8 兩期數(shù)據(jù)的建筑物變化檢測

變化檢測結(jié)果統(tǒng)計見表2,可以看出,本文方法與人工提取相比,能夠較好地符合人工提取的新增建筑物。此外,本文方法對細小的高程變化具有更強的敏感性,在城市建設(shè)中,發(fā)現(xiàn)違建、增高現(xiàn)象具有更高的應(yīng)用價值。

表2 變化檢測結(jié)果統(tǒng)計

3 結(jié) 語

本文對基于無人機傾斜攝影測量重建的三維點云數(shù)據(jù)進行了處理,采用布料模擬濾波算法與深度學(xué)習(xí)相結(jié)合,實現(xiàn)了建筑物點云快速智能分類的目標。將三維點云數(shù)據(jù)和二維柵格數(shù)據(jù)處理相結(jié)合,充分利用了三維點云數(shù)據(jù)的空間信息,提取了建筑物的變化信息,切實有效地提高了建筑物三維變化檢測的效率,具有良好的現(xiàn)實應(yīng)用價值。