基于影像密集匹配點云的建筑物變化檢測方法

李正洪，全昌文，陳華江，陳 敏，呂 琦

（1. 廣西壯族自治區(qū)自然資源調查監(jiān)測院，廣西 南寧 530219；2. 自然資源部北部灣經(jīng)濟區(qū)自然資源監(jiān)測評價工程技術創(chuàng)新中心，廣西 南寧 530219；3. 西南交通大學地球科學與環(huán)境工程學院，四川 成都 611756）

違法建筑是城市管理的“頑疾”，將擾亂城市規(guī)劃秩序，導致重大安全事故頻發(fā)。然而，違法建筑整治面臨“發(fā)現(xiàn)難”的問題，依靠現(xiàn)場調查或遙感影像人工判別效率低、成本高。基于建筑物自動變化檢測的違法建筑提取正逐漸成為主要發(fā)展趨勢[1-3]。根據(jù)不同數(shù)據(jù)維度，建筑物變化檢測可分為基于遙感影像的二維變化檢測和基于激光雷達點云或影像密集匹配點云的三維變化檢測，前者難以發(fā)現(xiàn)在合法建筑基礎上加蓋的樓層、陽臺等三維違建目標；而后者因包含目標高程信息，能更全面地反映目標幾何特性，便于發(fā)現(xiàn)三維違建目標[4]。

現(xiàn)有建筑物三維變化檢測方法大體可分為逐點變化檢測和基于對象的變化檢測兩類。逐點變化檢測通常先逐點比較多時相點云，給出初始變化檢測結果，再結合點云的幾何和光譜信息對初始結果進行細化，這類方法可根據(jù)不同的變化檢測目的靈活地進行分解或組合，且分步式的過程使其具有更高的計算效率[5-8]。隨著機器學習浪潮的興起，研究人員利用決策樹分析、支持向量機、隨機森林等機器學習方法對初始結果進行分類，得到最終的建筑物三維變化檢測結果[9-10]，但這類方法對點云配準誤差敏感，受非建筑物目標干擾大，且檢測結果對初始幾何比較結果敏感，漏檢情況在后續(xù)細化過程中無法找回。

基于對象的變化檢測方法首先利用基于深度學習的點云語義分割方法對多時相點云進行分類，提取建筑物點云；再對建筑物點云進行比較，進而獲取建筑物三維變化檢測結果[11-13]。由于利用了空間三維信息，這類方法提取建筑物的精度更高，且對不同數(shù)據(jù)來源、不同獲取條件（不同季節(jié)、光照等）造成的干擾更加穩(wěn)健，但對于質量較低的密集匹配點云所進行的建筑物檢測精度依然有限，且檢測結果受分類精度影響較大[14]，對于漏提取的建筑物，難以檢測其是否發(fā)生了變化。

綜上所述，現(xiàn)有建筑物三維變化檢測方法易出現(xiàn)漏檢情況，難以滿足違法建筑提取的實際需求。因此，本文提出了一種適用于密集匹配點云的建筑物三維變化檢測方法：首先通過空間體素比較提取初始變化點云，同時構建深度神經(jīng)網(wǎng)絡提取建筑物點云；再基于建筑物三維點云結果，將初始變化點云分為建筑物區(qū)域變化和非建筑物區(qū)域變化，并對兩類點云進行聚類處理；然后按照聚類的面積和頂面法線方向，以不同的閾值進行細化處理；最后根據(jù)點云變化情況，將變化結果分為新建建筑物和拆除建筑物，實現(xiàn)可靠的建筑物三維變化檢測。為了便于表述，將本文方法簡稱為DV-BCD（building change detection by integrating deep neural network and spatial voxels）。

1 DV-BCD方法

1.1 初始變化點云提取

對多時相點云進行預處理主要包括3個步驟：①利用改進迭代最近點算法[15]對雙時相密集匹配點云進行高精度配準；②利用布料模擬濾波（CSF）算法[16]對目標區(qū)域的密集匹配點云進行濾波處理，按照離地面的高度將點云分為地面點和非地面點；③為消除植被變化對結果的影響，對于非地面點計算植被指數(shù)（VI）[17]，即VI=（3G-2.4R-B）/（R+G+B），并剔除VI大于閾值的植被點。

對經(jīng)過預處理的多時相密集匹配點云構建八叉樹，在空間體素層次上進行變化檢測。在八叉樹中，對于給定三維坐標的查詢點，可以逐深度快速定位它所屬的葉節(jié)點，見圖1。選取一定半徑內的點進行計算，確定包含查詢點的葉節(jié)點后，選擇上一個葉節(jié)點及其鄰近葉節(jié)點內的所有點作為初始點，計算初始點到查詢點的距離，以獲取半徑內的點。若在這個半徑范圍內有初始點，則可說明查詢點為變化點，否則該點為變化點。

圖1 八叉樹點云葉節(jié)點示意圖

1.2 注意力驅動的建筑物三維點云檢測

由于直接進行變化檢測得到的結果易受非建筑物區(qū)域變化的影響，為了在不漏檢建筑物變化的前提下盡可能減少建筑物變化虛警，本文通過搭建建筑物點云三維檢測深度神經(jīng)網(wǎng)絡提取目標區(qū)域中的建筑物點云，并將初始變化區(qū)域與提取的建筑物區(qū)域結合起來，以便更準確地提取建筑物變化目標。

建筑物提取網(wǎng)絡采用下采樣—上采樣結構，包括大比例降采樣、局部空間編碼、注意力機制和基于跨級鏈接的特征反向傳遞4個主要模塊。

1）大比例降采樣模塊。在面臨大場景點云時，由于軟硬件處理性能和內存的約束，通常需進行降采樣處理[18]。鑒于無人機影像密集匹配點云密度變化較小，為兼顧采樣效率和空間覆蓋度，本文網(wǎng)絡擬采用均勻采樣策略對點云進行降采樣。

2）局部空間編碼模塊包括鄰域點查找、局部幾何空間編碼和局部特征空間編碼。對采樣點鄰域信息編碼，捕捉局部區(qū)域中點與點之間的幾何分布關系和特征分布關系，提升網(wǎng)絡模型捕獲細節(jié)的能力。

3）注意力機制模塊。本文采用通道注意力和注意力池化進行特征篩選，使網(wǎng)絡自動學習重要、有效的特征。通道注意力是為了有效結合采樣點的幾何空間編碼特征和特征空間編碼特征，而注意力池化是為了將鄰域點特征聚合到采樣點上[18-20]。

4）基于跨級鏈接的特征反向傳遞模塊。本文采用基于跨級鏈接和最近鄰的內插方式進行特征反向傳遞，將特征從采樣點集傳播到原始點集，得到每個原始點的語義標簽。

1.3 變化的建筑物點云提取與分類

對于包含大量虛警的初始變化點云，DV-BCD 方法結合深度神經(jīng)網(wǎng)絡提取的建筑物三維點云，將初始變化點云分為建筑物區(qū)域和非建筑物區(qū)域變化點云兩類，并對兩類點云分別進行聚類處理。

建筑物區(qū)域內的變化點云大部分為建筑物變化點云，少量虛警主要由未精確配準帶來的建筑物邊界區(qū)域變化引起。由于建筑物檢測方法不可避免地存在漏檢情況，非建筑物區(qū)域內的變化點云可能包含少量真實建筑物變化，其余大部分區(qū)域為非建筑物噪聲。DV-BCD方法逐一對各聚類進行平面擬合，由于建筑物的屋頂平面通常是水平的，而其他地物則不是，因此對擬合平面的歸一化法向量的Z分量進行判斷，剔除低于閾值的聚類。此外，為減少由細小非建筑物結構變化引起的虛警，還對每個聚類的面積進行判斷，并剔除面積低于閾值的聚類。本文對建筑物區(qū)域和非建筑物區(qū)域分別設置不同的閾值進行判斷并剔除虛警；再根據(jù)建筑物的變化情況，將建筑物點云變化分類為新建建筑物和拆除建筑物。

1.4 參數(shù)設置

為在避免漏檢的前提下盡可能減少虛警，DV-BCD 方法考慮了低矮建筑物和CSF 濾波在局部區(qū)域的容錯，選取1.5 m 作為地面點濾波閾值，-0.1 作為植被指數(shù)閾值，0.95（非建筑物區(qū)域為0.99）作為聚類變化點云擬合平面的歸一化法線Z分量閾值。

2 實驗與結果分析

2.1 實驗數(shù)據(jù)

為驗證DV-BCD方法的有效性，采用復雜城市區(qū)域的兩期不同類型無人機影像密集匹配點云進行實驗。實驗區(qū)域面積約為0.5 km2，地勢較平坦，建筑物周圍分布有大量植被，部分屋頂受到遮擋，且建筑物間疏密不均勻、結構復雜、顏色差異大，同時存在新建和拆除的建筑物。第一期原始數(shù)據(jù)為5 鏡頭無人機傾斜影像，作為時序監(jiān)測的基準數(shù)據(jù)，在后續(xù)監(jiān)測中，考慮內外業(yè)生產(chǎn)成本等因素，采用單鏡頭無人機設備進行影像采集；第二期原始數(shù)據(jù)為單鏡頭無人機影像。采用Pix4D 軟件對兩期影像分別進行空中三角測量和密集匹配，得到兩期密集匹配點云，見圖2，可以看出，由于單鏡頭影像難以全面獲取場景目標信息，5 鏡頭無人機影像密集匹配點云質量明顯優(yōu)于單鏡頭，兩期影像密集匹配點云即使在建筑物無變化的區(qū)域也存在明顯差異，給可靠的建筑物變化檢測帶來挑戰(zhàn)。

圖2 實驗數(shù)據(jù)

2.2 評價指標

為了定量評價DV-BCD方法的有效性，本文將實驗結果與人工目視解譯標注的建筑物變化區(qū)域進行比較，以漏檢數(shù)量、虛警數(shù)量、漏檢率、虛警率和檢測時間為評價指標，在對象層面進行統(tǒng)計分析。

式中，F(xiàn)N為變化建筑物被誤判為未變化建筑物的數(shù)量，即漏檢數(shù)量；TP為變化建筑物被正確檢測的數(shù)量；FP為未變化建筑物被誤判為變化建筑物的數(shù)量，即虛警數(shù)量；TN為未變化建筑物被正確檢測的數(shù)量。

2.3 結果分析

利用DV-BCD方法對實驗數(shù)據(jù)進行建筑物變化檢測，并將檢測到的新建建筑物點云標記為紅色，拆除建筑物點云標記為黃色，結果見圖3a。為了驗證DV-BCD方法中建筑物點云提取對提升變化檢測的效果，本文將DV-BCD方法與傳統(tǒng)直接進行八叉樹空間體素變化檢測方法（記為V-BCD）進行對比。為了使對比更公平，兩種方法除融合建筑物提取以外的方法和參數(shù)閾值設置均保持一致。

圖3 實驗結果

點云異常引起的虛警是指由單鏡頭無人機影像密集匹配點云質量差導致兩期密集匹配點云差異大而引起的虛警。5 鏡頭影像密集匹配點云的信息完整（圖4a），而單鏡頭影像密集匹配點云在視差不連續(xù)區(qū)域的點云質量差，導致一些本應在地面的點漂浮在空中，且由于單鏡頭影像密集匹配點云基本無側面信息，通常難以判斷該點云是否為建筑物變化，如圖4b 中兩個相鄰建筑物中間本應為空地的間隙存在大量漂浮在空中的噪聲點（紅色標記點），這些點將在建筑物變化檢測中產(chǎn)生虛警。本文在對象級上對變化檢測結果進行效果評價，對比結果見表1，可以看出，DV-BCD方法在新增建筑和拆除建筑上均實現(xiàn)了零漏檢，雖然產(chǎn)生了一些虛警目標，但數(shù)量較少，相較于V-BCD 方法虛警率降低了48.64%，作業(yè)人員可在短時間內通過目視檢核完成虛警目標的驗證。

表1 評價結果統(tǒng)計表

圖4 異常點云

DV-BCD 方法產(chǎn)生虛警的主要原因為：①考慮時序監(jiān)測中的內外業(yè)作業(yè)成本，除作為基礎數(shù)據(jù)的第一期數(shù)據(jù)為5 鏡頭影像外，后續(xù)監(jiān)測數(shù)據(jù)均為單鏡頭影像，因此輸入變化檢測系統(tǒng)的兩期密集匹配點云質量差異大，存在大量異常點云，由此產(chǎn)生了一些虛警目標；②實驗區(qū)域存在正在施工的工地，分布著大型土堆、大型施工車輛等類似于建筑物的物體，進而產(chǎn)生了一些虛警目標。若將DV-BCD方法閾值設置得更嚴格一些，可剔除其中大部分虛警，但也會以出現(xiàn)漏檢為代價。考慮到實際生產(chǎn)對漏檢和虛警的可接受度完全不同，應以避免漏檢為前提減少虛警，因此本文實驗閾值設置得較寬松，這也保證了DV-BCD方法在實驗數(shù)據(jù)上實現(xiàn)了零漏檢。建筑物變化小目標（圖5），DV-BCD方法也能準確發(fā)現(xiàn)。

圖5 DV-BCD方法在小建筑上的變化檢測結果

在檢測效率方面，DV-BCD方法變化檢測所需時間約為289 s，V-BCD方法所需時間為54 s，雖然增加建筑物點云提取環(huán)節(jié)使得整個變化檢測流程的時間成本更高，但DV-BCD 方法的漏檢率為0%，能夠真正滿足實際應用需求，且虛警率也明顯降低，作業(yè)人員只需花費少量時間對檢測結果進行人工核查。綜上所述，DV-BCD方法增加的變化檢測時間在實際生產(chǎn)中是可以接受的。

3 結 語

針對復雜城市區(qū)域建筑物變化，基于不同類型的影像密集匹配點云，本文提出了DV-BCD方法，將逐點變化檢測和基于對象的變化檢測方法結合起來，在降低逐點變化檢測方法結果虛警的同時，減少了基于對象的變化檢測方法由于未準確提取建筑物帶來的漏檢，從而在避免漏檢的前提下盡可能地減少了提取結果的虛警。以兩期不同類型的影像密集匹配點云為數(shù)據(jù)開展的實驗表明，DV-BCD方法在發(fā)現(xiàn)細小建筑物變化、避免漏檢的同時，對非建筑物變化的虛警較少，能夠在違建查處中發(fā)揮關鍵作用。后續(xù)研究將結合建筑物和易造成虛警的非建筑目標特征，優(yōu)化變化點云判別算法，進一步減少虛警目標。