建筑物立面點(diǎn)云語(yǔ)義分割方法研究

張瑞菊，鄭少開(kāi)，尹建英

(1.北京建筑大學(xué)，北京 102616； 2.建設(shè)綜合勘察研究設(shè)計(jì)院有限公司，北京 100007)

建筑物立面點(diǎn)云語(yǔ)義分割方法研究

張瑞菊1*，鄭少開(kāi)2，尹建英1

(1.北京建筑大學(xué)，北京 102616； 2.建設(shè)綜合勘察研究設(shè)計(jì)院有限公司，北京 100007)

針對(duì)建筑物點(diǎn)云數(shù)據(jù)重建模型自動(dòng)化程度較低的問(wèn)題，提出了一種半自動(dòng)的建筑物特征元素提取方法。首先采用隨機(jī)采樣一致性算法實(shí)現(xiàn)點(diǎn)云分割，將點(diǎn)云分割成不同部分，再依據(jù)建筑物立面各種特征元素之間的尺寸、位置、拓?fù)潢P(guān)系等一系列屬性判斷每一塊點(diǎn)云數(shù)據(jù)的語(yǔ)義信息，實(shí)現(xiàn)了從分割出來(lái)的點(diǎn)云數(shù)據(jù)中自動(dòng)識(shí)別建筑物立面的門(mén)、窗戶(hù)、墻體等特征元素。該方法基本上實(shí)現(xiàn)了點(diǎn)云數(shù)據(jù)的語(yǔ)義分割，為建筑物三維模型的自動(dòng)重建提供了基礎(chǔ)框架。

語(yǔ)義分割；三維重建；建筑物立面點(diǎn)云；點(diǎn)云數(shù)據(jù)處理

1 引 言

目前，對(duì)城市真三維模型的需求越來(lái)越旺盛，城市三維模型在實(shí)際中有著廣泛的應(yīng)用。比如：城市規(guī)劃、安全分析、數(shù)字城市等方面都有重要的應(yīng)用[1]。三維激光掃描技術(shù)的出現(xiàn)為三維建模提供了準(zhǔn)確高效的技術(shù)手段，但是通過(guò)激光掃描儀獲取的原始點(diǎn)云數(shù)據(jù)如果不做任何處理就沒(méi)有實(shí)際任何實(shí)際意義，不能直接從原始點(diǎn)云數(shù)據(jù)中準(zhǔn)確而完整的提取出建筑物立面的細(xì)節(jié)特征門(mén)、窗戶(hù)、墻體等特征元素，這就為建筑物模型的自動(dòng)重建帶來(lái)了困難。因?yàn)辄c(diǎn)云語(yǔ)義分割可以從原始點(diǎn)云數(shù)據(jù)中提取出理想的目標(biāo)點(diǎn)云，所以點(diǎn)云語(yǔ)義分割具有重要意義[2]。

國(guó)內(nèi)外學(xué)者對(duì)點(diǎn)云數(shù)據(jù)分割做了大量的研究工作并取得了一定的研究成果。T.varadyetal最早給出了點(diǎn)云分割的定義：點(diǎn)云數(shù)據(jù)分割就是要將整幅點(diǎn)云分割為多個(gè)子區(qū)域，每個(gè)區(qū)域?qū)?yīng)于一個(gè)自然表面，并且要保證每個(gè)子區(qū)域只包含采集自某一特定自然曲面上的掃描點(diǎn)。李必軍等[3]提出了一套基于建筑物幾何特征的信息挖掘方案，從而可以直接從激光掃描數(shù)據(jù)中提取建筑物的平面外輪廓信息，但是對(duì)建筑物立面的細(xì)節(jié)特征窗戶(hù)、門(mén)、墻體等信息沒(méi)有進(jìn)行提取和研究。劉亞文等[4]提出了一種基于蟻群算法的地面激光掃描數(shù)據(jù)建筑物立面提取方法，該方法可以有效地區(qū)分沿街LiDAR掃描景觀數(shù)據(jù)中建筑物立面和位于其前方的樹(shù)木、街燈、行人、停靠車(chē)輛等遮擋物，但存在一些問(wèn)題：窗戶(hù)框架和窗簾的激光數(shù)據(jù)點(diǎn)在投影俯視圖上與建筑物立面相連，因此這些點(diǎn)也會(huì)作為建筑物立面數(shù)據(jù)點(diǎn)被提取出來(lái)。倪歡等[5]利用面向?qū)ο蟮狞c(diǎn)云分析方法進(jìn)行車(chē)載激光掃描點(diǎn)云數(shù)據(jù)中建筑物立面的識(shí)別，但是存在一定的局限性，建筑立面的提取效果取決于分割效果的好壞，分割效果需要反復(fù)嘗試才能確定最優(yōu)的分割參數(shù)。彭晨等[6]等提出了一種基于移動(dòng)激光掃描點(diǎn)云的建筑物立面半自動(dòng)提取算法。該方法具有較高的精度，對(duì)一般建筑物立面提取比較理想，但對(duì)于比較特殊的建筑物立面，提取效果欠佳。楊必勝[7]提出一種從車(chē)載激光掃描數(shù)據(jù)中提取復(fù)雜建筑物立面的新方法。該方法首先利用“維數(shù)特征”方法確定每個(gè)掃描點(diǎn)的最佳鄰域，進(jìn)而計(jì)算得到每個(gè)掃描點(diǎn)精確的局部幾何特征(法向量、主方向、維數(shù)特征)，然后基于“維數(shù)特征”對(duì)掃描點(diǎn)進(jìn)行粗分類(lèi)，并設(shè)置相應(yīng)的生長(zhǎng)準(zhǔn)則對(duì)不同類(lèi)別的掃描數(shù)據(jù)分別進(jìn)行分割，最后實(shí)現(xiàn)了對(duì)建筑物立面區(qū)域進(jìn)行精確提取，但是計(jì)算量較大。史文中[8]等對(duì)車(chē)載激光掃描系統(tǒng)獲取的距離圖像進(jìn)行分割研究，提出利用投影點(diǎn)密度進(jìn)行距離圖像分割的方法，實(shí)現(xiàn)了建筑物輪廓信息的提取。

從目前的研究狀況來(lái)看，對(duì)于建筑物立面輪廓信息進(jìn)行提取的研究較多，但對(duì)提取詳細(xì)建筑物立面信息的研究較少。對(duì)于精細(xì)城市建筑物模型的重建，只是簡(jiǎn)單的對(duì)建筑物立面輪廓信息進(jìn)行提取是遠(yuǎn)遠(yuǎn)不夠的，不能達(dá)到精細(xì)化建模的要求。因此，針對(duì)無(wú)法從原始點(diǎn)云數(shù)據(jù)中準(zhǔn)確獲取建筑物立面特征元素的問(wèn)題，本文采用隨機(jī)采樣一致性算法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分割，然后再結(jié)合建筑物特征元素之間各種屬性的約束條件對(duì)分割出來(lái)的點(diǎn)云數(shù)據(jù)進(jìn)行語(yǔ)義識(shí)別，從而達(dá)到點(diǎn)云語(yǔ)義分割的目的，為精細(xì)化的建筑物建模提供基礎(chǔ)數(shù)據(jù)。

2 建筑立面點(diǎn)云分割

由于客觀場(chǎng)景中物體復(fù)雜多樣，外形沒(méi)有統(tǒng)一的規(guī)則，所以無(wú)法用某一個(gè)特征信息來(lái)確定物體所屬種類(lèi)，加之點(diǎn)云數(shù)據(jù)具有散亂、無(wú)組織、含有噪聲等特點(diǎn)[9]，這就決定點(diǎn)云數(shù)據(jù)的語(yǔ)義分割是一項(xiàng)具有挑戰(zhàn)性的工作。客觀物體表面是理想數(shù)學(xué)曲面的較少，只有少數(shù)特定的物體具有良好的幾何特性。比如：地面點(diǎn)云和建筑物的墻面點(diǎn)云可以看作是理想的幾何平面、路燈桿的表面可以看作是圓柱面等，所以采用理想的幾何表面對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行擬合來(lái)達(dá)到點(diǎn)云語(yǔ)義分割的目的。因此本文做出如下假設(shè)：①建筑物立面點(diǎn)云垂直地面點(diǎn)云；②建筑物立面特征元素的點(diǎn)云也近似看作空間平面。在進(jìn)行建筑物立面點(diǎn)云數(shù)據(jù)分割之前對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行相關(guān)處理，因?yàn)橛谜据d三維激光掃描儀獲取的點(diǎn)云數(shù)據(jù)一般數(shù)據(jù)量較大而且存在噪聲，所以在對(duì)點(diǎn)云數(shù)據(jù)語(yǔ)義分割之前對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理，處理流程如圖1所示。

圖1 點(diǎn)云數(shù)據(jù)預(yù)處理流程

最終獲取的點(diǎn)云數(shù)據(jù)如圖2所示。

圖2 原始點(diǎn)云數(shù)據(jù)

本文采用RANSAC算法進(jìn)行點(diǎn)云數(shù)據(jù)分割。RANSAC算法最早由Fischler和Bolles于1981年提出，它可以從一組含有噪聲的觀測(cè)數(shù)據(jù)集中，通過(guò)迭代計(jì)算的方式估算數(shù)學(xué)模型參數(shù)，從而得到有效的樣本數(shù)據(jù)[10]。RANSAC是一種不確定的算法，只能以一定的概率獲得一個(gè)合理的結(jié)果，為了提高結(jié)果的合理程度必須提高迭代次數(shù)。要保證在一定的置信度下基本子集最小抽樣數(shù)N與至少取得一個(gè)良好抽樣子集的概率P滿(mǎn)足如下關(guān)系式。

P=1-(1-εK)N

(1)

式中：ε為局內(nèi)點(diǎn)與數(shù)據(jù)集點(diǎn)數(shù)的比值；k為計(jì)算模型參數(shù)需要的最小數(shù)據(jù)量；p一般取值為0.9～0.99。對(duì)式(1)兩邊取對(duì)數(shù)可得

(2)

RANSAC是一種穩(wěn)健的算法，對(duì)噪聲有一定的抑制作用，能夠較好的分割出建筑立面特征元素門(mén)、窗、墻體等。點(diǎn)云兩點(diǎn)之間的距離越近，其屬于同一模型的可能性就越大[11]，因此本文采用八叉樹(shù)數(shù)據(jù)結(jié)構(gòu)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行組織，便于對(duì)相鄰點(diǎn)云數(shù)據(jù)進(jìn)行快速索引。在三維空間中，確定一個(gè)平面模型參數(shù)需要三個(gè)點(diǎn)，對(duì)建筑物立面進(jìn)行點(diǎn)云分割時(shí)隨機(jī)選取一點(diǎn)，通過(guò)八叉樹(shù)索引其他鄰近的兩個(gè)點(diǎn)然后依據(jù)式(3)來(lái)計(jì)算此平面模型的參數(shù)。

ax+by+cz=d

(3)

實(shí)現(xiàn)建筑物立面分割的效果如圖3所示。

圖3 點(diǎn)云分割結(jié)果

3 建筑物立面特征元素識(shí)別

雖然建筑物立面特征元素被分割出來(lái)，但機(jī)器并不能自動(dòng)從分割出來(lái)的點(diǎn)云塊中識(shí)別出具體的點(diǎn)云塊所屬種類(lèi)。地面雖然不是建筑物立面的語(yǔ)義元素，但是率先把地面識(shí)別出來(lái)對(duì)于識(shí)別出建筑物立面的其他特征元素是很有幫助的。分割出來(lái)的點(diǎn)云塊屬性包括：面積、方向和拓?fù)潢P(guān)系等屬性信息，依據(jù)這些屬性信息可以對(duì)分割出來(lái)的點(diǎn)云塊進(jìn)行語(yǔ)義識(shí)別。采用凸包代替每一個(gè)分割出來(lái)的點(diǎn)云塊，用凸包面積的大小近似代替點(diǎn)云塊面積的大小；用凸包的幾何中心到墻體的距離近似代替點(diǎn)云塊的位置；用凸包之間的拓?fù)潢P(guān)系近似代替點(diǎn)云塊之間的拓?fù)潢P(guān)系。本文以自動(dòng)識(shí)別建筑物立面特征元素門(mén)為例給出了自動(dòng)識(shí)別語(yǔ)義信息的算法流程，其他建筑物立面特征元素的識(shí)別與此類(lèi)似，在此不再累述，門(mén)元素識(shí)別算法流程如圖4所示。

圖4 門(mén)元素識(shí)別算法流程

其中，hull[i](i=0，1，2，3，…n)表示分割出的點(diǎn)云塊序列；min表示預(yù)估門(mén)的最小面積值；max表示預(yù)估門(mén)的最大面積值；d代表點(diǎn)云塊的中心到墻體距離的限值。利用上述算法流程成功地實(shí)現(xiàn)了特征元素的識(shí)別，分別識(shí)別出了地面、墻體、門(mén)、窗戶(hù)等特征元素。

地面：盡管地面不是建筑物立面的語(yǔ)義特征，但是識(shí)別出地面能夠讓識(shí)別出其他建筑物立面特征元素變得更加容易。比如窗戶(hù)和門(mén)的尺寸相近，然而門(mén)是與地面相交而窗戶(hù)與地面不相交，地面相對(duì)來(lái)說(shuō)面積最大，并且處在最低處，如圖5所示地面的識(shí)別結(jié)果。

圖5 地面點(diǎn)云的語(yǔ)義分割圖

墻體：墻體是最重要的建筑物立面特征元素，并且其他建筑物立面特征的識(shí)別也依賴(lài)于墻體的識(shí)別。墻體相對(duì)來(lái)說(shuō)面積較大，與地面垂直并相交，如圖6所示墻體的識(shí)別結(jié)果。

圖6 墻體的語(yǔ)義分割圖

門(mén)：門(mén)的面積有特定的取值范圍，它在墻上、垂直于地面并與地面相交，圖7所示門(mén)的識(shí)別結(jié)果。

圖7 門(mén)的語(yǔ)義分割圖

窗戶(hù)：窗戶(hù)和門(mén)一樣其面積也有一定的取值范圍，它在墻上并且與地面垂直，窗戶(hù)在所有分割出來(lái)的點(diǎn)云塊中密度最低，因?yàn)榇皯?hù)透光性較好，激光的反射率較低，圖8所示窗戶(hù)的識(shí)別結(jié)果。

圖8 窗體的語(yǔ)義分割圖

通過(guò)對(duì)建筑物立面點(diǎn)云的語(yǔ)義分割研究，我們就可以對(duì)分割出來(lái)的點(diǎn)云塊賦予語(yǔ)義信息，讓機(jī)器具有人眼的辨識(shí)能力，用不同的顏色代表不同的建筑物立面特征元素，用紅色表示墻體，用黃色表示門(mén)，用藍(lán)色表示窗戶(hù)，語(yǔ)義分割結(jié)果如圖9所示。

圖9 建筑物立面語(yǔ)義分割圖

4 結(jié) 論

本文采用的方法實(shí)現(xiàn)了建筑物立面特征元素的半自動(dòng)語(yǔ)義分割。主要分為兩個(gè)步驟：第一步采用隨機(jī)采樣一致性算法實(shí)現(xiàn)建筑物立面點(diǎn)云數(shù)據(jù)的分割；第二步運(yùn)用建筑物立面特征元素的長(zhǎng)度、面積、空間拓?fù)潢P(guān)系等約束條件從分割出的點(diǎn)云數(shù)據(jù)中去識(shí)別墻體、窗戶(hù)和門(mén)等建筑物特征元素，實(shí)現(xiàn)了建筑物立面點(diǎn)云的語(yǔ)義分割。但是研究也存在一些不足：①對(duì)于分割實(shí)驗(yàn)數(shù)據(jù)要求較為嚴(yán)格，需要選取的點(diǎn)云數(shù)據(jù)盡量為平面，否則會(huì)出現(xiàn)過(guò)度分割和分割不足的問(wèn)題；②識(shí)別的準(zhǔn)確度有待提高，有時(shí)算法會(huì)誤將門(mén)識(shí)別為窗戶(hù)，所以該算法有一定的局限性。未來(lái)工作的重點(diǎn)是提高分割算法的適用性和識(shí)別的準(zhǔn)確度。

[1] 李孟迪，蔣勝平，王紅平. 基于隨機(jī)抽樣一致性算法的穩(wěn)健點(diǎn)云平面擬合方法[J]. 測(cè)繪科學(xué)，2015(1)：102～106.

[2] Zhang Ruiju，Wang Yanmin，Li Derenet al.. Segmentation of wooden members of ancient architecture from range image. Proceedings of SPIE Vol.6419. Geoinforamtics 2006，pp. 64191K. Wuhan China，2006.

[3] 李必軍，方志祥，任娟. 從激光掃描數(shù)據(jù)中進(jìn)行建筑物特征提取研究[J]. 武漢大學(xué)學(xué)報(bào)·信息科學(xué)版，2003(1)：65～70.

[4] 劉亞文，龐世燕，左志奇. 蟻群算法的建筑立面點(diǎn)云數(shù)據(jù)提取[J]. 武漢大學(xué)學(xué)報(bào)·信息科學(xué)版，2012，11：1307～1310.

[5] 倪歡，張繼賢，段敏燕等. 面向?qū)ο蟮能?chē)載激光掃描點(diǎn)云建筑物立面提取[J]. 測(cè)繪科學(xué)，2014(4)：92～96.

[6] 彭晨，余柏蒗，吳賓等. 基于移動(dòng)激光掃描點(diǎn)云特征圖像和SVM的建筑物立面半自動(dòng)提取方法[J]. 地球信息科學(xué)學(xué)報(bào)，2016(7)：878～885.

[7] 楊必勝，董震，魏征等. 從車(chē)載激光掃描數(shù)據(jù)中提取復(fù)雜建筑物立面的方法[J]. 測(cè)繪學(xué)報(bào)，2013(3)：411～417.

[8] 史文中，李必軍，李清泉. 基于投影點(diǎn)密度的車(chē)載激光掃描距離圖像分割方法[J]. 測(cè)繪學(xué)報(bào)，2005(2)：95～100.

[9] 魏征. 車(chē)載LiDAR點(diǎn)云中建筑物的自動(dòng)識(shí)別與立面幾何重建[D]. 武漢：武漢大學(xué)，2012.

[10] 胡偉，盧小平，李珵等. 基于改進(jìn)RANSAC算法的屋頂激光點(diǎn)云面片分割方法[J]. 測(cè)繪通報(bào)，2012，11：31～34+46.

BuildingFacadePointCloudSemanticSegmentationMethodResearch

Zhang Ruiju1，Zheng Shaokai2，Yin Jianying1

(1.Beijing University of Civil Engineering and Architecture，Beijing 102616，China；2.China Institute of Geotechnical Investigation and Surveying，Beijing 100007，China)

This paper introduces a semi-automatic method for extract building characteristic elements to solve the low automation for the reconstruction model of building point cloud data. the building features. First，it adopts the RANSAC(random sample consensus algorithm)to divide pointcloud into different sections，and then determines the semantic information of every point cloud data on the basis of various characters including the size，the position and topotaxy among the all kinds of elements of the building facade，thereby automatically recognizing doors，windows，walls and other characteristic elements of the building facade from the split-off point cloud data. Such a method basically achieves the semantic segmentation of point cloud data and provides the basic framework for the automatic reconstruction of three-dimensional building model.

semantic segmentation；three dimensional reconstruction；building facade point cloud；point cloud data processing

1672-8262(2017)05-22-04

P237，P234.4

A

2017—07—14

張瑞菊(1978—)，女，講師，研究方向：三維精細(xì)模型重構(gòu)及激光雷達(dá)數(shù)據(jù)處理。

鄭少開(kāi)(1988—)，男，助理工程師，研究方向：三維激光掃描及近景攝影測(cè)量在文物保護(hù)中的應(yīng)用。

國(guó)家自然科學(xué)基金項(xiàng)目(41501495，41261086)；精密工程精密工程與工業(yè)測(cè)量國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金項(xiàng)目(PF2013-1)

本論文獲得2017年“華正杯”城市勘測(cè)優(yōu)秀論文二等獎(jiǎng)。