一種室內(nèi)建筑點(diǎn)云平面圖快速生成方法＊

閆龍，張偉

一種室內(nèi)建筑點(diǎn)云平面圖快速生成方法＊

閆龍1，張偉2

（1.山東工商學(xué)院 管理科學(xué)與工程學(xué)院，山東 煙臺(tái) 264005；2.山東工商學(xué)院 信息與電子工程學(xué)院，山東 煙臺(tái) 264005）

針對(duì)三維點(diǎn)云數(shù)據(jù)展開處理，提出了一種室內(nèi)環(huán)境建筑立面圖的快速生成方法。首先將點(diǎn)云數(shù)據(jù)經(jīng)過網(wǎng)格中值濾波算法進(jìn)行數(shù)據(jù)精簡(jiǎn)，然后基于抽樣一致性算法（RANSAC）建立新的坐標(biāo)系，并將點(diǎn)云在、、方向進(jìn)行新坐標(biāo)系內(nèi)對(duì)齊。去除屋頂和地面后將點(diǎn)云向XOY平面內(nèi)投影，利用簡(jiǎn)化的LSD算法檢測(cè)線段得到墻壁的精確位置。該方法減少了墻面、地面等大平面的檢測(cè)過程，可以快速得出室內(nèi)建筑墻壁的平面圖。經(jīng)過實(shí)驗(yàn)結(jié)果對(duì)比，比同類算法速度更快，墻壁位置定位更精確。

RGB-D；RANSAC；概率密度；室內(nèi)環(huán)境

1 研究現(xiàn)狀

場(chǎng)景理解是人工智能的重要研究方向，在機(jī)器人導(dǎo)航、虛擬顯示、自動(dòng)駕駛及遙感測(cè)量等領(lǐng)域有廣泛的應(yīng)用。隨著計(jì)算機(jī)視覺、人工智能技術(shù)以及機(jī)器人技術(shù)的發(fā)展，越來越多學(xué)者針對(duì)三維場(chǎng)景理解的關(guān)鍵技術(shù)展開了大量研究[1-3]。場(chǎng)景理解是機(jī)器人對(duì)場(chǎng)景進(jìn)行推斷和認(rèn)知的過程，目前主要包含目標(biāo)檢測(cè)與識(shí)別、物體之間關(guān)系推理以及語義分割等內(nèi)容。

根據(jù)場(chǎng)景理解的對(duì)象不同大致可分為室內(nèi)室外兩大類，室外場(chǎng)景主要針對(duì)道路、汽車、行人等對(duì)象；室內(nèi)場(chǎng)景主要包括地板、墻面、天花板、桌子、椅子、沙發(fā)、床、衣柜、箱子等基本要素和其他雜物。

根據(jù)數(shù)據(jù)來源不同，對(duì)室內(nèi)建筑的理解研究大致可分為三類：①以圖像為對(duì)象。徐風(fēng)堯等[4]利用深度學(xué)習(xí)模型對(duì)室內(nèi)樓道環(huán)境分析，將樓道環(huán)境對(duì)象分為路、門、窗戶、消防栓、門把手和背景六類，實(shí)現(xiàn)了對(duì)象的分割與識(shí)別。劉天亮等[5]提出了一種由粗到精的室內(nèi)場(chǎng)景空間布局估計(jì)方法，采用VGG-16全卷積神經(jīng)網(wǎng)絡(luò)對(duì)彩色圖像進(jìn)行處理，預(yù)測(cè)了室內(nèi)的布局類別。②以激光點(diǎn)云三維數(shù)據(jù)為對(duì)象。IKEHATA等[6]根據(jù)點(diǎn)云計(jì)算視點(diǎn)空間，進(jìn)行分割優(yōu)化后提出了室內(nèi)環(huán)境空間結(jié)構(gòu)模型。賈小鳳等[7]利用點(diǎn)云數(shù)據(jù)進(jìn)行了精細(xì)化建模。③圖像與點(diǎn)云的結(jié)合。GUPTA等[8]利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）在雜亂的RGB-D圖像中識(shí)別了場(chǎng)景內(nèi)容（桌、椅、床等），估算目標(biāo)對(duì)象的位置并在數(shù)據(jù)庫中檢索對(duì)應(yīng)的模型以替換掉數(shù)據(jù)不完整的目標(biāo)。代具亭等[9]提出了一個(gè)基于RGB-D數(shù)據(jù)的場(chǎng)景語義網(wǎng)絡(luò)，提高了語義分割的準(zhǔn)確率。

本文主要針對(duì)RGB-D數(shù)據(jù)的室內(nèi)場(chǎng)景展開研究。目前研究中，利用RGB-D點(diǎn)云數(shù)據(jù)進(jìn)行室內(nèi)環(huán)境的理解有以下三個(gè)難點(diǎn)：①室內(nèi)環(huán)境比較復(fù)雜，雜物比較多，相互之間可能存在遮擋，此時(shí)物體因?yàn)檎趽鯇?dǎo)致信息不全難以識(shí)別； ②玻璃窗戶、鏡面或其他非漫反射的部分難以獲得較好的三維點(diǎn)云數(shù)據(jù)，對(duì)環(huán)境理解造成較大的干擾；③大范圍環(huán)境內(nèi)采集的數(shù)據(jù)噪聲較多，點(diǎn)云碎片化嚴(yán)重，對(duì)場(chǎng)景分割和理解帶來很大的困難。室內(nèi)環(huán)境三維點(diǎn)云如圖1所示。

圖1 室內(nèi)環(huán)境三維點(diǎn)云

對(duì)圖像的理解可以靠大量的標(biāo)注樣本數(shù)據(jù)庫進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)加以分類，而利用點(diǎn)云數(shù)據(jù)完成室內(nèi)環(huán)境理解的研究則難以使用此類方法，因?yàn)辄c(diǎn)云是離散的點(diǎn)，難以進(jìn)行標(biāo)注，深度學(xué)習(xí)的方法在此并不適用。因此在本文中利用幾何和統(tǒng)計(jì)學(xué)的方法研究點(diǎn)云的理解問題。

在研究中發(fā)現(xiàn)：如果能將點(diǎn)云中的屋頂、地面、墻壁首先識(shí)別并分離出來，即可得到建筑的總體格局，也可對(duì)每個(gè)房間獨(dú)立分析；在去除屋頂和地面后大部分的家具或其他障礙物的點(diǎn)云失去了連接的部分，自然被獨(dú)立出來。

通過以上兩點(diǎn)可知，墻壁的識(shí)別是室內(nèi)環(huán)境分析的突破口。本文即從墻壁的特征著手，將三維點(diǎn)云經(jīng)過濾波、降維、坐標(biāo)轉(zhuǎn)換、形態(tài)學(xué)計(jì)算等過程，最終提取出室內(nèi)環(huán)境的建筑平面圖。

2 算法過程

本文采用了Satoshi Ikehata的數(shù)據(jù)，其中apartment1部分共分為16個(gè)空間，每個(gè)空間由多幅RGB-D數(shù)據(jù)經(jīng)過ICP算法進(jìn)行了整合，形成了一幅全景數(shù)據(jù)。每個(gè)空間約300 000個(gè)點(diǎn)。每個(gè)點(diǎn)包含了height、width、、、、red、green、blue、x、y、z、intensity 12個(gè)分量。其中、、為三維坐標(biāo)值，red、green、blue為點(diǎn)的顏色分量，x、y、z為該點(diǎn)的法向量，intensity為點(diǎn)的灰度值。

2.1 基于網(wǎng)格的點(diǎn)云濾波

在獲取點(diǎn)云數(shù)據(jù)時(shí)，由于設(shè)備精度，操作者經(jīng)驗(yàn)環(huán)境因素帶來的影響，以及電磁波的衍射特性，被測(cè)物體表面性質(zhì)變化和數(shù)據(jù)拼接配準(zhǔn)操作過程的影響，點(diǎn)云數(shù)據(jù)中不可避免出現(xiàn)一些噪聲。在點(diǎn)云處理流程中濾波處理作為預(yù)處理的第一步，對(duì)后續(xù)的影響比較大。點(diǎn)云濾波過程將點(diǎn)云數(shù)據(jù)中的孤點(diǎn)、噪點(diǎn)、孔洞等識(shí)別并去除，將點(diǎn)云中的數(shù)據(jù)精簡(jiǎn)壓縮，減少運(yùn)算量，才能夠更好進(jìn)行配準(zhǔn)、特征提取、曲面重建、可視化等后續(xù)處理。常用的點(diǎn)云濾波處理算法包括Bilateral雙邊濾波、Gaussian高斯濾波、條件濾波、直通濾波、基于隨機(jī)采樣一致性濾波等。

本文中采用網(wǎng)格中值法進(jìn)行濾波，依據(jù)點(diǎn)云范圍建立三維網(wǎng)格，網(wǎng)格疏密可根據(jù)精簡(jiǎn)比例調(diào)整。統(tǒng)計(jì)落在各網(wǎng)格內(nèi)的點(diǎn)，并計(jì)算平均值和中值。網(wǎng)格法點(diǎn)云濾波如圖2所示。在三維網(wǎng)格內(nèi)利用中值點(diǎn)（圖2中黑點(diǎn)所示）代替網(wǎng)格內(nèi)所有點(diǎn)。網(wǎng)格內(nèi)幾何中值點(diǎn)可由以下公式確定：

函數(shù)表示兩點(diǎn)間的距離，具體為：

式（1）中：i坐標(biāo)為（i，i，i），j坐標(biāo)為（j，j，j）。原始數(shù)據(jù)為4 933 156點(diǎn)，經(jīng)過該方法精簡(jiǎn)后為3 197 368點(diǎn)，為原來的64.8%。

圖2 網(wǎng)格法點(diǎn)云濾波

2.2 點(diǎn)云坐標(biāo)系對(duì)齊

基于RANSAC算法的點(diǎn)云坐標(biāo)對(duì)齊如圖3所示。原始數(shù)據(jù)中，點(diǎn)云坐標(biāo)系與世界坐標(biāo)系有一定偏差，如圖3（a）所示。為了方便后續(xù)的數(shù)據(jù)處理，在此對(duì)數(shù)據(jù)進(jìn)行對(duì)齊處理。根據(jù)Manhattan假設(shè)，室內(nèi)環(huán)境可認(rèn)為存在于、、三方向垂直的坐標(biāo)系中，在此尋找點(diǎn)云數(shù)據(jù)的、、方向，并建立旋轉(zhuǎn)矩陣使點(diǎn)云坐標(biāo)系與世界坐標(biāo)系對(duì)齊。

新坐標(biāo)系可由如下方法獲得：首先選擇z>0.9的點(diǎn)，采用隨機(jī)抽樣一致性方法（RANSAC）確定軸向量。向量與所有點(diǎn)的法向量相乘，找到與向量垂直的兩個(gè)方向，選其中之一為方向。向量與向量叉乘，計(jì)算得出與、相互垂直的正交方向，得到點(diǎn)云坐標(biāo)系--。

根據(jù)公式（1）將點(diǎn)云旋轉(zhuǎn)，使點(diǎn)云坐標(biāo)系和世界坐標(biāo)系重合，新坐標(biāo)new如圖3（b）所示，可以看出點(diǎn)云坐標(biāo)系與世界坐標(biāo)系達(dá)成了一致。

圖3 基于RANSAC算法的點(diǎn)云坐標(biāo)對(duì)齊

2.3 直線檢測(cè)與點(diǎn)云抽取

將點(diǎn)云投影到面，把數(shù)據(jù)維度從3D降到2D，大大降低了計(jì)算復(fù)雜度O。從幾何角度看，點(diǎn)云數(shù)據(jù)投影到面后，墻面處聚集的點(diǎn)較多，投影點(diǎn)的密度也較大。天花板或地面投影后點(diǎn)分布較為均勻，密度也較小。利用該特征可以把墻面與天花板分割開。

通過建立坐標(biāo)直方圖來去除地面和天花板點(diǎn)云。然后利用簡(jiǎn)化的LSD方法檢測(cè)直線段，采用下面兩個(gè)步驟完成線段的檢測(cè)與融合：①梯度和方向計(jì)算。計(jì)算各點(diǎn)梯度值，將點(diǎn)按照梯度值排序，梯度值越大即具有顯著邊緣特性的點(diǎn)作為種子點(diǎn)，把梯度劃分成20個(gè)等級(jí)，以種子點(diǎn)開始從梯度最高的等級(jí)依次向下搜索，直至所有點(diǎn)變?yōu)閁SED。②直線區(qū)域增長(zhǎng)。由種子點(diǎn)搜索角度滿足并且狀態(tài)為UNUSED的點(diǎn)（八鄰域）形成直線區(qū)域。鄰域內(nèi)在角度承受范圍 （﹣11.25～11.25°）內(nèi)滿足整個(gè)區(qū)域的方向角的點(diǎn)加入到這個(gè)區(qū)域。

檢測(cè)結(jié)果如圖4所示，圖中紅線為檢測(cè)到的線段，線段所在的位置即代表墻壁立面點(diǎn)云的位置；黑點(diǎn)為墻壁立面在坐標(biāo)系的投影點(diǎn)。

圖4 檢測(cè)結(jié)果對(duì)比

從圖4可以看出，線段幾乎覆蓋了所有的投影點(diǎn)，檢測(cè)結(jié)果較為完整。

在獲取墻壁直線圖后，根據(jù)坐標(biāo)位置可抽取到對(duì)應(yīng)的立面點(diǎn)云如圖5所示。

圖5 墻壁立面點(diǎn)云

3 實(shí)驗(yàn)及結(jié)論

數(shù)據(jù)中有3 135 466個(gè)點(diǎn)，在筆記本i7-6700 CPU+16G RAM+MatlabR2015平臺(tái)上運(yùn)行。Ikehata的結(jié)果得到的點(diǎn)比較多，但同時(shí)保留了較多的噪點(diǎn)，運(yùn)用本文方法得到了大部分墻壁的結(jié)構(gòu)，噪點(diǎn)比較少。Ikehata用時(shí)76.25 s，本文用時(shí)16.45 s，時(shí)間僅為原來的1/5。從效率來看，本文方法速度更快；從提取效果上看，采用本文方法的噪點(diǎn)減少了很多，且能識(shí)別出房屋建筑的主要結(jié)構(gòu)。經(jīng)驗(yàn)證，減少的噪點(diǎn)大部分是玻璃等物品的鏡面反射所引起的。

本文基于Manhattan假設(shè)對(duì)室內(nèi)環(huán)境點(diǎn)云進(jìn)行了分析，通過濾波、坐標(biāo)對(duì)齊和直線檢測(cè)等步驟提取了建筑立面結(jié)構(gòu)，算法速度更快，檢測(cè)的線段很好地反映了建筑立面所在的位置與結(jié)構(gòu)。根據(jù)此結(jié)果可迅速建立三維模型圖。

［1］PHAM Q，HUA B，NGUYEN T，et al.Real-Time progressive 3D semantic segmentation for indoor scenes［C］//IEEE Winter Conference on Applications of Computer Vision，2019.

［2］CHEN Y，MENSINK T，GAVVES E.3D neighborhood convolution：learning depth-aware features for RGB-D and RGB semantic segmentation［C］//International Conference on 3D Vision，2019.

［3］HU Y，CHEN Z，LIN W.RGB-D semantic segmentation：a review［C］//IEEE International Conference on Multimedia & Expo Workshops，2018.

［4］徐風(fēng)堯，王恒升.移動(dòng)機(jī)器人導(dǎo)航中的樓道場(chǎng)景語義分割［J］.計(jì)算機(jī)應(yīng)用研究，2018，35（6）：1863-1866.

［5］劉天亮，馮希龍，顧雁秋，等.一種由粗至精的RGB-D室內(nèi)場(chǎng)景語義分割方法［J］.東南大學(xué)學(xué)報(bào)（自然科學(xué)版），2016（4）：681-687.

［6］IKEHATA S，YANG H，F(xiàn)URUKAWA Y.Structured Indoor Modeling［C］//2015 IEEE International Conference on，2015.

［7］賈小鳳，呂棟，姜傳苓，等.基于激光點(diǎn)云數(shù)據(jù)的室內(nèi)精細(xì)三維模型建立［J］.北京測(cè)繪，2018（11）：1281-1284.

［8］GUPTA S，ARBELAEZ P，GIRSHICK R，et al.Aligning 3D models to RGB-D images of cluttered scenes［C］//2015 IEEE Conference on Computer Vision，2015.

［9］代具亭，湯心溢，劉鵬，等.基于彩色-深度圖像和深度學(xué)習(xí)的場(chǎng)景語義分割網(wǎng)絡(luò)［J］.科學(xué)技術(shù)與工程，2018（20）：286-291.

TP391

A

10.15913/j.cnki.kjycx.2020.01.066

2095－6835（2020）01－0159－03

閆龍（1981—），男，山東泰安人，博士，副教授，主要研究方向?yàn)闄C(jī)器視覺與智能制造。張偉，男，碩士研究生。

山東省教育廳高等學(xué)校科技計(jì)劃（編號(hào)：J17KA068）資助

〔編輯：嚴(yán)麗琴〕