顧及幾何及顏色信息的傾斜影像立面點云提取

周行行， 鄒崢嶸， 張云生， 鄭特

(中南大學地球科學與信息物理學院，長沙 410083)

?

顧及幾何及顏色信息的傾斜影像立面點云提取

周行行， 鄒崢嶸， 張云生， 鄭特

(中南大學地球科學與信息物理學院，長沙 410083)

針對建筑物立面自動提取難題，根據多角度航空傾斜影像密集匹配生成的三維點云，提出了一種顧及點云幾何及顏色信息的建筑物立面點云自動提取方法。首先通過計算三維點云中各點對應的法向量，并根據法向量方向進行粗略的分割； 然后根據各點的顏色信息剔除植被點云； 在此基礎上剔除少量地面點，通過基于聚類分析的后處理獲取立面點云。利用2組數據進行了實驗，結果表明,本文方法能夠自動提取出建筑物的立面，立面的完整性和正確性都大于90%，準確率大于83%，為后續立面的重建提供了基礎。

傾斜攝影； 立面提取； 點云； 法向量； 聚類分析

0 引言

關于激光點云數據立面提取的方法已經有較多研究，如李必軍等[3-4]通過投影點密度和閾值分割的方式實現建筑物邊界的提取; 魏征等[5]改進了點投影密度的缺點，提出了一種新的特征圖像生成方法; Shahzad等[6]提出TomoSAR數據的定向散射密度估計方法，并結合立面的幾何形態，采用聚類、分割等算法優化，分割出立面點。這些方法雖然取得了一定的進展，但是難以直接應用于傾斜影像密集匹配生成的三維點云。目前有關傾斜影像的立面提取方法較少，如Hohmann等[7]采用GML形狀語法，在立面圖像中人為地確定語法規則; Musialski等[8]是基于圖像的半自動化立面建模，該方法結合了一致性概念，但需進行人工同步編輯; Teeravech等[9]在立面圖像中利用隨機抽樣一致性算法發現重復模式，通過在主結構中發現重復模式(如窗戶、陽臺等)，此算法實際應用易受噪聲影響，建立在重復模式是規則分布的假設上。Xiao等[10]提出一種基于圖像的交互式方法，利用啟發式分離方法自動細分立面，但該方法需大量的用戶交互。黃敏兒等[11]提出了一種利用傾斜影像生成的像素高度圖來識別和提取三維建筑物目標的方法。

針對以上方法的不足，本文提出一種顧及幾何及顏色信息的傾斜影像立面點云提取方法，根據點云數據中的法向量幾何信息和對應影像的光譜信息提取立面點云有良好的完整性和正確性。

1 建筑物立面提取方法

圖1為本文提出的點云立面提取方法流程。

圖1 傾斜點云立面提取重建流程圖

對于航空傾斜攝影系統采集的多角度傾斜影像密集匹配生成的點云，首先利用法向量對點云進行初始分割； 然后根據顏色信息剔除大部分的植被點，并采用漸近三角網加密的方法[12]獲取數字高程模型(digital elevation model,DEM)，從而剔除掉點云中的地面點； 最后利用聚類算法將以上步驟獲取的點云進行聚類，根據點云的數量和點間距剔除非立面點，實現立面點云的提取。

本文試驗數據為某城市區域的2組傾斜點云以及對應的傾斜影像，其中一組數據如圖2所示，圖2(a)為點云，圖2(b)為其對應的傾斜影像。

(a) 點云 (b) 傾斜影像

圖2 點云和對應的傾斜影像

Fig.2 Oblique image and point cloud

1.1 基于法向量的立面點云提取

本文中，假設城市區域的傾斜點云主要包含了3種對象： 建筑物、植被和地面。其中建筑物又可以看成由立面和屋頂組成。這4類對象在三維點云和2維影像顏色上表現出不同的特征。對于立面，幾乎垂直地面，位于墻上的各點緊密相鄰，有著幾乎水平的法向量； 對于植被，鄰近點的位置不規則且點密度稀疏，各點的法向量分布通常也不規則，對應的點云在原始傾斜影像中的光譜特征與其他對象有著明顯區別； 對于地面點和屋頂，表面平滑，法向量異于立面對象； 其他對象的點密度小且高度相對很低。

根據以上特征，首先計算所有點的法向量，保留法向量與水平面夾角度小于δA的點。為了保證立面點在該步過濾中不損失，δA取經驗值40。由于植被上的大部分點也有著近于水平的法向量，植被點在初次濾波中不能完全被過濾，植被的大部分點也被保留。原始點云數據基于法向量方向濾波前后的結果如圖3所示。

反應壽險需求的指標較多，在這里我們考慮數據的可得性和人口數量對壽險需求的影響，選取人均壽險保費收入(元)Y來作為被解釋變量。

(a) 處理前 (b) 處理后

圖3 基于法向量的立面點云初步提取結果

Fig.3 Segmentation result according to normal information

1.2 基于顏色信息的植被點云過濾

經過法向量方向濾波后，結果點云中主要是建筑物立面點和植被點以及少量的地面點。考慮到植被點對應的綠色波段值相對較高，根據點云和影像的對應關系獲取每個點的顏色值(RGB)，利用綠化率(GreenRatio)來識別樹木、草地等植被[13]，即

(1)

式中：R，G，B分別表示點在原影像中對應的紅色、綠色和藍色波段亮度值。

根據實驗可以發現，植被點云的綠化率在0.20～0.35之間，因此根據綠化率去除大部分植被點，但由于樹木上的一些點位于樹葉間的陰影點，不具有正常綠色植被點的光譜特征，所以這些特殊的植被點仍被保留，基于顏色信息過濾前后的結果如圖4所示。

(a) 顏色信息過濾前的點云(b) 顏色信息過濾前點云在影像上的對應位置

(c) 顏色信息過濾后的點云(d) 顏色信息過濾后點云在影像上的對應位置

圖4 基于顏色信息的植被點云過濾

Fig.4 Point cloud filtering based on spectral feature

1.3 地面點的去除

經過1.2節初始分割后，立面點幾乎都被提取出來了，但依然混有少量植被及地面點。可以發現這些非立面點的分布有離散且不規則的特點。

針對少量的地面點，本文采用漸進三角網加密算法進行非地面點和地面點的分離，以過濾掉經初始分割和顏色信息處理后點云中殘留的少量地面點。經過該算法處理后，聚集在植被附近的地面點以及建筑物下的地面點被剔除，同時使得植被類附近的點變得更加稀疏。去除地面點前后及局部效果如圖5所示。

(a) 去除地面點前的點云(b) 去除地面點處理前局部影像效果

(c) 去除地面點后的點云(d) 去除地面點處理后局部影像效果

圖5 地面點去除結果

Fig.5 Result of removing the ground points

1.4 基于聚類分析的立面提取結果后處理

將上步結果點云投影到對應影像中可發現，建筑物立面點幾乎全被提取出來，剩下的噪聲點主要集中在樹木的陰影處和距離地面一定高度的車身側面，分布離散且數量較少。因此，首先采用密度聚類方法[14]將保留的點聚集成簇群,由于植被點相對離散，點密度較小，故保留點數大于500以及點間距小于2.0 m的點； 第一次聚類后仍有少量的植被點和車身側面點，這些點相對集中，密度較大，須進行第二次聚類，保留點數大于2 000以及點間距小于1.5 m的點，結果如圖6所示。

(a) 初次聚類 (b) 二次聚類

圖6 聚類后優化結果

Fig.6 Clustering results

2 實驗與結果分析

為了驗證本文方法，采用了2組數據進行試驗。第一組數據如圖2所示； 第二組數據如圖7所示。為了對實驗結果進行定量分析，采用人機交互的方式標記出參考立面點云，圖8為兩組數據的參考立面在原始傾斜影像中的投影。

(a) 點云 (b) 傾斜影像

圖7 第二組數據

Fig.7 The second group data

(a) 第一組(b) 第二組

圖8 參考立面

Fig.8 Reference facades

圖9為兩組數據提取結果的投影圖。將原始點云中的點分為立面點和非立面點2類，通過本文方法識別的立面點且為參考立面中的點定義為“正確點”(true positive, TP)，如圖9中藍色顯示的點； 本文方法未識別的立面點但是為參考立面點，定義為“遺漏點”(false negative, FN)，如圖9中綠色顯示的點； 本文方法中識別的立面點但不是參考立面點，定義為“錯誤點”(false positive, FP)，如圖9中紅色顯示的點。

(a) 第一組(b) 第二組

圖9 立面提取結果

Fig.9 Results of facade extraction

本文采用文獻[15]的精度評定方法，評價實驗結果的完整性(Completeness)、正確性(Correctness)及準確率(Quality),評價指標為

(2)

對2組實驗數據結果中的TP，FN，FP各點數進行統計，按照式(2)計算提取的立面點云的完整性、正確性及準確率，結果如表1所示。

表1 實驗結果評價表

由參考立面圖以及提取的結果圖可見，第一組實驗數據中共52個參考立面，本文方法共檢測出55個立面，其中提取出51個正確立面，4個錯誤立面； 由表1可看出提取結果的完整性、正確性及準確率均達到91%以上。第二組實驗數據中共38個參考立面，本文方法共檢測出43個立面，其中正確提取出37個立面，6個為錯誤立面； 提取結果也具有較好的完整性、正確性及準確率。從結果可見本文方法能夠自動提取出大部分的立面，將絕大部分的地面、植被等非立面點濾除，提取出的立面能夠保持很好的完整性和連貫性。

3 結論

從傾斜影像密集匹配生成點云中提取建筑物能大大降低城市三維建模的成本，在建筑物識別及提取方面具有很大的優勢。針對現有方法對該類點云的適用性不足，本文根據城市中各種對象的幾何特征和光譜顏色信息提取立面點云并進行聚類優化，自動提取立面點云。試驗結果表明，本文的方法能夠有效地自動提取出建筑物的立面，提取出的立面有著很好的完整性和連貫性，能夠保持較高的正確率。后續工作將進一步深入研究點云的特征及規律，在識別立面的基礎上,進行單體建筑物的識別,并且對立面進行精細重建。

[1] Musialski P,Wonka P,Aliaga D G,et al.A survey of urban reconstruction[J].Computer Graphics Forum,2013,32(6):146-177.

[2] Xiong X H,Adan A,Akinci B,et al.Automatic creation of semantically rich 3D building models from laser scanner data[J].Automation in Construction,2013,31:325-337.

[3] 李必軍,方志祥,任娟.從激光掃描數據中進行建筑物特征提取研究[J].武漢大學學報:信息科學版,2003,28(1):65-70. Li B J,Fang Z X,Ren J.Extraction of building’s feature from laser scanning data[J].Geomatics and Information Science of Wuhan University,2003,28(1):65-70.

[4] Li B J,Li Q Q,Shi W Z,et al.Feature extraction and modeling of urban building from vehicle-borne laser scanning data[C]//International Archives of the Photo-grammetry,Remote Sensing and Spatial Information Sciences.Istanbul:ISPRS,2004:934-939.

[5] 魏征,楊必勝,李清泉.車載激光掃描點云中建筑物邊界的快速提取[J].遙感學報,2012,16(2):291-296. Wei Z,Yang B S,Li Q Q.Automated extraction of building footprints from mobile LIDAR point clouds[J].Journal of Remote Sensing,2012,16(2):286-290.

[6] Shahzad M,Zhu X X.Robust reconstruction of building facades for large areas using spaceborne TomoSAR point clouds[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(2):752-769.

[7] Hohmann B,Havemann S,Krispel U,et al.A GML shape grammar for semantically enriched 3D building models[J].Computers & Graphics,2010,34(4):322-334.

[8] Musialski P,Wimmer M,Wonka P.Interactive coherence-based fa?ade modeling[J].Computer Graphics Forum,2012,31(2pt3):661-670.

[9] Teeravech K,Nagai M,Honda K,et al.Discovering repetitive patterns in facade images using a RANSAC-style algorithm[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,92:38-53.

[10]Xiao J,Gerke M,Vosselman G.Building extraction from oblique airborne imagery based on robust fa?ade detection[J].ISPRS Journal of Photogrammetry and Remote Sensing,2012,68:56-68.

[11]黃敏兒,杜志強,朱慶,等.利用像素高度圖的三維建筑物屋頂和立面提取方法[J].武漢大學學報:信息科學版,2014,39(10):1221-1224. Huang M E,Du Z Q,Zhu Q,et al.3D building facade and roofs objects extraction from pixel height map[J].Geomatics and Information Science of Wuhan University,2014,39(10):1221-1224.

[12]Axelsson P.DEM generation from laser scanner data using adaptive tin models[J].International Archives of Photogrammetry and Remote Sensing,2000,33:110-117.

[13]Rau J Y,Jhan J P,Hsu Y C.Analysis of oblique aerial images for land cover and point cloud classification in an urban environment[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(3):1304-1319.

[14]熊仕勇.一種新型的基于密度和柵格的聚類算法[J].計算機應用研究,2011,28(5):1721-1723,1727. Xiong S Y.Novel clustering algorithm based on grid and density[J].Application Research of Computers,2011,28(5):1721-1723,1727.

[15]Pu S,Rutzinger M,Vosselman G,et al.Recognizing basic structures from mobile laser scanning data for road inventory studies[J].ISPRS Journal of Photogrammetry and Remote Sensing,2011,66(6):S28-S39.

(責任編輯： 李瑜)

Facade extraction from oblique point cloud considering geometrical and color information

ZHOU Hanghang, ZOU Zhengrong, ZHANG Yunsheng, ZHENG Te

(SchoolofGeosciencesandGeomatics,CentralSouthUniversity,Changsha410083,China)

Aimed at tackling the difficulty in extracting facade from point cloud derived from dense matching of multi-angle airborne oblique images, this paper proposes a facade extraction method considering point cloud geometrical and color information. This method calculates normal vector for each point in the point cloud, and then uses the orientation of the normal vector for initial facade segmentation. After that, color information is used to remove point cloud about vegetation. On the basis of the initial result, the remaining ground points are removed. Finally, clustering analysis is used to refine the result, and facade point cloud can be obtained. Two groups of data sets are used for experiments, and the results reveal that the proposed method can automatically extract the facade of the building, with the completeness and correctness up to 90%, and the accuracy is more than 83%, thus providing the basis for the subsequent facade reconstruction.

oblique photogrammetry; facade extraction; point cloud; normal vector; clustering analysis

10.6046/gtzyyg.2016.04.07

周行行，鄒崢嶸，張云生,等.顧及幾何及顏色信息的傾斜影像立面點云提取方法[J].國土資源遙感,2016,28(4):43-48.(Zhou H H,Zou Z R,Zhang Y S,et al.Facade extraction from oblique point cloud considering geometrical and color information[J].Remote Sensing for Land and Resources,2016,28(4):43-48.)

2015-05-15；

2015-07-23

國家“863”計劃資助項目“統一時空體系下的城市多種類型空間信息接入與加載的規范”(編號： 2013AA122301)、國家自然科學基金“自適應三角形約束的多角度影像多基元匹配方法”(編號： 41201472)及湖南省高校創新平臺開放基金項目“面向災害應急響應的無人機影像快速處理方法”(編號： 12K009)共同資助。

P 208

A

1001-070X(2016)04-0043-06

周行行(1990-)，女，碩士研究生，主要從事傾斜影像立面提取方面的研究。Email： zhh1990926@163.com。