基于SFM和CMVS/PMVS的建筑物點云重構方法研究

張平，王山東，黃瑾娉，周明明

（1.安徽工業大學計算機科學與技術學院，安徽馬鞍山243032；2.河海大學地球科學與工程學院，江蘇南京210098）

基于SFM和CMVS/PMVS的建筑物點云重構方法研究

張平1，王山東2，黃瑾娉1，周明明2

（1.安徽工業大學計算機科學與技術學院，安徽馬鞍山243032；2.河海大學地球科學與工程學院，江蘇南京210098）

為從建筑物圖像獲取三維點云，對運動恢復結構（SFM）和多視角密集匹配（CMVS/PMVS）的三維點云重構進行研究，介紹了從Ladybug3全景相機采集到的圖像進行建筑物的三維點云重構過程。首先利用尺度不變特征變換（SIFT）來提取和匹配圖像上的特征點并計算多視圖之間的幾何關系，然后由SFM分析相機運動進而尋找三維點云結構，利用CMVS對圖像進行聚簇；最后，采用基于面片模型的PMVS通過匹配、擴展、過濾三個階段來完成密集匹配同時生成稠密三維點云。實驗結果表明，算法能夠有效地重構建筑物三維點云，對三維重建有一定的參考價值。

Ladybug3；SIFT；SFM；CMVS/PMVS；三維點云

隨著智慧城市的建設在我國蔚然興起，對城市街景的三維重建顯得更加重要，城市場景中包含多種不同類型的目標物體，比如建筑物、道路、樹木、橋梁、路燈等。針對這些不同類型的目標物體，三維重建的方法也有所不同。建筑物是城市場景中的主要組成部分，城市場景中建筑物三維重建已成為研究熱點。三維城市建筑物重建的數據源主要有：（1）激光掃描設備所獲取的三維點云數據；（2）基于車載、航拍等二維數據生成的三維點云數據。文中研究的是城市街景中建筑物三維點云重構的方法，使用的圖像數據由車載Ladybug3、GPS接收器、移動工作站及配套設備完成，Ladybug3是Point Grey公司發布的360°全景視覺產品。通過匹配圖像之間的特征點，利用SFM[1]算法對匹配結果進行計算得到相機位置等場景信息，將得到的三維點云進行稀疏重構，進而使用CMVS[2]、PMVS[3-4]算法，得到重構后的稠密三維點云，為下一步街景三維重建[5]研究提供依據。文中獲取三維點云的方法相對于激光掃描設備獲取三維點云[6]的方法成本低，相對于航拍方式車載獲取的是近景影像，同時該方法使用自標定獲取相機參數，規避了Ladybug3全景相機不易標定[7]的特點。

1 運動恢復結構SFM算法

運動恢復結構SFM（structure from motion）是一種相機標定方法。首先由尺度不變特征變換SIFT[8-9]算法來提取匹配圖像上的特征點，一系列匹配點從每兩幅圖像中搜索到后，便被納入軌跡中。而軌跡為多視圖間匹配點的連通集，用多于兩個特征點一致的軌跡進行重構來恢復每幅圖像的相機參數和每個匹配軌跡的三維位置信息[10]。如有m幅圖像，空間中n個點，有方程

其中，xij為第i幅圖像中第j個點的二維信息，Xj為第j個點的三維位置信息，Pi為第i幅圖像的投影矩陣，由m·n個二維信息，估算m個投影矩陣以及n個點的三維位置信息。SFM算法示意圖如圖1所示。

SFM中每幅圖像對應的相機被7個參數確定，包括旋轉矩陣R和平移坐標t的6個外參，和一個相機內參焦距f，在相機和場景被重構過程中，按重投影誤差最小原則，為避免運動恢復結構中因陷入不良局部最小值而終止的局面，需用最優的兩個相機來估計初始參數，這兩個相機滿足：（1）兩圖像間有大量匹配點；（2）兩相機間有較長基線。由最優的兩個初始相機，按照5點法[11]對相機參數進行估計，然后在這兩幅圖像上由三角化對可見的匹配點軌跡重構相應的三維場景點，對已重構出的相機和場景點參數用BA[12]—Bundle Adjustment集束調整法進行優化。該實驗利用漸進式方法每次新增一個相機并優化，避免所有相機位置以及匹配點軌跡對應三維場景點被同時估計，新增的相機需以能見到最多已重構出的三維場景點為條件，運用DLT[13]（Direct Linear Transformation）算法對新增相機進行參數恢復，然后把新增的相機恢復出的點并入優化過程，最后運用集束調整法整體優化已經重構出的所有三維場景點和相機參數，如此重復迭代，直到觀察不到足夠多重構出的三維點的相機為止。

圖1 SFM示意圖

2 CMVS/PMVS多視角密集匹配

用CMVS（clustering multi-view stereo）對圖像聚簇分類可優化SFM輸入，減少密集匹配時間和空間代價。完成最后的密集匹配還需再經PMVS（patch-based multi-view stereo）的匹配、擴展、過濾。

2.1 多視圖聚簇（CMVS）

聚簇需要滿足如下約束：（1）密集性。需在簇中去除冗余的圖像。（2）大小。為讓每個簇都能重構，簇需保持足夠小，。（3）覆蓋。圖像簇重構的結果應盡量使圖像細節保持完整性，即：?ikIi（C）/Ii（F）≤τ。用函數f（P，C）表示SFM點Pj在簇C中的重構精度，同時SFM點Pj滿足約束：max（f（Pj，Ck∩Vj））≥λf（Pj，Vj）（λ= 0.7，Vj為Pj在其所有可見的圖像集）才能在至少一個簇Ck中被重構。CMVS算法的實現流程如圖2所示。

圖2 聚簇算法流程圖

步驟1SFM篩選：為減少輸入SFM點集的數量，局部鄰域SFM特征點的可視信息取各鄰域位置的平均值，重復該步直到輸出點集｛P2j｝；

步驟2選取圖像：按照圖像分辨率從低到高的順序逐漸搜索，以先剔除低分辨率圖像為原則，刪除不符合覆蓋約束的圖像；

步驟3聚簇分類：根據圖像標準分割算法，忽略覆蓋約束，對大小符合條件的圖像進行分割。而不滿足圖像大小的簇，繼續對其分割。具體方法如下：e1m表示圖像對（I1，Im）的邊緣值，即圖像I1，Im共同重構特征點MVS（multi-view stereo）的權值大小。有∑Pj∈θ1mf（Pj，（I1，Im））/f（Pj，Vj），θ1m為圖像I1，Im都能觀察到的SFM點集。因此，對MVS重建權值越小的即邊緣值越小的越可能被剔除；

步驟4增加圖像：根據Ck=argmax（f（Pj，Cj））為每個沒有納入的SFM特征點Pj構造出一個圖像簇Ck，并添加一個行為，即將圖像I（∈Vj?Ck）加入簇Ck，同時用g=f（Pj，Ck∪Ij）作為效率依據，SFM特征點都有相應唯一的效率g值，最后排序出最大的g值作為被加入簇的行為。

重復步驟3和步驟4，直到最終結果都能符合覆蓋約束和圖像大小條件[8]。

2.2 基于面片模型的密集匹配（PMVS）

用PMVS（patch-based multi-view stereo software）面片重構方法[14]獨立地對CMVS獲取的每個圖像簇進行重構。

圖3 面片和圖像模型

其中，N（p，I，J）是圖像I和J之間的灰度一致性評估函數。

光度一致性：用NCC歸一化互相關來測量各視點面片p的光度學度量，N（p，I，J）為面片p到圖像I，J的投影，有

通過計算NCC平均值的最大值可估算其位置c（p）和表面法向量n（p）。

可視化一致性：由于面片p的可見性依賴S（p）和T（p），每個階段構造S（p）和T（p）都采用不同的方法，匹配階段，面片是在稀疏匹配中進行重構，根據光一致性得出初始估算為

擴展階段，由構造出的面片足夠致密到能夠將所有的深度圖和圖像聯合起來，并設置深度圖閥值來構造S（p），有

其中，dI（p）表示圖像I中面片p的中心深度，dI（i，j）為面片p的圖像塊C（i，j）的深度，ρ1依賴于c（p）的深度。只要S（p）被估算出，再用光一致性便可決定哪些面片是可構造T（p），有

算法實現流程如圖4所示。

步驟1初始特征匹配：用DoG和Harris算子檢驗提取出的特征點和角點需保持一致收斂，所以，在每幅圖像中取β2·β2大小的矩形塊，實驗中β2取32。完成后，在多視圖間匹配已檢測的特征點，重構稀疏面片集，并把其儲存于矩形塊C（i，j）中。圖像I相應的相機光學中心用O表示，與圖像I中特征點f匹配上的其它圖像中的特征點f′構成集合F，由點對（f，f′）以及三角化定位的空間三維信息應保持在對極線的2個像素內，并以F中特征點和光心O之間距離升序排列，然后以最少能在γ幅圖像中滿足光一致性的首個面片作為返回結果。由三角化（f，f）來初始估計c（p），n（p）則從c（p）沿著O的光線方向，并置R（p）=I，按光一致性估計初始化T（p），改良c（p）和n（p），再將S（p）初始化并再次計算T（p），不斷重復直到面片p達到T（p）≥γ，在S（p）中將面片p標記到相應的矩形塊，并使其加入集合P。

圖4 PMVS算法流程

步驟2種子面片擴展：重復加入新鄰域到已恢復的集合P中，直到將圖像中所有可見的面都能覆蓋為止，Qt（i′，j′）為空，Qf（i′，j′）中不存在正毗鄰于p的元素，而面片p和p'正毗鄰需符合，其中ρ2類似于ρ1，且取決于R（p）中c（p）和c（p′）中點的深度。接著初始化p′和p一樣，分別定義R（p′）、T（p）、n（p）和c（p），并優化c（p′）和n（p′），用深度圖初始化S（p），為防止丟失任何可見p′面片，將T（p′）元素加入到S（p′）。最后由光一致性條件重新計算T（p′），如果，則采納面片p′，并將Qt（i′，j′）、Qf（i′，j′）以及S（p′）的深度圖進行更新。

步驟3過濾：需要剔除擴展完后得到的稠密三維點云中包含的錯誤點，進行以下過濾：（1）在實際表面外部的外點，若有面片p0和它遮擋的面片集U，當滿足，則剔除p0。（2）在實際表面內部的外點，對每個面片p0都重新計算S（p0），T（p0）的值，如果，則剔除。

3 實驗結果

該研究使用的圖像序列是由Ladybug3全景相機采集的馬鞍山深業地產街景圖像，通過在windows7平臺上使用visual sfm進行建筑物三維點云重構實驗，對Ladybug3采集的圖像進行單幅校正，其中部分校正圖像序列如圖5所示。

圖5 部分街景圖像序列

運用上述三維點云重構算法[15]將100幅圖像進行建筑物場景點重構。在大量重構實驗中SIFT算法做特征點匹配時，取匹配閥值為0.6時特征點匹配最多，通過SFM算法對Ladybug3全景相機自標定，根據特征點匹配的結果，計算恢復相機在場景中的位置和姿態。表1為圖5左起第一幅圖像對應的相機部分參數包括位置和姿態，在三維點云重構的過程中，圖像經過CMVS算法聚簇后，將原先100幅圖像的數據量減少為72個簇，表2為圖像序列經過聚簇后的部分簇信息。在PMVS算法中可以看出對建筑物三維點云重構影響主要參數為β1，β2，μ，α0，在實驗中取出一組建筑物重構效果較好的參數為β1=2，β2=32，μ=5，α0=0.7，并用MeshLab加載建筑物三維點云數據，通過從不同角度對重構的建筑物三維點云進行對比顯示，結果如圖6所示。

表1 全景相機部分參數

表2 聚簇的部分位置信息

圖6 不同角度建筑物三維點云重構對比

從圖6可以看出，基于SFM和CMVS/PMVS重構出的三維點云足夠密集，建筑物的重構區域為街景圖像序列可見區域，且從圖像序列中重構的城市街景中建筑物的三維點云結構清晰，很好地表達了城市街景中重構目標的真實情況，該方法適用于大規模多圖像序列場景的三維重構。

4 結語

文中利用能夠實時采集圖像數據的Ladybug3，通過基于SFM和CMVS/PMVS的建筑物三維點云重構研究對城市街景重建提供了一種新的有效途徑，同時實驗中也有不足，如實驗街景拍攝時對建筑物頂部存在盲區，從而在特征點匹配和三維點云重構時存在缺失，針對此接下來會繼續改進算法并研究三維點云修補，讓重構出的三維點云更加致密和完整，為大量城市街景重建提供參考。

[1]Goesele M B，Seitz S M.Multi-view stereo revisited[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos，CA，USA：IEEE Computer Society，2006：2402-2409.

[2]何豫航，岳俊.基于CMVS/PMVS多視覺密集匹配方法的研究與實現[J].測繪地理信息，2013，38（3）：21-23.

[3]Furukawa Y，Ponce J.Accurate，dense,and robust multi-view stereopsis[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos，CA，USA：IEEE Computer Society，2007：1-8.

[4]竇艷艷.基于圖像序列三維重建的相關技術研究[D].南京:南京信息工程大學，2013.

[5]李林堯，張兆翔，王蘊紅，等.基于圖像運動的三維重建及虛擬化應用[J].計算機科學，2011，38（7）：273-276.

[6]陳允芳，葉澤田，謝彩香，等.IMU/DGPS輔助車載CCD及激光掃描儀三維數據采集與建模[J].測繪科學,2006，31（5）：91-93.

[7]孟曉橋，胡占義.攝像機自標定方法的研究與進展[J].自動化學報，2003，29（1）：110-124.

[8]Lowe D.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision，2004，60（2）：91-110.

[9]Gordon I，Lowe D G.What and Where：3D object recognition with accurate pose[J].Toward Category-level Object Recognition，2006，30（12）：67-82.

[10]Todd J T，Bressan P.The perception of 3-dimensional affine structure from minimal apparent motion sequences[J].Perception&Psychophysics，1990，48（5）：419-430.

[11]Nistér D.An efficient solution to the five-point relative pose problem[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（6）：756-777.

[12]Lourakis M，Argyros A.The design and implementation of a generic sparse bundle adjustment software package based on the Levenberg-Marquardt algorithm[R].Greece：Institute of Computer Science of the Foundation for Research and Technology，2004：5-16.

[13]Hartley R I，Zisserman A.Multiple View Geometry in Computer Vision[M].UK：Cambridge University，2004：159-177.

[14]王洋，張濤，李歡利，等.應用SFM和多視圖面片實現牙模三維重建[J].計算機測量與控制，2013，21（4）：1067-1070.

[15]王國偉.面向建筑物的三維點云生成、增強和重建技術研究[D].長沙：國防科學技術大學，2011.

Research on building point cloud reconstruction method based on SFM and CMVS/PMVS

ZHANG Ping1，WANG Shandong2，HUANG Jinping1，ZHOU Mingming2
（1.School of Computer Science and Technology，Anhui University of Technology，Ma'anshan 243032，China；2.School of Earth Sciences and Engineering，Hohai University，Nanjing 210098，China）

In order to obtain 3D point cloud from building images，we studied the Structure From Motion（SFM）and Clustering Views for Multi-view Stereo and Patches based Multi-view Stereo（CMVS/PMVS）and introduced the process of 3D point cloud reconstruction of buildings captured from Ladybug3 panoramic camera.Firstly,the Scale-invariant Feature Transform（SIFT）algorithm was used to extract and match the feature points of images，and calculate the geometric relationships between multiple views.Then the camera movement was analyzed by SFM algorithm to acquire 3D point cloud structure and the images were clustered by CMVS algorithm.Finally，the dense matching was accomplished and the dense point cloud was generated by PMVS algorithm which involved three steps:matching,expanding and filtering.Experimental results show that the algorithm is able to effectively reconstruct 3D point cloud structure of buildings and highly valuable for 3D reconstruction.

Ladybug3；SIFT；SFM；CMVS/PMVS；3D point cloud

TP391

A

1672－0687（2015）03－0060－05

責任編輯：艾淑艷

2014－10－28

安徽省自然科學基金重點資助項目（KJ2009A132）

張平（1989-），男，安徽合肥人，碩士研究生，研究方向：計算機視覺與圖像處理。