一種面向傾斜影像三維建模的影像篩選方法

張明磊，張云生，鄒崢嶸

(中南大學 地球科學與信息物理學院，湖南 長沙 410083)

航空傾斜攝影系統可以從多個角度獲取影像，為建筑等物體提供了更為詳盡的立面信息，豐富了城市三維建模的數據源[1]。目前基于多角度影像自動化三維重建的軟件有 PhotoScan、Pixel4D以及Acute3d。PhotoScan主要擅長重建中小型物體，Pixel4D和Acute3d可以針對城市級別的場景建模，其中Acute3d目前已經得到市場的廣泛認可，成為國內外主流的城市自動化建模軟件。Acute3d建模過程可以分為4個步驟：①根據影像的同名點恢復相機的位置及半密集點云，②采用半密集點云構建Delaunay空間四面體[2]，③根據半密集點云的可視信息，采用圖割算法提取物體表面模型[3]，④采用變分原理優化物體表面模型，獲得精確的三維模型[4]。該方法目前已成為室外場景建模的高精度方法，比泊松表面重建算法具有更強的抗粗差能力，而且對初始點云的質量要求也低[5-6]。

上述提到的建模方法雖然對室外場景的建模效果具有明顯的優勢，但要求計算機的計算能力較高，大范圍的建模工作也需要耗費大量的時間。多角度傾斜攝影在提供豐富建模信息的同時也增加影像數據量。以五鏡頭傾斜攝影系統為例，影像數據量是傳統攝影測量的五倍，這對數據處理的效率提出了更高要求。針對此問題，文獻[7]研究了海量無序影像建模的影像篩選方法，在密集點云匹配過程前將海量的影像數據劃分為較小的子模塊，其劃分是出于執行密集匹配的目的。航空傾斜攝影測量的影像在具有航線規劃設計的條件下獲取，因此本文根據傾斜影像的特點提出用于三維建模過程的影像篩選方法。在建模精度相當的情況下對參與建模的影像進行自動篩選，減少參與建模的影像，降低對計算機硬件的需求并提升建模的效率。

1 方 法

1.1 篩選原理

Acute3D實現的建模方法不依賴與場景密集點云，但其優化階段較為耗時，因此本文的影像篩選基于空三過程得到稀疏點云構建的初始模型[8]。影像篩選的依據是選取一定數量的影像使得初始模型中有效三角面片的有效面積最大化。具體采用式(1)計算：

validAreaij=s(P[i])/dis(P[i],C[j]).

(1)

式中：validAreaij為第i個三角面片在第j張影像上的有效面積；P[i] 為初始模型的第i個三角面片；C[j]為第j張影像的相機中心，s(P[i])為P[i]的面積，dis(P[i],C[j])為P[i]中心到第j張影像相機中心的距離。

由于傾斜影像數據在獲取過程中是按照規范得到的，即使相鄰攝影中心的基線距離也不會離太近[9]，并且當n>2 時最大攝影基線的長度通常達到至少兩倍的相鄰攝影中心距離的長度。影像選取時采用最大化有效面積，對于同樣的有效三角面片，若相機距離有效三角面片較遠，其對應的有效面積會相對較小，這一特性使得所選取的用于前方交會出物方點的影像對具有更大的基高比[9-10]，也就是說對于傾斜攝影測量的影像數據，在保證了以上定義的有效三角面片的有效面積最大化時保證了較大的基高比，從而保證在使用有限影像數量的前提下保證精度。

1.2 篩選過程

圖1 影像選取流程

2 實驗結果與分析

本文方法采用C++語言和Visual Studio 2015實現，實驗所采用的計算機主要配置：CPU：intel i7， GPU：GTX Titan X，RAM：32GB。

2.1 數據描述

實驗采用303張利用SWDC-5拍攝的武漢地區傾斜影像，影像地面分辨率為0.1 m，對場景中400 m×400 m的范圍進行建模，覆蓋此區域的影像一共102張。經過影像自動空三后，利用空三獲取的三維點云重建初始三維模型，作為本文影像篩選的模型輸入數據。實驗中兩個不同的影像篩選策略進行驗證：影像篩選過程中參與建模的影像數量達到45張時，模型有效三角面片基本已經完全覆蓋了初始模型(可根據有效三角面片占初始模型三角面片面積比例確定)，因此設定終止條件為45張最有效的影像；影像篩選過程中參與建模的影像數量達到25張時，模型有效三角面片基本已經完全覆蓋了初始模型，設定終止條件為25張最有效的影像。影像篩選完后，固定影像的內外方位元素，利用Acute3d對原始的102張影像，以及篩選后的45和25張影像分別進行建模。為避免相機姿態參數對模型精度產生影像，整個實驗過程中三組數據使用相同的內外參數，并且建模過程中固定這些參數。

2.2 影像篩選實驗結果與分析

為更直觀的表示影像選取的過程，將隨著選擇的影像數量增加初始模型中有效三角面片變化情況進行了顯示，從圖2 中可以看出，前5張影像基本能夠使法向量大致朝上的三角面片至少出現在4張影像上，當選擇25張影像時，基本能夠保證構成初始模型的大多數三角面片至少出現在4張影像上。

圖2 基于初始模型影像篩選有效三角面片變化過程

2.3 模型重建實驗結果與分析

重建結果如圖3 所示，從視覺上看，使用本文提出的影像篩選方法獲取的影像集進行三維建模與全部影像三維重建效果相當。為進一步驗證，以102張影像建立的模型為基準模型，比較利用本文方法選擇的兩組影像重建模型與基準模型之間的豪斯多夫距離[15]，以分析模型間的差異。圖4為將兩組采用篩選后影像重建的模型與基準模型之間的豪斯多夫距離渲染結果，從圖4中可以看出，模型差異較大的地方均出現在植被和動態變化的車輛區域。道路上的車輛由于在影像獲取時是動態的，三組建模結果理論上都不能夠恢復出其真實位置。而植被區域的影像在獲取時也可能會受到風的影響，另外植被區域的紋理也影響重建效果。模型間頂點的豪斯多夫距離統計圖如圖5所示，可以看出模型之間大多數差異都在0.15 m之內，實際建模時參數設置采用的分辨率為0.2 m，也就是說即使用于建模的影像大幅減少對于模型絕大部分區域損失的精度仍在一個GSD(地面分辨率)之內。三組實驗的模型優化部分耗時統計信息如表1 中所示，可以看出在損失有限精度的情況下，影像篩選能大幅縮短建模時間。

表1 不同數量影像建模模型優化耗時信息統計

由圖5和表1可知在建模精度相當的條件下，當參與建模的影像數量由102張篩選至25張時參與模型優化的影像數量縮減為原始影像數據的24.5%，模型優化時間減少至采用原始數據進行建模耗時的36.1%。圖6所示為三組實驗中所采用的影像成像時相機的位置姿態。從圖中可以看出，基于本文提出的方法在保證初始模型的有效三角面片最大化時，相機位姿基本覆蓋了測區的各個方位，而且充分利用了五個方向的影像。

圖3 三組不同數量影像重建結果

圖4 不同數量影像建模結果與102張影像建模結果間的豪斯多夫距離分布示意圖

圖5 不同數量影像建模結果與102張影像建模結果間的豪斯多夫距離統計圖

圖6 不同數量影像建模時采用的影像的相機位置姿態分布

3 結 論

本文針對目前較為成功的Acute3d軟件三維模型耗時問題，提出了一種可以對參與模型優化的影像進行預先篩選的方法。實驗表明，本文提出的方法減少模型優化的影像數量及建模所需時間，并且提高建模效率的同時模型精度并未受到較大影響。

[1] 程效軍, 朱鯉, 劉俊領. 基于數字攝影測量技術的三維建模[J]. 同濟大學學報(自然科學版), 2005, 33(1):37-41.

[2] SHEWCHUK J R. Tetrahedral mesh generation by Delaunay refinement[C]//Proceedings of the fourteenth annual symposium on Computational geometry. ACM, 1998: 86-95.

[3] BOYKOV Y, KOLMOGOROV V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(9): 1124-1137.

[4] FAUGERAS O, KERIVEN R. Variational principles, surface evolution, PDEs, level set methods, and the stereo problem[J]. IEEE Transactions on Image Processing, 1998, 7(3):336-44.

[5] KAZHDAN M, HOPPE H. Screened poisson surface reconstruction[J]. ACM Transactions on Graphics (TOG), 2013, 32(3): 29.

[6] HIEP V H, KERIVEN R, LABATUT P, et al. Towards high-resolution large-scale multi-view stereo[C]//Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. IEEE, 2009: 1430-1437.

[7] FURUKAWA Y, CURLESS B, SEITZ S M, et al. Towards internet-scale multi-view stereo[C]//Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010: 1434-1441.

[8] LABATUT P, PONS J P, KERIVEN R. Efficient multi-view reconstruction of large-scale scenes using interest points, delaunay triangulation and graph cuts[C]//2007 IEEE 11th international conference on computer vision. IEEE, 2007: 1-8.

[9] 王成龍, 劉昌華, 李峰. 基于 SWDC 的國家基礎航空攝影測量可行性研究[J]. 測繪工程, 2009, 18(1): 14-18.

[10] 王之卓. 攝影測量原理[M].武漢大學出版社,2007.

[11] BELOGAY E, CABRELLI C, MOLTER U, et al. Calculating the Hausdorff distance between curves[J]. Information Processing Letters, 1997, 64(1): 17-22.