基于單一圖像實現城市場景下的建筑三維布局

劉卓亞

摘要：旅游資源和信息技術的有機結合能夠釋放巨大的商業潛力，具有重要的社會意義。從一個單一的二維圖像的旅游城市場景推斷建筑立面的三維布局。與現有的只產生粗方向標簽或定性塊近似的方法不同，所提出的算法使用三維幾何約束相互關聯的一組平面定量地重建三維空間中的建筑立面。每個平面的特征是連續的方向矢量和深度分布。通過平面間的相互作用來達到最佳的解決方案，由于該算法幾何推理的定量和基于平面的性質，所提出的算法模型比現有的方法更具表現力和更豐富的信息。實驗結果表明，本文的方法與采用測量方法實現三維重構方法相比，能夠更加逼真的重現三維場景。

關鍵字：三維重構;建筑立面;幾何建模;約束條件;圖像深度估算

中圖分類號：TP391

文獻標識碼：A

給定一個城市場景的單一圖像，自動推斷出場景中建筑的三維布局將有利于利用計算機技術構建線上城市三維虛擬場景，能夠有助于實現旅游線路自主導航和增強現實等領域的許多任務，方便游客更加深入感受旅游資源的魅力。

城市環境下的三維重建主要是建筑立面的三維布局的構建。然而，基于二維圖像實現在城市建筑物立面的三維布局是一項特別具有挑戰性的任務。難點在于，建筑立面可以在三維空間中具有高度靈活的組合，并且具有明確的方位指向，難以通過單個圖像準確獲取重建目標的三維坐標定位[1-2]。

盡管無法像定位物體一樣定位建筑立面，但與樹木或天空等其他區域不同，建筑物立面更加結構化，可以分解為一組可以定量表示的平面[3]。這些平面的方位和位置都受到它們從物理合理性中導出的三維幾何關系的約束[4-5]。本文將建筑立面建模為一組具有連續方向的平面，然后使用平面內幾何約束對其三維位置進行定量推理。與現有的基于像素或者分段的方法相比，這種方法可以對立面場景產生更豐富的解釋和基于塊的方法[6-7]。更具體地說，本文的方法能夠提供現有算法無法提供的關鍵場景理解信息（如定向、深度和立面平面關系等）[8]。文獻[9]提出將圖像像素分類為不同的方向標簽的幾何背景建模思路。雖然這種方法直接實現更高維度的平面的幾何建模，但會生成較為粗糙的目標表面方向的線索。使用這種線索從不同方向標簽的兩個相鄰線段拼裝成目標塊，并通過擬合地平線和天際線來定位這些目標塊。這種方法對場景產生了豐富的高層次解釋，但解釋在立面方向和深度方面都是定性的。此外，通過目標塊近似建筑物外立面不能模擬更復雜的情況。

文獻[10]由兩個正交消失方向的跨度對目標表面進行定量定向建模。雖然使用消失的方向來計算平面方向能夠開發室內場景的建模，但是這種方法不能直接應用于城市場景中的建筑立面分析。這是因為這些方法通常將房間簡化為一個箱子，而所有其他垂直表面都局限于盒子和平行于盒子的墻壁。相比之下，城市場景中的建筑物外立面位于開放空間中，通常具有更靈活的結構。盡管該算法并沒有將房間簡化為一個箱子，但它很大程度上依賴于共同的天花板來定義垂直墻，這也不適用于戶外場景。

通過對上述文獻的研究，提出一個基于平面的全定量模型來推斷建筑立面的三維布局。每個平面都由一個連續的方向向量和一個深度值的分布來表示。在模型中，利用多個線索，如平面分割、表面布局、地面接觸線等，來探測和分解建筑區域，形成獨特的平面。單個候選平面確定是由其與圖像特征的二維證據和攝像機、建筑物高度等三維證據的兼容性決定的。對不同類型的三維幾何關系建模，并應用條件隨機場算法（CRF）來確定它們的有效性，并推斷出它們的最優深度。

1 基于平面的建筑立面三維建模

1.1 問題表述

首先對涉及的幾何變量進行定義。本研究使用

提出模型需要解決檢測一組與獨特立面平面的問題，并在給定城市場景的單個二維圖像的情況下估算其三維定位和位置。在這里，一個方向不同于相鄰平面的建筑立面被定義為一個立面平面;否則，將會合并具有相同方向的兩個相鄰立面平面[10]。模型通過最大化以下目標函數來推斷建筑立面的最佳三維布局：

式1中o、n、d_s和x_s是表征立面平面的變量。對于每個平面i，變量o、n、d_s和x_s分別表示其有效性（二進制指示符）、方向（連續矢量）、距相機中心（連續標量）的距離和空間范圍（指定圖像中平面的角的連續坐標）。優化問題的參數包括圖像特征I，從相機中心距離地面高度h_g、距離相機水平方向距離n_g，焦距f和立面高度H_f。其中，H_f是由根據經驗值確定，而h_g被假定為1.6米。然后由垂直消失方向確定%，并通過最大化垂直和水平消失方向的正交性來估計f。

目標函數中的第一項是每個單獨平面的一元勢函數，并且它是在所有候選平面P上求和的[11]。其余三項是具有相互約束的平面的成對勢函數，并且它們在一個子集（即P_v，P_o或P_a）參與這些約束的候選平面。

由于直接優化方程1中的客觀函數是棘手的，本文首先使用基于四邊形的采樣算法生成一組候選立面平面，其中每個候選立面平面具有固定的正常信號n_si和邊界X_sj對于給定的n_si和X_si只需要優化每個候選立面平面的有效性和深度ds。。在此過程中也將獲得有效立面平面的總數，而這些數據是未知的。

1.2 不同平面之間的互兼容

一元勢函數由兩個分數的乘積組成。第一個分數是圖像特征兼容性分數，用于衡量圖像中立面平面的二維位置與圖像特征的一致性[12]。其計算公式為：

由方程2可知，如果一個圖像區域確實屬于建筑立面，那么它應該是：1）支持的語義線索，它屬于“建筑”區域，2）在表面布局的支撐下，它的朝向與它的主導定位標簽一致，3）在消失線的支持下，它的方向與在其內部的主導水平消失方向一致。