基于無人地面車輛補充采集的三維重構模型優化

摘 要：為解決無人機單獨采集圖像生成三維（3D）重構模型存在破損和孔洞的問題，提出了一種基于無人地面車輛補充采集的3D模型優化方法。該方法耦合基于模型分辨率、三角網格結構和人工選點 3種方法提取待優化區域，生成3D包圍框和法向量信息，并利用3D重構質量啟發式方法生成補充采集視點。結果表明：在該方法優化下，粗糙3D模型的低質量區域得到了顯著改善，模型投影像素尺寸平均減少66%；該方法可以有效提升了3D模型重構質量，為室外大規模精細3D重構領域提供了可靠的解決方案。

關鍵詞：三維（3D）重構；模型優化；幾何代理；視點規劃；無人地面車輛

Supplementary capture using unmanned ground vehicle for 3D reconstruction model improvement

Abstract： A 3D model improving method based on supplementary capture by unmanned ground vehicle was proposed to address the issue of damage and holes in 3D reconstruction models generated from images captured solely by unmanned ground vehicle. This method combined model resolution， triangular mesh structure， and manual point selection to extract areas needing improvement， generated 3D bounding boxes and normal vector information， and utilized heuristic methods to generate supplementary viewpoints. The results show that， under this method's optimization， the low-quality areas of the rough 3D model are significantly improved， with an average reduction of 66% in model projection pixel size. Therefore， this method effectively enhances the quality of 3D model reconstruction， providing a reliable solution for large-scale， detailed outdoor 3D reconstruction.

Key words： 3D reconstruction; model improvement; geometric proxy; viewpoint planning; unmanned ground vehicle

近年來，室外大規模高精度三維 （3 dimensions， 3D） 模型在智能交通場景中的應用越來越受到重視。這些模型不僅在自動駕駛高精度地圖中起著關鍵作用，還可以用于測繪底圖和低空立體交通規劃，賦能數字中國建設。2021 年，自然資源部發布的《實景三維中國建設技術大綱》^[1] 中，明確提出要組裝生成地形級、城市級、部件級的實景 3D 產品。為了獲取高精度 3D 模型，首先需要高質量的圖像數據。隨著傾斜攝影技術的發展，通過無人機在低空采集大量圖像，并結合結構光重建 （structure from motion，SFM） 和多視圖立體 （multiple view stereo，MVS） 方法生成 3D 模型的方案，逐步取代了傳統的人工建模方法，極大提高了建模效率。無人機通過搭載各種傳感器和設備，能夠高效地獲取大范圍、高分辨率的數據，提供全面、豐富的地理信息。然而，由于飛行高度和續航里程的限制，無人機在復雜環境下的數據采集效率可能會受到影響。此外，由于無人機從高視角進行圖像采集，地面上建筑和物體的遮擋會導致無法獲取場景的全部有效信息。無人地面車輛是指能夠在無駕駛員參與下，通過自動控制自主行駛的車輛。它通常配備了各種傳感器和相機，能夠在復雜地形中移動并采集地面數據。與無人機相比，無人地面車輛的靈活性和地面視角使其在采集低空和遮擋區域的數據時具有獨特優勢，可以靠近地面建筑物的立面和復雜地形，補充采集無人機采樣不足的區域。因此，根據具體應用場景和需求，綜合考慮無人地面車輛和無人機采集系統的優缺點，進行合理選擇和組合，是實現高精度 3D 重構數據采集的更為有效的方法。

由于無人機采集圖像的角度較為單一，地面上建筑和物體的遮擋會導致無法獲取場景的全部有效信息，這最終會導致 3D 重構模型存在破損、孔洞等缺陷。現有的研究中，面向破損 3D 重構模型的優化方法主要有以下 4 類：人工方法、導入建筑信息模型 （building information modeling，BIM）、圖形學方法以及機器學習方法。然而，傳統人工方法依賴專家手工操作，雖然精度高但耗時長、成本高^[2]，在大范圍城市場景中難以滿足快速、高效的處理要求 ^{[3] ；BIM 在 3D 重構中的應用越來越廣泛，通過導入 BIM 可以有效替換缺陷 3D 模型，但是在中國尚未普及 [4]}，且并非所有區域都有高精度 BIM 數據庫支持；圖形學方法通常使用插值算法修補 3D 模型中的破損區域，對于一些復雜的拓撲結構和較大孔洞效果不如預期 ^{[5-6] ；深度學習方法近年}來逐漸成為主流，如 PF-Net 和 PMP-Net++ 等網絡 ^[7-8]，通過引入分形特征和 Transformer 模塊，實現更高質量的點云補全，但仍面臨數據集豐富程度和泛化能力的挑戰。因此，設計圖像數據補充采集系統進行模型的局部二次 3D 重構，是對模型進行優化的更有效方法。

在面向 3D 重構模型優化的圖像數據補充采集方面，主要有不基于先驗模型和基于先驗模型 2 類方法，其區別在于是否需要目標場景的幾何代理 ^[9]。在不基于先驗模型的圖像采集方法中，由于沒有任何目標區域的有效信息，大部分研究都聚焦在如何更有效率地獲得未知區域中盡可能多的信息。下一個最佳視點 （Next Best View） 思路，即始終根據當前信息找到能獲取最多未知信息的視點，是其中最常用的啟發式思路 ^[10]。另一大類方法基于先驗模型輸入，這類方法基于目標區域的粗糙場景表示（ 如粗糙 3D 模型，下稱幾何代理 ）來進行全局視點規劃，生成最佳視點集合與采集路徑。先探索后利用（Explore Then Exploit） 是其中最為常見的思路之一 ^[11]，基于該思路的方法通常有 2 個階段：探索階段與利用階段。探索階段初次采集的數據生成的幾何代理可以提供感興趣區域的一些關鍵信息，如障礙物情況、無人機禁飛區域等。基于探索階段生成的幾何代理，利用階段的算法可以采用不同的目標函數對視點與采集路徑進行全局規劃 ^[12-13]，生成可行且低冗余度的補充采集視點集合。也有一些學者利用初次采集的數據確定粗糙模型的輪廓與低質量區域 ^[14]，再次對低質量區域進行采集后進行局部二次 3D 重構，然而視點優化的目標僅停留在對目標區域的有效覆蓋上，缺少視點對 3D 重構質量貢獻方面的分析。PENG Cheng等 ^{[15] 根據三角測量角度設計了視點 3D 重構質量的評價函數，并根據圖像分辨率一致性提出了視點集合應滿足的約束。N. Smith 等 [16] 為了有效評估視點的 3}D重構質量，基于 MVS 原理設計了基于距離、觀察角以及視差角的多視圖立體重構質量評價啟發式，并利用該啟發式為城市場景設計了一種視點集合連續優化方法。類似的，T. Koch 等^{[11] 根據攝影測量實踐結果提}出了單一視點對于 3D 重構質量的貢獻啟發式，對朝向樣本點的前平行視點朝向給予更多獎勵。

具體到本研究的場景，即面向室外場景的大規模精細 3D 重構，無人機與無人地面車輛采集系統都是不可或缺的。考慮到二者都存在視角上的單一性，以及在采集圖像時的運動性能區別，采取先探索后利用思路是更加高效。在基于幾何代理的補充采集視點規劃算法方面，現有研究的視點優化主要關注區域覆蓋度，缺少視點對 3D 重構質量貢獻的深入分析；部分研究對目標區域無差別采集，缺少針對性；并且原本面向無人機的視點生成策略不適用于地面復雜遮擋場景，需要針對無人地面車輛進行調整。

為了克服無人機單一視角采集造成的 3D 重構模型破損和孔洞等問題，本研究中提出了一種基于無人地面車輛的 3D 重構模型優化方法。通過耦合基于模型分辨率、三角網格結構的識別方法和人工補充選點，準確識別模型中的低質量區域，并進行有針對性的補充采集，以減少冗余數據的采集和處理；提出基于單一視點重構質量啟發式的補充采集方法，以有效彌補無人機單獨采集導致的視角局限性，尤其是對建筑物立面、屋檐遮擋及復雜地形等區域進行補充，顯著提升 3D 重構模型的完整性和精度；并在 Urbanscene3D 及實驗場地的 6 個場景中 ^{[17] 進行驗證，以證明該方法能夠通過無人地面車輛實現更加精準的數據補充，在多種場景中顯著提升重構模型的質量，適用于復雜的室外大規}模場景。

1"" 面向粗糙 3D 模型的待優化區域提取

基于無人機覆蓋航線的幾何代理生成

在現有采取先探索后利用思路的研究中，大部分研究使用商業無人機航線規劃軟件生成無人機的初次采集航線 ^[18]，這類規劃軟件往往采取較為保守的覆蓋航線規劃方法，由于無人機采集圖像的角度過高，地面建筑與物體間的復雜遮擋關系使得僅通過無人機無法采集到感興趣區域的全部結構信息，往往會在立面、細部、凹凸等區域發生采樣不足的問題。將無人機按照上述航線采集的圖像作為輸入，在經過 ContextCapture軟件 3D 重構后生成的幾何代理如圖1 所示，可見初次采集生成的幾何代理在遮擋、凹凸、細部等區域存在模型缺陷，如破損、孔洞等，出現了采樣不足區域的問題。

待優化區域識別方法

本文耦合基于模型分辨率、三角網格模型結構特點以及人工選點輸入 3 種方法，對幾何代理 （ 粗糙 3D模型 ） 進行待優化區域識別。

首先，模型低質量區域通常具有較低分辨率，如圖 2 所示，這些區域通常集中在建筑物的側面以及屋檐遮擋處，主要由于無人機的圖像采集角度單一導致。

基于模型分辨率，利用 3D 模型的投影像素尺寸 （ 即每個像素對應的實際長度 ） 可以有效標識低分辨率區域。

其次，在模型低質量區域 （ 如拉花、孔洞等 ） 往往伴隨著邊界邊、法向量不一致 ^{[19] 現象。如圖 2 所示，三角網格模型中的邊界邊只會屬于一個三角形，并且沒有與之相對的半邊；對于法向量變化劇烈的區域，如尖銳的角度或突變，可能伴隨著模型孔洞出現。因此，需要基于三角網格模型結構特點，通過數據結構檢測邊界邊并設定閾值檢測法向量不一致區域，能夠有效識別潛在的待優化區域。}

最后，針對某些區域中物體厚度較細或幾何形狀復雜（ 如曲線、曲面等 ） 的情況，現有算法有時無法自動識別這些區域為待優化區域。因此，本文采用人工選點作為補充手段，輔助算法識別嚴重破損或復雜區域，以確保這些區域的有效優化處理。

1.3"" 待優化區域特征點聚類去噪

本文首先通過使用密度聚類算法（density-based spatial clustering of applications with noise，DBSCAN） [^20]，可以在不需要事先指定簇的數量的情況下，基于數據點之間的密度來發現任意形狀的聚類，并去除噪聲點。將 3D位置信息作為點的特征輸入，如圖3所示為初次聚類去噪的結果，一些離群的噪點已經被剔除，其余各簇點也被賦予相應的標簽，以不同的顏色顯示。

為了讓初次根據距離的聚類去噪更具魯棒性，選擇了更為保守的 DBSCAN 算法參數，即較大的鄰域半徑（ε） 和較小的領域最小樣本數 （MinPts）。這雖然使得該算法在面對不同粗糙幾何代理時都能發揮出不錯的性能，但也導致在某些待優化區域分布不均的場景中，聚類結果出現每一簇點云數量相差極大的情況。為解決這一問題，通過設定法向量夾角閾值，將法向量相近的點歸于一類，便于后續的視點規劃環節按照每一簇有序進行。將所有特征點進一步聚類并分配標簽，相比只進行第1 次聚類各簇點數量會更加均勻，后續的視點規劃環節就可以按照不同特征點分簇進行，提高了計算效率。

選擇能夠包圍每一簇待優化區域特征點的最小有向包圍框（oriented bounding box，OBB） [^21]，作為待優化區域提取結果。由于無人機初次采集對建筑物的立面、凹凸、屋檐遮擋等區域采樣較少，故這些區域模型質量普遍較低，如圖 4 中大多數被綠色包圍框包圍的區域所示，可見提取較為有效。

2"" 面向待優化區域的補充采集視點規劃

對于無人地面車輛補充采集場景，所攜帶相機的高度固定，且通常無法達到幾何代理表面采樣點沿法向反向延伸一定距離的位置。因此，現有的視點生成方法無論是均勻分布生成^[16，22]，還是將視點的方向直接設定為采樣點法向的反方向直接生成 ^[23]，都會由于地面建筑、物體復雜的遮擋關系與障礙情況而不適用于無人地面車輛，因此需要針對性地設計視點生成方法，即利用面向單一視點的重構質量評價啟發式生成補充采集視點。

如圖5所示，在T. Koch等^[11]的研究中，根據攝影測量實踐結果提出了單一視點對于3D重構質量的貢獻啟發式，見式（1）—式（3）：

其中：S為幾何代理表面的采樣點；V為候選初始視點；距離d為視點和采樣點之間的距離，d_max為觀察距離最大值；觀察角α為視點朝向（相機光軸）和采樣點法線之間的夾角，α_min與α_max表示觀察角最小值與最大值。在該啟發式中u₁（α）鼓勵了朝向樣本點的前平行視點朝向，u₂（d）鼓勵了生成最大觀察距離內的視點。

針對某一樣本點的高質量視點生成算法流程如圖 6所示。

其中輸入部分的說明如表 1 所示。

圖 7 是將幾何代理表面某一采樣點作為輸入得到的候選視點重構質量熱力圖。圖中綠色圓點為采樣點，下方呈扇形分布的點為候選視點集合，其中顏色越接近紅色說明視點對總體重構質量的貢獻越高。可見基于單一視點重構質量啟發式評價候選視點，可以保證生成的視點出現在與目標采樣點距離較近的范圍內，且朝向近似前平行視角，與實踐經驗較為符合。

如圖 8 所示，生成的視點可以有效覆蓋模型的待優化區域，提供必要的場景結構信息。

實驗與驗證

為驗證所提出的基于無人地面車輛補充采集的 3D重構模型優化方法的可行性和有效性，本文搭建了基于虛幻引擎和ContextCapture 軟件的仿真平臺以及基于機器人系統 （robot system，ROS） 的實車實驗平臺。仿真方法能夠有效降低成本，應對城市飛行限制，實車方法更適合測試面對不同實際場景時的魯棒性。

仿真實驗設計

室外場景精細3D重構近些年受到了研究者們的關注，然而由于無人機及配套感知設備成本高、城市飛行限制，以及飛行實驗時間過長、流程繁瑣等問題，直接利用實際飛行獲取圖像數據作為測試視點規劃算法性能的方式并不高效，因此需要搭建可以高效測試算法性能的仿真平臺。基于UE4與ContextCapture軟件平臺，本文在UE4平臺中導入高精度3D模型作為場景底圖，利用藍圖編寫腳本即可模擬無人機或無人地面車輛在仿真環境中采集圖像；獲取圖像數據后，與采集圖像時的相機位姿信息一起輸入到ContextCapture軟件即可實現 3D重構生成3D模型；利用基于python編寫的視點規劃程序處理輸入的幾何代理，生成補充采集視點的相機位姿信息；在UE4仿真環境中模擬補充采集過程，將前后 2次采集的圖像數據作為輸入，在ContextCapture中進行局部二次3D重構，可以生成高精度3D模型；通過對幾何代理與高精度3D模型進行對比分析，可以驗證視點規劃算法性能，便于后續調整算法參數與方案。

本文挑選了Urbanscene3D中的3個模型作為仿真實驗場景^[17]，如圖9所示，分別是小鎮、橋、城堡。這些模型都采取了厘米（cm）作為空間坐標單位，并且在導入 UE4后加入場景光源，在測試算法性能方面有較好表現，如表2所示。在每個場景都涉及以下主要實驗步驟：模擬無人機采集圖像；生成幾何代理；生成補充采集視點；模擬無人地面車輛采集圖像；局部二次3D重構。

在模擬無人機采集圖像步驟的實驗設置如表 2 所示。

將模擬無人機采集的圖像輸入到 ContextCapture軟件中，即可生成幾何代理，進而可以得到提取的待優化區域。在上述 3 個場景中，由于無人機初次采集對建筑物的立面、凹部、屋檐遮擋等區域采樣較少，故這些區域模型質量普遍較低，如圖10 中大多數被綠色包圍框包圍的區域所示，提取較為有效。除了上面提到的典型低質量區域類型外，城堡場景中還存在橋下這一幾乎沒有被任何無人機視點采集到的區域；城堡場景中存在比較特殊的塔形建筑，被塔頂遮擋的區域也被提取為待優化區域，需要后續補充采集信息。

將生成的幾何代理輸入算法模塊，按照α_min = 15°、 α_max = 75°，d_max分別為2 500、2 500、3 000 cm的參數設置，可以得到最終生成的補充采集視點。

如圖 11 所示，小鎮場景的特點是地面障礙與遮擋較多，導致很多候選視點位置會被建筑物占用或采集不到目標點的信息，因此在建筑物林立的區域內生成的補充采集視點多出現在沒有被占用且較為開闊的小路旁。橋場景的特點為有一片將兩側建筑物分隔開并影響視點生成的水面區域，因此為了保證能在適當的距離范圍內采集到需要的信息，在水面的兩側分布著很多補充兩岸建筑物信息的視點。城堡場景與前 2 個較為現代化城市風格的場景不同，分布著一些不規則建筑物如塔、城墻等，因此為保證視點到目標區域的距離處于合適范圍內，算法生成的補充采集視點基本分布于不規則的建筑物輪廓附近。該場景中存在比較特殊的需要環繞補拍的塔形建筑，因此算法在不同位置生成了俯仰角度較大的視點，其目的為補充采集塔身以及被塔頂遮擋的區域。

3.2"" 仿真實驗結果與分析

根據補充采集視點，可以分別在3個虛擬場景中模擬無人地面車輛補充采集圖像。將前后數據匯總后輸入到ContextCapture軟件進行3D重構，即可獲得優化后的3D模型。在模型分辨率方面，將3D模型的投影像素尺寸（長度單位/像素）映射到紅-綠色，即可生成模型的分辨率熱力圖，可以一定程度上反映模型優化前后的質量對比。在以下模型分辨率對比圖中，區域顏色越接近綠色代表投影像素尺寸較小，即分辨率較高，而區域顏色越接近紅色則代表投影像素尺寸較大，即分辨率較低。如表3所示，經過模型優化，小鎮、橋、城堡場景模型的投影像素尺寸分別由2.74、2.02、2.22減小到了0.73、0.86、0.83。優化前模型中建筑物頂部分辨率較高，建筑物的立面與屋檐遮擋區域分辨率較低，這主要是由無人機對不同區域采樣不均造成。在添加補充采集的信息后，大部分低質量區域的分辨率都得到了提升，只有個別區域如建筑物內部、細小轉角采樣仍然不足。

3.3"" 實車實驗設計

本文選取了北京市延慶區某車輛檢測基地作為實車驗證的實驗場地，該場地的上空為經過官方批準的無人機可飛行空域。如圖12 所示，該場地中部較為空曠，適合實驗人員和設備通行，而四周分布著具有不同特點的建筑物，如平房、橋、塔等，可以作為進行補充采集測試的場景。

該實驗場景中涉及以下主要實驗步驟：無人機采集圖像；生成幾何代理；生成補充采集視點；無人地面車輛采集圖像；局部二次3D重構。該實驗中，無人機采集系統搭載了大疆禪思P1相機，其焦距為35 mm，圖像分辨率為8 192×5 460，在高程為200 m的航線采集圖像；無人地面車輛采集系統搭載中海達影像小碟V5，其相機焦距為24 mm，圖像分辨率為1 600×1 200。

本次實車實驗的無人機初次采集數據為對更大范圍覆蓋飛行采集的一部分，將無人機采集的圖像輸入到 ContextCapture 軟件中，即可生成幾何代理。在實車實驗場景中，由于無人機初次采集對建筑物的立面、凹部、遮擋等區域采樣較少，故這些區域模型質量普遍較低，如圖 13 中大多數被紅色包圍框包圍的區域所示，提取較為有效。

圖 14 為以 Autolabor Pro1 無人地面車輛底盤為基礎的實驗用補充采集平臺，根據上一節中無人機初次采集的視點，將生成的待優化區域輸入視點規劃模塊，按照 α_min = 15°、α_max = 75°，d_max = 20 m 的參數設置，可以得到最終生成的無人地面車輛補充采集視點。

如圖 15 所示，由于無人機初次采集對建筑物的立面、屋檐遮擋等區域采樣較少，故補充采集視點大多著重補充這些區域的信息。另外該場景中也存在需要環繞補拍的塔形建筑，因此算法在不同位置生成了俯仰角度較大的視點，其目的為補充采集塔身以及被塔頂遮擋的區域。

由于該實驗場地占地面積較大，實際補充采集實驗時未對所有待優化區域進行采集，而是挑選了3 個較為典型的需要補充采集的場景著重進行實驗與分析。

3.4"" 實車實驗結果與分析

為了對應仿真場景， 更有效地驗證補充采集系統性能，本節在實驗場地中挑選了3 個實車實驗場景 1、2、3 （ 房屋建筑組、橋、水塔 ） 進行重點實驗與分析。根據補充采集視點，分別在 3 個場景中利用無人地面車輛補充采集圖像，將前后數據匯總后輸入到 ContextCapture 軟件進行 3D 重構，即可獲得優化后的 3D 模型。在模型分辨率方面，將 3D 模型的投影像素尺寸 （ 長度單位 / 像素 ） 映射到紅? 綠色，即可生成模型的分辨率熱力圖，可以一定程度上反映模型優化前后的質量對比。在以下模型分辨率對比圖中，區域顏色越接近綠色代表投影像素尺寸較小，即分辨率較高，而區域顏色越接近紅色則代表投影像素尺寸較大，即分辨率較低。

經過模型優化，場景 1、2、3 模型的局部投影像素尺寸由 3.22 分別減小到了1.27、0.516、1.27。如表 4所示，在添加補充采集的信息后，大部分低質量區域的分辨率都得到了提升，只有建筑物內部如橋洞深處等區域由于結構復雜仍存在采樣不足的問題。從優化前后紋理映射模型的結構角度，場景 1、3 的優化效果更為明顯，體現了本課題設計的無人地面車輛補充采集系統，對存在較復雜凹凸、遮擋結構的場景具有更強的適用性。

4"" 結""" 論

由無人機采集系統單獨采集的圖像進行 3D 重構后，地面建筑、物體之間復雜的遮擋關系會導致最終生成的模型存在破損、孔洞。針對上述問題，本文以無人地面車輛補充采集系統為研究對象，采取先探索后利用思路，充分利用無人機初步采集成果，通過無人地面車輛補充采集數據構建完整、準確的 3D 模型。本文耦合基于模型分辨率、三角網格模型結構特點以及人工選點輸入 3 種方法對幾何代理 （ 粗糙 3D 模型）進行待優化區域提取；分析現有視點生成方式對于無人地面車輛采集系統不適用的原因，提出利用面向單一視點的重構質量啟發式有針對性地生成補充采集視點，減小視點集合冗余度，以減小實際采集工作與計算負擔。

通過添加無人地面車輛根據補充采集視點采集得到的圖像，可以有效提升 3D 重構模型的質量。對于仿真實驗，在投影像素尺寸方面，小鎮、橋、城堡分別減小了73.5%、57.4%、62.4%， 實車場景 1、2、 3（ 房屋建筑組、橋、水塔 ） 分別減小了84.0%、59.0%、60.6%，其中場景 2（ 橋） 的優化幅度最小，這主要是由于該場景中以高大且輪廓較為規整的建筑為主，無人機的初始采集已經能對大部分區域采集到足夠的信息，只有少數遮擋區域才存在采樣不足的現象。因此，本文設計的無人地面車輛補充采集系統更加適合類似小鎮、城堡場景的以低矮建筑為主，且存在較復雜凹凸、遮擋結構的場景。