多源數(shù)據(jù)融合的城市三維實景建模

謝云鵬，呂可晶

(1. 中國科學(xué)院地理科學(xué)與資源研究所 資源與環(huán)境信息系統(tǒng)國家重點實驗室，北京 100101；2. 中國科學(xué)院大學(xué) 資源與環(huán)境學(xué)院，北京 100049)

隨著各類測量手段的進步，空間數(shù)據(jù)獲取技術(shù)和地理信息系統(tǒng)(GIS)產(chǎn)業(yè)得到了迅猛發(fā)展[1,2]。在此背景下，地理信息的三維可視化表達因其相較于二維方式具有更直觀、更真實和更高精度的空間位置優(yōu)勢，地理空間知識的三維可視化表達成為研究熱點。在地理國情監(jiān)測、城市模擬、區(qū)域可持續(xù)發(fā)展等多個領(lǐng)域，三維地理信息系統(tǒng)正發(fā)揮著重要的作用[3]。因此，城市三維實景建模對于研究城市的發(fā)展具有重要的作用。

目前，三維建模的技術(shù)主要分為3種：人工建模，傾斜攝影建模和激光雷達建模。人工建模是利用三維建模的軟件，如3DMAX，Maya等結(jié)合已有的影像或者大比例尺規(guī)劃圖等進行建模。該建模方法模型效果較好，但是制作周期較長，與真實世界反差大，并且人工成本高，適用于小范圍、特定目標(biāo)的三維建模。在城市三維建模領(lǐng)域，一般不采用該方法。譚仁春等[4]針對人工建模的不足，開發(fā)了人機交互的輔助工具，提高了人工建模的效率，但是該方法耗費了大量的時間成本和人力成本，仍然不足以滿足大規(guī)模城市三維建模的需求。

傾斜攝影測量技術(shù)是測繪遙感領(lǐng)域近年來發(fā)展起來的一項新技術(shù),利用該技術(shù)可以快速獲取地物不同角度的影像，得到更為詳盡的物體側(cè)面信息[5]，獲取的數(shù)據(jù)也更能夠直觀、真實地反映實際地物特征[6]；并且無人機傾斜攝影具有效率高、成本低、靈活便捷等特點。目前該技術(shù)已在多個領(lǐng)域進行了實驗和研究。王娟娟等[7]利用旋翼無人機對北京市高新區(qū)進行了傾斜攝影，并生成了該區(qū)域的三維模型，對傾斜攝影技術(shù)進行了建模可行性、精度和效率等的分析和評價，但是該研究的研究區(qū)地形為平地，面積約為1 000 m2，對城市的復(fù)雜地形、大面積等未作更詳細的研究；譚仁春等[8]對無人機傾斜攝影的建模方法進行了改進，將傾斜攝影與MAX技術(shù)結(jié)合，改善三維模型的精度，但是該技術(shù)對三維模型的優(yōu)化還是依賴人工二次處理；劉文壯等[9]探討了不同重疊度下無人機傾斜攝影模型的質(zhì)量，得出了城市建模中，重疊度設(shè)計的原則；Kelly等[10]通過無人機影像對建筑物進行了三維重建，驗證了該方法在大區(qū)域建模中的可行性；Lingua等[11]利用無人機傾斜攝影技術(shù)對意大利西北部某個城市中的古建筑物進行了三維建模，驗證了該技術(shù)的可行性，對該技術(shù)中的重疊度、飛行高度等進行了細節(jié)探討；Li等[12]針對大規(guī)模的城市三維建模，利用傾斜攝影技術(shù)對北京4 000 km2的區(qū)域進行三維建模，驗證了該解決方案的可行性。但是他們都沒有對模型精度進行探究，也沒有探討三維模型紋理細節(jié)的優(yōu)化。

激光雷達具有分辨率高、抗干擾能力強、低空探測性能好等特點[13]。并且隨著激光雷達點云數(shù)據(jù)處理技術(shù)的進步，目前已有大量的研究利用激光雷達技術(shù)進行三維重建。王丹陽等[14]闡述了地基激光雷達的工作原理，并利用此技術(shù)進行建筑物三維建模，得到了高精度的三維模型，但是該方法對于城市大區(qū)域三維建模效率較低；駱鈺波等[15]利用地基激光雷達技術(shù)對森林樹木進行了高精細的三維建模；Heo等[16]利用地面激光雷達，提出一種3D建筑面的半自動重建方法，但是該方法效率相對較低。

目前的研究僅對三維模型的地理位置精度進行了分析與驗證，但是對三維模型紋理精度改進還有所欠缺。對三維模型紋理模糊、地物空洞等問題采用的大多是人工修模的低效策略。而對大區(qū)域的激光雷達三維建模，目前的研究大多采用的是機載激光雷達的方法，該方法與無人機傾斜攝影技術(shù)一樣，無法解決城市地物遮擋等問題；同時還需要對城市地物進行紋理采集，成本高、效率低。因此地面激光雷達技術(shù)目前大多應(yīng)用于單體建筑的建模，現(xiàn)有的研究沒有將地面激光雷達技術(shù)應(yīng)用于綜合城市三維建模中。

綜上所述，對3種建模方法的優(yōu)缺點以及適用范圍進行了總結(jié)(表1)。人工建模效果較好，但效率低、成本高，只適用于小范圍或單體建模；無人機傾斜攝影建模方法效率高、成本低，適用于大范圍建模，但抗光照、風(fēng)速干擾能力差，無法解決因地物遮擋造成的局部紋理扭曲、地物拉花、地物空洞等問題；因此，筆者提出無人機傾斜攝影與地面激光雷達融合建模的方法，將兩種數(shù)據(jù)統(tǒng)一到一套坐標(biāo)系中進行三維重建，獲得高效率、低成本、精細化的城市三維模型。經(jīng)實驗，該方法可以應(yīng)用于城市復(fù)雜環(huán)境中，取得了較好的效果。

表1 三維建模方法對比

1 技術(shù)路線

三維建模的基本原理是利用獲取的數(shù)據(jù)生成點云數(shù)據(jù)，從而構(gòu)建TIN三角網(wǎng)，最后對TIN三角網(wǎng)進行貼膜處理。傾斜攝影技術(shù)與地面激光雷達技術(shù)進行融合建模的本質(zhì)是利用無人機影像生成的稀疏點云與激光雷達點云融合，最后生成更高精度的三維模型。其具體技術(shù)流程如圖1所示。

圖1 融合建模技術(shù)路線Fig. 1 Fusion modeling technology route

對于無人機傾斜攝影獲取的影像首先需要進行預(yù)處理，從而進一步進行空中三角測量，得到空中三角測量質(zhì)量報告。分析質(zhì)量報告中關(guān)鍵點、連接點個數(shù)，初步判斷其精度。再判斷重投影誤差(RMS of reprojection error)是否滿足精度要求，若滿足要求，則利用傾斜攝影影像同時生成稀疏點云和初步的三維模型。其中稀疏點云是為了與地面激光雷達點云數(shù)據(jù)進行配準(zhǔn)，初步的三維模型則是為了分析其精度，從而確定地面激光雷達的測區(qū)。若不滿足要求，則進行無人機外業(yè)重測。

地面激光雷達點云數(shù)據(jù)處理主要包括2個部分：點云濾波處理以及點云數(shù)據(jù)配準(zhǔn)。實驗中，地面激光雷達獲取的數(shù)據(jù)極限范圍是60 m，為了確保數(shù)據(jù)精度，只保留20 m以內(nèi)的數(shù)據(jù)，這樣既能夠有效去除數(shù)據(jù)中的噪音點以及無效點，還能夠?qū)?shù)據(jù)量減少，提高后續(xù)的數(shù)據(jù)處理速度。因此首先利用徠卡Cyclone Register360將點云數(shù)據(jù)導(dǎo)出，并進行裁剪。

由于地面激光雷達獲取的點云密度較高，需要對其進行下采樣，從而減少點云數(shù)據(jù)量，提高后續(xù)點云處理效率。體素濾波器將輸入的點云數(shù)據(jù)分割成一個個微小的三維體素網(wǎng)格，以體素網(wǎng)格重心近似代表其他點，體素濾波器既能夠減少點云數(shù)據(jù)量，又不會破壞點云數(shù)據(jù)本身的幾何結(jié)構(gòu)。下一步則利用統(tǒng)計濾波器(statistical outlier removal)將點云數(shù)據(jù)集中的噪音點去除。統(tǒng)計濾波器原理是計算每個點到與它相鄰的K個點的平均距離。假設(shè)得到的結(jié)果是一個高斯分布，其形狀由平均距離的均值和標(biāo)準(zhǔn)差決定，平均距離在標(biāo)準(zhǔn)范圍之外的點，可以被定義為離群點并從數(shù)據(jù)中去除。

數(shù)據(jù)配準(zhǔn)是將處于不同的空間坐標(biāo)系的點集轉(zhuǎn)換到統(tǒng)一的坐標(biāo)系中，即計算出2個空間坐標(biāo)系的旋轉(zhuǎn)變換關(guān)系[17]。這里采用手動粗配準(zhǔn)與自動精配準(zhǔn)結(jié)合的方法進行點云配準(zhǔn)。精配準(zhǔn)采用的是ICP點云匹配算法，而ICP算法的配準(zhǔn)效果與點集的初始位置有很大的關(guān)系，因此不能直接用于點云精配準(zhǔn)，需要利用其他手段進行粗配準(zhǔn)之后才能得到較好的效果。

ICP的基本原理是：先獲取2個點集的特征點，根據(jù)特征點進行數(shù)據(jù)匹配，并設(shè)這些匹配點為假想的對應(yīng)點，然后根據(jù)這種對應(yīng)關(guān)系求解運動參數(shù)，最后利用這些參數(shù)進行數(shù)據(jù)轉(zhuǎn)換[18-19]。ICP算法簡單來講就是通過對應(yīng)點使目標(biāo)函數(shù)S2最小化，其計算公式如下，

(1)

式中：N為迭代次數(shù)，Qi為參考點云中的點，Pi是目標(biāo)點云中對應(yīng)的點，R和t就是需要計算出的旋轉(zhuǎn)平移矩陣。

最后，將無人機傾斜攝影影像與配準(zhǔn)之后的激光雷達點云數(shù)據(jù)同時導(dǎo)入Context Capture三維建模軟件中，利用該軟件生成城市實景三維模型。

2 設(shè)計方案

2.1 無人機數(shù)據(jù)采集

傳統(tǒng)的無人機傾斜攝影測量流程：1)確定測區(qū)，利用無人機飛控平臺進行自動化航線規(guī)劃；2)按照規(guī)劃好的航線進行飛行，完成外業(yè)測量任務(wù)。利用傳統(tǒng)的方式進行無人機數(shù)據(jù)采集時，因其航線固定、航高固定，無法靈活地控制飛行的高度和拍攝角度，對于目標(biāo)地物無法進行精細測量，導(dǎo)致生成的三維模型在細節(jié)方面扭曲變形，達不到理想的效果。在城市中，由于建筑物的高度較高，建筑物之間的間距相對較小，航線固定的測量方法在城市數(shù)據(jù)獲取中存在很大的不足，會出現(xiàn)無人機航拍的視域盲區(qū)。因此，對無人機數(shù)據(jù)采集方法進行改進(圖2)：

1)按照傳統(tǒng)獲取方式，設(shè)定航高110 m，設(shè)置航向重疊度為75%，旁向重疊度為65%，進行固定航線采集；

2)調(diào)整無人機飛行高度以及攝像頭拍攝角度，對興趣區(qū)域進行手動拍攝。

圖2 航線自動拍攝與手動調(diào)整拍攝結(jié)合Fig. 2 Combination of Automatic route shooting with manual adjustment shooting

2.2 地面激光雷達數(shù)據(jù)采集

地面激光雷達數(shù)據(jù)的獲取設(shè)備采用徠卡BLK360激光掃描儀。在進行實地激光數(shù)據(jù)獲取時，首先是確定測區(qū)，然后根據(jù)測區(qū)的范圍進行測站的布設(shè)。由于徠卡BLK360的掃描范圍是0.6～60 m，而掃描點的距離越遠，點云精度和測距精度則越低，因此為了獲取高精度的數(shù)據(jù)，一個測站的實際掃描距離控制在20～30 m之間。為了方便點云的智能拼接，相鄰測站之間需要有一定的重合度，保證相鄰測站之間能夠建立連接，如圖3所示。

圖3 地面激光雷達測站Fig. 3 Ground lidar station

3 數(shù)據(jù)處理與精度評估

3.1 無人機影像處理與分析

由于航拍照片受到天氣、光照等多方面的影響，航拍影像存在亮度不一致、照片不清晰等問題，從而導(dǎo)致后續(xù)影像匹配錯誤。因此，對航拍影像進行預(yù)處理，利用Photoshop對航拍影像的亮度、飽和度、對比度等多方面進行調(diào)整(圖4)。

圖4 無人機影像預(yù)處理Fig. 4 Drone image preprocessing

對影像進行預(yù)處理之后，需要對影像數(shù)據(jù)進行空中三角測量，從而確定影像拍攝時的位置和方向，即確定像片的內(nèi)外方位元素。由于在進行拍攝時，相機的傳感器尺寸、鏡頭焦距等是固定的，因此內(nèi)部定向是固定的。空中三角測量(圖5)的主要任務(wù)是利用航拍影像提取特征點以及匹配特征點，然后將特征點進行連接，從而計算外方位元素，將測區(qū)的所有影像納入統(tǒng)一的物方坐標(biāo)系。

圖5 空中三角測量結(jié)果Fig. 5 Air triangulation results

根據(jù)空中三角測量質(zhì)量報告分析空三解算的精度。如圖6所示，導(dǎo)入的影像總共有1 253張，其中有2張不能用于重建，原因是這2張照片與其他的照片重疊度不夠高或者沒有提取出連接點。圖7給出了這2張照片中可能存在的連接點，圖中虛線之前的圖片是未參與空中三角測量的影像，之后的影像中的點是其他影像中可能存在的對應(yīng)連接點。質(zhì)量報告概述中指出平均每張影像提取出了13 706個關(guān)鍵點，總共268 548個連接點，平均每張照片831個連接點，重投影誤差為0.75個像素。一般來講，重投影誤差小于1則沒有問題；否則需要重復(fù)多次進行空中三角測量，直到誤差小于1為止。

圖6 空中三角測量質(zhì)量報告Fig. 6 Air triangulation quality report

圖7 空三失敗的影像Fig. 7 Image of aerial triangulation failure

完成空三解算之后，生成三維模型和傾斜攝影稀疏點云。如圖8所示，模型整體效果與精度都比較不錯，但是某些細節(jié)區(qū)域，由于地物遮擋、影像質(zhì)量不高等原因，地物會出現(xiàn)扭曲、空洞等問題，如圖9所示。因此需要對該興趣區(qū)進行地面激光雷達數(shù)據(jù)進行補充，以彌補該區(qū)域的缺陷。

圖8 無人機影像建模整體效果圖Fig. 8 Drone image modeling overall rendering

圖9 三維模型中的缺陷Fig. 9 Defects in 3D models

3.2 地面激光雷達數(shù)據(jù)處理與分析

針對無人機影像生成的三維模型的缺陷，對該區(qū)域進行地面激光雷達掃描。如圖10所示，在該區(qū)域總共設(shè)站23個，測站之間的連接數(shù)為67個，點群誤差為0.007 m，全局誤差0.001 m，誤差值在可接受范圍之內(nèi)。地面激光雷達點云數(shù)據(jù)的坐標(biāo)系為相對坐標(biāo)系，需要將地面激光點云數(shù)據(jù)坐標(biāo)系轉(zhuǎn)換到WGS84坐標(biāo)系下，從而與無人機點云數(shù)據(jù)進行融合建模。

圖10 激光雷達點云數(shù)據(jù)自動拼接Fig. 10 Lidar point cloud data automatic stitching

首先利用手動配準(zhǔn)方法將地面掃描點云與無人機生成的點云進行配準(zhǔn)。點云手動配準(zhǔn)的結(jié)果見圖11，得到了一個旋轉(zhuǎn)變換矩陣，同時也得到了變換的精度RMS為0.298，這個配準(zhǔn)精度明顯不能夠滿足要求，需要進一步進行精配準(zhǔn)。

圖11 手動配準(zhǔn)結(jié)果Fig. 11 Manual registration results

利用ICP算法進行精配準(zhǔn)，由于2個點云的大小不一致，在使用ICP算法時，設(shè)置的重疊度也應(yīng)該相應(yīng)地進行修改(圖12)，設(shè)置重疊度為10%，得到的RMS為0.05。圖13展示了最終的配準(zhǔn)效果。

圖12 ICP配準(zhǔn)結(jié)果Fig. 12 ICP Registration results

圖13 配準(zhǔn)效果Fig. 13 Registration effect

3.3 融合建模

利用Context Capture三維建模軟件進行融合建模，將已經(jīng)經(jīng)過配準(zhǔn)的激光點云數(shù)據(jù)與無人機影像數(shù)據(jù)導(dǎo)入Context Capture中，并在Context Capture中進行空中三角測量，最后得到一個融合模型。為了更好地查看融合建模與單獨建模的差異，同時生成融合模型和傾斜攝影三維模型。圖14(a)中，傾斜攝影模型的建筑物墻體有明顯的扭曲變形，圖14(b)為融合模型中對應(yīng)墻體的模型效果，可以看出，融合建模方法能夠改善三維模型地物扭曲的問題。如圖15(a)所示，傾斜攝影模型中存在地物空洞的問題，圖15(b)展示了融合建模方法也可以解決三維模型地物空洞的問題。由圖16(a)可以看出，傾斜攝影模型的地物細節(jié)較為粗糙，圖16(b)表明融合建模的三維模型在細節(jié)上極大地提高了三維模型的紋理精度。

圖14 地物扭曲變形糾正Fig. 14 Ground distortion correction

圖15 地物空洞彌補Fig. 15 Ground hollow make-up

圖16 地物細節(jié)優(yōu)化Fig. 16 Feature optimization

3.4 三維模型精度評估

目前，三維模型精度的評估還沒有統(tǒng)一的技術(shù)規(guī)范與標(biāo)準(zhǔn)。眾多研究者利用外業(yè)控制點對構(gòu)建的三維模型進行精度評估，周呂等[20]以武漢大學(xué)卓爾體育館作為研究區(qū)域，利用外業(yè)控制點對無人機傾斜攝影所構(gòu)建的三維模型進行了精度的評估，但是這類精度評估方法只對三維模型的地理位置精度進行了評估。張?zhí)柕萚21]在《傾斜攝影實景三維模型質(zhì)量評價》一文中利用相關(guān)實驗并結(jié)合傾斜攝影三維模型的特點和成果質(zhì)量表現(xiàn)形式，歸納了三維模型質(zhì)量評價的內(nèi)容和方法。如表2所示，質(zhì)量評價元素主要包括6個部分：空間參考系、位置精度、模型質(zhì)量、邏輯一致性、場景效果、附件質(zhì)量。

表2 質(zhì)量檢查元素與權(quán)重

根據(jù)以上的檢查元素，檢驗結(jié)果如下：1)空間參考系：融合模型的坐標(biāo)系為WGS84坐標(biāo)系，空間參考系符合要求。2)位置精度：根據(jù)上文空中三角測量質(zhì)量分析，模型的平面精度為0.038 m，高程精度根據(jù)經(jīng)驗?zāi)Ｐ停瑸槠矫婢鹊?倍左右，即0.114 m左右。3)模型質(zhì)量：初步模型中建筑物結(jié)構(gòu)出現(xiàn)一定程度的變形和扭曲，甚至是出現(xiàn)空洞，融合建模的三維模型較好解決了該問題；在結(jié)構(gòu)和紋理上改善了模型質(zhì)量。4)邏輯一致性：未發(fā)現(xiàn)問題。5)場景效果：模型整體效果較好，與實際地物較為吻合。6)資料質(zhì)量：符合要求。

4 結(jié) 語

分析比較了無人機傾斜攝影三維建模與地面激光雷達三維建模的優(yōu)缺點，結(jié)合無人機傾斜攝影的高效性和地面激光掃描的精確性，提出了以無人機傾斜攝影為主，地面激光雷達為輔的城市三維實景融合建模方法。在實驗過程中，總結(jié)了一套數(shù)據(jù)獲取與數(shù)據(jù)處理的流程，包括外業(yè)無人機影像獲取策略、多種濾波算法結(jié)合的濾波方法以及數(shù)據(jù)配準(zhǔn)方法優(yōu)化等，解決了無人機影像三維建模中的部分缺陷，提高了三維模型的精度，完善了三維模型的部分紋理細節(jié)。但是，對于獲取時間差異很大的數(shù)據(jù)，無人機影像和激光掃描數(shù)據(jù)存在色調(diào)、色差等問題，還需要進一步的深度探究，同時更高效的點云濾波處理方法和點云配準(zhǔn)方法也有待進一步的研究。