消費型無人機傾斜序列影像三維重建研究

馬國吉，馬國斌，馬國寶，孫曉霞

（1. 青海省測繪科學(xué)技術(shù)研究院,青海 西寧 810001；2.青海省地理空間和自然資源大數(shù)據(jù)中心,青海 西寧 810001； 3.青海省基礎(chǔ)測繪院,青海 西寧 810001；4.青海地理信息產(chǎn)業(yè)有限公司,青海 西寧 810001）

隨著“數(shù)字地球”、“智慧城市”等概念的提出,人們對城市空間信息的需求變得更加強烈,城市空間信息也變得更加復(fù)雜,給城市管理效率來了嚴峻考驗,急需為城市管理、規(guī)劃提供可視化的實景三維數(shù)字模型數(shù)據(jù)。如何快速獲取實景三維模型成為國內(nèi)外學(xué)者研究的熱點[1-2]。

三維模型重建是攝影測量的主要目標之一。實現(xiàn)三維目標重建的數(shù)據(jù)主要包括光學(xué)影像和激光雷達兩種[3]。王建強[4]等以傳統(tǒng)的攝影測量手段獲取影像數(shù)據(jù),再利用三維制作軟件（Smart3D、Context Capture）生成三維模型,該方法建模速度快、自動化程度高、成本較低,但獲取三維模型框架精度較低,密集建筑物區(qū)域的模型較模糊,難以區(qū)分建筑物邊界信息；為了快速獲取高精度的三維模型邊緣信息,孫保燕[5]等采用影像數(shù)據(jù)、激光雷達數(shù)據(jù)以及已有高精度的矢量數(shù)據(jù)構(gòu)建城市三維模型,再利用激光數(shù)據(jù)快速獲取噪聲低、精度高的白膜數(shù)據(jù),然而激光數(shù)據(jù)缺少紋理信息,通過無人機影像數(shù)據(jù)和輔助參數(shù)可獲取建筑物頂部與部分側(cè)面紋理信息,但仍不能滿足三維模型對側(cè)面紋理的要求,且該方法成本較高；張春森[6]等利用傳統(tǒng)的航空攝影測量獲取了地物的紋理信息和高程信息,能提供高精度、輪廓明顯的建筑物模型,是目前城市建筑物三維模型主要的獲取方式之一,但傳統(tǒng)的航空攝影測量方式無法獲得建筑物的側(cè)面紋理信息,在密集建筑物區(qū)域存在地物遮擋現(xiàn)象。上述三維建模方法具有成本高、生產(chǎn)工藝復(fù)雜、作業(yè)效率低等特點,在一定程度上制約了城市三維重建技術(shù)的發(fā)展與推廣。鑒于此,本文提出了消費型無人機傾斜序列影像三維重建的方法。該方法首先利用消費型無人機獲取無人機傾斜影像；再采用Agisoft PhotoScan軟件的影像匹配模塊自動獲取多視傾斜影像同名點坐標；然后通過GodWork軟件的AT模塊進行引入曝光延遲的GPS光束法區(qū)域網(wǎng)平差,生成高精度的影像外方位元素信息；最后為了獲取豐富的紋理信息,采用Smart3D軟件構(gòu)建三維模型,為無人機傾斜序列影像三維建模提供一種思路。

1 關(guān)鍵技術(shù)

無人機傾斜序列影像一般具有幾何變形大、不同視角變化較大、影像側(cè)面信息豐富等特點。構(gòu)建三維模型時,需針對無人機傾斜影像的特點,在影像匹配、空三加密處理、密集匹配和紋理映射等方面采用區(qū)別于傳統(tǒng)攝影測量的方法進行處理,以獲取精度較高、紋理清晰的實景三維模型。

1.1 傾斜影像匹配與定位

由于不同視角的無人機傾斜影像存在較大的視角差異,因此同一地物在不同視角影像上表現(xiàn)出很大差異。采用通用的SIFT無人機影像匹配方法獲取同名點存在以下問題[7]:①缺少對無人機傾斜影像地物遮擋以及影像幾何變形的考慮,以固定的局部窗口獲取的特征點描述信息不能真實反映地物情況,地物起伏較大區(qū)域易匹配失敗；②影像分辨率較高導(dǎo)致地物高差較大區(qū)域投影差變化較大,因此難以確定正確的匹配搜索區(qū)域；③缺少對獲取點位分布以及定量的精度檢驗與分析,使得在實際工程應(yīng)用中精度難以滿足需求。

SIFT無人機傾斜影像匹配方法的影像預(yù)處理主要包括傾斜影像的近似水平校正和影像均勻分塊。由于無人機影像分辨率較高、一景影像覆蓋的區(qū)域較小,因此高差變化可近似認為水平。通過影像的POS數(shù)據(jù)以及公開的SRTM數(shù)據(jù)將無人機傾斜影像投影到一個固定的高程面上進行近似水平校正,可在一定程度上減弱影像幾何變形的影響[8]；然后利用影像的地理信息計算影像的重疊區(qū)域,并對重疊區(qū)域進行均勻劃分；最后采用參考文獻[9]提出的特征點提取方法,確保提取的同名點分布均勻。

利用近似水平影像提取的特征點能有效避免影像幾何變形的影響,描述子生成后以特征向量的歐式距離作為特征點相似程度的判斷依據(jù),再通過選用合適的閾值,確定影像匹配點的粗匹配過程。由于匹配結(jié)果存在大量錯誤點,難以保證同名點的精確位置,因此可利用RANSAC算法剔除誤匹配點。通過RANSAC算法剔除粗差后,頂層誤匹配點已基本剔除,但金字塔下層影像的分辨率較高、紋理信息較豐富,提取的特征數(shù)量大大增加,將出現(xiàn)誤匹配現(xiàn)象,因此在底層匹配過程中除了利用核線約束外,還需借助傾角迥異的核線關(guān)系進行約束匹配[10]。

為了加快匹配速度、減少誤匹配點,一方面利用POS數(shù)據(jù)進行水平校正處理,消除影像的幾何變形影響,并通過分塊提取特征點數(shù)量確保同名點分布均勻合理；另一方面通過在不同層影像匹配時采用不同的約束策略來剔除誤匹配、限制適當搜索空間。本文采用金字塔匹配策略,將原始影像縮小為1/2和1/4。頂層影像為原始影像的1/4,影像分辨率較低,匹配精度較高,因此無需進行粗差剔除策略；第二層影像采用RANSAC算法優(yōu)化匹配結(jié)果,剔除誤匹配點。采用兩組不同的15對同名點計算兩組傾角迥異的核線參數(shù),在原始影像上進行傾角迥異的核線引導(dǎo)匹配,不僅可提高算法的匹配效率,還可提高同名點的定位精度,為空三加密處理提供數(shù)據(jù)支撐。

通過上述匹配過程,可在重疊影像上獲取分布均勻、精度高、誤匹配少的稀疏匹配點；再利用影像內(nèi)外方位元素和高精度的連接點進行像對定向、立體模型連接,完成自由網(wǎng)的構(gòu)建。統(tǒng)一整個區(qū)域的影像坐標后,將利用連接點多片前方交會方法獲得的地面點物方空間坐標作為光束法區(qū)域網(wǎng)平差的初值。針對無人機飛行速度不穩(wěn)定而導(dǎo)致的平差結(jié)果比理論估值偏低的問題,本文采用參考文獻[11]提出的估計曝光延遲GPS輔助光速法區(qū)域網(wǎng)平差方法對曝光點的曝光延遲進行逐點補償,再將曝光延遲參數(shù)作為未知參數(shù)與其他系統(tǒng)誤差參數(shù)一并代入誤差方程統(tǒng)一求解,以提高GPS光束法區(qū)域網(wǎng)平差的整體精度。同時借助大量地面控制點,對整個誤差方程矩陣進行循環(huán)分塊,求解改正參數(shù),進而獲取每張影像高精度的外方位元素、連接點的空間物方坐標。

1.2 密集匹配

將影像匹配、空三加密處理獲取的影像精化后的外方位元素、相機參數(shù)作為多視密集匹配的輸入,通過考慮多視待匹配影像的多余觀測生成物方點。建立參考影像上某一像素的初始物方面元patch（normal 法向量、position位置）,由物方位置、法向量參數(shù)唯一確定物方面元；再將物方面元反算到參考影像上,通過參考影像局部窗口與待匹配影像的局部窗口的相似度函數(shù)來完成多余觀測的物方匹配[12]。

多視影像密集匹配算法的整體流程包括4個步驟:①特征提取,在影像DOG空間上均勻劃分32像素×32像素大小的格網(wǎng),采用Harris算子提取格網(wǎng)內(nèi)4個響應(yīng)值最大的點,再利用多視影像特征點匹配的方法確定特征點集合的稀疏匹配點,構(gòu)建初始物方面元集合,并對面元參數(shù)進行初始化；②物方面元優(yōu)化更新,利用面元局部灰度相似度函數(shù)的極值參數(shù)求解,精化初始物方面元信息,再以物方點在參考影像的法向量為約束條件減少面元參數(shù)的相關(guān)性,并將目標函數(shù)的自由度減少到3,刪除可見影像單元Ck對應(yīng)的特征點；③物方面元的擴散,從完成優(yōu)化的面元P到其領(lǐng)域未包含的物方面元Cj擴散,以物方面元Cj的中心射線與影像攝影中心和優(yōu)化面元P的交點為新物方面元P＇的位置初始值,法向量參數(shù)采用優(yōu)化面元P來迭代、更新、優(yōu)化,直到物方面元Ck遍歷完成；④點云剔除,利用物方與像方空間鄰域關(guān)系剔除不一致面元,并過濾掉懸浮空中或低于地面過低的錯誤點。通過上述步驟,可生成與無人機傾斜影像同等分辨率的數(shù)字表面模型數(shù)據(jù)。

1.3 紋理自動映射

紋理自動映射能解決不同影像塊之間的顏色過渡和最佳影像面選擇問題。本文采用泊松融合的方法處理不同影像塊拼接處的影像融合問題[13-14]。首先為每個需要映射的影像面塊計算一個得分,選擇分數(shù)最高的面塊作為紋理映射的候選面塊；再利用三角格網(wǎng)面表達三維空間模型,紋理映射的本質(zhì)是為了建立格網(wǎng)與影像紋理空間信息的一一對應(yīng)關(guān)系。對于復(fù)雜節(jié)點構(gòu)建密集格網(wǎng)面的三維模型而言,首先計算每個三角形面片的頂點坐標和影像紋理中像素的對應(yīng)值（行列號）；再利用影像旋轉(zhuǎn)矩陣和空間投影矩陣將三維模型上的坐標轉(zhuǎn)換到原始影像上,獲得每個頂點的紋理信息；然后在模型渲染時,每個三角格網(wǎng)面的顏色取3個頂點顏色的平均值。在本文實驗中,首先從傾斜航空影像密集匹配的點云結(jié)果中獲得每個點的坐標、紋理信息和法向量,再通過找尋對應(yīng)的影像平面坐標和利用空三處理后影像姿態(tài)信息找到三維點云與傾斜影像之間的對應(yīng)關(guān)系,然后優(yōu)化紋理映射模型,最終獲得紋理信息較真實的三維實景模型。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)采集系統(tǒng)介紹

本文采用大疆DJI M600Pro無人機搭載的DG3 Pros傾斜攝影測量系統(tǒng)獲取影像數(shù)據(jù),具有多視角高清影像采集、成本低、機動靈活等優(yōu)點。Pros光學(xué)鏡頭采用了低色散 ED 鏡片,能大幅提高影像的線對數(shù),有效提升航片質(zhì)量、降低空三分層概率；相機左右傾斜鏡頭角度從45°提高到50°,可大幅提高模型旁向建模效果,在保證模型精度和效果的前提下,能實現(xiàn)更高的作業(yè)效率；五鏡頭增加了高同步曝光技術(shù),有利于空三加密解算。

2.2 航攝設(shè)計

本文采用Altizure軟件進行航線規(guī)劃設(shè)計,重疊率為60%～80%（由地面高度決定）,沿某一方向來回往返,呈帶狀按次序逐步覆蓋全部場地,實現(xiàn)對地形邏輯有序的全覆蓋航攝（圖1）。設(shè)計航高為100 m,地面分辨率（GSD）為1.4 cm,航飛面積為6.25 km2,航向重疊度為80%,旁向重疊度為70%,單架次飛行時間約為46 min,共獲取影像14 902張。影像清晰、色彩均勻,多視影像數(shù)據(jù)能提供影像下視和建筑物側(cè)面豐富的紋理信息,為后續(xù)建筑物三維重建以及側(cè)面紋理信息提取提供數(shù)據(jù)支撐。

圖1 航線設(shè)計

2.3 空三加密精度驗證

為了消除影像內(nèi)部系統(tǒng)誤差,保證影像整體精度的一致性,避免生成的密集點云出現(xiàn)分層現(xiàn)象,在密集匹配前需對獲取的影像進行空三加密處理。Agisoft PhotoScan軟件影像匹配模塊利用POS數(shù)據(jù)對待匹配的影像進行近似水平校正,以消除傾斜影像的幾何變形；再采用分塊金字塔匹配策略通過SIFT算法從多視影像中提取分布均勻的同名點,并在不同金字塔影像上采用不同的約束策略剔除誤匹配點,獲取高精度的同名點坐標。通過GodWork軟件的AT模塊進行引入曝光延遲的GPS輔助光束法區(qū)域網(wǎng)平差,利用分區(qū)域平差與區(qū)域間的整體一致性平差獲取定位精度一致的影像外方位元素信息,并生成測區(qū)稀疏點云。空三加密示意圖如圖2所示。

圖2 空三加密示意圖

空三加密精度分析如表1所示,可以看出,利用GodWork軟件的AT模塊進行引入曝光延遲的GPS輔助光束法區(qū)域網(wǎng)平差,經(jīng)過分區(qū)域與整體一致性平差處理后的控制點平面中誤差為0.025 m,高程中誤差為0.038 m；檢查點的平面最大誤差為0.093 m,高程方向的最大誤差為0.126 m,滿足1∶500大比例尺地形圖控制點、檢查點的平面中誤差與高程中誤差的指標要求。

表1 空三加密精度分析/m

2.4 模型精度驗證

由于空三加密獲取的初始點云密度過于稀疏,難以保證高精度的三維模型生成,因此需基于無人機多視傾斜數(shù)據(jù),采用Smart3D提供的多視密集匹配方法對初始稀疏點云進行擴展、濾波和優(yōu)化,生成最終的密集點云。首先采用多視密集匹配方法擴展稀疏點云的局部鄰域像素,獲得相對密集的點云數(shù)據(jù)；由于生成的密集點云數(shù)據(jù)存在一定的誤差點,再采用濾波方法剔除偏離地物三維模型過大的誤差點[15]；最后根據(jù)局部地物高程的變化程度,對密集點云數(shù)據(jù)進行優(yōu)化處理,利用軟件內(nèi)部矢量函數(shù)關(guān)系算法,在保證模型精度的同時剔除冗余數(shù)據(jù),并構(gòu)建不同層級的三角網(wǎng)模型。具體三角網(wǎng)模型效果如圖3所示,可以看出,土山上樹木頂部修飾結(jié)構(gòu)復(fù)雜,點云和三角網(wǎng)較密集；而建筑物頂面、田地和路面的結(jié)構(gòu)簡單,點云和三角網(wǎng)較稀疏。

圖3 三角網(wǎng)模型

Smart3D首先將不同視角的深度圖像匹配到同一坐標下；再通過深度圖像融合獲得物體完整的幾何模型；然后確定深度圖像與紋理圖像的映射關(guān)系,并定義復(fù)合權(quán)重進行紋理融合,從而獲取整個紋理的映射圖；最后進行模型的紋理映射,構(gòu)建具有真實感的三維模型。具體模型如圖4所示,可以看出,三維建筑物模型邊界清晰、側(cè)面紋理信息豐富、地面上的物體能清楚地展現(xiàn)出來,三維模型整體效果較好。

圖4 實景三維模型

為了驗證生成的三維立體模型精度,將三維模型導(dǎo)入DP-Mapper軟件進行立體模型下典型地物特征值的量測,獲取地物空間的三維坐標,并與外業(yè)采集的特征點坐標、特征邊長進行統(tǒng)計分析,得到三維模型的絕對定位精度和相對定位精度。驗證結(jié)果如表2、3所示,可以看出,三維模型的平面中誤差為0.042 m,高程中誤差為0.045 m,滿足1∶500大比例尺測圖要求；三維模型上地物間的相對距離誤差分布在0.01 m以內(nèi),誤差值分布合理,表明構(gòu)建的三維模型內(nèi)部相對精度一致。

表2 三維模型精度統(tǒng)計/m

表3 特征邊測量精度統(tǒng)計/m

3 結(jié) 語

本文嘗試采用大疆DJI M600Pro消費型無人機搭載的DG3 Pros傾斜攝影系統(tǒng)獲取了不同視角的傾斜影像數(shù)據(jù),并結(jié)合不同軟件的優(yōu)勢模塊構(gòu)建了精度較好的建筑物三維模型；以西寧某區(qū)為例,進行了數(shù)據(jù)采集與三維模型構(gòu)建實驗,得出以下結(jié)論:

1）利用Agisoft PhotoScan的影像匹配模塊對無人機傾斜影像進行近似水平校正,以消除幾何變形的影響,通過金字塔分塊匹配策略提高影像匹配速度并確保同名點分布均勻,為后期空三加密處理提供可靠的同名點坐標。針對不同層的影像采用不同的約束策略,確保誤匹配點能被有效剔除,避免因誤匹配點而導(dǎo)致的空三加密失敗或結(jié)果精度較差。

2）通過對整個區(qū)域進行分區(qū)域空三加密處理,避免因高差較大而出現(xiàn)的空三加密失敗現(xiàn)象；對分區(qū)域的空三加密結(jié)果進行整體一致性平差處理,確保區(qū)域間影像上地物的無縫銜接；通過引入曝光延遲的光束法區(qū)域網(wǎng)平差對每張影像進行逐曝光點的延遲補充,進一步提高影像平差定位精度,為后期密集匹配提供精化的影像外方位元素參數(shù)。

3）將空三加密結(jié)果和影像數(shù)據(jù)輸入Smart3D軟件,全自動構(gòu)建高精度的城鎮(zhèn)三維模型。構(gòu)建的模型整體效果較好、符合真實場景、區(qū)域間能無縫拼接、紋理較細膩、整體成本較低,為消費型無人機構(gòu)建城鎮(zhèn)三維模型提供了一種經(jīng)濟高效的方法。