SURF算法在無(wú)人機(jī)傾斜攝影測(cè)量三維建模中的應(yīng)用

明國(guó)輝，委民正

(1.福建省電力勘測(cè)設(shè)計(jì)院,福建 福州 350003;2.福建省地質(zhì)測(cè)繪院，福建 福州 350011)

SURF算法在無(wú)人機(jī)傾斜攝影測(cè)量三維建模中的應(yīng)用

明國(guó)輝1，委民正2

(1.福建省電力勘測(cè)設(shè)計(jì)院,福建 福州 350003;2.福建省地質(zhì)測(cè)繪院，福建 福州 350011)

針對(duì)無(wú)人機(jī)傾斜攝影測(cè)量影像的特點(diǎn)，采用一種影像特征點(diǎn)自動(dòng)提取匹配算法，解決影像之間的比例尺不一致、分辨率不一致等問(wèn)題，實(shí)現(xiàn)影像的自動(dòng)精確匹配，最終構(gòu)建具有精確地理信息的三維模型。實(shí)驗(yàn)結(jié)果表明構(gòu)建的三維模型滿(mǎn)足數(shù)字城市建設(shè)的需求，可為城市基礎(chǔ)設(shè)施建設(shè)提供一種科學(xué)可靠的依據(jù)。

無(wú)人機(jī)；傾斜攝影測(cè)量技術(shù)；圖像匹配 ；SURF；三維建模

傳統(tǒng)的三維地形建模主要依靠衛(wèi)星遙感影像和航空遙感影像提供基礎(chǔ)數(shù)據(jù)，人工地面采集所需控制點(diǎn)，經(jīng)內(nèi)業(yè)處理后構(gòu)建三維地形，此種作業(yè)方式成本高、耗時(shí)費(fèi)力、數(shù)據(jù)分辨率不高、作業(yè)周期較長(zhǎng)，不利于實(shí)時(shí)快速構(gòu)建精細(xì)三維地形。三維激光掃描利用激光測(cè)距原理可以快速獲取大量的地面三維幾何數(shù)據(jù)，但該方法無(wú)法獲取地物的紋理數(shù)據(jù)，仍需依靠大量的人機(jī)交互作業(yè)來(lái)完成三維地物的紋理貼圖，其構(gòu)建三維地形的效率和逼真度較低。

無(wú)人機(jī)技術(shù)和傾斜攝影測(cè)量技術(shù)的出現(xiàn)為三維地形構(gòu)建提供了一種新型的技術(shù)方法[1-3]。利用無(wú)人機(jī)技術(shù)獲取數(shù)據(jù)，操作便利、高效，大大降低作業(yè)風(fēng)險(xiǎn)和成本；傾斜攝影測(cè)量技術(shù)改變了傳統(tǒng)的影像獲取模式，其利用不同角度的相機(jī)同步獲取地形地物的影像，批量自動(dòng)提取地形地物的紋理信息，極大地提高了三維地形模型的逼真程度。

李軍等[4]人利用無(wú)人機(jī)影像制作了分辨率高、逼真程度高的地震災(zāi)區(qū)三維景觀圖，為災(zāi)區(qū)的震后重建提供詳細(xì)的三維地理信息；曲林等[5]人基于無(wú)人機(jī)傾斜攝影測(cè)量數(shù)據(jù)，利用商用軟件實(shí)現(xiàn)了實(shí)景三維建模，為智慧城市的三維建模提供一種解決方案；譚仁春等[6]人將傾斜攝影測(cè)量技術(shù)和MAX技術(shù)相結(jié)合實(shí)現(xiàn)了城市三維建模，并對(duì)建模方法進(jìn)行部分優(yōu)化，取得理想的效果。孫宏偉[7]基于傾斜測(cè)量技術(shù)實(shí)現(xiàn)城市三維建模的快速化，為實(shí)際生產(chǎn)操作提供一種可借鑒且有效的技術(shù)方案。上述文獻(xiàn)大多探討了無(wú)人機(jī)傾斜攝影測(cè)量技術(shù)的操作流程，多使用專(zhuān)業(yè)的商用軟件來(lái)實(shí)現(xiàn)三維建模，其中影像特征點(diǎn)的匹配算法多涉及商業(yè)機(jī)密，且軟件具有一定的局限性，故無(wú)法有針對(duì)性地對(duì)傾斜攝影測(cè)量存在的問(wèn)題如影像比例尺不一致、分辨率不一致等進(jìn)行深入分析與研究。本文在深入研究無(wú)人機(jī)傾斜攝影測(cè)量數(shù)據(jù)處理技術(shù)的基礎(chǔ)上，采用一種傾斜影像特征點(diǎn)自動(dòng)匹配算法，有效剔除數(shù)據(jù)中的粗差，提高影像的匹配精度，最終實(shí)現(xiàn)精度和逼真度較高的三維模型。

1 傾斜攝影技術(shù)原理

傳統(tǒng)航空攝影只能從正下方角度拍攝影像，而傾斜影像為相機(jī)主光軸在一定傾斜角時(shí)拍攝的影像[8-10]。具體操作為：在飛機(jī)正下方垂直角度、前后左右4個(gè)傾斜角度搭載5臺(tái)傳感器，采集如下數(shù)據(jù)：航向重疊度、旁向重疊度、坐標(biāo)值、飛行航向、航速及航高，為后續(xù)的三維建模提供精確的基礎(chǔ)數(shù)據(jù)，圖1為傾斜攝影測(cè)量原理示意圖。同時(shí)傾斜攝影與GNSS、地理信息等技術(shù)相結(jié)合，可實(shí)現(xiàn)多種類(lèi)信息的融合，從而進(jìn)一步提高三維模型分辨率和幾何精度，使得構(gòu)建的三維模型逼真程度高，用戶(hù)體驗(yàn)感強(qiáng)。

圖1 傾斜攝影測(cè)量原理示意圖

2 無(wú)人機(jī)傾斜攝影三維建模流程

無(wú)人機(jī)傾斜攝影三維建模主要涉及3個(gè)關(guān)鍵內(nèi)容：①自動(dòng)空三：依據(jù)測(cè)區(qū)內(nèi)均勻分布的地面控制點(diǎn)，利用立體測(cè)圖技術(shù)，解算匹配加密點(diǎn)的平面坐標(biāo)和高程；②密集匹配：將多張影像上的同一特征點(diǎn)進(jìn)行匹配，計(jì)算影像之間的空間變換模型；③影像拼接：依據(jù)計(jì)算得到的空間變化模型對(duì)影像進(jìn)行拼接處理，使得同名特征點(diǎn)能夠準(zhǔn)確疊合，消除影像比例尺不一致、分辨率不一致對(duì)三維模型的影響。圖2為無(wú)人機(jī)傾斜攝影測(cè)量三維建模流程圖。

圖2 無(wú)人機(jī)傾斜攝影測(cè)量三維建模流程

3 SURF算法原理及特征點(diǎn)匹配

SURF(Speeded Up Robust Features)[11-13]算法包括：特征點(diǎn)檢測(cè)和特征點(diǎn)描述兩個(gè)部分。特征點(diǎn)檢測(cè)是利用積分對(duì)圖像進(jìn)行處理以獲取積分圖像，通過(guò)積分圖像對(duì)尺度空間的響應(yīng)來(lái)尋找特征點(diǎn)的位置；特征點(diǎn)描述是指利用特征矢量來(lái)描述特征點(diǎn)及其方向。

3.1 SURF特征點(diǎn)檢測(cè)

利用Hessian矩陣行列式的極大值來(lái)檢測(cè)，假設(shè)I為圖像，X(x,y)為圖像中的一點(diǎn)，尺度為σ，則點(diǎn)X處的Hessian矩陣為

(1)

其中：Lxx(X,σ)為點(diǎn)X處的高斯二階微分與圖像I的卷積，其余各項(xiàng)含義相似。

SURF算法將近似Hessian矩陣的行列式作為X(x,y,σ)處的斑點(diǎn)響應(yīng)，以加快運(yùn)算效率，具體算式為

Det(Happrox)=DxxDyy-(0.9Dxy)2.

(2)

具體算法如下：計(jì)算圖像中每一個(gè)點(diǎn)的斑點(diǎn)響應(yīng)值，組成響應(yīng)圖像。通過(guò)比較某一點(diǎn)在本尺度空間和上下尺度空間的響應(yīng)值的大小，來(lái)判斷某一點(diǎn)是否為候選特征點(diǎn)，若響應(yīng)值比26個(gè)鄰域值都大或者都小，則將該點(diǎn)作為最終的候選特征點(diǎn)，并計(jì)算其位置和尺度參數(shù)。

3.2 SURF特征點(diǎn)描述

3.2.1 特征點(diǎn)主方向分配

首先進(jìn)行Haar小波運(yùn)算，具體參數(shù)為：6 s為半徑，特征點(diǎn)為中心，邊長(zhǎng)為4 s，獲取點(diǎn)在x，y方向上的Harr小波響應(yīng)值，其中s為空間尺度。

然后進(jìn)行高斯加權(quán)運(yùn)算，具體參數(shù)為：張角為π/3的扇形滑動(dòng)窗口，步長(zhǎng)為0.2弧度滑動(dòng)窗口，對(duì)窗口內(nèi)圖像的Harr小波響應(yīng)值dx，dy進(jìn)行累加，獲得矢量(mw,θw)為

(3)

(4)

求取Harr小波響應(yīng)值累加值在多個(gè)方向中值最大的一個(gè)方向，則該方向作為特征點(diǎn)的主方向。

3.2.2 特征點(diǎn)特征矢量生成

構(gòu)建以20 s為邊長(zhǎng)，特征點(diǎn)為中心，方向與特征點(diǎn)主方向保持一致，大小為 4×4的規(guī)則子窗口。采用邊長(zhǎng)為2σ的Harr小波對(duì)圖像進(jìn)行處理，以獲得x，y方向上的響應(yīng)值dx，dy，利用高斯加權(quán)計(jì)算每一個(gè)子窗口的響應(yīng)值，以獲得每一個(gè)子窗口的特征矢量。

(5)

一組描述子特征矢量共包含4×4×4=64維特征矢量，這樣可獲取一個(gè)特征點(diǎn)的完整信息：空間尺度、坐標(biāo)、64維矢量特征，圖3為SURF描述子特征矢量組成示意圖。

圖3 SURF描述子特征矢量組成

3.3 特征點(diǎn)匹配

初始匹配點(diǎn)對(duì)中通常不可避免地含有粗差點(diǎn)[14-15]，故需剔除粗差點(diǎn)。為此采取雙重匹配算法，具體為先對(duì)初始匹配點(diǎn)對(duì)進(jìn)行粗略匹配，剔除明顯的粗差點(diǎn)對(duì)，再采用RANSAC算法進(jìn)行精確匹配，構(gòu)建轉(zhuǎn)換模型，最后使用未參與計(jì)算的匹配點(diǎn)對(duì)空間轉(zhuǎn)換模型進(jìn)行驗(yàn)證和優(yōu)化，進(jìn)一步提高匹配精度和可靠性。圖4為特征點(diǎn)匹配流程。

圖4 特征點(diǎn)匹配流程

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)所用數(shù)據(jù)來(lái)源于福州某地電力工程建設(shè)中采集的無(wú)人機(jī)影像。技術(shù)參數(shù)如下：無(wú)人機(jī)相對(duì)飛行高750 m，航向重疊度為70%，旁向重疊度為50%，共拍攝600多張無(wú)人機(jī)傾斜影像。硬件系統(tǒng)選取GeoVison的SWDC-5，該系統(tǒng)由1個(gè)垂直相機(jī)和4個(gè)傾斜相機(jī)構(gòu)成，相機(jī)選用哈蘇相機(jī)，焦距為50～100 mm， 像元大小6 μ，傾斜角度45°，最短曝光間隔2.5″。

首先對(duì)影像進(jìn)行歸一化、均光、均色處理，以消除影像在飽和度、亮度、色相等方面的差異；再對(duì)影像進(jìn)行相對(duì)定向、絕對(duì)定向、區(qū)域網(wǎng)平差，以獲取每張影像的外方位元素；最后使用SURF算法對(duì)影像進(jìn)行特征點(diǎn)檢測(cè)，如圖5、圖6所示，圓心點(diǎn)為特征點(diǎn)的位置，半徑為特征點(diǎn)所在的空間尺度，半徑所指的方位為特征點(diǎn)的主方向。圖7為粗略匹配結(jié)果圖，圖8為剔除錯(cuò)誤匹配點(diǎn)對(duì)形成的粗略匹配特征點(diǎn)對(duì)集合，圖9為精確匹配結(jié)果圖

圖5 原始圖像(左)與特征點(diǎn)檢測(cè)結(jié)果(右)

圖6 原始圖像(左)與特征點(diǎn)檢測(cè)結(jié)果(右)

圖7 粗略匹配效果

圖8 剔除粗差后匹配效果圖

圖9 精確匹配效果圖

圖5檢測(cè)出336個(gè)特征點(diǎn)，圖6檢測(cè)出362個(gè)特征點(diǎn)，通過(guò)SURF算法自動(dòng)搜尋同名特征點(diǎn)組成粗略匹配點(diǎn)對(duì)，如圖7中綠色線(xiàn)條標(biāo)記的匹配點(diǎn)對(duì)，可以看出其中包含少數(shù)明顯錯(cuò)誤的匹配點(diǎn)，圖8為剔除錯(cuò)誤匹配點(diǎn)對(duì)后的匹配效果圖。表1為SUFR算法與某商用軟件算法匹配點(diǎn)檢測(cè)效果對(duì)比，從表中可以看出SURF算法計(jì)算出的特征點(diǎn)個(gè)數(shù)要少于商用軟件算法計(jì)算的特征點(diǎn)個(gè)數(shù)，但商用軟件算法耗時(shí)要遠(yuǎn)遠(yuǎn)高于SURF算法。若匹配點(diǎn)過(guò)多往往會(huì)造成數(shù)據(jù)冗余，降低運(yùn)算效率，而SURF算法在耗時(shí)方面要遠(yuǎn)遠(yuǎn)優(yōu)于商用軟件算法，這有助于提高影像匹配的整體效率。

表1 SURF算法與某商用軟件算法比較

實(shí)際應(yīng)用中并非匹配點(diǎn)對(duì)越多越好，匹配點(diǎn)對(duì)過(guò)多反而會(huì)降低運(yùn)算效率，為此對(duì)匹配點(diǎn)對(duì)進(jìn)行優(yōu)化，從中尋找出最優(yōu)的匹配點(diǎn)對(duì)，為計(jì)算精確的空間變化模型參數(shù)提供依據(jù)，降低數(shù)據(jù)冗余，提高運(yùn)算效率。圖9為經(jīng)過(guò)匹配點(diǎn)對(duì)尋優(yōu)后的精確匹配效果圖，可以直觀地看出，匹配點(diǎn)對(duì)位置清晰準(zhǔn)確，無(wú)錯(cuò)誤匹配點(diǎn)對(duì)，無(wú)數(shù)據(jù)冗余。

表2為匹配點(diǎn)對(duì)優(yōu)化前后匹配效果對(duì)比，優(yōu)化前共檢測(cè)到匹配點(diǎn)對(duì)167對(duì)，匹配率為89.8%，共耗時(shí)5.836 s；優(yōu)化后共檢測(cè)到匹配點(diǎn)對(duì)89對(duì)，匹配率為96.2%，共耗時(shí)2.628 s?？梢钥闯?，優(yōu)化后的算法運(yùn)算效率明顯優(yōu)于優(yōu)化前的算法。

表2 匹配點(diǎn)對(duì)優(yōu)化前后效果對(duì)比

經(jīng)過(guò)影像精確匹配之后，形成數(shù)字表面模型DSM,將紋理圖像映射到DSM模型表面，形成初始的三維模型。針對(duì)模型中缺失較為明顯的區(qū)域和目標(biāo)，進(jìn)行必要的幾何修復(fù)和紋理修補(bǔ)。區(qū)域和目標(biāo)的缺失主要由以下兩個(gè)方面引起：底部植被的遮擋和水體空洞。

針對(duì)植被遮擋問(wèn)題，利用數(shù)碼相機(jī)采集一定數(shù)量多角度的照片，構(gòu)建建筑物底部模型，將其與前面構(gòu)建好的三維模型進(jìn)行精確拼接，最終形成完整的三維模型。

針對(duì)水體空洞問(wèn)題，利用AutoCAD3DMESH軟件，對(duì)問(wèn)題區(qū)域的TIN文件進(jìn)行人工交互編輯，編輯完成之后將其替換，再重新進(jìn)行紋理貼圖，最終改善水面空洞。

經(jīng)過(guò)以上處理之后，進(jìn)一步對(duì)模型進(jìn)行完善，最終構(gòu)建出三維數(shù)字模型，如圖10、圖11所示。

圖10 三維模型效果圖之一

圖11 三維模型效果圖之二

從圖10和圖11可以看出，構(gòu)建的三維模型形象逼真，細(xì)節(jié)呈現(xiàn)豐富，沒(méi)有出現(xiàn)信息缺失的現(xiàn)象。通過(guò)精確三維模型的建立，可快速實(shí)現(xiàn)目標(biāo)物長(zhǎng)、寬、高的測(cè)量，通過(guò)緩沖區(qū)的建立及通視分析，可實(shí)現(xiàn)城市道路、電力工程等基礎(chǔ)設(shè)施的科學(xué)規(guī)劃及升級(jí)改造，為數(shù)字城市提供一種科學(xué)的、精確的基礎(chǔ)數(shù)據(jù)。

5 結(jié)束語(yǔ)

本文采用SURF算法有效地解決了傾斜影像匹配過(guò)程中的比例尺不一致、分辨率不一致等問(wèn)題，實(shí)現(xiàn)了影像間的自動(dòng)精確匹配，通過(guò)某電力工程實(shí)測(cè)數(shù)據(jù)分析對(duì)比了SURF算法與商用軟件算法在匹配效率和匹配準(zhǔn)確率兩方面的表現(xiàn)，結(jié)果表明SURF算法優(yōu)于商用軟件的算法。通過(guò)對(duì)匹配點(diǎn)對(duì)的優(yōu)化，進(jìn)一步提高了SURF的運(yùn)算效率，最后基于SURF算法和其他輔助手段實(shí)現(xiàn)了高精度的三維建模，實(shí)驗(yàn)效果表明上述技術(shù)方法和思想的正確性。

[1] 劉慶元，徐柳華，沈彩蓮，等.基于無(wú)人飛行器遙感影像的數(shù)字?jǐn)z影測(cè)量關(guān)鍵技術(shù)研究[J].測(cè)繪科學(xué)，2010, 35(9):28-30.

[2] 周曉敏，孟曉林，張雪萍，等.傾斜攝影測(cè)量的城市真三維模型構(gòu)建方法[J].測(cè)繪科學(xué)，2016, 41(9):159-163.

[3] 朱國(guó)強(qiáng)，劉勇，程鵬正.無(wú)人機(jī)傾斜攝影技術(shù)支持下的三維精細(xì)模型制作[J].測(cè)繪通報(bào)，2016(9):151-152.

[4] 李軍，李永樹(shù)，蔡國(guó)林．利用無(wú)人機(jī)影像制作地震災(zāi)區(qū)三維景觀圖[J].測(cè)繪工程,2012,21(1):50-53.

[5] 曲林，馮洋，支玲美，等.基于無(wú)人機(jī)傾斜攝影數(shù)據(jù)的實(shí)景三維建模研究[J]. 測(cè)繪與空間地理信息, 2015, 38(3):38-43

[6] 譚仁春，李鵬鵬，文琳，等.無(wú)人機(jī)傾斜攝影的城市三維建模方法優(yōu)化[J]. 測(cè)繪通報(bào), 2016(11):39-42.

[7] 孫宏偉.基于傾斜攝影測(cè)量技術(shù)的三維數(shù)字城市建模[J]. 現(xiàn)代測(cè)繪, 2014, 37(1):18-21.

[8] 楊國(guó)東，王民水 .傾斜攝影測(cè)量技術(shù)應(yīng)用及展望[J]. 測(cè)繪與空間地理信息, 2016, 39(1):13-15

[9] 丁志廣，嚴(yán)新生，陳輝光.無(wú)人機(jī)傾斜攝影用于江門(mén)市快速三維建模的探討[J]. 城市勘測(cè), 2016(4):72-78.

[10] 李德仁，劉立坤，邵振峰.集成傾斜航空攝影測(cè)量和地面移動(dòng)測(cè)量技術(shù)的城市環(huán)境監(jiān)測(cè)[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2015, 40(4):427-435.

[11] BAY H,TUYTELAARS T,VAN G L.SURF:Speeded Up robust features[C].In ECCV,2006.

[12] BAY H,FASEL B,VAN G L.Interactive museum guide:fast and robust recognition of museum objects[C].Processings of the First International Workshop on Moblie Vision,2006.

[13] BAY H, TUYELAARS T,VAN G L.Speeded-Up Robust Features(SURF)[C].Computer Vision and Image Understanding,2008,110.

[14] 高放，陸頻頻，王旭.基于相似特征點(diǎn)集的SIFT匹配改進(jìn)算法[J].測(cè)繪工程，2016,25(6):19-23.

[15] 胡小青，程鵬根，陳曉勇，等.基于領(lǐng)域投票和Harris-SIFT特征的低空遙感影像匹配. [J]. 測(cè)繪工程, 2016, 25(2): 33-37.

[責(zé)任編輯：張德福]

Research on 3D modeling based on SURF for oblique photogrammetric technique

MING Guohui1,WEI Minzheng2

(1.Fujian Electric Power Survey & Design Institute, Fuzhou 350003，China;2.Fujian Geologic Surveying and Mapping Institute, Fuzhou 350011，China)

This paper introduces the features of the oblique photogrammetric, proposes an automatic approach of image matching based on SURF to provide a set of matched points, and finally achieves a 3D modeling with high precision geographic information. The result shows the method is reliable and suitable for 3D modeling which can provide an accurate base data for power infrastructure construction.

UAV；oblique photography measurement；image registration；SURF；3D modeling

2017-02-20

國(guó)家專(zhuān)項(xiàng)資助項(xiàng)目(KLMMR-2016-A-13)

明國(guó)輝(1976-)，男，高級(jí)工程師.

著錄：明國(guó)輝，委民正.SURF算法在無(wú)人機(jī)傾斜攝影測(cè)量三維建模中的應(yīng)用研究[J].測(cè)繪工程，2017，26(9)：41-45.

10.19349/j.cnki.issn1006-7949.2017.09.009

P23

A

1006-7949(2017)09-0041-05