基于無(wú)人機(jī)遙感影像拓?fù)浞治龅娜S重建

劉 軍，許志華，劉小陽(yáng)，王 鶴 ，孫廣通

(1.防災(zāi)科技學(xué)院 防災(zāi)工程系，河北 燕郊 101601；2.中國(guó)礦業(yè)大學(xué) 地球科學(xué)與測(cè)繪工程學(xué)院，北京 100083；3.北京師范大學(xué) 環(huán)境演變與自然災(zāi)害教育部重點(diǎn)實(shí)驗(yàn)室，北京 100875)

基于無(wú)人機(jī)遙感影像拓?fù)浞治龅娜S重建

劉 軍1,2，許志華3，劉小陽(yáng)1，王 鶴1，孫廣通1

(1.防災(zāi)科技學(xué)院 防災(zāi)工程系，河北 燕郊 101601；2.中國(guó)礦業(yè)大學(xué) 地球科學(xué)與測(cè)繪工程學(xué)院，北京 100083；3.北京師范大學(xué) 環(huán)境演變與自然災(zāi)害教育部重點(diǎn)實(shí)驗(yàn)室，北京 100875)

在無(wú)需任何地面控制點(diǎn)或其它先驗(yàn)知識(shí)前提下，探索一種基于無(wú)人機(jī)遙感影像的三維重建方法。利用無(wú)人機(jī)飛控?cái)?shù)據(jù)建立的影像拓?fù)浣Y(jié)構(gòu)，依次通過(guò)特征點(diǎn)提取、影像匹配、從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)等步驟估計(jì)出相機(jī)位置和姿態(tài)參數(shù)，并恢復(fù)出場(chǎng)景特征點(diǎn)云信息，最后對(duì)重建精度進(jìn)行分析。試驗(yàn)結(jié)果表明，文中提出的方法可快速、可靠地實(shí)現(xiàn)較高精度的三維模型重建。

無(wú)人機(jī)；飛控?cái)?shù)據(jù)；影像拓?fù)浞治觯蝗S重建；精度分析

由于衛(wèi)星遙感和載人航空攝影測(cè)量獲取影像時(shí)受時(shí)空分辨率、外界環(huán)境及使用成本等影響，無(wú)法滿足地理空間數(shù)據(jù)的需求。隨著材料科學(xué)和自動(dòng)控制工程的發(fā)展，低空無(wú)人機(jī)(Unmanned Aerial Vehicle，UAV)遙感以其機(jī)動(dòng)靈活、實(shí)時(shí)性強(qiáng)、成本低等優(yōu)勢(shì)，利用其搭載相機(jī)可以對(duì)同一目標(biāo)、場(chǎng)景進(jìn)行多角度、多位置成像，成為快速獲取地理數(shù)據(jù)的有效平臺(tái)[1-2]，可滿足精細(xì)獲取三維信息方面的要求。而如何高效、全自動(dòng)處理無(wú)人機(jī)獲取的低空遙感影像，是一項(xiàng)急需解決的關(guān)鍵技術(shù)。

本文以特定地形為試驗(yàn)區(qū)，結(jié)合無(wú)人機(jī)影像數(shù)據(jù)特點(diǎn)，利用飛控系統(tǒng)提供的輔助信息，提出了一種低成本、快速魯棒處理無(wú)人機(jī)高分辨率遙感影像三維重建方法。

1 試驗(yàn)設(shè)計(jì)與數(shù)據(jù)獲取

試驗(yàn)區(qū)選擇在山東省臨沂市羅莊區(qū)(見(jiàn)圖1)。區(qū)內(nèi)地貌特征明顯，且因建筑施工多處發(fā)生小面積滑坡。

圖1 研究區(qū)域空間位置與全景影像

試驗(yàn)采用小型固定翼無(wú)人機(jī)飛行平臺(tái)，預(yù)設(shè)飛行相對(duì)航高120 m，南北向4條航帶。航向重疊為90%，旁向重疊為60%。利用平臺(tái)搭載的輕巧型、高分辨率非量測(cè)數(shù)碼相機(jī)(傳感器尺寸8.72 mm×6.54 mm，相機(jī)焦距為24 mm)，共拍攝56幅影像(見(jiàn)圖2)，影像大小為4320像素×3240像素，對(duì)應(yīng)地面分辨率達(dá)到厘米級(jí)。

圖2 無(wú)人機(jī)影像序列

2 基于影像拓?fù)浞治龅娜S重建算法

利用影像序列進(jìn)行立體重建步驟，具體包括：特征點(diǎn)提取、影像匹配、從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)等，該算法可以自動(dòng)估計(jì)相機(jī)位置、姿態(tài)參數(shù)，并恢復(fù)出場(chǎng)景三維特征點(diǎn)云信息[3]，其技術(shù)流程如圖3所示。

圖3 無(wú)人機(jī)遙感影像數(shù)據(jù)處理流程

2.1 特征點(diǎn)提取

試驗(yàn)采用Lowe的SIFT[4]算法提取無(wú)人機(jī)影像特征點(diǎn)。但該算法在處理高分辨率無(wú)人機(jī)影像時(shí)易出現(xiàn)計(jì)算機(jī)內(nèi)存溢出等問(wèn)題。為此，本文采用影像分塊處理的方法。具體做法是：將原始影像分成大小相同的圖塊，每次取一小塊影像提取特征點(diǎn)，即分別對(duì)影像塊依次建立尺度空間、檢測(cè)極值點(diǎn)和生成特征描述符，并保存子塊特征點(diǎn)文件，然后合并子塊生成最終結(jié)果。圖4為影像分塊示意圖，依次將影像從左到右，從上到下劃分為小圖塊。試驗(yàn)中選取影像塊大小為500像素×500像素(具體要結(jié)合計(jì)算機(jī)性能調(diào)整)，如果影像右側(cè)或下側(cè)像素個(gè)數(shù)不足500，但仍大于0，也算作一個(gè)圖塊。此外，為確保在塊交界處檢測(cè)到SIFT特征點(diǎn)，避免特征信息丟失，相鄰塊之間需保持一定的重疊度(>10%)。

圖4 影像分塊示意圖

2.2 影像匹配

基于SIFT描述子進(jìn)行影像匹配，需要依次遍歷全局待匹配影像，并對(duì)每一組影像以歐式距離作為特征向量的相似性準(zhǔn)則對(duì)特征點(diǎn)進(jìn)行粗匹配，筆者稱之為全局遍歷影像匹配法，該算法非常耗時(shí)，重建效率低。

針對(duì)上述問(wèn)題，本文利用無(wú)人機(jī)飛控系統(tǒng)提供的輔助信息(觸發(fā)相機(jī)快門時(shí)間、飛機(jī)位置以及姿態(tài)數(shù)據(jù))，判斷影像間重疊關(guān)系，建立影像拓?fù)浣Y(jié)構(gòu)，排除非關(guān)聯(lián)影像的干擾，減少誤匹配，降低影像匹配算法復(fù)雜度，提高匹配效率。本文稱這種算法為基于影像拓?fù)潢P(guān)系匹配法。具體步驟包括：①依據(jù)攝影測(cè)量學(xué)中影像外方位元素定義，由于飛控?cái)?shù)據(jù)與相機(jī)實(shí)際姿態(tài)、位置間仍然存在微小差異，需先經(jīng)過(guò)一系列坐標(biāo)系統(tǒng)旋轉(zhuǎn)將飛控系統(tǒng)中IMU直接獲取的傳感器位置、姿態(tài)角轉(zhuǎn)換成影像的6個(gè)外方位元素[5]，使其真正反映相機(jī)拍攝時(shí)的姿態(tài)、位置。②利用共線條件方程分別計(jì)算每張影像對(duì)應(yīng)4個(gè)角點(diǎn)在地面攝影測(cè)量坐標(biāo)系中的投影坐標(biāo)。③根據(jù)計(jì)算機(jī)圖形學(xué)知識(shí)判斷影像重疊關(guān)系，建立如圖5所示影像拓?fù)溥B接圖，其中結(jié)點(diǎn)表示單幅影像，直線表示影像間有重疊關(guān)系。

圖5 影像拓?fù)浣Y(jié)構(gòu)

利用圖5拓?fù)浣Y(jié)構(gòu)，基于K-D樹(shù)的近似最鄰近(Approximate Nearest Neighbors，ANN)算法對(duì)影像進(jìn)行粗匹配；最后采用隨機(jī)抽取一致性(Random Sample Consensus，RANSAC)[6]策略和8點(diǎn)算法[7]相結(jié)合，估計(jì)出一個(gè)魯棒的基本矩陣，進(jìn)一步剔除誤匹配點(diǎn)，最終得到滿足對(duì)極幾何約束的匹配特征點(diǎn)對(duì)。表1為全局遍歷影像匹配和基于影像拓?fù)潢P(guān)系匹配效率對(duì)比情況。由表1可知，基于影像拓?fù)浣Y(jié)構(gòu)匹配的次數(shù)明顯少于全局匹配策略，很大程度上降低了匹配的復(fù)雜度，且影像數(shù)目越多，算法效率優(yōu)勢(shì)越明顯。圖6所示為單張影像特征匹配耗時(shí)曲線。圖中全局遍歷影像匹配時(shí)單張影像匹配耗時(shí)隨影像序號(hào)的增加呈線性增長(zhǎng)趨勢(shì)，而基于影像拓?fù)浣Y(jié)構(gòu)的單張影像因其匹配過(guò)程中，影像搜索范圍僅局限于有拓?fù)溥B接的影像，故耗時(shí)曲線近似保持平穩(wěn)。因此，該算法可為無(wú)人機(jī)遙感影像快速、穩(wěn)健匹配提供支撐。另外，圖中出現(xiàn)的耗時(shí)高值點(diǎn)(如38，40，47等點(diǎn))主要受兩個(gè)因素影響：①與該幅影像有重疊區(qū)域的影像數(shù)目，即匹配次數(shù)有關(guān)，次數(shù)越大耗時(shí)越多；②兩幅影像的特征點(diǎn)匹配對(duì)數(shù)，如果兩幅影像的重疊部分大且特征信息豐富，則提取的特征點(diǎn)數(shù)目多，匹配耗時(shí)就越多。

表1 全局遍歷影像匹配和基于影像拓?fù)潢P(guān)系匹配效率

圖6 每張待匹配影像耗時(shí)情況

2.3 從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)

計(jì)算機(jī)視覺(jué)中，從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from Motion，SfM)是指從二維圖像或視頻序列中恢復(fù)出相應(yīng)的三維信息，包括成像攝像機(jī)運(yùn)動(dòng)參數(shù)、場(chǎng)景的結(jié)構(gòu)信息等。

本文參照Bundler[3]開(kāi)源軟件包，采用基于Levenberg-Marquardt (LM)算法的通用稀疏光束法平差(Sparse Bundler Adjustment)法解決了目標(biāo)函數(shù)的非線性最小二乘問(wèn)題。通過(guò)逐步迭代不斷最小化投影點(diǎn)和觀測(cè)圖像點(diǎn)之間的重投影誤差，解算出最佳相機(jī)位置、姿態(tài)，進(jìn)而得到試驗(yàn)區(qū)三維點(diǎn)云坐標(biāo)(見(jiàn)圖7)。由于在冬季，試驗(yàn)區(qū)地物之間對(duì)比度較低，特征點(diǎn)不夠明顯，這給序列影像特征提取和匹配帶來(lái)了挑戰(zhàn)，使得重建點(diǎn)云數(shù)量相對(duì)稀疏。為得到高分辨率場(chǎng)景模型，試驗(yàn)采用PMVS算法作進(jìn)一步加密處理[8]，得到更加稠密的三維點(diǎn)云(見(jiàn)圖8)，恢復(fù)測(cè)區(qū)精細(xì)地物三維信息。

圖7 無(wú)人機(jī)遙感影像三維重建點(diǎn)云模型

圖8 試驗(yàn)區(qū)稠密點(diǎn)云模型

3 重建三維點(diǎn)云精度分析

由于該重建算法無(wú)需任何地面控制點(diǎn)信息，因此得到攝像機(jī)坐標(biāo)系下的點(diǎn)云坐標(biāo)。如果有地面控制點(diǎn)，可以選取至少3個(gè)控制點(diǎn)利用布爾莎七參數(shù)轉(zhuǎn)換模型將局部點(diǎn)云坐標(biāo)轉(zhuǎn)換到統(tǒng)一坐標(biāo)系下，通過(guò)與地面控制點(diǎn)真值作比較，定量評(píng)估重建模型誤差。為此，筆者事先在地面均勻布設(shè)控制點(diǎn)，并用GPS測(cè)得坐標(biāo)，作為基準(zhǔn)評(píng)價(jià)點(diǎn)云精度[9]。表2給出了重建點(diǎn)云與控制點(diǎn)對(duì)比統(tǒng)計(jì)得到的精度信息。

表2 重建三維點(diǎn)云誤差統(tǒng)計(jì) m

分析誤差產(chǎn)生原因主要有：①求解轉(zhuǎn)換模型中七參數(shù)計(jì)算誤差；②受重建方法及影像質(zhì)量影響，還存在影像三維重建誤差。根據(jù)誤差傳播定律，這些誤差都會(huì)影響重建點(diǎn)云的絕對(duì)誤差。

4 結(jié)束語(yǔ)

本文介紹了一種基于低空無(wú)人機(jī)遙感影像的三維重建方法，并對(duì)重建點(diǎn)云精度進(jìn)行了評(píng)價(jià)。試驗(yàn)結(jié)果表明，該方法在無(wú)需任何地面控制點(diǎn)的情況下，借助飛行平臺(tái)輔助信息建立的影像拓?fù)浣Y(jié)構(gòu)，自動(dòng)生成了精度較高的三維點(diǎn)云模型，具有速度快、視覺(jué)效果直觀且成本低等特點(diǎn)，適用于低空攝影測(cè)量、環(huán)境動(dòng)態(tài)監(jiān)測(cè)、文物考古保護(hù)、地質(zhì)災(zāi)害調(diào)查等應(yīng)用領(lǐng)域。需要指出的是，該方法在SIFT分塊間重疊度取舍、影像匹配算法復(fù)雜度以及SFM重建效率等方面還可以做進(jìn)一步研究與完善。

[1]IRSCHARA A, KAUFMANN V, KLOPSCHITZ M, et al. Towards fully automatic photogrammetric reconstruction usin g digital images taken from UAVs [A]. ISPRS TC VII Symposium-100 Years ISPRS [C]. 2010.

[2]李隆方，張著豪，鄧曉麗，等.基于無(wú)人機(jī)影像的三維模型構(gòu)建技術(shù)[J].測(cè)繪工程，2013,22(4)：85-89.

[3]SNAVELY N. Scene reconstruction and visualization from internet photo collections [D]. University of Washington, 2008.

[4]LOWE D G. Distinctive image features from scale-invaiant interest points [J]. International Journal of Computer Vision, 2004,60(2): 91-110.

[5]袁修孝，張雪萍，付建紅.高斯-克呂格投影坐標(biāo)系下POS角元素的轉(zhuǎn)換方法[J]．測(cè)繪學(xué)報(bào)，2011，40(3)：339-344.

[6]FISCHLER M A, BOLLES R C. Random Sample Consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of ACM, 1981,24(6): 381-395.

[7]HARTLEY R, ZISSERMAN A. Multiple View Geometry in Computer Vision[M]. Cambridge University Press, March 2004.

[8]FURUKAWA Y, PONCE J. Accurate, dense, and robust multi-view stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8): 1362-1376.

[9]李 鑫，李廣云，王 力，等.移動(dòng)測(cè)量系統(tǒng)誤差整體模型推導(dǎo)與精度分析[J]．測(cè)繪工程，2012,21(2)：21-28.

[責(zé)任編輯：劉文霞]

Topology analysis-based 3D reconstruction from UAV images

LIU Jun1, 2, XU Zhi-hua3, LIU Xiao-yang1, WANG He1, SUN Guang-tong1

(1. Department of Disaster Prevention Engineering, Institute of Disaster Prevention Science and Technology, Yanjiao 101601, China; 2.School of Earth Science and Surveying Engineering, China University of Mining and Technology, Beijing 100083, China; 3. Key Laboratory of Environmental Change and Natural Disaster of MOE, Beijing Normal University, Beijing 100875, China)

It presents a low-cos t, automated 3D-reconstruction approach without a previous camera calibration or any other prior knowledge of the scene to generate 3D scene based on unmanned aerial vehicle system (UAVs) images. For scene reconstruction, the camera location and orientation parameters, as well as a sparse 3D point cloud through feature extraction, image matching and an iterative, robust Structure from Motion (SfM) procedure are recovered from digital sequence images based on image topology analysis with flight-control data acquired by the UAVs. Results show that the proposed method is fast and reliable for 3D reconstruction which has higher accuracy.

unmanned aerial vehicles; flight-control data; image topology analysis; 3D reconstruction；accuracy analysis

2013-12-03

中國(guó)地震局教師科研基金資助項(xiàng)目(20120102)

劉 軍(1986-)，男，助教，碩士研究生.

V279；P237

：A

：1006-7949(2014)08-0032-04