基于無(wú)人機(jī)圖像序列的三維重建方法綜述

武警工程大學(xué)信息工程系 劉 睿

基于無(wú)人機(jī)圖像序列的三維重建方法綜述

武警工程大學(xué)信息工程系 劉 睿

無(wú)人機(jī)作為新興的科技裝備，在軍用和民用領(lǐng)域均得到了廣泛的應(yīng)用。簡(jiǎn)要介紹了運(yùn)用無(wú)人機(jī)獲取的圖像序列完成具體地形三維重建的關(guān)鍵技術(shù)，對(duì)主要實(shí)現(xiàn)方法進(jìn)行了綜述。

無(wú)人機(jī)；圖像序列；三維重建

1.引言

近年來(lái)，隨著無(wú)人機(jī)技術(shù)的發(fā)展，依托無(wú)人機(jī)完成目標(biāo)地區(qū)的三維重建逐漸成為無(wú)人機(jī)應(yīng)用領(lǐng)域的新方向。一方面，與傳統(tǒng)的攝影測(cè)量相比，該技術(shù)將無(wú)人機(jī)與計(jì)算機(jī)視覺(jué)緊密結(jié)合，具有獲取信息方便高效，建模精度可靠的優(yōu)點(diǎn)，能夠較好的完成地形測(cè)繪工作[1]；另一方面，隨著計(jì)算機(jī)圖形學(xué)、虛擬現(xiàn)實(shí)和多媒體通信等技術(shù)的不斷發(fā)展，人們對(duì)具有高度真實(shí)感的三維模型的需求與日俱增，三維重建對(duì)于當(dāng)前炙手可熱的虛擬現(xiàn)實(shí)技術(shù)有著重要意義，是未來(lái)發(fā)展的一大趨勢(shì)[2]。

基于無(wú)人機(jī)圖像序列的三維重建具體涉及相機(jī)成像原理、圖像處理、點(diǎn)云生成、點(diǎn)云封裝以及紋理映射等多個(gè)領(lǐng)域，其一般步驟如圖1所示：

圖1　無(wú)人機(jī)三維重建方法及應(yīng)用示意圖

2.數(shù)據(jù)獲取

無(wú)人機(jī)的圖像獲取主要通過(guò)機(jī)載云臺(tái)實(shí)現(xiàn)，云臺(tái)的安裝可以在最大程度上保證拍攝數(shù)據(jù)的穩(wěn)定性，減少由于飛行過(guò)程中機(jī)身抖動(dòng)而產(chǎn)生的噪聲。其中按照獲取數(shù)據(jù)類(lèi)型主要可以分為視頻數(shù)據(jù)和圖像數(shù)據(jù)，以大疆經(jīng)緯M100所搭載的Z3云臺(tái)為例，視頻數(shù)據(jù)最大支持4K清晰度mov格式視頻的拍攝，圖像清晰度也可達(dá)到2160P[3]。按照獲取數(shù)據(jù)方式主要可以分為程序獲取和手動(dòng)獲取，程序獲取通過(guò)終端程序按照飛行區(qū)域自動(dòng)規(guī)劃航跡，設(shè)定滿足三維重建的最大拍攝間隔，收集需要數(shù)據(jù)，手動(dòng)獲取則通過(guò)人眼觀測(cè)，實(shí)時(shí)選擇要拍攝的圖片，或直接從拍攝的視頻中截取需要的圖片，自動(dòng)獲取的優(yōu)點(diǎn)在于效率較高，不存在信息冗余，手動(dòng)獲取則難以把握需要的數(shù)據(jù)量，甚至出現(xiàn)信息無(wú)法滿足三維重建需要的情況。

3.圖像處理

圖像處理技術(shù)包括圖像預(yù)處理和圖像特征點(diǎn)的識(shí)別配準(zhǔn)兩個(gè)部分。

圖像預(yù)處理首先通過(guò)簡(jiǎn)單的去噪算法完成無(wú)人機(jī)圖像的去噪，提升圖像質(zhì)量，減少由于室外光照強(qiáng)烈，機(jī)身抖動(dòng)劇烈而產(chǎn)生的照片失真、模糊的現(xiàn)象。其次，通過(guò)畸變參數(shù)矯正，消除相機(jī)畸變對(duì)圖像產(chǎn)生的影響。由于每一部相機(jī)在出廠時(shí)由于凸透鏡成像原理產(chǎn)生徑向畸變，由于工業(yè)誤差產(chǎn)生切向畸變，這就造成了無(wú)人機(jī)拍攝大場(chǎng)景圖像時(shí)，邊緣部分形變依據(jù)相機(jī)的不同而不同，因此，通過(guò)對(duì)相機(jī)內(nèi)參數(shù)（光心位置、畸變系數(shù)、焦距）的測(cè)量完成圖像的畸變矯正可以有效提升建模精度。

圖像特征點(diǎn)的識(shí)別配準(zhǔn)簡(jiǎn)單來(lái)說(shuō)就是通過(guò)特定的圖像配準(zhǔn)算法，對(duì)選定圖像序列中的每一張圖像進(jìn)行特征點(diǎn)的識(shí)別，將圖像中具有特殊意義或特殊參數(shù)的點(diǎn)標(biāo)記出來(lái)，生成唯一描述符，將圖像序列中圖像進(jìn)行兩兩匹配，匹配過(guò)程為對(duì)兩張圖像上所有點(diǎn)描述符做出判定，找出意義相同的點(diǎn)。目前主要的圖像配準(zhǔn)算法有SIFT、FAST、SURF等，由于無(wú)人機(jī)拍攝圖像涉及到旋轉(zhuǎn)、尺度、光照等一系列變化，這就對(duì)算法的魯棒性和不變性（旋轉(zhuǎn)不變性、尺度不變性、光照不變性）提出了較高要求，按照使用場(chǎng)景，選擇合適的圖像處理算法可以極大的提高建模速度和效果。

4.深度估計(jì)

完成特征點(diǎn)的匹配后，通過(guò)標(biāo)定的特征點(diǎn)生成點(diǎn)云數(shù)據(jù)。

在三維重建中，主要完成以下五個(gè)坐標(biāo)系的轉(zhuǎn)換，分別是世界坐標(biāo)系、飛機(jī)坐標(biāo)系、鏡頭坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系。生成點(diǎn)云數(shù)據(jù)的原理就是通過(guò) 坐標(biāo)變換將特征點(diǎn)的像素坐標(biāo)系轉(zhuǎn)化為世界坐標(biāo)系。其中，相機(jī)坐標(biāo)系、世界坐標(biāo)系和圖像坐標(biāo)系關(guān)系如圖2所示：

圖2　相機(jī)坐標(biāo)系、世界坐標(biāo)及和圖像坐標(biāo)系的關(guān)系

一般的可以通過(guò)三角測(cè)量法由特征點(diǎn)的對(duì)應(yīng)關(guān)系求得基礎(chǔ)矩陣F和本征矩陣E，從而求得相機(jī)的旋轉(zhuǎn)矩陣R和平移向量t，從而計(jì)算出相機(jī)的投影矩陣P。將之前所匹配的特征點(diǎn)依次帶入方程，利用最小二乘法計(jì)算出每一個(gè)特征點(diǎn)的坐標(biāo)。根據(jù)其坐標(biāo)信息完成對(duì)目標(biāo)地物點(diǎn)云信息的構(gòu)建。

5.網(wǎng)格重建與紋理映射

網(wǎng)格重建作為點(diǎn)云三維重建的關(guān)鍵步驟，主要通過(guò)網(wǎng)格重建算法將點(diǎn)云數(shù)據(jù)封裝，生成網(wǎng)格模型。主要方法有：基于Delaunay剖分的重建、基于區(qū)域擴(kuò)張的重建、基于統(tǒng)計(jì)學(xué)原理的重建。其中基于Delaunay剖分的重建好處在于當(dāng)數(shù)據(jù)樣本較大且質(zhì)量較好時(shí)可以獲得理想的重建模型，如果數(shù)據(jù)噪聲較多，則難以完成?；趨^(qū)域擴(kuò)張的重建運(yùn)算效率較高，但重建模型均為三角面片，對(duì)于高精度要求的模型難以勝任。基于統(tǒng)計(jì)學(xué)原理的重建，主要通過(guò)深度學(xué)習(xí)的方法完成，該方法是近年來(lái)研究的重點(diǎn)，可以獲得較好重建效果。

紋理映射主要是將物體固有的紋理信息投影到網(wǎng)格重建的模型上，使模型具有較好的虛擬現(xiàn)實(shí)效果。根據(jù)網(wǎng)格重建的方法不同，一般的選取不同的紋理映射方式。

6.結(jié)論

三維重建作為無(wú)人機(jī)應(yīng)用的新興領(lǐng)域，目前還面臨著許多問(wèn)題：一方面，當(dāng)前的圖像配準(zhǔn)算法均難以在短時(shí)間內(nèi)完成圖像的處理并輸出處理結(jié)果，三維重建的實(shí)時(shí)性得不到保證，這限制了了三維重建在包括無(wú)人機(jī)自主飛行、實(shí)時(shí)避障等眾多領(lǐng)域的應(yīng)用效果；另一方面，易于普及的微小型無(wú)人機(jī)搭載重量有限，飛行范圍和飛行時(shí)間難以保證對(duì)大范圍區(qū)域完成重建工作。

本文簡(jiǎn)要對(duì)基于無(wú)人機(jī)圖像序列完成三維重建的一般流程做出介紹，分析了重建過(guò)程中的關(guān)鍵技術(shù)及優(yōu)缺點(diǎn)?？梢灶A(yù)見(jiàn)，隨著計(jì)算機(jī)視覺(jué)技術(shù)和無(wú)人機(jī)技術(shù)的發(fā)展，未來(lái)依托于無(wú)人機(jī)的三維重建將具有廣闊的應(yīng)用前景。

[1]包琦.無(wú)人機(jī)發(fā)展現(xiàn)狀及相關(guān)技術(shù)[J].工程技術(shù):文摘版,2016(4): 00236-00236.

[2]劉鋼,彭群生,鮑虎軍.基于多幅圖像的場(chǎng)景交互建模系統(tǒng)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2004,16(10):1419-1424.

[3]佚名.DJI大疆創(chuàng)瓤推出變焦云臺(tái)相機(jī)禪思ZenmuseZ3[J].數(shù)碼影像時(shí)代,2016(7).

劉睿（1991—），山西太原人，碩士，現(xiàn)就讀于武警工程大學(xué)。