室內(nèi)場景輔助無人機(jī)影像采集方法研究

胡敏捷，沈繼飛，姚怡芝

(上海船舶設(shè)計(jì)研究院，上海 201203)

1 引 言

目前，無人機(jī)產(chǎn)業(yè)日益成熟，無人機(jī)作為影像采集工具，在很多場景中都得到了廣泛的應(yīng)用。在室外場景中，借助于GNSS信號定位以及無人機(jī)自身的慣性導(dǎo)航系統(tǒng)[1]，可輕松地實(shí)現(xiàn)無人機(jī)的航線規(guī)劃和飛行控制，完成自主影像采集任務(wù)，如使用大疆精靈4 RTK的無人機(jī)設(shè)備便可快速采集測區(qū)影像，并應(yīng)用于場景構(gòu)建與數(shù)字測圖[2]。但在室內(nèi)場景中，由于GNSS信號缺失，僅通過無人機(jī)慣性導(dǎo)航進(jìn)行定位會(huì)產(chǎn)生較大誤差累積，再加上室內(nèi)環(huán)境復(fù)雜多樣，無人機(jī)自主影像采集難以實(shí)現(xiàn)。

為此，本文提出一種室內(nèi)場景輔助的無人機(jī)影像采集方法，基于快速三維重建獲得的室內(nèi)場景信息對無人機(jī)的航線進(jìn)行精細(xì)規(guī)劃，并通過視覺定位來修正慣性導(dǎo)航產(chǎn)生的累積誤差，實(shí)現(xiàn)無人機(jī)的精確定位，保證無人機(jī)高效、安全地完成影像采集任務(wù)。本文方法主要分為以下三個(gè)流程：首先需要對室內(nèi)進(jìn)行快速三維重建，得到室內(nèi)場景的實(shí)景三維模型；之后基于實(shí)景三維模型對無人機(jī)航線進(jìn)行精細(xì)規(guī)劃；最后實(shí)現(xiàn)無人機(jī)的飛行控制，通過無人機(jī)采集的影像與室內(nèi)實(shí)景三維模型進(jìn)行匹配實(shí)現(xiàn)無人機(jī)實(shí)時(shí)視覺定位，對慣性導(dǎo)航產(chǎn)生的誤差累積進(jìn)行修正。

在室內(nèi)場景模型構(gòu)建方面，常用的方法有基于影像的三維重建[3]和基于三維激光點(diǎn)云的三維重建[4]。其中基于影像的三維重建由于成本低，而且重建精度能滿足生產(chǎn)需求，廣受人們歡迎。文獻(xiàn)[3]介紹了基于傾斜攝影測量的室內(nèi)三維實(shí)景模型快速重建方法，但是該方法數(shù)據(jù)處理過程復(fù)雜，效率低下。文獻(xiàn)[5]介紹了利用武漢天際航DP-Smart圖像自動(dòng)處理軟件進(jìn)行傾斜攝影自動(dòng)化建模的方法，極大降低了人工成本。

在無人機(jī)航線規(guī)劃方面，文獻(xiàn)[6]提出了一種在實(shí)景三維模型輔助下，以人機(jī)交互形式設(shè)計(jì)航線的方法。這種方法可以借助實(shí)景模型預(yù)判設(shè)計(jì)航線的影像覆蓋范圍和重疊區(qū)域，并能檢測航線上的障礙物，提高無人機(jī)攝影測量外業(yè)飛行中的效率和獲取影像的質(zhì)量。

在無人機(jī)飛行控制功能的實(shí)現(xiàn)方面，文獻(xiàn)[7]介紹了利用大疆Mobile SDK進(jìn)行編程，實(shí)現(xiàn)對無人機(jī)的自主飛行控制。文獻(xiàn)[8]提出了一種基于特征點(diǎn)匹配的快速影像重定位方法，在獲得二維影像與已知三維場景模型的前提下，利用空間后方交會(huì)的方法解算出二維影像的外方位元素。在沒有衛(wèi)星定位信息的情況下，無人機(jī)便可利用二維影像解算出的外方位元素估算出無人機(jī)的位置和姿態(tài)，修正無人機(jī)的飛行誤差。

因此，本文利用天際航DP-Smart軟件采集室內(nèi)影像資料進(jìn)行室內(nèi)快速重建，并基于此實(shí)景三維模型，通過AR-Explorer軟件進(jìn)行交互式航線精細(xì)規(guī)劃，在位姿估計(jì)模塊的輔助下，使無人機(jī)在室內(nèi)環(huán)境中自主執(zhí)行飛行任務(wù)，采集影像。經(jīng)過飛行試驗(yàn)，位姿估計(jì)信息顯著降低了無人機(jī)的飛行誤差，項(xiàng)目流程如圖1所示。

圖1 項(xiàng)目流程

2 室內(nèi)場景輔助無人機(jī)影像采集方法

2.1 室內(nèi)快速重建

基于實(shí)景三維的航線規(guī)劃，前提是獲得場景的三維模型信息。利用Gopro全景推車采集場景影像(圖2)，結(jié)合傾斜攝影三維自動(dòng)建模軟件DP-Smart可以簡單高效且全自動(dòng)地生成場景三維模型，提升場景輔助無人機(jī)自主飛行技術(shù)的可行性。

圖2 Gopro全景推車

基于影像的三維重建主要有以下幾個(gè)流程：影像數(shù)據(jù)采集、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from Motion，SfM)、密集匹配、構(gòu)網(wǎng)貼圖。首先，在影像數(shù)據(jù)采集時(shí)需要保證影像之間有足夠的重疊度；之后對采集到的影像進(jìn)行SfM算法，即恢復(fù)影像精確的位置和姿態(tài)參數(shù)，并生成稀疏點(diǎn)云；得到影像的位姿信息后，根據(jù)影像立體像對的核線約束關(guān)系，沿同名核線方向搜索立體像對的同名點(diǎn)，獲得立體相對的視差圖。然后由視差圖計(jì)算立體相對的大量同名點(diǎn)，對大量同名點(diǎn)對進(jìn)行空間前方交會(huì)得到同名點(diǎn)對應(yīng)的地面攝影測量坐標(biāo)系下的三維坐標(biāo)，即測區(qū)的點(diǎn)云數(shù)據(jù)。當(dāng)把同名點(diǎn)的色彩信息賦值給對應(yīng)的三維空間點(diǎn)即可獲得彩色三維點(diǎn)云；最后對密集點(diǎn)云進(jìn)行構(gòu)網(wǎng)，自動(dòng)生成TIN網(wǎng)絡(luò)模型，并進(jìn)行紋理映射。此時(shí)，可以得到室內(nèi)的三維實(shí)景模型。

圖3～圖6所展示的室內(nèi)場景三維重建利用Gopro全景推車拍攝了434張影像，通過DP-Smart軟件處理約 1.2 h輸出建模成果。

圖3 影像空三解算成果

圖4 影像匹配生成密集點(diǎn)云

圖5 TIN成果

圖6 自動(dòng)紋理映射成果

2.2 基于實(shí)景三維的航線精細(xì)規(guī)劃

基于實(shí)景三維的航線精細(xì)規(guī)劃是指在場景mesh模型上，進(jìn)行交互式的航線規(guī)劃。由于具有可視性，可以直觀地選擇航點(diǎn)，設(shè)置拍攝云臺角度，預(yù)覽拍攝范圍，并進(jìn)行刪改編輯，增加室內(nèi)影像采集的質(zhì)量。此外，通過將航點(diǎn)連接而成的航線與三維模型的緩沖區(qū)運(yùn)算，可以檢查出航線與障礙物的沖突，提高室內(nèi)復(fù)雜環(huán)境下的飛行安全性。

基于實(shí)景三維的室內(nèi)無人機(jī)航線規(guī)劃可以繼承室外航線規(guī)劃方法，在室內(nèi)空曠環(huán)境中，使用航帶法設(shè)計(jì)航線。結(jié)合相機(jī)參數(shù)和影像重疊度等數(shù)據(jù)，根據(jù)式(1)計(jì)算攝影航點(diǎn)間距，從而設(shè)計(jì)較為規(guī)則的航線[9]。這種情景下的航線設(shè)計(jì)較為簡單，航線規(guī)整且拍攝視角無太大變化，適合空曠場景的影像采集任務(wù)。

(1)

其中d為兩航點(diǎn)間的距離，c%為航向重疊度，w為相機(jī)底片寬度，a為像元尺寸，GSD為地面分辨率。

在復(fù)雜環(huán)境下，無人機(jī)的飛行風(fēng)險(xiǎn)增加，在航線規(guī)劃時(shí)，需根據(jù)無人機(jī)的尺寸設(shè)計(jì)安全緩沖距離，并通過與實(shí)景三維模型的空間運(yùn)算，檢查航線上的障礙物。同時(shí)，需要人工選擇影像拍攝的興趣部位，且由于興趣部位的空間姿態(tài)存在較大差異，在航線設(shè)計(jì)時(shí)需針對性地設(shè)置云臺角度，調(diào)整拍攝視角。這種情景下航線設(shè)計(jì)較為復(fù)雜，適合多障礙物的復(fù)雜環(huán)境，無人機(jī)室內(nèi)航線規(guī)劃如圖7所示。

圖7 無人機(jī)室內(nèi)航線規(guī)劃

AR-Explorer室內(nèi)航線規(guī)劃流程為：

①創(chuàng)建航線規(guī)劃工程，導(dǎo)入三維場景，開啟室內(nèi)航線規(guī)劃作業(yè)。

②選擇航點(diǎn)編輯窗口，設(shè)置航高、站點(diǎn)密度和相機(jī)參數(shù)。

③點(diǎn)擊窗口中的“選擇航點(diǎn)”圖標(biāo)，在三維場景中繪制“關(guān)鍵”航點(diǎn)。

④設(shè)置所有“關(guān)鍵”航點(diǎn)后，點(diǎn)擊“生成航線”，根據(jù)航高、站點(diǎn)密度和相機(jī)參數(shù)內(nèi)插生成攝影航點(diǎn)，并生成航線表。

⑤檢查及修改航線表中的攝影航點(diǎn)航線表。

⑥勾選“安全檢查”，在三維窗口中顯示半透明緩沖區(qū)，檢查航線安全性。

⑦室內(nèi)航線規(guī)劃完成，如圖8～圖12所示，導(dǎo)出航線Json文件。

圖8 創(chuàng)建工程

圖9 繪制關(guān)鍵航點(diǎn)

圖10 內(nèi)插航點(diǎn)

圖11 安全檢查

圖12 輸出航線Json文件

2.3 室內(nèi)無人機(jī)飛行控制和位姿估計(jì)

2.3.1 飛行控制

無人機(jī)的自主飛行需要使用無人機(jī)開發(fā)工具包(SDK)對無人機(jī)進(jìn)行飛行控制，根據(jù)上文航線規(guī)劃方法所得的室內(nèi)航線飛行。然而，由于無人機(jī)底層控制、通信鏈路、環(huán)境作用力等因素的影響，無人機(jī)在執(zhí)行飛行任務(wù)時(shí)難以避免地存在誤差。因此，需要輔助定位手段，在無人機(jī)飛行的過程中不斷修正無人機(jī)的運(yùn)動(dòng)。使無人機(jī)能夠按照規(guī)劃航線飛行，并通過無人機(jī)的相機(jī)開發(fā)工具包設(shè)置拍攝模式及參數(shù)，完成影像采集任務(wù)。

本文采用大疆Mobile SDK進(jìn)行無人機(jī)手機(jī)端飛行控制平臺的開發(fā)。實(shí)現(xiàn)了無人機(jī)的坐標(biāo)飛行功能。同時(shí)，飛行控制平臺可直接讀取AR-Explorer生成的航跡規(guī)劃jason文件，從而使無人機(jī)按照預(yù)先規(guī)劃的航線自主完成飛行及攝影任務(wù)，控制界面如圖13所示。

圖13 控制界面

其中，坐標(biāo)飛行功能是指，在設(shè)置無人機(jī)的航高和初始坐標(biāo)后，向無人機(jī)提供一個(gè)目標(biāo)點(diǎn)的坐標(biāo)和飛行速度，在程序內(nèi)部，通過API調(diào)整無人機(jī)的飛行姿態(tài)角——俯仰角(Pitch)、翻滾角(Roll)和偏航角(Yaw)，配合時(shí)間控制，使無人機(jī)完成到達(dá)目標(biāo)點(diǎn)所需的三維空間運(yùn)動(dòng)。

然而這種通過無人機(jī)自身角度和速度傳感器控制的飛行會(huì)產(chǎn)生飛行誤差。如圖14是在模擬器上，沒有環(huán)境作用力干擾下，無人機(jī)從初始位置(0，0)(單位：m)，以 5 m/s速度飛往(0，10)的結(jié)果。由模擬器上的坐標(biāo)信息可知，無人機(jī)并未準(zhǔn)確到達(dá)(0，10)位置，而是在X軸方向產(chǎn)生了 0.026 8 m的位移誤差，在Y軸方向產(chǎn)生了 0.692 6 m的位移誤差。根據(jù)實(shí)驗(yàn)發(fā)現(xiàn)，無人機(jī)的距離誤差隨著飛行速度和飛行距離的增大而增大。

圖14 模擬飛行

分析其原因在于程序內(nèi)位移的計(jì)算方式，如式(2)，由于無人機(jī)存在加速和減速的過程，利用瞬時(shí)速度代替平均速度使Si產(chǎn)生了誤差，且隨著速度變化的增大和總位移的增長，誤差也在增大和累積。

(2)

其中vi為第i段時(shí)間間隔△t的初始速度，Si為第i段時(shí)間間隔內(nèi)的位移。

此外，在實(shí)際飛行過程中，外部環(huán)境作用力的影響，都會(huì)使無人機(jī)產(chǎn)生飛行誤差，如圖15所示。因此，無人機(jī)在室內(nèi)飛行情況下，需要采用定位方法不斷修正無人機(jī)的位置，減小無人機(jī)飛行的誤差。

圖15 飛行誤差

2.3.2 位姿估計(jì)

位姿估計(jì)主要包含兩個(gè)關(guān)鍵步驟，一是待解算影像與已知的場景信息建立關(guān)系，即場景三維模型的特征點(diǎn)與二維影像的特征點(diǎn)匹配[10]。二是基于三維與二維特征點(diǎn)的對應(yīng)關(guān)系，使用空間后方交匯的方法求解影像的外方位元素，從而獲得無人機(jī)的位姿[11]。

(1)場景三維模型與二維影像進(jìn)行特征點(diǎn)匹配

①將三維點(diǎn)云相關(guān)聯(lián)的二維影像點(diǎn)的SIFT特征描述符作為其特征描述符。三維場景的構(gòu)建是通過處理一系列多視影像，經(jīng)特征提取、特征匹配、影像位姿初始估計(jì)、三角化生成稀疏點(diǎn)和光束法平差等步驟獲得。以此方法得到的稀疏點(diǎn)云都有對應(yīng)的二維影像特征點(diǎn)，故可將二維影像點(diǎn)的128維SIFT向量作為三維特征點(diǎn)描述符。

②對待解算影像采用相同的SIFT算法進(jìn)行處理，提取出二維特征點(diǎn)的128維SIFT向量，作為特征描述符。

③建立場景三維特征點(diǎn)與待解算影像二維特征點(diǎn)的匹配關(guān)聯(lián)。獲得新影像的二維特征點(diǎn)及其特征描述符，和三維場景地圖中三維特征點(diǎn)及其特征描述符，再利用FLANN(Fast Approximate Nearest Neighbor Search Library)算法，找到二者特征點(diǎn)的對應(yīng)關(guān)系。

(2)單像空間后方交會(huì)

單像空間后方交會(huì)問題也可稱為PnP(Perspectiven Points)問題，即對于一副影像，已知圖像內(nèi)容n個(gè)參考點(diǎn)的圖像二維坐標(biāo)和世界坐標(biāo)系中對應(yīng)的三維坐標(biāo)，以及攝像頭內(nèi)參，求解影像外方位元素[11]。由共線條件方程式3可知，一組3D-2D匹配點(diǎn)可以列兩個(gè)未知數(shù)方程，有XS、YS、ZS、φ、ω、k六個(gè)外方位元素未知，所以至少需要4對匹配點(diǎn)才能進(jìn)行平差解算[12]。

(3)

在實(shí)現(xiàn)無人機(jī)的自主飛行應(yīng)用中，由于無人機(jī)機(jī)載運(yùn)算能力有限，所以將無人機(jī)獲取的單張定位影像傳輸至地面站，在地面站中進(jìn)行單像的位姿估計(jì)，再將定位信息傳輸至無人機(jī)，以修正無人機(jī)的位置。

2.4 飛行誤差修正

圖16 航線修正

3 飛行實(shí)驗(yàn)

為驗(yàn)證位姿估計(jì)對無人機(jī)飛行誤差修正的作用，進(jìn)行了一組利用位姿估計(jì)信息修正無人機(jī)航線和不利用位姿估計(jì)信息修正無人機(jī)航線的對比實(shí)驗(yàn)。根據(jù)2.1和2.2所述的場景快速重建方法和航線規(guī)劃方法，首先利用Gopro全景推車和DP-Smart軟件構(gòu)建了實(shí)驗(yàn)場地的三維場景模型，隨后利用AR-Explorer軟件規(guī)劃了無人機(jī)的航線，最后進(jìn)行了兩組飛行實(shí)驗(yàn)。

第一組飛行實(shí)驗(yàn)中，無人機(jī)僅利用自身的慣性導(dǎo)航傳感器、陀螺儀和氣壓計(jì)等機(jī)載設(shè)備控制飛行方向和距離，自主按照規(guī)劃航線飛行。第二組飛行實(shí)驗(yàn)中，無人機(jī)除利用機(jī)載傳感器控制飛行方向和距離外，還會(huì)使用在各航點(diǎn)實(shí)時(shí)獲取的位姿估計(jì)數(shù)據(jù)修正飛行方向和距離。

在實(shí)驗(yàn)中，為獲取無人機(jī)的真實(shí)軌跡，兩組飛行實(shí)驗(yàn)無人機(jī)均在完成一段飛行任務(wù)后拍攝一張影像，并實(shí)時(shí)進(jìn)行位姿估計(jì)。區(qū)別在于第一組實(shí)驗(yàn)的估計(jì)位姿用于記錄無人機(jī)的真實(shí)航跡，第二組實(shí)驗(yàn)的估計(jì)位姿既用于記錄無人機(jī)的真實(shí)航跡，也用于修正無人機(jī)航線。

如圖17所示，為飛行實(shí)驗(yàn)中部分真實(shí)航點(diǎn)與規(guī)劃航點(diǎn)點(diǎn)位中誤差折線圖，其中A點(diǎn)不為起飛點(diǎn)。在無人機(jī)真實(shí)航點(diǎn)與規(guī)劃航點(diǎn)間的點(diǎn)位中誤差方面，修正航跡點(diǎn)位中誤差整體小于未修正航跡，且中誤差并未呈增長趨勢。說明利用位姿估計(jì)信息修正無人機(jī)航線的方法可以有效減小飛行過程中的誤差累積。表1為該部分航線的坐標(biāo)記錄。

圖17 點(diǎn)位中誤差對比

航線點(diǎn)位坐標(biāo)及誤差 表1

圖18是兩組飛行實(shí)驗(yàn)的真實(shí)航線與規(guī)劃航線對比圖。經(jīng)過對比可以發(fā)現(xiàn)，未經(jīng)修正的真實(shí)航線雖然在形狀上更接近規(guī)劃航線，但各真實(shí)航點(diǎn)與規(guī)劃航點(diǎn)相差逐漸變大。經(jīng)過位置修正航線的航點(diǎn)顯著接近規(guī)劃航點(diǎn)。

圖18 航線對比

4 結(jié) 論

本文介紹了一種室內(nèi)環(huán)境下無人機(jī)利用三維場景信息輔助飛行的方法。首先，通過Gopro全景推車和DP-Smart軟件，可實(shí)現(xiàn)室內(nèi)場景的快速且低成本建模，獲得場景的粗略模型，構(gòu)建場景信息。其次，在粗略模型的基礎(chǔ)上進(jìn)行無人機(jī)攝影測量任務(wù)的航線交互式規(guī)劃，提升無人機(jī)攝影測量的效率及安全性。最后，結(jié)合飛行控制程序和位姿估計(jì)模塊，操控?zé)o人機(jī)準(zhǔn)確地完成影像采集任務(wù)。此種方法可應(yīng)用于大型室內(nèi)場景由粗略到精細(xì)的建模任務(wù)，以及室內(nèi)場景的設(shè)備巡檢和安保巡邏任務(wù)等，具有一定的應(yīng)用前景。