一種基于SLAM的無人機影像快速三維重建方法

宋志勇 白皓 張海龍 庫新勃

摘 ?要：無人機技術在電力通道巡檢、選線等應用中發揮中越來越重要的作用。傳統的基于影像的三維重建方法是以離線方式獲取三維重建結果，效率不高。文章提出一種基于SLAM的無人機影像快速三維重建方法，通過視覺SLAM獲取無人機序列影像的初始位姿信息，建立圖像匹配優先度隊列，有效減少無效的影像匹配，同時融合無人機GPS結果，實現快速的三維重建。實驗表明，文章所提方法在效率上得到了顯著提升，并且精度滿足1：1000大比例尺測圖要求。

關鍵詞：無人機影像;三維重建;方法

中圖分類號：P231 文獻標志碼：A ? ? ? 文章編號：2095-2945（2019）15-0004-03

Abstract： UAV technology plays a more and more important role in the application of power channel inspection， line selection and so on. The traditional image-based 3D reconstruction method is to obtain 3D reconstruction results offline， and the efficiency is not high. In this paper， a fast 3D reconstruction method of UAV image based on SLAM is proposed. the initial position and pose information of UAV sequence image is obtained by visual SLAM， and the priority queue of image matching is established， which can effectively reduce the invalid image matching. At the same time， the GPS results of UAV are fused to realize fast 3D reconstruction. The experimental results show that the efficiency of the method proposed in this paper has been significantly improved， and the accuracy meets the requirements of 1：1000 large-scale mapping.

Keywords： UAV image; 3D reconstruction; method

1 概述

無人機技術的迅猛發展，使得獲取地表遙感數據的效率得到了大大的提升。利用無人機獲取的影像進行三維重建構建技術已被廣泛應用于環境監察監測、資源勘探、地表測繪及應急救災等領域[1]。隨著業務需求的不斷拓展與深入，在電力通道巡檢、選線等應用中，利用無人機平臺進行高效率乃至實時的三維重建有著至關重要意義，可大大提高野外作業效率[2]。然而，目前由于影像處理算法的復雜性與高計算量，傳統的基于影像的三維重建方法需要配備強力的計算性能平臺，以離線處理方式獲取三維重建結果，無法野外處理，導致作業效率不高。因而，針對無人機相機研究開發快速的三維重建算法，對于提升野外作業效率有著重要意義。

目前，隨著計算機視覺與攝影測量領域技術的發展，基于影像的三維重建方法融合了多方面的理論基礎，形成了若干的運動恢復結構方法（Structure From Motion，SFM）[3]。SFM方法以增量式重建方法為代表，主要依靠從影像數據集中選取一堆交會條件最好的立體圖像作為“種子”形成影像網，依次加入與影像網交會效果最好的圖像，直至完成所有有效圖像的加入。然而，該方法的缺點則是處理過程中重復進行了多次平差，且每一幅圖像均需要參與兩兩圖像的匹配，計算量巨大，效率較低，且處理時并非按照圖像獲取的順序，無法進行實時處理。

同時定位與制圖（Simultaneous Localization And Mapping， SLAM）是機器人在未知環境下自主作業的核心關鍵技術，為機器人構建周圍環境圖，同時提供機器人在環境圖中的位置，并隨著機器人的移動而進行環境圖的增量式構建與機器人的連續定位，是實現機器人環境感知與自動化作業的基礎[4]。相比SfM，視覺SLAM以增量式方式進行特征點的追蹤，并引入局部影像網平差技術處理序列圖像，快速獲取影像的位姿參數，實現了實時定位，并具有高效制圖能力。

本文提出一種基于視覺SLAM的無人機影像三維重建方法，將視覺SLAM序貫處理方法引入無人機三維重建中，通過視覺SLAM獲取無人機序列影像的初始位姿信息，建立圖像匹配優先度隊列，并采用ORB特征描述子有效減少匹配計算量;同時，依據影像GPS定位結果校正制圖結果，最終結合視差圖融合方法快速獲得三維重建結果，實現無人機影像快速三維重建。

2 方法

無人機影像快速三維重建算法主要包括特征點提取與追蹤、影像初始位姿解算、位姿參數優化及視差圖快速融合。其中，特征點提取與追蹤采用ORB特征算子，實現序列影像特征快速匹配;影像初始位姿解算通過特征點多幀追蹤結果構建優化的局部影像區域網，通過平差獲取的初始位姿參數;參數優化通過引入影像GPS位置信息進行平差優化，獲取優化的影像定位定姿結果;視差圖快速融合通過構建融合權重分布，實現快速的視差融合，最終獲得三維重建結果。相應算法流程如圖1。

2.1 特征提取與追蹤

特征提取與追蹤是建立影像間幾何關系的基礎。本文中采用ORB算子進行特征的提取與追蹤。ORB算法特征檢測首先采用FAST角點檢測算子，通過灰度尋找區域內灰度值差異超過閾值的像素點作為特征點，即將像素點P一定半徑上的一圈點像素值同點P處像素值進行比較，若大于或小于P處像素值的像素個數大于閾值，則該點為特征點;然后，采用BRIEF描述子對特征進行描述，即對圖像塊內的各個像素做二值判斷：

2.2 初始位姿解算

基于上述的圖像間的匹配結果，可以通過計算獲得圖像間的相對位置姿態，無法得到世界坐標系下的決定位姿參數。由于無人機影像獲取時，通過GPS模塊記錄了采集時刻的絕對位置信息，可引入此信息進行影像位姿模型的絕對定向。該部分包括：

（1）相對位姿參數解算

影像的相對位姿姿態參數有同名匹配點求取本質矩陣，通過對其進行分解，得到影像間的近似相對關系，對于每一本質矩陣，可解出4組旋轉矢量R與平移矢量T，如下：

（2）序列影像上的同名點可在多幀影像間形成影像區域網，因而，針對當前幀影像上的同名點分布，將符合一定數量同名點的相鄰影像與當前幀圖像一起構建局部區域網，通過光束法平差獲得優化后的位姿參數。在平差解算時，認為區域網中離當前幀最遠的立體像對其外方位元素為真值，故該像對上立體匹配點通過前方交會得到的三維坐標認為是真值。

2.3 位姿參數優化

SLAM是針對序列圖像進行的，上述局部平差后得到的位姿信息隨著影像數量的增多后不可避免存在誤差累計，因而，需要更多的約束條件進行位姿參數的優化。考慮到無人機飛行的軌跡可能存在多條航線重疊，上述的基于采集順序的區域網構建方法可能忽略了多航帶圖像形成的幾何約束，因而此部分進行優化時需以當前影像為核心重新構建影像區域網。首先，以當前影像的初始位姿及包含的連接點三維坐標參數為基礎，計算這些連接點在相鄰影像上的投影范圍，若這些投影點占影像面積的比例大于閾值，則認為該影像同當前影像具有強相關的約束，同時對跨航帶的強相關影像進行匹配;然后，確定相鄰影像中所有的強相關影像集合作為一級相關影像，并以上述步驟重復確定同一級相關影像存在強約束關系且與當前影像存在共同連接點的影像作為二級相關影像。以此類推，直至最后找到所有滿足條件的強相關影像，并組建影像區域網進行平差優化處理。優化處理時，考慮到無人機影像獲取時可同時記錄GPS位置信息，因而基于傳統平差誤差方程，利用影像GPS信息作為附加觀測值納入迭代計算中，如下：

其中，xs為當前影像位置參數改正數矩陣，PE為對應的影像GPS觀測結果的權重，由GPS定位誤差決定。

2.4 密集匹配與視差融合

基于上述位姿參數優化后，即可獲得影像的位置姿態結果。對于當前影像尋找交會角大小滿足要求的連接點數量最多的影像作為密集匹配的基礎像對，進行單像對的密集點云生成。首先，依據位姿參數對影像進行核線重采樣，生成分辨率降采樣后的核線圖像，確保通過一維搜索進行同名點的匹配并降低計算量;其次，引入SGM匹配算法，基于核線圖像快速生成相應的視差圖;然后，在代價空間在以影像的原分辨率進行視差的內插;最后獲得完整的視差圖數據。

3 實驗

為了驗證本文所提方法的有效性，在選擇湖北恩施地區利用大疆精靈4無人機獲取了對該區域的無人機航拍影像。從獲取的影像中選擇了229張有效的影像，經相機畸變校正后如圖2。

采用本文所提的特征點提取與匹配、初始位姿估計等處理方法對無人機影像進行處理，以SLAM方式獲取了影像的初始位姿信息。基于這些初始位姿信息，結合無人機上的RTK GPS信息，獲取了準確的無人機影像位姿信息，并實現了視差圖的生成與全局融合，得到以下三維重建結果：

在重建過程中采用了SLAM方法獲取了初始位姿信息，為后續姿態優化提供了良好的初值，避免了大量無效的匹配查找計算。經統計，得到了整個重建過程的處理時間，并引入Photoscan軟件的處理時間作為對比，如下：

為了驗證重建模型的精度，引入4個控制點作為檢查點評價三維重建結果的精度，控制點平面誤差為0.78米，高程精度為0.79米，均滿足1：1000測圖精度要求。

4 結束語

本文提出一種基于SLAM的無人機影像快速三維重建方法，通過視覺SLAM獲取無人機序列影像的初始位姿信息，建立圖像匹配優先度隊列，有效減少無效的影像匹配，同時融合無人機GPS結果，實現快速的三維重建。實驗表明，本文所提方法在效率上得到了顯著提升，并且精度滿足1：500大比例尺測圖要求。

參考文獻：

[1]劉國嵩，賈繼強.無人機在電力系統中應用與發展方向[J].東北電力大學學報，2012，32（1）：53-56.

[2]金芳芳，詹斌.無人機攝影測量在山區電力線路工程的應用[J].建筑技術開發，2017，44（16）：103-104.

[3]蔣華強，蔡勇，張建生，等.基于改進SFM的三維重建算法研究[J].電子技術應用，2019，45（2）：88-92.

[4]邸凱昌，萬文輝，趙紅穎，等.視覺SLAM技術的進展與應用[J].測繪學報，2018，47（6）：770-779.