大帶寬通信鏈路環境下的無人機實時制圖

左志權，易琳

(1.中國測繪科學研究院，北京 100036；2.廣東電網有限責任公司 電力科學研究院，廣州 510062)

0 引言

隨著大帶寬通信技術的快速發展與普及，在無人機與地面控制終端間建立穩定的通信鏈路連接，再由控制終端實時處理接收的數碼影像或視頻數據達到實時制圖效果，已成為可能。從技術發展角度來看，無人機實時制圖技術主要經歷了準實時后處理制圖階段和GPS/IMU實時直接制圖階段。

1)準實時后處理制圖階段。最早的數據處理方式是將無人機拍攝數據現場通過硬介質拷貝轉存到地面工作站，再人為縮小原始影像數據至合適分辨率，快速處理被攝影區域的整體拼圖，如德國的Inpho、瑞士的Pix4D[1]、美國的ContexCapture[2]，以及國內的VirtuoZo/DPGrid[3]、PixelGrid[4]等商業處理軟件。該方法一般應用于野外現場數據質量檢查或災害應急場景，通過犧牲成果數據生產精度和細節層次達到準實時拼圖效果。其本質上還是利用傳統技術手段獲取實時拼圖，成圖質量受到限制，也無法達到真正實時制圖效率。

2)GPS/IMU實時直接制圖階段。在實時差分與組合導航技術普及后，通過無人機上安裝GPS流動站和高精度IMU設備，配合地面GPS基站，可快速確立當前拍照相機的位置和姿態[5]，與實時傳輸影像一起進行實時在線拼圖。由于只要求硬件集成設備標定，不需經過復雜影像后處理解算流程，成圖效率極高。該方式正在有人機或無人機平臺上被廣泛推廣使用，尤其適用于近紅外或多光譜數碼相機實時成圖應用。其不足在于：受硬件集成誤差和平臺實時姿態測量誤差影響，最終拼圖數據會有明顯錯位，適用于對成圖精度要求不高的應用場景。

本文詳細介紹了GPS/IMU直接制圖關鍵技術，并引入視覺SLAM(simultaneous localization and mapping)技術[6-8]對實時傳輸影像的位置和姿態進行動態修正，能極大限度地消除重疊影像間的錯位現象，達到無縫拼圖效果。文章最后針對有效實際工程數據進行了實驗與分析，均達到預期效果。

1 方法與策略

1.1 相機內參數標定方法

在傳統的攝影測量制圖作業流程中，一般人們會對數碼相機進行精確的實驗室自檢校處理，以最大限度地消除鏡頭系統誤差對后續測量結果的影響。但對于廣大非制圖領域的行業用戶來講，采用日益普及的小型無人機搭載非量測型數碼相機進行三維重建和測繪地形圖的需求日益旺盛。因此，針對非量測數碼相機所拍攝圖片進行精確空中三角測量是整個數據處理環節中的關鍵性步驟。

本文采用在線自檢校方法完成空中三角測量，即依賴影像間的幾何約束關系和控制點約束來自動校驗鏡頭系統誤差參數[9-10]。算法中的系統誤差模型采用7個參數模型，焦距(f)、主點偏移(x0，y0)、徑向畸變(k1，k2)、切向畸變(p1，p2)的自檢校數學模型如式(1)所示。

(1)

式中：(x，y)表示在原始影像所提取的關鍵點坐標；(x0，y0)表示相機主點位置坐標；(dx，dy)表示考慮照相機加工工藝局限后的鏡頭畸變改正分量；f表示鏡頭焦距值；(X，Y，Z)表示目標點在物理坐標系中的三維坐標值；(Xs，Ys，Zs)表示相機理論攝影中心在物理坐標系中的三維坐標值；R(a1，a2，a3，b1，b2，b3，c1，c2，c3)表示數碼相機在物方坐標系中的姿態朝向角度對應的旋轉矩陣。

在自檢校算法中，將鏡頭畸變誤差分量(dx，dy)進行純量形式展開，如式(2)所示。

(2)

如果僅依賴影像間的幾何約束關系估算內外參數，是一個典型的多極值求解問題。在影像拍攝條件不夠完善條件下，很難獲取唯一可靠參數估值。因此，必須進一步布設合適的地面控制點加以約束，推薦的三維控制點布設方案如圖1所示。

圖1 自檢校場控制點與檢查點布設示意圖

1.2 GPS/IMU與傳感器之間安置標定方法

由于硬件模塊結構設計工藝局限，模塊間集成誤差必然存在，而GPS/IMU組合導航系統直接測量的是GPS天線相位中心的實時差分坐標和IMU平臺角度，因此需針對直接測量輸出的像片位置和姿態數據進行誤差改正。在檢校模型推導中，一般以IMU參考中心為基點，相機攝影信息與IMU之間的幾何關系如式(3)所示。

(3)

在檢校工程實踐中，GPS/IMU與傳感器間的安置參數標定流程描述如下。

步驟1：借助組合導航解算技術，估算出IMU中心的軌跡和平臺姿態。

步驟2：在檢校場中布設控制點數據，解算出相機的準確位置和姿態參數。

步驟3：根據式(3)，逆向推導相機攝影中心與GPS/IMU之間的平移和旋轉安置誤差。

步驟4：依據安置誤差和式(3)，導出新的相機中心位置和姿態，并檢核其直接定位精度。

1.3 外參數動態優化方法

在1.2節中，經過修正后的GPS/IMU實時測量精度有很大提高，但設備實時測量誤差仍無法全部消除。本節探討如何采用動態SLAM優化算法修正外參數誤差，達到無縫實時制圖效果。動態優化算法計算機程序執行策略可描述如下。

步驟1：通過監聽指定的端口數據，獲取當前一幅影像數據。

步驟2：通過影像特征匹配技術，將當前影像序列加入整體待優化數據隊列中，并同步記錄其初始的GPS位置和IMU姿態信息。

步驟3：構建區域網平差解算模型，通過迭代優化方式求取待優化幀的精準位置和姿態。

步驟4：當新增優化數據量達到數據總量的某個比率閾值時(如0.2)，進行一次更大范圍的局部動態優化，以保證最終輸出數據的整體無縫效果。

步驟5：重復步驟1至步驟4，最終實現所有幀數據的優化過程，直到端口數據監聽結束。

上述步驟詳細描述整個動態優化算法策略。在具體算法執行過程中，值得指出的是，由于數碼影像上可能會有大片的森林、水域，會導致局部解算過程不穩定。系統有必要通過整體回環檢測，對更大范圍內必要優化數據進行快速重構。其整體快速重構基本原理與局部重構原理完全一致，超出本文重點討論范疇，故此不再贅述。

1.4 影像實時微分糾正方法

已經獲取預成圖區域的數字地形數據，為了方便實時訪問，該數據通常以二維格網形式保存[11]。假設影像拼圖的寬和高分別為w和h，微分正射糾正的算法策略如下。

步驟1：按行列號循環遍歷影像地圖的每一個像素二維位置(i，j)。

步驟2：通過與二維地形網格進行坐標對齊獲取當前像素位置的三維空間坐標(X，Y，Z)。

步驟3：采用投影矩陣計算三維空間坐標在原始影像上的像素位置(x，y)。

步驟4：采用雙線性內插方法，計算當前像素位置的像素值(R，G，B)。

步驟5：重復步驟1至步驟4，直到所有的像素賦值完成，保存影像地圖文件。

上述步驟是整個微分正射糾正算法的關鍵性步驟。其中，算法在執行過程中有2點值得注意：1)需要提前對糾正算法所采用的地形數據進行濾波平滑處理，得到真實的裸露地面，并以此規避地面上物體投影差導致的扭曲變形；2)在實時制圖過程中，為了獲得更好的效率，可將上述執行策略中的像素值雙線性內插算法修改為最鄰近內插算法，性能可獲得大幅提升。

2 實驗分析

2.1 實驗環境描述

文章涉及的所有算法，均采用Microsoft Visual Studio 2017 IDE 環境下的C/C++進行代碼編寫，并運行在Microsoft Windows 10×64位操作系統上。獨立的臺式電腦主要配置是Inter Core i7 8核心，內存16 GB，英偉達2 GB顯存顯卡，磁盤容量1 TB。

無人機飛行載體采用的是國產某大型無人機直升機，凈載荷50 kg，飛行速度為75 km/h。數碼照相機的焦距為35 mm。通信鏈路采用8 MB下行帶寬，數據回傳速率為2.5 s/張，單張數據大小為1 280像素×960像素。系統采用了差分GPS設備，實時差分精度控制在0.5 m內。采用NovAtel的IMU，實時定向精度約為0.08°，無線通信帶寬為8 Mbps，有效作用距離為50 km。

坐上親戚家的熱炕頭，大家一起學習十九大精神?！斑@幾年，我們連隊的變化太大了，這些變化都是黨的關懷和溫暖帶來的！十九大又給我們帶來新的福利，讓我們的生活越過越好。”李平副院長的親戚買買提·買蘇木聽完李平副院長宣傳黨的好政策后有感而發地說。

2.2 內參數標定結果與影響分析

按照2.1節論述，內參數標定實驗區域選用在地形稍有起伏的矩形區域，共往返飛行4個條帶，區域內均勻布設13個控制點，其中有效控制點11個。

本文在平差解算軟件中，采用了同樣的參數優化限制條件：GPS先驗精度限定在3 m，IMU角度先驗精度限定在0.1°，測區內分布均勻6個控制點，剩余為5個檢查點。分別開啟內參數自檢校和關閉自檢校功能進行2組測試，結果記錄如表1所示。

從本次實驗可以看出，在所有其他限制參數固定前提下，內參數自檢校能大幅改善檢查點精度，尤其在高程精度方面能提升5～10倍，像點殘差中誤差從 0.376像素提升到0.287像素。因此，無論從像方角度還是物方角度考量，自檢校前后空中三角測量系統的內外符合精度都有著較大提升。

表1 自檢校前后檢查點殘差列表 m

2.3 GPS/IMU標定結果與影響分析

按照2.2節所述方法步驟，估算出相機與GPS/IMU設備之間的6維安置誤差。仍舊采用地面檢查點殘差指標來評估安置標定結果對定位精度的影響，具體方法如下。

本文在平差軟件中，在采用準確內參數前提下，將強約束條件下設置GPS定位先驗精度為0.01 m，IMU姿態先驗精度為0.001°；將弱約束條件下設置GPS定位先驗精度為10 m，IMU姿態先驗精度不作限制。分別在2類條件下進行平差解算，檢查點精度報告如表2所示。

從本次實驗可以看出，表2中的強約束結果可近似看作為直接采用修正后的GPS/IMU數據進行定位精度評估結果，而弱約束結果可看作是控制點參與平差計算結果。其結果說明：1)強約束條件下(GPS/IMU近似不參與優化)，檢查點精度明顯差于弱約束環境下的結果，也說明通過2.2節介紹的擬合獲取安置誤差方法，其修正后的外方位元素仍舊包含有一定程度系統誤差，殘差主要分布在y和z方向；2)如果放開GPS/IMU約束，可直接獲得理想平差結果，說明安置誤差修正后的外方位元素仍需要進一步優化，并且能通過優化獲得最終理想結果。

表2 GPS/IMU強弱約束后的檢查點殘差列表 m

2.4 動態優化結果與影響分析

通過上文論證分析可知，內參數標定和外參數安置誤差修正，能很好地提升GPS/IMU直接定位精度，但仍需要進一步優化獲得最優結果。采用2.3節動態優化算法進行實驗，效果如圖2所示。

1)定性效果評估。為了具體評估動態優化算法的效果，本節分別截取3組影像中的典型地物，并作出局部高清對比，其可視化對比效果如圖3所示。

從圖3可以看出，未使用動態優化算法的影像拼圖有著明顯幾何錯位，池塘邊緣出現鋸齒狀，農田存在明顯扭曲，道路等線狀地物呈現斷裂等，而動態優化后所獲得結果則能很好地恢復地物的真實形狀。

2)定量精度評估。評估動態優化結果的一項重要指標就是相機中心、相片關鍵點、物理模型坐標三者是否嚴格滿足透視投影關系。在算法優化結束后，將物方模型坐標投影到相片上，計算理想投影點與實際關鍵點之間的坐標差異分量，并統計其優化前后中誤差。誤差統計結果如圖4所示。

圖4橫軸為實時動態優化迭代執行次數，縱軸為單次優化后的RMSE數值。 從上述SLAM優化前后的統計曲線圖可以看出：1)SLAM優化算法介入后，關鍵點重投影誤差從均值2.0像素提升到0.3像素，約7倍，有著明顯改善；2)優化后的重投影誤差穩定在0.2像素附近，不會隨迭代次數增多而降低精度，驗證了算法的穩定性。

圖2 視覺SLAM優化前后的整體對比效果

圖3 飛行區域內3組優化前后局部對比效果

圖4 SLAM動態優化前后關鍵點重投影誤差對比效果圖

2.5 整體拼圖效果與成圖輸出

在獲得幾何上的高精度拼接效果后，本文采用整體色彩融合算法進行成果圖鑲嵌并輸出，效果如圖5所示。

從圖5可看出，通過色彩融合與鑲嵌處理后的拼圖從視覺上看效果更好，整體上無明顯色彩差異；對應的水體、農田以及道路等地物細節也進一步消除拼接縫隙，已能達到無縫制圖效果。

圖5 整體色彩融合與鑲嵌后的拼圖效果示意圖

3 結束語

本文詳細介紹了大帶寬通信環境下的GPS/IMU直接制圖關鍵技術，并引入視覺SLAM技術對實時傳輸影像的位置和姿態進行了動態優化調整，獲得預期的實時無縫拼圖效果，結論如下。

1)數碼相機內參數標定時，檢校場的控制點布設是必要的，否則無法估算出準確內參數值。

2)數碼相機和GPS/IMU之間的安置誤差改正對提升重疊影像間的拼接精度具有很好效果，建立嚴密的標定模型和工程實施方案是關鍵。

3)普遍用于機器人導航或無人車中的視覺SLAM算法用于無人機高精度制圖也是可行的，能顯著提升制圖效果，基本做到無縫拼圖。

文章所涉及算法采用結構化設計，能很好地推廣至無人機視頻流實時制圖、無人車及機器人導航等硬件平臺上。