支持場景表觀差異的無人機圖像視覺定位方法

王騫仟, 熊 源, 姜 涵, 周 忠*

1. 北京航空航天大學, 北京 100191

2. 虛擬現實技術與系統全國重點實驗室, 北京 100191

0 引 言

計算拍攝圖像相對于三維場景模型的六自由度相機位姿是無人機自主導航的關鍵步驟.全球衛星導航系統(global navigation satellite system, GNSS)拒止條件下,在現有的三維地圖中進行視覺定位是許多自主和半自主智能體工作的基礎.無人機在同步定位與測繪、結構檢測、環境監測與軍事安防等應用領域發揮著越來越重要的作用[1-3],這也帶來了對視覺定位的魯棒性和精度的更高要求.當前主流的視覺定位方法傾向于利用場景的三維信息[4-6],首先在二維待查詢圖像和三維場景之間建立2D-3D匹配點對,然后使用這些點對的對應關系計算相機位姿[7].在上述過程中,位姿計算高度依賴足夠多數量的正確匹配點對,所以特征點匹配是關鍵因素.然而,在實際工作中,無人機拍攝往往面臨著和場景模型不同的季節、天氣與時段,使得拍攝的圖像和場景模型的已有紋理表觀差異很大[8],特別在近地面時,由于常用的特征檢測器對光照條件的變化十分敏感[9],光照和紋理的變化會導致特征點無法匹配,對視覺定位技術帶來了很大挑戰.

本文提出使用視角合成的方法來克服不同季節、光照、視角條件下場景表觀差異大的問題.在該方法框架中,對傳統視覺定位方法的流程進行擴展,使用少量的跨季節圖像進行視角合成,擴充跨季節圖像檢索數據庫,解決傳統方法場景光照和紋理差異大而引起的圖像檢索和特征匹配困難等問題.上述過程的一個主要難題是如何使用有限的離散圖像生成連續的新視角圖像.傳統的方法傾向于直接使用二維的圖像進行圖像合成,但這類方法并不能有效利用原始場景的深度信息,導致生成錯誤的視角合成結果,進而影響后續視覺定位的精度.針對這個問題,提出一個將待合成具有表觀差異的圖像與原始場景三維模型進行融合的圖像合成方法,該方法基于陰影映射的思想,結合空洞填補技術,利用原始場景的幾何信息和跨季節圖像的紋理信息,生成了與待定位圖像光照更一致、視角更相近的合成圖像,提升了傳統視覺定位方法的精度.

本文的主要貢獻可以分為以下3部分:

1)提出了一個擴展的視覺定位方法框架,解決了大表觀差異下圖像特征匹配困難的問題;

2)提出了一個基于陰影映射的圖像合成方法,綜合利用了待合成圖像的紋理和原始三維場景的幾何信息,解決圖像表觀差異和大視差問題;

3)提出深度卷積神經網絡的空洞填補算法對合成圖像進行優化,進一步提升特征匹配的準確率.

本文通過圖像合成質量對比實驗和視覺定位實驗闡明了所提出的方法對比現有二維圖像合成算法的優越性,表明了圖像合成技術可以解決圖像表觀差異帶來的定位精度下降問題.

1 相關工作

1.1 無人機圖像定位技術

近年來,隨著無人機技術在各個領域的廣泛應用,無人機圖像的視覺定位已成為一個備受研究者關注的熱門課題.常見的無人機圖像定位方法主要包含基于慣性導航系統(inertial navigation system,GNSS-INS)的無人機定位方法和基于視覺的無人機定位方法[10].

(1)基于GNSS-INS的無人機定位

基于GNSS-INS的無人機定位方法是無人機定位領域的早期方法,這類方法通常結合GNSS和INS來進行無人機的位姿估計[11],如使用GPS、加速度計、陀螺儀和磁力計組成的定位系統,既可在通常情況下提供高精度的定位服務,又可在GNSS信號不穩定或不可用時,通過慣性導航系統提供的數據來實現無縫導航和定位.該類方法常常使用卡爾曼濾波方法[12-13]和擴展卡爾曼濾波方法[14]融合兩個系統的數據,減少GNSS-INS系統的噪聲和誤差,以獲得更加準確的位姿估計結果.盡管基于GNSS-INS的定位方法在早期是十分高效,但它面臨著嚴重的可靠性和精度問題.因為GNSS的工作原理是測量無線電信號的飛行時間,無人機和發射衛星之間的通訊障礙或者延遲可能影響的定位精度[15].甚至,在某些緊急特殊情況下,衛星信號可能會被人為屏蔽.另外,在室內、山區和森林等GNSS拒止的特殊環境[16-17],該類方法可能會失效.

(2)基于視覺的無人機定位

基于視覺或視覺輔助的定位是近年主流的無人機定位方法,可進一步劃分為基于二維圖像的定位、基于三維結構的定位、分層定位、基于圖像序列的定位和基于深度學習的定位方法[18].基于二維圖像的定位方法主要在二維圖像檢索數據庫中尋找與查詢圖像最相似的圖像進行無人機的相對位姿估計[19-20].基于三維結構的方法通過描述符匹配建立查詢圖像的二維特征和三維數據庫中包含幾何信息的特征點之間對應關系,然后使用這些匹配點的對應信息估計查詢圖像的位姿[21-22].分層定位方法以分層的方式進行相機位姿估計,這類方法首先使用圖像檢索技術進行相機位姿的粗標定,然后將標定結果作為基于三維結構的相機位姿估計方法的初值來將定位問題約束到一個更小的三維模型空間內,解決了原始基于三維結構的相機標定方法在復雜場景中描述符匹配模糊的問題[23-24].基于圖像序列的定位方法利用有序的圖片序列進行圖像檢索,相較于單張圖像檢索的方法顯著地降低了誤識別率,但這類方法常用于SLAM中的回環檢測,很少被用于大環境差異場景下的位姿估計[25].基于深度學習的定位方法訓練分類器來學習場景中穩定的外觀特征以建立相機與場景之間的關系,然后使用卷積神經網絡(convolutional neural network, CNN)對相機位姿進行回歸計算[26].綜上所述,當前的視覺定位方法普遍依賴于圖像檢索和特征提取與定位.然而,傳統的特征描述子,如SIFT[27]、SURF[28]和BRIEF[29]雖然具有較好的旋轉和尺度不變性,對輕微的視角變化魯棒性良好,但大多數都無法適應光照變化劇烈的圖像,尤其是跨季節表觀差異大的圖像.

(3)其他定位方法

除上述定位方法以外,針對不同的使用環境,無人機定位方法還包含磁性定位、超聲波定位和激光雷達定位等,它們分別利用地球的磁場、超聲波測距儀和激光雷達在難以獲取GNSS信息與視覺信息的環境中提供精確的導航和定位服務.但上述方法相較于視覺定位而言更容易受到環境因素的影響,且靈活性和魯棒性往往較差.

本無人機圖像定位方法基于視覺定位方法中分層定位方法的管線,結合圖像合成技術,與之前的方法相比,生成了新視角的跨季節圖像,減少了視角差異,擴展了跨季節圖像數據集,改善了圖像特征提取與匹配的結果,進而提升表觀差異條件下無人機圖像定位的精度.

1.2 圖像合成技術

圖像合成是使用已有圖像生成新圖像的技術.可以通過合成連續的新視角圖像克服有限跨季節圖像的視角限制,來進行數據擴充與增強.常見的合成方法包含圖像拼接和視角合成.

(1)圖像拼接

圖像拼接通過圖像配準、圖像變換和融合重構等步驟,從一系列已知視角的圖像構建寬視角的圖像[30].根據圖像配準環節所用技術的不同,圖像拼接分為基于像素和基于特征的方法.基于像素的方法通過直接最小化像素間的差異來配準圖像[31-33],精度高但預處理和計算復雜.基于特征的方法采用稀疏特征描述符和按某種次序實現的特征匹配進行配準[34-35],相較于基于像素的方法計算量更小,但對視角的要求更為嚴格.雖然圖像拼接算法在標準數據集上表現良好,但它們在實際應用中對低紋理、寬基線和大視察圖像的拼接效果差,而且圖像拼接由于無法有效利用圖像隱含的深度信息,其生成的圖像用于視覺標定時精度較差.

(2)視角合成

視角合成相對于圖像拼接方法更好地結合了場景的深度信息,以利用一組已知視角的圖像生成新視角的圖像.早期視角合成的研究主要為基于模型和基于圖像的渲染方法[36-38],通過計算機輔助設計軟件建立對象的三維模型或對已知圖像進行深度估計的方式來還原場景的一部分的三維信息再進行渲染來生成新視角的圖像.近年來隨著人工智能技術的發展,基于神經輻射場的方法利用神經網絡的強大學習能力,將場景模型隱式表示為神經輻射場再結合體渲染技術,能夠生成具有高質量和真實感的新視角圖像[39].在視角合成方法中,由于圖像中的物體存在著復雜的遮擋關系,深度的獲取與利用仍是難題.因此利用原始場景模型的幾何先驗信息,使用透視紋理映射的方法將待合成圖像投影到三維模型表面再進行合成,提高視角合成結果的準確性.

2 方 法

2.1 視覺定位方法框架設計

傳統的視覺定位方法在圖像檢索數據庫中檢索與待定位圖像相似的圖像,然后再經過特征匹配和相機位姿計算的步驟計算六自由度的相機位姿.然而,當待定位圖像和檢索數據庫中的圖像存在著較大的光照、季節差異或圖像檢索數據庫中僅存在少量離散的大視差圖像,就會導致檢索結果圖像與待定位圖像存在較大的表觀差異,降低特征匹配步驟提取匹配點的數量和準確率,導致視覺定位方法精度大幅度下降.

本視覺定位方法使用圖像合成技術,通過使用跨季節圖像更新模型紋理并在稀疏圖像視角附近建立連續的虛擬視角來解決待定位圖像和檢索結果圖像存在的大場景表觀差異問題.框架如圖1所示,主要包含圖像生成與位姿計算兩個階段.圖像生成階段主要利用原始的粗粒度場景模型和少量帶有位姿信息的跨季節圖像序列,通過視角合成和空洞填補技術,在跨季節圖像序列附近生成連續的新視角合成圖像.圖像生成的目的是為接下來的位姿計算階段提供更加豐富且視差相對較小的檢索圖像,以獲得可靠性更高的匹配點對.該步驟可以有效地解決季節變化對相機標定的影響,提高視覺定位的精度和可靠性.該視覺定位方法的另一個階段是相機位姿計算階段,其目的是計算跨季節待標定圖像的六自由度相機位姿.該階段的方法包括以下步驟:使用圖像檢索技術在跨季節圖像檢索數據庫中查詢與待定位圖像視角相近的圖像;使用特征匹配技術獲取一系列2D-3D匹配點對;在這些點對的基礎上使用RANSAC-PnP[40]方法進行相機位姿計算.通過這些步驟,可以計算出待標定圖像的相機位姿,從而完成高精度和高魯棒性的跨季節圖像視覺定位.

圖1 支持場景表觀差異的無人機視覺定位方法Fig.1 Visual localization method for UAV images supporting scene appearance changes.

上述過程的圖像合成階段在整個視覺定位流程中發揮了重要的作用.視角合成技術采用基于陰影映射的方法,很好地模擬了季節變化下光照條件的變化,從而提高生成圖像的真實感和準確度.然而,陰影映射也會導致圖像中出現一些空洞,影響后續位姿計算階段的準確度.為了解決這個問題,需要搭建并訓練空洞填補網絡,該網絡根據全局圖像信息預測空洞區域的像素值,進行空洞填補,保證了生成圖像的完整性,如圖1所示.

2.2 基于陰影映射的圖像合成

(1)

其中,wi表示第i張輸入圖像Ii對新視角貢獻的權重,M∈R4×4表示目標相機位姿矩陣,相機位姿矩陣和場景中某一空間點x的關系為

(2)

式中,R∈R3×3為相機的旋轉矩陣,t∈R3為相機相對于世界坐標原點的平移向量,x與x′分別為世界坐標系和相機坐標系下的空間點坐標.

由針孔相機模型的原理,為了將著色點投影到像素坐標系中,需要進行如下變換:

(3)

式中,K為相機內參矩陣,fx、fy為相機焦距,cx、cy為相機光心相對于像素坐標系原點在x軸與y軸方向上的偏移量,[uv]T為成像平面投影點的投影坐標.

支持場景表觀差異的無人機圖像視覺定位方法結合基于模型和基于圖像渲染的思想,算法示意圖如圖2所示,分為兩個階段:第一階段使用陰影映射算法將多張待合成圖像向粗粒度原始場景模型進行投影,融合多個輸入視角的信息;第二階段根據投影后的紋理信息,利用渲染技術生成新視角的圖像.

圖2 基于陰影映射的視角合成Fig.2 Shadow mapping-based view synthesis.

在上述過程中,陰影映射技術能高效地在高復雜度場景進行紋理映射并具有較快的運算速度,為原始場景模型賦予場景高精度的跨季節紋理信息.陰影映射分為深度圖的生成和投影紋理映射兩個步驟,其中深度圖生成的目的是獲取場景中物體在當前視角下正確的遮擋關系,是否正確使用深度信息進行陰影映射的結果如圖3所示,通過兩幅圖像的對比得出,采用陰影映射算法的3(b)有效地解決了未使用陰影映射算法的3(a)中出現的偽影問題.

圖3 是否使用陰影映射的投影結果對比Fig.3 Comparison of Shadow Mapping Projection Results

為了避免深度測試時由于深度精度問題出現的Z-Fighting現象,需對深度值進行微小的偏移,因此使用如下的深度偏差公式:

b=max(α(1.0-n·l),β)

(4)

式中,n為著色點法向量、l為投影儀到著色點的方向向量,b為計算獲取的深度偏差值,α和β為用于計算深度偏差的常量,它們的取值分別為0.05與0.005.

為了從新視角對原始場景模型進行投影,需要對圖2的投影重疊區域進行視角合成,在投影重疊區域的合成方法如下:

(5)

式中,(x,y)為投影重疊區域的像素在屏幕空間的坐標,W和H分別為圖像的寬和高,Co(x,y)表示合成后的像素值,n表示待合成圖像的數量,fi(x,y)為表示第i張圖像投影后是否有像素落在當前位置的指示函數,Ci(x,y)表示第i張圖像經過投影后在(x,y)坐標位置的顏色值.

使用上述視角合成方法從新視角合成的跨季節圖像如圖4所示.

圖4 使用合成圖像提升大視差和表觀差異圖像的定位精度Fig.4 Improving localization accuracy for images with large parallax and apparent changes using synthetic images

從圖4中可以看出,使用該合成方法可以合成與目標視角更為相近的圖像,也可以賦予跨季節圖像與當前待檢索圖像更為近似的表觀特征.該步驟既解決了圖像檢索數據庫中的圖像與待檢測圖像視差大的問題,又解決了由季節變化帶來的場景表觀差異大的問題,為后續視覺定位的特征匹配等步驟提取更魯棒的匹配點對提供了保證.

2.3 空洞填補

由于圖像采集的場景往往存在著復雜的遮擋關系,使用待合成圖像向場景模型投影后再從新的視角進行渲染往往會由于缺失像素值而產生空洞.為了獲得更完整和準確的圖像合成結果,需要對新視角的空洞區域進行填補,空洞填補問題的形式化表達形式如下:

(6)

式中,I′是輸出圖像,I是輸入圖像,L(I′,I)是衡量輸出和輸入圖像之間的差異的損失函數, R(I′,M)是衡量I′和掩碼M之間的差異的正則化項.空洞填補的損失函數L(I′,I)使用最小均方誤差衡量指標,該指標的定義如下:

L(I′,I)=M⊙(C(I,M)-I)2

(7)

式中,⊙代表逐像素乘法,C(I,M)為函數形式的填補神經網絡.

空洞填補流程如圖5所示,主要分為訓練圖像生成、待填補圖像處理和網絡的訓練與預測等步驟. 在訓練圖像數據集的生成方面,采用基于渲染的方法生成訓練圖像數據集,該方法首先通過生成隨機平移向量和旋轉矩陣再進行組合的方式生成虛擬相機位姿,然后從這些虛擬相機位姿對原始場景模型進行渲染,獲得3通道的無洞圖像.最后,該圖像與使用隨機生成方法生成的遮罩分別作為空洞填補網絡的輸入和輸出來對整個空洞填補網絡進行訓練.上述過程中,提前計算了場景包圍盒來限制平移向量和旋轉矩陣的范圍,在渲染過程中及時丟棄具有0透明度像素的圖像來對隨機生成的位姿矩陣進行約束.

圖5 空洞填補網絡模型的搭建與使用Fig.5 Building and using a model for image inpainting.

在神經網絡的設計與訓練方面,該網絡使用基于Segnet[41]骨干網絡的編碼-解碼卷積神經網絡,該網絡以一張大小為4×224×224的彩色圖像作為輸入,通過具有5個卷積層的編碼器網絡進行5次下采樣操作,將輸入圖像轉化為512×7×7大小的高層級特征向量;該網絡的解碼器為5個與編碼器對應層級殘差連接的反卷積層,它將解碼器生成的高層級特征信息進行還原,得到填補后的圖像.由于輸入圖像的尺寸通常大于Segnet的輸入圖像大小,因而需要對其進行分塊和剪裁,然后把剪裁子圖作為輸入.所有神經網絡的層與層之間都采用了ReLU激活函數以提高網絡的非線性表達能力和加速梯度下降的收斂速度.在損失函數的選擇上,使用均方誤差衡量空洞部分像素預測值與真實值之間的差異;在優化器的選擇上,選擇了適合大規模數據和參數的Adam自適應優化算法作為優化器,初始學習率設置為lr=0.001,梯度一階矩估計和二階矩估計的指數衰減率分別設置為β1=0.9,β2=0.999,使用分批次訓練的方法,每個批次包含300個樣本,訓練40輪.

2.4 視覺定位

使用經過圖像合成和空洞填補擴充后的跨季節圖像數據庫對待定位圖像進行視覺定位,視覺定位流程如圖6所示. 在圖6中,首先通過圖像檢索在圖像檢索數據庫中獲取與待定位圖像相似度高的檢索圖像,然后使用Superglue[42]特征匹配算法獲取待定位圖像和檢索結果圖像之間的二維匹配點對,在此基礎上,結合模型先驗的深度信息獲得多對二維與三維匹配點對,最后使用RANSAC-PnP[40]算法進行壞點剔除與相機位姿的計算.

圖6 基于圖像特征匹配的相機標定過程示意圖Fig.6 Diagram of the feature mapping-based camera calibration

3 實驗結果與分析

3.1 實驗環境設置

硬件環境方面,使用一臺配備了具有8 GB顯存的NVIDIA GeForce GTX 2070 Super顯卡、Intel(R) Core(TM) i7-10700 CPU以及16GB內存的臺式電腦.實驗使用的數據集由型號為大疆精靈4 RTK的無人機采集,圖像尺寸為5 472×3 648. 數據拍攝于北京市昌平區,共有秋季圖像3 607張,冬季圖像1 325張. 部分圖片會被用于建模,圖片的定位真值使用手動控制點加傳統匹配點結合的標定過程.定位誤差小于0.5 m,視角誤差小于0.5°.

在原始模型準備方面,使用Context Capture軟件對部分無人機拍攝的航拍圖像進行三維模型重建.此過程的輸入不僅有航拍圖像數據,還包括圖像的位置信息、控制點信息與相機參數文件等.在三維建模的過程中,Context Capture軟件自動執行圖像配準、空中三角化、模型簡化和紋理映射等過程,得到的三維重建結果如圖7所示.

圖7 場景模型重建結果Fig.7 Results of model reconstruction

圖7分別展示了對航拍圖像進行三維重建過程中的空中三角測量結果和分片場景模型重建結果.左圖中黃色的點代表標定后相機的位置,彩色圖塊代表場景中的稠密點云的分布;右圖為部分重建完成后的分片場景三維模型.

3.2 圖像合成實驗

近年來的視角合成方法雖然可以合成具有較高圖像相似度指標的圖像,但由于它們往往基于生成對抗網絡(generative adversarial network, GAN)或Transformer的網絡結構,需要大量的計算資源和存儲空間來訓練,具有較高人工標注成本,且這類方法由于基于街景或室內公開數據集,很難遷移到大表觀差異的場景. 因此,使用泛化性較好的APAP[31]方法、GDB-ICP[32]方法和基于陰影映射的視角合成方法進行對比,對去畸變后分辨率大小為960 pixel×540 pixel像素的村莊雪景圖像數據進行圖像合成.為了量化不同方法圖像合成的結果,計算合成圖像與真值圖像的相似度指標,包含圖像的結構相似度、峰值信噪比、匹配點數量和置信度,如表1所示.其中,結構相似度綜合考慮圖像的亮度、對比度和結構3個方面的指標,能公正地衡量兩幅圖像的結構差異程度. 峰值信噪比可以用于度量圖像信號的保真性和失真程度,公式如下:

(8)

表1 圖像合成質量實驗結果Tab.1 Results of image composition quality.

(9)

在衡量匹配點的提取效果時,使用目前最主流的Superglue[42]深度神經網絡匹配算法,并計算匹配點對的置信度.置信度是通過計算匹配描述符的相似度得到的,具體計算公式如下:

(10)

如表1所示,本圖像合成方法相比于傳統的GDB-ICP[32]與APAP[31]方法在SSIM、PSNR等圖像相似度指標上獲得了更好的結果,表明本合成方法的合成質量要好于傳統的基于拼接的方法.在特征匹配實驗中,本方法的合成圖像能獲取更多置信度高于0.5的匹配點,且匹配點的平均置信度優于傳統的方法.

圖像合成過程中由于選取的虛擬視角與原始圖像的視角存在差異,且重建得到的場景存在深度差,因此會產生空洞.本網絡填補空洞效果如圖8所示.

圖8 本文空洞填補實驗結果圖Fig.8 Results of our image inpainting.

在圖8中,(a)(b)為包含空洞的圖像,空洞區域被紅色高亮,(c)(d)為填補網絡的填補結果.其中,最左側的圖像為接近地面的合成圖像,其空洞的主要成因是由于建筑物底部被嚴重遮擋,在圖像合成時不可見而缺失紋理信息.而右側的兩列圖像屋頂的部分由于建模軟件的深度估計精度不足產生的微小誤差,導致屋頂部分網格凹凸不平,在視角變化的時候產生了自遮擋空洞.對于最左側圖像的大面積空洞,提出的填補網絡能充分利用全局圖像信息,結合空洞附近場景物體的語義關系進行大面積的填補. 而對于小面積的空洞,該填補網絡則更重視空洞附近的局部紋理信息,產生更連續的空洞填補結果.

為了對比不同圖像合成算法的效果,在圖9中對不同的圖像合成方法進行了可視化對比.選取了兩張小視差的圖像,分別使用傳統基于二維圖像拼接的方法和本方法進行合成.本方法相較于傳統方法的優勢在于充分利用了原始模型的深度先驗信息,因此在處理有明顯遮擋關系和大視差的圖像合成時,本方法會比圖像拼接方法更具有優勢.在對比結果中,本方法相較于其他方法不但在非重疊區域滿足透視關系,且在圖像重疊區域也沒有出現明顯的重影、扭曲等問題.在可視化結果上更符合人眼的直覺,也更能滿足后續視覺定位步驟的需要.

圖9 不同圖像合成方法的可視化結果對比Fig.9 visualized comparison of different image synthesis methods

3.3 視覺定位實驗

為了驗證圖像合成對視覺定位的影響,我們對不同的圖像合成方法進行了實驗對比.實驗的量化統計如表2所示,可視化結果如表3所示,所使用的視覺標定過程如圖6所示.表3右側引入Superglue[42]算法用于特征匹配.待檢圖和參考圖的特征點連線越接近綠色,表示匹配置信度越高,作為位姿計算的輸入就越可靠.特征點的連線越接近紅色,說明匹配置信度更低,使用這種點對進行相機位姿計算的錯誤率更高. 作為對照,引入基線算法,使用無修改的原始圖像進行特征匹配定位. 而基于GDB-ICP[32]和APAP[31]的算法則使用合成圖像進行特征匹配定位.

表2 視覺定位量化實驗結果Tab.2 Quantitative visual localization results

表3 視覺定位可視化實驗結果Tab.3 Visualized localization visualization results

實驗發現,冬季和秋季的圖像表觀差異巨大.可用于匹配的原始參考圖像數量較少且包含不同的視差,不足以覆蓋整個場景. 從表3中可以看出,本方法相比其他算法獲取的匹配點更為密集,平均置信度更高.傳統算法在窄基線、小視差圖像上可以獲得200對以上的特征匹配,而在寬基線、大視差圖像上無法獲取足夠的匹配.本算法的特征匹配結果在不同情況下始終能獲得超過400對以上高置信度匹配.從表2的量化結果可以看出,本方法的視覺定位在位移和視角旋轉指標上均為最優.

實驗分析得出,傳統算法合成的圖像存在瑕疵,缺少三維先驗,破壞了透視規則,使得幾何線索與真實場景不符.在特征匹配的過濾過程中,不服從透視的低置信度匹配會被大量剔除.而合成的圖像隱含了原始場景的模型三維信息,投影過程中不破壞透視,匹配點對的精確位置、數量和置信度都不受影響. 實驗表明,本算法能夠解決具有場景表觀差異和大視差的無人機圖像定位問題.

在執行效率方面,由于使用了參數量較小的Segnet骨干網絡,該方法僅需使用0.064 s就可以完成圖像合成,與傳統的GDB-ICP和APAP方法相比運行開銷沒有顯著增加,且執行時間不會隨著視差基線的變化而增大,具有良好的穩定性.

4 結 論

本文提出了一種支持大場景表觀差異的無人機圖像視覺定位方法,該方法在具有較大天氣和光照變化的圖像數據上相比傳統流程的定位方法取得了更高的定位精度.該方法框架使用基于陰影映射的圖像合成方法對不同視角的圖像進行合成,然后使用基于Segnet的空洞填補網絡對該過程產生的空洞進行了填補,相比于傳統基于二維圖像的GDB-ICP和APAP方法,本文方法在圖像合成質量和特征點的提取效果上均取得了較好的結果,且在大視差圖像的合成上具有更高的泛化性.實驗結果表明,本文方法相比傳統視覺合成與定位方法視覺效果更好,定位精度更高.