基于覆蓋區域自適應優化的無人機航拍拼接方法

馮向東，魏春英

(1.成都理工大學工程技術學院 基礎教學部，四川 樂山 614000；2.寧夏大學 物理與電子電氣工程學院，寧夏 銀川 750021)

0 引言

近些年，得益于無人機(Unmanned Aerial Vehicle，UAV)和傳感技術的快速發展，UAV捕捉到的航拍圖像和視頻被用于很多領域中，例如天氣預報、海事監控、農業監測以及無人機精確制圖等[1-2]。過去，圖像拼接研究主要是針對拼接2張圖像的簡單情況，或通過拼接多張同排圖像生成全景圖像[3]。但從UAV圖像中生成拼接圖像，需要取大范圍區域的多張圖像作為輸入。如何快速有效地進行UAV航拍拼接是一項具有挑戰性的任務。

關于UAV航拍的圖像拼接，目前已有一些研究成果，如文獻[4]提出了基于移動直接線性變換技術的APAP仿射扭曲方法，該方法可糾正由輸入圖像的平移和旋轉產生的誤差，減少幻影效應。文獻[5]提出了結合形狀保留扭曲和全局對齊的圖像拼接方法——SPWGA，利用相似性扭曲和投影扭曲的優點，實現高準確度對齊，減少投影畸變。文獻[6]提出了改進的投影-相似變換方法以拼接無人機遙感圖像。通過改進初始單應矩陣，對重疊區域到非重疊區域的投影變換進行平滑推導，形成相似變換，同時考慮拼接過程中圖像重疊區域的配準精度和非重疊區域的視場一致，但該方法的處理速度較慢。文獻[7]提出了無參數仿射扭曲的準單應性法，以平衡非重合區域中的投影畸變和透視畸變。文獻[8]提出了基于仿射扭曲殘差的大視差圖像拼接方法——WRIS，先得到內點特征匹配，再評估每個特征的扭曲殘差，以最小化特征匹配誤差。該方法有效地提高了較大視差圖像的拼接準確度，但不適用于多張圖像拼接的情況。為加快圖像拼接處理速度，文獻[9]提出了并行架構，將圖像的二進制描述子保存在多個散列表中，但該方法將新幀更新為參考幀，由此估計出全局單應性變換，造成拼接結果中存在嚴重累積誤差。文獻[10]提出了一種基于歐拉彈性模型與加速穩健特征算法的UAV圖像拼接方法，主要針對畸變問題進行改進。文獻[11]提出了一種基于改進KAZE的UAV航拍圖像拼接算法，利用加速的KAZE算法提取圖像的特征點，使用Grid-KNN和隨機一致性算法進行特征點匹配，但對大范圍的UAV拼接效果不佳。

以上方法均不能很好地處理拼接圖像中的視覺畸變和模糊偽跡，對大范圍拍攝的多張圖像拼接結果存在嚴重形變和細節丟失，不能滿足大范圍UAV圖像快速拼接的要求。為此，本文提出了多張UAV圖像拼接的快速穩健方法。首先，估計輸入圖像的地面覆蓋區域和重合率，并基于重合率和覆蓋區域的相對位置，通過所提自適應選擇算法優化要拼接的圖像集合，利用重合區域進行特征提取和匹配。由于所獲圖像對的精確重合約束了特征匹配區域，避免不必要的計算，由此降低累積二次投影誤差。其次，在轉換區域應用局部仿射扭曲平滑推理，以緩解拼接結果中的模糊偽跡。實驗結果證明，所提方法的輸出圖像實現了較好的視覺質量，畸變較少，且與以往方法相比，處理時間縮短了2倍以上。

1 提出的覆蓋區域自適應選擇算法

利用快速預處理，估計圖像覆蓋區域的相對位置和重合率，以改善特征檢測和匹配步驟，提升精度并降低計算復雜度。特征檢測階段，通常利用SURF，SIFT和ORB等具有尺度不變性和仿射變換不變性的特征[12]，確定圖像間的對應關系。

1.1 圖像覆蓋區域估計

考慮UAV捕捉垂直向下方向圖像的情況。設圖像地面覆蓋區域的高度和寬度分別為H和W，相機視角α，UAV高度a，圖像分辨率hpixel×wpixel，其中，h和w分別為圖像的寬度和高度的像素數量，則圖像覆蓋區域估計為W=2atan(α/2)，H=Wh/w。

將圖像覆蓋區域中心的GPS坐標設為UAV坐標，并作為圖像中心，保存在元數據中。ηi和λi分別表示弧度上的點Pi的緯度和經度。根據Pi和Pj的GPS坐標，利用半正矢公式計算出2點間距離：

(1)

式中，R為地球半徑。線PiPj與指北方向線之間的夾角為方位角，計算如下：

θ(Pi,Pj)=arctan2(θy,θx)。

(2)

根據所有圖像中心的GPS坐標，估計距離和方位角，并由此繪制UAV相機路徑。此外，可利用相機參數(例如焦距和相對高度)計算覆蓋區域的寬度和高度。利用相機萬向偏航角，得到所有圖像的覆蓋圖。然后，將圖像覆蓋區域和重合率估計作為自適應選擇算法的輸入。

1.2 自適應選擇算法

本文基于覆蓋區域重合知識，提出選擇用于拼接的部分圖像的高效算法。圖像拼接中，輸入圖像的重合率會影響用于拼接的匹配特征性能。若輸入圖像的重合率較低，很難得到用于拼接的良好匹配特征；若輸入圖像過于密集，或多張圖像共享相同的重合區域，則密集對應關系可能會導致誤配準。針對該問題，提出了快速自適應選擇算法，移除與其他圖像密集重合的非必要輸入圖像，僅在相關圖像的重合區域中執行特征匹配和配準處理。在配準過程中，所提方法可顯著降低離群點數量。

相關研究表明[13]：若圖像幀中包含的內點數量較少，就丟棄該幀。但與其他鄰近圖像密集重合的圖像會增加二次投影誤差，造成圖像特征的誤配準。因此，本文方法將丟棄被其他圖像密集覆蓋的圖像。所提自適應選擇算法如下所示，從集合D中n個高度重合的密集覆蓋區域F1,F2,…,Fn，生成稀疏覆蓋集S，并利用相應圖像完成拼接。

算法:自適應選擇算法輸入:D為n個密集圖像覆蓋區域F1,F2,…,Fn的集合,ri為Fi和Fj之間的重合率,α,β和γ為閾值。輸出:稀疏圖像覆蓋區域集S。1.S←D2.V為訪問節點集合,β≥13.repeat4. 計算S中所有圖像的重合率:S:ri=∑Fj∈Srij5. m=argmaxFj∈S&Fi?Vri6. j=argmaxFj∈Srmi& k=argmaxFj∈S&i≠jrmi7. ifrmj+rmk≥β & rjk≥γthen8. S←S/{Fm}9. else10. V←V∪{Fm}11.end if12.Until rm<α13.ReturnS

2 UAV航拍圖像拼接

首先，介紹利用確定的圖像重合區域進行快速特征檢測和匹配的方法。其次，簡單回顧非重合區域的投影扭曲技術，并解釋提出的基于距離和誤差的重合區域局部扭曲技術。最后，解釋多張圖像拼接的最終步驟。

2.1 框架概述

所提方法的基本流程如圖1所示。

圖1 所提方法的基本流程

首先，確定圖像覆蓋區域，得到密集圖像集。通過重合區域估計和所提自適應選擇算法，生成稀疏圖像集。其次，提取稀疏圖像集中所有圖像的特征，及其在相應圖像中的各自位置。然后，利用所提重合區域的局部仿射扭曲技術，得到重合區域的局部單應矩陣。最后，將所有圖像投影到參考圖像平面上，通過多波段融合，得到多張UAV圖像的拼接圖像。

2.2 特征快速檢測匹配

通過比較描述符的距離，確定特征在不同圖像中的對應位置。通常使用快速近似最近鄰庫(Fast Library for Approximate Nearest Neighbors,FLANN)[14-15]以加快處理速度。拼接多張圖像時，傳統方法會對所有圖像對的匹配特征進行窮舉搜索，產生極大計算負擔。為此，利用所提算法，從輸入圖像集生成一個稀疏圖像集，提取稀疏圖像集中所有圖像的特征，以及相應圖像中的各自位置，在歐式距離內，2個特征點p和q的歐式距離可以定義為：

d(p,q)=〈Dp-Dq·Dq-Dp〉，

(3)

式中，Dp，Dq為2個特征向量。本文對重合率高于預定義閾值的成對圖像進行匹配。在匹配2個重合圖像的提取特征時，僅分析重合區域內的特征，顯著降低了特征匹配和配準的計算量。

2.3 投影扭曲技術

該階段利用匹配特征集合估計仿射扭曲變換，實現每對圖像的最優配準。隨機抽樣一致(Random Sample Consensus,RANSAC)算法[16]被廣泛用于在給定集合中尋找匹配特征對，以得到用于變換矩陣估計的最小二乘解。假定從圖像I和圖像I′的2個重合區域中分別得到了2個匹配特征集合PI和PI′。利用投影單應矩陣H，將PI中的每個特征轉換為PI′中相應的特征點。將PI中的特征點表示為pi=[xi,yi,1]Τ，將PI′中的特征點表示為p′i=[x′i,y′i,1]Τ，其中pi和p′i形式為齊次坐標。由此，可得p′i=Hpi，該轉換可表示為：

(4)

此外，

(5)

(6)

設h=[h11,h12,…,h31,h32]T表示H的8個未知參數的向量形式。由式(5)和式(6)可得：

(7)

利用RANSAC，通過重合區域的匹配特征估計出圖像之間的單應轉換矩陣。嚴格限制提取特征的匹配區域，能夠減少離群點數量，使RANSAC更易于收斂。本文以預設的迭代次數執行RANSAC，隨機選出PI和PI′中的M(M≥ 4)對匹配點(pi,p′i),…,(pj,p′j)。

定義2M× 8的矩陣A如下：

(8)

(9)

2.4 基于距離和誤差的局部扭曲技術

(10)

，

(11)

式中,j=1,3，且：

(12)

式中,

j=2,4。

圖2 局部單應轉換樣例

圖像合成階段，首先，將輸入圖像對齊并扭曲到同一個參考坐標系后；然后，將修正后的圖像合成為單張圖像。將2.2節算法得到的集合S中，與其他圖像的公共匹配關鍵點數量最大的圖像選擇為最終合成表面。由此，能有效降低累積二次投影誤差。計算從其他圖像到參考圖像的單應矩陣。到參考圖像的轉換可采用直接轉換，或通過中間圖像進行間接轉換。最后，利用多波段融合[17]，得到拼接圖像。

3 實驗與分析

本文硬件平臺為Intel Core i7-10700F CPU，16 GB RAM，NVIDIA RTX 2070 GPU，運行Windows 10操作系統。采集圖像的UAV為大疆 Mavic Pro Platinum，相機模型為DJI FC220。

采用均方根誤差(Root Mean Squared Error，RMSE)和平均絕對誤差(Mean Absolute Error，MAE)作為拼接準確度的評估度量[18]。RMSE和MAE數值越小，表明方法性能越好。

綜上所述，在核心素養下展開小學語文讀寫結合教學，以閱讀豐富寫作素材，以寫作深化閱讀理解，提高學生語言理解和運用的能力。利用仿寫的教學方式，加深學生對課文的理解，完善自己的寫作水平，為培養學生核心素養打下良好的基礎。

3.1 實驗數據

實驗通過UAV捕捉湖邊、噴泉和小區等5個地面圖像場景。以垂直向下的方向拍攝圖像，相機全向俯仰角設為90°。所有圖像的分辨率均為3 000 pixel×4 000 pixel。UAV圖像場景測試數據詳情如表1所示。

表1 UAV圖像場景

UAV相機路徑和覆蓋區域示意如圖3所示。圖3(a)表示UAV在等高平行線中飛行，并在多個位置拍攝圖像時的相機路徑，該區域為隨機形狀；圖3(b)表示縱向拍攝的圖像；圖3(c)表示橫向拍攝的圖像。設圖3(a)中相鄰2條平行線距離為l，每條平行線中，以2點間距s設定等距位置，以拍攝圖像。2張圖像之間的重合率計算為交并比，即重合面積與合并面積之間的比率。假定r為相同平行線中2張相鄰圖像之間的預期重合率。若圖像是縱向的，如圖3(b)所示；若圖像是橫向的，則調換s和l的數值。利用估計距離，控制UAV在預設軌跡上飛行，并在預期位置進行圖像拍攝。

圖3 UAV相機路徑和覆蓋區域示意

應用所提算法，從密集圖像集生成稀疏圖像集時的圖像覆蓋情況如圖4所示。圖4(a)和圖4(b)分別表示應用所提自適應算法之前和之后的圖像覆蓋情況。可以看出，前后的發生密集覆蓋區域所對應的圖像被移除了，從而減少了需要處理的圖像數量。

(a)本文自適應算法應用前的效果

3.2 結果分析

為驗證所提方法在實際場景中的性能，通過實驗評估RMSE和MAE性能，并與先進方法進行比較。實驗包括不同場景，預設重合率范圍為85%～70%。rm為所有ri(i=1,2,…,n)的最大值，即每張圖像的重合率加和。α為算法1的循環終止條件數值，即rm<α。β用于保證Fm被Fj和Fk充分覆蓋，為此設β≥1。γ為Fj和Fk之間的重合率最小值，以使算法能夠從圖像集中丟棄Fm。根據經驗，將α，β和γ的最優值設為：α=2.7，β=1.6，γ=0.4。

圖5給出了UAV航拍的圖像，是某小區UAV俯瞰圖(遴選的航拍圖像)。圖6是最終的拼接結果，可以看出，本文方法生成的拼接圖像沒有包含明顯的視覺畸變，也沒有明顯的模糊偽跡，其中，紅色框中的道路線條沒有斷層或者扭曲。整體拼接效果良好。

(a)航拍圖1

圖6 采用本文方法的UAV航拍拼接結果

表2和表3分別給出了本文方法與其他先進方法平均RMSE和MAE結果，粗體表示最優性能。平均RMSE和平均MAE的像素值越低，表示結果越好。表2中，對于所有場景，本文方法的RMSE的像素值在3.2～7.2 pixel。所有方法在“小區”場景中，均表現出最高的像素誤差值，這是因為該場景的圖像元素更加復雜。其中，APAP方法的RMSE達到12.377 pixel。WRIS在公園場景中取得最低誤差，本文方法在其余場景中均得到了最優性能。表3給出了相似性能結果。MAE表示絕對誤差的平均值，是更加一般的誤差表現形式，其受異常值的影響小于RMSE，因此，表3的整體數據在2～7 pixel。從表2和表3可以看出，在大部分情況下，所提方法得到的RMSE和MAE性能指標更低。這主要得益于所提方法基于重合率和覆蓋區域的相對位置，通過所提自適應選擇算法優化要拼接的圖像集合，降低累積二次投影誤差。此外，在轉換區域應用局部仿射扭曲平滑推理，緩解了拼接結果中的模糊偽跡。

表2 本文方法與先進方法的平均RMSE比較

表3 本文方法與先進方法的平均MAE比較

表4給出了對于小區場景，提出的方法與先進拼接軟件[19]在總處理時間方面的性能，該時間為整個拼接過程耗時，圖像數量為50～200。本文方法的處理時間呈線性增加，這是因為本文方法獲得了圖像對中每張圖像的精確重合情況，避免不必要的計算，其他軟件的耗時上升幅度很大。為公平比較，本文方法的耗時中包括預處理時間。在拼接100，150和200張分辨率為5 400 pixel × 3 600 pixel的圖像時，本文方法的整體處理時間分別為56.2，102.5，125.2 s。針對不同數量的圖像，相比于其他軟件，本文方法的處理速度至少加快了2.1倍。

表4 拼接時間比較

4 結束語

本文提出了快速拼接多張UAV圖像的穩健方法，在大范圍區域通過UAV捕捉大量圖像，并快速拼接出能夠展示視覺細節的單張高分辨率圖像。創新之處是通過自適應算法優化用于拼接操作的圖像集合，移除冗余重合區域，由此降低計算量，減少累積二次投影誤差，并在轉換區域應用局部扭曲平滑推理技術，緩解拼接結果中的模糊偽跡。實驗結果表明，所提方法的輸出圖像實現了較好的視覺質量，畸變較少，在大部分實驗場景中的RMSE和MAE性能均優于其他優秀方法，且處理速度比先進軟件快得多。

所提拼接方法可用于各種不同領域，例如遙感和農業監測。未來，可嘗試進一步加快處理速度，實時生成UAV圖像或視頻的拼接圖像。