基于圖優化的無人機視頻影像快速拼接技術與應用

李虹 曹琳 紀任鑫 陳軍鵬 宋亞婷 王永威

摘? 要：為實現災害復雜環境中無人機視頻影像的快速、優質拼接，綜合利用無人機POS數據、圖像特征點提取和匹配技術，建立一種基于圖優化技術的無人機視頻影像快速拼接方法，并選取典型高山峽谷區域開展應用試驗。試驗表明該方法可以實現航拍視頻的快速實時拼接，拼接后影像精度與線下后期拼接數據相差不大，很大程度上提高圖像拼接的效率。該文方法可以實現無人機航拍視頻快速拼接，滿足現場數據檢驗以及其他快速應急響應的需求，在災害應急保障與救援中有重要應用意義。

關鍵詞：無人機；影像快速拼接；圖優化；確定關鍵幀；特征點提取

中圖分類號：V279+.2? ? ? 文獻標志碼：A? ? ? ? ? 文章編號：2095-2945（2024）06-0007-05

Abstract： In order to realize the fast and high quality mosaic of UAV video images in complex disaster environment， a fast mosaic method of UAV video images based on graph optimization technology is established by comprehensively using UAV POS data and image feature point extraction and matching technology， and typical mountain and canyon areas are selected to carry out application experiments. The experimental results show that this method can realize the fast real-time stitching of aerial video， and the image accuracy after stitching is similar to that of offline later stitching data， which improves the efficiency of image stitching to a great extent. This method can realize the rapid stitching of UAV aerial video， meet the needs of on-site data inspection and other rapid emergency response， and therefore has important application significance in disaster emergency support and rescue.

Keywords： UAV; fast image stitching; graph optimization; determining key frames; feature point extraction

隨著無人機遙感平臺系統和載荷技術的不斷發展，利用無人機獲取地面影像的數據，開展正射影像拼接和地表三維模型建立已成為應急測繪作業的主流方式。無人機作為一種新型航空遙感平臺，具備在人力無法進入的危險區域開展低空作業的優勢，可以快速獲取地表的高分辨率圖像數據，能夠為抗震救災、應急救援及時提供數據支撐[1]。

利用無人機采集到的影像精度較高，但像幅較小，需進行影像拼接處理后才能獲得完整的測區影像。傳統的無人機正射影像拼接方法一般采取離線處理方式，利用攝影測量技術恢復地表的三維點云和單張照片對應的位置和姿態信息，進一步進行密集匹配獲取數字表面模型（DSM）和拼接后的正射影像（DOM）。但使用該方法進行影像拼接處理比較耗時，一般只針對相機拍攝的靜態圖像，所獲得影像成果主要用于災害后期的損失評估或地圖制作等測繪任務。為了能夠快速獲取拍攝區域大范圍監測影像，滿足突發事件和災害發生時需要實時掌握災場環境數據的應急需求，往往通過無人機拍攝視頻數據進行實時傳輸，同時要求在無人機飛行時對數據進行實時拼接，以達到能夠快速查看災情區域的效果。

近年來，無人機航拍視頻快速拼接已成為無人機測繪領域的熱點研究問題[2]。現有的無人機視頻拼接的主流算法有3類，雖然在應用場景上各具特色，但都有不足之處。其中應用領域最廣、使用頻率最高的圖像拼接方法是基于圖像特征點匹配，即通過提取匹配視頻圖像的特征點，快速計算視頻圖像間的變換參數，進而完成視頻的拼接。特征點提取算法最常用的有3種，分別為SIFT算法、SURF算法和ORB算法。SIFT算法（尺度不變特征變換）由Lowe[3]于1999年首次提出，因其對尺度變化、光照變化、旋轉等均有較好的魯棒性，至今為止仍是精度最高的特征之一。Bay等人在2006年提出了SURF算法，它是利用積分圖像加速卷積運算，使得運算速度有了很大提升。Ethan Rublee等人在2011年提出了ORB算法，它是在綜合FAST特征檢測與BRIEF特征描述的基礎上進行了優化和改進[4]。但基于圖像特征點匹配的方法適用于圖像序列較短的情況，對于長時序的圖像序列會出現明顯的誤差累積效應，從而導致拼接效率降低。且該方法對圖像場景和特征點數量有較高要求，對于稀疏特征點或無特征點區域，拼接過程易中斷從而導致拼接失敗，特征點數量過多則會影響拼接效率。

直接利用無人機飛行時獲取的POS（Position and Orientation System）數據進行影像拼接也是常用的處理方式，該方法利用無人機自帶的POS系統獲取經緯高和姿態數據，然后基于共線條件方程求解每個像素對應的地理坐標，最后基于地理位置進行圖像拼接。該方法對無人機飛行獲取的POS數據精度要求較高，而在實際飛行過程中，由于災害現場環境較為復雜，獲取的POS數據精度存在不穩定的問題，導致獲取的相鄰圖像存在明顯的錯位現象，使得拼接后的數據會出現明顯的接縫。還有一類影像拼接方法是先基于POS數據校正原始圖像獲取正射影像，然后通過特征提取和匹配來求解基準圖像和待配準圖像的幾何投影變換關系，最后通過坐標微調的方式對正射影像重新校正后再基于地理位置拼接圖像。但該方法依然存在系統偏差、速度較慢等問題。

本文從應急救援需求出發，為應對災害現場復雜惡劣環境導致飛行不穩定造成的影像拼接問題，采用綜合利用多種信息的無人機視頻快速拼接方法進行影像拼接處理試驗。該方法以POS數據作為相機位置和姿態的初始值，利用關鍵幀圖像特征點提取和匹配結果來構建圖優化的約束，然后基于圖優化對位置和姿態進行更新，最后利用優化后的位置和姿態完成圖像的快速拼接。

1? 影像快速拼接方法

基于圖優化技術的無人機視頻數據快速拼接方法是綜合利用圖像特征點提取和匹配、無人機POS數據及圖優化技術，對視頻數據進行快速處理，能夠對無人機拍攝的視頻數據進行實時拼接。該方法實現主要包括3個關鍵步驟，即確定關鍵幀、特征點提取和匹配、圖優化。確定關鍵幀的作用是從視頻數據中確定用于拼接的若干幀圖像數據，由于視頻的幀率較高，關鍵幀的確定可以降低計算的數據量；特征點提取與匹配的作用是利用匹配后的二維點對應信息來計算出相鄰圖像拍攝時的相對位置和姿態數據，用來作為圖優化的邊；圖優化對相機的位置和姿態信息進行優化，每個相機的位置和姿態數據對應了圖優化中的節點，圖像匹配的結果用來對節點進行調整。

基于圖優化技術的無人機視頻數據快速拼接方法主要分為以下幾個步驟，技術流程如圖1所示。

1.1? 確定關鍵幀

在選定基準幀影像后，為了提高圖像拼接的效率，獲取滿足重疊度要求的影像對需要提取關鍵幀影像。判定當前幀圖像是否為關鍵幀的依據是當前幀與參考幀之間的重疊度[5]。在選定了重疊度和參考幀之后，計算當前幀與基準幀的重疊度，若重疊度滿足要求，則將當前幀選為關鍵幀，否則移動到下一幀，循環上述過程。在選定關鍵幀之后，再進行下一關鍵幀的提取[6]。

為提高關鍵幀的提取效率，本文采用的方法是利用POS數據、飛行高度數據以及相機標定參數來確定每張視頻圖像在地面上的覆蓋范圍，然后根據覆蓋范圍計算出圖像重疊度，最后根據航帶內以及航帶之間的圖像重疊度來判斷當前幀是否為一個關鍵幀。為了能夠達到較好的特征點匹配效果，關鍵幀的選取要保證相鄰的關鍵幀之間的重疊度達到一定的數值，比如航帶內的重疊度要求達到80%以上，不同航帶之間的重疊度要求達到30%以上。計算重疊度時，假設飛行高度不變，并且假設地平面沒有起伏，那么相鄰圖像對應的地表區域在XY平面上可以用矩形和來表示，重疊率的計算公式如下

式中：iou為重疊度；R1為采集圖像地表區域在X方向上的距離；R2為采集圖像地表區域在Y方向上的距離。

1.2? 特征點提取與匹配

特征點提取與匹配是圖像拼接的核心步驟，圖像配準的精度和速度直接影響了拼接的質量和實時性。本文主要是利用特征點提取算法從圖像中得到稀疏的特征點，然后利用特征點匹配建立相鄰圖片之間的特征點對應關系。本文采用ORB 算法進行特征點的提取，ORB算法是2011年由Ethan Rublee等人提出的[7]。它是在FAST特征檢測與BRIEF特征描述的基礎上提出的，并對其進行了優化和改進。為了使FAST算法有一定的尺度不變性，ORB算法首先對圖像進行降采樣與尺度空間變化，然后構建金字塔影像，再在金子塔影像上進行特征點檢測，并構建特征描述子[4]。特征點提取之后需要用特征描述子對兩幅圖像進行粗匹配，粗匹配結果可能會出現大量的誤匹配點，嚴重影響之后的單應矩陣計算的準確度，為圖像拼接帶來難度。因此，需要將這些錯誤的匹配點剔除[8]。本文采用RANSAC算法對錯誤匹配對進行剔除，該算法能夠在包含異常數據的數據集中得到有效樣本數據。這些異常數據有可能來自錯誤的計算、測量的誤差等情況，例如圖像特征點匹配中出現的錯誤匹配對就是來自系統誤差和算法誤差。

利用特征點提取算法來從圖像中得到稀疏的特征點，然后利用特征點匹配來建立相鄰圖片之間的特征點對應關系。為了能夠和POS數據的尺度一致，需將特征點轉換為地面坐標。具體方法是根據相機的標定參數（焦距、主點、畸變系數），以及飛行的高度將特征點投影到地面。為了簡化運算以及后續的拼接，假設地表是平坦的，即所有的地面點的高程值是相同的。因此在計算相對位置和姿態時，只需要考慮平面上的平移和旋轉，這樣就將復雜的三維位置與姿態計算問題簡化為二維平移與旋轉。特征點提取和匹配技術流程如圖2所示。

1.3? 圖優化

在基于圖像的三維重建中，往往需要將地面點的三維坐標，以及相機的位置和姿態一同進行優化。當圖像的數量較多時，點云的數量也較大，導致優化的速度較慢。圖優化只對位置和姿態進行優化，需要進行優化的參數較少，運算量大幅降低，通常在幾次迭代后就可以收斂，因此圖優化廣泛地應用于實時定位和建圖（SLAM）領域。基于圖優化的SLAM算法的優勢在于它可以消除長時間的誤差，使所建地圖更加精確等[9]。本文將圖優化技術應用于無人機視頻影像的拼接，也能夠發揮獨特的優勢。具體流程是：在得到關鍵幀數據后，以關鍵幀數據對應的拍攝位置和姿態作為未知數。每個圖像對應圖優化中的一個節點（Node），相鄰圖像之間的相對位置和姿態作為圖優化中的邊（Edge）。節點的位置和姿態的初始值來源于無人機飛行時的POS數據。當相鄰圖像的紋理較為豐富時，特征點數量較多而且匹配成功率較高，可以用來計算相對位置和姿態，用于構造圖優化中的邊。當匹配不成功時，直接利用POS數據來計算相對位置和姿態。因此該方法能夠最大程度地利用圖像紋理信息對POS數據進行校正，當紋理不夠豐富或匹配不成功時，還可以利用POS信息來進行定位，并且不會出現拼接中斷的情況。圖優化技術流程如圖3所示。

2? 試驗與分析

2.1? 試驗區概況

本文試驗區位于福建省福州市永泰縣，地處福建省東部、福州市西南部，因受火山作用強烈，又受后期喜山運動新構造升降和震蕩影響，境內群山林立、溝谷深切，大部分地區海拔在500 m以上，是典型的高山峽谷地形。該地區地形陡峭、高差大，巖石和土體容易失穩下滑，從而誘發崩塌、滑坡等災害發生。同時，由于地形抬升作用，使得局地性暴雨頻發，也為泥石流和洪水孕育提供有利條件。試驗區現場如圖4所示。

2.2? 試驗數據獲取

試驗數據采集設備為KWT-X6M多旋翼無人機，續航時間為70 min，抗風能力7級，遙控器最大控制距離7 km，地面站最大控制距離10 km。該機型具有很強的環境適應性，可以在海拔5 000 m以上的高原地區開展測繪作業，并可在高濕、高熱、高腐蝕和高鹽等惡劣環境下正常使用。無人機所掛載的相機型號為KWT-4K-30X，該設備具有30倍光學變焦、829萬像素高清鏡頭，視頻輸出分辨率最高為1 920×1 080 P/60。數據采集設備如圖5所示。

根據試驗區周邊環境，選定平坦開闊區域作為起降點，保證無人機起飛和降落時四周視野開闊，周邊障礙物的高度角不能大于15°，并且對GNSS信號接收不產生影響[10]。本次試驗起降點選定在福州市永泰縣城以南，嶺路鄉與莆田市涵江區交界處，坐標為25.806°N～118.950°E，距離永泰縣城13 km2，最高海拔1 130 m。測試當天永泰縣最高氣溫34 ℃，最低氣溫26 ℃，風力1～2級，東北風。無人機進行飛行作業前首先對周邊1 000 m范圍區域進行航線規劃，航線規劃區域內包含建筑物、道路、植被等典型地物。通過對無人機獲取的數據進行拼接處理后，可以對比拼接成果中不同類型典型地物檢查拼接效果，航線規劃如圖6所示。本次試驗通過2個架次飛行獲取測試數據，分別獲取實時成圖影像和后期拼接對比數據。

2.3? 試驗結果與分析

本次試驗通過無人機飛行獲取的視頻數據、POS數據、飛行高度數據以及相機標定參數等數據，綜合運用圖像特征點提取和匹配、圖優化技術實現無人機視頻影像的快速拼接。按照規劃航線實施航測任務，飛行過程中最大爬升高度為107.463 m，飛行速度6 m/s，航向重疊率75%，旁向重疊率85%，測區面積約0.13 km2，飛行時間5 m/43 s，共獲取影像32張。實時拼接成果與后期拼接成果如圖7所示。

經測試，利用圖優化技術實現無人機視頻快速拼接成圖方法能夠完整呈現測區實時成圖影像，且成圖速度較快，實時成圖時延小于等于8 s，符合測試指標。通過與后期拼接成果對比可以得出，無人機視頻影像實時拼接會導致精度有一定損失，但紋理特征明顯。同時，通過選取建筑物、道路等典型地物，對單幅影像拼接效果進行細節對比，可檢查實時拼接成果定位精度及角度偏移程度。拼接效果局部對比如圖8所示。從局部對比圖中可以看出，實時成圖影像拼接位置基本無偏移，圖幅定位較為準確；拼接影像角度受飛行姿態影響有輕微偏移，但對數據質量影響不大。綜上所述，該方法能夠在保證一定數據質量的前提下大幅度提高數據獲取的時效性，可滿足應急救援實際需求，為指揮人員提供數據支撐。

3? 結束語

本文為滿足突發事件和災害發生時能夠實時掌握災場環境數據的應急需求，針對無人機獲取的航拍視頻提出了一種基于圖優化技術的視頻影像快速拼接方法。該方法通過確定關鍵幀、特征點提取和匹配、圖優化等關鍵技術可實現對無人機視頻影像的快速拼接。本文選取位于福建省永泰縣的典型高山峽谷區域開展應用試驗，通過無人機飛行2個架次分別獲取實時成圖影像和后期拼接對比數據，經過數據處理后，對無人機視頻影像實時拼接成果與后期拼接成果進行對比分析，試驗結果表明如下。

1）該方法充分利用POS信息和圖像特征信息來進行視頻影像快速拼接，綜合多種數據的優勢，能夠提高拼接的效率和精度。

2）該方法可以實現無人機航拍視頻的快速拼接，滿足快速應急響應的需求，能夠在災害應急保障與救援中發揮重大作用。

3）該方法應用在復雜的災場環境中仍存在不足之處，實時拼接影像角度受飛行姿態影響有輕微偏移；面對地形陡峭、高差較大的高山峽谷地區，無人機獲取的視頻影像對于三維位置和姿態的解算較平坦區域稍顯復雜，還值得進一步深入研究與驗證。

參考文獻：

[1] 鄭暉，姜城，孫敏，等.一種近實時的無人機視頻流拼接方法[J].地理與地理信息科學，2015，31（5）：1-5.

[2] 孟淑英.自動檢測拼接線的無人機視頻影像快速拼接方法[J].測繪通報，2013（5）：47-49.

[3] LOWE D G. Object Recognition from Local Scale-Invariant Features[C]//IEEE Computer Society， 1999.

[4] 陳武.無人機視頻影像拼接關鍵技術研究[D].南昌：南昌航空大學，2019.

[5] 任超鋒.航空視頻影像的正射影像制作關鍵技術研究[D].武漢：武漢大學，2014.

[6] 李含倫，李豐凱.低空視頻影像自適應關鍵幀提取與快速拼接[J].圖像與信號處理，2018，7（4）：179-190.

[7] 李慧，藺啟忠，劉慶杰.基于FAST和SURF的遙感圖像自動配準方法[J].國土資源遙感，2012（2）：28-33.

[8] 王陳東.低空無人機視頻實時處理關鍵技術研究[D].武漢：武漢大學，2018.

[9] 顏普，曹昊宇，雷為好.基于改進圖優化的激光SLAM算法[J].安徽大學學報（自然科學版），2023，47（4）：35-41.

[10] 曾娟娟，劉娣，陳偉.無人機三維建模在土方計量中的應用——以湘潭荷塘交通樞紐項目為例[J].科技創新與應用，2023，13（18）：188-192.