低空無人機影像的快速拼接技術研究

徐志遠，劉嘉文，王山東，李天昊

（1.河海大學 地球科學與工程學院，江蘇 南京 210098；2.江蘇省測繪地理信息局，江蘇 南京 210098）

低空無人機影像的快速拼接技術研究

徐志遠1，劉嘉文2，王山東1，李天昊1

（1.河海大學 地球科學與工程學院，江蘇 南京 210098；2.江蘇省測繪地理信息局，江蘇 南京 210098）

對低空無人機影像的快速拼接技術進行研究，采用SIFT算法和SURF算法對尺度不變特征進行提取，根據特征描述符間的歐氏距離進行特征匹配，并使用RANSAC算法對匹配中產生的誤匹配點對進行剔除，然后利用單應性矩陣實現無人機的影像拼接。實驗結果表明，SIFT算法和SURF算法均能較好地對影像特征進行提取，SURF算法在效率上更優，RANSAC算法的剔除效果較好，能夠得到良好的拼接影像。

無人機影像；影像拼接；SIFT算法；SURF算法；RANSAC算法

低空無人機系統作為一種近年來高速發展的航空遙感平臺，因其成本低、起降靈活、不受氣象條件影響、可工作在云端等，受到越來越多的青睞。因為無人機能夠獲取大比例尺高分辨率的影像，并且影像具有實時性強、獲取方式靈活、獲取成本低等優點，無人機的應用已從最初的軍事領域擴展到民用領域，無人機遙感在森林火災監測、災害的應急保障、交通事故的現場模擬和其他應急響應中發揮著越來越重要的作用[1]。

從目前無人機遙感的應用情況來看，單張無人機影像無法完全覆蓋整個研究區域，而正射影像的生成又需要耗費大量的時間，因此，如何快速獲取較寬視野的無人機影像成為其應用的關鍵[2,3]。雖然在攝影測量領域影像拼接有著廣泛的應用，但是針對無人機影像之間重疊度、旋轉角變化較大、難以找到高精度的地面控制點等難點，無人機的影像拼接仍有許多值得研究的地方[4]。

針對低空無人機影像的拼接技術，國內外很多專家學者進行研究。Kim 等提出了一種在規則格網特征空間采用連續塊匹配的全景影像快速拼接方法[5]，Richard提出了基于運動的全景影像拼接模型[6]，袁曉亞提出了基于改進Harris角點特征匹配的圖像拼接方法[7]，陳宏敏等針對無人機遙感平臺的特點，提出了一種基于遞歸的影像拼接方法[8]。

本文采用基于特征的影像匹配方法，并采用RANSAC算法剔除誤匹配點對，進而實現了影像的高效無縫拼接。針對低空無人機相鄰影像之間重疊度、旋轉角變化大，特征不連續，預定義關系不能嚴格保證等問題，采取一種基于尺度不變特征的影像拼接方法。

1 無人機影像拼接方法

影像拼接的總體流程如圖1所示。

圖1 影像拼接總體流程

1.1 影像匹配

影像匹配是影像拼接的前提，其主要目的是在影像特征提取的基礎上將位于兩幅或多幅影像上的特征點對應起來。

1.1.1 尺度不變的特征提取

尺度不變特征包括特征點和特征描述符兩部分，其提取算法主要有SIFT（scale-invariant feature transform）算法和SURF（speeded up robust features）算法。

SIFT算法由Lowe于1999年提出[9]，并于2004年進一步完善[10]。其主要思想是在構建的尺度空間中進行極值檢測，并對提取到的極值點進行篩選，剔除不穩定的點，定義每個穩定特征點的主方向，最后根據特征點周圍圖像的局部特性形成特征描述符，用以匹配。

SURF算法由Bay于2006年提出，是SIFT算法的一種改進。與SIFT算法相比，SURF算法的不同主要在于使用Hessian-Laplacian來近似 Gaussian-Laplacian，并使用方框濾波代替二階高斯濾波進行計算，從而實現了更快的特征提取速度。

1.1.2 特征匹配

匹配測度是利用提取出的尺度不變特征進行匹配，計算特征描述符之間的歐氏距離。由于尺度不變特征的描述符一般均為高維向量，如128維的SIFT特征描述符、64維的SURF特征描述符以及128維的擴展SURF描述符，故利用BBF-Tree搜索算法對每一個特征點進行搜索，返回其特征描述符間最近鄰與次近鄰歐氏距離之比，若比值小于事先設定的閾值，則認為該鄰近點為正確的匹配點。

1.1.3 RANSAC剔除誤匹配點對

在利用SIFT和SURF算法對特征點進行匹配的過程中，由于影像中某些特征的相似性，會造成特征點之間的錯誤匹配，進而影響后續的影像拼接，需要對錯誤的匹配點對進行剔除。

隨機抽樣一致性（RANSAC）算法是一種不確定算法，它能夠從一組包含“局外點”的數據集中，通過迭代的方式根據某種給定的目標方程估計并優化模型參數，以使其最大程度地適應所給定的數據集，估算出數學模型并能夠剔除“局外點”數據，從而得到有效的樣本數據。因為算法不確定，只是由一定的概率得到一個合理的結果，為了提高這一概率，必須提高迭代的次數。

使用RANSAC算法進行特征點精確匹配的過程如下：首先選取足夠的興趣點，使用興趣點進行特征匹配后的點集計算基本矩陣，并計算滿足基本矩陣的點的個數。重復上述步驟，選取能夠有最多點滿足的基本矩陣，滿足此矩陣的為局內點，不滿足的為局外點。

1.2 影像拼接

在影像匹配完成后，通過影像對應特征點的匹配關系估計影像之間的幾何變換模型，即單應性矩陣；在使用RANSAC算法剔除誤匹配點對時，已經得到一個最優單應性矩陣；將待拼接影像通過單應性矩陣映射到參考影像的坐標系中，并將影像進行復制疊加，最終實現影像的拼接操作。

2 實驗與分析

選取SONY NEX-5R相機拍攝的兩組無人機影像，如圖2、圖3所示，第一組是相鄰航帶上的兩幅影像，像幅大小為1 378×916；第二組是同一航帶上的兩幅影像，像幅大小為2 756×1 831。對SIFT算法和SURF算法在VS2010編譯環境下進行實驗，將兩者在同樣條件下進行影像匹配的各項評判因素進行對比，通過實驗分析確定哪一種提取算法更加適合無人機影像的快速拼接。

圖2 第一組影像

圖3 第二組影像

對兩組影像在相同的環境下分別進行SIFT算法和SURF算法特征匹配實驗，實驗中SURF算法運算過程中的Hessian矩陣行列式閾值設為3 000、匹配閾值取0．6，計算初始H矩陣時RANSAC閾值設為5。同時，本實驗中還使用128維SURF描述符和64維SURF描述符分別進行實驗。實驗結果如表1所示。

表1 SIFT算法與SURF算法實驗結果比較

從實驗數據中可以看出，影像越大，特征越豐富，能夠提取出的特征數量就越多，能夠匹配的特征點對數也相應增加；在SIFT算法和SURF算法的比較中，SIFT算法的特征提取耗時較長，SURF算法的優勢明顯；128位的SURF算法比64位的SURF算法耗時略長；而在匹配時間的比較上，三者的區別不大，主要與數據量的大小有關。

圖4為第一組影像利用SIFT算法進行特征匹配的效果，其中黃色連線表示匹配點對之間的連線。從圖中可以看出，存在些許誤匹配，需要剔除。圖5為RANSAC算法剔除誤匹配點對之后的結果。

圖4 特征匹配效果

圖5 精確匹配效果

完成精確匹配后，第一組影像的拼接效果如圖6所示。

圖6 影像拼接效果

3 結 論

針對低空無人機影像的快速拼接問題，本文提出了一套匹配拼接的方法并進行實驗分析。利用SIFT和 SURF算法進行尺度不變特征提取，根據歐氏距離進行特征匹配。經實驗對比， SURF算法在提取效果、速度等方面優于SIFT算法，64位的SURF算法又優于128位的SURF算法；RANSAC算法也能夠有效地進行精確匹配，通過得到的單應性矩陣進行無人機影像的拼接效果良好。

[1] Everaerts J．The Use of Unmanned Aerial Vehicles (UAVs) for Remote Sensing and Mapping[J]．The International Archives of the Photogrammetry[J]． Remote Sensing and Spatial Information Sciences, 2008(37)：1187-1192

[2] 劉金萍,劉文宋,陳勇,等．基于Harris與RANSAC算法的無人機影像拼接方法研究[J]．測繪與空間地理信息,2014(9)：103-105

[3] 于瑤瑤．無人機影像快速拼接關鍵技術研究[D]．鄭州：信息工程大學,2012

[4] 李明,曹瀚,劉良明,等．面向應急的無人機影像拼接方法研究[C]．第一屆全國高分辨率遙感數據處理與應用研討會,西安,2011

[5] Kim D W,Hong K S．Real-time Mosaic Using Sequential Graph[J]．Journal of Electronic Imaging, 2006, 15(2)： 023 005-023 013

[6] Szeliski R．Video Mosaics for Virtual Environments[J]．Computer Graphics and Applications, IEEE, 1996, 16(2)： 22-30

[7] 袁曉亞．基于改進Harris角點特征匹配的圖像拼接算法研究[D]．信陽：信陽師范學院,2013

[8] 陳宏敏,楊朝輝．無人機影像自動拼接方法[J]．測繪技術裝備,2013(3)：22-24

[9] Lowe D G．Object Recognition from Local Scale-invariant Features[C]．The Seventh IEEE International Conference on．Computer Vision, IEEE, 1999

[10] Lowe D G．Distinctive Image Features From Scale-Invariant Keypoints[J]．International Journal of Computer Vision, 2004, 60(2)： 91-110

P231

B

1672-4623（2016）04-0039-03

10.3969/j.issn.1672-4623.2016.04.013

徐志遠，碩士，研究方向為GIS工程。

2015-02-12。

項目來源：國家自然科學基金資助項目（41271538）。