基于改進SURF算法的無人機遙感圖像拼接方法

么鴻原，王海鵬，焦 莉，林雪原

（1.海軍航空大學，山東煙臺264001；2.煙臺市芝罘區教師進修學校，山東煙臺264001）

圖像拼接是指將由某一待觀測環境中拍攝取得的兩幅或多幅影像通過圖像處理等方法，拼接成一幅視角更寬廣的全景圖像的技術[1-3]，而圖像配準是這一技術的關鍵步驟。當前，在圖像處理的各個領域中，基于圖像特征點的配準方法被大量應用[4]，基于圖像特征點的配準方法能夠對光照強度的變化、拍攝角度旋轉等變化表現出良好的魯棒性以及較高的可靠性。對于圖像的特征匹配算法而言，能夠找到具有高魯棒性的特征點是其關鍵，常用的特征點提取算法主要有 Harris[5]、SIFT[6]和 ORB[7]等。

針對遙感圖像拼接技術中面臨的2個常見問題：①傳統圖像拼接算法計算復雜度過高，拼接速度過慢，且誤匹配率較高；②由于采集到的圖像之間存在曝光差異等情況，直接進行疊加拼接后極大可能會在邊界處產生重影錯位的情況。

本文提出了一種無人機的遙感圖像拼接的改進算法。首先，在特征檢測階段，本文將SURF算法與Harris角點檢測算法結合，快速得到圖像特征點以及特征描述子；在特征匹配階段分為粗匹配與精匹配兩個步驟，通過采用KNN算法得到待拼接圖像之間特征點的粗匹配，隨后為去除無匹配點對采用RANSAC算法進行精匹配；在圖像融合階段，采用基于距離的加權平均算法進行圖像融合，有效地提高圖像拼接后的質量與效果，抑制了拼接痕印明顯、重影錯位等現象的產生。

1 傳統SURF算法

Speeded Up Robust Features是一種穩健的特征檢測與特征匹配算法，其基本流程可以分成3部分：特征檢測、特征提取、特征匹配。比起SIFT算法，SURF通過使用Hessian矩陣和降維的特征描述子來增加了執行效率，具體實現流程圖如圖1所示。

圖1 傳統SURF實現流程圖Fig.1 Traditional SURF flowchart

但若將經典SURF算法直接應用于圖像拼接處理，雖然相比于SIFT算法性能有所提高，但拼接速度仍然過慢，誤匹配率仍較高，且圖像拼接后得到的畫面在邊界處有明顯的拼接痕跡，甚至發生重影錯位的錯誤現象；因此，本文對傳統SURF算法進行了部分優化改進。

2 改進的SURF算法

2.1 優化Hessian矩陣

在構建Hessian矩陣之前，首先對待檢測圖像f(x,y)進行高斯濾波，而后構建Hessian矩陣，并得到圖像中所有的關鍵點；Hessian矩陣基礎表達式及所得表達式為：

接下來，求得Hessian矩陣的判別式，如式（3）所示，當判別式在某點取得了局部極大值時，判別當前點是周圍鄰域中最亮的點還是最暗的點，并借此取得關鍵點的位置。

在改進的SURF算法中，采用的是盒式濾波器來替代高斯濾波器，由于盒式濾波器應用查找積分圖的方法來取得圖像不同區域間的像素和，因而極大地提高了SURF算法的運算速度。同時，本文在Hessian矩陣判別式中的Dxy上乘了一個固定系數0.9，以減小因使用盒式濾波器而非高斯濾波器所帶來的誤差，改進后的Hessian矩陣判別式為：

2.2 改進的特征檢測

角點因其具有紋理豐富、區分性高等特點，被作為一種重要的圖像的局部特征而廣泛使用。在眾多角點檢測算法中，Harris算法具有優秀的光照與旋轉仿射不變性，因而其能夠不輕易受到光照強度變化以及拍攝角度旋轉變化等干擾。但是當尺度變化過大或圖像的噪聲變化過大時，Harris算法的魯棒性及尺度不變性很差。而傳統SURF算法具有較強的魯棒性與尺度不變性，但其亮度與旋轉仿射不變性較差。

針對以上描述，本文提出了一種將Harris與SURF特征檢測相結合的H-S算法[9]：應用Harris算法與SURF算法對圖像分別提取Harris角點與特征點，在去除重復點與尺度不穩定點后將其合并，得到新的特征點集，新的特征點集在保證了特征點個數的情況下，特征點分布更加均勻。H-S算法同時繼承了Harris算法的光照、旋轉仿射不變性與SURF算法的魯棒性與尺度不變性，既提升了特征檢測的速度，又提升了準確度。

改進后的H-S特征檢測算法主要步驟為：① 獲取Harris角點，通過采用單尺度Harris檢測算法，得到圖像的角點集；② 提取圖像特征點。通過計算Hessian矩陣的極值點尋找到圖像的特征點，并得尺度值，得到圖像的特征點集；③ 將前2步中得到的點集去除重復點以及尺度變化不穩定的點后進行合并，得到最終的特征點集。

圖2 Harris-SURF特征檢測算法原理示意圖Fig.2 Harris-SURF feature detection algorithm principle diagram

2.3 改進的特征點匹配

經典SURF算法里，在確定2個特征點之間的匹配度時，不僅通過計算2點之間的歐氏距離判斷，還要通過計算2點的Hessian矩陣跡的符號來判斷2個特征點是否匹配。雖然相比于SIFT算法有了很大提升，但仍然存在大量的誤匹配點影響拼接效果，且拼接速度仍然不滿足圖像拼接的實時性要求。針對上述情況，本文提出了一種將特征匹配階段分為粗匹配與精匹配2個步驟的方法，通過采用KNN算法得到待拼接圖像之間特征點的粗匹配，隨后為去除無匹配點對采用RANSAC算法進行精匹配，提高了匹配的準確度。

本文采用KNN算法[11]（K-Nearest Neighbors Algorithm）對特征點進行快速匹配，通過計算歐式距離d的值來判斷2個特征點間的匹配程度，即：

KNN算法能夠通過比較權重來判斷與相鄰點的距離，即距離近的點所占權重就高，距離遠的點所占權重就低。任意選取待匹配圖像1的特征點，并通過計算歐氏距離得出其與待匹配圖像2中最近的2個點：最近鄰點與次近鄰點，如果2點的比值低于某一閾值，那么最近鄰點就是其正確的匹配點。

為了在進行圖像拼接前將可能會影響拼接效果的錯誤匹配去除，本文選擇采用RANSAC算法，即隨機取樣一致性算法。

隨機取樣一致性算法[12]采取的是采樣與驗證的策略，其主要思路是求解出一個樣本點均可滿足的單應性矩陣H的8個參數，這是去除錯誤匹配點的重要環節，將（x,y）（x′,y′）設為待匹配點坐標，而單應性矩陣H描述了對應的2組坐標之間的變換關系，即圖像之間的幾何變換關系：

3 圖像融合

為了有效消除或減弱圖像拼接后可能會出現的拼接痕跡明顯、重影錯位、錯誤拼接等情況，本文提出了一種改進的融合方法——基于距離的加權平均融合算法，不同的圖像由于重疊區域明暗強度、亮度值不同，如果使用簡單的加權平均值算法[13-14]，就會出現明顯的拼接縫，甚至有可能會出現錯位等錯誤拼接的現象，基于距離的加權平均融合算法主要思路是計算出重疊區域里點到左右邊界的距離，并將他們的比值作為對應點的權值，將合并后點的像素值用f(x,y)表示為：

由式（7）可知，圖像在融合之后，新的像素點的像素值是通過重疊區域中匹配點的像素值按照其各自對應的權重相加而得到的[15]，這種方法有效地消除了由圖像間曝光差異等問題引起的亮度差和色彩差。實驗表明，應用改進后的融合算法，圖像拼接的質量有了明顯提高，拼接痕跡幾乎消失，并未發生重影錯位等錯誤拼接的現象，圖像拼接效果平滑自然。

4 實驗結果與分析

本文實驗的算法流程圖如圖3所示。實驗平臺計算機的配置為Intel Core i5-2450M 2.5GHz，4GB內存，操作系統為32位Windows7，算法基于OpenCV2.4.8，用C++進行編程并在Visual Studio 2010中進行實驗。實驗數據為50張大疆無人機航拍獲得，拍攝地點位于黑龍江大慶，圖像格式為JPEG。其中，第1組圖像為建筑物近照拍攝，拍攝高度為100 m；第2組圖像為山林湖泊（紋理稀疏區），拍攝高度為400 m；第3組圖像為學校體育場及宿舍樓（紋理豐富區），拍攝高度為300 m；本次實驗采用這3組類型的圖像驗證本文算法的有效性。

圖3 改進算法流程圖Fig.3 Improved algorithm flowchart

4.1 圖像粗匹配結果對比

圖4、5分別為3組遙感圖像的基準圖像與待匹配圖像。在特征提取方面，采用本文算法與經典SIFT算法進行對比，并選取第3組圖像實驗結果做展示；在特征點粗匹配方面，都使用KNN算法對2幅圖像進行粗匹配。圖6為特征點提取結果圖對比，圖7為SIFT算法（左）與本文算法匹配及運行結果，表1為2種算法特征提取與匹配性能對比。從實驗結果可以看出，本文提出的改進的SURF算法所提取的特征點個數大于傳統SIFT算法所提取個數，匹配個數卻與傳統SIFT算法的匹配個數接近，說明了本文所提出的改進方法在提取特征點方面的高效性，有效性方面比傳統SIFT方法高。且本文算法所需維數為64維，比經典算法128維低，處理速度約是SIFT的5倍，說明在實時性方面也高于傳統方法。

圖4 基準圖像Fig.4 Benchmark image

圖5 待匹配圖像Fig.5 To be matched image

圖6 特征點提取結果圖對比Fig.6 Feature point extraction result chart comparison

圖7 SIFT算法（左）與本文算法匹配及運行結果Fig.7 SIFT algorithm（left）and improved algorithm（right）match and run results

表1 2種算法特征提取與匹配性能對比Tab.1 Comparison of feature extraction and matching performance between two algorithms

4.2 圖像精匹配結果

在圖像進行了粗匹配后，采用隨機取樣一致性算法將匹配后的特征點中錯誤匹配點篩除，經RANSAC算法優化后，匹配特征點個數均大量減少，說明了大量的錯誤匹配點被篩選出來并去除，表明采用RANSAC算法對圖像特征點進行精匹配的想法的正確性與可行性。

圖8 3組圖像精匹配結果圖Fig.8 Three groups of image matching results

4.3 圖像融合拼接結果

為防止因亮度與拍攝角度不同引起的模糊、重影、錯位、拼接線明顯等現象，一般不能在圖像配準后便直接拼接。圖9（左）為圖像配準后直接拼接的結果圖，能夠明顯看出由色彩差異引起的拼接線存在；圖9（右）為本文算法的圖像融合結果，圖10為應用本文算法連續拼接的結果圖。

圖9 圖像融合結果對比圖Fig.9 Image fusion results comparison chart

圖10 2幅、10幅、30幅圖像連續拼接效果圖Fig.10 2 images，10 images and 30 images continuously stitched together

5 結論

本文提出了一種改進的SURF算法與融合算法用于無人機的遙感圖像拼接，針對圖像特征配準、匹配與圖像融合2個方面存在的問題進行了改進。首先，在特征檢測階段，本文將SURF算法與Harris角點檢測算法2種算法相結合，快速得到圖像的特征點與特征描述子；在特征匹配階段分為粗匹配與精匹配2個步驟：通過KNN算法對待拼接圖像間特征點的粗匹配，以及應用RANSAC算法去除誤匹配點的精匹配；在圖像融合階段，采用了基于距離的加權平均算法進行圖像融合。最后，實驗表明：本文所提出的算法處理速度相比于傳統SUFT算法提升了近5倍，相比于其他改進算法，匹配精度也有所提高，并且本文算法能夠有效提高圖像拼接后的質量與效果，解決了拼接痕印明顯、重影、錯位等現象可能發生的問題。

[1]黃鈺雯，胡立坤，盧泉，等.基于改進SURF-BRISK算法的航拍圖像拼接方法[J].廣西大學學報：自然科學版，2017（6）：1058-1068.HUANG YUWEN，HU LIKUN，LU QUAN，et al.Aerial image mosaicing method based on improved SURFBRISK algorithm[J].Journal of Guangxi University：Natural Science Edition，2017（6）：1058-1068.（in Chinese）

[2]BI J，MAO W，GONG Y.Research on image mosaic method of UAV image of earthquake emergency[C]//3rdInternational Conference on Agro-Geoinformatics.Beijing：International Conference on Agro-Geoinformatics，2014：494-499.

[3]LI Z，ISLER V.Large scale image mosaic construction for agricultural applications[J].IEEE Robotics＆Automation Let-ters，2016，1（1）：295-302.

[4]張一茗，付慧.基于間隙度的無人機林地航拍圖像序列拼接方法[J].北京林業大學學報，2017，39（6）：107-115.ZHANG YIMING，FU HUI.A method of splicing aerial image sequences of UAV forest land based on gap degree[J].Journal of Beijing Forestry University，2017，39（6）：107-115.（in Chinese）

[5]HARRIS C，STEPHENS M.A combined corner and edge detetor[C]//Proceedings of the 4thAlvey Vision Conference.Manchester，1998：147-151.

[6]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[7]RUBLEE E，RABAUD V，KONOLIGE K，et al.ORB：an efficientalternative to sift or surf[C]//Proceedings of the 13thIEEE International Conference on Computer Vision.Washington，USA：IEEE，2011：2564-2571.

[8]佘建國，徐仁桐，陳寧.基于ORB和改進RANSAC算法的圖像拼接技術[J].江蘇科技大學學報：自然科學版，2015（2）：164-169.SHE JIANGUO，XU RENTONG，CHEN NING.Image mosaic technology based on ORB and improved RANSAC algorithm[J].Journal of Jiangsu University of Science and Technology：Natural Science，2015（2）：164-169.（in Chinese）

[9]鄧濤，侯東平，樂琴蘭，等.結合SIFT和Harris算法的小型無人機影像拼接方法[J].信息工程大學學報，2015，16（3）：321-326.DENG TAO，HOU DONGPING，LE QINLAN，et al.Image mosaic method of small drone combined with SIFT and Harris algorithm[J].Journal of Information Engineering University，2015，16（3）：321-326.（in Chinese）

[10]BEKELE D，TEUTSCH M，SCHUCHERT T.Evaluation of binary keypoint descriptors[C]//IEEE International Conference on Image Processing.Melbourne，Australia：IEEE，2013：3652-3656.

[11]劉松華，張軍英，許進，等.Kernel-kNN：基于信息能度量的核k-最近鄰算法[J].自動化學報，2010，36（12）：1681-1688.LIU SONGHUA，ZHANG JUNYIN，XU JIN，et al.Kernel-kNN：nuclear k-nearest neighbor algorithm based on information energy measure[J].Acta Automatica Sinica，2010，36（12）：1681-1688.（in Chinese）

[12]賈銀江，徐哲男，蘇中濱，等.基于優化SIFT算法的無人機遙感作物影像拼接[J].農業工程學報，2017，33（10）：123-129.JIA YINJIANG，XU ZHENAN，SU ZHONGBIN，et al.Remote sensing crop image mosaicing based on optimized SIFT algorithm[J].Journal of Agricultural Engineering，2017，33（10）：123-129.（in Chinese）

[13]唐曉微，孔軍，蔣敏，等.多尺度空間特征提取的脊柱圖像拼接算法[J].計算機工程與應用，2014，50（2）：156-161.TANG XIAOWEI，KONG JUN，JIANG MIN，et al.Spinal image mosaic algorithm for multi-scale spatial feature extraction[J].Computer Engineering and Applications，2014，50（2）：156-161.（in Chinese）

[14]張懿，劉藝.基于FAST特征的快速圖像拼接系統研究[J].計算機工程與應用，2016（10）：167-170.ZHANG YI，LIU YI.Research on fast image mosaicing system based on FAST features[J].Computer Engineering and Applications，2016，52（10）：167-170.（in Chinese）

[15]秦緒佳，王琪，王慧玲，等.基于最佳縫合線的序列遙感圖像拼接融合方法[J].計算機科學，2015，42（10）：306-310.QIN XUJIA，WANG QI，WANG HUILING，et al.Sequential remote sensing image mosaic algorithm based on optimal sutures[J].Computer Science，2015，42（10）：306-310.（in Chinese）