基于SURF的圖像配準改進算法

潘建平， 郝建明， 趙繼萍

(1.重慶交通大學土木建筑學院,重慶 400074； 2.國家測繪地理信息局第三地理信息制圖院，成都 610100； 3.國家測繪局重慶測繪院,重慶 400074)

基于SURF的圖像配準改進算法

潘建平1,3， 郝建明1,2， 趙繼萍1

(1.重慶交通大學土木建筑學院,重慶 400074； 2.國家測繪地理信息局第三地理信息制圖院，成都 610100； 3.國家測繪局重慶測繪院,重慶 400074)

針對傳統的加速魯棒性特征(speeded-up robust features,SURF)算法在圖像配準中的應用現狀，結合圖像分塊策略和相對距離理論，提出一種基于SURF的圖像配準改進算法。通過圖像分塊策略改善提取特征點分布的均勻性； 在SURF算法初匹配基礎上，引用相對距離理論剔除異常匹配點，從而提高特征點匹配的精度和可靠性。選取覆蓋重慶市沙坪壩實驗區的QuickBird衛星數據，以特征點正確匹配率和均方根誤差RMSE為量化指標，對所提出的SURF改進算法的圖像配準效果進行驗證。實驗結果表明，改進后的SURF算法的特征點正確匹配率達到88%以上，高于傳統SURF算法的76%。通過相對距離剔除誤匹配點后，最終配準結果的RMSE達到2.69個像元，符合圖像配準的基本需求(RMSE在2個像元左右)，具有一定的應用推廣價值。

加速魯棒性特征(SURF)； 分塊策略； 相對距離理論； 圖像配準

0 引言

圖像配準(image registration)是將不同時相(獲取時間)、不同傳感器(成像設備)或不同條件(天候、照度、攝像位置和角度)下獲取的2景或多景圖像進行幾何匹配的過程。隨著信息技術的迅猛發展，傳統的基于灰度值和變換域的圖像配準技術已難以滿足需要，基于影像特征的高精度圖像配準方法已經成為當前圖像配準技術的研究趨勢。近年來，國內外涌現出了大量基于影像特征的圖像配準方法研究，包括特征點、邊緣、區域和輪廓等[1-2]。特征點的提取相對容易，且不易受空間分辨率、光照條件等圖像變化的影響而被廣泛應用。Lowe[3]提出了尺度不變特征變換(scale invariant feature transform,SIFT)算法，具有尺度、旋轉、亮度不變的特征。劉小軍等[4]針對不同傳感器圖像的配準問題，將SIFT算法用于圖像配準，具有仿射不變性，但檢測的特征點較少。張銳娟等[5]在研究SIFT算法的基礎上，提出了基于加速魯棒性特征(speeded-up robust features, SURF)的圖像配準方法，具有比SIFT算法計算量小、配準速度快的優點。高素青等[6]針對虛擬場景中圖像配準的效率問題，提出了一種改進的SURF圖像配準算法，對SURF算法檢測出的特征點進行篩選，去除一些分布密集的點，在一定程度上提高了運算效率，但無法保證匹配特征點的分布均勻性。綜合來說，目前基于影像特征的圖像配準方法主要存在3個方面的問題亟待解決： ①配準方法的普適性不強； ②特征點匹配時，特征點分布不均勻，導致局部配準誤差較大； ③圖像配準方法耗時多、復雜度高、配準效率較低。基于上述情況，本文在研究傳統SURF圖像配準算法的基礎上，將圖像的分塊策略和相對距離理論集成到SURF算子中，提出了一種基于SURF的圖像配準改進算法。該方法首先將待配準的圖像分割成互不重疊的子塊； 然后利用SURF算法在所有子塊中提取特征點，并進行特征點的初始匹配； 最后利用相對距離的基本理論去除其中的誤匹配點，在一定程度上保證了特征點分布的均勻性，同時能夠提高特征點匹配的精度和可靠性。并通過實驗對所提出的SURF改進算法的圖像配準效果進行了驗證。

1 圖像配準方法

1.1 改進SURF算法

1.1.1 SURF算法原理

SURF算法是在SIFT算法的基礎上提出的一種快速魯棒特征提取的配準算法[7]。基于SURF算法的圖像配準主要包括圖像特征點提取、特征點匹配、去除誤匹配點、確定匹配模型和圖像重采樣4個方面[8-10]。而在利用傳統SURF算法進行圖像配準時，提取的特征點分布不均，會導致匹配的特征點出現局部集中現象，使圖像配準誤差較大而影響整體配準的精度。

1.1.2 基于SURF的圖像配準改進算法

本文將圖像的分塊策略和相對距離理論集成到SURF算法中，對傳統的基于SURF的圖像配準算法進行改進，其具體流程如圖1所示。

圖1 基于SURF的圖像配準改進算法流程圖

1.1.2.1 特征點提取的改進

圖像分塊策略主要用于圖像的壓縮編碼與分塊配準，將各個子塊圖像分別與參考圖像進行配準[11]。在利用SURF算法提取特征點時，提取的特征點主要位于圖像中的角點、交叉點等特征明顯部位； 這些特征點在整景圖像中分布不均勻，因而影響圖像配準的最終效果。本文在特征點提取之前先對圖像進行分塊操作，將圖像分割成互不重疊的子塊； 然后利用SURF算法對所有子塊進行特征點提取。采取這種方法提取出的特征點存在于每個子塊中特征較顯著的位置，能夠在一定程度上改善特征點分布的均勻性。

1.1.2.2 特征點匹配的改進

特征點匹配是基于特征的圖像配準的核心技術，其關鍵步驟就是尋找正確的匹配關系和排除錯誤的匹配關系。采用相對距離理論尋找特征點集的相對位置關系，可提高匹配點集之間的可靠性； 有的學者則采用連續相對定向的方法對SIFT算法誤匹配點集進行剔除[12]。本文在上述研究基礎上，引入相對距離的基本理論，對改進的SURF算法提取的初始匹配特征點集進行誤匹配點剔除，確定出最理想的匹配特征點集，從而提高了圖像配準的可靠性。使用的相對距離公式[7]為

(1)

式中：pi與mi分別為2景圖像各自的特征點；d為歐氏距離，d(pi,pj)=‖pi,pj‖；Np為其中1景圖像所有特征點的數量和；Nm為另1景圖像所有特征點的數量和。

1.2 精度評估標準

本文引用均方根誤差(root-mean-square error,RMSE)作為圖像配準精度的評估標準。RMSE表示各個誤差平方和的平均值的開方，是一組觀測過程中各個觀測值的函數。它不取決于觀測中個別誤差的符號，對觀測值中較大者和較小者都比較敏感，是表示準確度(或精度)的好方法。本文對圖像配準產生的誤差采用RMSE[13]來描述，其定義為

(2)

式中：mi(i=1,2,3,4)，tx和ty均為實驗過程中求得的幾何變換參數；x1i和y1i為第1景圖像中的特征點；x2i和y2i為第2景圖像中與第1景圖像相對應的特征點。

2 圖像配準實驗

2.1 實驗區與遙感數據概況

本文選取重慶市沙坪壩區為實驗區。實驗數據為QuickBird衛星圖像，全色圖像分辨率為0.61 m； 多光譜圖像分辨率為2.44 m，擁有紅、綠、藍和近紅外4個波段。本文選用2004年和2009年獲取的QuickBird多光譜數據近紅外波段圖像，對改進后SURF算法的圖像配準結果進行驗證。所選用的圖像大小為400像元×500像元，圖像中包含道路、建筑物、耕地、植被、水域等典型地物，在進行圖像配準實驗時具有較好的代表性。

2.2 實驗結果與分析

2.2.1 特征點提取

在對遙感圖像進行特征點提取時，分別采用傳統SURF算法與本文改進后的SURF算法對2009年獲取的研究區的QuickBird圖像(圖2(a))進行特征點提取，提取效果如圖2(b)(c)所示。

(a) 待配準圖像 (b) 傳統SURF算法提取特征點 (c) 改進后SURF算法提取特征點

圖2 2種SURF算法特征點提取結果

Fig.2 Results of two kinds of SURF algorithm for feature point extraction

從圖2(c)中的特征點提取結果可以看出，本文改進后的SURF算法提取的特征點分布較均勻且數量足夠多； 而傳統SURF算法提取的特征點(圖2(b))有局部集中的現象，并且提取的特征點較少，會影響后續圖像配準的結果。所提取特征點的數量統計結果見表1。

表1 傳統與改進SURF算法特征點提取數量對比

從表1可以看出，本文改進后的SURF算法能夠提取出更多的特征點，且這些特征點分布在圖像的全局范圍內； 在進行圖像匹配時，能得到數量更多、分布更均勻的匹配特征點集，從而減少圖像配準的局部誤差，提高配準的精度和可靠性。

2.2.2 誤匹配點剔除

在特征點提取的基礎上，分別采用隨機采樣一致性(randon sample consensus,RANSAC)算法(圖3)和相對距離理論(圖4)對用傳統SURF算法得到的初始匹配點集剔除誤匹配點，并與本文改進后SURF算法的誤匹配點剔除效果與匹配結果(圖5)進行對比。

圖4 傳統SURF算法采用相對距離剔除誤匹配點

圖5 改進后SURF算法特征點匹配結果

從圖3和圖4中的誤匹配點剔除效果可以看出，RANSAC算法檢測出6對誤匹配點，相對距離算法檢測出9對誤匹配點； 且RANSAC算法只能剔除較為明顯的誤匹配點，而采用相對距離理論能夠檢測出更多的誤匹配點，匹配效果較好。由圖4和圖5中特征點匹配結果可以看出，傳統SURF算法由于提取特征點的不均勻性，導致特征點匹配主要集中在圖像中特征較明顯的局部區域，且由相對距離基本理論檢測出來的誤匹配點較多。本文通過分塊策略改進后的SURF算法匹配的特征點分布在圖像的全局范圍內，且誤匹配點較少，匹配效果較好(圖5)。傳統與改進SURF算法匹配結果對比見表2。表中傳統SURF算法的正確匹配率為76.31%，本文改進后SURF算法的正確匹配率達88.37%，說明經分塊策略改進后的SURF算法匹配的特征點對較多、匹配精度較高。

表2 傳統與改進SURF算法匹配結果對比

2.2.3 圖像配準

在引用相對距離理論剔除誤匹配點的基礎上，分別采用傳統SURF算法和改進后SURF算法，通過正確匹配的特征點集對圖像進行配準； 以RMSE的值為配準精度衡量標準，最終配準結果見表3。

表3 傳統和改進后SURF算法的配準結果對比

①m1,m2,tx,m3,m4和ty為圖像配準模型的6個參數； ②T為配準耗用的時間。

從表3中的最終配準結果可以看出，傳統SURF算法的RMSE為6.762個像元，改進后SURF算法的RMSE為2.690個像元，說明改進后SURF算法使圖像配準的精度和可靠度得到了提高； 從配準耗用的時間T來看，改進后SURF算法的配準效率也得到了提高，從而證明了經過分塊策略和相對距離理論改進后的SURF算法在圖像配準中具有一定的實用性。采用改進后SURF算法對實驗區遙感圖像的最終配準結果如圖6所示。

(a) 待配準圖像 (b) 參考圖像 (c) 改進后SURF算法配準結果

圖6 基于SURF的圖像配準改進算法配準結果

Fig.6 Registration results of improved image registration algorithm based on SURF

3 結論

本文提出的基于SURF的圖像配準改進算法，結合了圖像分塊策略與相對距離理論，是對傳統SURF算法進行圖像配準的一種改進。通過對比實驗得出以下結論：

1)在對一景遙感圖像進行特征點提取時，與傳統SURF算法相比，改進后的SURF算法提取的特征點在圖像中分布更加均勻，具有更好的幾何匹配效果。

2)在剔除誤匹配點對時，使用傳統的RANSAC算法只能剔除比較明顯的誤匹配點對，而采用相對距離理論能夠更好地剔除誤匹配點對，從而提高遙感圖像配準的精度。

3)改進后的SURF算法的配準精度和配準效率都得到了提高，具有一定的實用價值。

因受實驗數據的限制，本文提出的SURF改進算法目前只針對QuickBird遙感圖像進行了實驗，對其他傳感器圖像的實驗尚未開展，這將是下一步研究的重點。

[1] Harris C,Stephens M.A combined corner and edge detector[C]//Proceedings of the 4th Alvey Conference.Manchester,UK:[s.n.],1988:147-152.

[2] You J,Bhattacharya P.A wavelet-based coarse-to-fine image matching scheme in a parallel virtual machine environment[J].IEEE Transactions on Image Processing,2009,9(9):1547-1559.

[3] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[4] 劉小軍,楊杰,孫堅偉,等.基于SIFT的圖像配準方法[J].紅外與激光工程,2008,37(1):156-160. Liu X J,Yang J,Sun J W,et al.Image registration approach based on SIFT[J].Infrared and Laser Engineering,2008,37(1):156-160.

[5] 張銳娟,張建奇,楊翠,等.基于SURF的圖像配準方法研究[J].紅外與激光工程,2009,38(1):160-165. Zhang R J,Zhang J Q,Yang C,et al.Image registration approach based on SURF[J].Infrared and Laser Engineering,2009,38(1):160-165.

[6] 高素青,譚勛軍,黃承夏.一種基于SURF的圖像配準改進算法[J].解放軍理工大學學報:自然科學版,2013,14(4):372-376. Gao S Q,Tan X J,Huang C X.Improved algorithm of image registration based on SURF[J].Journal of PLA University of Science and Technology:Natural Science Edition,2013,14(4):372-376.

[7] 劉朝霞,安居白,邵峰,等.航空遙感圖像配準技術[M].北京:科學出版社,2014:1-54. Liu Z X,An J B,Shao F,et al.Aerial Remote Sensing Image Registration Technology[M].Beijing:Science Press,2014:1-54.

[8] 楊占龍.基于特征點的圖像配準與拼接技術研究[D].西安:西安電子科技大學,2008. Yang Z L.Research on Image Registration and Mosaic Based on Feature Point[D].Xi’an:Xidian University,2008.

[9] 陳超,秦其明,江濤,等.一種改進的遙感圖像配準方法[J].北京大學學報:自然科學版,2010,46(4):629-635. Chen C,Qin Q M,Jiang T,et al.An improved method for remote sensing image registration[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2010,46(4):629-635.

[10]范大昭,任玉川,賈博,等.一種基于點特征的高精度圖像配準方法[J].地理信息世界,2007(5):66-70. Fan D Z,Ren Y C,Jia B,et al.A high precision image registration method based on point features[J].Geomatics World,2007(5):66-70.

[11]龔詠喜,劉瑜,謝玉波,等.基于分塊-空間聚類的圖像配準算法[J].計算機工程與應用,2007,43(29):53-55. Gong Y X,Liu Y,Xie Y B,et al.Image registration algorithm based on blocking-spatial clustering[J].Computer Engineering and Applications,2007,43(29):53-55.

[12]孫彬,邊輝,王培忠.基于勢函數點分布調整的SIFT圖像配準算法[J].國土資源遙感,2015,27(3):36-41.doi:10.6046/gtzyyg.2015.03.07. Sun B,Bian H,Wang P Z.Image registration algorithm based on SIFT and potential function adjusting location of points[J].Remote Sensing for Land and Resources,2015,27(3):36-41.doi:10.6046/gtzyyg.2015.03.07.

[13]李慧,藺啟忠,劉慶杰.基于FAST和SURF的遙感圖像自動配準方法[J].國土資源遙感,2012,24(2):28-33.doi:10.6046/gtzyyg.2012.02.06. Li H,Lin Q Z,Liu Q J.An automatic registration method of remote sensing imagery based on FAST corner and SURF descriptor[J].Remote Sensing for Land and Resources,2012,24(2):28-33.doi:10.6046/gtzyyg.2012.02.06.

(責任編輯： 劉心季)

Improved algorithm based on SURF for image registration

PAN Jianping1,3， HAO Jianming1,2， ZHAO Jiping1

(1.CollegeofChongqingJiaotongUniversity,Chongqing400074，China； 2.TheThirdGeographicInformationMappingInstitute,TheStateBrreauofSurveyingandMapping,Chengdu610100,China; 3.SurveyingandMappingInstituteofChongqing，TheStateBureauofSurveyingandMapping，Chongqing400074，China)

In view of the study status of traditional speeded-up robust features (SURF)algorithm, an improved image registration algorithm based on SURF was proposed in combination with the image blocking strategies and the relative distance theory. The proposed algorithm can improve image uniformity of the feature distribution by image blocking strategy and increase the matching accuracy of the feature point through relative distance theory. With the quantitative indicators of correct feature point matching rate and RMSE, the authors selected the QuickBird satellite data of Shapingba District in Chongqing as the test area to verify the image registration results by using the improved algorithm based on SURF. The results show that the correct feature point matching rate of improved SURF algorithm reached 88%, higher than that of the traditional SURF algorithm (the rate is 76%). Excluding the mismatching points by relative distance, the RMSE of the final registration results reached 2.69 pixels. It meets the basic need of high-precision image registration(the RMSE is 2 pixels around), achieves the automation of remote sensing image registration and thus has some promotional value.

speeded-up robust features(SURF)； blocking strategy； relative distance theory； image registration

10.6046/gtzyyg.2017.01.17

潘建平,郝建明,趙繼萍.基于SURF的圖像配準改進算法[J].國土資源遙感,2017,29(1)：110-115.(Pan J P,Hao J M,Zhao J P.Improved algorithm based on SURF for image registration[J].Remote Sensing for Land and Resources,2017,29(1)：110-115.)

2015-06-25；

2015-07-19

重慶市國土資源與房屋管理局2010年科技計劃項目“面向土地利用分類體系的高分辨率遙感影像變化檢測應用技術研究”(編號： [2011]51-01號)和國家測繪地理信息局2014年基礎測繪科技項目“面向地理國情監測的信息化測繪生產技術升級改造”(編號： [2012]56號)共同資助。

潘建平(1976-),男，教授，博士,主要從事攝影測量與遙感等方面的研究。Email： 6370554@qq.com。

郝建明(1990-),男,碩士研究生,主要研究方向為3S信息處理與集成應用。Email： jaminhoh@hotmail.com。

TP 751.1

A

1001-070X(2017)01-0110-06