基于FAST和SURF的遙感圖像自動配準方法

李 慧，藺啟忠，劉慶杰

(1.中國科學院對地觀測與數字地球科學中心，北京 100094;2.中國科學院數字地球科學重點實驗室，北京 100094;3.中國科學院研究生院，北京 100049)

基于FAST和SURF的遙感圖像自動配準方法

李 慧1，2，3，藺啟忠1，2，劉慶杰1，2

(1.中國科學院對地觀測與數字地球科學中心，北京 100094;2.中國科學院數字地球科學重點實驗室，北京 100094;3.中國科學院研究生院，北京 100049)

提出了基于加速分割檢測特征(features from accelerated segment test，FAST)和加速魯棒性特征(speeded－up robust features，SURF)的遙感圖像自動配準方法。首先對參考圖像與待配準圖像進行HSI變換和高斯金字塔建立;然后檢測并提取FAST角點，計算各角點的SURF描述子，用K－D樹匹配搜索策略得到2幅圖像的匹配點對;再使用最小二乘迭代法剔除錯誤匹配點并擬合幾何變換系數;最后執行幾何變換，得到配準后的圖像。將該方法分別與基于SURF自動配準方法和ENVI軟件中自動獲取配準點的方法進行對比實驗，結果表明，利用該方法能夠獲得更多的匹配點對，具有更高的幾何配準精度，但在尺度不變性方面略遜于SURF算法。

遙感圖像;自動配準;FAST;SURF;高斯金字塔

0 引言

圖像配準是多源遙感圖像融合、鑲嵌以及變化檢測等處理的基本步驟，是多源遙感數據在重大環境與災害問題中應急響應的關鍵技術之一，可分為基于區域的自動配準方法和基于特征的自動配準方法［1］。基于區域的配準方法是直接利用圖像局部區域的灰度信息，建立2幅圖像之間的相似性度量來獲取匹配點［2］;基于特征的配準方法是以圖像上邊緣、線交叉點及角點等特征點作為2幅圖像配準的匹配點。由于特征點比較容易提取，對信號噪聲、數據獲取時的參數變化及圖像變換具有較好的魯棒性，因此基于特征的自動配準方法在圖像配準中得到了廣泛應用。Lowe于2004年提出的尺度不變特征變換(scale－invariant feature transform，SIFT)算法［3］是最有效地保持尺度、旋轉、亮度不變性的算法之一，已被廣泛應用于遙感圖像的自動配準中［4－8］，但該算法計算量大、耗時長;Bay［9］等于2006年提出了加速魯棒性特征(speeded－up robust features，SURF)算法，該算法可以對圖像的旋轉、尺度伸縮、光照以及視角等變化保持不變性，計算速度比SIFT方法快3倍，但是，在處理圖像光照和視角變化時不如SIFT 算法;Vlgren，Arturo［10－12］等均對 SURF 方法的性能以及與SIFT等算法的比較做了較為詳細的闡述，且結論基本一致;張銳娟［13］等將基于SURF的圖像配準方法與基于SIFT的方法進行實驗比較，認為SURF算法具有估算參數準確、計算量小、速度快的優點，但獲得的匹配點數量少。加速分割檢測特征(features from accelerated segment test，FAST)是由 Rosten和Drummond于2006年提出的一種簡單、快速的角點檢測算法［14］，通過該算法可以快速確定出角點。因此，為增加SURF自動配準方法獲得的匹配點數量，本文提出一種基于FAST和SURF算法的圖像配準方法。該方法在參考圖像與待配準圖像來自不同傳感器、且色調差異較大的情況下，能夠快速獲得更多的匹配點對和更好的幾何配準效果。

1 研究方法

1.1 FAST 算法

FAST算法將待檢測角點定義為:在像元點的鄰域內有足夠多的像元點與該點處于不同的區域，應用到灰度圖像中就是有足夠多的像元點的灰度值大于或者小于該點的灰度值。通過定義一個角點響應函數來判斷一個像元是否為角點。圖1給出了以該點為中心的圓形區域的模板情況，圓形區域為一個半徑為3像元的離散化的區域，像元p為候選角點，高亮度像元為角點檢測中使用到的像元，弧形虛線上的像元點為滿足式(1)的12個連續像元點［14］。

圖1 圓形模板示意圖Fig.1 Schematic diagram of circular template

角點響應函數(corner response function，CRF)定義為［15］

式中:p表示中心像元;I(p)表示像元p的灰度值;I(x)表示圓周上任意一像元灰度值;εd為給定的一個極小閾值。通過式(1)可以累加出圓周上滿足式(1)的像元點個數N。如果N大于給定的一個閾值，就可以確定該點為角點。通常閾值取12，通過該閾值可以很快地排除偽角點。

對該算法還可以進行優化，如圖1所示，可以先判斷1，5，9和13這4個像元的灰度值是否滿足式(1)，如果至少有3個點滿足，則該點就可以作為候選角點，然后再對其他點進行判斷。經過優化之后，該算法平均只需要檢測候選角點周圍的3.8個點就能判斷該點是否為角點［14］。

1.2 SURF 描述子

SURF描述子主要是根據特征點鄰域范圍內的灰度統計信息，通過計算主方向和特征向量來得到的。具體過程如下［16］:

1)確定SURF特征點主方向。首先統計以特征點為圓心、6σ(σ為特征點所在的尺度)為半徑的圓形區域內的所有像元X和Y方向上的Haar小波響應dx和dy，使每個像元都有一個對應的Haar小波響應點Hp(dx，dy);然后，通過一個大小為π/3的扇形滑動窗口對所有小波響應進行求和，取長度最長的方向作為特征點的主方向。在求和的過程中，使用以特征點為中心的高斯函數對每個像元的小波響應進行賦權。在這一步中，扇形滑動窗口大小是決定能否得到正確主方向的關鍵參數。

2)基于Haar小波響應生成描述子。SURF特征向量提取是在一個以特征點為中心，與主方向平行的方形區域中進行的:首先確定一個以特征點為中心，大小為20σ的方形區域，為保證提取到特征向量具有旋轉不變性，需要旋轉該方形區域，使之與特征點的主方向平行;然后，將這個方形區域再均勻細分成4像元×4像元窗口的子區域，在每個子區域中統計X和Y方向上的Haar小波響應之和及其絕對值之和(∑dx，∑dy，∑|dx|，∑|dy|)。在統計的過程中，仍用以特征點為中心的高斯函數進行賦權處理。如此，每個子區域有一個4維的描述子V4=(∑dx，∑dy，∑|dx|，∑|dy|)，整個區域就有 4×4×4=64維的特征向量。

為了讓SURF描述子更具有特征性，可將SURF 64維的特征向量擴展為128維［9］。利用128維的描述子進行匹配，其可靠性和魯棒性會增強，但是匹配的時間將會大幅度提高，影響整個匹配的效率。

1.3 FAST－SURF自動配準方法

基于FAST和SURF描述子的自動配準方法流程如圖2所示。

圖2 FAST－SURF自動配準方法流程Fig.2 Flow chart for automatic registration method based on FAST－SURF

1)將待配準圖像和參考圖像從RGB彩色空間轉換到HSI彩色空間，以獲取2幅圖像的I分量作為特征點提取圖像。由于HIS模型中I分量與圖像的彩色信息無關，因此，盡管參考圖像和待配準圖像可能為不同時相的數據，在色調上呈現較大差異，用I分量進行后續處理，仍可減少因色調差異造成的不匹配。

2)建立高斯金字塔。由于參考圖像與待配準圖像空間分辨率上通常存在差異，而FAST角點檢測算法不具備尺度不變性，因此利用高斯金字塔來建立多分辨率分析。圖像的高斯金字塔分解通過依次對低層圖像用大小為5像元×5像元的高斯窗口函數進行低通濾波處理后作隔行、隔列的降2下采樣來實現。

3)FAST角點檢測。該步驟涉及到的參數包括FAST角點閾值設置和是否進行極大值抑制。前者一般設置為12，后者通常選擇進行極大值抑制。

4)SURF特征描述。對2幅圖像檢測到的FAST角點計算SURF特征描述子。涉及的閾值包括Hessian閾值、Octave層數和個數。

5)特征匹配。為了提高匹配點搜索效率，本文采用K－D樹算法［17］來獲取匹配點，它在高維二叉樹上實現了對給定特征點的快速最近鄰查找。具體做法為:首先利用匹配點搜索算法，找到與待匹配點距離最小(NN)和次最小(SCN)的點，然后計算最小距離與次最小距離的比率(NN/SCN)，如果該值小于閾值則認為最近鄰點是較好的匹配。本文閾值的取值范圍是［0.6，0.7］。

6)錯誤匹配點剔除。針對參考圖像和待配準圖像得出的匹配點對中通常存在錯誤匹配的情況，本文使用最小二乘迭代法來剔除錯誤匹配點。

首先利用最小二乘原理擬合幾何變換系數，并計算每個匹配點對的殘差(Δx，Δy)，再根據

計算匹配點對的均方根誤差。式中:M代表匹配點對的數量;RMSE是匹配點對的均方根誤差;為第m個匹配點對點的參考坐標;為第m個匹配點對點的預測坐標。通常設定一個閾值(如1個像元)，如果RMSE大于該閾值，則刪掉殘差最大的匹配點對，反復迭代計算，直到RMSE小于閾值或者剩余匹配點對數量小于等于4為止。

7)變換模型和重采樣。得到正確匹配的特征點之后，需要選擇相應的變換模型進行參數求解，進而實現圖像間的配準。本文使用多項式糾正模型，在地形平坦地區使用一次多項式，地形起伏較大地區使用二次或三次多項式。在求取待配準圖像與參考圖像之間的幾何變換模型參數后，需要對待配準圖像求取輸出圖像各像元的灰度值，即進行灰度重采樣。本文使用速度較快的雙線性插值法。

2 應用與分析

2.1 實驗數據

為了對本文方法(簡寫為FAST－SURF方法)的效果進行驗證，選擇兩組圖像(圖3)進行方法實驗，并與基于SURF的自動匹配方法(簡寫為SURF方法)、ENVI軟件中的自動配準方法(簡寫為ENVI方法)進行了比較。

圖3 兩組實驗圖像Fig.3 Two groups test images

如圖3所示，第一組圖像的參考圖像為天津市區的ALOS衛星多光譜圖像(圖3(a))，空間分辨率為10 m，圖像大小為400像元×400像元，獲取日期為2009年10月17日;待配準圖像為從 Google Earth截圖的GeoEye圖像(圖3(b))，空間分辨率經計算為5.56 m，圖像大小為900像元×680像元，獲取日期為2009年11月18日。該組數據的特點為參考圖像與待配準圖像來自不同傳感器、不同時相且圖像色調差異較大。

第二組圖像的參考圖像為天津市區ALOS衛星全色波段圖像(圖3(c))，空間分辨率為2.5 m，圖像大小為1500像元×1500像元，獲取日期為2009年10月17日;待配準圖像為ALOS衛星同時間獲取的10 m多光譜圖像(圖3(d))，圖像大小為380像元×380像元。該組數據的特點為參考圖像與待配準圖像是來自同一傳感器的全色與多光譜圖像，空間分辨率差異約為4倍。

2.2 結果分析

在對兩組圖像的處理過程中，應用 FASTSURF方法的參數設置情況見表1。

表1 兩組圖像自動配準中FAST－SURF方法參數設置Tab.1 Parameters setting of FAST －SURF method for automatic registration of two group images

在對第一組圖像的處理過程中，使用該組參數對該算法連續運行了5次，獲得的匹配點數分別為87，84，68，83 和82，相對應的匹配誤差分別為0.44，0.43，0.43，0.42 和 0.42 個像元，匹配點對數的均值為81個，匹配誤差的均值為0.43個像元。

應用SURF方法的參數設置情況見表2。可以看出，SURF方法獲得的匹配點數和誤差情況比較穩定。

表2 兩組圖像自動配準中SURF方法參數設置Tab.2 Parameters setting of SURF method for automatic registration of two group images

ENVI方法參數設置除修改了 Number of tie point參數外，其他參數均使用了默認的經驗優化值，具體情況見表3。

表3 兩組圖像自動配準中ENVI方法參數設置Tab.3 Parameters setting of ENVI method for automatic registration of two group images

對兩組圖像分別使用3種方法獲得的匹配點數量和匹配誤差統計情況見表4。

表4 3種方法獲得的匹配點數與匹配誤差Tab.4 Matching point numbers and matching errors of three methods for two group images

續表4

從表4可以看出，在對第一組圖像的實驗中，FAST－SURF方法獲得了最多的匹配點對和最小的匹配誤差。其中，FAST－SURT方法的匹配點對數遠多于SURF方法和ENVI方法的;SURF方法的匹配誤差略大于FAST－SURF方法的，ENVI方法的匹配誤差則遠超過1個像元。對ENVI方法初始匹配獲得的31個匹配點對按單點誤差大小順序來剔除錯誤匹配點，當只剩下11個匹配點對時，匹配誤差能達到0.4，該值略優于FAST－SURF方法，但此時其匹配點數量相比FAST－SURF方法更少了。此外，ENVI方法獲得的匹配點對分布最為均勻。該組圖像的配準結果如圖4所示。

圖4 第一組圖像配準結果Fig.4 Registration results of the first group images

可以看出，3種方法都較好地修正了配準前圖像(圖4(a))上地物的幾何位置偏差，尤其是對道路的位置偏差修正較好。但SURF和ENVI方法的配準結果(圖4(c)，(d))顯示出房屋匹配處存在微小的錯位，且SURF方法的配準結果比ENVI方法的稍嚴重，而FAST－SURF方法的結果(圖4(b))則在房屋處匹配很好，看不出錯位。FAST－SURF方法自動配準結果優于另外2種方法的原因在于該方法獲得了更多、更準確的匹配點對。

在對第二組圖像的實驗中，FAST－SURF方法同樣獲得了最多的匹配點對和最小的匹配誤差(表4)。其中，FAST－SURF方法的匹配點對數量遠多于SURF方法和ENVI方法的;匹配誤差遠低于SURF方法的;ENVI方法的匹配誤差略小于FAST－FAST方法的，但匹配點數則遠小于FASTSURF方法的相應值。對ENVI方法初始獲得的14個匹配點對按單點誤差大小順序來剔除錯誤匹配點，當只剩下5個匹配點對時，匹配誤差能達到0.63，該值優于FAST－SURF方法的相應值。經比較，匹配點對分布最為均勻的仍然是ENVI方法。該組圖像配準結果如圖5所示。

圖5 第二組圖像配準結果Fig.5 Registration results of the second group images

可以看出，FAST－SURF(圖5(b))和SURF(圖5(c))方法都較好地修正了配準前圖像(圖5(a))上地物的幾何位置偏差，配準后圖像上河流、道路匹配得較好。通過細節比較可以發現，SURF方法配準結果優于FAST－SURF方法的，在后者圖像的左上部分，河流、道路的配準依然有微小偏差。但ENVI方法的結果仍存在較明顯的幾何偏差(圖5(d))。在前面統計中，ENVI方法在剔除其誤差大的匹配點后，總匹配誤差達到了0.63，遠低于FAST－SURF方法和SURF方法的匹配誤差。經檢查，ENVI方法自動獲取的匹配點對存在較明顯的位置差異，并不是真正有效的匹配點對，因此獲得的自動配準結果存在問題。

需要說明的是，盡管FAST－SURF方法能獲得更多的匹配點對和更小的匹配誤差，但在對于參考圖像與待配準圖像的空間分辨率差異比例為4倍的情況下，自動配準結果是不如SURF方法的，SURF算法的尺度不變性特征在此時凸顯了優勢。

3 結論

本文提出了一種基于FAST角點和SURF描述子的遙感圖像自動配準方法。對比實驗結果表明，在參考圖像與待配準圖像來自不同傳感器，且色調差異較大的情況下，該方法比基于SURF特征的自動配準方法和ENVI軟件中自動獲取配準點的方法能獲得更多的匹配點對和更好的幾何配準效果;在參考圖像與待配準圖像來自同一傳感器且空間分辨率差異較大時，該方法配準效果優于ENVI軟件中自動獲取配準點的方法，但不如基于SURF特征的自動配準方法。因此，該方法在尺度不變性方面存在的不足是下步研究中需要改進的重點。

［1］Zitová B，Flusser J.Image Registration Methods:A Survey ［J］.Image and Vision Computing，2003，21(11):977 －1000.

［2］Brown L G.A Survey of Image Registration Techniques［J］.ACM Computing Surveys，1992，24(4):325 －376.

［3］Lowe D G.Distinctive Image Features from Scale－ Invariant Key points［J］.International Journal of Computer Vision，2004，60(2):91－110.

［4］李曉明，鄭 鏈，胡占義.基于SIFT特征的遙感影像自動配準［J］.遙感學報，2006，10(6):885 －892.

［5］Cheung W，Hamarneh G.N －SIFT:N －dimensional Scale Invariant Feature Transform for Matching Medical Images［C］//IEEE International Symposium on Biomedical Imaging，from Nano to Macro，Arlington，VA，2007:720 －723.

［6］李芳芳，肖本林，賈永紅，等.SIFT算法優化及其用于遙感影像自動配準［J］.武漢大學學報:信息科學版，2009，34(10):1245 －1249.

［7］Yu L，Zhang D R，Holden E J.A Fast and Fully Automatic Registration Approach Based on Point Features for Multi－source Remote － sensing Images［J］.Computers ＆ Geosciences，2008，34(7):838－848.

［8］王瑞瑞，馬建文，陳 雪.基于歸一化SIFT算法的不同光學影像配準［J］.計算機工程，2010，36(19):21 －23.

［9］Bay H，Ess A，Tuytelaars T，et al.SURF:Speeded Up Robust Features［J］.Computer Vision and Image Understanding，2008，110(3):346－359.

［10］Valgren C，Lilienthal A.SIFT，SURF and Seasons:Long － term Outdoor Localization Using Local Features［C］//Proceedings of the European Conference on Mobile Robots(ECMR)，Freiburg，Germany，2007:253 －258.

［11］Gil A，Mozos M，Ballesta M，et al.A Comparative Evaluation of Interest Point Detectors and Local Descriptors for Visual SLAM［J］.Machine Vision and Applications，2010，21(6):905 －920.

［12］Murillo A C，Guerrero J J，Sagues C.Surf Features for Efficient Robot Localization with OmnidirectionalImages［C］//IEEE International Conference on Roboties and Automation，Roma，Italy，2007:3901－3907.

［13］張銳娟，張建奇，楊 翠.基于SURF的圖像配準方法研究［J］.紅外與激光工程，2009，38(1):160 －165.

［14］Rosten，Drummond T.Machine Learning for High － speed Corner Detection［C］//European Conference on Computer Vision，Graz，Austria，2006:430 －443.

［15］燕 鵬，安 如.基于FAST改進的快速角點探測算法［J］.紅外與激光工程，2009，38(6):1104 －1108.

［16］林曉帆，林立文，鄧 濤.基于SURF描述子的遙感影像配準［J］.計算機工程，2010，36(12):216 －218.

［17］Friedman J H，Bentley J L，Finkel R A.An Algorithm for Finding Best Matches in Logarithmic Expected Time［J］.ACM Transactions on Mathematical Software，1977，3(3):209 －226.

An Automatic Registration Method of Remote Sensing Imagery Based on FAST Corner and SURF Descriptor

LI Hui1，2，3，LIN Qi－ zhong1，2，LIU Qing － jie1，2
(1.Center for Earth Observation and Digital Earth，Chinese Academy of Sciences，Beijing 100094，China;2.Key Laborary of Digital Earth Sciences，Chinese Academy of Sciences，Beijing 100094，China;3.Graduate University of Chinese Academy of Sciences，Beijing 100049，China)

An automatic geometry registration method based on Features from Accelerated Segment Test(FAST)corner detector and Speeded Up Robust Features(SURF)is proposed in this paper.Firstly，applying HSI transform on both the reference image and the image to registration，and then building gauss pyramid of the images.Secondly，detecting and extracting the FAST corner points of both images，and calculating the SURF descriptors of the corner points，following by searching match point pairs by K － D tree.Thirdly，iteratively using partial minimum least squares to remove error point pairs and then calculate the geometry transform coefficients.Lastly，excuting the geometry transform to get the registration image.An experiment on two groups of images was performed，in which the proposed method was respectively compared with the automatic registration method based on SURF features and the method used in ENVI software to obtain ground control points automatically，and the results show that the proposed method can get more match points and obtain higher geometric accuracy，except which is slightly inferior to SURF algorithm in scale invariance.

remote sensing imagery;automatic registration;features from accelerated segment test(FAST);speeded－up robust features(SURF);gaussian pyramid

TP 751.1

A

1001－070X(2012)02－0028－06

2011－09－13;

2011－12－04

國家“十一五”科技支撐重點項目(編號:2006BAB01A02)、中國科學院對地觀測與數字地球科學中心數字地球科學平臺重大項目(編號:DESP01－04－10)和國家自然科學基金項目(編號:41001266)共同資助。

10.6046/gtzyyg.2012.02.06

李 慧(1984－)，女，中國科學院對地觀測與數字地球科學中心在讀博士研究生，主要從事遙感圖像處理和遙感信息提取方面的研究。E－mail:hli@ceode.ac.cn

(責任編輯:刁淑娟)