圖像配準中特征點檢測算法的探討

紀利娥，楊風暴，王志社，陳 磊

(中北大學信息與通信工程學院，山西 太原 030051)

圖像配準是指將不同條件(時間、視角等)或不同傳感器下獲得的同一場景的兩幅或多幅圖像進行匹配的過程，即尋找一種空間映射關系，使兩幅圖像中代表同一目標的對應點達到空間位置上的一致［1－2］。它是圖像融合、目標識別等技術的關鍵前提，在醫學、軍事及遙感等領域具有廣泛的應用。

基于特征點的配準方法是研究的熱點，它主要包括特征點提取、特征點匹配、計算變換模型參數和圖像變換與插值4個部分。其中，特征點檢測是圖像配準的重點和難點，特征點提取的好壞直接影響著圖像配準的精度和效率［3］。近幾年，國內外出現了許多特征點檢測方法，然而對這些方法應用于圖像配準這個環境中的實際效果如何，提取的特征點是否有利于圖像配準，以及各種特征點檢測算法的性能如何，都缺乏相應的分析與比較，對特征點提取方法也缺乏相應的評價標準。

本文主要從特征點檢測與評價這兩個方面出發，詳細介紹了目前主流的特征點檢測算法，并對特征點提取算法的評價標準作了一定的具體說明。通過實驗，比較了各種算法的性能，為不同應用情形下特征點提取方法的選擇提供有力的參考。

1 特征點檢測方法

圖像配準中的特征點是指對旋轉、平移、縮放、光照等變換具有不變性，對噪聲的敏感性也比較小，在不同成像條件下仍能保持一致性。

常用的特征點檢測算法可以歸納為以下三類:

1)基于邊緣點的提取方法:如LOG檢測、Canny算子、基于小波變換的提取方法、基于NSCT(Nonsubsampled Contourlet Transform)的魯棒性特征點等。

2)角點檢測方法:主要包括基于邊緣和基于灰度的方法，第一類需對邊緣進行編碼，對圖像分割和邊緣提取要求比較高，難度和計算量較大;第二類方法直接對圖像灰度進行操作，主要是通過計算點的曲率及梯度來檢測角點，此類方法主要有Moracec算法、Forstner算法、Harris算法、Susan算法等。

3)高效斑點檢測算法:如SIFT(Scale Invariant Feature Transform)算法、SURF(Speeded Up Robust Features)算法等。

本文將對上述3類特征點中一些典型算法做詳細的分析與比較。

1.1 基于NSCT的特征點檢測方法

非下采樣輪廓波變換(NSCT)是Cunha和Zhou等人［4］提出的一種多尺度多分辨率分析手段，具有快速變換、多尺度、多方向、平移不變、邊緣保持、頻率不混淆以及變換后圖像大小不變的優點;在NSCT域中，尺度內、尺度間的系數都具有一定的相關性，噪聲和細節在尺度間、尺度內各方向分布也具有不同的特點。

基于NSCT的特征點檢測方法［5］步驟如下:

1)對圖像進行N級NSCT變換，得到低頻子帶圖像及各尺度L個方向上的高頻方向子帶系數矩陣。

2)對于高頻分量，求相鄰尺度同一方向子帶的差值模值，得到L個差值子帶圖像。

3)對于所獲得的差值子帶圖像，針對圖像每一個像素點位置，進行模極大值檢測，得到一幅NSCT模極大值圖像。

4)在NSCT模極大值圖像上利用硬閾值Th去除非顯著的特征點，如NSCT模極大值大于閾值Th，則保留這些點;其中，Th=c(δ+μ)，c是用戶自定義參數，δ和μ是NSCT模極大值圖像的標準方差和均值。

5)以4)保留下來的模極大值點為中心，在w×w的鄰域內進行非極大值抑制，最后得到的點作為所提取的特征點。

基于NSCT的特征點提取方法的特點:

1)該算法采用多尺度空間思想，充分利用了NSCT域尺度內、尺度間系數的相關特性這一特點，能有效地抑制噪聲、增強特征點;

2)NSCT具有很好的方向性，提取的特征點多位于圖像的邊緣、拐角處，具有很高的精度且魯棒性強，很好地表征圖像的顯著特征;

3)NSCT是全局變換，由于其非下采樣，變換后的圖像大小不變，與小波變換相比，計算速度慢，對圖像配準而言缺乏實時性。

1.2 基于灰度的角點檢測方法

1)Harris算法

Harris角點［6］檢測算法的思想是:使圖像中的一個局部小區域在各個方向做微小移動，計算該區域內能量的變化，當該變化值超過一定閾值時，就認為該小區域內的中心像素點為角點。

Harris算法為

當某點的響應值R大于閾值t，進行局部極大值抑制，獲得最終的角點。

Harris算法的特點是:

(1)算法只用到了灰度一階差分，計算簡單，速度快。

(2)算法通過計算圖像每個位置的響應值，在合適的領域內選擇最優點，提取的點特征均勻合理，在紋理信息豐富的區域，角點的數量較大，反之亦然。

(3)通過對極值點進行統一排序，根據時間和精度要求選取數量合理的最優角點。

(4)Harris算子對圖像平移旋轉和光照變化具有不變性，能夠穩定地檢測特征點;對噪聲比較敏感，在信噪比低的條件下，特征點數量明顯增加，加大了特征匹配的難度;且不具有尺度不變性和仿射不變性。

為了使Harris算子具有尺度不變性，把尺度空間理論引入到 Harris特征點檢測上。Harris－Laplace［7］算子檢測的特征點具有尺度不變性。

Harris－Affine［7］是一種新穎的檢測仿射不變特征點的方法。在大尺度縮放變化的情況下，具有很好的性能;由于初始點檢測和仿射區域的歸一化，計算具有一定的復雜度。

2)Susan算法

Susan算法是由S.M.Smith等人［8］提出的，主要用來計算圖像中的角點特征。SUSAN角點提取法主要有以下3步:

(1)計算核值相似區USAN的大小n( r0)

式中:r為模板內除核以外的其他位置;r0為模板核的位置;I為像素灰度值;t表示所能檢測角點的最小對比度，其值越小，提取的角點越多;C(r，r0)表示灰度比較的結果。

(2)計算角點響應值R( r0)

式中:g為固定閾值，通常g=nmax/2;nmax為模板的大小減1，其大小不僅決定了角點的個數，也決定所檢測角點的尖銳程度。

(3)去除虛假角點，并利用非極大值抑制確定角點:對于那些與正確角點相關的USAN區域，其重心位置遠離模板的中心位置，利用加權法求重心，計算核到重心的距離，距離比較大，則認為該角點是候選角點。

Susan算法的特點:

(1)無須梯度計算，提高了算法的效率;

(2)具有積分特征，對局部噪聲不敏感，抗干擾能力強;

(3)對角點的檢測比對邊緣的檢測效果好，且特征點定位比較準確;

(4)針對模糊或者強噪聲圖像的檢測結果，無論準確率還是數量，都不太理想;

(5)該算法對閾值較敏感，選取合適的參數對算法結果影響很大，同時會出現漏檢和誤檢測角點。

1.3 高效斑點檢測方法

1)SIFT算法

SIFT算法是Lowe［9］提出的一種尺度不變特征點檢測方法，計算步驟如下:

(1)特征點檢測

將不同尺度的高斯差分核與圖像進行卷積，在生成的高斯差分尺度空間(DOG)檢測極值點，這樣提取的特征點較穩定。

式中:k為兩相鄰尺度空間倍數的常數;G(x，y，δ)為高斯空間函數。

將每一個采樣點與它同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點進行比較，在尺度空間和位置空間尋找局部極值點，視為候選點。然后通過子像元插值法精確定位特征點的位置及尺度，同時去除低對比度的特征點和不穩定的邊緣響應點。

作為候選特征點，通過擬合三維二次函數以精確定位特征點的位置和尺度，同時去除低對比度的特征點和不穩定的邊緣響應點。

(2)特征點描述

根據檢測到的特征點的局部圖像結構求得一個方向基準，使得特征點描述子對圖像的旋轉具有不變性。(x，y)處梯度的模值和方向公式如下

式中:L所在的尺度為每個特征點所在尺度。

為確保旋轉不變性，將高斯圖像坐標軸旋轉為特征點的主方向。取以特征點為中心的4×4子區域，在每個子區域計算8個方向的梯度強度信息，共有4×4×8=128維的SIFT特征向量。此時該向量具有尺度及旋轉不變性。再對特征向量歸一化，可去除光照變化帶來的影響。

SIFT算法的特點:

(1)在多尺度空間采用DOG算子檢測關鍵點，相比傳統的基于LOG算子的檢測方法，運算速度大大加快;

(2)該算法提取的特征點較穩定，能夠在圖像仿射變換、視角變換及噪聲等條件下具有很好的匹配能力;

(3)傳統的SIFT算法維數較高，計算量大，速度慢;

(4)SIFT提取的特征點較多，使匹配時搜索范圍大，增加了匹配時間和錯匹配的概率。

針對SIFT算法速度較慢的問題，Ke等人［10］提出了PCA－SIFT算法，通過主成分分析降低了特征向量的維數，使計算復雜度下降。

2)SURF算法

Bay等人［11］通過將積分圖像和Haar小波相結合，提出了SURF算法，進一步提高了特征提取的速度。主要包括兩個部分:特征點檢測和描述。

(1)特征點檢測

SURF算法通過計算Hessian矩陣行列式的局部極值來檢測特征點的位置。

設圖像I中一個點X(x，y)，在點X處，尺度為δ的Hessian矩陣H(X，δ)為

式中:Lxx(X，d)是圖像 I中點 X與高斯二階濾波?2g(δ)/?x2的卷積;Lxy(X，d)和 Lyy(X，d)的含義類似。

將盒子濾波器與圖像進行卷積，其結果分別為Dxx，Dxy和Dyy，則Hessian矩陣的行列式可簡化為

通過不同尺寸盒子濾波模板與積分圖像求取Hessian矩陣行列式的響應圖像，并在響應圖像上進行3D非最大值抑制，求取各種不同尺度的斑點。

(2)特征點描述

首先確定SURF描述子的主方向以確保其旋轉不變性。以特征點為中心，取半徑為6δ(δ為特征點所在尺度)的區域作為其鄰域，直方圖統計鄰域內各點的梯度和方向。以π/3為步長，找到具有最大分布響應的角度，將其作為該特征點的主方向;確定大小為20δ的矩形區域，將其劃分為4×4的子區域，在每一個子區域內提取特征V

式中:dx，dy分別表示Harr小波在水平和垂直方向的響應值。

這樣，每個特征描述子都由4×4×4=64維的特征向量組成。通過對特征向量進行歸一化來實現對光照的不變性。

SURF算法的特點:

(1)SURF算法引入積分圖像和盒子濾波器，在運算速度上比SIFT要快3倍左右，適用于圖像分辨率變化較大的情況;

(2)對尺度、旋轉、光照及視角變化等具有較強的魯棒性和穩定性;

(3)在同一情況下，所提取的特征點數量少于SIFT特征點，綜合性能優于SIFT算法。

2 特征點檢測方法評價

特征點提取是圖像配準的重要步驟，只有保證特征點準確可靠，才能進行有效配準。因此，不僅要通過主觀視覺對特征點進行判斷，還要通過客觀指標對特征點進行準確評價。

在圖像配準這個應用環境中，特征提取方法的好壞有其特定的涵義:特征點的數量要適中，特征點過多會給后續的特征匹配帶來嚴重的運算負擔，特征點過少可能無法滿足變換模型的計算，且影響配準的精度;對于不同傳感器圖像及圖像的不同變化，特征提取方法要有一定的適應性，且特征點要保持一定的不變性，才能使從不同圖像提取的特征點能夠精確匹配。綜上所述，本文從3個方面對特征點檢測方法進行評價。

1)特征點匹配率

特征點匹配率是指特征點匹配點對數與參考圖像所有的特征點數之比。對于相同的實驗圖像，特征點匹配率越高，特征檢測算法的性能越好。

2)檢測速度

通過特征點檢測所用時間來評價算法的速度。對于相同的圖像，在相同的計算條件下，計算時間長說明特征檢測算法速度慢。

3)不變性

對圖像的旋轉、平移、光照、仿射、噪聲等變化，所提取的特征點應具有一定的不變性，才能保證不同圖像之間的配準精度。

3 實驗結果與分析

本文采用MATLAB 7.0對上述特征點檢測算法進行實驗。

3.1 Harris算法與Susan算法特征點檢測比較

Harris算子和Susan算子在各種情況下的特征點檢測結果如圖1、圖2所示，實驗圖像大小為169×169。

從上述實驗結果可以看出，這兩種特征點檢測算法對圖像旋轉都具有一定的適應性，但Harris算法具有明顯的優勢;在噪聲存在的情況下，特征點都明顯增多。表1比較了算法的實時性及抗噪聲能力，從表1可以看出Harris算子由于使用梯度，速度較慢，對灰度和幾何變換的適用性稍優于Susan算子。

表1 Harris算子與Susan算子性能比較

3.2 SIFT算法與SURF算法特征點檢測比較

本文在保持實驗條件、主要參數一致的基礎上，從特征點檢測時間、特征點個數以及視角、光照和仿射變化下的匹配率這些方面對這兩種算法進行對比，圖3顯示了兩種算法在主要參數(組octaves=4，層levels=4)相同的情況下對同一幅實驗圖像提取的特征點情況，并通過表2對這兩種算法的性能進行比較，實驗圖像大小為205×305。

表2 SIFT算法與SURF算法性能比較

從表2可以看出，SURF比SIFT在時間上有很大的提高;對于圖像的視角、光照及仿射變化，這兩種算法都具有一定的適應性;SURF檢測的特征點明顯不如SIFT豐富，但匹配率卻比SIFT高。從實驗結果可以看出:SURF在綜合性能上要優于SIFT算法。

4 小結

基于特征點的圖像配準方法是圖像配準領域很重要的研究方向。特征點檢測是圖像配準的關鍵技術，特征點的好壞直接影響著后續圖像配準的精度和效率。現有主流的特征點檢測方法，都有其一定的局限性。本文對典型的特征點檢測算法的優缺點進行詳細的分析與比較，并給出了特征點評價的方法。

從圖像配準的角度出發，對于特征點的提取，必須要考慮它的實時性、高精度和魯棒性。隨著圖像配準實際應用的需求，對圖像特征點提取方法必須進行深入研究，提出性能好的新方法，使基于特征點的圖像配準方法具有良好的發展前景。

［1］趙芹，周濤，舒勤.基于特征點的圖像配準技術探討［J］.紅外技術，2006，28(6):327－330.

［2］劉瓊，倪國強，周生兵.圖像配準中幾種特征點提取方法的分析與實驗［J］. 光學技術，2007，33(1):62－67.

［3］GUARNERI I，GUARNERA M，LUPICA G，et，al.Image registration method for consumer devices［J］.IEEE Trans.consumer electronics，2005，51(3):215－219.

［4］CUMHA A，ZHOU Jianping，DO M.The nonsubsampled contourlet transform:theory，design，and application［J］.IEEE Trans.Image Processing，2006，15(10):3089－3101.

［5］CHAHIRA S，MOURAD B，YOUCEF B，et al.Robust feature points extratction for image registration based on the nonsubsanmpled contourlet transform［J］.Int.J.Electron.Commun.(AEU)，2009(63):148－152.

［6］HARRIS C，STEVEN M.A combined corner and edge detector［C］//Proc.the fourth Alvey Vision Conference.Manchester，UK:［s.n.］，1988:147－151.

［7］MIKOLAJCZYK K，SCHMID C.Scale ＆ affine invariant interest point detectors［J］.International Journal of Computer Vision，2004，60(1):63－86.

［8］SMITH S，BRADY J.SUSAN－a new approach to low level image processing［J］.International Journal of Computer Vision，1997，23(1):45－78.

［9］LOWE D.Distinctive image features from scale－ivariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91－110.

［10］YE K，SUKTHANKAR R.PCA－SIFT:A more distinctive representation for local imagw descriptors［C］//Proc.Conference on Computer Vision and Patter Recognition.［S.l.］:IEEE Press，2004:511－517.

［11］BAY H，ESS A，TUYTELAARS T，et al.Speeded－up robust feature［J］.Computer Vision and Image Understanding，2008，110(3):346－359.