基于改進(jìn)型Harris尺度不變特征的圖像配準(zhǔn)算法研究

鄭 瑤

(梧州學(xué)院 電子與信息工程學(xué)院，廣西 梧州 543002)

圖像配準(zhǔn)(Image Registration)是圖像處理研究領(lǐng)域的一項重要內(nèi)容，可以實現(xiàn)對2幅或多幅圖像的比較或融合[1]，在圖像拼接、圖像識別、遙感監(jiān)測與監(jiān)控等計算機視覺領(lǐng)域應(yīng)用廣泛。根據(jù)圖像配準(zhǔn)中利用的圖像信息的不同，可將圖像配準(zhǔn)方法分為3大類：基于灰度圖像配準(zhǔn)、基于變換域圖像配準(zhǔn)和基于特征匹配的方法[2]。其中，基于特征圖像配準(zhǔn)的方法利用了圖像的顯著特征(如角點、斑點和區(qū)域等)進(jìn)行匹配，具有計算量小、速度快、精度高，即使圖像在噪聲干擾、仿射變換等情況下也具有較強的魯棒性等優(yōu)點[3]，是圖像配準(zhǔn)技術(shù)的主流方向，也是筆者重點研究并加以實踐的圖像配準(zhǔn)方法。

使用特征點匹配的主要步驟如下：特征點檢測、生成特征描述子、特征點匹配[4]。常用的特征點提取算子如Harris角點檢測、尺度不變SIFT特征點檢測、加速穩(wěn)健SURF特征點檢測等。其中，Harris角點檢測與SIFT特征點檢測性能穩(wěn)定，一直是圖像配準(zhǔn)算法研究的熱點。Harris角點檢測算法于1988年由Harris提出[5]，通過構(gòu)造1個2×2的Harris矩陣，利用微分算子和矩陣特征值進(jìn)行特征點的判定，具有較高的檢測率，并且不易受光照、旋轉(zhuǎn)、噪聲等的影響。但是，該算法不具備尺度不變性，在圖像縮放后，角點定位存在偏差，導(dǎo)致匹配不準(zhǔn)確。SIFT算法在2000年由Lowe提出[6]，利用金字塔和高斯濾波差分來構(gòu)建高斯差分尺度空間，以使算法具備尺度不變性。此外，SIFT特征在圖像旋轉(zhuǎn)、仿射變換和視角變換下也有很好的不變性，對噪聲的影響也表現(xiàn)出了較好的魯棒性，被廣泛地應(yīng)用于圖像配準(zhǔn)和圖像識別領(lǐng)域中。但是，該算法也存在缺陷[7]，由于每個特征點的檢測都需要在多個尺度空間下與鄰域進(jìn)行比較計算，計算過程較為復(fù)雜，難以適應(yīng)實時運算的需求。

由于Harris角點檢測算法和SIFT特征點檢測經(jīng)典算法各自存在缺陷，所以本研究提出一種基于Harris尺度不變特征的圖像配準(zhǔn)算法，即在多尺度下，采用改進(jìn)的Harris角點檢測算法進(jìn)行角點檢測；對于目標(biāo)像素點，再以該點為中心的3×3的8鄰域內(nèi)進(jìn)行角點響應(yīng)最大值的搜索。為了求得角點在位置空間和尺度空間的精確響應(yīng)值，還需驗證每個尺度下的候選角點在LOG尺度空間中是否是極值點，以實現(xiàn)精確定位。特征點提取后采用改進(jìn)的SIFT特征描述子對特征進(jìn)行描述，利用圓自身的旋轉(zhuǎn)不變性，避免了主方向的確定，從而生成64維特征描述子。圖像配準(zhǔn)過程中采用歐式距離作為相似性度量，進(jìn)行2幅圖像特征點對的粗匹配，并使用RANSAC算法來消除誤匹配點對，完成圖像配準(zhǔn)。采用MATLAB 7.0對本研究提出的算法與經(jīng)典SIFT圖像配準(zhǔn)算法進(jìn)行仿真試驗對比，從旋轉(zhuǎn)變化、角度變化、仿射變化、尺度變化等方面來驗證本算法的可行性。

1 尺度不變性Harris角點檢測算法

經(jīng)典的Harris角點檢測算法計算簡單，提取的角點穩(wěn)定可靠，具備旋轉(zhuǎn)不變性、光照強度不變性，但是不具備尺度不變性。因此本研究在經(jīng)典Harris角點檢測算法中引入尺度空間[8]，將Harris角點檢測算子與高斯尺度空間相結(jié)合，使Harris角點檢測算法具有尺度不變性，能在多個尺度下檢測特征點，并根據(jù)拉普拉斯響應(yīng)極值確定特征尺度。

1.1 多尺度Harris角點校測

與經(jīng)典Harris角點檢測算法一樣，一幅圖像在不同尺度下的尺度空間L(x，y，σ)也是由圖像I(x，y)與二維高斯函數(shù)g(x，y，σ)的卷積運算產(chǎn)生：

L(x，y，σ)=g(x，y，σ)?I(x，y)

(1)

其中，σ是尺度因子，本研究設(shè)高斯平滑函數(shù)的尺度參數(shù)分別為σ0、kσ0、k2σ0、k3σ0…ks-1σ0，s表示尺度空間中圖像的層數(shù)，如圖1所示：

圖1 尺度空間搜索圖

多尺度的自相關(guān)二階矩陣M相應(yīng)表示為

(2)

與經(jīng)典算法相比，該矩陣增加了2個高斯尺度參數(shù)[8]，σI為積分尺度，它決定Harris角點當(dāng)前尺度變量，該值越大說明尺度越大。σD為微分尺度或者局部尺度，它決定角點附近微分值變化的變量，是一個高斯平滑參數(shù)，抑制拉普拉斯變化后產(chǎn)生的微小噪聲點。

經(jīng)典Harris角點檢測算法計算二階矩陣M的行列式的值det(M)和矩陣的跡trace(M)，并根據(jù)公式(3)計算每個像素點的角點響應(yīng)函數(shù)值：

R=det[μ(x,σI,σD)]-αtrace2[μ(x,σI,σD)]

(3)

公式(3)中的α憑經(jīng)驗取值，一般取0.04～0.06，經(jīng)驗值使得角點定位出現(xiàn)偏差，影響后續(xù)的圖像配準(zhǔn)精度。

為了避免α值的選取，本研究采用文獻(xiàn)[9]中的方法，角點響應(yīng)函數(shù)的表示為

(4)

公式(4)中，ε可以取任意小的量以防止出現(xiàn)分母為0的情況。

計算出角點響應(yīng)值后，第一步通過人為設(shè)定閾值TH，判斷某尺度σn下，角點響應(yīng)值R是否滿足大于閾值TH，閾值TH=0.01×Rmax，Rmax為角點響應(yīng)最大值。對于滿足第一步的角點作為候選角點，第二步采用8鄰域內(nèi)角點響應(yīng)極大值搜索。

1.2 角點特征尺度值搜索

應(yīng)用尺度空間后，多尺度Harris算法需要在每個尺度σn都進(jìn)行檢測，會檢測出大量的冗余特征點，增加了運算時間。本研究采用自適應(yīng)尺度選擇的角點檢測算法，即找到局部特征點的典型尺度，此時該特征點就無需再用原來的多個尺度來表示，將2幅圖像里的特征點各自變換到典型尺度下，即進(jìn)行歸一化操作就可以進(jìn)行匹配。這樣既滿足了尺度不變性，又在一定程度上去除了冗余特征點，簡化計算量。典型尺度根據(jù)候選角點對應(yīng)不同尺度LOG的響應(yīng)程度值來計算，找出LOG響應(yīng)值最大的尺度，即LOG窗口半徑3σ[8]。

LOG函數(shù)計算公式為

LOG(x,σn)=σ2|Lxx(x,σn)+Lyy(x,σn)|

(5)

搜索具備典型尺度的特征點及典型尺度值可以采用精確的迭代方法，但計算復(fù)雜，本研究采用簡化方法，即驗證每個尺度下的候選角點在LOG尺度空間中是否是極值點即可，若不是極值點則刪除該點。

上述算法引入了尺度空間，并利用尺度空間的拉普拉斯響應(yīng)確定特征尺度值，從而減少了其他尺度空間冗余點的檢測。在計算角點響應(yīng)值時避免了對自相關(guān)矩陣M的特征分解，也避免了系數(shù)α的選取，在一定程度上保證算法的穩(wěn)定性和準(zhǔn)確度。

2 特征點描述

檢測出Harris特征點后，為了實現(xiàn)特征點的匹配，還需要利用特征描述符來描述每一個特征點與周圍圖像的相互關(guān)系，生成特征向量。SIFT特征描述以特征點為中心，在以3σ為半徑的鄰域內(nèi)劃分4×4個區(qū)域，然后在每個區(qū)域內(nèi)計算8個方向的梯度并構(gòu)建梯度方向直方圖，梯度最大的方向作為主方向，從而為每個特征點形成128維特征向量[10]，每個特征點都具備位置、尺度、方向3個信息(x，y，σ，θ)[11]。

SIFT特征描述子具備較好的尺度不變性、旋轉(zhuǎn)不變性，歸一化處理后也可以更好地消除光照的影響，但是128維的特征描述子使得算法計算量太大，耗時過長。因此本研究對SIFT描述符進(jìn)行改進(jìn)，根據(jù)文獻(xiàn)[11]，利用圓來構(gòu)造特征描述符，生成64維特征矢量。

改進(jìn)的描述符構(gòu)造步驟如下：

(1)以特征點為中心，構(gòu)造一個半徑為8的同心圓環(huán)區(qū)域，如圖2所示：

圖2 多尺度Harris角點特征描述符

(2)仿照SIFT特征描述符的方法，計算每個像素梯度的幅角和幅值：

(6)

(7)

(3)統(tǒng)計第一個圓環(huán)內(nèi)像素在8個方向上的梯度累加值。由于圓本身具有旋轉(zhuǎn)不變性，每一個圓環(huán)內(nèi)的像素在圖像旋轉(zhuǎn)前后只有位置信息發(fā)生變化，而相對信息保持不變。因此，8個方向上的梯度累加值按照最大值循環(huán)移位的方式作為特征描述符的第1～8個向量。最大值循環(huán)移位法表示每次都將向量的最大元素移至向量頭部，這種做法可以避免在后續(xù)特征點匹配過程中，避免減小2個向量間的歐氏距離度量值。

(4)按照上述方法統(tǒng)計其余圓環(huán)內(nèi)的8個方向上的梯度累加值。8個同心圓環(huán)一共生成8×8=64個元素，因此本研究用64維向量作為特征點的描述符。

改進(jìn)的特征描述子利用了圓自身的旋轉(zhuǎn)不變性，因此不需要給特征點指定主方向。通過對每一圓環(huán)內(nèi)梯度累加值的最大值循環(huán)移位，可以消除向量間歐氏距離度量減小的后果，提高后續(xù)匹配的精度。將SIFT128維特征描述矢量降低至64維特征矢量，可以減少特征描述算法的復(fù)雜度，在后續(xù)匹配過程中縮短搜索時間，提高匹配速度。

3 特征點匹配

3.1 初始匹配

本研究選取歐氏距離函數(shù)作為相似性度量進(jìn)行特征點的匹配。在待配準(zhǔn)圖像中搜索與參考圖像某特征點距離最近和次近的2個特征點，然后將2個距離的比值與人工選擇閾值δ進(jìn)行對比，本研究閾值δ選取0.5。小于該閾值的確定為初始匹配特征對。同時，為了提高初始匹配對的精度，本研究采用雙向匹配策略，在2幅圖像中分別得到2組匹配點集中搜索相同的匹配特征點對，保留相同的特征點對作為初始匹配對。

3.2 匹配對提純

以上建立的初始匹配對中還可能存在著錯誤匹配對，本研究采用RANSAC隨機抽樣一致性算法[12]對變換矩陣進(jìn)行估計，RANSAC算法通過反復(fù)提取，采用最小的點集計算該變換矩陣的初始解，對點集與初始解的符合程度進(jìn)行檢驗，然后將距離小于閾值的點集作為內(nèi)點，大于閾值的點集作為外點去掉，最后再利用內(nèi)點重新計算變換矩陣的參數(shù)。RANSAC算法在求解的過程中剔除了誤匹配點，在保證圖像配準(zhǔn)的精度和魯棒性的同時，也使得圖像配準(zhǔn)速度大大提高。

4 試驗結(jié)果及分析

為了驗證本研究算法的可行性，選取4組圖像進(jìn)行驗證，每組圖像均采用經(jīng)典SIFT圖像配準(zhǔn)算法以及本研究算法進(jìn)行仿真，圖像匹配結(jié)果見圖3～6。試驗平臺為Windows 10操作系統(tǒng)，編程環(huán)境為MATLAB7.0。圖3中圖像為256×256的bmp圖像，圖像經(jīng)過了角度的旋轉(zhuǎn)變化；圖4中圖像為510×472的jpg圖像，是同一個場景在不同視角下所得到的2幅圖像；圖5中圖像為1024×720的jpg圖像，圖像經(jīng)過了仿射變換；圖6中a圖尺寸為300×211，b圖尺寸為341×240。b圖在a圖的基礎(chǔ)上尺寸增大。每組圖像的檢測時間、特征點數(shù)、匹配點對數(shù)見表1。

圖3 旋轉(zhuǎn)變化的圖像配準(zhǔn)

圖4 角度變化的圖像配準(zhǔn)

圖5 仿射變化的圖像配準(zhǔn)

圖6 尺度變化的圖像配準(zhǔn)

表1 旋轉(zhuǎn)變換的圖像配準(zhǔn)試驗結(jié)果

本研究結(jié)果表明，在多尺度下，采用改進(jìn)的Hariis角點檢測算法相對于經(jīng)典SIFT算法具備對旋轉(zhuǎn)變化、角度變化、仿射變化、尺度變化的不變性，同時還具有明顯的時間優(yōu)勢。由于采用了自適應(yīng)尺度選擇的角點檢測，特征點無需用多個尺度來表示，且描述子降為64維特征矢量，從檢測數(shù)據(jù)上看檢測時間減少了約50%。另外，通過對比本研究算法與經(jīng)典SIFT算法所提特征點在圖像中的分布，可以看出，本研究算法所獲得的匹配點對數(shù)減少，且均勻分布在圖像的主體部分，基本無錯誤匹配點對。因此，本研究算法具有較高的準(zhǔn)確率。

5 小結(jié)

本研究在基于灰度的Harris角點檢測算法的基礎(chǔ)上引入尺度空間理論，采用基于尺度不變性的Harris角點檢測算法對特征點進(jìn)行檢測。檢測到的特征點除了具有旋轉(zhuǎn)不變性、光照不變性、仿射不變性、尺度不變性的特點。特征點檢測后，利用圓來構(gòu)造特征描述符，以生成64維特征矢量，從而減少后續(xù)匹配時間。在特征點的匹配過程中，采用窮盡搜索算法對待配準(zhǔn)的2幅圖像實現(xiàn)雙向匹配，得到的初始匹配對再使用RANSAC算法進(jìn)行提純，從而實現(xiàn)圖像精確配準(zhǔn)。最后，采用MATLAB 7.0對本研究提出的算法進(jìn)行了仿真試驗，試驗證明該算法可行。該算法與同樣基于尺度空間理論的SIFT算法相比，具有更高的檢測速度。