基于鄰域投票和Harris-SIFT特征的低空遙感影像匹配

胡小青，程朋根，2,陳曉勇，何海清，聶運(yùn)菊

(1.東華理工大學(xué) 測繪工程學(xué)院,江西 南昌 330013；2.廣西空間信息與測繪重點(diǎn)實(shí)驗(yàn)室,廣西 桂林 541004)

?

基于鄰域投票和Harris-SIFT特征的低空遙感影像匹配

胡小青1，程朋根1，2,陳曉勇1，何海清1，聶運(yùn)菊1

(1.東華理工大學(xué) 測繪工程學(xué)院,江西 南昌 330013；2.廣西空間信息與測繪重點(diǎn)實(shí)驗(yàn)室,廣西 桂林 541004)

影像匹配即通過一定的匹配算法在兩幅或多幅影像之間識(shí)別同名點(diǎn)的過程?，F(xiàn)有的匹配方法[1]主要有特征匹配、灰度匹配以及相位匹配。就低空遙感影像的匹配而言，由于低空遙感平臺(tái)[2]的不穩(wěn)定造成影像間重疊度不規(guī)則、比例尺不一致等問題，傳統(tǒng)基于灰度的匹配方法具有很大的局限性。 SIFT算子具有較好的抗尺度、抗旋轉(zhuǎn)和抗亮度變換能力，在圖像匹配領(lǐng)域有著廣泛的應(yīng)用。但其提取的特征點(diǎn)僅是局部灰度極值點(diǎn)，并非視覺意義上的角點(diǎn)，且易受噪聲及細(xì)碎紋理的影響，在影像特征點(diǎn)分布均勻的情況下匹配率低且誤匹配率較高。Harris算子是另一種角點(diǎn)提取算子，其提取的角點(diǎn)分布均勻且定位精度高，但不具有尺度及亮度不變性。針對上述兩種算子的優(yōu)缺點(diǎn)以及結(jié)合低空遙感影像的特點(diǎn)，本文提出一種基于近鄰域投票和Harris-SIFT特征的低空遙感影像匹配方法，從改進(jìn)的特征點(diǎn)中提取和虛假匹配點(diǎn)的剔除兩個(gè)方面進(jìn)行改進(jìn)，以提高低空遙感影像的匹配效果。實(shí)驗(yàn)結(jié)果表明本文算法在保證低空遙感匹配的精度的同時(shí)，明顯提高影像匹配的效率。

1算法總體思路

基于鄰域投票和Harris-SIFT特征的低空遙感影像匹配的算法框架如圖1所示。即通過以下4個(gè)步驟，完成兩幅圖像特征點(diǎn)的精確匹配。

圖1　低空影像匹配算法框架

1) Harris-SIFT 特征點(diǎn)檢測。采用非極大值抑制算法(NMS)分別檢測輸入圖像的SIFT特征，并用多尺度Harris角點(diǎn)特征部分篩選SIFT特征點(diǎn)，合并點(diǎn)集刪除重復(fù)點(diǎn)后得Harris-SIFT特征點(diǎn)集。

2) 不變特征描述。使用128維SIFT特征描述符對得到的特征點(diǎn)集進(jìn)行描述。

3) 最近鄰域搜索算法初匹配。采用關(guān)鍵點(diǎn)特征向量的歐式距離作為兩幅影像中關(guān)鍵點(diǎn)的相似性判定度量。將最近鄰與次近鄰的距離比值小于閾值的點(diǎn)作為初始匹配點(diǎn)。

4) 鄰域投票剔除誤匹配點(diǎn)。檢查初始匹配點(diǎn)的鄰域，將局部主方向夾角并不是一致的匹配點(diǎn)剔除，得到最后的影像匹配結(jié)果。

2影像特征提取

2.1SIFT特征點(diǎn)檢測

SIFT 特征算子提取影像特征[3-5]，首先要生成尺度空間，即采用不同尺度的高斯函數(shù)進(jìn)行濾波，生成金字塔分層結(jié)構(gòu)，為了有效提取穩(wěn)定的關(guān)鍵點(diǎn)，可使用高斯差分函數(shù)對影像進(jìn)行卷積運(yùn)算，以建立DOG金字塔影像。其中DOG算子的計(jì)算如下：

(1)

其中，高斯函數(shù)

(x,y)為像素坐標(biāo)；σ則為高斯尺度因子。DOG函數(shù)中的極值點(diǎn)與尺度無關(guān)，SIFT算子基于這一特性，采用非極大值抑制算法初步定位特征點(diǎn)。由于DOG 極值檢測獲得的極值點(diǎn)的位置坐標(biāo)均為整數(shù),而實(shí)際特征點(diǎn)位置不一定位于整數(shù)坐標(biāo)位置上，因此為了保證特征點(diǎn)的穩(wěn)健性，消除DOG算子產(chǎn)生的邊緣響應(yīng)，已獲得的極值還需要剔除對比度低和受邊緣效應(yīng)影響的點(diǎn)，完成關(guān)鍵點(diǎn)的精確定位。

為了實(shí)現(xiàn)SIFT特征的旋轉(zhuǎn)不變性，需要利用關(guān)鍵點(diǎn)的局部影像特征(梯度)為每一個(gè)關(guān)鍵點(diǎn)指定一個(gè)主方向。計(jì)算高斯金字塔影像(x,y)處的梯度值及方向方法。

(2)

為確定關(guān)鍵點(diǎn)主方向，將關(guān)鍵點(diǎn)的鄰域像素梯度通過高斯加權(quán)考慮進(jìn)來，并用梯度直方圖統(tǒng)計(jì)窗口內(nèi)的梯度方向。在梯度直方圖中,找到最大值所對應(yīng)的方向,該方向即為特征點(diǎn)的主方向。當(dāng)存在另一個(gè)相當(dāng)于主峰值 80%能量的峰值時(shí),則將這個(gè)方向認(rèn)為是該特征點(diǎn)的輔方向。至此，圖像的關(guān)鍵點(diǎn)檢測完畢，每個(gè)SIFT特征點(diǎn)都包含3個(gè)信息：位置、尺度和方向。

2.2多尺度Harris角點(diǎn)提取

SIFT算子提取的特征點(diǎn)僅是尺度空間內(nèi)的灰度極值點(diǎn)，并非視覺意義上的角點(diǎn)，對比度不高，同時(shí)檢測出大量的特征點(diǎn)，不可避免的會(huì)產(chǎn)生冗余信息，這將直接影響影像匹配的精度與速度。因此，在許多具體的遙感影像應(yīng)用方面需要對其進(jìn)行篩選，提取更具代表性的特征點(diǎn)，降低對后續(xù)匹配運(yùn)算速度和精度的影響。多尺度Harris[6-7]算子提取的角點(diǎn)不僅分布均勻、定位精度高，而且具有尺度不變性。

采用多尺度Harris特征提取算法對獲得的局部SIFT特征點(diǎn)進(jìn)行篩選，即僅對不同組某一相同尺度的特征點(diǎn)進(jìn)行篩選，與提取的SIFT特征點(diǎn)合并并刪除重復(fù)點(diǎn)后得到特征點(diǎn)集。此時(shí)，Harris算子的二階矩及CRF值見式(3)。

(3)

式中:gx,gy為x,y方向梯度；G(x,y,σ)為高斯函數(shù)；CRF為角點(diǎn)響應(yīng)值，k為常數(shù)，經(jīng)驗(yàn)值為0.04~0.06。

為了提高算法檢測特征點(diǎn)的效率，本文提出改進(jìn)的Harris-SIFT特征點(diǎn)檢測方法，其特征點(diǎn)提取的具體步驟如下：

1) 輸入圖像，通過不同尺度的高斯函數(shù)濾波，并進(jìn)行圖像降采樣，得到圖像的高斯金字塔模型。

2) 高斯金字塔每組中相鄰上下兩層圖像相減，得到高斯差分金字塔模型。

3) 在差分高斯金字塔中尋找圖像空間和尺度空間的局部極值點(diǎn),作為初始特征點(diǎn)。

4) 相同尺度的特征點(diǎn)歸為一個(gè)特征子集，取包含最多特征點(diǎn)的尺度作為多尺度Harris篩選的對象。

5) 將子集中的特征點(diǎn)像素坐標(biāo)(x,y)和尺度因子σ代入式(3)，將CRF值大于給定閾值的點(diǎn)予以保留。合并未刪選的SIFT特征點(diǎn)集剔除重復(fù)點(diǎn)后得到新的特征點(diǎn)集。

6) 對生成的特征點(diǎn)確定主方向。

2.3不變特征描述

為保證 SIFT 特征向量具有旋轉(zhuǎn)不變性,首先,將坐標(biāo)軸旋轉(zhuǎn)到關(guān)鍵點(diǎn)的主方向,確保旋轉(zhuǎn)不變性。然后計(jì)算以關(guān)鍵點(diǎn)為中心的 16×16 的窗口(關(guān)鍵點(diǎn)所在的行和列不取)內(nèi)所有像素點(diǎn)的梯度模值和梯度方向，并對窗口內(nèi)取樣點(diǎn)的梯度值進(jìn)行高斯加權(quán)。將該鄰域分為4 × 4的子區(qū)域，并計(jì)算每個(gè)4×4的圖像小塊在8 個(gè)方向的梯度方向直方圖,繪制每個(gè)梯度方向的累加值，由此形成一個(gè)由 8 維的向量來表示的種子點(diǎn)。因此由4 × 4個(gè)種子點(diǎn)就可構(gòu)成最佳的SIFT描述子，即最佳的SIFT描述子應(yīng)具有4×4×8=128個(gè)特征向量。為了消除光照變化對特征向量的影響，需要對特征向量作標(biāo)準(zhǔn)化處理。針對線性的光照變化，將特征向量標(biāo)準(zhǔn)化為單位長度；針對非線性光照變化，先設(shè)置閾值，使單位特征向量的值不超過0.2，然后再將特征向量標(biāo)準(zhǔn)化為單位長度。

3影像匹配

3.1最近鄰粗匹配

由于使用128維的高維度對特征點(diǎn)進(jìn)行描述，特征點(diǎn)描述符之間具有很大的差異性，因此在構(gòu)造特征描述子之后，采用NN算法(最近鄰匹配算法)進(jìn)行粗匹配。本文采用歐式距離為相似性度量，即首先找到待匹配點(diǎn)和最近鄰點(diǎn)的距離d1與待匹配點(diǎn)和次近鄰點(diǎn)的距離d2。若最近鄰與次近鄰之比小于閾值thresh，則認(rèn)為該最近鄰點(diǎn)為待匹配點(diǎn)的候選匹配點(diǎn)。

3.2鄰域投票

由于圖像間存在各種幾何及光度變換、噪聲、量化誤差及圖像中可能存在相似的局部結(jié)構(gòu)等多種因素的影響,基于歐式距離為相似性度量的特征匹配結(jié)果中可能存在錯(cuò)誤的匹配,需要引入其他的約束對匹配的結(jié)果進(jìn)行驗(yàn)證。本文采用近鄰域投票[8-9]的方法剔除錯(cuò)誤匹配點(diǎn)對得到精確的匹配點(diǎn)集。

基本思想：在正確匹配點(diǎn)的周圍一定存在更多的正確匹配結(jié)果；若不是正確的匹配結(jié)果，那么其鄰域內(nèi)匹配點(diǎn)很少，甚至根本不存在匹配點(diǎn)。因此可以累計(jì)周圍的匹配點(diǎn)在局部主方向和距離上對該匹配點(diǎn)的貢獻(xiàn)。并判斷待匹配圖像與參考圖像的匹配點(diǎn)對距離相關(guān)度及局部夾角相關(guān)度是否在閾值范圍內(nèi)，若在閾值范圍內(nèi)的則為正確匹配點(diǎn)，否則放棄此點(diǎn)。同一幅圖像匹配點(diǎn)的距離及主方向差計(jì)算見式(4)。

(4)

式中：i,j為同一幅圖像任意的兩個(gè)匹配點(diǎn)，其中(xi,yi,θi)及(xj,yj,θj)則為任意的兩個(gè)匹配點(diǎn)的坐標(biāo)及主方向。具體過程：

1) 首先通過最近鄰初匹配得到所有的匹配點(diǎn)數(shù)組match(i)，并統(tǒng)計(jì)匹配點(diǎn)總數(shù)為n。

2) 對待匹配圖像與參考圖像分別按照式(5)計(jì)算任意兩個(gè)匹配點(diǎn)的距離及主方向夾角差異，得到4個(gè)維數(shù)為n×b的矩陣。

本研究存在一定的局限性：(1)樣本數(shù)較少；(2)MRI檢查時(shí)早產(chǎn)兒日齡較大，不利于反映HIE患兒早期腦損傷；(3)早產(chǎn)兒HIE的診斷標(biāo)準(zhǔn)參考足月兒HIE的診斷指南，但是足月兒與早產(chǎn)兒腦結(jié)構(gòu)存在一定的差異性，部分指標(biāo)(如臍動(dòng)脈血pH<7.0)也會(huì)受到早產(chǎn)的影響[25]。

3) 將待匹配圖像與參考圖像的距離及主方向夾角矩陣按行向量分別歸一化。

4) 計(jì)算左右兩幅圖像同一匹配點(diǎn)對的夾角內(nèi)積及距離內(nèi)積，以距離內(nèi)積為例，如dot(img1(i,:),img2(i,:))

5) 判斷匹配點(diǎn)的內(nèi)積值是否在給定閾值范圍內(nèi)，滿足則證明為匹配點(diǎn)，否則放棄。距離及夾角閾值本文取為0.3。

4實(shí)驗(yàn)與分析

本文采用由無人機(jī)遙感平臺(tái)獲取的兩組不同地區(qū)的低空遙感影像作為實(shí)驗(yàn)數(shù)據(jù)，其中兩組影像分辨率均為2 m，第一組圖像分辨率為344×447像素；第二組圖像分辨率為390×327像素；像素相機(jī)型號(hào)是Canon EOS 5D Mark II，焦距一組為35 mm，另一組為50 mm。實(shí)驗(yàn)環(huán)境為 CPU Intel Core T7100，主頻 1.80 GHz，內(nèi)存 2 GB，操作系統(tǒng)Windows7，開發(fā)環(huán)境為 MATLAB R2013a?？紤]到計(jì)算機(jī)內(nèi)存的大小和效率問題，在構(gòu)造尺度空間時(shí)本文通過對搜索窗口的降采樣來縮小匹配影像間的空間分辨率差異。實(shí)驗(yàn)結(jié)果如圖2及圖3所示。

圖2　第一組圖像匹配結(jié)果

圖3　第二組圖像匹配結(jié)果

由兩組圖2和3(a)可以看到本文方法可以得到充足的匹配點(diǎn)，且取得較好的匹配結(jié)果。為了進(jìn)一步驗(yàn)證說明本文匹配方法的優(yōu)點(diǎn)，采用兩組待匹配的低空遙感影像的匹配結(jié)果與經(jīng)典的Harris-SIFT特征匹配算法進(jìn)行對比實(shí)驗(yàn)。經(jīng)典的Harris-SIFT特征匹配是利用多尺度Harris對全部的SIFT特征點(diǎn)進(jìn)行篩選，然后采用RANSAC算法[10]剔除虛假匹配點(diǎn)。本文算法是采用局部尺度篩選特征點(diǎn)，且基于鄰域投票剔除誤匹配，對比結(jié)果見表1。為了獲得一定數(shù)量的匹配點(diǎn)，本文將最近距離與次近鄰距離的比值閾值設(shè)為0.75，曲率比例系數(shù)r為15，匹配耗時(shí)為代碼運(yùn)行3次的平均耗時(shí)(即取3次匹配耗時(shí)的平均值)，且檢測點(diǎn)耗時(shí)為左右兩幅影像檢測點(diǎn)耗時(shí)的平均值。

表1　本文方法與經(jīng)典Harris-SIFT方法比較

5結(jié)束語

本文提出的基于鄰域投票和改進(jìn)的Harris-SIFT特征的低空遙感影像匹配方法從特征點(diǎn)的提取及誤匹配點(diǎn)的剔除兩方面進(jìn)行了改進(jìn)，特征點(diǎn)提取階段得到了具有高對比度的特征點(diǎn)，誤匹配點(diǎn)剔除階段采用了基于鄰域匹配點(diǎn)的投票代替了傳統(tǒng)的迭代方法，最終使得匹配效率得到了提高。相對于基于Harris-SIFT的遙感影像匹配方法，本文提出的匹配方法能得到較好的匹配結(jié)果。但是，不管是Harris-SIFT方法還是本文的方法，對于影像出現(xiàn)陰影及植被覆蓋的情況，提取的特征點(diǎn)都很少甚至沒有特征點(diǎn)，且兩種方法提取的特征點(diǎn)都容易受仿射變化的影響。

參考文獻(xiàn)：

[1]R.A Lane and N A Thacker. Overview of Stereo Matching Research [J]. Imaging Science and Biomedical Engineering Division, Medical School University of Manchester, 1998.

[2]曾濤, 楊武年, 簡季. 無人機(jī)低空遙感影像處理在汶川地震地質(zhì)災(zāi)害信息快速勘測中的應(yīng)用[J]. 測繪科學(xué),2009,34(1)：64-65.

[3]David G. Lowe. Object recognition from local scale-invariant features [J]. International Conference on Computer Vision,1999,3(1):1150-1157.

[4] David G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints [ J]. Internatioanl Journal of Computer Vision, 2004, 60(2):91-110.

[5]Lindeberg T. Scale-space theory. A basic tool for analysing structures at different scales. Journal of Applied statistics. 1994,21(2)：224-270.

[6]Mokhtarian F,Suomela R. Curvature Scale Space Based Image Corner Detection [C]. European Signal Processing Conference, Island of Rhodes, Greece,1998.

[7]Gueguen L, Pesaresi M. Multi Scale Harris Corner Detector Based on Differential Morphological Decomposition [J].Pattern Recognition Letters,2009,30(1):544-557.

[8]Roweis S T, Saul L K. Nonlinear Dimensionality Reduction by Locally Linear Embedding. Seience,2000, 290(5500):2323-2326.

[9]魏萊, 王守覺, 徐菲菲. 一種自適應(yīng)鄰域選擇算法[J]. 模式識(shí)別與人工智能,2008,21(3): 406-409.

[10] Capel D P. An effective bail-out test for RANSAC consensus scoring[A]. In Clocksin W, Fitzgibbon A, Tort P.eds: Proceedings of Conference on British Machine Vision[C], Oxford, England: British Machine Visio association.2005:629-638.

[責(zé)任編輯：李銘娜]

摘要：文中提出一種基于鄰域投票和改進(jìn)的Harris-SIFT特征的低空遙感影像匹配方法。首先用NMS算法提取多尺度的Harris-SIFT特征并對其進(jìn)行方向描述，然后根據(jù)最近鄰與次近鄰特征點(diǎn)距離之比確定初始匹配點(diǎn)對，最后通過近鄰域選擇投票的方法剔除候選點(diǎn)中的虛假匹配點(diǎn)，進(jìn)而實(shí)現(xiàn)低空遙感影像的配準(zhǔn)。實(shí)驗(yàn)表明該算法在獲得充足匹配點(diǎn)且保證匹配精度的同時(shí)，明顯提高影像匹配的效率。

關(guān)鍵詞：Harris-SIFT特征；鄰域選擇；特征匹配

A low-altitude remote sensing matching method based on neighborhood selection algorithm and Harris-SIFT featuresHU Xiaoqing1,CHENG Penggen1,2,CHEN Xiaoyong1,HE Haiqing1,NIE Yunju1

(1.School of Geomatics,East China Institute of Technology,Nanchang 330013,China；2.Guangxi Key Laboratory of Spatial Information and Geomatics,Guilin 541004,China)

Abstract：Based on the neighborhood selection algorithm and improved Harris-SIFT features,a method for low-altitude remote sensing matching is presented.Firstly,it extracts Harris-SIFT features using NMS algorithm and generates feature descriptors,then uses ratio method to get initial matching.Finally,it uses neighborhood selection algorithm to eliminate errors and achieves accurate matching.Experiments show the algorithm can get adequate matching points,ensure accuracy and improve the matching efficiency.

Key words：Harris-SIFT features；neighborhood selection algorithm；feature matching

通訊作者：程朋根(1964-)，男，博士，教授.

作者簡介：胡小青(1987-)，女，碩士研究生.

基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目(41161069)；廣西空間信息與測繪重點(diǎn)實(shí)驗(yàn)室資助課題(13-051-14-18，11-031-08-26)

收稿日期：2014-10-22;修回日期：2015-03-05

中圖分類號(hào)：P237

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1006-7949(2016)02-0033-05