一種基于鄰域投票的異源光學影像SIFT匹配誤差剔除方法

沈宇臻，李百壽，李靈芝，楊 祿

(桂林理工大學測繪地理信息學院，廣西 桂林 541004)

近些年，高分遙感技術迅速發展，多平臺、多角度、多時相、多分辨率的衛星遙感數據廣泛應用于各個領域。空間遙感平臺所攜帶的不同成像傳感器獲取的地面信息因其成像方式、使用的電磁波及分辨率的不同，所反映的地面情況也不同。多源高分遙感影像精確配準是各類遙感數據綜合應用的前期工作[1-2]，而異源高分遙感影像匹配是光學影像融合等處理的前提和基礎[3-4]。

異源遙感影像由不同種類遙感平臺，如航天平臺、航空平臺、無人機低空平臺等不同分辨率傳感器、不同時相高分遙感影像構成。由于多源高分影像集數據量大及多源影像成像條件和獲取場景的復雜性，傳統的中低分辨率影像配準方法難以很好地解決高分影像特征的匹配問題[5]。

異源高分影像匹配是高分遙感影像處理中的關鍵問題，同樣也是關鍵技術之一，目前針對異源高分影像匹配的研究工作有限。ZHANG L[6]等通過幾何條件約束的相關算法實現了多基線條件下的影像匹配，這種方法在匹配時需要較為精確的外方位元素作為初始條件。呂倩利等[7]利用雙向匹配策略代替傳統的單向匹配策略，以提高異源遙感影像間的匹配精度，但增加了影像匹配時間。李映等[8]通過同名直線構建控制點來獲得同名點，從而實現了可見光圖像與SAR圖像匹配，但由于異源影像中獲得足夠同名點集較為困難，因此匹配精度受到所構建的同名直線精度的影響。戴激光等[9-10]利用幾何約束模型及同名直線構建匹配模型，并且利用RANSAC誤差剔除完成異源影像匹配。Bin Du[11]等通過影像局部特征，細化多源圖像之間的特征相關性，實現了影像匹配。Li Haichao[12]等從頻率域出發提出通過相位信息從粗略到精細的配準方法，首先通過傅里葉極化變換和基于相位一致性的相位校正來實現粗略配準，再通過將大圖像分割成塊來實現精配準。

綜上所述，由于異源影像的成像機理、影像分辨率、時相、成像姿態等因素的影響，目前異源影像的匹配精度下降。為了提高匹配精度與效率，進而達到實時匹配的效果，需要匹配方法[13-14]、模型[15-16]、策略[17-18]的改進。在所有的匹配方法中，SIFT檢測算法具有良好的穩健性，對影像旋轉、尺度縮放、亮度變化等都保持不變性，適用于異源影像匹配。但由于SIFT算法中利用特征點描述子歐氏距離對特征點進行唯一性描述進行匹配，會有一些錯匹配特征點，同時由于異源遙感影像的分辨率、時相、空間旋轉差異性較大，僅利用歐氏距離作為匹配的準則導致粗匹配點與誤差大點產生的原因，因此本文重點放在采用SIFT算法完成匹配后，利用鄰域投票剔除誤差較大的粗匹配點，分別對影像中的建筑物、水體、道路3種主要地類進行匹配精度分析研究，進行本文方法的精度與性能評價。

1 基于SIFT算法的特征匹配

SIFT(scale-invariant feature transform)是一種用來探測和描述影像中的局部特征的算法，其由David Lowe[19]在1999年發表，2004年完善總結。SIFT算法主要分為SIFT特征生成和SIFT特征向量匹配兩部分。

1.1 SIFT特征生成

SIFT特征生成分為4個部分，分別為尺度空間極值檢測、關鍵點定位、關鍵點主方向的確定、特征描述子的生成。

1.1.1 尺度空間極值檢測

尺度空間極值檢測的目的是通過高斯微分函數識別潛在的對于尺度和旋轉不變興趣點。通過高斯模糊構建一副影像的尺度空間，利用式(1)建立一個圖像模糊模板，利用這個模板遍歷整幅影像上的像素單元并分別與每個像素單元做卷積，得到模糊后的圖像。

(1)

式中，σ為正態分布的方差，σ值越大，圖像則越模糊；(x,y)為模糊模板元素平面坐標；m×n為二維模板大小。

模糊模板的大小根據標準差σ的取值來定，由于在計算高斯函數離散近似時，認為3σ之外的像素不起作用，可以忽略，通常保持(6σ+1)×(6σ+1)大小的模板矩陣即可保證像素的相關性。

尺度空間L(x,y,σ)的構建是通過二維圖像I(x,y)與一個變化尺度的高斯函數G(x,y,σ)的卷積來創建的，即

L(x,y,σ)=G(x,y,σ)×I(x,y)

(2)

式中，(x,y)為二維圖像坐標；G(x,y,σ)為特定σ下的二維高斯函數；σ為尺度空間因子(即正態分布方差)。

SIFT算法中極值點的檢測是通過高斯差分金字塔(DOG)來完成的，如式(3)，由高斯金字塔中相鄰不同尺度空間的影像之差而得到新的影像。

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)
=L(x,y,kσ)-L(x,y,σ)

(3)

式中，k為常數，用以區別σ。

為了保證高斯差分金字塔中尺度空間的連續性，遍歷影像上每一個像素點需與該幅影像上周圍相鄰點及相鄰尺度空間的影像相鄰點作比較，假設該點圖像域上周圍8個相鄰點都存在，則其需要與2×9+8=26個相鄰點作比較，認為在該局部的最大值點與最小值點為局部極值點。

1.1.2 關鍵點定位

由于尺度空間檢測出的極值點是在離散空間的極值點，通過擬合三維二次函數來確定關鍵點的準確位置和尺度，差分高斯函數D(x,y,σ)在其局部極值點(x0,y0,σ0)處的泰勒展開式為

(4)

式中，X=(x,y,σ)T。對式(4)求導并使方程等于0,即可得出極值點的準確位置，即

(5)

(6)

(7)

S(H)=Dxx+Dyy=a+b

(8)

det(H)=DXXDyy-DxyDyx

(9)

式(8)中，S(H)表示矩陣H的對角線元素之和；a、b為Hessian矩陣的特征值，分別代表x和y方向的梯度。式(9)中det(H)表示Hessian矩陣的行列式。不穩定的邊緣響應點是該點在某一方向的梯度值越大，而在另一方向的梯度值越小，因此建立一個評判準則和閾值判斷一點是否為不穩定的邊緣響應點，現假設a為Hessian矩陣中較大的特征值，而b為較小的特征值，并令a=rb，則有

(10)

式中，當r值越大時，其比值也越大，該點在某一方向上面的梯度值越大，也越可能是需要剔除的不穩定的邊緣響應點。綜上，可按評判準則，如式(11)，判斷一點是否為不穩定的邊緣響應點。

(11)

式中，Lowe將r取值10。當關鍵點滿足式(11)則保存該點；反之，則認為其是不穩定的邊緣響應點，剔除。

1.1.3 關鍵點主方向的確定

為每個關鍵點賦予一個主方向是為了實現旋轉不變形，利用圖像的局部特征給每個關鍵點賦予一個主方向，通過式(12)、式(13)分別求出關鍵點在鄰域窗口的梯度模值和方向。

m(x,y)=

(12)

Q(x,y)=tan-1((L(x,y+1)-L(x,y-1))/

L(x+1,y)-L(x-1,y)))

(13)

式中，L中的尺度空間值為每個關鍵點所對應的尺度空間值。

在SIFT算法中，以關鍵點為中心的鄰域窗口中采樣，并且以直方圖統計鄰域窗口內像素的梯度模值和方向，梯度直方圖中將0°～360°分為36柱，每柱10°。長度代表像素的梯度模值大小，直方圖中的峰值方向作為該關鍵點的主方向，超過峰值模值80%的方向作為關鍵點的輔方向，輔方向的目的是為了增強匹配的穩健性。

1.1.4 特征描述子的生成

描述子的目的是對特征點的唯一性進行描述，特征描述子是以特征點為中心，劃分一個4×4的區域，每個區域又劃分4×4個小正方形塊，設每個區域內有一個種子點，將0°～360°劃分為8個柱，每柱45°，同樣利用式(12)、式(13)計算8個方向上的累加模值，這樣就可以在每個區域得到8個方向的累加模值信息，總共有4×4=16個區域，每個區域有8維特征信息，該特征點共有4×4×8=126維特征信息，稱這128維特征信息為該特征點的描述子，因為每個特征點的描述子利用周圍像素信息來加以輔助表示，每個特征點的描述子具有高度唯一性，可以很大程度上增強匹配的穩定性和抗噪能力。

1.2 SIFT特征向量匹配

首先，對基準影像與待匹配影像上提取的特征點建立描述子集合，即在待匹配影像上建立一個n×128的集合矩陣，在基準影像上建立一個m×128的集合矩陣，n、m分別為待匹配影像與基準影像所提取的特征點數目。兩點之間的相似性度量以歐氏距離為準則。設待匹配影像有特征點R，其描述子為Ri=(ri1,ri2,…，ri128)。基準影像上有特征點S，其描述子為Si=(si1,si2,…，si128)。則R與S之間的歐幾里得距離為

(14)

(15)

2 鄰域投票誤差剔除

2.1 剔差原理

本文方法在尺度不變特征變換的基礎上，加入鄰域投票對粗匹配后的結果進行精細匹配，將錯匹配率較大的匹配點對剔除，對特征點進行鄰域投票分析，重新選擇正確匹配點，保留匹配精度較高的匹配點對和重新選擇正確的匹配點對。

由于正確的匹配特征點周圍存在同樣正確特征點概率比錯誤匹配特征點周圍存在正確匹配特征點的概率要大很多，所以本文方法核心思想是通過匹配點周圍的其他匹配點的局部方向和距離對該匹配點的貢獻，并以此為準則，設定一個方向閾值和距離閾值，然后判斷在基準影像與待匹配影像上的對應匹配點的方向相關度與距離相關度是否超出所設定的方向閾值與距離閾值，若方向相關度與距離相關度都在所設閾值內，則認為兩點為正確的匹配點對，反之，應當剔除。如圖1、圖2所示。

圖1 剔差前基準影像示意圖

圖2 剔差前待匹配影像示意圖

圖1中點A、B、C為基準影像的粗匹配點，圖2中點a、b、c為待匹配影像的粗匹配點，點A-a、點B-b、點C-c為剔差前的匹配點對,(x,y)為各個匹配點對應的像素坐標。則有

Δθ=θb-θa

(16)

(17)

dot1=dot(im1(xA,yA),im2(xa,ya))

(18)

dot2=dot(im1(θA),im2(θa))

(19)

式中，a、b為同幅影像上的兩個粗匹配點；(xa,ya)及(xb,yb)分別為a、b兩點的位置信息；θa、θb分別為兩點的主方向。(xA,yA)與(xa,ya)為左右影像一對匹配點，θA與θa分別為兩點的方向值，dot1與dot2是經過歸一化處理之后的距離內積值和方向夾角內積值。設定方向閾值和距離閾值分別為Td和Tθ,則當滿足dot1

2.2 方法步驟

鄰域投票誤差剔除具體步驟如下：

(1) 通過遍歷待匹配影像上所有特征點128維描述子與基準影像上所有特征點128維描述子作內積運算，求對應反余弦值，并利用最近歐氏距離與次最近歐氏距離比值得到粗匹配點對。

(2) 給定一個方向閾值Td和距離閾值Tθ，方向閾值與距離閾值的取值原則是根據多組試驗取得效果最佳的閾值，經多組試驗證明，當Td=0.5、Tθ=0.5時，剔差之后仍存有較多誤匹配點對存在，當Td=0.3、Tθ=0.3時，剔差之后所剩匹配點對極少，本文中取Td=0.4、Tθ=0.4。

(3) 對待匹配影像與基準影像上所有的粗匹配點利用式(16)、式(17)求任意同幅影像上兩點的方向與距離差異，即得到任意兩點的距離模值與主方向夾角值。

(4) 將上述步驟中得到任意兩點距離模值和主方向夾角值按行向量歸一化處理并計算各個匹配點之間的方向夾角內積值與距離內積值，如式(18)、式(19)。

(5) 根據(2)中給定的兩個閾值和(4)所得到的方向夾角內積值與距離內積值，判斷方向夾角內積值與距離內積值是否都在所給定閾值范圍內，若二者均在給定閾值范圍內，則認為是正確的匹配點對，反之，則剔除。

3 方法試驗及分析

3.1 試驗數據與結果

試驗選擇廣東某地區的一幅QuickBird影像，空間分辨率為0.61 m，成像時間為2016年，與同一區域的一幅GF-2(高分二號衛星)影像，空間分辨率為0.8 m，成像時間為2015年，以QuickBird影像為基準影像，GF-2影像為待匹配影像，進行試驗分析。為了驗證本文方法的穩健性，在兩幅異源影像中選取建筑物、水體、道路3組地類影像，以驗證本文方法總體上的穩健性。為了便于結果計算和試驗分析，3組影像大小分別為512×512(列×行)、256×256、256×256。如圖3、圖4、圖5所示，試驗環境為AMD QC-4000，主頻1.30 GHz,內存4 GB，操作系統Windows 7，算法實現環境為Matlab R2013b。

圖3 建筑物像對

圖4 水體像對

圖5 道路像對

文中設計了3組不同地類的異源遙感影像開展試驗研究，以驗證本文方法的穩健性與精度，并與傳統SIFT算法進行比較，試驗結果如圖6、圖7、圖8所示。

3.2 精度比較分析

為了評價本文方法的精度，采用經驗判斷法建立影像之間的坐標轉換模型，通過模型確定兩幅影像之間的映射關系參數。

設基準影像上有匹配點p1(x1,y1)，在待匹配影像上有對應的匹配點p2(x2,y2)，假設認為p1與p2兩點是真正意義上的匹配點，則有映射關系R,使得

p1(x1,y1)=Rp2(x2,y2)

(20)

圖6 SIFT—本文方法建筑物匹配像對匹配結果

圖7 SIFT—本文方法水體像對匹配結果

圖8 SIFT—本文方法道路匹配像對匹配結果

則稱R為待匹配影像上匹配點到基準影像上匹配點的映射關系，即映射模型。本文中由于地類分類匹配導致得出的匹配點數量較少，根據經驗判斷法來確定一對正確的匹配點對，然后根據此匹配點對反算出映射模型R。再設基準影像上有點pi(xi,yi)，在待匹配影像上對應的匹配點為pj(xj,yj)。

(21)

采用中誤差來計算本文匹配精度，如

(22)

試驗結果分析見表1。結果顯示傳統的SIFT方法利用尺度不變特征變換對試驗影像進行特征點提取建筑物的QuickBird影像與GF-2影像的特征點分別為338個、326個，水體的QuickBird影像與GF-2影像的特征點分別為100個、485個，道路的QuickBird影像與GF-2影像的特征點分別為226個、662個。并且利用歐氏距離對特征點進行匹配，建筑物、水體、道路所得的匹配點對分別為85、14、5對。匹配完成之后通過精度分析顯示建筑物、水體、道路的匹配誤差為20.034 0、61.843 3、67.663 3像素，匹配精度低，錯匹配率較大。

試驗結果顯示建筑物、水體、道路剔差及改正匹配點對之后的匹配點對分別為42、11、5對，其對應的匹配誤差分別為4.641 7、39.475 8、10.205 3像素，剔差消耗時間分別為0.012、0.008 6、0.001 4 s。可見，提高了匹配的精度的同時，匹配時間在可接受范圍內。

表1 SIFT—本文方法不同地物影像匹配精度比較

4 結 論

由于SIFT檢測算法在分辨率、時相、空間旋轉差異性較大的異源影像間匹配中精度降低，本文設計了一種基于鄰域投票的SIFT匹配誤差剔除方法。方法通過遍歷待匹配影像上所有特征點的128維描述子，并與基準影像上所有特征點128維描述子做內積運算，計算對應反余弦值，并利用歐氏最小距離與次距離比值得到粗匹配點對。在此基礎上對粗匹配點周圍的任意匹配點計算主方向夾角及距離模值，按行向量歸一化處理并計算各個匹配點之間的方向夾角內積值與距離內積值，通過多組試驗比較判斷最佳閾值，剔除不滿足閾值范圍內設定的匹配點對。

試驗顯示本方法與傳統尺度不變特征變換算法(SIFT)相比，建筑物匹配精度提高了77%，道路類提高了36%，水體提高了85%，平均提高了66%。新方法可以對SIFT匹配結果進行更精細的剔差處理，從而提高影像的匹配精度，同時維持了原算法的尺度不變性等特性。

[1] WANG Li，NIU Zheng，WU Chaoyang，et al.A Robust Multi-source Image Automatic Registration System Based on the SIFT Descriptor[J].International Journal of Remote Sensing，2011，33(12)：3850-3869.

[2] JIANG Yun，WANG Jun.Research on Multi-source Remote Sensing Image Registration Based on SIFT Algorithm of Window Segmentation[J].IEEE Wireless Communications Networking and Mobile Computing，2010，23(25):1-4.

[3] 李德仁，張良培，夏桂松.遙感大數據自動分析與數據挖掘[J].測繪學報，2014,43(12)：1211-1216.

[4] 李壯.異源圖像匹配關鍵技術研究[D].長沙：國防科學技術大學，2011.

[5] 張建花，白仲斐，惠廣裕.基于SIFT算法的異源遙感影像自動匹配研究[J].電子設計與工程，2011,19(13):176-179

[6] ZHANG L,GRUEN A.Multi-image Matching for DSM Generation from IKONOS Imagery[J].ISPRS Journal of Photogrammetry and Remote Sensing,2006,60(3):195-211.

[7] 呂倩利，邵永社.基于SIFT特征的異源遙感影像匹配方法研究[J].計算機工程與應用，2012，48(36):171-176.

[8] 李映，崔楊楊，韓曉宇.基于線特征和控制點的可見光和圖像配準[J].自動化學報，2012,38(12)：1968-1974.

[9] 戴激光，宋偉東，李玉.漸進式異源光學衛星影像SIFT匹配方法[J].測繪學報，2014,43(7)：746-752.

[10] 宋偉東，戴激光，李建.異源高分辨率衛星遙感影像配準新方法[J].吉林大學學報(工學版)，2012，42(6)：1566-1580.

[11] DU B，WANG Y，REN P.Structurally Refined Feature Matching for Multi-source Images[C]∥IEEE Internati-onal Conference on Multisensor Fusion and Informational Integration for Intelligent Systems(MFI).Beijing:IEEE,2014:1-5.

[12] LI Haichao,MAN Yiyun.Robust Multi-source Image Registration for Optical Satellite Based on Phase Information[J].Photogrammetric Engineering and Remote Sensing,2016,82(11):865-878.

[13] 劉志文，劉定生，劉鵬.應用尺度不變特征變換的多源遙感影像特征點匹配[J].光學精密工程，2013，21(8)：2146-2153.

[14] 胡同喜，牛雪峰，譚洋，等.基于SURF算法的無人機遙感影像拼接技術[J].測繪通報，2015(1):55-58.

[15] 申二華，范大昭，湯志強，等.基于SGM的遙感影像自動匹配[J].測繪通報，2012(6)：31-33.

[16] 寇媛，徐景中.基于結構特征的遙感影像匹配[J].中國圖象圖形學報，2013,18(5)：565-573.

[17] 黃靈操，滿旺，黃文超，等.基于分塊策略的尺度不變特征變換快速匹配[J].測繪科學，2016(10):24-29.

[18] 閆利，陳林.一種改進的SURF及其在遙感影像匹配中的應用[J].武漢大學學報(信息科學版)，2013,38(7)：770-804.

[19] LOWE D G.Distinctive Image Features from Scale Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.