快速魯棒性非線性尺度不變的特征匹配算子

張巖, 李建增, 李德良, 杜玉龍

(軍械工程學院, 河北 石家莊 050003)

快速魯棒性非線性尺度不變的特征匹配算子

張巖, 李建增, 李德良, 杜玉龍

(軍械工程學院, 河北 石家莊 050003)

提出了一種快速魯棒性非線性尺度不變的特征匹配算子(speeded up robust nonlinear scale invariant feature,SURNSIF),通過檢測子非線性尺度空間的快速求解去除了噪聲,同時保證了圖像邊緣細節,并將自適應選取尺度空間組數、adaptive and generic corner detection based on the accelerated segment test(AGAST)與框狀拉普拉斯濾波器去除邊緣響應相結合,兼顧了檢測的準確性與實時性;描述子交疊帶的構建、規范微分響應與非線性尺度空間約束的引入增強了描繪準確性。通過與scale invariant feature transform(SIFT)、speeded up robust features(SURF)、KAZE、binary robust invariant scalable keypoints(BRISK)、AGAST以及快速海森(fast-Hessian)的實驗對比,SURNSIF的5種變換魯棒性均較強,同時速度也更快,綜合性能較KAZE提高約10.87%,速度提高約47%。

特征匹配;SURNSIF;KAZE;AGAST

圖像匹配是將不同時間、不同視角、相同或不同傳感器獲取的同一地區的2幅或多幅影像進行空間上對準的過程。其主要解決視點、模糊、照度、JPEG壓縮,尺度以及旋轉變換問題[1],總體分為基于特征與基于灰度兩大類[2]。在利用像素方面,特征匹配比基于灰度信息減少了運算點數目,從而大大減少了匹配的計算量;同時特征匹配對位置比較敏感,從而提高了匹配精度;在特征提取過程中,該類方法減弱了噪聲、照度、圖像變形及遮擋的影響,并且同名點坐標可以直接估計圖像之間的空間變換關系。由于以上的優勢,該類算法近些年來被廣泛使用與研究[3]。

Lowe于1999年提出了經典的scale invariant feature transform(SIFT)[4]算法,并于2004年對該算法進行了進一步完善。該算法在高斯差分尺度空間(difference of Gaussians,DoG)內檢測極值點,并剔除對比度低的點及邊緣響應,同時建立梯度方向分布直方圖,生成128維描述符。該算法具有尺度與旋轉不變性,同時對視點、模糊、照度與JPEG壓縮等變換魯棒性強,但實時性不高。2006年,Bay等人改進了SIFT,提出了speeded up robust features(SURF)算法[5]。該算法使用不同尺寸快速海森矩陣檢測關鍵點,同時利用小波響應生成64維描述符,使得檢測與描述速度大幅提升,但對模糊、照度與JPEG壓縮等變換敏感。2011年,Leutenegger改良了binary robust independent elementary features(BRIEF)算法[6],提出了binary robust invariant scalable keypoints(BRISK)算法[7]。該算法在近似尺度空間中利用adaptive and generic corner detection based on the accelerated segment test(AGAST)檢測特征點[8],同時利用長距離迭代法為特征點賦予方向,并在關鍵點周圍利用固定的采樣模式生成二進制描述符。該算法不僅具有視點、模糊、照度、JPEG壓縮、旋轉與尺度等不變性,而且完全滿足實時性要求,但與SIFT、SURF等算法相比,各方面魯棒性較弱。2011年,Alahi等人提出一種基于人眼視網膜的fast retina keypoint(FREAK)描述子[9]。其本質也是二進制描述符,利用掃視匹配搜索,比BRISK描述符的各種變換魯棒性均有提高,而且速度完全滿足實時需求,但各方面魯棒性還是較弱。Pablo等人于2012年提出一種非線性特征檢測的KAZE算法[10]。傳統基于線性高斯金字塔進行多尺度檢測的算法都是以犧牲局部精度為代價,來提取特征點同時消除噪聲,這容易造成邊界模糊和細節丟失,使匹配穩定性差與誤匹配點多,非線性尺度分解有望解決此類問題[11]。KAZE的描述子與檢測子都是基于SURF而改進設計的,采用任意步長來構造穩定的非線性尺度空間,同時考慮了子區域交疊帶,使得對于各種變換比SIFT更為穩健,但速度大幅下降。2013年,Pablo等人又提出一種快速的accelerated-KAZE算法[12]。該算法利用fast explicit diffusion(FED)數學框架,動態加速了非線性尺度空間的計算,同時提出一種二進制描述符modified-local difference binary(M-LDB),使得算法的速度大大提高,但描述子各方面魯棒性弱于KAZE描述子。

傳統特征匹配算子存在問題有:高斯尺度空間無法同時消除噪聲并保持圖像細節;DoG或快速海森矩陣等的檢測速度無法滿足實時性需求;尺度空間組數與層數的選取無法滿足不同圖像處理;去除邊緣響應的算法實時性不高;網格性描述子過分分割了空間,打破了圖像的連續性;基于小波響應的描繪力較弱,同時并未考慮景深問題。所以欲改良傳統特征匹配算子的魯棒性與實時性問題,其重點是解決尺度空間的構建、檢測算子的選用、去除邊緣響應算法速度的提高、交疊描述、描述響應的選用與景深描述的問題。

1 算子概述

本文提出了一種快速魯棒性非線性尺度不變的特征匹配算子(speeded up robust nonlinear scale invariant feature,SURNSIF),該算子包含檢測子和描述子兩部分,其構成如圖1所示。

圖1 SURNSIF算子示意圖

1) 自適應選取尺度空間組數來滿足不同圖像的檢測。

2) 快速求解非線性尺度空間以去除噪聲,同時保證邊緣。

3) 引入AGAST來提高檢測的速度與魯棒性。

4) 引入框狀拉普拉斯濾波器以提高邊緣響應去除的速度與準確性。

5) 構建網格交疊帶來增強描繪的準確性。

6) 引入規范微分響應與鄰域響應加權求和以改善對于模糊、照度以及旋轉變換魯棒性。

7) 增加尺度空間位置約束來增強反映特征點在圖像中的灰度關系以及景深關系。

2 SURNSIF特征檢測子

2.1 非線性尺度空間建模

非線性擴散濾波方法可以通過非線性偏微分方程來描述：

(1)

c(x,y,t)=

(2)

所選擇的c函數能夠有效保留邊界信息同時平滑區域內部。對比度因子k能控制擴散程度,邊緣信息保留量與其負相關,經過大量實驗,其值取為圖像的梯度直方圖70%百分位上的值。

2.2 自適應選取尺度空間組數

為了提高對不同圖像檢測的準確度與效率,本文提出了適應選取尺度空間組數的方法,其原理如下:

構造尺度級別按對數遞增的尺度空間,尺度參數σi如(3)式所示

σi(o,s)=σ02o+s/So=0,1,…,O-1,

s=0,1,…,S-1 i=0,1,…,N

(3)

式中,o表示組,s表示層,σ0表示尺度參數的初始值,O為總組數,S為總層數。N=O×S為尺度空間包含的圖像總數。

過大的O與S會導致構造線性尺度空間耗時較長,過少的O與S會導致匹配率下降。經過大量實驗,將S定為經驗值4,然后根據圖像尺寸來自適應選取O,公式如下

(4)

式中,c與r分別表示圖像的行數與列數,[]表示取整(四舍五入)。

2.3 非線性尺度空間的快速求解

傳統正向歐拉法求解非線性擴散方程時,由于迭代步長太短導致計算復雜。針對上述問題,本文擬采用FED算法[12]求解非線性擴散方程,此方法可以采用任意步長來構造穩定的非線性尺度空間,并且運算快捷。FED算法是通過因數分解盒子濾波器進行動態循環加速,而達到快速求解非線性系統的目的,其原理如下:

根據尺度參數σi按(5)式求出進化時間:

(5)

然后從因數分解盒子濾波器得到不同步長τi來執行顯式擴散步驟,τi按(6)式求得,(7)式為該非線性偏微分方程的解:

Li+1,j+1=(I+τjAl(Li))Li+1,jj=0,…,n-1

(7)

式中,I表示單位矩陣,Al為傳導運算符,n表示顯性擴散步數,τi表示對應步長,τmax表示滿足條件的最大步長。

構建非線性尺度空間的流程為:首先對輸入圖像進行高斯濾波,然后為得到對比度參數k求出梯度直方圖,最后由一組進化時間求解隱式差分方程即可得到非線性尺度空間的所有圖像。圖2為高斯與非線性尺度空間效果對比。

圖2 尺度空間對比圖

2.4 AGAST算子檢測

AGAST改進了features from accelerated segment test(FAST)算法[13],進一步提高了檢測效率,與KAZE的海森矩陣檢測法相對比,該算法大大提高了速度,同時保證了效果[8]。其本質是有足夠多的像素點,其灰度值小于或大于周圍鄰域內待檢測點,則該點被認定為特征點。模板是以待檢測點為圓心,半徑為3個像素的Bresenham圓。經Rosten測試,閾值定為9的檢測穩定性與速度綜合性能最優,此閾值可以很快排除偽角點。

然后將AGAST9-16(圓周上共有16個像素,閾值為9)算子應用于非線性尺度空間每一層,并記錄下候選點所在非線性尺度空間位置(o與s),求出候選點及其AGAST分數V。

2.5 邊緣響應的去除

比較候選點與相鄰的上下尺度層中的9×2個點以及同尺度的8個相鄰點的AGAST分數V,若所有相鄰點的分數均小于該點,則保留該點。這種方法檢查效率極高,因為大部分候選點在開始幾次檢測中就被剔除了。

經過上述步驟,不穩定點和局部極值點均已排除,但仍存在一些邊緣點,這對特征點的選取影響極大。本文選用拉普拉斯剔除法來去除邊緣響應,通過對應尺度的5×5框狀拉普拉斯濾波器對候選點進行處理,如果鄰域內各像素點灰度的拉普拉斯值不為0,則保留該點。這種方法比SIFT計算海森矩陣的跡與行列式[4]更快,且準確度更高。

然后經過亞像素級矯正[15]步驟完成特征點的定位。最后為使特征點檢測子具有旋轉不變性,通過規范微分響應[16]按扇形環繞的方法[5]賦予每一個特征點方向特征。

3 SURNSIF特征描述子

3.1 構造網格描述子交疊帶

近年來,描述子的構建方式主要有2種:網格式與二進制式,二者各有優缺點,網格式更準確,二值式更快捷。由于本實驗更注重準確性,所以采取網格的方式構建描述子,SIFT、SURF等網格式描述子的描繪方式會包含更加豐富的信息,因此網格描述子比二進制描繪器具有更強的獨特性[15,17-18]。

網格描述子容易過分分割了空間,打破圖像的連續性。為解決此問題,可在選用網格描述子的同時,構建描述子交疊帶。即以特征點為中心,以24S(S為該特征點對應的尺度)為邊長,確定一個正方形鄰域,如圖3所示。

圖3 構建描述子向量示意圖

將該正方形區域分成16個子正方形區域(橫縱各4個),大小為9S×9S,子正方形區域相鄰有寬度為2S的交疊帶,這樣的設計會使交疊帶被充分考慮,減小網格描述子分割空間影響,模板描繪更加準確。

3.2 規范微分響應描述

為改善描述子的魯棒性,引入規范坐標系下的微分響應Lww與Lvv[16],規范微分響應是計算機視覺中十分重要的工具,在尺度變換下能夠保持極好的旋轉不變性;在不同尺度下,Lww能夠測量模糊變換的相關信息,同時Lvv具有良好的邊緣響應,所以規范微分響應對模糊具有較強的魯棒性,它與小波響應的關系如(8)式所示。在每一個子塊區域中用模板尺寸為2S的Haar小波濾波器進行處理,得到相對于特征點方向的水平與豎直方向小波響應dx與dy,以及二階小波響應dxx、dxy與dyy,從而求得規范微分響應Lww與Lvv。

(8)

3.3 鄰域響應加權求和

對規范微分響應Lww、Lvv、|Lww|與|Lvv|求和,得到一個4維向量V(∑Lww,∑Lvv,∑|Lww|,∑|Lvv|)。將Lww、|Lww|分為Lvv<0,Lvv≥0 2種情況求和,相應的在對Lvv、|Lvv|求和時分成Lww<0,Lww≥0 2種情況,把4×4個子塊區域的向量連起來就得到了4×4×4×2=128維的描述向量。雖然規范微分響應具有照度不變性,但考慮尺度影響,所以將描述向量歸一化成單位向量,使描述子具有照度不變性。

由于規范微分響應本質上是加權的Lww梯度函數,權重與圖像結構密切相關,所以不需要進行高斯加權處理,這便減少了高斯加權運算的代價,提高了運行速度。規范坐標系具有旋轉不變性,因此只需旋轉網格即可保證描述子的旋轉不變性。

3.4 增加尺度空間位置約束

4 實驗驗證

4.1 實驗設置

1) 實驗平臺參數

筆記本計算機配置:處理器為Intel酷睿雙核i7第4代,主頻為2.5GHz。操作系統為Win10 64位系統,編程環境為Visual Studio 2010 與OpenCV 2.41(KAZE與AGAST是由OpenCV 3.10中提取加載的)。

2) 數據集

為體現檢測子所產生的不同效果,同時保證實驗的客觀性,本實驗采用Mikolajczyk 05標準測試圖集[19](http:∥www.robots.ox.ac.uk/～vgg/research/affine/),如圖4所示,該數據集分為8個數據子集(含圖像間的單應矩陣),包括5種變換:視點變換、模糊變換、照度變換、JPEG壓縮,以及尺度變換和旋轉變換。

3) 實驗對象及OpenCV相關參數設置

對比近年來較有特點的檢測子與描述子:

SIFT: 檢測子:組數:4,層數:4,對比閾值:0.04,邊緣閾值:10,σ=1.6。

描述子:128維。

SURF: 檢測子:fast-Hessain:0.6,組數:4,層數:4,主方向不固定。

描述子:64維。

KAZE: 檢測子:組數:4,層數:4,擴散系數:G2,閾值:0.001,主方向不固定。

描述子:64維M-SURF與128維M-SURF。

BRISK: 檢測子:閾值:30,組數:4。

描述子:512bit的二進制串,格局規模:1。

AGAST檢測子: 灰度閾值:30,進行非極大值抑制,模板:9-16。

fast-Hessian檢測子:閾值:600。

圖4 測試所用圖片集

4) 實驗過程和評估準則

通過測定檢測子的復現率[19](區域重疊錯誤率低于40%)、描述子的查全率(recall)和錯誤率(1-precision)[20](SURF檢測子(hessianthreshold:600)與基于歐氏距離的暴力匹配中的半徑匹配方式)、運行時間以及遙感影像間的正確匹配率[21]來評判配準算法性能。

4.2 實驗結果與分析

4.2.1 SURNSIF檢測子的性能

如圖5所示,衡量SURNSIF檢測子的實驗結果分析如下:

1) KAZE與fast-Hessian的對比說明,非線性濾波器構建尺度空間對檢測響應在視點、尺度與模糊變換的特征檢測性能有大幅度提升。

2) KAZE與SURF的檢測結構相似,且確定特征點主方向的方法相同,僅尺度空間的構建不同,所以二者對比說明,各種變換非線性尺度空間較線性尺度空間魯棒性均有明顯提升。1)與2)也正是將非線性濾波器引入SURNSIF的重要原因。

3) AGAST與fast-Hessian的對比說明,AGAST在照度、模糊、視點與JPEG壓縮變換方面的魯棒性都有較大提升,這是將AGAST引入SURNSIF的重要原因。

4) 雖然BRISK中有關尺度空間的構建和方向的確定等都是近似估計的運算,5種變換魯棒性最弱,但尺度與視點變換較AGAST均有提升,驗證了將AGAST引入尺度空間檢測的合理性。

5) SURF與SIFT的旋轉變換的對比說明,小波扇形環繞特征方向確定法要優于梯度直方圖統計法,所以SURNSIF使用小波扇形環繞法確定特征方向。

6) 由于SURNSIF非線性尺度空間構建與AGAST配合時性能比較優良,同時通過框狀拉普拉斯濾波器去除了邊緣響應,所以照度、模糊、視點與JPEG壓縮變換的魯棒性最高。

7) 由于SURNSIF自適應選取非線性尺度空間組數,所以尺度變換的魯棒性最高。

8) 由于SURNSIF與KAZE確定主方向方法一致,但規范微分響應在尺度變換下比小波響應更能保持較好的旋轉不變性,所以SURNSIF的旋轉變換魯棒性更高。

圖5 不同變換條件下的復現率比較

綜上所述,SURNSIF檢測子在視點、模糊、照度、JPEG壓縮、旋轉與尺度的變換下,均具有良好的魯棒性,綜合性能較KAZE提高約5.76%。

4.2.2 SURNSIF描述子的性能

如圖6所示,對每個數據子集中的第1與第4張圖像進行測試(曲線采樣點數為1 000),衡量SURNSIF描述子的實驗結果分析如下:

1) SURF與BRISK的比較說明,二進制特征描繪器的描繪力較弱,這是因為同一采樣點參與多次比較導致二進制描述子的部分因信息相關而冗余,所以BRISK描述子5種變換魯棒性不強,特別是旋轉變換魯棒性較弱。

2) SURF與SIFT的比較說明,在尺度、旋轉、視點和JPEG壓縮變換下,采用小波特征進行描述操作的魯棒性較梯度累積均有提升,但在模糊與照度變換下,歸一化后小波響應對圖像灰度的描繪力不如梯度累積響應強。在小波基礎上推導的規范微分響應,比小波響應更適合構建描述子,僅響應不同其余結構相同的G-SURF描述子,較SURF描述子各魯棒性均有提升,特別是對于模糊變換以及大尺度變換下的旋轉變換[18]。

3) KAZE-64與SURF描述子結構相似,相鄰子區域交疊的構建不同,所以二者對比說明了相鄰子區域的交疊會使描述具有連續性,5種變換魯棒性均明顯提升。

4) KAZE-128與KAZE-64的比較說明了128維M-SURF描述子較64維M-SURF描述子各魯棒性均有提升。

以上4點正是SURNSIF采用網格式描述子與規范微分響應、引入交疊帶以及使用128+2維描述結構的重要原因。

5) SURNSIF與KAZE-128在尺度與視點變換的對比說明,利用尺度空間組與層的對應關系對特征點匹配進行約束以及利用尺度歸一化為尺度金子塔定向,可以使約束更為準確,所以提升了尺度與視點變換的魯棒性。

6) 在照度、模糊與旋轉變換方面,SURNSIF與KAZE-128描述結構基本相同,但描述響應不同,因而對于以上3種變換,規范微分響應比小波響應魯棒性更強,證明了SURNSIF引入規范微分響應的合理性。

7) 規范微分響應對小波響應JPEG壓縮的改善較小,所以SURNSIF與KAZE的JPEG壓縮變換魯棒性幾乎一致。

綜上所述,SURNSIF描述子無論在視點、模糊、照度還是尺度變換的情況下,均具有強魯棒性,綜合性能較KAZE-128提高約4.84%。

4.2.3 時間測試

這一節將對特征檢測子與描述子的運行時間進行測試分析。利用SIFT、SURF、KAZE、BRISK、AGAST、fast-Hessian與SURNSIF算法,分別對Graf圖像序列中的第1、2張圖像(圖像大小:800×640 像素)進行實驗(次數超過100次),取均值后對比分析SURNSIF的速度特點與優勢。

表1 算法耗時比較

表1展現了SURNSIF的速度優勢:

1) 檢測子方面:因為SURNSIF中引入FED算法加速了尺度空間的構建、引入AGAST與框狀拉普拉斯濾波器加速了特征點的檢測,所以執行速度大大領先于KAZE與SIFT,但非線性尺度空間構建與定向的計算量遠大于SURF的不同尺寸框狀濾波器的計算量,所以平均每點速度遠低于SURF,與BRISK接近。尺度空間的簡化與AGAST的引入共同形成了BRISK的速度優勢,說明了AGAST用于提高檢測速度的合理性。

2) 描述子方面:SURNSIF的描述子構建思想與SURF類似,但為了提高描繪力,求取規范微分響應、構建相鄰子區域交疊帶與引入尺度空間約束增加了計算量,所以速度約為SURF的60%。通過KAZE(64)與KAZE(128)的對比可以發現,128維與64維描述子的構建時間相差不多,但匹配時間超出74%。由于KAZE(128)沒有求取規范微分響應或引入尺度空間約束,所以速度稍領先于130維的SURNSIF。由于SIFT的描述方式為梯度方向累加,所以耗時最長,SURNSIF較SIFT平均每點速度提高約33%。BRISK速度最快,是因為它的描述子結構為512bit的二進制串,可以按位異或匹配,所以匹配速度也隨之變快,但由上節描述子對比結果可知二進制特征描繪器的描繪力較弱,不適合非同源遙感圖像的處理。

綜上所述,SURNSIF平均每點的檢測描述總速度較KAZE提高47%,較SIFT提高40%,約為SURF的35%,BRISK的33%,并且是OpenCV在實現方面對SIFT、SURF、KAZE、BRISK進行優化加速的結果。隨著基于OpenMP與OpenCL的并行實現、代碼優化與GPU的硬件加速,SURNSIF速度將進一步提高。

4.2.4 基于SURNSIF的遙感影像匹配測試

基于SURNSIF進行遙感影像的匹配測試,同時也為SURNSIF的工程實踐提供一種思路。匹配算法流程如圖7所示。

圖7 算法示意圖

首先利用灰度均勻化減弱光照影響,其次進行特征檢測與描述,再次利用暴力匹配方法與雙向匹配結合的匹配方法提高搜索效率,最后利用progressive sample consensus(PROSAC)[22]去除外點完成匹配。

本實驗利用六旋翼無人機作為實驗平臺對河北省石家莊市行唐縣地區進行了實驗,同時與SIFT、SURF、KAZE以及BRISK算子進行了對比。實驗主要技術參數如表2所示,航攝影像、谷歌衛星影像拍攝時間約相差6個月,圖像分辨率約相差30%,光照條件相差極大,部分影像旋轉角度超過180°,視點變化較大、均有運動模糊、噪聲影響,對其中4條航帶進行實驗。

表2 實驗影像主要技術參數

圖8 配準結果

如圖8所示,彩線為同名點連線,黑框為航攝影像透視變換結果,將40組匹配實驗結果分析如下:

1) 由于簡化近似的檢測結構與二進制描述結構,BRISK并不適用于此類照度與模糊程度,特別是旋轉角度相差較大的非同源遙感圖像匹配,其平均正確匹配率較低,為13.55%,但速度極快。

2) KAZE的平均正確匹配率最高,為49.17%,且較為穩定,特別是針對視點、旋轉與尺度變換部分表現出較好的魯棒性,這得益于非線性尺度空間的構建與交疊帶的設計,但實時性不高。

3) SIFT的平均正確匹配率為25.35%,雖然整體上稍遜色于KAZE與SURF,但在照度與模糊變化大時,表現了較好的旋轉魯棒性,這得益于去除邊緣響應與梯度直方圖統計法的照度魯棒性高,但同樣實時性不高。

4) SURF可適用于非同源遙感圖像的匹配,平均正確匹配率介于SIFT和KAZE之間,為26.13%,且速度大幅度提升,完全滿足實時性的需求,但對于模糊與照度變換較為敏感。

5) SURNSIF的平均正確匹配率為56.13%,且穩定性與速度均高于KAZE,這是因為SURNSIF構建了非線性尺度空間,然后用AGAST進行檢測,最后通過框狀拉普拉斯濾波器剔除了邊緣響應,增強了尺度、模糊與視點變換魯棒性,并且考慮了相鄰子區域的交疊問題,使得描述具有連續性,還引入了規范微分響應,增強了模糊與旋轉變換魯棒性,同時進行了歸一化尺度空間位置約束,增強了尺度與視點變換魯棒性,所以匹配效果較好,且速度較快。

SURNSIF在圖像及視頻檢索、目標識別、紋理識別、數據挖掘、飛行器導航和寬基線匹配等多個領域,具有廣闊的應用前景。同時,SURNSIF在實時性要求較高的應用領域具有巨大潛力。

5 結 論

本文提出一種SURNSIF算子,并通過實驗驗證了算子的可行性與優勢,主要做了如下工作:

1) 針對目前特征匹配算子魯棒性與實時性問題,分析了該問題解決的核心所在,理清了特征匹配算子的研究思路。

2) 通過綜合分析里程碑式的特征匹配算子發展歷程與優缺點,根據存在的實際問題,提出了SURNSIF算子。并對其檢測子與描述子的設計進行了詳盡的理論分析與實驗驗證,通過與當前使用廣泛的SIFT、SURF、KAZE、BRISK、AGAST與fast-Hessian算子對比,定量表現了本算法在解決特征匹配5種變換及速度等問題上存在很大優勢。

3) 本實驗通過六旋翼無人機為平臺對河北省石家莊市行唐縣地區進行了實驗與分析,實驗結果有效證明了本方法的特點與優勢,為工程實踐提供了指導幫助,同時也指明了本算法的發展前景。

本算子未來的改進:SURNSIF檢測子交疊帶設計與景深關系推導還可以進一步研究,算法可以進行并行設計與增加GPU硬件加速來提高運行效率。

[1] 樊曼曼. 多源衛星遙感影像配準技術研究[D]. 秦皇島：燕山大學, 2011 Fan Manman. Resarch of Multi-Source Image Matching Technology[D]. Qinhuangdao, Yanshan University, 2011 (in Chinese)

[2] 宋芳, 李勇, 陳勇. 多源遙感圖像中的圖像配準方法[J]. 激光雜志, 2008, 29(3): 26-27 Song Fang, Li Yong, Chen Yong. Match Methods for Multisensor Remote Sensing Image Registration[J]. Laser Journal, 2008, 29(3): 26-27 (in Chinese)

[3] 廖斌. 基于特征點的圖像配準技術研究[D]. 長沙: 國防科學技術大學, 2008 Liao Bin. Feature Aided Target Maneuver Detection Technology[D]. Changsha, National University of Defense Technology, 2008 (in Chinese)

[4] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110

[5] Bay H, Tuytelaars T, Van Gool L. SURF: Speeded Up Robust Features[C]∥Proceedings of 9th European Conference on Computer Vision. Graz, Austria: Springer Berlin Heidelberg, 2006: 404-417

[6] Calonder M, Lepetit V, Strecha C, et al. Brief: Binary Robust Independent Elementary Features[C]∥Proceedings of 11th European Conference on Computer Vision Crete, Greece: Springer Berlin Heidelberg, 2010: 778-792

[7] Leutenegger S, Chli M, Siegwart R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]∥Proceedings of 2011 International Conference on Computer Barcelona, Spain, 2011: 2548-2555

[8] Mair E, Hager G D, Burschka D, et al. Adaptive and Generic Corner Detection Based on the Accelerated Segment Test[C]∥Proceedings of 11th European Conference on Computer, Heraklion, Crete, Greece: Springer Berlin Heidelberg, 2010: 183-196

[9] Alahi A, Ortiz R, Vanderrgheynst P. FREAK: Fast Retina Keypoint[C]∥Proceedings of Computer Version and Pattern Recognition, 2011: 510-517

[10] Pablo F, Adrien B, Andrew J. KAZE Features[C]∥Proceedings of 12th European Conference on Computer Version, Florence, Italy: Springer Berlin Heidelberg, 2012: 214-227

[11] 李鵬, 武文波, 王宗偉. 基于非線性尺度空間的多源遙感影像匹配[J]. 測繪科學, 2015, 40(7): 41-44 Li Peng, Wu Wenbo, Wang Zongwei. Muti-Source Remote Sensing Images Matching Based on Nonlinear Scale Space[J]. Science of Surveying and Mapping, 2015, 40(7): 41-44 (in Chinese)

[12] Pablo F, Jesus N, Adrien B. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[C]∥Proceedings of 2013 British Machine Vision Conference. Bristol, UK, 2013:2157-2163

[13] Edward R, Tom D. Machine Learning for High-Speed Corner Detection[C]∥Proceedings of 9th European Conference on Computer Vision, Graz, Austria, 2006: 430-443

[14] 胡波. 基于顏色不變量的特征匹配算法研究[D]. 沈陽：遼寧大學, 2014 Hu Bo. Study of Feature Matching Algorithm Based on Color Invariant[D]. Shengyang, Liaoning University, 2014 (in Chinese)

[15] 王飛宇, 邸男, 賈平. 結合尺度空間FAST角點檢測器和SURF描繪器的圖像特征[J]. 液晶與顯示, 2014, 29(4): 598-604 Wang Feiyu, Di Nan, Jia Ping. Image Features Using Scale-Space FAST Corner Detector and SURF Descriptor[J]. Chinese Journal of Liquid Crystals and Displays, 2014, 29(4): 598-604 (in Chinese)

[16] Pablo F, Luis M, Andrew J. Gauge-SURF Descriptor[J]. Image and Vision Computing, 2013, 31(1): 103-116

[17] 余淮, 楊文. 一種無人機航拍影像快速特征提取與匹配算法[J]. 電子與信息學報, 2016, 38(3): 509-516 Yu Huai, Yang Wen. A Fast Feature Extraction and Matching Algorithm for Unmanned Aerial Vehicle Images[J]. Journal of Electronics and Information Technology, 2016, 38(3): 509-516 (in Chinese)

[18] 張寶龍, 李洪蕊, 李丹, 等. 一種針對車載全景系統的圖像拼接算法的仿真[J]. 電子與信息學報, 2015, 37(5): 1149-1153 Zhang Baolong, Li Hongrui, Li Dan, et al. A Simulation of Image Mosaic Algorithm Based on Vehicle Panorama System[J]. Journal of Electronics and Information Technology, 2015, 37(5): 1149-1153 (in Chinese)

[19] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1/2): 43-72 (in Chinese)

[20] Mikolajczyk K, Schmid C. A Performance Evaluation of Local Descriptors[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630

[21] Winder S A J, Brown M. Learning Local Image Descriptors[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, Redmond, 2007: 1-8

[22] Chum O, Matas J. Matching with PROSAC-Progressive Sample Consensus[C]∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Minneapolis, 2005: 220-226

Speeded up Robust Nonlinear Scale-Invariant Feature

Zhang Yan, Li Jianzeng, Li Deliang, Du Yulong

(Ordnance Engineering College, Shijiazhuang 050003, China)

This paper puts forward a speeded up robust nonlinear scale invariant feature(SURNSIF). Noise is wiped off and edge response is guaranteed through the fast solving of nonlinear scale space. Adaptive selection of number of scale space and the Adaptive and Generic corner detection based on the accelerated segment test(AGAST), combined with frame Laplace filter via removing edge response take account of the detection accuracy and real-time performance. Constructing descriptor overlap, introduction of gauge derivatives and the constraint of feature point in the nonlinear scale space location enhance the accuracy. Comparing to scale invariant feature transform(SIFT), speeded up robust features(SURF), KAZE, binary robust invariant scalable keypoints(BRISK), AGAST and fast-Hessian experiments, the SURNSIF reveals stronger robustness with 5 kinds of changes, and its registration speed is faster. Compared with KAZE, comprehensive robustness is increased about 10.87%, and the speed is increased about 47%.

feature registration; SURNSIF; KAZE; AGAST

2016-03-08

國家自然科學基金(51307183)資助

張巖(1991—),軍械工程學院博士研究生,主要從事計算機視覺與無人機圖像信息處理技術研究。

TP391.4

A

1000-2758(2016)06-1108-12