快速穩健的自適應非線性尺度特征檢測子

張　巖,李建增,李德良,杜玉龍

(軍械工程學院無人機工程系,河北 石家莊 050003)

?

快速穩健的自適應非線性尺度特征檢測子

張巖,李建增,李德良,杜玉龍

(軍械工程學院無人機工程系,河北 石家莊 050003)

提出了一種快速穩健的自適應非線性尺度特征檢測子(fast robust adaptive nonlinear scale feature detector,FRANSFD),通過非線性尺度空間快速求解去除了噪聲同時保證了邊緣細節,并將自適應選取尺度空間組數、基于加速段檢驗的自適應通用角點檢測子(adaptive and generic corner detection based on the accelerated segment test,AGAST)與框狀拉普拉斯濾波器去除邊緣響應相結合,兼顧了檢測的準確性與實時性。通過與尺度不變特征轉換(scale invariant feature transform,SIFT)檢測子、快速魯棒性特征(speeded up robust features,SURF)檢測子、風式特征(KAZE)檢測子以及二進制魯棒性尺度不變的特征(binary robust invariant scalable keypoints,BRISK)檢測子的實驗對比可知,FRANSFD的5種變換魯棒性均較強,同時速度也更快。綜合性能較KAZE提高約5.76%,速度提高約47%。

特征匹配; 快速穩健的自適應非線性尺度特征檢測子; 風式特征匹配算子; 自適應通用角點檢測算子

0　引　言

圖像匹配是將不同時間、不同視角、相同或不同傳感器獲取的同一地區的兩幅或多幅影像進行空間上對準的過程。其主要解決視點、模糊、照度、JPEG壓縮,尺度以及旋轉變換問題[1]。總體分為基于特征匹配與基于灰度匹配兩大類[2]。近些年來,由于計算量小、魯棒性高與變換關系易于得到等優勢,特征匹配被廣泛使用與研究[3]。

特征匹配主要包括:圖像預處理,特征檢測,特征描述,特征匹配,去除錯誤點。其中特征檢測是首要問題,這是因為檢測算法直接決定了匹配整體的運算點數目,從而影響了匹配的計算量;并且檢測算法決定了噪聲、照度、圖像變形及遮擋的影響程度,同時檢測后的特征點坐標直接決定了圖像之間的空間變換關系,所以特征檢測大大影響了匹配精度。因此對特征檢測算法進行研究具有重大意義。

文獻[4]提出了經典的尺度不變特征轉換(scale invariant feature transform,SIFT)檢測子,并于2004年對該算子進行了進一步完善。該算子在高斯差分(difference of Gaussians,DoG)空間內檢測極值點,并剔除對比度低的點及邊緣響應,該算法具有尺度與旋轉不變性,同時對視點、模糊、照度與JPEG壓縮等變換魯棒性強,但實時性不高。文獻[5]改進了SIFT,提出了快速魯棒性特征(speeded up robust features,SURF)檢測子。該算子使用不同尺寸快速海森矩陣檢測關鍵點,然后通過小波扇形環繞使該算子具有旋轉不變性,使得檢測速度大幅提升,但對模糊、照度與JPEG壓縮等變換敏感。文獻[6-7]改良了二進制魯棒性獨立基本特征(binary robust independent elementary features,BRIEF)檢測子,并提出了二進制魯棒性尺度不變的特征(binary robust invariant scalable keypoints,BRISK)檢測子。該算子在近似尺度空間中利用基于加速段檢驗的自適應通用角點檢測子(adaptive and generic corner detection based on the accelerated segment test,AGAST)檢測特征點[8],同時利用長距離迭代法為特征點賦予方向,使其不僅具有視點、模糊、照度、JPEG壓縮、旋轉與尺度等不變性,而且完全滿足實時性要求,但與SIFT、SURF等檢測子相比,各方面魯棒性較弱。文獻[9]提出一種非線性特征檢測的風式特征(KAZE)檢測子。傳統基于線性高斯金字塔進行多尺度檢測的算法都是以犧牲局部精度為代價,來提取特征點同時消除噪聲,這容易造成邊界模糊和細節丟失,使匹配穩定性差與誤匹配點多,非線性尺度分解有望解決此類問題[10]。KAZE檢測子是基于SURF而改進設計的,采用任意步長來構造穩定的非線性尺度空間,使其對于各種變換比SIFT更為穩健,但速度大幅下降。

歸結起來,傳統特征匹配算子存在問題有:高斯尺度空間無法同時消除噪聲并保持圖像細節;DoG或快速海森矩陣等的檢測速度無法滿足實時性需求;尺度空間組數與層數的選取無法滿足不同圖像處理;去除邊緣響應的算法實時性不高。所以欲改善特征檢測算子的魯棒性與實時性,重點是解決尺度空間的構建及組數與層數自適應設定、檢測算子的選用以及去除邊緣響應算法速度的提高等問題。

1　算子概述

本文提出了一種快速穩健的自適應非線性尺度特征檢測子(fast robust adaptive nonlinear scale feature detector,FRANSFD),其構成如圖1所示。

圖1　FRANSFD算子示意圖Fig.1　Diagram of the proposed algorithm

(1)通過非線性尺度空間快速求解去除噪聲,同時保證邊緣。

(2)通過自適應選取尺度空間組數來滿足不同圖像的檢測。

(3)通過AGAST提高檢測的速度與魯棒性。

(4)通過框狀拉普拉斯濾波器提高邊緣響應去除的速度與準確性。

(5)通過亞像素級矯正與小波扇形環繞對特征點定位定向,以保證檢測子于尺度空間中定位的準確性與旋轉不變性。

2　FRANSFD特征檢測子

2.1非線性尺度空間的快速求解

傳統正向歐拉法求解非線性擴散方程時,由于迭代步長太短導致計算復雜。針對上述問題,本文擬采用快速顯式擴散(fast explicit diffusion,FED)算法[11]求解非線性擴散方程,此方法可以采用任意步長來構造穩定的非線性尺度空間,并且運算快捷。

非線性擴散濾波方法可以通過非線性偏微分方程來描述:

(1)

(2)

所選擇的c函數能夠有效保留邊界信息同時平滑區域內部。對比度因子k能控制擴散程度,邊緣信息保留量與其負相關,經過大量實驗,其值取為圖像的梯度直方圖70%百分位上的值。

FED算法是通過因數分解盒子濾波器進行動態循環加速,而達到快速求解非線性系統的目的,其本質思想是從因數分解盒子濾波器得到不同步長τj來執行顯式擴散步驟,τj按式(3)求得,式(4)為該非線性偏微分方程的解:

(3)

(4)

式中,I表示單位矩陣;Al為傳導運算符;n表示顯性擴散步數;τj表示對應步長;τmax表示滿足條件的最大步長。

2.2尺度空間組數的自適應選取

為了進一步提高對不同圖像檢測的準確度并且提高效率,本文提出了適應選取尺度空間組數的方法,其原理如下。

構造尺度空間時,尺度級別按對數遞增,尺度參數σi為

(5)

式中,o表示組;s表示層;σ0表示尺度參數的初始值;O為總組數;S為總層數；N=O×S為尺度空間包含的圖像總數。

過大的O與S會導致構造線性尺度空間耗時較長,過少的O與S會導致匹配率下降。經過大量實驗,將S定為經驗值4,然后根據圖像尺寸來自適應選取O,公式為

(6)

式中,c與r分別表示圖像的行數與列數;[]表示取整(四舍五入)。

最后根據尺度參數σi按式(7)求出進化時間ti,按照式(1)～式(4)求得相應尺度圖像:

(7)

構建非線性尺度空間的流程為:首先對輸入圖像進行高斯濾波,然后為得到對比度參數k求出梯度直方圖,最后由一組進化時間求解隱式差分方程即可得到非線性尺度空間的所有圖像。圖2為高斯與非線性尺度空間效果對比。

圖2　尺度空間對比圖Fig.2　Comparison between scale spaces

2.3AGAST算子檢測

AGAST改進了基于加速段測試的特征(features from accelerated segment test,FAST)檢測子[12],進一步提高了檢測效率,與KAZE的海森矩陣檢測法相對比,該算法大大提高了速度,同時保證了效果[8]。其本質是有足夠多的像素點,其灰度值小于或大于周圍鄰域內待檢測點,則該點被

認定為特征點。模板是以待檢測點為圓心,半徑為3個像素的Bresenham圓。經Rosten測試,閾值定為9的檢測穩定性與速度綜合性能最優,此閾值可以很快排除偽角點。

然后將AGAST9-16(圓周上共有16個像素,閾值為9)算子應用于非線性尺度空間每一層,并記錄下候選點所在非線性尺度空間位置(o與s),求出候選點及其AGAST分數V。

2.4邊緣響應的去除

比較候選點與相鄰的上下尺度層中的9×2個點以及同尺度的8個相鄰點的AGAST分數V,若所有相鄰點的分數均小于該點,則保留該點。這種方法檢查效率極高,因為大部分候選點在開始幾次檢測中就被剔除了。

經過上述步驟,不穩定點和局部極值點均已排除,但仍存在一些邊緣點,這對特征點的選取影響極大。本文選用拉普拉斯剔除法來去除邊緣響應,通過對應尺度的5×5框狀拉普拉斯濾波器對候選點進行處理,如果鄰域內各像素點灰度的拉普拉斯值不為0,則保留該點。這種方法比SIFT計算海森矩陣的跡與行列式[4]更快,且準確度更高。

然后經過亞像素級矯正[13]步驟完成特征點的定位。最后為使特征點檢測子具有旋轉不變性,通過小波扇形環繞[5]賦予每一個特征點方向特征。

3　實驗設置

3.1實驗平臺參數

筆記本計算機配置:處理器為Intel酷睿雙核i7第4代,主頻為2.5 GHz。操作系統為Win10 64位系統,編程環境為Visual Studio 2010 與OpenCV2.41 (KAZE是由OpenCV3.10中提取加載的)。

3.2數據集

為體現檢測子所產生的不同效果,同時保證實驗的客觀性,本實驗采用Mikolajczyk 05標準測試圖集[14](http://www.robots.ox.ac.uk/～vgg/research/affine/),如圖3所示。

圖3　測試所用圖片集Fig.3　Datasets used for evaluation

從圖3中可以看出，該數據集分為8個數據子集(含圖像間的單應矩陣),包括5種變換:視點變換、模糊變換、照度變換、JPEG壓縮,以及尺度變換和旋轉變換,其中:Bark (765像素×512像素)為尺度和旋轉變換,Bikes (1 000像素×700像素)為模糊變換,Boat (800像素×640像素)為尺度和旋轉變換,Graf (800像素×640像素)為視點變換,Leuven (921像素×614像素)為照度變化,Trees (1 000像素×700像素為模糊變換,Ubc (800像素×640像素)為JPEG壓縮,Wall (1 000像素×700像素)為視點變換。

3.3實驗對象及OpenCV相關參數設置

BRISK檢測子:閾值:30,組數:4。

SIFT檢測子:組數:4,層數:4,對比閾值:0.04,邊緣閾值:10,σ=1.6。

SURF檢測子:快速海森:0.6,組數:4,層數:4,主方向不固定。

KAZE:檢測子:組數:4,層數:4,擴散系數:G2,閾值:0.001,主方向不固定。描述子:128維M-SURF。

3.4實驗過程和評估準則

通過測定檢測子的復現率[14](區域重疊錯誤率低于40%),運行時間以及遙感影像間的正確匹配率[15]來評判配準算法性能。

(1)復現率為兩幅圖像上檢測出來的一致點對數量占總觀測點數的百分比,定義式如下:

(8)

式中,di為基準圖像中檢測到的點數;dj為待處理圖像中檢測到的點數;Dij為同名點數。

(2)正確匹配率為兩幅圖像上正確匹配數量占總匹配數量的百分比,定義式為

Correct matches rate=

(9)

式中,# correct matches為正確匹配數;# false matches為錯誤匹配數;# correct matches +# false matches為總匹配數。

4　實驗結果與分析

4.1FRANSFD檢測子的性能

如圖4所示,衡量FRANSFD檢測子的實驗結果分析如下:

(1)雖然BRISK中有關尺度空間的構建和方向的確定等都是近似估計的運算,5種變換魯棒性最弱,但尺度與視點變換較AGAST均有提升,驗證了將AGAST引入尺度空間檢測的合理性。

(2)SURF與SIFT的旋轉變換的對比說明,小波扇形環繞特征方向確定法要優于梯度直方圖統計法,所以FRANSFD使用小波扇形環繞法確定特征方向。

(3)KAZE與SURF的檢測結構相似,且確定特征點主方向的方法相同,僅尺度空間的構建不同,所以二者對比說明,各種變換非線性尺度空間較線性尺度空間魯棒性均有明顯提升。這正是將非線性濾波器引入FRANSFD的重要原因。

(4)由于FRANSFD非線性尺度空間構建與AGAST配合時性能比較優良,同時通過框狀拉普拉斯濾波器去除了邊緣響應,所以照度、模糊、視點與JPEG壓縮變換的魯棒性最高。

(5)由于FRANSFD自適應選取尺度空間組數,所以尺度變換的魯棒性最高。

(6)由于FRANSFD與KAZE確定主方向方法一致,所以旋轉變換魯棒性相同。

綜上所述,FRANSFD檢測子在視點、模糊、照度、JPEG壓縮、旋轉與尺度的變換下,均具有良好的魯棒性,綜合性能較KAZE提高約5.76%。

圖4　不同變換條件下的復現率比較Fig.4　Repeatability comparison under different transformations

4.2時間測試

這一節將對特征檢測子的運行時間進行測試分析。利用SIFT、SURF、KAZE、BRISK與FRANSFD算法,分別對Graf圖像序列中的第一、二張圖像(圖像大小:800像素×640像素)進行實驗(次數超過100次),取均值后對比分析FRANSFD的速度特點與優勢。

表1展現了FRANSFD的速度優勢:由于FRANSFD中引入FED算法,加速了尺度空間的構建、引入AGAST算法與框狀拉普拉斯濾波器加速了特征點的檢測,所以執行速度大大領先于KAZE與SIFT,但非線性尺度空間構建計算量遠大于SURF的不同尺寸框狀濾波器的計算量,所以平均每點速度遠低于SURF,與BRISK接近。尺度空間的簡化與AGAST的引入共同形成了BRISK的速度優勢,說明了AGAST用于提高檢測速度的合理性。

表1　算法耗時比較

綜上所述,FRANSFD平均每點的檢測速度較KAZE提高47%,較SIFT提高40%,約為SURF的33%,BRISK的31%,并且是OpenCV在實現方面對SIFT、SURF、KAZE、BRISK進行優化加速的結果。隨著基于OpenMP與OpenCL的并行實現、代碼優化與GPU的硬件加速,FRANSFD速度將進一步提高。

4.3基于FRANSFD的遙感影像匹配測試

基于FRANSFD進行遙感影像的匹配測試,同時也為FRANSFD的工程實踐提供一種思路。匹配算法流程如圖5所示,首先利用沃利斯(Wallis)濾波器與灰度均勻化減弱噪聲與光照的影響,其次進行特征檢測與描述,再次利用暴力匹配方法與雙向匹配結合的匹配方法提高搜索效率,最后利用漸進采樣一致性算法(progressive sample consensus,PROSAC)[16]去除外點完成匹配。

圖5　算法示意圖Fig.5　Diagram of the proposed algorithm

經測試,相比于SIFT、SURF、KAZE與BRISK描述子,128維KAZE描述子描述子魯棒性最高,極適用于差異較大的非同源遙感影像匹配[9],而KAZE檢測子與其他描述子配合使用時,總會出現旋轉不變性缺失或其他問題,所以本實驗特征描述選用128維KAZE描述子。但OpenCV中的KAZE描述子需要檢測子提供尺度空間位置參數(進化級別),所以實現時需修改該部分代碼,使其能夠適用于其他檢測子。

本實驗利用六旋翼無人機作為實驗平臺對河北省石家莊市行唐縣地區進行了實驗,同時與SIFT、SURF、KAZE以及BRISK檢測子進行了對比。實驗主要技術參數如表2所示,航攝影像、谷歌衛星影像拍攝時間約相差約6個月,圖像分辨率約相差30%,光照條件相差極大,部分影像旋轉角度超過180°,視點變化較大、均有運動模糊、噪聲影響。對其中4條航帶進行實驗,通過正確匹配率來評判配準效果。

表2　實驗影像主要技術參數

如圖6所示,圖6(a)中彩線為同名點連線,圖6(b)中較亮矩形區域為航攝影像透視變換結果,圖6(c)為40張航片與對應區域谷歌衛星影像的正確匹配率曲線,將實驗結果分析如下:

(1)由于簡化近似的檢測結構,BRISK并不適用于此類照度與模糊程度,特別是旋轉角度相差較大的非同源遙感圖像匹配,其平均正確匹配率較低,為22.47%,但速度極快。

(2)KAZE的平均正確匹配率較高,為26.80%,且較為穩定,特別是針對視點、旋轉與尺度變換部分表現出較好的魯棒性,這得益于非線性尺度空間的構建,但實時性不高。

(3)SIFT的平均正確匹配率為37.01%,雖然整體上遜色于KAZE與SURF,但在照度與模糊變化大時,表現了較好的旋轉魯棒性,這得益于去除邊緣響應與梯度直方圖統計法的照度魯棒性高,但同樣實時性不高。

(4)SURF適用于非同源遙感圖像的匹配,平均正確匹配率介于SIFT和KAZE之間,為33.33%,且速度大幅度提升,完全滿足實時性的需求,但對于模糊與照度變換較為敏感。

(5)FRANSFD的平均正確匹配率為40.09%,且穩定性與速度均高于KAZE,這是因為FRANSFD構建了非線性尺度空間,然后用AGAST進行檢測,最后通過框狀拉普拉斯濾波器剔除了邊緣響應,增強了尺度、模糊與視點變換的魯棒性,所以匹配效果較好,且速度較快。

FRANSFD在圖像及視頻檢索、目標識別、紋理識別、數據挖掘、飛行器導航和寬基線匹配等多個領域,具有廣闊的應用前景。同時,FRANSFD在實時性要求較高的應用領域具有巨大潛力。

圖6　配準結果Fig.6　Registration result

5　結束語

本文提出一種FRANSFD檢測子,并通過實驗驗證了算法的可行性與優勢,主要做了如下工作:

(1)針對目前特征匹配檢測子魯棒性與實時性問題,分析了該問題解決的核心所在,理清了檢測子的研究思路。

(2)通過綜合分析里程碑式特征匹配檢測子的發展歷程與優缺點,根據存在的實際問題,提出了FRANSFD檢測子。并對其設計進行了詳盡的理論分析與實驗驗證,通過與當前使用廣泛的SIFT、SURF、KAZE與BRISK檢測子對比,定量表現了本文算法在解決特征檢測,特別是尺度、視角、光照變化較大及速度等問題上存在很大優勢。

(3)本實驗通過六旋翼無人機為平臺對河北省石家莊市行唐縣地區進行了實驗與分析,實驗結果有效證明了本方法的特點與優勢,為工程實踐提供了指導幫助,同時也指明了本算法的發展前景。

[1] Fan M M.Resarch of multi-source image matching technology[D].Qinhuangdao:Yanshan University,2011.(樊曼曼.多源衛星遙感影像配準技術研究[D].秦皇島:燕山大學,2011.)

[2] Song F,Li Y,Chen Y.Match methods for multisensor remote sensing image registration[J].Laser Journal,2008,29(3):26-27.(宋芳,李勇,陳勇.多源遙感圖像中的圖像配準方法[J].激光雜志,2008,29(3):26-27.)

[3] Zhu Y L.Feature aided target maneuver detection technology[D].Changsha:National University of Defense Technology,2008.(廖斌.基于特征點的圖像配準技術研究[D].長沙:國防科學技術大學,2008.)

[4] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[5] Bay H,Tuytelaars T,Van G L.SURF:speeded up robust features[C]//Proc.of the 9th European Conference on Computer,2006:404-417.

[6] Calonder M,Lepetit V,Strecha C,et al.Brief:binary robust independent elementary features[C]//Proc.of the 11th European Conference on Computer Vision,2010:778-792.

[7] Leutenegger S,Chli M,Siegwart R Y.BRISK:binary robust invariant scalable keypoints[C]//Proc.of the IEEE International Conference on Computer Vision,2011:2548-2555.

[8] Mair E,Hager G D,Burschka D,et al.Adaptive and generic corner detection based on the accelerated segment test[C]//Proc.of the 11th European Conference on Computer Vision,2010:183-196.

[9] Pablo F,Adrien B,Andrew J.KAZE features[C]//Proc.of the 12th European Conference on Computer Vision,2012:214-227.

[10] Li P,Wu W B,Wang Z W,Muti-source remote sensing images matching based on nonlinear scale space[J].Science of Surveying and Mapping,2015,40(7):41-44.(李鵬,武文波,王宗偉.基于非線性尺度空間的多源遙感影像匹配[J].測繪科學,2015,40(7):41-44.)

[11] Pablo F,Jesus N,Adrien B.Fast explicit diffusion for accelerated features in nonlinear scale spaces[C]//Proc.of British Machine Vision Conference,2013:2157-2163.

[12] Edward R,Tom D.Machine learning for high-speed corner detection[C]//Proc.of the 9th European Conference on Computer Vision,2006:430-443.

[13] Hu B.Study of feature matching algorithm based on color invariant[D].Shenyang:Liaoning University,2014.(胡波.基于顏色不變量的特征匹配算法研究[D].沈陽：遼寧大學,2014.)

[14] Mikolajczyk K,Tuytelaars T,Schmid C,et al.A comparison of affine region detectors[J].International Journal of Computer Vision,2005,65(1/2):43-72.

[15] Winder S A J,Brown M.Learning local image descriptors[C]//Proc.of the IEEE Conference on Computer Vision and Pattern Recognition,2007:1-8.

[16] Chum O,Matas J.Matching with PROSAC-progressive sample consensus[C]//Proc.of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005:220-226.

Fast robust adaptive nonlinear scale feature detector

ZHANG Yan,LI Jian-zeng,LI De-liang,DU Yu-long

(UAV Engineering Department,Ordnance Engineering College,Shijiazhuang 050003,China)

A fast robust adaptive nonlinear scale feature detector (FRANSFD)is proposed.Noise is wiped off and edge response is guaranteed through the fast solving of the nonlinear scale space.Adaptive selection of the number of scale space and the adaptive and generic corner detection based on the accelerated segment test (AGAST),combined with frame Laplace filter via removing edge response take account of the detection accuracy and real-time performance.Compared with to feature detectors of scale invariant feature transform (SIFT),speeded up robust features (SURF),KAZE,and binary robust invariant scalable keypoints (BRISK)experiments,the FRANSFD reveals stronger robustness with five kinds of changes,and its registration speed is faster.Compared with KAZE,comprehensive robustness is increased about 5.76%,and the speed is increased about 47%.

feature matching; fast robust adaptive nonlinear scale feature detector (FRANSFD); KAZE; adaptive and generic corner detection based on the accelerated segment test (AGAST)

2016-02-25；

2016-06-07；網絡優先出版日期：2016-08-25。

國家自然科學基金(51307183)資助課題

TP 391.41

ADOI:10.3969/j.issn.1001-506X.2016.11.32

張巖(1991-),男,博士研究生,主要研究方向為計算機視覺與無人機信息處理技術。

E-mail:hillwind@126.com

李建增(1966-),男,碩士研究生導師,碩士,主要研究方向為無人機圖像信息處理技術。

E-mail:ljz681@sohu.com

李德良(1978-),男,講師,博士,主要研究方向為無人機圖像信息處理技術。

E-mail:271395592@qq.com

杜玉龍(1992-),男,碩士研究生,主要研究方向為無人機圖像信息處理技術。

E-mail:1159316475@qq.com

網絡優先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20160825.1441.006.html