基于特征的遙感圖像匹配技術研究

張　巖，李建增，李德良，周子棟，杜玉龍

(軍械工程學院，河北 石家莊 050003)

?

基于特征的遙感圖像匹配技術研究

張巖，李建增，李德良，周子棟，杜玉龍

(軍械工程學院，河北 石家莊 050003)

摘要針對目前圖像匹配問題，分析對比了近些年來較為經典的基于點特征的圖像匹配算法。歸納了2種較為實用的圖像預處理方法：Wallis濾波與灰度均勻化。為提高搜索效率引入了近年來熱門的k-dimensional(KD)樹與Best Bin First(BBF)結合的匹配方法?？偨Y了除外點的2種前沿方法：雙向匹配與Progressive Sample Consensus(PROSAC)。為基于特征點的圖像匹配提供了整體思路。

關鍵詞圖像匹配；特征點；KAZE；FAST

Research of Remote Sensing Image Matching Based on Key Points

ZHANG Yan,LI Jian-zeng,LI De-liang,ZHOU Zi-dong,DU Yu-long

(OrdnanceEngineeringCollege,ShijiazhuangHebei050003,China)

AbstractFor the issue of image matching,some recent classical image matching algorithms based on key points are analyzed and compared.Two practical image preprocessing methods,Wallis filter and gray uniformity,are concluded.A popular matching method combining k-dimensional(KD) tree and Best Bin First(BBF) is introduced to improve the search efficiency.Two leading algorithms,bilateral matching and Progressive Sample Consensus(PROSAC),are summarized.As a result,an integrated idea for image matching based on key points is provided.

Key wordsimage matching;key point;KAZE;FAST

0引言

對同一物體，用不同傳感器或不同時刻或不同角度獲取時，這些圖像在空間分辨率、時間分辨率、幾何特性和光譜特性等方面就會存在一些比較明顯的差異性或局限性。所以僅用一種圖像來描述物體是不能滿足實際需要的，為此，就需要圖像匹配來解決這種問題[1]。

圖像匹配主要解決噪聲影響、光照變化、運動模糊、尺度變換以及相對旋轉等問題，總體分為基于圖像灰度信息與基于圖像特征信息2大類，而基于圖像特征信息又可分為基于邊緣特征、基于輪廓特征、基于區域特征及基于特征點[2]。而基于特征點的匹配方法相對于利用全部圖像的像素點來說，減少運算點的個數，從而大大減少了匹配的計算量；同時其匹配亮度對位置變化比較敏感，從而提高了匹配精度；其提取過程減少了噪聲、灰度、圖像變形及遮擋的影響；并且匹配后的特征點坐標可以直接用來估計圖像之間的空間變換關系。由于以上的優勢，所以特征點匹配算法近些年來被廣泛使用與研究[3]。

1基于特征點匹配算法

1988年，Harris等人提出了Moravec算子的改進方法HARRIS，實驗表明該方法能夠相對穩定地處理小幅度旋轉與光照變化問題[4]，但對噪聲、尺度變換與運動模糊極為敏感。1994年，Jinabo等人提出了HARRIS算法的改良算法Shi-Tomasi[5]，該算法增強了對運動模糊的魯棒性。1997年，Smith和Brady對HARRIS算法進行了改進，提出SUSAN算法，其避免了大量的局部梯度運算，運算速度大幅提高[5]，但魯棒性小幅下降。Lowe[6]于 1999年提出了經典的 SIFT 算法，并于2004年完善該算法，該算法在使用 DOG尺度空間中檢測極值點，并通過擬合函數精確定位關鍵點所在位置及尺度，剔除了對比度低、不穩定的關鍵點。同時建立梯度方向分布直方圖，生成 128 維描述符，該算法具有尺度和旋轉不變性，同時對噪聲、光照等影響魯棒性強，但實時性不高。Bay[7]等人于2006年提出了SURF算法，該算法基于 SIFT 算法的思想進行了改進，在尺度空間中使用近似的 Hessian 矩陣檢測關鍵點，通過使用盒子濾波器和積分圖像提高了算法效率，利用關鍵點鄰域的Harr小波響應分布生成 64 維描述符，使得匹配速度大幅提升，但大角度旋轉與噪聲等影響敏感，并且無法滿足實時要求。Agrawal等人于2008年提出了SURF的改良算子CenSurE[8]，該算子利用簡單的雙層濾波器來近似高斯拉普拉斯，獲得了很高的計算效率，計算速度比SURF提高了3倍以上，且性能也超過SURF，逼近SIFT算子，但尺度采樣是線性的，濾波器響應信號很稀疏，檢測的特征重復率不高。Rosten等人于2006年在SUSAN算法的基礎上提出使用機器學習的方法快速檢測角點的FAST算法[9]，與傳統的角點檢測算法相比，在速度上具有明顯優勢；Mair[10]于 2010 年提出改進的FAST算法，進一步提高了檢測速度，但這2種FAST都沒有解決尺度與旋轉問題。Calonder等人[11]于2010年提出了BRIEF算法，該算法通過對關鍵點附近隨機點對灰度值大小的比較生成二進制特征向量，使得對特征點的描述速度大幅提高，完全滿足實時性需求，但對于各種問題的魯棒性下降很多。Rublee等人[12]于 2011 年提出了Oriented FAST算法使得 FAST 具有了小幅度旋轉的不變性，但沒有解決尺度問題。Rublee等人于 2011 年提出 ORB 算法，基于FAST與BRIEF生成具有旋轉不變性的特征向量，但還是沒有解決尺度問題。Leutenegger[13]于2011年改良了ORB提出了 BRISK 算法，該算法在尺度空間中檢測 AGAST 角點并將角點位置精確到亞像素，并在關鍵點周圍采用固定的采樣模式生成二進制描述符，該算法不僅具有尺度、旋轉、光照及噪聲等不變性，而且處理速度完全滿足實時性要求，是視頻處理的良好算子，但處理非同源大比例尺航攝影像相比SIFT、SURF精度不足。2011年，Alahi等人提出一種基于人眼視網膜的描述子FREAK[14]，本質也是二進制描述符，利用掃視匹配搜索，對于各種變換比BRISK描述符具有更好的魯棒性，處理速度稍有下降，但完全滿足實時處理需求，只是精度還是達不到非同源匹配要求。2012年，Pablo等人提出一種比SIFT更穩定的特征檢測算法KAZE[15]，采用加性算子分裂算法來進行非線性擴散濾波，可以采用任意步長來構造穩定的非線性尺度空間。描述子與檢測子是對SURF的改進，加入了尺度層數參數與子區域重疊帶，使得對于各種變換KAZE比SIFT更加穩健，但速度大幅下降。2013年，Pablo等人又提出一種快速的AKAZA算法[16]，該算法利用Fast Explicit Diffusion(FED)數學框架，動態加速了非線性尺度空間的計算，同時提出一種新的描述符二進制描述符Modified-Local Difference Binary(M-LDB)，大大提高了算法的速度，與SIFT、SURF等網格描繪器相比二值特征描繪器的描繪力較弱[17]，且經本文測試，二進制描述符不適用于景物變化大的非同源匹配，匹配精度較低。

2圖像預處理

匹配算子選定后，為準確匹配需要提高對比度，同時壓制噪聲，綜合多種濾波器對比，要對圖像進行預處理，本文選用Wallis濾波與灰度均勻化。

2.1Wallis濾波

Wallis濾波器是一種比較特殊的濾波器，它可以增強原始影像的反差，同時壓制噪聲，其目的是將局部影像的灰度均值和方差映射到給定的灰度均值和方差值。它實際上是一種局部影像變換，大大增強了影像中不同尺度的影像紋理模式，所以在提取影像中的特征點時可提高特征點的數量和精度，從而提高匹配結果的可靠性與精度[18]。

Wallis濾波器可以表示為：

(1)

式中，g(x,y)為原影像的灰度值；f(x,y)為結果影像的灰度值；mg為原影像的局部灰度均值；sg為原影像的局部灰度標準差；mf為結果影像局部灰度均值的目標值；sf為結果影像的局部灰度標準偏差的目標值；c為影像方差的擴展常熟；b為影像的亮度系數[19]。

本文所使用典型的Wallis濾波器中c=1，b=1，此時Wallis濾波公式變為：

(2)

此時r1=sf/sg，r0=mf-r1mg。

2.2灰度均勻化

圖像匹配往往會受到場景光線強度和曝光時間等因素的影響不同，而這會使匹配的正確性降低，而灰度均勻化技術可以大大削減以上因素對正確性的影響?；叶染鶆蚧幕舅枷胧菍⑤斎雸D像的灰度直方圖映射到一個更寬，更均勻的灰度直方圖，這樣輸出的圖像將具有較大的動態范圍和對比度[20]。

在離散圖像中，灰度級k出現的概率為：

(3)

式中，m代表在圖像中出現的像素總和；mk代表第k級灰度像素的個數；N代表圖像中出現的灰度級個數。

(4)

式中，Vk代表原圖像第k級值變換后對應的灰度值。灰度均勻化前后的效果圖如圖1所示。

圖1　灰度均勻化效果

3基于KD樹的BBF快速匹配

特征點匹配可以歸結為一個通過距離函數在高維空間上的相似性檢索問題，窮盡搜索雖能搜索到正確的匹配點，但耗時大;普通的KD樹算法對于高維數據，搜索效率會下降，可能導致大部分節點被訪問和比較而接近于窮盡搜索法。針對上述生成的特征描述向量，考慮到匹配時的時間代價，用基于KD樹索引的Best-bin-first(BBF)最近鄰搜索方法，進行特征匹配。

首先計算特征向量間的相似性距離，最常用的方法就是采用歸一化歐氏距離準則，根據相似性距離建立KD樹索引，然后采用BBF算法來進行匹配點對的查找，即利用優先級隊列，針對某查詢點，搜索整個KD樹隊列中記錄的都是KD樹根節點和樹節點，它們的優先級取決于離查詢點的距離，然后再從隊列中提取優先級最高的節點，從根節點開始掃描到葉子節點，重復以上步驟直到隊列為空或超出時間限制，BBF通過優先隊列可以隨時中斷查詢機制，總能返回最好結果作為近似的最近鄰，從而將KD樹擴展到高維空間上[21]。

4去除錯誤匹配點

4.1雙向匹配算法的原理

基于KD樹的BBF快速匹配方法容易產生誤匹配，但其中的大部分是正確的，并且匹配方向和匹配閾值對匹配特征向量對的數量及正誤起到了關鍵的作用，故提出利用特征向量匹配對的唯一性約束，進一步提高匹配正確率[22]。

雙向匹配算法的基本思想是根據交集思想，由原方法中的第1次匹配的結果，得到第1個特征點集在第2個特征點集中的匹配點，反過來再次求第2個特征點集中已被匹配的關鍵點在第1個特征點集中的匹配點，即求已被匹配的關鍵點在第1個特征點集中的最鄰近與次鄰近的距離比率α，α小于某個閾值的匹配點才認為是正確匹配。從而增強算法的約束條件來獲得更可靠的匹配點對。

則雙向匹配算法可表示為：

若滿足式(1)，則認為pi與qj是特征匹配點對。從上面定義的條件可以看出，雙向匹配算法的約束條件都比原算法的約束條件更強。隨著約束條件的增強，一方面，在初始匹配階段，更多的外點在初始匹配階段被檢測出來，得到的初始錯誤匹配點對數減少，另一方面，在剔除外點階段，這些錯誤匹配對RANSAC等算法的影響減弱，導致最后的總的匹配點對數和正確的匹配點對數增加，從而提高了特征點匹配的性能[23]。

4.2用PROSAC算法估算變換模型

采用的PROSAC算法流程圖如圖2所示。

圖2　PROSAC算法流程

PROSAC算法是RANSAC算法的改進，而且魯棒性和計算效率比RANSAC更高，RANSAC算法是隨機采樣，并沒有考慮到樣本之間的差異，但實際情況下樣本之間存在好壞差異[24]。PROSAC不是像RANSAC算法從所有的數據中采樣，而是優先選取匹配度較高的匹配點擬合模型，經過若干次的假設與驗證后，得到最優解。這樣有利于快速收斂擬合的過程，在誤匹配率較高時同樣適用[25]。

5結束語

本文提供了一種圖像匹配的整體思路，總結了近些年來經典的基于特征點的圖像匹配算法，具體工作如下：歸納總結了圖像匹配的整體思路:圖像預處理，特征檢測，特征描述和特征匹配，去除錯誤點。并于每一步給出了較為前沿的方法，方便特征點匹配順利進行；分析對比了近年來里程碑式的特征匹配算子，列出了算子對前人的發展與劣勢，給出了算子的適用范圍與條件，較為詳盡的總結了基于特征點匹配算子的發展。

本文算法還存在不足：綜述不夠詳盡，部分算子未列入文中，會在今后的研究中加以改善。后續會引入數據對比，增強說服力。

參考文獻

[1]樊曼曼.多源衛星遙感影像配準技術研究[D].秦皇島：燕山大學，2011.

[2]宋芳,李勇,陳勇.多源遙感圖像中的圖像配準方法[J].激光雜志,2008,29(3):26-27.

[3]廖斌.基于特征點的配準圖像研究[D].長沙：國防科學技術大學研究生院，2008.

[4]HARRIS C,STEPHENS M.A Combined Corner and Edge Detector[C]∥Proceedings of the 4th Alvey Vision Conference,1988.

[5]SMITH S M,BRADY J M.SUSAN-A New Approach to Low Level Image Processing[J].International Journal of ComputerVision,1997,23(1):45-78.

[6]LOWE D G.Distinctive Image Features from Scale-invariant Key-points[J].International Journal of Computer Vision,2004,60(2):91-110.

[7]BAY H,TUYTELAARS T,VAN G L.SURF:Speeded up Robust Features[C]∥Computer Vision-ECCV 2006，Springer Berlin Heidelberg,2006,404-417.

[8]AGRAWAL M,KONOLIGE K.CenSurE:Center Surround Extremas for Realtime Feature Detection and Matching[C]∥Proceedings of 10th European Conference on Computer Vision.Berlin:Springer,2008:102-115.

[9]ROSTEN E,DRUMMOND T.Machine Learning for High-speed Corner Detection[C]∥Computer Vision-ECCV 2006,Springer Berlin Heidelberg,2006:430-443.

[10]MAIR E,HAGER G D,BURSCHKA D,et al.Adaptive and Generic Corner Detection based on the Accelerated Segment Test[C]∥Computer Vision-ECCV 2010,Springer Berlin Heidelberg,2010:183-196.

[11]CALONDER M,LEPETIT V,STRECHA C,et al.Brief:Binary Robust Independent Elementary Features[C]∥Computer Vision-ECCV 2010,Springer Berlin Heidelberg,2010:778-792.

[12]RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB:An Efficient Alternative to SIFT or SURF[C]∥Computer Vision (ICCV),2011 IEEE International Conference on IEEE,2011:2 564-2 571.

[13]LEUTENEGGER S,CHLI M,SIEGWART R Y.BRISK:Binary Robust Invariant Scalable Keypoints[C]∥Computer Vision(ICCV),2011 IEEE International Conference on.IEEE,2011:2 548-2 555.

[14]ALAHI A,ORTIZ R,VANDERGHEYNST P.FREAK:Fast Retina Keypoint[C]∥Computer Version and Pattern Recognition,2011:510-517.

[15]PABLO F,ADRIEN B,ANDREW J.KAZE Features[C]∥European Conference on Computer Vision (ECCV),2012:2 374-2 378.

[16]Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[C]∥In British Machine Vision Conference (BMVC),2013:2 157-2 163.

[17]王飛宇,邸男,賈平.結合尺度空間FAST角點檢測器和SURF描繪器的圖像特征[J].液晶與顯示,2014,29(4):598-604.

[18]張力,張祖勛,張劍清.Wallis濾波在影像匹配中的應用[J].武漢測繪科技大學學報,1999,24(1):24-27.

[19]朱巧云,答星.基于Wallis濾波器的異源遙感影像勻光方法[J].測繪與空間地理信息,2012,35(10):130-132.

[20]楊世沛,陳杰,周莉，等.一種基于SIFT的圖像特征匹配方法[J].電子測量技術,2014,37(6):50-53.

[21]張開玉,梁鳳梅.基于改進SURF的圖像配準關鍵算法研究[J].科學技術與工程,2013,13(10):2 875-2 878.

[22]劉煥敏,王華,段慧芬.一種改進的SIFT雙向匹配算法[J].兵工自動化,2009,28(6):89-91.

[23]張建花,白仲斐,惠廣裕.基于SIFT算法的異源遙感影像自動配準研究[J].電子設計工程,2011,19(13):176-179.

[24]李小紅,謝成明,賈易臻,等.基于ORB特征的快速目標檢測算法[J].電子測量與儀器學報,2013,27(5):455-460.

[25]尚明姝.一種基于改進SURF的圖像配準方法[J].微電子學與計算機,2014,31(2):125-128.

張巖男，(1991—)，碩士研究生。主要研究方向：無人機信息傳輸與處理技術。

李建增男，(1966—)，副教授，碩士生導師。主要研究方向：控制科學與工程、無人機信息傳輸與處理技術。

作者簡介

中圖分類號TN957.52

文獻標識碼A

文章編號1003-3106(2016)02-0061-04

基金項目：國家自然科學基金資助項目(51307183)。

收稿日期：2015-11-16

doi:10.3969/j.issn.1003-3106.2016.02.15

引用格式：張巖，李建增，李德良，等.基于特征的遙感圖像匹配技術研究[J].無線電工程，2016，46(2)：61-64.