一種改進的SAR與可見光圖像的快速配準算法

張皖南，楊學志，董張玉

?

一種改進的SAR與可見光圖像的快速配準算法

張皖南1,2，楊學志1,2，董張玉1,2

(1. 合肥工業大學計算機與信息學院，安徽 合肥 230009；2. 工業安全與應急技術安徽省重點實驗室，安徽 合肥 230009)

針對基于尺度不變特征變換(SIFT)的合成孔徑雷達(SAR)與可見光圖像配準存在耗時長、精度不高的問題，提出了SIFT與快速近似最近鄰搜索(FLANN)相結合的配準算法。首先，針對SAR圖像存在的相干斑噪聲做雙邊濾波(BF)，在去噪的同時能夠保護圖像的邊緣避免被高斯函數模糊。其次，在高斯差分尺度空間檢測特征點并生成SIFT特征描述向量，利用FLANN算法實現高維向量空間中的快速匹配。最后，采用改進的抽樣一致算法(PROSAC)剔除誤匹配進一步提高匹配正確率。實驗結果表明該算法在配準的精度和速度上都優于原始的SIFT算法。

合成孔徑雷達圖像；可見光圖像；配準；尺度不變特征變換；快速近似最近鄰搜索

圖像配準是對不同傳感器、時間或角度獲取的兩幅有重疊部分的影像匹配的過程[1-3]，其關鍵技術是找到待配準圖像間最優的幾何變換，從而使得變換后的圖像相對于一種相似性度量函數具有最大相似性[4]。圖像配準是實現模式識別、圖像融合、變換檢測和圖像鑲嵌等的前期處理[5]。在遙感圖像中，合成孔徑雷達(synthetic aperture radar，SAR)圖像和可見光圖像是最典型的兩種類型。SAR具有全天候、穿透性強、紋理信息豐富等優勢，但圖像不含光譜信息，且目標的微波反射特性導致相同物體的SAR圖像可能呈現不同的表現形式。可見光圖像能直觀地對目標進行成像，含有豐富的光譜信息，但受大氣衰減、天氣狀況的影響較大[6]，因此研究這兩種圖像的配準有重大意義。

現有的圖像配準方法大致分為兩大類：基于區域配準和基于特征配準。基于區域配準主要包括互信息算法、交叉相關算法和最大似然估計算法等[7]。這些算法雖然有一定的魯棒性，但是計算量很大，而且當SAR與可見光圖像存在角度和尺度差異時配準效果不理想。在基于特征配準的算法中，尺度不變特征變換[8](scale-invariant feature transform，SIFT)是最為普遍的算法之一。其具有尺度變換、旋轉和仿射不變性，對噪聲及視角變換也有一定的魯棒性，因此廣泛應用于圖像處理領域。盡管SIFT算法可以很好地配準可見光圖像，但直接應用于SAR圖像配準時會出現很多誤匹配[9]，最主要的原因是SAR圖像存在相干斑噪聲，導致提取的特征點被破壞。另外，由于傳統的SIFT算法提取的特征點及生成的特征向量數量過多，不但計算量大且處理時間長。

為了解決上述存在的問題，本文提出了一種基于SIFT與快速近似最近鄰搜索(fast library for approximate nearest neighbors，FLANN)相結合的SAR與可見光圖像配準算法。首先，為了有效去除SAR圖像的相干斑噪聲，采用雙邊濾波(bilateral filter，BF)對其預處理，同時也保護了圖像的邊緣防止高斯函數模糊。然后在高斯差分(difference of Gaussian，DOG)尺度空間檢測出特征點并生成特征向量，通過FLANN算法快速搜索到匹配點對。最后利用改進的抽樣一致算法(progressive sample consensus，PROSAC)剔除初始匹配結果中的誤匹配，從而使匹配正確率進一步提高。實驗結果表明本文算法在配準的精度和速度上都有較大的提升。

1 圖像算法原理

1.1 SIFT原理

SIFT算法是在尺度空間中尋找穩定的對縮放、旋轉甚至仿射變換保持不變的關鍵點，并進行描述[10]。SIFT算法的主要步驟如下：

步驟1.關鍵點檢測。利用DOG算子，在圖像上建立DOG尺度空間，并在該空間內尋找在尺度空間和圖像空間均為極值的點；

步驟2.確定關鍵點主方向。在以關鍵點為中心的鄰域窗口內用直方圖統計鄰域像素的梯度方向。直方圖的峰值即為該關鍵點的主方向；

步驟3.生成關鍵點描述子。以關鍵點的主方向作為計算描述子的坐標向，確保旋轉不變性。在關鍵點鄰域劃分成的小區域內計算梯度方向和模值，生成梯度方向直方圖。由各個小區域梯度方向直方圖建立關鍵點的特征向量，即為描述子。

1.2 基于SIFT與FLANN相結合的SAR與可見光圖像配準

基于SIFT與FLANN相結合的SAR與可見光圖像配準算法主要包含以下幾個部分：SAR圖像的BF、可見光圖像與SAR圖像的特征點檢測描述、FLANN算法初匹配、PROSAC算法剔除誤匹配，具體流程如圖1所示。

圖1 算法流程圖

1.2.1 雙邊濾波

BF[11]是一種非線性濾波，其基于圖像的空間鄰近度和像素值相似度計算權重，同時考慮空域信息和灰度相似性。BF的定義如下

其中，和為像素位置；I與I為像素值；和的空間強度高斯核的標準差分別為σ和σ，其中的為空域高斯函數；為值域高斯函數；W為歸一化因子；[]為像素的過濾值。總權重為空間權重與強度權重之和。

BF器是由幾何空間距離和像素差值共同決定濾波器系數，所以可以實現保邊去噪的效果，本文選擇BF是基于考慮避免SAR圖像在SIFT算法中被高斯函數模糊邊緣。

1.2.2 SIFT特征檢測和描述

文獻[7]選取圖像的三維DOG尺度空間中檢測局部極值作為特征點，以使特征具備良好的獨特性和穩定性。差分高斯尺度圖像的極值檢測如圖2所示。

圖2 尺度空間極值點檢測示意圖

利用特征點鄰域內所有像素點的梯度方向分布特性為特征點指定方向，使特征點具有旋轉不變性。式(2)、(3)分別相應點的梯度模值和梯度方向為

其中，為關鍵點所在的尺度空間值，用直方圖統計鄰域像素的梯度方向，直方圖的峰值即為該關鍵點的主方向。

將坐標軸旋轉為特征點的主方向，以確保旋轉不變性。在關鍵點鄰域劃分成的小區域內計算梯度方向和模值，生成梯度方向直方圖，由各個小區域梯度方向直方圖建立關鍵點的特征向量，即為描述子。

1.2.3 FLANN匹配

由于SIFT特征向量是高維向量，以往算法采用基于最近鄰距離的匹配算法，其匹配過程相當于在高維向量空間中搜索最近鄰，帶來繁重的計算量。本文采用FLANN[12]算法得到初始匹配點對，顯著提高了搜索速率。

FLANN算法根據數據集的分布特點、映射精度和空間資源的消耗需求，推薦索引類型和檢索參數。FLANN模型的特征空間通常是一個維的實向量空間命名為R，其核心是尋找基于歐氏距離的相鄰點。特征點和的子向量分別用和表示，則(,)的歐氏距離式為

本文中R的數據點分為若干個部分基于KD樹，目的是要在整個KD樹中搜索到接近查詢點的最小歐氏距離。因為R中的所有(,)都存儲在KD樹的結構中，這樣就可以有效地搜索到參考點的最近點。

1.2.4 PROSAC剔除誤匹配

為了進一步提高匹配正確率，本文采用PROSAC[13]剔除初始匹配點對中的誤匹配。PROSAC算法是隨機抽樣一致算法(random sample consensus，RANSAC)的改進，其和RANSAC算法不同，不是從所有的集合中采樣，而是將點初始集匹配的結果作為排序的依據，使得在采樣時根據匹配結果由高到低的得分進行排序，這樣最有可能得到最佳參數的采樣會較早出現，從而提高了速度。

PROSAC算法首先從具有最高品質方程的數據子集中抽取采樣產生假定，假定集合的大小逐漸增大，然后在所有的數據點上驗證這些假定，當存在更好解的概率低于5%時算法終止。

2 實驗結果與分析

本文通過兩組SAR圖像和可見光圖像的配準實驗對提出的算法進行精度和速度的評價，并與原始SIFT算法和加速穩健特征算法[14](speeded up robust features，SURF)作對比。SAR圖像采用歐空局哨兵1號C波段VV極化的雷達衛星圖像，分辨率為5 m。第1組實驗的可見光圖像采用國家高分1號全色圖像，分辨率為2 m；第2組實驗的可見光圖像采用國家高分1號多光譜圖像，分辨率為8 m。匹配結果如圖3~4所示，評價結果見表1。

從表1可看出，本文算法獲得更多的匹配點對，正確匹配率比原始的SIFT和SURF算法都有很大提高：第一組實驗本文算法的正確匹配率達到了91%；第2組原始SIFT算法的正確率是64%，SURF算法的正確率72%，本文算法正確率為89%。正確率提高的主要原因是采用了BF有效地去除了SAR圖像中的斑點噪聲，同時很好地保持了圖像的邊緣特性，從而可以提取到圖像中更多的特征點，保證了配準精度。

圖3 第1組配準結果

圖4 第2組配準結果

表1 幾種算法的配準精度評價

另外，本文算法速度也有很大提升：第2組實驗中，原始SIFT算法配準時間耗時0.79 s，本文算法只有0.21 s，速度提高了近4倍。這是因為使用的FLANN算法可以在高維向量空間中快速地搜索到匹配點對，PROSAC算法比常用的抽樣一致算法可以更快地剔除誤匹配，大大減少了整個算法的消耗時間。

3 結 論

本文針對傳統的SIFT算法應用于SAR與可見光圖像配準存在耗時長、精度不高的問題，提出了SIFT與FLANN相結合的配準算法。結果表明：①采用BF對SAR圖像預處理，在除去相干斑噪聲的同時能夠保護圖像的邊緣避免被高斯函數模糊，保證了配準的精度；②利用FLANN算法實現了高維向量空間中的快速匹配，極大提高了匹配速度；③使用PROSAC剔除誤匹配點，進一步提高了匹配正確率。綜上所述本文算法在配準的精度和速度上都優于原始的SIFT算法。

本文雖然在SIFT算法應用于SAR與可見光圖像配準的匹配步驟做了改進，但對于配準的特征檢測及特征描述并未改善，因此下一步的研究重點是對SIFT算法的這兩個步驟提出創新，從而進一步提高配準的精度和速度。

[1] 潘建平, 郝建明, 趙繼萍. 基于SURF的圖像配準改進算法[J]. 國土資源遙感, 2017, 29(1): 110-115.

[2] 李孚煜, 葉發茂. 基于SIFT的遙感圖像配準技術綜述[J]. 國土資源遙感, 2016, 28(2): 14-20.

[3] ZITOVA B, FLUSSER J. Image registration methods: a survey [J]. Image & Vision Computing, 2003, 21(11): 997-1000.

[4] 宋智禮. 基于特征點與邊界信息的全自動多模態遙感圖像配準方法[J]. 國土資源遙感, 2014, 26(3): 48-54.

[5] BENTOUTOU Y, TALEB N, KPALMA K, et al. An automatic image registration for applications in remote sensing [J]. IEEE Transactions Geoscience & Remote Sensing, 2005, 43(9): 2127-2137.

[6] 李雨謙, 皮亦鳴, 王金峰. 基于水平集的SAR圖像與光學圖像的配準[J]. 測繪學報, 2010, 39(3): 276-282.

[7] 羅宇, 陳勃, 李山山. 基于空間約束SIFT的光學與SAR圖像配準[J]. 計算機工程, 2015, 41(2): 182-187.

[8] LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] ZHU H, MA W P, HOU B. SAR image registration based on multifeature dection and arborescence network matching [J]. IEEE Geoscience & Remote Sensing Letters, 2016, 13(5): 706-710.

[10] 岳春宇, 江萬壽. 幾何約束和改進SIFT的SAR影像和光學影像自動配準方法[J]. 測繪學報, 2012, 41(4) 570-576.

[11] WANG S H, YOU H J, FU K. BFSIFT: A novel method to find feature matches for SAR image registration [J]. IEEE Geoscience & Remote Sensing Letters, 2012, 9(4): 649-653.

[12] MUJA M, LOWE D G. Fast approximate nearest neighbors with automatic algorithm configuration [C]// International Conference on Computer Vision Theory and Application. New York: IEEE Press, 2009: 331-340.

[13] CHUM O, MATAS J. Matching with PROSAC progressive sample consensus [C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition. New York: IEEE Press, 2005: 220-226.

[14] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF) [J]. Computer Vision & Image Understanding, 2008, 110(3): 346-359.

Registration Between SAR and Optical Images Based on an Improved Rapid Algorithm

ZHANG Wannan1,2, YANG Xuezhi1,2, DONG Zhangyu1,2

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China; 2. Anhui Province Key Laboratory of Industry Safety and Emergency Technology, Hefei Anhui 230009, China)

Registration between SAR and optical images is time-consuming and has poor accuracy when based on the scale-invariant feature transform (SIFT) algorithm. In this letter we propose a novel method to solve this problem. First, we smooth SAR image by using bilateral filter (BF). BF is also good at preserving edges in the image as opposed to Gaussian smoothing, which is used in the original SIFT. Then, keypoints are detected in the Difference-of-Gaussian (DOG) scale space and SIFT descriptors are generated. Next, we adopt the fast library for approximate nearest neighbors (FLANN) algorithm which can search matching points fast in high-dimensional space. Last, progressive sample consensus (PROSAC) algorithm is utilized to exclude false matches. Experimental results show that our approach is significantly more accurate and much faster than the original SIFT.

synthetic aperture radar image; optical image; registration; scale-invariant feature transform; fast library for approximate nearest neighbors

TP 242.2

10.11996/JG.j.2095-302X.2018020209

A

2095-302X(2018)02-0209-05

2017-06-19；

2017-07-22

國家自然科學基金項目(61371154，41601452)；安徽省重點研究與開發計劃項目(1704a0802124)；中國博士后科學基金項目(2016M602005)

張皖南(1993–)，女，江蘇徐州人，碩士研究生。主要研究方向為遙感信息處理。E-mail：1508622762@qq.com

楊學志(1970–)，男，安徽合肥人，教授，博士，博士生導師。主要研究方向為數字圖像處理。E-mail：xzyang@hfut.edu.cn