基于改進SIFT和RANSAC的物體特征提取和匹配的研究

張春林 陳勁杰

摘 要：使用基于RANSAC提純的改進SIFT算子和SIFT算子分別在兩張不同視角的圖像中提取并匹配特征點對，通過實驗結果驗證了基于改進的SIFT算提取特征點的準確率和匹配的精度都要比SIFT算子和Harris算子高，改進SIFT算子提取匹配出的特征點對更加的有利于目標物體的三維重建工作。

關鍵詞：物體特征提取和識別；SIFT；RANSAC；三維重建

中圖分類號：TP391 文獻標識碼：A

文章編號：2096-1472（2018）-11-07-03

1 引言（Introduction）

目前現有的幾種常用的圖像特征提取算子，例如：SUSAN算子、Harris特征提取算子、SIFT（Scale Invariant Feature Transform）特征提取匹配算子等。Harris特征提取算法則是C.Harris和J.Stephens于1998年提出的一種特征提取算子[1]。具體提取步驟：運算所有的像素點梯度，然后選取兩個方向上的梯度都是最大值的點作為Harris角點。這種算子能夠提前去除信息較強的角點，是一種很經典的算子。SUSAN算子和Harris算子都是基于像素級別的特征提取算子，提取出來的特征的精度并不是很高，對后面的三維重建勢必會造成一定的影響。而David Lowe在總結優化了這幾種算子的研究過程中，提出了一種不受圖像尺度和旋轉變化，甚至不受光線強度和拍攝角度變化的特征提取算子—SIFT算子[2]。所以說SIFT算子是一種比較優秀的特征提取算法。但仍然存在容易誤匹配等缺點。

為此，本文提出將RANSAC算法與改進的SIFT算子結合[3]，通過實驗對比其與SIFT算子及Harris的在特征提取和匹配效果。

2 基于Harris算法的角點檢測（Corner detection based on Harris algorithm）

2.1 Harris特征提取

Harris角點檢測算法首先計算所有像素的梯度，隨后選取兩個方向都是最大梯度的點，并以此作為Harris的角點[4]。圖像內的角點就是指目標物體的輪廓上曲率的局部極大值，它是通過目標物體曲率較大的區域或者兩條、多條邊緣的角點所構成的，位于不同圖像亮區域的交界線上。Harris的角點檢測器公式如下：

如果大于某個閾值，而且成為相鄰區域最大值的時候，我們就能判斷這個點為角點。其中閾值的選取依靠場景實際圖像的尺寸、紋理和對比度等。選取閾值的步驟是：通過確定圖像中最大數量的特征點來選取灰度值最大的一些像素點作為特征點。再依據所有灰度值的排列序號，選取前個特征點，然后對特征點進行加權重心化。并且為了降低噪聲對角點選取的影響，我們可以先用高斯平滑對圖像進行處理。

其中，和分別是在灰度圖像中的點處u和v兩個方向上的偏微分。則是二階的混合偏導。X和Y為一階偏導，可以分別的運用微分算法在u和v方向與灰度圖像進行卷積處理得到。

2.2 Harris角點匹配

歸一化互相關是一種非常經典的匹配算法，并且它具有一定的抗噪聲性能，而且比較容易實現。但是它的計算量比較大，對于試驗計算和分析來看，這種匹配算法的運行速度太慢，需要進一步的優化。兩張圖像之間的匹配就是比較兩者之間的相似度，同理，我們應用在圖像的特征點匹配也是這樣的，具體就是把特征點作為中心，進而比較模板之間的相似程度。

3 基于SIFT的物體特征提取與匹配（Object feature extraction and matching based on SIFT）

SIFT（Scale Invariant Feature Transform）特征匹配算法是一種魯棒性很高的局部特征描述子，運用SIFT生產的圖像特征向量的性能穩定，對旋轉、縮放、目標遮擋、噪聲等都有良好的不變性。特征提取主要包括四個步驟：

（1） 尺度空間極值檢測。

首先對圖像進行高斯差分塔金字塔得到高斯差分圖像，然后對高斯差分圖像在多尺度范圍內進行關鍵點檢測。

通過高斯函數與原始圖像的卷積可以得到圖像的尺度空間。

在DoG空間進行極值檢測時，需要將關鍵點與同一尺度的八個相鄰和上下相鄰尺度的9×2個點，共26個點進行比較。如果該關鍵點在DoG尺度空間中，本層和相鄰兩層的26個領域中都是最大或者最小，那么該點就可以作為圖像的一個特征點。

（2） 特征點精確定位。

在得到大量圖像的候選特征點之后，通過擬合三維二次函數以精確確定關鍵點的位置和尺度，同時去除低對比度的關鍵點和不穩定的邊緣響應點，以增強匹配穩定性、提高抗噪聲能力。

（3） 特征點方向標定。

利用圖像的局部性質，運用關鍵點領域像素的梯度分布特性為每個關鍵點指定方向參數，從而保證算子具有旋轉不變性。圖像中某一像素（x，y）處梯度幅值可以用式（9）來表示：

通過這些大小和方向的數據，可以創建方向直方圖，從而可以計算每一個關鍵點的主導方向。

（4） 特征描述子的生成。

特征描述子可以通過高斯窗口區域內所有點的梯度和方向唯一表征。將每一個關鍵點周圍的16×16鄰域，分割成16個4×4的子區域，然后在每一個4×4的子區域中計算生成一個8方向直方圖。通過對該關鍵點的所有子區域都進行上述計算，可以產生一個4×4×8=128維的特征向量（SIFT描述子）。每一個關鍵點都可以由它的特征向量唯一確定[5]。

4 基于RANSAC和改進SIFT的特征提取匹配算法

即使運用抗干擾能力比較強的SIFT特征提取算子，在匹配時也會不可避免的出現少量錯配特征點對，為了滿足實驗的需要，結合RANSAC算法對提出出的特征點進行提純[6]。RANSAC算法選取大量的樣本，依次評估它們的參數，并且每次也隨機的選取大量的數據運算參數模型，隨后對依次得出的參數進行分類，把在誤差范圍內的點稱為內點，誤差范圍外的點稱為外點。并且RANSAC對錯誤匹配率超過50%的點仍然進行分析。RANSAC算法具體步驟如下：

首先假設初始的最佳內點數有0個，隨機從I對待分配的特征點對中選取四對原始的特征匹配點對，兩個平面之間的投影變換矩陣參數能夠依據四組點進行線性運算。

隨后運算剩余下的I-4個特征點對，將它們依次通過變換矩陣獲得坐標值，以及它們與對應的待匹配點間的距離。

如果它們的距離比閥值T小，那么就判斷這個特征匹配點對是內點，反之就是外點。

將當前的內點數量進行比較，如果數量大于，那么當前的變換矩陣參數H是最佳的矩陣估計，并且將進行更新。

通過運算大量的隨機特征點對后，選取內點數量最多，并且誤差函數最小的變換矩陣參數，并用這個參數作為匹配圖像之間的投影變換矩陣，通過這種變換矩陣能夠提高匹配的精度。

采用RANSAC算法對匹配之后的錯誤匹配點對進行提純[7]，并且還估算出了圖像間的變換矩陣參數，進而明確了待匹配圖像的精確特征點對。

5 實驗結果與分析（Experimental results and analysis）

實驗平臺為VS2015+Opencv2.4.13，操作系統為Windows 10，GPU為GTX1050ti，顯存為4GB。采用GPU并行計算，運用了NVIDIA提供的CUDA通用并行計算架構和cuDNN計算加速方案。

5.1 特征提取實驗結果與分析

5.1.1 特征提取的實驗結果

為了證明本文的物體特征提取的效果，通過兩組圖片進行對比分析，圖片大小都是640×480，如圖1（a）所示。

（1）Harris特征提取。在OpenCV中，Harris角點提取是通過cornerHarris（）函數提取角點的，將cornerHarris（）函數進行封裝，獲得一個檢測角點類。調整閾值為70時，特征提取效果如圖1（b）所示。

（2）SIFT特征提取。實驗中運用OpenCV函數庫中的SiftFeatureDetector類對圖像進行特征檢測，特征提取效果如圖1（c）所示。

（3）改進SIFT特征提取。使用基于尺度、方向和距離約束來去除錯誤匹配點對，從特征點的匹配精度和特征匹配的數目上進行優化改良，提高了提取特征點的精度，特征提取效果的如圖1（d）所示。

5.1.2 特征提取結果分析

通過圖1和表1可以發現，Harris算子提取的特征點最少，改進SIFT算子提取的特征點最多，同時改進SIFT算法的特征點提取的效果分布比Harris、SIFT都均勻。

5.2 特征匹配實驗結果與分析

5.2.1 特征匹配實驗結果

為了驗證基于改進SIFT算子的特征匹配的效果，采用兩組圖像來進行特征的提取與匹配實驗，如圖2所示。

通過實驗知道，OpenCV函數庫的GoodFeatureToTrack函數的qualityLevel取值0.04時，提取匹配的效果更好，本文以下的實驗都把qualityLevel取值0.04。

5.2.2 特征匹配實驗分析

從圖2和表2可以看出，經RANSAC算法剔除錯誤匹配（提純）后[8]，已經去除大量的錯誤匹配點，SIFT算子還存在少量的錯誤匹配，而基于改進的SIFT算法的特征點提取匹配基本沒有了錯誤匹配。

6 結論（Conclusion）

通過物體特征提取和匹配實驗將Harris、SIFT、改進SIFT算法進行對比，改進的SIFT算法通過RANSAC剔除錯誤匹配后，克服了其他兩種算法的缺點，在特征提取和匹配上效果更好。

參考文獻（References）

[1] 李鵬程，曾毓敏，張夢.一種改進的Harris角點檢測算法[J].南京師大學報（自然科學版），2014，37（02）：49-54.

[2] 周穎.基于SIFT算法的圖像特征匹配[J].現代計算機，2015（5）：63-68.

[3] 曾巒，王元欽，譚久彬.改進的SIFT特征提取和匹配算法[J].光學精密儀器，2011，19（06）：1392-1396.

[4] S.Bell，C.L.Zitnick，K.Bala，et al.Inside-outside net：Detecting objects in context with skip pooling and recurrent neural net works[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Reco}nition_2016：2874-2883.

[5] Fang Xianyong，Zhang Mingmin，Pan Zhigeng，et al.A new method of manifold mosaic for large displacement images[J].Journal of Computer Science and Technology，2006，21（2）：214-223.

[6] 錐偉群，高屹.基于改進RANSAC算法的圖像拼接方法[J].科技創新與應用，2015，26（5）：21-22.

[7] Kasar T，Ramakrishnaa A G.Block-based feature detection and matching for mosaicing of camera-captured document images [C].Pros of IEEE region 10 conference.Taipei：IEEE.

[8] 周建平，楊金坤，鄭宇.基于改進SIFT特征匹配的視頻拼接—在倒車系統中的應用[J].企業技術開發，2011，30（22）：70-71.

作者簡介：

張春林（1987-），男，碩士生.研究領域：智能制造.

陳勁杰（1969-），男，碩士，副教授.研究領域：智能制造.