基于多特征融合的圖像匹配算法

董振鑫+廖仕榮+程慧+林夢蘭+張澤均+詹仕華

摘 要：為解決SIFT算法在視角變換、對比度變換、尺度變換及旋轉變換混合復雜情況下匹配精準度低的問題，提出一種結合SIFT和RILBP（rotation invariant LBP）的特征匹配算法。首先在圖像SIFT特征點集上提取局部圖像區域的RILBP特征向量；然后將SIFT的特征向量和RILBP特征向量融合成一個新的特征向量；其次，利用高維可擴展最近鄰匹配算法實現兩幅圖像特征向量集之間的匹配；最后，使用VFC算法的篩選匹配策略對特征向量集進行篩選，找到兩個特征向量集中的匹配對。實驗結果表明，在視角變換和對比度較大的復雜情況下，該算法匹配精準度比SIFT算法提升了19.83%。

關鍵詞：圖像匹配；SIFT；視角變換；RILBP；特征融合

DOIDOI：10.11907/rjdk.171670

中圖分類號：TP312

文獻標識碼：A 文章編號：1672-7800（2017）007-0044-04

0 引言

圖像匹配作為圖像處理的關鍵技術被廣泛應用于文字匹配、人臉識別、物象跟蹤、圖像拼接、生物特征識別及車牌識別等領域，一直是圖像處理的熱點研究方向。實踐中，圖像處理往往面臨著多種情況的結合，特別是在視角變換和光照對比度變換相結合的復雜情況下，匹配算法對物體圖像的匹配效率和精準度明顯下降。

研究在視角、光照及對比度變換較大情況下圖像匹配算法具有重要的現實意義。

2004年，加拿大學者Lowe所提出的局部特征匹配算法SIFT（Scale Invariant Feature Transform）[1，2]，對于目標圖像在平移、旋轉變換、光照強度變化較大等情況下有較好的匹配性能和魯棒性，并且具有較好的擴展性和多量性等良好特性[1，2]。但是，SIFT算法效率較低，在應用過程中導致無法進行大量的實時匹配，并且SIFT在視角變換、旋轉變換相結合的復雜情況下匹配率和準確率較低。因此，本文利用SIFT可擴展性好的特點，提取SIFT和RILBP[3]特征向量，在高維可擴展最近鄰算法[4]的基礎上，結合VFC算法[5]進行篩選匹配，以增強SIFT在上述視角變換混合情況下的匹配精準度。首先，對于兩張待匹配圖像作SIFT特征點檢測；然后，計算每個特征點鄰域的RILBP特征；其次，將SIFT的特征向量和RILBP的特征向量進行線性融合；最后，在高維數據可擴展最近鄰算法匹配的基礎上，使用VFC算法進行匹配篩選。通過INRIA Data Sets & Images數據集測試，實驗結果表明本文算法在視角、尺度、對比度及旋轉等混合的復雜情況下匹配準確率比SIFT算法大為提升，在執行效率上也有所提高。

1 基于多特征融合的算法設計

SIFT具有良好的可擴展，且在光照、旋轉、對比度變換條件下具有良好的穩定性[1，2]。LBP由Ojala[6]于1996年提出，此后改進的RILBP對于視角變換和紋理變換具有較好的穩定性[3]。本文結合兩者優勢，在SIFT特征點下提取RILBP特征，并將其和SIFT進行線性融合。

1.1 SIFT算法

采用SIFT算法檢測圖像局部特征[2]。首先，進行圖像DoG尺度空間創建，利用高斯核函數[7]對圖像作模糊處理進而得到DoG金字塔，高斯核函數如式（1）所示：

式（1）中，m和n代表高斯模板對應的維度。為達到更好的穩定性和獨特性，Lowe使用DoG算子[1，2]來創建圖像的尺度空間，并尋找尺度空間中的DoG極值點，將每個像素點與鄰域的26個點進行對比，當其高于（或低于）所有相鄰點的值時，即為極值點，并且利用2×2的 Hessian 矩陣剔除不穩定的特征點。然后，實現特征點方向賦值。梯度的模值m（x，y）和方向θ（x，y）如分別式（2）和式（3）所示：

其中，x和y為圖像特征點坐標。最后，完成對應的特征點梯度運算，利用直方圖方法計算出周圍的像素梯度方向。直方圖峰值走向為特征點主方向，至此檢測出帶有位置、尺度和方向的SIFT特征點。將圖像確定區域分為16個小型區域，每個小型區域的梯度方向分為8個子部分，計算這8個子部分的梯度值，然后進行累加，最終獲得一個4×4×8=128維的特征向量。

1.2 RILBP特征

原始LBP的策略是將圖像像素與其鄰域進行比對，編制成二進制后轉換為十進制數。如圖1所示，在3×3像素區域中，比中心點大的標記為1，比中心點數值低的標記為0，對轉換后的數據表從第一列第一行的數開始順時針排列，組成二進制編碼即00011000，然后將二進制編碼轉化為十進制數即24，十進制數值作為對應特征點的特征值。

RILBP是基于原始LBP的改進方案，即對轉換前像素點對應的原始LBP二進制編碼循環移位，一個像素點對應8種二進制編碼，然后將這8種二進制編碼轉換為十進制數值，找到其中最小數值作為像素點的特征值。

1.3 多特征融合

SIFT作為局部特征匹配算法對尺度縮放、旋轉變換具有較好的抗性[2]，但對視覺變換較為敏感。而RILBP對光照、對比度、視角變換等具有較強的抗性，且SIFT算法和RILBP都具有可擴展性的優點，本文將二者的特征向量矩陣作線性融合。

利用SIFT提取圖像特征向量，其中第i個特征點的特征向量記為Fi ，公式如下：

2 特征點匹配

在SIFT的特征點匹配中，David G Lowe于2009年提出了快速最近鄰搜索算法[9]，2014年提出了改進高維可擴展最近鄰算法[4]，其對高維度的特征向量具有良好的匹配性，且具有較好的可擴展性。文獻[5]采用高效匹配算法VFC（Vector Field Consensus）對特征點集進行篩選匹配，進而得出匹配相似度較高的匹配對。

VFC用于在兩個點集中建立魯棒點的匹配[5]。VFC主要使用公認集和幾何約束來建立對應點，通過內插兩個點集之間的矢量場來求解對應關系[5]，然后使用Tikhonov正則化器計算圖像的Hilbert空間。在此基礎上，利用EM算法[5]計算所提取的貝葉斯模型方差，最后與預期值對比，剔除誤匹配點。

利用高維可擴展最近鄰算法搜索圖像某特征點在對應圖像中的歐式距離，即dist數值最小的原始匹配點對；然后在此基礎上利用VFC算法對原始匹配對的匹配進行分類篩選，最終得到存有匹配關系的匹配對。

3 實驗結果與分析

本文實驗在Intel HM86 + 酷睿i7 4710MQ 2.5GHZ CPU，8GB內存，Windows 7 64位操作系統的環境下進行，利用Visual Studio 2013（編譯語言為C++）和OPENCV庫實現。在INRIA Data Sets & Images圖像集和The Oxford Buildings Dataset中進行了100張圖片（兩個數據集各50張）測試，由于篇幅有限，僅給出兩張圖在各種變化下的匹配效果，將SIFT與VFC結合算法作為對照組。

為檢驗本文算法在旋轉變換方面的匹配精準度，本文每張待匹配圖片作30～90°旋轉，旋轉40°匹配結果如圖3所示。為比對本文算法和SIFT在對比度變換上的匹配準確性，本文將待匹配圖片對比度調為255∶1，并將亮度增強75%（見圖4）。在尺度變換方面，將待匹配圖像進行2倍的尺度縮放（見圖5）。在以上匹配比對基礎上，本文對具有一定視角變換的圖像進一步混合了對比度變換、尺度變換和旋轉變換，進而比對本文算法和SIFT在此復雜情況下的匹配精準度和執行效率（見圖6）。

誤匹配率和Recall[10]作為常用的圖像處理評估標準具有較好的評判性。本文將Recall值和誤匹配率作為算法的性能評估指標，3種算法的Recall值如表1所示，Recall計算公式如式（9）。

recall=圖像中匹配正確的匹配對[]兩張圖像中存在匹配關系的匹配對（9）

為避免匹配點數較少而引起數值偏差較大的問題，在視角變換和對比度較大情況下，本文取兩組不同特征點數的匹配效果對本文算法和原SIFT進行執行效率及誤匹配點、準確度的統計對比，如表2、表3所示。

初次提取特征點數指目標圖所提取的特征點數；匹配后點數指目標圖與待匹配圖在運用對應匹配算法進行匹配后取得的匹配點個數；匹配條件皆為原圖及經過較大視角變換、對比度變換和旋轉變換后的待匹配圖，本文算法對應的匹配算法為高維數據可擴展最近鄰算法與VFC結合后的匹配算法，SIFT算法對應的匹配算法為快速最近鄰算法。誤匹配點指在匹配結果圖上出現的錯誤匹配點數。匹配準確率為正確匹配對除以匹配后點數得到的商。

由實驗結果可知，在旋轉變換情況下，本文算法召回率比SIFT算法提高了2.94%；在對比度上本文算法的recall值比SIFT提高了3.92%，表明本文算法在旋轉角度較大和對比度變換的情況下比SIFT有更強的抗性；在尺度變換情況下，本文算法和SIFT抗性相近；在視覺變換和對比度變換較大的情況下，本文算法準確率比原SIFT提高了19.83%，比SIFT+vfc提高了12.80%；對于相同特征點和匹配對，本文算法比SIFT算法在視覺變換較大和對比度變換較大的情況下召回率提高了30%，表明本文算法對于較大的視角變換和對比度的復雜情況下物象具有較強的魯棒性和匹配性能；在執行效率上，本文算法為SIFT的1.22倍。

4 結語

本文基于SIFT特征算法和RILBP特征描述，在利用RILBP特征描述SIFT特征點周圍鄰域的基礎上，將原有SIFT特征描述算子和LBP描述子結合生成更高維的特征描述子，并在高維可擴展最近鄰搜索算法的基礎上結合VFC算法進行了匹配篩選。實驗結果表明，本文算法在視角變換、旋轉變換、尺度變換的混合情況下準確率比SIFT算法提升了19.83%。本文算法對視角變換和對比度變換有較好抗性，適用于人臉識別、物象跟蹤、字跡辨識、建筑物匹配等具有較大視角變換、尺度變換與對比度變換的圖像匹配。后續研究將結合其它算法特點進一步提高算法效率。

參考文獻：

[1] DG.Lowe distinctive image features from scale-invariant keypoints[J].International Journal of Computer vision，2004，60（2）：91-110.

[2] DG LOWE.Object recognition from local scale-invariant features[C].IEEE International Conference on Computer Vision，1999：1150-1157 .

[3] T OJALA M，PIETIKAINEN T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[4] M MUJA ，D G LOWE.Scalable nearest neighbor algorithms for high dimensional data[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014（36）：2227-2240.

[5] J MA，Y MA J，ZHAO J.Image feature matching via progressive vector field consensus[J].IEEE Signal Processing Letters，2015（22）：767-771.

[6] T OJALA M，PIETIKINEN D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition，1996（29）：51-59 .

[7] LINDEBERG T.Scale-space theory：a basic tool for analyzing structures at different scales[J].Journal of applied statistics，1994，21（1-2）：225-270.

[8] 鄭永斌，黃新生，豐松江.SIFT和RILBP相結合的圖像匹配算法[J].計算機輔助設計與圖形學學報，2010，22（2）：287-293.

[9] MUJA M，LOWE D G.Fast approximate nearest neighbors with automatic algorithm configuration[C].UISAPP 2009：331-340 .

[10] MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors[J].IEEE transactions on pattern analysis and machine intelligence，2005，27（10）：1615-1630.