基于一致空間映射的改進ORB特征匹配算法

周光宇 鐘漢生 章曉敏

(寧波財經學院數字技術與工程學院 浙江 寧波 315175)

0 引 言

圖像匹配是計算機視覺、圖像處理和機器學習等研究領域的一個基礎性問題，已經在目標識別[1-2]、圖像拼接[3-4]和視頻跟蹤[5-6]等領域得到了廣泛的關注和應用。目前圖像匹配方法多種多樣，但常用的主要是基于模板匹配的方法和基于局部特征的方法。

基于模板匹配的方法較為依賴模板圖像和目標圖像對應區域的相似性度量方式，比如平方誤差和(Sum of Squared Differences，SSD)、絕對誤差和(Sum of Absolute Differences，SAD)和余弦相似度等，因其速度優勢得到了廣泛應用[7-9]，但是這些方法僅僅關注了模板圖像和目標圖像像素間的差異，具有一定的局限性。

Korman等[10]提出了一種基于2D仿射變換的模板匹配方法，可以近似求解出全局最優解，但是該方法在像素比對時易受噪聲的影響。Dekel等[11]提出了一種基于互近鄰的模板匹配方法，該方法通過統計兩幅圖像之間最相似網格的像素總數進行匹配區域的搜索，雖然增強了模板匹配的穩定性，但是降低了匹配精度。Tian等[12]提出了一種基于非剛性形變的全局最優估計方法。但是，該方法假設兩幅圖像的相似區域間存在完全的映射關系，在異常值存在時匹配效果不佳，例如由遮擋和視角變換引起的異常值。

另一類基于局部特征的方法，因其魯棒性和靈活性，成為當前的研究熱點。其中最具代表性的是尺度不變特征轉換[13](Scale-Invariant Feature Transform，SIFT)、快速魯棒性特征[14](Speeded Up Robust Features，SURF)、局部二值模式[15](Local Binary Pattern，LBP)和定向二進制簡單描述[16](Oriented FAST and Rotated BRIEF，ORB)等。

與SIFT、SURF和LBP等算法相比，ORB算法具有速度上的實時性，近幾年被廣泛地應用于三維重建、機器人導航和地圖創建[17-18]。但是該算法誤匹配率高、抗視角變換能力弱，嚴重影響了它在實際工程中的應用。因此，很多國內外學者對ORB算法進行了改進，侯毅等[19]引入仿射變換模型模擬視角變換，提出了一種仿射不變的ORB特征匹配算法。曾慶化等[20]通過融合透視模型與ORB算法得到了一種抗視角變換的ORB特征匹配算法，同時，利用隨機抽樣一致性(Random Sample Consensus，RANSAC)算法進行誤匹配對剔除，在保持抗視角變換能力的同時，提高了匹配精度。王強等[21]對ORB算法特征提取階段進行了改進，利用差分幅值生成描述符，降低了噪聲的影響。Aguilera等[22]利用多尺度、多方位的對數Gabor濾波器描述了頻率和空間信息相結合的特征點鄰域，提出了一種適用于非線性強度變化的圖像特征描述符。但是上述兩種方法提取的特征點都不穩定，特征點對的誤匹配率仍然較高。Bian等[23]提出了一種基于ORB與網格統計的特征匹配方法，該方法集合多個特征點的鄰域位置約束判斷特征點對是否匹配，提高了特征匹配的準確性，但是該方法難以處理視角變換和噪聲干擾下的特征匹配問題。

針對上述問題，本文提出了一種融合交叉驗證ORB和一致空間映射的快速圖像匹配算法。在ORB算法的框架下分別檢測模板圖像和目標圖像的特征點集，并利用每個特征點的描述符建立兩個特征點集之間的對應關系；利用每對匹配特征點鄰域的支持點集，交叉驗證對應特征點對的準確性，從正反兩個方向篩選出高準確性的對應特征點對；基于一致空間映射對經過篩選的特征點集進行更加精確的非線性匹配，從而進一步提高算法的匹配精度和抗視角變換能力。

1 基于交叉驗證ORB的特征點集篩選

1.1 ORB特征匹配

ORB算法利用FAST算法進行特征提取，采用BRIEF描述子形成特征點的二進制描述，利用漢明距離判斷特征描述子的相似程度，具有很強的速度表現力和一定的旋轉不變性。

(a) (b)圖1 ORB特征匹配示意圖

1.2 基于交叉驗證的特征點集篩選

步驟1驗證從特征點pi到特征點qi的正向匹配是否成立。

(1)

式中：Ai表示仿射矩陣；ti表示平移向量。

(2)

將ti代入F(Ai,ti)進行化簡，得到：

(3)

令F(Ai)對Ai求導，求解出仿射矩陣Ai：

(4)

步驟2驗證從qi到pi的反向匹配是否成立。

(5)

2 基于一致空間映射的快速圖像匹配算法

2.1 EM求解框架

本文假設特征點集中的離群點(錯誤匹配的特征點)服從均值為0，方差為σ2的標準高斯分布，并且離群點分布均勻。可以得到高斯混合模型的似然函數如下：

(6)

式中:θ={f,σ2,γ}表示一組未知參數；γ表示正確匹配對所占的百分比；α表示權重系數。P和Q是M×3維的矩陣，每一行用齊次坐標的形式表示一個特征點，比如P中的第i個特征點為pi=(pix,piy,1)。

θ通過最大化似然函數v(Q|P,θ)來估計：

(7)

式(7)可采用EM算法的框架進行求解。

E步：在一致空間映射f已知的條件下，估計各個特征點屬于正確特征點的概率。令zi=f(pi)，更新vi：

(8)

M步：根據當前的概率更新σ2、γ：

(9)

γ=trace(V)/M

(10)

式中：P=diag(p1,p2,…,pM)是對角矩陣；Z=(z1，z2，…，zM)是M×3維的矩陣。在M步中還需要估計一致空間映射f。

2.2 估計一致空間映射f

本文通過最小化加權平方誤差Ews來估計一致空間映射f。

(11)

式中：vi表示第i個特征點屬于正確特征點的后驗概率。當vi=0時，pi和qi被定義為錯誤匹配點對，并且不被用以估計一致空間映射f；當vi∈(0,1]時，vi被定義為一個連續的軟決策。

(12)

(13)

式中:λ表示正則化參數；為了求解TPS參數A和W，引入QR分解。令V1/2P=[Q1,Q2][R,0]T，最小化式(13)得到：

(14)

(15)

當EM算法收斂時，得到穩定的一致空間映射f。通過檢查匹配特征點對(pi,qi)是否滿足此映射關系，就可以精確剔除剩下的錯誤匹配點對，輸出匹配圖像。

(16)

式中:τ表示剔除閾值；C表示正確匹配關系。

3 實 驗

為了驗證本文算法的精確性和穩健性，選擇Mikolajczyk數據集[24]進行大視角變換下的圖像特征匹配實驗，選擇BBS數據集[11]進行現實場景下的圖像特征匹配實驗，將SIFT[13]、ORB[16]、LGHD[22]和GMS算法[23]作為對比算法，采用匹配精度和運行時間對算法的匹配性能進行評價，匹配精度被定義為(正確匹配數/總匹配數)×100%。本文算法均采用Python代碼實現，并在配置為Intel(R) Core(TM) i7-8750H和16 GB RAM的電腦上運行。

3.1 抗視角變換對比實驗

在抗視角變換對比實驗中，采用Mikolajczyk數據集中的Graffiti圖像組進行實驗。該組圖像由6幅圖像組成，第1幅為參考圖像，第2至6幅分別為視角變化20°、30°、40°、50°和60°的目標圖像。

本文算法與其他4種主流圖像特征匹配算法在Graffiti圖像組上測試的匹配精度曲線如圖2所示，其橫軸為視角，縱軸為匹配精度。本文算法與其他4種圖像特征匹配算法在30°視角下的特征匹配示意圖如圖3所示。本文算法與其他4種圖像特征匹配算法在30°視角下的特征匹配結果如表1所示。

圖2 本文算法與其他4種圖像特征匹配算法在Graffiti圖像組上測試的匹配精度曲線

(a) SIFT

(c) LGHD

(d) GMS

(e) 本文算法圖3 本文算法與其他4種圖像特征匹配算法在30°視角下的特征匹配示意圖

表1 本文算法與其他4種圖像特征匹配算法在30°視角下的特征匹配結果

由圖2可知，在相同視角變化情況下，本文算法的匹配精度高于其他4種圖像特征匹配算法。這是因為本文算法在ORB算法粗略匹配的基礎上，首先采用了交叉驗證的特征點集篩選方法，初步剔除了兩特征點集之間錯誤匹配的特征點對，接著又通過一致空間映射對經過篩選的特征點集進行穩健的非線性匹配，進一步提高了本文算法的匹配精度。

由圖3和表1可知，本文算法的特征匹配效果明顯高于SIFT、ORB、LGHD和GMS算法。SIFT、ORB、LGHD和GMS算法在30°視角下的特征匹配精度均不超過91%，并且匹配點對中存在了過多的錯誤匹配。而本文算法的特征匹配精度為97.87%，這說明本文算法在ORB初始匹配的基礎上，通過引入第一階段的特征點集交叉驗證和第二階段的一致空間映射，可以有效提高圖像特征匹配的精度。

在算法的運行時間上，ORB算法的運行速度最快，本文算法的運行速度處于ORB算法和GMS算法之間，排第二位。這是因為本文算法首先利用ORB算法檢測模板圖像和目標圖像的初始特征點集，其次才進行由粗到精的兩階段錯誤匹配對剔除，因此運行速度比ORB算法略慢。但是本文算法的匹配精度比ORB算法提高了約46%，這同樣證明了本文算法引入兩階段錯誤匹配對剔除的有效性。

3.2 現實場景對比實驗

在現實場景對比實驗中，采用BBS數據集進行實驗。該數據集來源于現實場景，由105對低分辨率圖像組成，其中最小的分辨率為128×96，最大的分辨率為480×360。數據集中的每對圖像都包含了一定程度的幾何形變，局部遮擋和背景變化，利用這些來自現實場景的圖像數據可以較好地評估本文算法和對比算法的特征匹配性能。

圖4為本文算法與其他4種圖像特征匹配算法在BBS數據集上測試的匹配成功率曲線對比圖。匹配成功率曲線直觀反映了圖像特征匹配算法的匹配性能，曲線越高，說明對應算法的特征匹配性能越好。表2為本文算法與其他4種圖像特征匹配算法在BBS數據集上測試的特征匹配結果。

圖4 本文算法與其他4種圖像特征匹配算法在BBS數據集上測試的匹配成功率曲線

表2 本文算法與其他4種圖像特征匹配算法的匹配性能對比

由圖4可知，本文算法的匹配成功率曲線均高于其他4種主流圖像特征匹配算法，這說明在進行圖像特征點集交叉驗證的基礎上，利用一致空間映射對經過篩選的圖像特征點集進行精確匹配，可以有效提高圖像特征匹配算法的精確性和穩健性，驗證了本文算法的匹配性能優于所對比的其他圖像特征匹配算法。表2中，本文算法的平均匹配精度為74.54%，超過其他4種圖像特征匹配算法，并且比第二名GMS算法的平均匹配精度提高了約6%。在算法的運行時間上，本文算法的平均匹配時間為0.335 2 s，僅略慢于ORB算法的0.262 5 s，排在第二位，這證明了本文算法的實時性。

圖5是本文算法與其他4種圖像特征匹配算法的部分匹配結果示意圖。可以看出，與其他4種圖像特征匹配算法相比，本文算法匹配的特征點對誤匹配率最低，達到了最佳的特征匹配效果，這充分反映了本文算法在特征點集匹配方面的精確性和穩健性。即使對于幾何形變、局部遮擋、背景變化和低分辨率下的圖像特征匹配問題，本文算法依然能夠達到較好的特征匹配效果。

(c) LGHD

4 結 語

為了解決傳統ORB算法誤匹配率高、抗視角變換能力弱等問題，提出了一種融合交叉驗證ORB和一致空間映射的快速圖像匹配算法。在ORB特征點檢測并匹配的基礎上，首先利用每對匹配特征點鄰域的支持點集，交叉驗證對應特征點對的準確性，從正反兩個方向篩選出準確性較高的對應特征點對。然后通過一致空間映射對經過篩選的特征點集進行穩健的非線性匹配。實驗證明，本文算法在進行大視角變換和現實場景下的圖像特征匹配問題時，精確性和穩健性均有所提升。下一步，將在算法的初始階段改進一種更加穩定高效的特征點集提取方法，進一步提高本文算法的穩健性和實時性，并將其應用于即時定位與地圖構建(Simultaneous Localization And Mapping，SLAM)的前端。