改進尺度不變特征變換算法的圖像配準?

范雪婷 趙朝賀 潘九寶 王 瑋

（1.江蘇省基礎地理信息中心 南京 210013）（2.江蘇省地質調查研究院 南京 210018）

1 引言

圖像配準是將存在時間、傳感器或視角差異的同一場景的兩幅或多幅圖像進行空間變換使得不同圖像在幾何空間上對應起來［1～2］。傳統影像匹配方法可分成兩類灰度信息匹配和特征匹配［3］。基于特征的匹配方法由于具有可靠性高、算法穩定和靈活度高等性能而得到廣泛關注。1999年，David G.Lowe提出的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法，具有尺度不變和旋轉不變性且對視角、噪聲、亮度變化具有較強的匹配能力和魯棒性，從而在圖像領域得到廣泛應用［4］。但是SIFT算法也有很多缺陷，如計算量大、效率不高及容易出現錯誤匹配現象等。文獻［5］提出基于隨機抽樣一致性（Random Sample Consen?sus，RANSAC）算法與SIFT特征剔除錯誤匹配，取得一定的效果但并未完全消除錯誤匹配且直接使用降低了效率。文獻［6］提出利用PCA-SIFT算法降低SIFT特征向量維度，減小算法的計算量，但效果并不理想，準確度不如SIFT匹配算法。文獻［7］改進RANSAC算法減少匹配計算量，提高了匹配速度，配準精度未改善。綜合分析以上因素，本文提出一種改進尺度不變特征變換算法的圖像配準方法。算法充分考慮SIFT特征點的特性改進匹配框架和匹配方法，盡可能地利用匹配點對提高算法的配準精度和適用性。

2 算法

本文算法總體流程如圖1所示，主要包含三個方面：1）基于SIFT特征匹配點對的最近鄰歐式距離DNN和最近鄰與次近鄰距離比值DNS雙重閾值判據將特征匹配點集分為Ⅰ類匹配點集和Ⅱ類匹配點集，記為初始匹配點集；2）對于Ⅰ類匹配點集剔除重復匹配點對并將一對多和多對一匹配點對歸入Ⅱ類匹配點集，再進行雙向匹配；由于在雙向匹配過程中，考慮反向匹配會可能損失正確匹配點對，因此將雙向匹配不一致匹配點對并入Ⅱ類匹配點集，本文稱之為中間匹配點集；3）利用最優化的隨機采樣一致性（Optimized RANSAC，ORSA）方法剔除Ⅰ類匹配點集中的錯誤匹配點對［8］；對于Ⅱ類匹配點集由于直接利用對極幾何約束匹配計算量較大，本文先剔除主方向差值與方向差平均值較差大的匹配點，再結合ORSA算法計算的基本矩陣，采用對極幾何約束剔除錯誤匹配點對，從而得到最終精確匹配點集。

圖1 算法總體流程

2.1 初始匹配

SIFT算法通常采用特征描述向量間的歐式距離來衡量SIFT特征點間相似度，并通過比較特征點最近鄰值和次近鄰距離之間的比值來確定是否為匹配點。通常認為DNS值較大時，參考圖像的某一特征點與輸入圖像中至少兩個特征點為疑似匹配點，但很難直接判定正確的匹配點，只得全部舍去，且在匹配過程中未度量匹配點間的歐式距離。因此，匹配結果中存在較多的誤匹配，降低匹配正確率，影響影像配準精度甚至配準錯誤。

本文采用重復率來衡量匹配點正確率［9］。對于空間一點X，由影像的投影矩陣P1、P2，分別計算參考影像與輸入影像對應的坐標點x1、x2，即x1=P1X，x2=P2X，若同時能檢測到點x1、x2，則稱為可重復點。可重復點占提取總特征點的比值記為匹配正確率。重復率對于特征提取算法具有較好的穩定性，但不同匹配算法的特征描述信息量和計算精度不同，需要一定的值作為參考。本文認為匹配點對(x1，x2)之間的歐式距離滿足Dis(x1，x2)<ε，則該匹配點對為正確匹配點對。

本文通過多組實驗，每組實驗中設定DNS的閾值為0.8，步長為0.1，統計分析不同取值條件下的DNN、DNS與匹配正確率的關系。圖2、3分別表明了最近鄰值和匹配點數、匹配正確率之間的關系。圖4、5分別描述了最次近鄰比值DNS與初始匹配點數、正確匹配點數以及匹配正確率間的關系。

圖2 最近鄰值與匹配點數關系

圖3 最近鄰值與匹配正確率關系

由圖2、3可知，隨著DNN的增大，初始匹配點數、正確匹配點數及匹配正確率都隨之減小；當DNN值大于0.3時正確匹配點數、匹配正確率迅速減小甚至為零，而DNN>0.3的匹配點占總匹配點數的比例卻很大，嚴重影響了算法匹配的準確度，也給刪除錯誤匹配點帶來不利影響。本文將DNN的閾值設定為0.3，對于DNN>0.3的匹配點直接舍去。

圖4 最次近鄰比值與匹配點數關系

圖5 最次近鄰比值與匹配正確率關系

由圖4可知，匹配點數及正確匹配點數所占比值與DNS取值無規律可循，并非DNS值較小的匹配點對包含的正確匹配點對就多。由圖5可知，匹配正確率隨最次近鄰比值的增加基本呈下降趨勢，當DNS的值大于0.5時，匹配正確率會非常低。但通過實驗研究及圖4表明DNS>0.5的特征匹配點中還存在一定數目的正確匹配點，直接刪除將會影響影像配準精度。為了盡可能多地獲取正確匹配點，提高算法配準精度；本文將DNN<0.3的特征點對進行分類，DNS<0.5的匹配點對并進Ⅰ類匹配點集，0.5

2.2 中間匹配

對利用雙重閾值判據獲得的初始匹配點集中的Ⅰ類匹配點集首先剔除重復匹配點對，然后將其中多對一和一對多現象的匹配點對存入Ⅱ類匹配點集。實驗中發現此時更新后的Ⅰ類匹配點集中還有大量的錯誤匹配點對，為了進一步提高Ⅰ類匹配點集的匹配準確性，利用雙向匹配策略篩選正確匹配點對［10］，在實驗中發現雙向匹配過程中可能會誤刪正確匹配點對，因此本文將雙向匹配不一致的匹配點對并入Ⅱ類匹配點集，以保證足夠數量的正確匹配點數，并將提純后的匹配點集稱為中間匹配點集。

2.3 精確匹配

RANSAC算法作為一種有效的模型參數估計算法［11～12］，在剔除圖像錯誤匹配點中得到廣泛應用。通過實驗研究ORSA算法與匹配正確率間關系發現，ORSA算法提純后的正確率隨初始匹配正確率升高而升高；經ORSA算法提純后會殘留錯誤匹配點，且隨著初始匹配正確率的變大而減小；ORSA算法能基本保留所有的正確匹配點，但當初始匹配正確率低于0.2時，ORSA算法應用失效。因此簡單地通過ORSA算法去除初始匹配點中的錯誤匹配點，不僅消耗大量時間，而且匹配的準確度、適用性并不理想。本文在獲取中間匹配點集的基礎上，分析Ⅰ類和Ⅱ類匹配點集的特性采取不同的篩選策略，以求更進一步提高配準精度。

對于I類匹配點集由于其匹配正確率較高，能較好地避免ORSA算法因初始匹配正確率低而不適用的問題。因此本文利用ORSA算法進一步刪除I類匹配點集中的誤匹配點對，實驗過程中若殘留的匹配點對數不再減少或數目少于等于3，則ORSA算法停止執行，并認為此時提純后的I類匹配點集所包含的匹配點對為正確匹配點對。

對于Ⅱ類匹配點集，直接利用ORSA算法匹配可能會造成不適用現象，而直接利用對極幾何約束匹配［13］，因匹配點數多計算量而比較耗時。本文考慮經方向匹配和ORSA算法提純后的I類匹配點集匹配正確率較高且匹配點對的主方向角度差基本相同，提出了首先計算I類匹配點集中所有匹配點對的主方向角度差值［14］，得到方向差值的平均值θ；對于Ⅱ類匹配點集首先剔除主方向差與θ值互差較大的匹配點對，然后在采用ORSA算法得到的配準圖像間基本矩陣的基礎上再采用對極幾何約束來剔除誤匹配［15］，使Ⅱ類匹配點集得到進一步提純，稱此時的Ⅰ類和Ⅱ類匹配點集為精確匹配點集，利用得到的匹配結果完成影像配準。

為了衡量配準結果的質量，本文采用配準精度這一指標，具體計算步驟為隨機在參考影像中選取匹配檢查點40個，利用SIFT匹配算法得到特征同名點，采用最小二乘方法求解兩影像之間的投影變換矩陣H'，結合圖像間已知的單應矩陣H，利用式（1）計算影像配準中誤差衡量配準精度指標［16］。

3 實驗與分析

3.1 實驗數據

為驗證本文提出的匹配算法，選擇Graffiti流行測試圖像（http：//www.robots.ox.ac.uk/～vgg/data/da?ta-aff.html）的第1、2、3、4幅圖像（本文分別記為Graffiti1、Graffiti2、Graffiti3、Graffiti4），圖像序列間的單應矩陣已知。

3.2 實驗結果與分析

在Microsoft Windows7操作系統下結合VS2010和開源計算機視覺庫OPENCV環境開發了匹配算法，限于篇幅本文僅列出匹配算法在實驗過程中的相關結果：1）圖6按順序逐一列出了Graffiti1-2、Graffiti1-3、Graffiti1-4三組特征匹配點對，其中紅色十字表示參考圖像和輸入圖像間對應的匹配點對；2）圖 7按順序給出了 Graffiti1-2、Graffiti1-3、Graffiti1-4圖像配準結果；3）表1列出了本文算法與經典算法（SIFT+ORSA算法）在匹配點對數上差異；4）表2列出了本文算法與流行算法及改進算法文獻［7］配準結果對比。

綜合上述實驗結果，可知如下：

1）本文算法相對于經典匹配算法無論在匹配正確點對數還是配準精度上都有較大優勢，特別是當圖像間幾何畸變、噪聲等較大時，常用匹配算法已經不適用，而本文算法卻能保證較高的配準精度，證明本文算法的幾何畸變適用性和正確性優勢。

圖6 本文算法匹配點對結果

圖7 本文算法配準結果

表1 算法匹配點對

表2 算法配準結果對比

2）采用本文算法能增加匹配點對的數量，使匹配點在圖像上的分布更加趨于均勻，保證匹配算法的穩定性。不同的匹配策略盡可能地刪除錯誤匹配點對，提高配準精度。但由于SIFT特征自身定位精度不高，且影像間幾何畸變明顯時，定位精度明顯降低，所以Graffiti1-3、Graffiti1-4圖像間配準精度都大于1個像素。

3）本文算法在提高配準精度的同時損耗了時間，主要為算法中多次使用ORSA算法，但由于Ⅰ類匹配點集匹配點對正確率較高，減少了ORSA單次運行時間，因此總匹配時間增加較少。此外若Ⅰ類匹配點集剔除誤匹配后的剩余點對數滿足配準要求，也可直接拋棄Ⅱ類匹配點集的匹配過程，從而確保匹配速度。

4 結語

本文分析傳統基于SIFT特征算法和RANSAC匹配的缺陷，充分考慮特征點的相似性度量和匹配點集的特征，針對匹配框架和匹配方法，提出了一種改進尺度特征變換算法的圖像配準，匹配過程中利用雙閾值判據對匹配特征點對進行分離，保證匹配點對的數目，然后對Ⅰ類匹配點集進行初匹配并將一對多、多對一以及雙向匹配不一致點對并入Ⅱ類匹配點集，在降低正確匹配點對損失的基礎上使得匹配特征點集得到進一步提純，獲取中間匹配點集，最后考慮雙匹配點集自有特性采取相應的匹配方法，并對對極幾何約束匹配方法進行改進，提高匹配的效率和配準精度。實驗對比分析證明本文提出的匹配算法在匹配點對的數量和配準精度上有明顯優勢，提高了算法適用性和準確性。