基于改進SIFT算法的礦山井筒視頻圖像實時配準*

邢遠秀 江成琳 柯偉兵

(1.冶金工業過程系統科學湖北省重點實驗室;2.武漢大學計算機學院)

礦山井筒設施的檢查目前主要依靠人工站在罐籠頂部來完成［1］。隨著圖像處理技術的發展，礦山井筒視頻場景實時拼接和故障點智能檢測引起了重視。而圖像配準是實現礦山井筒場景重建、分析以及故障檢測的基礎。

在圖像配準方面，Lower于2004年總結完善的SIFT(scale invariant feature transform)特征提取匹配算法［2］目前取得了巨大的成功，廣泛應用于遙感影像［3-4］和醫學影像［5-7］等圖像配準和目標識別。Mikolajczyk［8］等對多種具有代表性的描述子進行試驗證明SIFT描述子在旋轉、縮放、視點變化等方面表現性能最佳。

但是目前SIFT算法還沒有應用到礦山井筒視頻圖像配準，主要原因是SIFT算法復雜度高，不同尺度下的特征點提取及使用128維的描述子進行匹配使得算法滿足不了井筒圖像實時處理要求。本研究對SIFT算法的特征點的提取、描述子及相似性度量等方面進行了改進，在滿足實時性要求的同時保證圖像匹配的精度。

1 SIFT算法匹配原理

SIFT算法是一種基于特征的配準方法，算法主要包括特征點的提取與精確定位，描述子的生成及相似性度量匹配，算法對尺度、旋轉和光照等方面具有不變性。

1.1 特征點的提取與精確定位

利用高斯核函數對圖像進行尺度變換，計算圖像對應于不同尺度空間的一系列高斯差分圖像，構造DoG金字塔。DoG算子定義如下:

式中，

σ決定了高斯金字塔每一層的尺度。在該尺度空間中進行局部極值的檢測，使得每個像素點和同一層的相鄰8個像素點以及上層和下層的18個相鄰像素點共26個相鄰點進行比較確定是否為極值點。利用DoG算子在尺度空間的Taylor展開式，精確定位關鍵點的位置和尺度，同時去除低對比度的關鍵點和邊緣響應點。

1.2 描述子構造與特征匹配

為使提取的特征點具有縮放和旋轉不變性，利用每個關鍵點周圍鄰域的梯度模值和方向進行特征描述。首先確定每個關鍵點主方向，將坐標軸旋轉為關鍵點的方向，以確保旋轉不變性。根據關鍵點的位置、所處尺度和方向，以特征點為中心點，在周圍選取一個大小為16×16的區域，再將所選區域平均分為4個大小均為4×4的小區域，計算每個區域的梯度直方圖。直方圖包含有8個梯度方向，歸一化處理后形成4×4×8=128維的特征向量，即SIFT特征描述符。

SIFT算法采用最鄰近距離算法(NN)進行特征匹配，根據特征點的最近鄰特征點歐式距離與次鄰域特征點歐氏距離的比值對特征點進行匹配。利用RANSAC算法消除錯誤匹配，保證算法的魯棒性。

2 SIFT算法優化

2.1 尺度空間的優化

2.1.1 算法思路

SIFT算法復雜度較高，特別是構建高斯金字塔提取特征與精確定位。高斯金字塔的組數為

其中M和N分別是圖像的行列像素數，每組內為5層。尺度空間的構造耗時較多，大約占算法將近一半計算時間［4］，對算法的時效影響很大。SIFT算法盡可能檢測到所有尺度上的特征點，檢測的尺度空間越多，檢測到的特征點也越多。但是SIFT算法檢測的特征點數量過多，并且檢測到很多無用的特征點，使得算法在匹配時計算量大。

井筒視頻圖像在拍攝過程中對焦距保持固定不變，視頻幀之間尺度變化較小，幀間重疊部分較高。適當減少尺度空間變換，減少特征點提取數量，并不會對匹配產生影響。本研究擬采取減少高斯金字塔的組數與組內層數的方法，以減少算法的復雜性，縮短計算時間。

Lower建議每組有S層來提取特征點，則DoG金字塔需要S+3層，針對于一幅350×190的井筒圖像，傳統SIFT算法的DoG金字塔需要6組，每組5層。實驗表明，DoG金字塔采用3組，把原始圖像放大1倍作為第1組，原始圖像作為第2組，將原始圖像縮小1倍作為第3組。每組需要3層，只在每組中間一層上提取特征點可獲得較好的實驗結果。

2.1.2 實驗及結果分析

將改進后的SIFT算法與傳統的SIFT算法進行比較。算法運行在2.20 GHz的CPU，2.00 GB內存環境中。本研究對多幅井筒圖像的配準進行試驗，結果基本一致，由于篇幅限制，實驗僅列出兩幅間隔9幀的檢測滑輪及井架的視頻幀圖像進行比較。傳統SIFT算法采用6組3層的結構進行特征點的提取匹配，改進SIFT算法采用3組1層結構提取特征點，本實驗中描述子均采用SIFT算法提出的128維描述子，采用歐式距離算法作為相似性度量，剔除錯誤匹配后的實驗結果如圖1所示

圖1 尺度對匹配的影響

表1列出了不同尺度對井筒視頻圖像特征提取與匹配的影響。圖像1為視頻幀前一幀圖像，圖像2為視頻幀后一幀圖像。其中匹配成功率為正確匹配數除以總的匹配數。

表1 不同尺度下的特征提取

SIFT算法提取的特征點數目分別為350個和320個，比同等條件下3組1層尺度空間的146個和141個多了將近2倍，但是SIFT提取特征點的時間為929 ms，比3組1層尺度空間卻多了將近4倍。不同尺度下的特征提取個數和時間如表1所示，隨著尺度空間中組數和層數減少，提取的特征點和時間都在減少，但是正確匹配率卻相對穩定。這是因為SIFT算法本身提取了大量的特征點，其中許多特征點都是無用的特征點，采用3組1層尺度空間雖然使得特征點減少，但是并不影響匹配精度。通過對多組數據進行試驗，結果基本一致。

2.2 局部描述子和相似性度量的改進

2.2.1 局部描述子

SIFT生成的128維描述子在匹配過程中計算量過大，本研究對描述子進行降維，在不影響匹配精度的情況下，減少算法運行時間。以特征點為中心做半徑的圓鄰域，同時將以4個同心圓對圓鄰域進行劃分，對圓做4等分的扇形，形成9個子區域，使得算法具有旋轉不變性。

SIFT算法構造特征描述子時計算塊內梯度直方圖，在每個塊內計算8方向的梯度累加值，形成一個8維種子點。本研究在構造描述子時，考慮到離種子點越近的點對描述子貢獻越大，反之離描述子越遠的點對描述子貢獻越小，因此考慮在計算方向直方圖時，對每個點的梯度加上權重:

傳統SIFT算法在形成128維描述子時首先計算關鍵點主方向，將做標注旋轉到主方向使得算法具有旋轉不變性。由于井筒圖像在采集過程中，相鄰幀之間只發生了垂直位移變化和較小的尺度變化，沒有旋轉變化，因此在形成描述子之前不需要計算關鍵點的主方向，降低了算法的復雜度，并且改進后的SIFT算法將特征描述符從128維降低到72維，可進一步降低算法計算時間。

2.2.2 相似性度量的優化

實驗表明當描述子維數由128維降低為72維時，則出現誤匹配的概率增加。本研究采用Bray Curtis距離將特征聚類量化代替SIFT算法中的歐式距離作為2幅圖像中關鍵點的相似性判定度量將提高算法的配準精度。SIFT算法中歐式距離定義為

2.2.3 實驗及結果分析

將降維后的描述子結合Bray Curtis距離和傳統SIFT算法進行比較，實驗結果如圖2所示。

歐氏距離是一種基于距離測度的聚類分析，不考慮對象中每個變量在聚類過程中體現作用的不同，而是將樣品的不同屬性(即各指標或變量)之間的差別等同看待，用這樣計算的距離來表示2個對象的相似度并不確切，本研究采用Bray Curtis距離函數，針對在圖像的像素點提取時，各點對中心點所起的作用大小不同，Bray Curtis根據每個變量在聚類過程中的權重不同，所賦予的權值也不同，該方法不僅在一定程度上克服了歐氏距離的缺陷，而且能夠提高聚類質量，優化聚類性能。Bray Curtis距離定義如下:

圖2 井筒圖像配準結果

表2為對應圖2的3種算法匹配結果。原始SIFT算法匹配數量最多，匹配的對數為133對，正確匹配對數為139對，匹配算法用時696 ms。當使用3組1層金字塔提取特征點，并采用新的72維描述子，利用歐式距離作為相似性度量時的配對數降為61對，正確匹配數為58對，正確匹配率最低，為95.1%，但是算法匹配用時僅為132 ms，是SIFT算法的20%以下。在此基礎上使用Bray Curtis距離作為相似性度量，正確匹配率有了很大提高，達到了98.1%。由此可見，減少特征提取的尺度空間，使用新的72維描述子結合Bray Curtis距離作為相似性度量能夠在保持算法匹配精度和魯棒性的情況下，大大提高配準算法的執行效率。

表2 3種算法匹配結果比較

3 結論

實驗結果表明，改進的SIFT算法比傳統的SIFT算法具有更高的匹配效率和的匹配精度，為后繼礦山井筒實時檢測、故障識別打下基礎。

［1］ 章啟忠，等.礦山井筒安全隱患監測系統設計與實現［J］.金屬礦山，2009(6):130-131.

［2］ Lowe DG.Distinctiveimage features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［3］ El Rube I A，et al.Image registration based on multiscale SIFT for remote sensing images［C］∥Proceedings of the Third International Conference on Signal Processing and Communication Systems．O-maha:ICSPCS，2009:1-5.

［4］ 李芳芳，肖本林，賈永紅，等.SIFT算法優化及其應用于遙感影像自動配準［J］.武漢大學學報:信息科學版，2009，34(10):1245-1249.

［5］ 史 磊，李平湘，楊 杰.利用SIFT與粗差探測進行SAR影像配準［J］.武漢大學學報:信息科學版，2010，35(11):1296-1299.

［6］ 柯 杉，王博亮，黃曉陽.一種改進的SIFT算法及其在醫學圖像配準中的應用［J］.廈門大學學報:自然科學版，2010，49(3):354-358.

［7］ 陳富龍，張 紅，王 超.高分辨率SAR影像同名點自動匹配技術［J］.中國圖象圖形學報，2006，11(9):1276-1281.

［8］ Mikolajc zyk K，Schmid C.A performance Evaluation of Local Descriptors［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2005，27(10):1615-1630.