圖像拼接中Surf 配準算法的研究

夏巖，劉智，王俊然

（長春理工大學 電子信息學院，長春 130022）

圖像拼接中Surf 配準算法的研究

夏巖，劉智，王俊然

（長春理工大學 電子信息學院，長春 130022）

圖像拼接技術作為獲取全景圖像的工具，已經受到越來越多學者的關注。為了得到良好的拼接圖像，減少圖像空間幾何畸變，便要對圖像進行嚴格的配準。Surf（Speed-Up Robust Feature）算法是近年來圖像配準的研究熱點之一。對傳統surf配準算法進行理論分析并在此基礎上提出改進算法，特征點檢測時，利用設立閾值來去除多余的特征點，并用MATLAB軟件對改進算法進行仿真分析。實驗結果表明，改進后的算法雖然減少了特征點個數，但增加了配準的成功率，前后性能相當且速度更快。

圖像拼接；圖像配準；surf算法

隨著科學技術的不斷進步，圖像融合［1］技術的研究也越來越深入，全景圖像的需求愈加迫切。圖像拼接［2］（image mosaic）是一種新興技術，隨著對大視角全景圖像的需求而產生，逐漸得到了許多學者的關注。作為圖像拼接過程中的重要一環——圖像配準，也備受關注。

圖像配準［11］（image fusion），簡單的說就是對兩幅以上圖像進行空間幾何位置的矯正。其目的是將源于同一場景的不同時刻、不同視角、不同傳感器的多幅圖像進行幾何變換，使后續的圖像融合能更好的進行。圖像配準可以分為基于灰度和特征兩大類的配準方式。基于灰度的圖像配準方法一般不需要對圖像進行復雜的預處理，而是利用兩幅圖像的某種統計信息作為相似性判別的標準。這種方法比較簡單，但應用范圍較窄，同時伴隨巨大的運算量。基于特征的配準方法是目前比較流行的，也是研究較多的。首先要將待配準圖像的特征提取出來，再將該特征進行特征之間的匹配，利用這種匹配關系建立圖像之間的映射變換。經常用到的圖像特征有：特征點、邊緣、輪廓等。一般來講，利用圖像的特征點進行匹配是比較容易也是比較常用的，它能保證圖像的分辨率、旋轉、平移等。

Sift［3-4］的圖像配準方法是由David G.Lowe在2004年提出的，其全稱是Scale Invariant Feature Transform，即尺度不變特征變換。這種算法的匹配能力較強，可以很好的解決待配準圖像之間的幾何畸變和光照變換等問題。Surf算法［5］是Bay等人在Sift算法的基礎上提出的。這種算法利用積分圖像來加速匹配的時間，因此它被稱之為快速魯棒特征（Speed Up Robust Feature）算法。文獻［6］-［8］中已經做了幾種實驗，可以看出Surf算法是具有很好的魯棒性與配準速度的。隨著研究的深入可以發現，Surf配準算法中有大量的特征點沒有被匹配成功。這些特征點有一個共性，其所含有的熵信息較低。如果可以在特征點檢測時去掉這些熵信息較低的特征點，在特征點匹配時就可以減少很多的計算，提高配準時間。

1 Surf算法特征點檢測

1.1 特征點檢測

Surf算法［9］的特征點檢測是建立在尺度空間的基礎上的。

（1）利用方框濾波近似替代二階高斯濾波，通過求取積分圖像來加速卷積，這樣做的目的是為了提高計算速度。

圖1 9×9方框濾波模板

一般情況下在每一階中選4層的尺度圖像，4階16層的尺度構造參數圖2所示。圖中方框代表濾波器模板的大小，如果要進行配準的圖像遠遠大于模板，那么可以增加階數，增加原則與其他階相同。假設模板的大小為M×N，則其對應的尺度空間為s=1.2×N/9。

圖2 4階方框濾波模板大小

（2）利用Hessian矩陣來求取極值。待配準圖像上點x=(x,y)處在σ尺度下的Hessian矩陣定義如下：

方框濾波模板與圖像進行卷積的值分別為Dxx、Dxy和Dxy，因而可以得到Hessian矩陣的行列式：

最后將尺度空間中的采樣點與其同層鄰點和鄰層鄰點相比較，共計26個像素值。只有這26個像素值中的極大值或者極小值點才能作為Surf算法所取得的特征點。

1.2 去除多余特征點

在數字圖像處理當中，圖像熵往往是衡量圖像信息豐富程度的重要指標。其計算公式如下：

式中，pi代表每個灰度級出現的概率（第i級）。從上面的公式可知如果想要達到很高的信息熵每個灰度級就要等概率的出現，如果某個灰度級出現的概率為1（單色）則信息熵最小。

本實驗設定閾值T=6.5，計算已經檢測到的所有特征點的熵，當其熵值小于6.5的時候，去除該點；反之，當其熵值大于6.5時，保留其為帶配準的特征點。一般情況下可以根據不同的應用場合和要求反復試驗設定閾值。

2 主方向的確定

為了保證旋轉不變性，以特征點為中心，利用半徑為6s（s為特征點所在的尺度）的Harr小波在x、y方向上計算相應的響應。這些響應需要被賦予高斯權重系數，這樣做使得靠近特征點的響應貢獻大，更符合客觀事實。然后用一個60o的扇形窗口遍歷所選取的6s窗口，將所有的向量累加可以得到一個最長的矢量，這個矢量便是該特征點的主方向，如圖3所示。對得到的所有特征點重復以上過程，便可以得到所有特征點的主方向。

圖3 確定主方向

3 描述子的生成

4 特征匹配

特征匹配常用的方法有：相關系數法、不變矩和距離度量值等等。本文采用歐式距離進行特征點的匹配，它是一種距離度量值。根據之前步驟，每個特征點都會生成一個64維的向量，利用歐式距離對兩幅圖像進行特征點匹配。假設N1和N2分別為圖像I1和I2的特征點集合，當N1中的一個特征點n1i與N2中的特征點n2i的歐式距離小于某一個設定的閾值（一般設定在0.6～0.8）時，則認為兩者為匹配的特征點。遍歷N1中的所有特征點，就可以找到所有匹配對。歐式距離的計算公式如下：

5 實驗結果分析

算法實驗的整個流程如圖4所示。

（1）對本文提出的算法進行仿真，圖片為256×189大小的JPG圖像。仿真環境：Windows 7操作系統，仿真軟件為Matlab2014b。如圖5所示為利用本文提出的算法檢測的特征點個數。

圖5 改進算法的特征點檢測

表1 特征點檢測算法比較

從上表可以發現，利用本文設置的熵閾值進行特征點的篩選，最終特征點集個數減少，時間較長。

（2）對本文提出的算法進行仿真，圖片為256×200大小的JPG圖像。仿真環境：Windows 7操作系統，仿真軟件為Matlab2014b。如圖6所示為利用本文提出的算法配準結果。

圖6 改進算法的配準結果

表2 配準算法比較

（3）從表1和表2可以發現，利用本文設置的熵閾值進行特征點的篩選，最終特征點集個數減少，時間較長。但是配準成功的特征點個數并未減少過多，同時配準時間有所加速。因此是有效的配準算法。能夠保證配準魯棒性的同時加速配準時間。

圖4 改進算法流程

（4）由于Surf配準算法配準時是通過歐式距離進行配對的，計算式利用的是64維的向量。在特征點檢測時，利用新的算法減少了配準率不高的特征點個數，從而在計算歐式距離時的基礎數據減少。雖然在特征點檢測時增加了一個過程增加了時間，但計算歐式距離時，計算量明顯減少。因而是可以縮短真個配準時間的。

6 結論

本文提出了一種改進的Surf圖像配準算法，在原有算法檢測到的特征點中，利用熵閾值來減少匹配時可能并不會配對成功的特征點。通過實驗可以發現，該算法在保證原有魯棒性的同時又縮短了配準時間，適用于實時性要求高的圖像拼接中。除此之外也可以展開對其他信息量的閾值分析，綜合多種數據量來進行特征點檢測。圖像拼接中的配準技術仍有許多難點，例如實現自動配準、快速配準、異源圖像配準等，這些難點還有待深入研究。

［1]敬宗良，肖剛，李振華.圖像融合——理論與應用［M］.北京：高等教育出版社，2007：3-8.

［2]王偉，陸佩忠.數字圖像拼接技術［M］.北京：清華大學出版社，2006.

［3]陳志雄.基于圖像配準的sift算法研究與實現［D］.武漢：武漢理工大學，2008.

［4]張銳娟.圖像配準理論及算法研究［D］.西安：西安電子科技大學，2009.

［5]張銳娟，張建奇，楊翠.基于SURF的圖像配準方法研究［J］.紅外與激光工程，2009，38（1）：160-165.

［6]Mikolajczyk K，Tuytelaars T，Schmid C，et al.A com?parison of affine region detectors［J］.International Jour?nal of Computer Vision，2005，65（1/2）：43-72.

［7]Mikolajczyk K，Schmid C.A Performance evaluation of local descriptors［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1630.

［8]Valgren Christoffer，Lilienthal Achim.SIFT，SURF and seasons：long-term outdoor localization using local features［EB/OL］.［2010-08-10］.

［9]Bay H，THUVTELLARS T，GOOL L Van.SURF：speed up robust features［C］.Proceedings of European Conference on computer Vision，2006：404-417.

［10]黃威.基于視頻圖像拼接關鍵技術的研究［D］.長春：長春理工大學，2014.

［11]秦雪，王歡，嚴曄，等.基于圖像邊緣檢測的圖像識別算法［J］.長春理工大學學報：自然科學版，2015，38（4）：128-131.

［12]陳俊強，黃丹飛.一種基于NSCT和自適應PCNN醫學圖像融合的改進算法［J］.長春理工大學學報：自然科學版，2015，38（3）：152-159.

［13]夏巖.無人機電力巡線系統中圖像融合技術的研究［D］.長春：長春理工大學，2017.

Research on Surf Registration Algorithm in Image Mosaic

XIA Yan，LIU Zhi，WANG Junran
（School of Electronics and Information Engineering，Changchun University of Science and Technology，Changchun 130022）

As a tool of getting the panoramic image，Image mosaic technology technology has received more and more attention from scholars.In order to get a good mosaic image and reduce the geometric distortion of image space，the registering image is needed.Surf image registration algorithm is one of the hot topics in recent years.Based on the theoretical analysis of the traditional surf registration algorithm，an improved algorithm is proposed.When the feature points are detected，the use of threshold to re?move redundant feature points and the MATLAB software is used to simulate the improved algorithm.The experimental results show that the number of feature points is reduced and the success rate of registration is increased in the improved algorithm.The matching performance of the improved algorithms is the same as the before one，but less time is used.

image mosaic；image registration；surf algorithm

TP751

A

1672-9870（2017）02-0098-04

2016-12-19

夏巖（1989-），女，碩士研究生，E-mali：2822853062@qq.com

劉智（1971-），男，教授，博士生導師，E-mail：liuzhi@cust.edu.cn