基于勢函數點分布調整的SIFT圖像配準算法

孫彬， 邊輝， 王培忠

(西北核技術研究所,西安 710024)

基于勢函數點分布調整的SIFT圖像配準算法

孫彬， 邊輝， 王培忠

(西北核技術研究所,西安 710024)

尺度不變特征轉換(scale invariant feature transform，SIFT)是一種廣泛應用于圖像配準領域的點特征提取算法。針對基于SIFT的圖像自動配準算法存在的特征點分布不均勻問題，提出了一種基于勢函數點分布調整的圖像配準方法。該方法解決了SIFT算法不能針對特征點的分布情況進行優化的問題。通過調整SIFT的比值閾值，增加配準點的數目；通過引入分子力學中的勢函數概念，對特征點分布情況進行優化；通過局部互信息精糾正，微調特征點位置，以提高特征配準點的配準精度；最終實現高質量(空間分布均衡，配準精度高)的圖像自動配準。

尺度不變特征轉換(SIFT)；勢函數；特征點分布；局部互信息

0 引言

圖像配準是將不同時間、不同傳感器(成像設備)或不同條件下(天候、照度、攝像位置和角度等)獲取的2幅或多幅圖像進行匹配、疊加的過程，已經被廣泛地應用于遙感數據分析、計算機視覺、圖像處理等領域。精確的圖像配準能夠為遙感調查與監測打下良好的基礎[1-2]。基于特征的圖像配準方法是研究較多且應用比較廣泛的一類方法，這類方法的主要共同之處是先對角點、直線、輪廓及交叉點等圖像特征進行提取，再完成圖像特征之間的匹配，最后通過特征的匹配關系建立圖像間的變換關系[3-4]。1988年，Harris和Stephens提出了Harris角點檢測算法[5]；1997年，Smith和Brady提出了SUSAN(small univalue segment assimilating nucleus)角點檢測法[6]；David等在1999年提出了尺度不變特征轉換(scale invariant feature transform，SIFT)算子[7]，并在2004年對算法進行提升和總結，用于特征點的檢測和描述。該算法一經被提出就引起了廣泛關注，并成功應用到圖像配準領域。對于基于點特征的圖像自動配準算法，陳愛軍等[8]指出配準點的選取方式直接決定了圖像配準的有效性和可靠性，立體圖像的配準精度并沒有隨配準點數量的增多而顯著提高，但與這些配準點在圖像上的幾何分布有關[9]。為此，本文引入分子力學中的勢函數概念，通過勢函數對部分精度不高的特征點進行移動調整，優化了特征點的分布；通過提高特征點分布的均勻性，提高了圖像的配準精度。

1 SIFT算法

SIFT算法是由David于1999年提出的[7]，該算法對尺度變化、視角變化、光照變換和噪聲狀況有很強的魯棒性。國外學者針對不同條件下的圖像配準，就SIFT、矩不變量及互相關等描述因子進行了實驗和性能比較，結果證明SIFT算法的效果最好[10]。由圖1可以看出，SIFT所提取的特征點在結構信息豐富的區域較為集中，但在A，B，C這3個影像特征相對平滑的區域卻沒有任何特征點存在。由此可見，單純使用SIFT算法可能導致配準點分布均衡性較差。

圖1 SIFT算法提取的特征點Fig.1 Feature points extracted by SIFT algorithm

2 基于勢函數點分布調整算法

數學上的“點分布均勻”區域要滿足3個要求：①區域內部的點越分散越好；②點離邊界越遠越好；③在低維投影上也需滿足均勻性。胡東紅等[11]根據勢函數模型(potential function model)提出了一種基于勢函數的均勻性度量準則；蔡文生等[12]提出的分子力學法則利用勢函數來計算原子間的相互作用能，結合最優化算法使系統總勢能最小化，用以預測復雜團簇的能量最低結構。同樣，在圖像配準領域,配準點分布也應遵循上述“點分布均勻”要求中的前2個，而基于勢函數的點分布調整算法經數學證明能滿足圖像配準的上述要求[13]。

根據勢函數模型的定義可以推導點分布均勻性調整的算法。點的受力總和可表示為

(1)

式中：Fi,j的大小和符號代表了點xi受其他點的作用之和在ej軸上的大小和方向；i，k為特征點索引(i,k=1,2,…,n)；j為空間維度索引(本文特指x,y軸方向(j=1,2,…,m))；s為平面延拓索引，對于矩形，需要在周邊延拓8個平面(圖2)。

圖2 勢函數計算延拓范圍示意圖Fig.2 Sketch map for scale of potential

對于所有的i和j，根據Fi,j的大小和符號，按一定策略移動點xi，直到Fi,j小于某一個閾值，即可認為達到均勻性要求。在二維空間上簡化的基于勢函數點分布調整算法(點按照Fi,j的大小和方向移動)如圖3所示。

圖3 基于勢函數點分布調整的流程圖Fig.3 Flowchart of point-adjust algorithm based on potential function

圖4為點分布調整的仿真試驗結果。

圖4 點分布調整的試驗結果

從表1可以看出，點分布調整前后勢函數值的變化，說明點分布的均勻性得到了有效提高。

表1 點分布調整前后的勢函數值Tab.1 Potential function values before and after adjusting point distribution

3 基于互信息的配準點偏差補償

由于使用勢函數模型對部分特征點進行了移動(圖4)，使特征點的位置發生了改變，原有的配準關系被破壞。所以，需要對新的位置上的特征點使用原來粗配準變換矩陣進行映射；但這種通過映射得到的配準點對粗配準矩陣修正并沒有起任何作用。為了提高配準點的精度，本文使用歸一化互信息對移動過的配準點進行糾正，將配準點與對應的待配準圖像進行局部歸一化互信息偏差補償。

將基準圖像按照粗配準矩陣進行前向映射，需要將糾正點A(x,y)映射為AT(xT,yT)，并以AT為圓心在基準圖像中取半徑為r的圓形區域UA，如圖5(b)所示；將A點對應在浮動點圖像上的A′點的坐標(x′,y′)，取閾值t，設B點坐標(xb,yb)在區域T(xb∈[x′-t,x′+t],yb∈[y′-t,y′+t])內移動，以B點為圓心在浮動圖像中取半徑為r的圓形區域UB，如圖5(c)所示；再計算UA與UB的歸一化互信息，如果某個B點的UB與UA的互信息最大，則認為2個區域配準良好，AT與B為高精度配準點；如果該最大值小于一定的閾值，則認為無法正確配準。

(a) 基礎圖像 (b) 按粗匹配矩陣映射圖像 (c) 待配準圖像

圖5 基于歸一化互信息的糾正方法示意圖

Fig.5 Adjusting based on normalized mutual information

利用該方法可以較好地提高配準點的精度；如果將選取的區域插值到原來圖像的3～5倍時，則效果更好。配準點偏差補償實驗效果如圖6所示。可以看出，特征點提取的偏差得到了很好的糾正。

(a) 基礎圖像 (b) SIFT配準結果(c) 互信息糾正結果

圖6 基于歸一化互信息的糾正效果

Fig.6 Effects of adjusting based on normalized mutual information

4 基于勢函數點分布調整的SIFT算法

在上述算法的支持下，可對SIFT算法的特征點分布均勻性進行改進：首先使用SIFT算法提取特征點，并取較小的比值閾值，獲得粗配準模型；然后使用勢函數模型調整定位準確性較差的點位置，并使用粗配準模型進行映射；最后使用局部互信息進行精定位，即可得到定位精度高和均勻性好的控制點。具體的算法配準步驟如下：

1)分別提取參考圖像和待配準圖像的SIFT特征。

2)特征點之間的相似性采用歐氏距離度量，按照Lowe的研究結果，閾值取0.6～0.7之間；本文算法取0.4～0.5之間值，主要用于降低初配準精度、增加配準點數量。

3)進行隨機抽樣一致性(random sample consensus，RANSAC)檢驗，如果不能得到穩定的配準點對，則配準失敗；否則，配準成功。

4)通過獲得的配準點對計算仿射矩陣A，提高配準過程的比值閾值(取0.8～0.9之間)；通過A進行配準點篩選，可獲得大量配準點。

5)按照上文所述基于勢函數的點分布調整算法，將部分定位精度差的點重新調整，并按照仿射矩陣A進行重新映射。

6)使用互信息對重新調整過的點進行精確定位，若該點互信息值小于某個閾值，則剔除該點。

7)使用保留下來的配準點采用多項式法或者三角格網法進行圖像配準。

5 實驗結果與分析

針對圖像的配準精度，本文給出3種常用的評價指標[14-15]：①均方根誤差(root-mean-squared error，RMSE)；②平均絕對誤差(mean absolute difference，MAD)；③配準圖像相容性檢測系數(entropy correlated coefficient，ECC)。

采用Matlab語言編寫程序，測試平臺為Win7 X64，CPU為X5675(3.06 GHz，6核)×2，內存為12 GB的圖形工作站。圖7給出使用本文算法與SIFT算法對不同傳感器、不同獲取時間、尺度區別較大的2景圖像(2007年5月獲取的某區域QuickBird圖像(圖7(a)，分辨率0.6 m，圖像大小1 159像元×1 105像元)和2002年8月獲取的SPOT5圖像(圖7(b)，分辨率2.5 m，圖像大小648像元×677像元))的配準結果(圖7(c)和圖7(d))。

(a) 基礎圖像(QuickBird) (b) 待配準圖像(SPOT5)

(c) SIFT算法結果 (d) 本文算法結果

圖7 第一組圖像配準實驗結果

Fig.7 Registration experimental results of first group of remote sensing images

圖8給出使用本文算法與SIFT算法對相同傳感器、不同獲取時間的2景某區域QuickBird圖像(分別于2004年1月(圖8(a)，圖像大小477像元×475像元)和2005年2月獲取(圖8(b)，圖像大小537像元×547像元))的配準結果(圖8(c)和圖8(d))。

(a) 基礎圖像(QuickBird) (b) 待配準圖像

圖8-1 第二組圖像配準實驗結果

Fig.8-1 Registration experimental results of second group of remote sensing images

(c) SIFT算法結果(d) 本文算法結果

圖8-2 第二組圖像配準實驗結果

Fig.8-2 Registration experimental results of second group of remote sensing images

本文選取的上述2組圖像具有一定的典型性和代表性。第一組圖像為不同衛星、不同分辨率及不同獲取時間的圖像，特征點較為稀少。與SIFT算法相比，本文算法特征點數量明顯增加，同時在原SIFT算法特征點比較稀疏的圖像中部增加了部分特征配準點，使特征配準點分布的均勻性得到了有效提高(圖7(d))。第二組圖像為同一衛星、相同分辨率及不同獲取時間的圖像，特征點較為稠密，且分布不均勻；由于場地目標發生了較大的變化，本文算法比SIFT算法在配準點數量和特征點分布的均勻性上都得到了較大提高(圖8(d))。

第一、二組的實驗結果如表2所示。

表2 圖像配準實驗結果數據Tab.2 Data of registration experimental results of images

從表2可以看出，本文算法的RMSE，MAD及ECC等精度評價指標均比SIFT算法有較大的提升。但由于算法中采用勢函數對點分布進行調整以及互信息計算會導致算法復雜度上升，故本文算法耗時較長。

6 結論

1)本文以尺度不變特征轉換(SIFT)算法為基礎，通過二次配準得到較多數目的控制點；并引入分子動力學中的勢函數模型對SIFT算法進行改進，優化了SIFT算法的特征點分布，解決了SIFT算法特征點分布不均勻的問題；同時利用局部互信息提高了配準點對的精度；通過對特征點分布的調整，提高了圖像的配準精度。

2)實驗結果表明，本文算法具有較高精度，但由于算法中采用勢函數對點分布進行調整以及互信息計算，導致算法復雜度上升，算法耗時較長。因此，該方法對于精度要求較高而時效性要求較低的應用領域具有較強的應用價值，并已成功地應用于衛星圖像自動傳輸鏈路接收系統中。

[1] 張云生,鄒崢嶸.基于改進ORB算法的遙感圖像自動配準方法[J].國土資源遙感,2013,25(3):20-24.doi:10.6046/gtzyyg.2013.03.04. Zhang Y S,Zou Z R.Automatic registration method for remote sensing images based on improved ORB algorithm[J].Remote Sensing for Land and Resources,2013,25(3):20-24.doi:10.6046/gtzyyg.2013.03.04.

[2] 王曉華,鄧喀中,楊化超.集成互補不變特征的SAR影像自動配準[J].國土資源遙感,2014,26(1)：52-56.doi:10.6046/gtzyyg.2014.01.10. Wang X H,Deng K Z,Yang H C.Automatic SAR image registration of integrated complementary invariant feature[J].Remote Sensing for Land and Resources,2014,26(1):52-56.doi:10.6046/gtzyyg.2014.01.10.

[3] 吳偉交,王敏,黃心漢,等.基于向量夾角的SIFT特征點匹配算法[J].模式識別與人工智能,2013,26(1):123-127. Wu W J,Wang M,Huang X H,et al.SIFT feature matching algorithm based on vector angle[J].Pattern Recognition and Artificial Intelligence,2013,26(1):123-127.

[4] 張謙,賈永紅,胡忠文.多源遙感影像配準中的SIFT特征匹配改進[J].武漢大學學報：信息科學版,2013,38(4):456-459. Zhang Q,Jia Y H,Hu Z W.An improved SIFT algorithm for multi-source remote sensing image registration[J].Geomativs and Information Science of Wuhan University,2013,38(4):456-459.

[5] Harris C G,Stephens M J.A combined corner and edge etector[C]//Proc Fourth Alvey Vision Conference,Manchester,U K,1988.

[6] Smith S M,Brady J M.SUSAN-A new approach to low level image processing[J].International Journal of Computer Vision,1997(1):45-78.

[7] David G L.Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision,Corfu:1999.

[8] 陳愛軍,徐光祐,史元春,基于城市航空立體像對的全自動3維建筑物建模[J].測繪學報,2002,31(1):55-57. Chen A J,Xu G Y,Shi Y C.Automated 3D building modeling based on urban aerial stereopair[J].Acta Geodaetica et Cartographic Sinica,2002,31(1):55-57.

[9] Jonathan H.SPOT digital elvation model(DEM)creation using the Otto and Chau Method[DB/OL].[2004-09]http://www.jon-claudi.co.uk/ee/index.php/geofiction/extended_text/spot_digital_elevation_model_dem_cration_using_the_otto_and_chau_method/.

[10]Mikolajczyk K,Schmid C.Scale and affine invariant interest point detectors[J].International Journal of Computer Vision,2004,60(1):63-86.

[11]胡東紅,李德華,王祖喜.均勻性度量的勢函數模型[J].數學物理學報,2003,23,A(5):607-612. Hu D H,Li D H,Wang Z X.Potential function model of uniformity measurement[J].Acta Mathematiea Scientia,2003,23,A(5):607-612.

[12]蔡文生,林翼,邵學廣.團簇研究中的原子間勢函數[J].化學進展,2005,17(4):588-594. Cai W S,Lin Y,Shao X G.Interatomic potential function in cluster research[J].Progress In Chemistry,2005,17(4):588-594.

[13]張玲,張勝蘭,艾君,等.基于勢函數的均勻性度量與均勻性布點方法[J].湖北大學學報：自然科學版,2007,29(6):144-146. Zhang L,Zhang S L,Ai J,et al.Uniform measurement and uniform dots distribution based on potential function[J].Journal of Hubei University(Natural Science),2007,29(6):144-146.

[14]孫彬,嚴衛東,張彤,等.良分布的多特征遙感圖像自動配準算法[J].光電工程,2012,39(8):38-45. Sun B,Yan W D,Zhang T,et al.Remote sensing image automated registration algorithm based on multi-feature and well-distribution[J].Opto-Electronic Engineering,2012,39(8):38-45.

[15]李偉峰,周金強,方勝輝.基于改進Hausdroff距離的圖像配準方法[J].國土資源遙感,2014,26(2)：93-98.doi:10.6046/gtzyyg.2014.02.16. Li W F,Zhou J Q,Fang S H.Image registration method based on improved Hausdorff distance[J].Remote Sensing for Land and Resources,2014,26(2):93-98.doi:10.6046/gtzyyg.2014.02.16.

(責任編輯：刁淑娟)

Image registration algorithm based on SIFT and potential function adjusting location of points

SUN Bin, BIAN Hui, WANG Peizhong

(NorthwestInstituteofNuclearTechnology，Xi’an710024,China)

Scale invariant feature transform(SIFT) is a popular feature extraction algorithm that has applied to remote sensing image automatic registration; nevertheless, there exists a problem in the remote sensing image automatic registration based on SIFT algorithm, i.e., the distribution of feature points is always nonuniform. An automatic image registration algorithm based on potential function model is presented in this paper, which can solve the problem of optimizing nonuniformity in feature point distribution in SIFT. By adjusting the threshold of SIFT, the number of matching points is promoted. The algorithm can optimize the uniformity in feature point distribution by potential model function in molecular mechanics, and make the low-precision feature point to the sparse area of feature points. Then it revises local mutual information to improve matching point accuracy, so as to realize a high quality (uniform space distribution, high accuracy of Sub-Pixel registration) automatic image registration finally.

scale invariant feature transform (SIFT)；potential function；feature point distribution；local mutual information

2014-05-12；

2014-07-16

10.6046/gtzyyg.2015.03.07

孫彬,邊輝,王培忠.基于勢函數點分布調整的SIFT圖像配準算法[J].國土資源遙感,2015,27(3)：36-41.(Sun B,Bian H,Wang P Z.Image registration algorithm based on SIFT and potential function adjusting location of points[J].Remote Sensing for Land and Resources,2015,27(3)：36-41.)

TP 751.1; TP 391.41

A

1001-070X(2015)03-0036-06

孫彬(1983-),男,碩士,工程師,主要從事遙感圖像處理和圖像配準技術研究。Email：sunbin@ninit.ac.cn。