曲面擬合法和梯度法相結合的圖像亞像素配準算法*

劉紅亮，陳維義，許中勝(.海軍工程大學兵器工程系，湖北武漢430033；.海軍駐中南地區光電系統軍事代表室，湖北武漢430073)

曲面擬合法和梯度法相結合的圖像亞像素配準算法*

劉紅亮1，陳維義1，許中勝2
(1.海軍工程大學兵器工程系，湖北武漢430033；2.海軍駐中南地區光電系統軍事代表室，湖北武漢430073)

針對傳統亞像素配準算法存在精度不高、計算復雜的問題，提出了一種曲面擬合法和梯度法相結合的圖像亞像素配準算法。采用9點相關系數曲面擬合法對圖像進行粗配準，求得一個相對粗略的亞像素配準位置；在兩幅圖像中選取相同尺寸的子區圖像，在粗略的亞像素配準位置基礎上，采用梯度法最終獲得精確的亞像素配準位置。不同平移關系下的樣本圖像亞像素配準對比實驗結果表明，該算法實現了曲面擬合法和梯度法的優勢互補，有效提高了圖像配準的精度，最大配準絕對誤差由0.17像素降低為0.02像素。

圖像配準；亞像素；曲面擬合法；梯度法；泰勒展開

近年來，基于圖像配準的測量系統在很多領域得到廣泛應用，為了提高測量精度，除了采用更高分辨率和更大放大倍數的光學成像系統，還可以在現有光學成像系統的基礎上對圖像進行亞像素位移測量［1］。實踐證明，在許多的情況下，整像素的位移測量很難滿足實際的需要，亞像素配準技術是提高測量精度的一種有效的方法［2］。常用的亞像素配準算法主要有灰度插值法、曲面擬合法和梯度法等［3］。其中，灰度插值法是采用插值技術重構原始圖像和待配準圖像的亞像素灰度場，然后在插值后的新圖像上進行相關搜索，最終獲得亞像素級的配準精度。如果將插值步長改為0.1像素，就能得到0.1像素級別的配準精度。雖然這種算法的配準精度相對較高，但是配準結果受圖像插值函數性能的影響很大，而且計算量很大，還容易受圖像噪聲的影響，應用效果并不理想，因而在實際中使用較少［4］。曲面擬合法和梯度法下文會詳細介紹，此處不再贅述。

文獻［5］和文獻［6］分別對異源圖像和SAR圖像的配準問題進行了分析，但研究的側重點在于圖像像素級配準時的特征提取、相似性測度和搜索策略等方面，因此圖像配準的精度有限。文獻［7］針對行星中心定位問題提出了改進的亞像素邊緣檢測算法，并采用修正項以進一步提高亞像素邊緣檢測精度，研究思路對本文有一定啟示。文獻［8］提出了一種結合空域灰度投影和頻域相位相關的亞像素圖像配準方法，即在空域采用灰度投影算法對運動圖像進行粗配準，在頻域采用擴展的相位相關算法對圖像進行精確配準；但是，這種方法的配準誤差會隨著兩幅圖像位移量的增大而越來越大。

本文算法具有從粗略到精確的特點，實現了曲面擬合法和梯度法這兩種亞像素配準算法的優勢互補，有效提高了圖像配準的精度。

1 傳統的亞像素配準算法

1.1 相關系數曲面擬合亞像素配準算法

曲面擬合法是在獲得原始圖像和待配準圖像的整像素配準位置的基礎上，利用整像素配準位置周圍各點的相關系數矩陣進行二次曲面、高斯曲面或拉格朗日曲面擬合，然后通過求擬合函數的極值來獲得相應的亞像素配準位置的方法。高斯曲面擬合或拉格朗日曲面擬合不僅需要較大的擬合窗口，而且可能產生較大的誤差，因此實際中多采用二元二次多項式來擬合相關系數曲面［9-10］，相應的曲面擬合函數為:

假定數字圖像相關法搜索到的整像素配準位置為(x0，y0)，該點的相關系數用C(0，0)表示，其周圍8點的相關系數依據相對位置關系，依次設為C(-1，-1)…C(1，1)，如圖1所示。設

采用這9點相關系數擬合式(1)的二元二次曲面，將x=-1∶1，y=-1∶1分別帶入R(x，y)和C(x，y)，用最小二乘法就可以得到該二元二次多項式的系數a0，a1，a2，a3，a4和a5。該曲面擬合函數的極值位置應滿足方程組

圖1 相關系數曲面擬合法示意圖Fig.1 Diagram of curved surface fittingmethod based on correlation coefficients

可以求出擬合曲面的極值點的位置為［11］

結合事先已求得的整像素配準位置(x0，y0)，兩幅圖像最終的亞像素配準位置為

基于相關系數曲面擬合法的亞像素配準算法僅僅依靠整像素配準位置及其周圍8點的相關系數即可迅速確定亞像素配準位置，因此具有計算效率高、抗噪聲能力較強等優點，在實際中得到廣泛使用。但是由于曲面擬合函數通常無法完全描述相關系數的分布特性，因而曲面擬合法獲得的擬合結果就很難達到更高的精度要求，這又使它在高精度亞像素配準方面的應用受到一定的限制。

1.2 基于梯度的亞像素配準算法

基于梯度的亞像素位移算法最初是從光流計算中引入并應用到圖像配準定位中的。該算法的基本思想如下:令f(x，y)和g(x*，y*)分別表示原始圖像和待配準圖像相應子區圖像的灰度值。當子區圖像足夠小且作微小位移時，則該子區可以近似看作是剛體運動［12］。即

式中，x*=x+x0+Δx，y*=y+y0+Δy。x0，y0和Δx，Δy分別代表兩幅圖像相應子區圖像在x，y方向的整像素位移和亞像素位移。梯度法就是利用原始圖像和待配準圖像相應子區圖像的灰度值和梯度值建立目標函數，再對目標函數求極值來獲得相應的亞像素配準位置的方法。

將g(x+x0+Δx，y+y0+Δy)在(x+x0，y+ y0)處分別進行一階和二階泰勒級數展開并舍去高階小量，則有

顯然，二階泰勒級數展開的算法復雜度要更高，計算量要更大。因此通常進行一階泰勒級數展開［13］。式(7)、式(8)中梯度gx和gy的計算采用計算結果精確、性能穩定的Barron算子［14］

結合事先已知的整像素位移(x0，y0)，即可求得兩幅圖像的最終的亞像素配準位置。

基于梯度的亞像素配準算法有明確的數學原理和適中的算法復雜度，易于實現，配準精度高。但是該算法也有著明顯的不足之處。在對g(x+ x0+Δx，y+y0+Δy)在點(x+x0，y+y0)處進行一階泰勒級數展開時，由于忽略了高階小量，引入的誤差必將隨著Δx，Δy的增大而增大，而使用計算精度更高的二階泰勒級數展開又會導致計算量的增加［15］。也就是說，只有在亞像素位移Δx，Δy都較小(通常小于0.15像素)的時候，g(x+x0+ Δx，y+y0+Δy)的一階泰勒展開誤差才會較小，才能確保最終獲得更為精確的亞像素配準位置。

2 曲面擬合法和梯度法相結合的亞像素配準算法

曲面擬合亞像素配準算法的計算效率高，應用廣泛，但是很難獲得高精度的亞像素配準結果；基于梯度的亞像素配準算法易于實現，求解效率也相對較高，但是亞像素配準精度受到泰勒級數展開誤差(主要是展開階數和展開位置)影響很大；由于忽略了高階小量，只有在較為精確的展開位置上進行一階泰勒展開時才能獲得理想的亞像素配準精度。曲面擬合法和梯度法相結合的亞像素配準算法的基本思想就是充分發揮這兩種算法的優點，首先采用曲面擬合法求得一個相對粗略的亞像素配準位置，再以此配準位置作為梯度法在一階泰勒展開時的展開位置，從而減小泰勒展開的誤差，最終獲得一個精度大大提高的亞像素配準位置。

假定原始圖像和待配準圖像真實的亞像素配準位置為(x0+h，y0+k)，采用曲面擬合法求得的亞像素配準位置為(x0+Δx，y0+Δy)，顯然，Δx和Δy是對h和k的良好估計。令s=x+x0+Δx，t =y+y0+Δy，對g(x+x0+h，y+y0+k)進行一階泰勒展開并舍去高階小量，有

由于Δx和Δy是對h和k的良好估計，h-Δx和k-Δy相比于Δx和Δy就會小很多，相對于式(7)，式(14)就會在很大程度上減小一階泰勒級數展開時的誤差。令

則新算法的目標函數為

結合事先已求得的(x0，y0)和Δx，Δy，即可求得兩幅圖像最終的亞像素配準位置(x0+h，y0+ k)。可見，曲面擬合法和梯度法相結合的亞像素配準算法是在整像素配準位置上采用曲面擬合法求得粗略的亞像素配準位置，再在該粗略的亞像素配準位置上采用梯度法求得精確的亞像素配準位置，新算法流程如圖2所示。

圖2 新亞像素配準算法流程Fig.2 Flow chart of the new sub-pixel registration algorithm

3 仿真實驗與分析

3.1 測試圖像的生成

原始圖像來自車載成像設備獲取的地面可見光圖像，圖像分辨率為1280×1920像素，位移圖像通過對原始圖像平移得到。通過對存在整像素平移關系的兩幅圖像做10倍下采樣的方法，便可得到存在亞像素平移關系的原始圖像和待配準圖像［16］。

為方便計算，本文只對原始圖像進行水平方向的平移操作。依次對原始圖像進行步長為13像素的水平平移操作，一共生成10幀位移圖像。相對于原始圖像，第n幀位移圖像的水平位移dx =1+13×(n-1)像素；再對原始圖像和10幀平移圖像做10倍下采樣，便得到大小均為128× 192像素，平移關系依次為向右平移0.1，1.4，2.7，4.0，5.3，6.6，7.9，9.2，10.5和11.8像素的10幀位移圖像。各幀位移圖像的亞像素位移量如圖3所示。

圖3 圖像間亞像素位移關系曲線Fig.3 Curve diagram of sub-pixel displacement

3.2 實驗結果分析

采用數字圖像相關法，可以輕易求得平移關系依次為0.1，1.4，2.7，4.0，5.3，6.6，7.9，9.2，10.5和11.8像素的10幀位移圖像與原始圖像的整像素配準位置依次為0，1，3，4，5，7，8，9，11和12像素。在事先獲得整像素配準位置的前提下，我們分別采用曲面擬合法和梯度法對原始圖像和10幀位移圖像進行亞像素配準，配準結果見表1。顯然，在使用梯度法求解亞像素配準位置時，位移圖像正是以整像素配準位置作為其一階泰勒級數的展開位置。

由表1可知，曲面擬合法和梯度法均可獲得相對準確的亞像素配準位置。圖4顯示的是這兩種算法的亞像素配準位置與真實平移關系的絕對誤差?？梢?，當真實平移關系為0.1，4.0，7.9，9.2和11.8像素時，梯度法中一階泰勒級數的展開位置(依次為0，4，8，9和12像素)與真實平移關系的差的絕對值較小(0～0.2像素)，因此，相比于曲面擬合法，梯度法的配準結果與真實平移關系的絕對誤差就較小；當真實平移關系為1.4，2.7，5.3，6.6和10.5像素時，梯度法中一階泰勒級數的展開位置(依次為1，3，5，7和11像素)與真實平移關系的差的絕對值較大(0.3～0.5像素)，因此，梯度法的配準結果與真實平移關系的絕對誤差就相對較大，絕對誤差的最大值為0.17像素。實驗結果很好地驗證了1.2節中的結論:只有在一階泰勒級數的展開位置與真實平移關系的差的絕對值較小的情況下，位移圖像的一階泰勒展開誤差才會較小，采用梯度法才能獲得更加精確的亞像素配準位置。

表1 傳統亞像素配準算法結果Tab.1 Registration results of traditional algorithms

圖4 傳統亞像素配準算法的絕對誤差Fig.4 Absolute error of traditional registration algorithms

相比于10幀位移圖像與原始圖像的整像素配準位置，相關系數曲面擬合法求得的亞像素配準位置與真實平移關系的差的絕對值(0.01～0.12像素)則要小很多，而曲面擬合法和梯度法相結合的亞像素配準算法正是以相關系數曲面擬合法的亞像素配準位置作為梯度法的一階泰勒級數的展開位置，因此，采用曲面擬合法和梯度法相結合的亞像素配準算法必將獲得更為精確的亞像素配準位置，新算法配準結果見表2。

曲面擬合法和梯度法相結合的亞像素配準算法盡管算法復雜度稍有增加，但是對比表2和圖4不難發現，新算法具有更高的亞像素配準精度，配準結果與真實平移關系的絕對誤差的最大值由傳統亞像素配準算法的0.17像素降低為0.02像素，配準精度幾乎提高了一個數量級。

表2 本文亞像素配準算法結果Tab.2 Registration results of the proposed algorithm

4 結論

本文在分析傳統圖像亞像素配準算法局限性的基礎上，提出了一種曲面擬合法和梯度法相結合的亞像素配準算法。新算法在曲面擬合法過程中采用9點相關系數擬合二元二次曲面，同時在梯度法過程中采用Barron梯度算子和雙線性插值法，從而折中考慮了算法在精確性和實時性兩個方面的性能；為減小梯度法在一階泰勒級數展開時的誤差，新算法將曲面擬合法求得的粗略的亞像素配準位置作為梯度法的泰勒級數展開位置，確保最終獲得更為精確的亞像素配準位置；最后以地面可見光圖像為測量對象，以曲面擬合法和梯度法為對比實驗，對新的圖像亞像素配準算法進行了實驗驗證。實驗結果表明:曲面擬合法和梯度法相結合的亞像素配準算法盡管算法復雜度稍有增加，但是新算法實現了曲面擬合法和梯度法的這兩種算法的優勢互補，大大提高了圖像配準的精度，最大配準絕對誤差不足傳統亞像素配準算法的八分之一；新算法在實時性和有效性方面達到了很好的平衡，具有很高的應用價值。

參考文獻(References)

［1］Ma S P，Jin G C.New correlation coefficient designed for digital speckle correlation method(DSCM)［J］.Proceedings of SPIE-the International Society for Optical Engineering，2003，5058:25-33.

［2］Schneider SC，Rupitsch SJ，Zagar BG.Signal processing for laser speckle strain-measurement techniques［J］.IEEE Transactions on Instrumentation and Measurement，2007，56(6):2681-2687.

［3］張愛華，婁小平，呂乃光.數字圖像相關中亞像素算法的比較［J］.北京信息科技大學學報(自然科學版)，2013，28(3):53-56.ZHANG Aihua，LOU Xiaoping，LYU Naiguang.Comparison of sub-pixel algorithms based on digital image correlation［J］.Journal of Beijing Information Science＆Technology University，2013，28(3):53-56.(in Chinese)

［4］Ma L，Zhou SS，He Z F，et al.Image sub-pixel recognition method for optical precise adjustment［C］//Proceedings of IEEE Conference on Measurement，Information and Control，2012:1439-1444.

［5］李想，雷志輝，朱憲偉，等.基于分割相似度的異源圖像匹配算法［J］.國防科技大學學報，2013，35(6): 116-119.LI Xiang，LEI Zhihui，ZHU Xianwei，et al.Multi-sensor imagematching based on segmentation similarity［J］.Journal of National University of Defense Technology，2013，35(6): 116-119.(in Chinese)

［6］陳天澤，李燕.基于聯合相似測度的SAR圖像邊緣點特征配準方法［J］.國防科技大學學報，2013，35(4): 67-73.CHEN Tianze，LIYan.The edge point registration method of SAR images based on the joint similarity［J］.Journal of National University of Defense Technology，2013，35(4): 67-73.(in Chinese)

［7］陳闊，馮華君，徐之海，等.亞像素精度的行星中心定位算法［J］.光學精密工程，2013，21(7):1881-1890.CHEN Kuo，FENG Huajun，XU Zhihai，et al.Sub-pixel location algorithm for planetary center measurement［J］.Optics and Precision Engineering，2013，21(7):1881-1890.(in Chinese)

［8］孫輝，李志強，孫麗娜，等.一種空域和頻域相結合的運動圖像亞像素配準技術［J］.中國光學，2011，04(2): 154-160.SUN Hui，LI Zhiqiang，SUN Lina，et al.Sub-pixel registration of special and frequency domains for video sequences［J］.Chinese Journal of Optics，2011，04(2): 154-160.(in Chinese)

［9］Shortis M R，Clarke TA，Short T.Comparison of some techniques for the sub-pixel location of discrete target images［C］// Proceedings of SPIE，1994，2350:239-250.

［10］潘兵，謝惠民，續伯欽，等.數字圖像相關中的亞像素位移定位算法進展［J］.力學進展，2005，35(3):345-352.PAN Bing，XIE Huimin，XU Boqin，et al.Development of sub-pixel displacements registration algorithms in digital image correlation［J］.Advances in Mechanics，2005，35(3): 345-352.(in Chinese)

［11］Wei S D，Lai S H.Fast template matching based on normalized cross correlation with adaptive multilevel winner update［J］.IEEE Transactions on Image Processing，2008，17(11):2227-2235.

［12］Viola P，Jones M.Rapid object detection using a boosted cascade of simple features［C］.//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2001:511-518.

［13］Foroosh H，Zerubia J B，Berthod M.Extension of phase correlation to sub-pixel registration［J］.IEEE Transactions on Image Processing，2002，11(3):188-200.

［14］劉承蘭，高勛章，賀峰，等.一種基于相位校正的InISAR圖像配準新方法［J］.國防科技大學學報，2011，33(5): 116-122.LIU Chenglan，GAO Xunzhang，HE Feng，et al.A novel method for image registration in InISAR imaging based on phase correction［J］.Journal of National University of Defense Technology，2011，33(5):116-122.(in Chinese)

［15］Zhou P，Goodson K E.Sub-pixel displacement and deformation gradientmeasurement using digital image/speckle correlation［J］.Optical Metrology，2001，40(8): 1613-1620.

［16］李祿，范大昭.利用改進的相位相關算法實現影像亞像素匹配［J］.測繪科學技術學報，2013，30(6):597-601.LILu，FAN Dazhao.Application of sub-pixelmatching based on enhanced phase correlation algorithm［J］.Journal of Geomatics Science and Technology，2013，30(6):597-601.(in Chinese)

An image sub-pixel registration algorithm based on combination of curved surface fitting method and gradientmethod

LIU Hongliang1，CHENWeiyi1，XU Zhongsheng2
(1.Department ofWeaponry Engineering，Naval University of Engineering，Wuhan 430033，China；2.Navy Representative Office of Electro-Optics Systems in Zhongnan Area，Wuhan 430073，China)

In order to overcome the disadvantages of the low registration accuracy and the computational complexity of traditional algorithms，a new sub-pixel registration algorithm based on combination of curved surface fitting method and gradientmethod was proposed.Firstly，curved surface fittingmethod based on 9 correlation coefficientswasused to achieve the image rough registration.Secondly，subimageswere extracted from the reference images according to a predefined selection method.At last，gradientmethod based on the rough registration was proposed to achieve the accurate sub-pixel registration.Test results among experimental imageswith different translational relations show that the new algorithm has the advantages of both curved surface fitting method and gradient method，and greatly improves the accuracy of image sub-pixel registration.The maximum absolute error of registration accuracy is reduced from 0.17 pixel to 0.02 pixel.

image registration；sub-pixel；curved surface fittingmethod；gradientmethod；Taylor expansion

TP751.1

A

1001-2486(2015)05-180-06

10.11887/j.cn.201505028

http://journal.nudt.edu.cn

2014-10-12

國家部委資助項目(9140A09031213JB11123)

劉紅亮(1986—)，男，河南鄧州人，博士研究生，E-mail:lhl_hjgc@163.com；陳維義(通信作者)，男，教授，博士，博士生導師，E-mail:Fredchen118@sohu.com