基于插值和曲面擬合的圖像亞像素配準算法

趙洋，楊丹蕾，劉博宇，楊進華

（1.長春理工大學光電工程學院，長春　130022；2.吉林大學通信工程學院，長春　130000）

基于插值和曲面擬合的圖像亞像素配準算法

趙洋1，楊丹蕾2，劉博宇1，楊進華1

（1.長春理工大學光電工程學院，長春130022；2.吉林大學通信工程學院，長春130000）

圖像配準在很多領域有著廣泛的應用，如在計算機視覺、識別模式、軍事、醫學成像方面等方面，而且像素級的配準精度遠遠不能滿足要求，需要達到亞像素級的圖像配準。本文在傳統三次曲面擬合的基礎上，提出了一種改進的亞像素精度配準算法，該算法首先找到像素級配準位置（u1，v1），之后在附近區域進行灰度插值，在圖像插值過程中采用的是具有在節點處具有二階連續導數的三次樣條插值和雙立方插值法。最后經過曲面擬合求得亞像素配準結果。實驗結果表明，與傳統的曲面擬合算法相比，本文提出的算法在精度上得到了明顯的改善，精度可以達到0.01pixel。

圖像配準；亞像素；樣條插值；雙立方插法

圖像配準作為計算機是覺得關鍵技術之一，是在不同時間、不同地點、不同相機拍攝的兩幅圖片像中找到一組人們感興趣的同名點的過程，而對于超分辨率遙感圖像生成、高精度3D重建、視覺定位、醫學圖像等應用中的關鍵問題，配準結果需要達到亞像素級級別。

按匹配過程可分為基于圖像特征的圖像配準和基于灰度的圖像配準。［1］他們的主要區別在于是否包含分割步驟。基于特征的方法包含圖像的分割過程，用于提取圖像的特征信息，然后對圖像的顯著特征進行配準。常用的圖像特征點包括點特征、直線特征、邊緣以及統計矩等。［2］特征點提取算法可分為特征點提取算子（Harris算子、SUSAN算子）、線特征提取算子（LoG算子、Canny算子）。基于特征的方法往往具有操作簡單，配準速度快，可對圖像完成像素級的邊緣定位，但同時需要人工干預，特征點獲取比較困難等缺點，給配準結果帶來不確定性。而且當CCD和光學鏡頭的分辨率受到局限，這時改變軟件比改變硬件更加有效，所以，將圖像配準達到亞像素級別將是行之有效的方法。

基于灰度的配準方法無需進行圖像的分割與特征的提取，直接用圖像的統計信息作為配準的相似性度量。利用兩幅圖像的灰度信息度量之間的相似性。基于灰度的配準方法，只對灰度進行處理，可避免主觀因素的影響。

從20世紀70年代就有很多人在亞像素圖像配準方面做了大量研究，現有的亞像素配準方法基本可以歸結為3類，［3］基于插值擬合的方法，擴展相位相關法和解最優化問題發法。解最優化問題運算量一般較大，相位相關法性能一般較差，而基于插值擬合的方法運行速度慢，難以得到應用。目前，亞像素圖像配準技術大多集中于曲面擬合和梯度法，而針對運用標準互相關匹配的方法則比較少，主要原因是相關匹配運算量大，相關函數進行搜索時只能以像素為單位進行移動。但隨著計算機硬件處理速度的不斷提高，相關匹配的速度慢，運算量大的困難逐漸的被克服，本文提出了一種基于灰度圖像插值的配準算法，在以往的曲面擬合算法中，他們都是由配準模板與其同等大小的子區窗口計算相關系數的來的，因此在擬合曲面時，局限在整數像素精度上，而模板實際的配準點不一定在整數像素位置上，導致配準不準確。據此，在找到像素級配準點（u1，v1）之后，對圖像進行灰度插值，然后把相關系數最高點作為擬合窗口中心，使其更接近真實值，并且，擬合節點也由原來的整數像素變為0.2個像素長度，最后，擬合曲面的峰值點就為亞像素配準點。

1　灰度圖像的像素級粗配準

1.1灰度互相關算法原理

本文采用定位精度較高的基于灰度標準互相關匹配算法，首先根據圖像特征的大小在其中一幅圖像上選取模板，此算法是將模板在另一幅圖像上遍歷搜索，依次計算互相關度，互相關值最大的一點就為最佳匹配點，定位精度達到了像素級，標準歸一化互相關公式如下：

1.2快速像素級粗匹配過程［4］

在互相關算法中，實驗所拍攝的圖像尺寸為（1280×960）pixel，模板的小為（160×160）pixel，由于每個像素的灰度值都參與計算，所以計算量非常大，為了減少匹配過程的計算量，本文在搜索策略上做出了改進，有效的解決了運算速度慢的問題。

首先，對模板圖像和待搜索圖像進行4倍的雙線性降采樣，降采樣后的模板尺寸變為（40×40）pixel，待配準圖像大小為（320×320）pixel，如下圖所示。這時，通過標準互相關算法可以找到降采樣后的相關峰值坐標（u0，v0）。通過4倍降采樣后的相關峰值坐標估算原始待配準圖像的坐標，大約在（4u0，4v0）附近。

圖1　模板和待配準圖像進過4倍的降采樣

2　灰度圖像插值函數的基本原理

目前，已經有很多種插值算法，例如最鄰近法、雙線性插值法等，由于插值方法對后面的曲面擬合會產生影響，為了更好的達到插值效果，本文采用了精度較高的三次樣條插值和雙立方插值法。

2.1雙立方插值［5］

在圖像插值過程中，不僅要考慮直接鄰近點對它的影響，還應該考慮該點周圍16個鄰點的灰度值對它的影響。采用sinc函數進行灰度插值，可以準確的得到采樣點間任意點的值，插值函數s（x）=sin（πx）（πx）的特性圖如下：

圖2　sinc函數曲線圖

驟插值算出f（x0，y0）：

2.2三次樣條插值［6］

三次樣條插值的本質是三次多項式插值，并且在節點處有連續二階導數，所以，插值結果比較精確。在區間［a，b］進行劃分：a=x0＜x1＜…＜xn=b，設函數y=f（x）在節點x上的值為yi=f（xi）（i=0，1，…，n）。

在函數S（x）于［a，b］有二階連續導數，在每個小區間［xi，xi+1］上是三次多項式，則S（x）是節點x0，x1，…，xn，上的三次樣條函數，如果在節點上還滿足

則稱是三次樣條插值函數。

x y x0 y0 x1 y1……xn yn

求一個三次多項式滿足條件

（1）S（xi）=yi；（i=0，1，…，n）

（2）有二階連續導數，特別在節點上應滿足連續性條件，即對i=0，1，…，n-1成立

三次樣條插值函數具有比其他插值函數更好的穩定性，保證曲線的光滑性，在三次樣條插值中，插值節點處的函數值的波動只對這個節點兩邊的分段有影響，而對里該點較遠的分段影響會逐漸減小，因此，樣條插值法具有較好的穩定性。本文采用的是樣條插值的第三類邊界條件，即第一個節點和最后的一個節點的一、二階導數相等。

3　改進的配準算法

在以往的二元三次擬合算法中，所采用的相關系數都是由整數像素子區域中的點計算得來的，但是，模板真實的最佳配準點可能不在整數像素位置處。這時，如果按照整數像素節點的互相關值來計算，得到的結果將是不準確的，對精度的影響很大。綜上，本文提出了一種改進的曲面擬合算法，首先，由快速像素級粗匹配過程，找到互相關值最大的點，之后利用插值的方法對原圖進行重新采樣，在灰度插值過程中，對每個像素進行五細分，五細分的主要有兩個原因，一是如果細分份數越高，后面的互相關式計算上付出的時間代價會更高，而是如果細分份數少的話，擬合節點距離也同樣變大，會影響擬合曲面的精度。五細分使圖像達到亞像素級別，在對細分之后的模板和待配準圖像重新進行互相關運算，以0.2pixel為擬合節點距離。

二元三次擬合曲面表示為：

在以圖像五細分的亞像素級最佳配準點（u1，v1）為中心，（21×21）pixel區域內，求取上式中的10個待定系數，利用最小二乘法可求得，最終解方程組得到F（x，y）的極大值坐標，即為亞像素配準點。

具體的改進算法步驟如下：

（1）利用降采樣的方法快速的找到像素級配準位置（u1，v1）。

（2）在求得（u1，v1）之后，為了減少運算時間，在待配準圖像上截取以（u1-20，v1-20）、（u1-20，v1+40+ NTmp）、（u1+40+MTmp，v1-20）、（u1+40+MTmp，v1+40+ NTmp）、為頂點的子區域，對原模板和上圖分別進行灰度插值。并且計算互相關值，重采樣之后的最佳配準點坐標為（u2，v2）。

（3）以點（u2，v2）為中心，選取21×21個臨近測試點，再進行二元三次曲面擬合，最后曲面的峰值坐標即為亞像素配準結果。

4　測量實驗與結果

為了驗證基于插值的改進的配準算法的性能，準確的評價該算法的精準度，本文利用Matlab軟件進行編寫程序。利用Matlab軟件中提供的peaks（峰值）函數在區間［-3，3］和［-3，3］內的函數分布情況模擬實際CCD中的光強分布。由于相機在成像過程中，光線經過鏡頭透射在CCD像上，而相機生成的圖像灰度值的大小則是分布在單個像元的光強的平均值，所以，利用連續函數曲面模擬CCD的光強分布時，應該計算某一區域內的平均值，來代替相應點的灰度值，本文在模擬過程中，首先以0.05×0.05個單位長度來模擬單個CCD像元，也就相當于成像CCD是由121×121個像素構成的，得到圖像Px。之后再以0.01×0.01的區域計算曲面的平均值，來模擬把121×121個像素的圖像進行5細分，得到一個605×605個像素的圖像Qx，并且最為后續工作中的待配準圖像。最后利用三次樣條插值和雙立方插值的插值方法，對Px進行五倍的放大，并且在放大后的圖像上截取模板Pt與Qx進行互相關運算。

圖5為利用三次樣條插值對圖4進行五倍的細分，變成605×605個像素大小的圖像，圖6為利用雙立方插值對圖4進行5倍的細分，同樣得到606×605個像素大小的圖像。

在圖像Px截取模板Pt過程中，始終保持模板的大小不變，為了更好地驗證該插值方法的性能，每次以0.01個單位長度（0.2個像素）作為目標，移動模板窗口，依次與Qx進行互相關運算，最終進行三次曲面擬合運算。

圖3　Peaks函數三維曲面圖

圖4　121×121的圖像Px

圖5　

圖6　

表1　不同插值方法的結果誤差（單位：像素）

本文分別做了三組不同的實驗：1）對模板通過三次內插法進行插值處理，2）對模板進行三次樣條插值算法進行細分處理，3）不對模板進行任何處理，直接進行曲面擬合。最終的配準結果誤差如表1。

在以上的實驗中，利用雙立方插值的誤差均值為0.009299個像素，而利用三次樣條插值法的誤差均值為0.008個像素，不通過插值法處理，直接進行三次曲面擬合的誤差均值為0.0909個像素。

經過實驗的驗證可以看出，采用不通過插值處理的傳統配準算法進行配準時，盡管插值時間短，對計算機沒有過高的要求，但是配準精度遠遠達不到本文提出的基于插值的改進的亞像素精度配準算法，與傳統的算法相比，配準精度優越于傳統三次擬合算法，不足的是計算消耗時間稍高于傳統的三次擬合算法。

5　結論

本文在傳統曲面擬合算法的基礎上提出了改進，針對以往將整數像素為擬合節點進行二元三次擬合，采取了雙立方插值和三次樣條插值，擬合節點變為亞像素級，并且，得到更加精準的互相關系數，最終經過三次曲面擬合，計算亞像素配準坐標，通過實驗驗證了該算法精度高于0.01個像素，與傳統的曲面擬合算法相比有明顯的優勢。

［1］王鯤鵬，徐一丹，于起峰.紅外與可見光圖像配準方法分類及現狀［J］.紅外技術，2009，31（5）：270-274.

［2］楊楊，張田文.焦點檢測算法評價方法的研究［J］.哈爾濱工業大學學報，1998，30（2）7-10.

［3］黎俊，彭啟敏，范植華.亞像素級圖像配準算法研究［J］.中國圖像圖形學報，2008，13（11）：2070-2075.

［4］申琳.高精度雙目測距研究［D］.長春：長春理工大學，2011.

［5］張德豐.數字圖像處理［M］.1版，北京：機械工業出版社，2009.

［6］李慶揚，王能超，易大義.數值分析［M］.5版.北京：清華大學出版社，2008：22-46.

An Sub-pixel Precision Registration Algorithm Based on Image Interpolation and Fitting

ZHAO Yang1，YANG Danlei2，LIU Boyu1，YANG Jinhua1
（1.School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022
2.Jilin University College of Communication Engineering，Changchun 130000）

Image registration is applied extensively in many fields，such as in computer vision，recognize patterns，military，medical imaging，and so on.registration at pixel level can’t meet our requirements.registration Should be at Sub-pixel level.An improved sub-pixel registration algorithm is proposed based on cubic surface fitting method.First，find the pixel registration coordinates（u1，v1）.Second，there is an image interpolation process.We use cubic spline interpolation and bicubic interpolation in the image interpolation process，and cubic spline interpolation has the second-order continual derivative in the node.Finally，we get the sub-pixel registration results rely on cubic surface fitting method.The experiment results show that the algorithm relatively to the general cubic surface fitting has a slight increase in calculation error.The experim ental results show that the algorithm maintains a high precision of sub-pixel extraction.

Image registration；Sub-pixel；spline interpolation；cubic

TP391

A

1672-9870（2016）04-0109-04

2016-03-20

趙洋（1991-），男，碩士研究生，E-mail：983018918@qq.com

楊進華（1969-），男，教授，E-mail：yangjh@cust.edu.cn