一種新的基于多特征的圖像自動配準技術(shù)

摘 要：提出了一種新的基于多特征的圖像自動配準技術(shù)。該方法使用不變矩對圖像中的區(qū)域進行匹配，然后利用匹配區(qū)域的區(qū)域標記尋找大尺度上的特征點作為控制點進行初始配準，進而在此基礎(chǔ)上指導(dǎo)改進鏈碼的方法對開放邊緣進行二次配準。最后根據(jù)所得到的控制點構(gòu)成的超定方程組利用最小二乘擬合的方法得到配準參數(shù)。經(jīng)過實驗證明該算法能夠達到亞像素級的配準精度，并且適用于不同傳感器圖像以及同傳感器同波段或不同波段圖像之間的精確配準。

關(guān)鍵詞：圖像配準；多特征；多源圖像

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695(2008)07-2228-04

New automatic image registration based on multi-features

YANG Meng ， ZHU Chang-ren



(National Key Laboratory of Automatic Target Recognition， College of Electronic Science Engineering， National University of Defense Technology， Changsha410073，China)



Abstract: This paper presented a new automatic image registration based on multi-features. The characteristic of this approach was that the invariant moment shape descriptor was used to establish correspondences between the potentially matched regions detected from the two images， and the improved signature was used to find the registration control points(RCP) as the stage of coarse registration. Then the improved chain-code matching had been performed as the registration refinement. Finally， the registration parameters were computed by using the least mean square. Experimental results with various kinds of image data show the high accuracy of our algorithm in multi-sensor image registration.

Key words： image registration; multi-features; multi-sensor image



在許多圖像處理相關(guān)領(lǐng)域的實際應(yīng)用中，都會遇到來自同一地域的不同傳感器或同傳感器不同波段所獲得的遙感圖像，這些圖像之間通常存在相對的平移、旋轉(zhuǎn)、尺度，甚至局部的幾何畸變。這就需要配準技術(shù)對圖像進行處理，求取圖像之間的變化模型以便使圖像在空域上達到像素級的互相匹配。針對各種類型的數(shù)據(jù)和應(yīng)用，目前已經(jīng)具備一些配準技術(shù)。具體細節(jié)見文獻[1]。

從大的方面來講，圖像配準主要分為人工配準技術(shù)和自動配準技術(shù)。由于人工配準技術(shù)不能適應(yīng)大批量的圖像配準需求，而且在配準精度方面也時常不能令人滿意，自動的配準技術(shù)越來越成為發(fā)展的主流。目前較為有效的自動配準技術(shù)主要是基于特征的圖像配準。基于特征的配準技術(shù)一般而言包括兩個關(guān)鍵步驟，即特征提取和特征匹配。圖像中可提取的中層符號特征主要包括區(qū)域、邊緣和點等。特征匹配主要指使用一些具有某種不變性的描述子對已提取的特征進行匹配，然后利用某種準則進行判決。文獻[2]中根據(jù)提取特征類型介紹了12種近期提出的配準方法。

傳統(tǒng)區(qū)域配準算法普遍存在一些問題，就是在得到匹配區(qū)域之后往往只利用了區(qū)域的質(zhì)心作為控制點，而區(qū)域輪廓上可能存在好的特征點沒有得到利用。在邊緣匹配中也普遍存在誤匹配率較高，搜索效率較低的問題。本文提出了一種綜合使用區(qū)域配準和開放邊緣配準，并使兩者成縱向關(guān)系，即先對區(qū)域進行匹配，然后利用匹配區(qū)域的區(qū)域標記尋找大尺度上的特征點作為控制點進行初始配準，進而在此基礎(chǔ)上指導(dǎo)改進鏈碼的方法對開放邊緣進行二次配準，最后根據(jù)所得到的控制點構(gòu)成的超定方程組利用最小二乘擬合的方法得到圖像配準參數(shù)。本文提出的算法解決了傳統(tǒng)區(qū)域配準方法只利用區(qū)域質(zhì)心為控制點而忽視了區(qū)域輪廓上可能存在的幾何特征點的問題。同時由于有區(qū)域配準的指導(dǎo)，也解決了傳統(tǒng)邊緣配準中誤匹配較多的問題。

1 特征提取

1．1 邊緣提取

在文獻[3]中對多種不同的邊緣提取算法進行了比較。為了得到準確、連續(xù)、平滑的邊緣，文獻[4，5]中提出的Canny邊緣檢測算子最終被筆者采用。在本文算法中，Canny算子檢測出的邊緣突兀部分的位置的準確性非常重要，所以對于Canny算子中高斯濾波器的參數(shù) σ的設(shè)置不宜過大，否則邊緣上一些特征點的位置會因為過分平滑而被改變，這將極大地影響最后的配準精度。在該算法中σ設(shè)置為1。在邊緣提取完成后，去掉長度小于某一閾值T的邊緣，只保留長的邊緣。

1．2 基于邊緣信息的改進區(qū)域提取方法

目前有很多圖像分割算法可用做區(qū)域的提取，本文采用了一種改進的區(qū)域增長方法。傳統(tǒng)的區(qū)域增長方法在很大程度上依賴于對圖像的掃描方式，這是一個很大的缺陷。在文獻[6]中指出邊緣信息為尋找區(qū)域的起始和終結(jié)提供了很好的參考信息，尤其是對于低對比度的圖像，這些信息能夠更好地幫助人們確定區(qū)域的準確邊界。相對于傳統(tǒng)的方法，改進的區(qū)域增長方法有以下重要修改：

a)該方法使用雙層循環(huán)，灰度級從低到高構(gòu)成外循環(huán)，內(nèi)循環(huán)是傳統(tǒng)的圖像坐標空間。未被編入?yún)^(qū)域的所有像素點均被作為種子點。

b)由種子點開始全方向進行區(qū)域增長，種子點的所有八個鄰域像素點逐一進行計算。如果某個鄰域像素點與種子點差的絕對值小于一個閾值，那么這個鄰域像素點將被加入當前的這個區(qū)域，并且存入邊界像素點堆棧以便作為接下來的備選種子點。這一過程重復(fù)進行直到堆棧為空為止。

c)充分結(jié)合邊緣檢測步驟中得到的邊緣圖，在進行區(qū)域增長的過程中，某一邊界像素點堆棧中的點被采納為下一步的種子點的條件是在邊緣圖中沒有與其對應(yīng)的點。也就是說，在生長已經(jīng)達到邊緣時即停止。

區(qū)域提取完畢之后，對所有區(qū)域進行檢驗，剔除掉面積過小和過大的區(qū)域，因為它們很有可能不能得到正確的匹配。

2 基于區(qū)域的圖像配準

2．1 區(qū)域的形狀不變矩表示

區(qū)域的矩表示將一個歸一化的灰度級圖像函數(shù)理解為一個二維隨機變量的概率密度。這個隨機變量的屬性可以用統(tǒng)計特征——矩(moment)來描述。本文算法中采用七個Hu不變矩集合，它們都是平移、縮放、旋轉(zhuǎn)不變的。具體細節(jié)參見文獻[7，8]。

2．2 基于不變矩的區(qū)域匹配法

令 kr(i)(k=1，2，…，7;i=1，2，…，n)， ks(j)(k=1，2，…，7;j=1，2，…，m)分別代表參考圖像中檢測到的 n個區(qū)域和待配準圖像中檢測到的 m個區(qū)域的七個不變矩的值。對于參考圖像中的區(qū)域 i和待配準圖像中的區(qū)域 j，計算兩者之間的不變矩距離，它描述了兩個區(qū)域的相似程度。

dij=∑7k=1[kr(i)-ks(j)]2

(2)

當參考圖像中的區(qū)域 i和待配準圖像中的區(qū)域 j滿足以下兩個條件時，認為這兩個區(qū)域匹配：

a)dij＜dij′。其中 j′包括了待配準圖像中除 j之外的所有區(qū)域。

b)dij＜T 。其中 T是一個預(yù)設(shè)閾值，如果最小匹配值也在 T之上，則認為無匹配。

2．3 一致性檢驗

在上述匹配完成之后，不可避免地會有誤匹配的產(chǎn)生。為了消除誤匹配，采用了相對距離比直方圖聚束檢測法。令 A1A2等于區(qū)域1的質(zhì)心點 A1與區(qū)域2的質(zhì)心點 A2之間的距離，則對于兩個圖像的 m個匹配區(qū)域質(zhì)心點集 Ai和 Bi，計算比值 AiAj/BiBj，對于全部的 m個匹配區(qū)域，共可得到 m(m-1)/2個比值。將這些比值做直方圖，則這些比值應(yīng)該在正確的比例變化附近形成一個聚集束。在聚集束附近的比值對應(yīng)的是正確的匹配區(qū)域?qū)Γh離聚集束的比值對應(yīng)有一對錯誤或兩對皆錯的情況，應(yīng)該予以剔除。在實際的應(yīng)用中，通常是以循環(huán)的方式進行一致性檢驗。首先剔除最大可能性的誤匹配，然后根據(jù)剩下的匹配點計算RMSE。如果RMSE太大，那么返回上一步，直到達到可接受的RMSE為止。

2．4 利用改進的區(qū)域標記(signature)尋求控制點

傳統(tǒng)的區(qū)域配準方法只利用了匹配區(qū)域的幾何質(zhì)心作為控制點，忽視了區(qū)域輪廓上可能存在的具有較明顯幾何特征的點。考慮到在手動配準方法中，最能引起操作者興趣并將其作為控制點的往往是大尺度上的幾何奇異點，對于噪聲引起的區(qū)域輪廓上的毛刺這種小尺度上的幾何奇異點一般都應(yīng)該被拋棄。因此，本文算法也模擬這種思想，自動搜索區(qū)域輪廓上的大尺度幾何奇異點。為了達到這種目的，選取了區(qū)域標記。

傳統(tǒng)的區(qū)域標記是以區(qū)域的質(zhì)心為圓心，將區(qū)域等角度進行劃分，每一次劃分都與輪廓有一個交點，最后計算圓心與每一個交點的距離，將這些距離作為一維數(shù)字序列，這樣可以進行一些形狀上的匹配。但是算法進行到區(qū)域匹配完畢之后，已經(jīng)獲得了匹配的區(qū)域，因此需要的是匹配區(qū)域輪廓上的大尺度幾何奇異點的精確位置。傳統(tǒng)的區(qū)域標記方法在遇到諸如有著深窄凹陷和細長突出的邊界時算法可能失敗，因此，傳統(tǒng)區(qū)域標記法并不適用。改進的方法為，當區(qū)域輪廓滿足從原點至邊界的延伸向量與邊界只相交一次并產(chǎn)生一個角度不斷增加的單值函數(shù)時，就保持原有區(qū)域不變。如果不滿足這一條件，則用包含這一區(qū)域的最小多邊形來對它進行擬合；然后計算區(qū)域質(zhì)心到每一個輪廓點的距離，并將所有這些距離歸一化（距離的平均值歸一化為1），將最后的結(jié)果作為一個一維的數(shù)字序列。由圖1(b)(d)可以明顯看出(a)(c)中的三個大尺度奇異點。



在進行區(qū)域標記匹配時，將其中一個區(qū)域標記的峰值對應(yīng)到與另一個區(qū)域標記峰值相同的位置，其他部分依此平移；然后計算兩個區(qū)域標記對應(yīng)值差的平方和，再將這一區(qū)域的區(qū)域標記峰值對應(yīng)到另一區(qū)域標記的次大峰值相同的位置，其他部分依此平移，再計算兩個區(qū)域標記對應(yīng)值差的平方和；依次循環(huán)進行，最后取具有最小的差平方和的那一次為正確匹配。

在得到正確匹配后，計算其中一個區(qū)域標記曲線的顯著率，使用以下計算方法：

其中： ai指區(qū)域標記曲線中第 i點的值。在計算完各點顯著率之后，開始挑選顯著點，挑選準則是：

a)若 ki＞T。其中 T為預(yù)設(shè)閾值，則將對應(yīng)于該顯著率的點作為候選顯著點。

b)若在一定范圍之內(nèi)，如10點之內(nèi)出現(xiàn)兩個或多個顯著點，則挑選顯著率最大的一個為顯著點。



在顯著點挑選完畢后，下一步工作就是在另一區(qū)域的區(qū)域標記中找到對應(yīng)的顯著點。同樣計算這一區(qū)域標記各點的顯著率；由于這兩個區(qū)域標記已經(jīng)進行了匹配，它們匹配的對應(yīng)點在整個曲線的位置應(yīng)該是大致相當?shù)摹８鶕?jù)上一步已經(jīng)挑選出的顯著點，分別計算它們在整個曲線的位置比例，然后分別在另一個區(qū)域標記曲線的對應(yīng)比例位置附近一個小的范圍內(nèi)搜索。如果有顯著點，則作為匹配點；若找不到顯著點，則認為無匹配。

算法進行到這一步，已經(jīng)得到了各個匹配區(qū)域的質(zhì)心以及匹配區(qū)域輪廓上的顯著點作為控制點。根據(jù)這些控制點可以計算出初始變換模型的參數(shù)。為了簡化計算，采用了以下變換模型：

其中:(X，Y)是某像素變換前的坐標， (X′，Y′)是變換后的新坐標； s是變換的尺度因子；θ是變換的旋轉(zhuǎn)因子； ΔXΔY分別是變換的水平及垂直方向的平移因子。實踐證明這種變換模型的近似還是比較精確的，尤其是在星載遙感即地表變化程度相對于傳感器到地面距離較大的情況下還是比較令人滿意的。

3 區(qū)域配準指導(dǎo)下的開放邊緣的配準

3．1 利用改進Freeman鏈碼進行開放邊緣曲線匹配

為了應(yīng)對具有更復(fù)雜局部畸變的圖像配準，需要獲得更多的控制點以提高配準精度。筆者進一步采用開放邊緣配準的方法，由于圖像中提取出的邊緣往往較多且較為復(fù)雜，傳統(tǒng)的邊緣配準方法需要進行全圖搜索，計算量很大，而且誤匹配率較高。因利用上一步區(qū)域配準結(jié)果指導(dǎo)開放邊緣配準的進行。

在算法的預(yù)處理步驟已經(jīng)利用Canny算子提取了圖像的邊緣，去除小于一定長度的邊緣和閉合邊緣，只保留較長的開放邊緣，然后利用文獻[9~11]中的一種改進的Freeman鏈碼進行開放邊緣匹配。首先對邊緣進行跟蹤得到8連接Freeman鏈碼 a1a2…an，改進Freeman鏈碼如下：

其中： qi為使 (qi-ai)mod 8=0的整數(shù)，并且同時使 |qi-bi-1|最小。

改進的鏈碼使原先鏈碼更加光滑，如 {707070…}就會變成 {787878…}，并且當曲線旋轉(zhuǎn)時，除了鏈碼均值變化外，鏈碼形狀基本不變。為了減小采樣間隔的干擾，再進一步對改進后的鏈碼使用五點高斯濾波器 {0．1 0．2 0．4 0．2 0．1}進行平滑。標準Freeman鏈碼和改進Freeman鏈碼的對比如圖2所示。其中： (a)和(b)為兩條曲線，(c)和(d)分別為對應(yīng)的標準鏈碼，(e)和(f)為對應(yīng)的改進鏈碼



假設(shè)邊緣 A被表示為 NA點的鏈碼 {ai}，邊緣 B被表示為 NB點的鏈碼 {Bi}。邊緣 A由 k點開始和邊緣 B由 l點開始的 n點片斷的相似性測度 Dkl定義如下：

余弦函數(shù)用來確保 Dkl≤1。當 Dkl=1時，表示兩邊緣完全匹配。

在算法實際應(yīng)用中，首先利用區(qū)域配準中得到的尺度比例因子重采樣待匹配邊緣。在對待匹配邊緣進行匹配時，并不進行全圖搜索，而是根據(jù)區(qū)域配準中得到的變換模型計算和這一邊緣相匹配的邊緣曲線的可能位置，然后在一個小范圍內(nèi)搜索，這樣既大幅度地減少了計算量，同樣也很大程度地降低了誤匹配。兩條邊緣可能整體完全匹配，也可能其中一條與另一條的部分匹配，還有可能其中一條的部分與另一條的部分匹配，因此通常把較長邊緣固定，將較短邊緣從一點開始，逐點滑動來與較長邊緣進行匹配計算。相似性測度是滑動點 k的一維函數(shù)。由于使用了尺度比例因子，而且由定義公式可見相似性側(cè)度 Dkl是對均值歸一化的，此方法可以達到尺度和旋轉(zhuǎn)不變的效果。

3．2 尋求匹配邊緣上的控制點

在得到匹配的邊緣曲線片斷對之后，接下來的工作就是尋找控制點，即邊緣上的一些幾何顯著點。這些幾何顯著點如角點是可以從鏈碼中檢測到的。對于一個長度為 n的改進鏈碼 {ai}，定義其第 i點的曲率為

其中:T是成為顯著點的最低可接受曲率閾值； p是顯著點之間允許的最小間距。然后使用顯著點鄰域的邊緣曲線片斷作為一維模板去搜索另一圖像中的相應(yīng)匹配點。

為了防止誤匹配，最后還要進行一致性檢驗。利用區(qū)域配準中得到的變換模型參數(shù)，分別對邊緣曲線匹配中得到的控制點對進行計算，將控制點對的其中一個點的坐標代入變換模型中計算出的新坐標應(yīng)該是與這一控制點對的另一個點大致相當?shù)摹Ｈ绻麅烧咧g偏差大于一個預(yù)設(shè)閾值，那么認為這一控制點對為誤匹配并將其剔除。

最后根據(jù)區(qū)域配準和邊緣配準所得到的所有控制點構(gòu)成的超定方程組利用最小二乘擬合的方法得到仿射變換模型參數(shù)。其中仿射變換模型為

其中： (X，Y)是某像素變換前的坐標； (X′，Y′)是變換后的新坐標；其余均是仿射變換模型的模型參數(shù)。

4 圖像配準實驗

4．1 不同波段遙感圖像配準實驗

圖像尺寸分別為 1 253×1 226和 1 260×1 227。圖3(a)(b)是原圖，進行區(qū)域提取并剔除過小區(qū)域后如(c)(d)所示；檢測到開放邊緣并剔除過短邊緣后如(g)(i)所示；利用不變矩進行區(qū)域匹配并通過一致性檢驗后得到匹配區(qū)域，如(e)(f)所示。利用改進的區(qū)域標記分別檢測兩者匹配區(qū)域的大尺度上的幾何顯著點，再加上匹配區(qū)域的質(zhì)心構(gòu)成一系列控制點集，并由此得到初始的變換模型；接下來，利用初始變換模型指導(dǎo)基于改進鏈碼的邊緣匹配可得到匹配邊緣（圖3(h)(j)）；然后利用邊緣曲率模型尋找匹配邊緣上的大曲率點作為控制點；最后將這些控制點也加入?yún)^(qū)域配準過程中得到的控制點集中構(gòu)成新的控制點集并進行最小二乘擬合求取最終仿射變換模型的參數(shù)。

實驗1部分控制點如表1所示（由于得到的控制點較多，兩次實驗僅列出區(qū)域配準中得到的部分區(qū)域的質(zhì)心控制點）。

4．2 不同傳感器遙感圖像配準實驗

圖4(a)為光學(xué)圖像，分辨率為1 m，尺寸為 670×431；(d)為紅外圖像，分辨率為5 m，尺寸為 402×624；(b)(e)為對應(yīng)的匹配區(qū)域圖像;(c)(f)為對應(yīng)的匹配開放邊緣圖像。實驗2部分控制點如表2所示。



(a)光學(xué)原圖像(b)圖（a）的匹配區(qū)域 (c)圖（a）的匹配邊緣

(d)紅外原圖 (e)圖（d）的匹配區(qū)域 (f)圖（d）的匹配邊緣

最后分別對兩次實驗所用圖像進行手工配準，并且對本文算法和手工配準的RMSE進行比較，如表3所示。

由表3可以看出，本文提出的算法在兩組實驗中都比手工配準的方法顯示了更好的精度，在存在較大程度幾何變化的不同波段以及不同傳感器遙感圖像配準中均達到了亞像素級的配準精度。

5 結(jié)束語

本文提出了一種利用多層特征，即區(qū)域特征和開放邊緣特征并以區(qū)域特征配準指導(dǎo)開放邊緣特征配準的一種圖像配準方法。與傳統(tǒng)算法相比，該方法有以下特點：a）比其他配準方法更充分地利用了圖像區(qū)域輪廓上存在的顯著特征點； b）由于加入了一致性檢驗，并在進行邊緣配準時，充分利用了前一步區(qū)域配準的指導(dǎo)，極大地降低了誤匹配率，并且大幅度縮小了搜索范圍，算法效率也大大提升；c）可以適用于不同波段，甚至不同傳感器，即不一致特征較多的圖像間配準； d）可以適用于圖像之間存在有較大幾何變化的情況；通過多源圖像的配準實驗

驗證了本文算法的有效性。

參考文獻：

［1］ BROWN L G. A survey of image registration techniques[J]. Comput Surv， 1992 ，24(4):325-376.

[2]FONSECA L M G ， MANJUNATH B S . Registrationtechniques for multisensorremotely sensed imagery[J]. Photogramm Eng Remote Sens J， 1996， 62(9):1049-1056.

[3]HEATH M， SARKAR S， SANOCKI T， et al. Comparison of edge detectors:a methodology and initial study [C]//Proc of IEEE Conf on Computer Vision Pattern Recognition. San Francisco: IEEE CS Press， 1996 : 143-148.

[4]CANNY.A computational approach to edge detection[J].IEEE Trans Pattern Analysis and Machine Intelligence，1986，879-698.

[5]ALI M， CLAUSI D. Using the Canny edge detector for feature extraction and enhancement of remote sensing images [C]// Proc of International Geoscience and Remote Sensing Symposium. Sydney:[s.n.]， 2001.

[6]KAI L， MULLER J-P. Segmenting satellite imagery: a region growing scheme[C]// Proc ofthe 11th Annual International Geoscience and Remote Sensing Symposium. Espoo， Finland:[s.n.]， 1991:1075-1078.

[7]FLUSSER J， SUK T. A moment-based approach to registration of images with affine geometric distortion[J]. IEEE Trans on Geos ci Remote Sensing，1994，32(2):382-387.

[8]HU M K. Visual pattern recognition by moment invariants[J]. IEEE Trans on Inform Theory，1962，IT8(2):179-187.

[9]LI H. A contour-based approach to multisensor image registration[J].IEEE Trans on Image Processing，1995，4(3):320-334.

[10]DAI Xiao-long，KHORRAM S. A feature-based image registration algorithm using improved chain-code representation combined with invariant moments [J]. IEEE Trans on Geosci Remote Sensing，1999，37(5):2351-2362.

[11]牛力丕，毛士藝，陳煒.一種基于長邊緣相關(guān)和一致性檢測的多傳感器圖像配準方法[J].信號處理，2005，21(2):115-119.

[12]GONZALEZ R C . Digital image processing [M]. [S.l.] : Prentic Hall ， 2002.

[13]GOSHTASBY A， STOCKMAN G C， PAGE C V. A region-based approach to digital image regstration with subpixel accuracy[J]. IEEE Trans on Geosci Remote Sensing，1986，GE-24(3):390-399.

[14]ZHENG Q， CHELLAPPA R. A computational vision approach to image registration[J].IEEE Trans on Image Processing，1993，2(3):311-326.[15]RIGNOT M E J， KOWK R， CURLANDER J C， et al. Automated multisensor registration : requirements and techniques[C]//Proc of the 10th IGARSS’90.1990:945-948.

注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。”