基于最大特征點對互信息的圖像配準

摘要：定義了局部特征點對互信息量，并在兩個合理的假設下提出了基于最大特征點對互信息量的一種新的圖像配準方法。該方法包含了兩個搜索過程：第一個過程是基于特征點對的全局搜索過程，該過程得到初始匹配點對；第二個過程是在初始匹配點對的鄰域內利用互信息基本性質的局部搜索，該過程可以進一步提高匹配點對的精度。全局搜索過程能夠提高搜索效率，而局部搜索又可以克服依賴于準確提取特征點的不足。最后通過理論分析和實驗證明了所提出方法的有效性。

關鍵詞：互信息； 特征點對； 圖像配準

中圖分類號：TP391文獻標志碼：A

文章編號：1001－3695(2008)03－0939－03

基于互信息量的全局圖像配準方法吸引了許多研究者的興趣，目前已成為計算機視覺和圖像處理的研究熱點[1]。該方法引入了聯合熵、相對熵和互信息等信息論的概念，而且是基于圖像中所有像素的配準方法，無須對圖像作預處理，所以不但其自動化程度高，而且精度高，可達到亞像素級[2，3]。但是，當圖像受噪聲、低采樣、變形等因素影響時，將導致誤匹配魯棒性問題[4]。這些魯棒性問題使得互信息量的目標函數存在大量局部極值，從而使優化過程可能收斂到局部極值點；另一方面，基于幾何特征的圖像配準也是一種重要的圖像配準方法，該方法通過提取圖像的幾何特征，如對應的特征點、邊界、表面等，建立基于這些幾何特征的目標函數，并通過最優化搜索技術得到配準參數。然而該方法依賴于特征點的準確提取，也受噪聲的影響，使得優化過程極易陷入局部極值[5]。

為了尋找圖像間更加穩定的相似性測度來改善各種圖像配準方法的穩定性，以克服圖像配準存在的魯棒性問題，將幾何特征和像素相似性的方法相結合，實現兩者優勢互補，是一種有效和可行的思路。雖然，文獻[4]利用圖像的梯度信息提出了融合傳統互信息和梯度場相似測度的方法，文獻[6]提出了基于形狀最大互信息的圖像配準方法，但并沒有從本質上改變沿x、y、θ方向搜索得到最大互信息量。另外，在文獻[7，8]中利用特征點和互相關、對齊度等方法有效地實現了圖像匹配，但這些方法依賴于特征點的準確提取。本文基于以上方法的不足，在定義圖像特征點對互信息的基礎上，提出了基于特征點對互信息的匹配準則。該方法有兩個過程：a)把基于x、y、θ等多個方向的搜索變成了基于特征點對的全局搜索，得到初始匹配點對；b)利用互信息的性質，在初始匹配特征點的局部范圍內搜索，以提高初始匹配點的定位精度。這樣，全局搜索過程由于避免了x、y、θ等多個方向的搜索，從而可以提高搜索效率；同時，局部搜索又可以克服依賴于特征點準確提取的局限性，使得所提出的方法更加有效。最后，本文不但從大量的實驗及其對比來驗證了方法的有效性，而且還從理論分析的角度來證明所提出方法的正確性和合理性。

1基于互信息量的圖像配準原理

設兩幅圖像A、B為兩個隨機變量，pAB(a，b)是圖像A、B的灰度聯合概率密度分布，pA(a)和pB(b)

是A、B的灰度邊緣概率密度分布。根據隨機變量的性質，如果A、B相互獨立，那么pAB(a，b)=pA(a)pB(b)；如果A、B完全相關，那么pAB(a，b)=pA(a)=pB(b)。隨機變量A、B的互信息量描述了兩個隨機變量A、B之間的統計相關性，即一個隨機變量中所包含的另一個隨機變量中信息的量，度量了兩個隨機變量A、B之間的相關性與獨立不相關的程度。如果使用Kullback Leibler測度，隨機變量A、B的互信息量可表示為

根據式(4)，當兩幅圖像配準時，它們的空間位置將達到一致，使得圖像之間的相關性最大，灰度聯合概率密度分布pAB(a，b)最集中，圖像之間的聯合信息量H(A，B)最小，即這兩幅圖像的互信息應為最大。由此可見，基于互信息量測度下的圖像配準可以表示為

值得注意的是：雖然互信息量反映了當前位置下待配準圖像之間的相關性，但為了獲得圖像之間的變換關系f，需要從x、y、θ等多個方向進行搜索，從而使得計算量非常大。同時，當圖像噪聲較大，待匹配圖像所包含的有效信息較少時，可能使互信息函數收斂到局部極值點。正是基于這些問題的考慮，本文把特征點和互信息有效地結合，建立了一種新的匹配準則，從而可以有效地避免上述問題。

2特征點對互信息及其配準準則

一般地，設待配準圖像A和B提取出來的特征點集為PA={pi=(pix，piy，θpi)t}i=1，2，…，N1和PB={qj=(qjx，qjy，θqj)t}j=1，2，…，N2。其中θpi和θqj分別是點pi和qj的方向。如圖1(a)和(b)所示，設(pi，θi)和(qj，θj)分別是參考圖像A和待匹配圖像B的任意特征點，θi和θj分別是圖像特征點的輻角，而Δθi， j=θi-θj是其輻角之差，表示了圖像A與B之間的旋轉角度。(pi，qj，Δθi， j）(i=1，…，n; j=1，…，m)是圖像A和B的特征點對集合中任意兩個特征點的互信息，定義為

I(A， fpi，qj，Δθi， j(B))=H(A)+

H(fpi，qj，Δθi， j(B))-H(A， fpi，qj，Δθi， j(B))（6）

其意義如圖1（c）所示。把圖像B旋轉Δθi， j度，然后圖像B平移到A之上，使pi和qj重合，這時圖像A和B的互信息就是特征點對(pi，θi)和(qj，θj)的互信息。

(a) 參考圖像(b) 待匹配圖像(c) 基于特征點對的計算互信息

在大量的實驗中筆者發現，在兩幅具有相關性的圖像中，通過特征點的選取，可以使得下面的假設成立。

假設1設pi(i=1，2，…，n)和qj(j=1，2，…，m)分別是具有相關性的圖像A、B的特征點集，Δθi， j是任意兩個特征點對的角度之差，那么在(pi，qj，Δθi， j）(i=1，…，n; j=1，…，m)中，至少存在一對對應的匹配點對(p，q，Δθ)。

通過大量的實驗證明了如下事實：對任意一對匹配點，隨著平移的增大，其互信息量將迅速遞減。實際上，互信息量的含義也反映了這個事實。圖2(a)是實驗結果圖3(a)匹配點{(45，205)，(94，167)}中的特征點(45，205)與特征點(94，167)的10×10鄰域的點集互信息；圖2(b)是實驗結果圖3(b) 匹配點{(45，205)，(94，167)}中特征點(45，205)與特征點(94，167)的10×10鄰域的點集互信息。因此，可以提出假設2。

圖2基于匹配點對的10×10鄰域的互信息變化

假設2設{p，q}是匹配點對，而{p，q}是非匹配點對，那么匹配點互信息大于非匹配點互信息，即I(A， fp，q，Δθ(B))>I(A，fp，q，Δθ(B))。

基于假設1和2，可以提出基于特征點互信息量測度下的圖像配準的匹配準則:

fp，q，Δθ=arg maxi， j I(A， fpi，qj，Δθi， j(B))(7)

注：a）在式（6）中引入了特征點信息，擴充了互信息的定義；

b）式(7)與(5)的最大區別在于包含了特征點，從而把基于x、y、θ三個方向的搜索變成了基于特征點搜索，使得搜索效率提高，這就是全局搜索過程；

c）同時，由式(7)得到的匹配點對，還可以利用式(5)在該匹配點對的小鄰域內進行搜索，可以進一步提高匹配的精度，從而使得該匹配準則不依賴于特征點的準確提取，這就是局部搜索過程；

d）如果圖像A和B的特征點對集合(pi，qj，Δθi， j)存在多對匹配點對，那么通過遍歷所有的特征點對，可以得到匹配點對集合{(p，q)|p，q是匹配點對}。

3理論分析

1）設(p，q，Δθ)和(p，q，Δθ)是兩對匹配點對，那么I(A， fp，q，Δθ(B))=I(A， fp，q，Δθ(B))。事實上，根據匹配點對和特征點對互信息的意義，由這兩對匹配點對得到的圖像重疊是相同的，所以有結論成立。可以通過實驗證明，如果兩幅圖像之間沒有旋轉只有平移，那么其匹配點的互信息完全相等。

2）設在圖像A、B的(pi，qj，Δθi， j)中存在匹配點對，且I(A， fp，q，Δθ(B))在所有I(A， fpi，qj，Δθi， j(B))中是最大的互信息，那么(p，q)是匹配點對。這實際上是匹配準則所表達的意義。

3）設(p，q，Δθ)是匹配點對，且它的互信息與(p，q，Δθ)的互信息相等，即I(A， fp，q，Δθ(B))=I(A， fp，q，Δθ(B))，則(p，q)是匹配點對。事實上，如果(p，q)不是匹配點，那么由假設2可以得到I(A， fp，q，Δθ(B))>I(A， fp，q，Δθ(B))，這與假設2矛盾。

4）根據假設1和前面的結論，一定可以得到匹配點對，從而算法得到證明。

注意，即使(p，q，Δθ)和(p，q，Δθ)都是匹配點對，這兩點分別得到的圖像重疊是相同的，但由于計算互信息要受插值和噪聲的影響，一般情況下，互信息I(A， fp，q，Δθ(B))和I(A， fp，q，Δθ(B))不會完全相等。然而兩者相差較小，可以看成近似相等。這將由第4章的實驗得到驗證。

4實驗結果及分析

本節將通過實驗驗證所提出的匹配準則的正確性和有效性。下面的實驗數據及結果都是在MATLAB 6.5環境下得到的結論，且在所有實驗中，特征點是通過小波多尺度積而提取的邊緣特征點[7，9]。

為了說明本文方法的有效性，筆者選取了高度形變旋轉角度較大的航空圖像，以及傳感器圖像和雷達圖像、景物圖像，還有它們的噪聲圖像。圖 3表示了配準原圖像（http://nayana.ece.ucsb.edu/registration）。

例如，圖4(a)表示高度形變 (highly distorted)且旋轉角度較大的圖像配準結果；(b)表示不同時間以及不同傳感器圖像(urban SPOT band 3 (08/08/95) 和TM band 4 (06/07/94))的配準結果；(c)表示不同時間雷達圖像(JERS1 radar (10/10/95) 和(08/13/96))的配準結果。圖5分別表示航空、景物以及加噪圖像的配準結果。其中(b)(d)是增加了高斯白噪聲（σ=0．002）的圖像。從配準效果和表1、2的實驗數據可以看出所提出方法的有效性。其中，表1列出了圖4和5的部分實驗數據。為了參考，在表1中列出了網上的Regweb ( http://nayana.ece.ucsb.edu/registration ) 所做的結果， 從其對比實驗來看，所提出的方法達到了理想效果。表2的數據是圖4(a)的實驗結果。它表明了所提出方法的優點，根據特征點進行的全局搜索得到匹配點可以進一步通過局部搜索以提高匹配的精度。例如全局匹配結果為rotation angle=-19．726，(DX，DY)=(141．99，73．102)，scale=1．021 1；局部搜索得到的結果為rotation angle=-19．758，(DX，DY)=(142．79，75．507)，scale=1．001 5，匹配精度進一步提高。圖6表示把圖4的特征點對互信息量按從小到大的順序排列。從該圖中可以看出，最大互信息量與其他互信息量有一個明顯的突變過程，這說明了匹配點的互信息量是很容易區分出來的，也說明了理論分析的合理性和正確性。另外，針對圖5的圖像配準實驗，在都沒有進一步考慮優化的情況下，表3是特征點對互信息量的計算量和按x、y、θ三個方向搜索方法所得到的計算量之間的對比。在按此三個方向的搜索方法中，其步長分別是5、5、1。從平均時間之比來看至少可以提高8．309 8倍。

5結束語

本文針對圖像配準中的互信息方法和特征方法的不足，提出了特征點對互信息的概念，并依據兩個合理的假設，建立了基于最大特征點互信息量的圖像配準準則。該準則把基于x、y、θ等方向的搜索問題轉換成了基于特征點的搜索問題。從大量的對比實驗可以看出，所提出的方法能有效地提高搜索效率。同時該準則不依賴于特征點的準確提取。因為當特征點得到之后，可以利用互信息的特性在該特征點的局部范圍內搜索，從而使得所提出的方法可以進一步提高匹配特征點對的定位精度，并優于其他算法。本文還從兩個合理的假設出發，分析了特征點對互信息的一些簡單性質，證明了該方法的正確性。最后，通過實驗和數據分析，驗證了該方法的正確性和有效性。

參考文獻：

[1]PLUIM J P W， MAINTZ P J B， VIERGEVER M A. Mutual information based registration of medical images: a survey[J]. IEEE Trans on Medical Imaging，2003，22(8):9861004.

[2]MAES F， COLLIGNON A. Multimodality image registration by maximization of mutual information[J]. IEEE Trans on Medical Imaging， 1997，16(2):187198.

[3]HOLDEN M，DENTON D L G. Voxel similarity measures for 3D serial MR brain image registration[J]. IEEE Trans on Medical Imaging， 2000，19(2):94102.

[4]陳明，陳武凡.基于互信息量和模糊梯度相似性的醫學圖像配準[J].電子學報， 2003，31（12）:18351838.

[5]張二虎，卞正中.基于最大熵和互信息最大化的特征點配準算法[J].計算機研究與發展，2004，41(7):11941199.

[6]羅述謙，李響.基于最大互信息的多模醫學圖像配準[J].中國圖象圖形學報， 2000，5（7）:551－558.

[7]HSIEH J W. Image registration using a new edgebased approach[J]. Computer Vision and Image Understanding， 1997，67(2):112130.

[8]YANG Dan， GEYongxin， ZHANG Xiaohong. A new method for image registration based on alignment metric of edge feature points[C]//Proc of the 6th International Progress on Wavelet Analysis and Active Media Technology. 2005:894－899.

[9]楊丹，張小洪. 基于小波多尺度積的邊緣檢測算法[J].計算機科學， 2004，31(1):133135.

[10]PLUIM J P W， MAINTZ J B A， VIERGEVER M A. Interpolation artifacts in mutual information based image registration[J]. Computer Vision and Image Understanding，2000，77(2):211－232.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”