基于相位一致性的異源圖像匹配方法

趙春陽，趙懷慈，趙 剛

基于相位一致性的異源圖像匹配方法

趙春陽1，2，3，趙懷慈1，2，趙 剛1，2

（1.中國科學院沈陽自動化研究所，遼寧沈陽110016；2.中國科學院光電信息處理重點實驗室，遼寧沈陽110016；3.中國科學院大學，北京100049）

異源圖像由于亮度和對比度差異較大，采用基于灰度和梯度信息的局部特征匹配方法匹配正確率較低。針對該問題，提出一種基于相位一致性和梯度方向直方圖的異源圖像匹配方法。該方法首先采用具有亮度和對比度不變性的相位一致性方法提取異源圖像特征點和邊緣圖像，并以特征點為中心，選取100×100的邊緣圖像作為特征區域，統計梯度方向直方圖，生成64維特征描述符；然后，選用歸一化相關函數作為匹配測度，采用雙點匹配方法選取一個特征點的兩個較優的候選匹配點，并采用RANSAC方法進行匹配點提純；最后，基于局部歸一化互信息方法和最優化方法進行匹配點精確定位，提高匹配精度。實驗結果表明，該方法在可見光、近紅外、中波紅外和長波紅外等異源圖像匹配中具有較好的匹配性能，平均匹配正確率高達88%，是SURF匹配方法的3.4倍。

異源圖像匹配；相位一致性；梯度方向直方圖；歸一化互相關；歸一化互信息

1 引 言

異源圖像匹配廣泛應用于醫學、遙感［1］、圖像融合、景象匹配［2］等多個領域。由于異源圖像在亮度、對比度和紋理細節上差異顯著，因此，異源圖像匹配作為一個難題，一直以來沒有有效的解決方案。

常見的圖像匹配方法主要基于灰度、邊緣或梯度信息?；诨叶鹊钠ヅ浞椒ㄖ苯踊蜷g接利用灰度信息進行匹配，如基于互信息［3］和基于自相似的匹配方法［4］?；谶吘壍姆椒ɡ肅anny等算法進行邊緣提取，采用豪斯多夫距離等進行圖像匹配［5］?；诰植刻卣鞯姆椒ńy計局部區域的梯度直方圖生成特征描述符，利用距離或相關函數作為匹配測度進行特征匹配，主要包括：尺度不變特征描述符（SIFT，Scale Invariant Feature Transform）［6］、快速魯棒特征描述符（SURF，Speeded Up Robust Features）［7］和梯度位置方向直方圖（Gradient Location Orientation Histogram，GLOH）［8］等。

上述方法存在如下瓶頸：一方面，異源圖像的灰度和梯度信息差異顯著，難以適用于異源圖像匹配；另一方面，異源圖像對比度不同，采用相同閾值的Canny算法提取的邊緣圖像細節差異顯著，應用于異源圖像匹配時性能下降明顯。

基于相位一致性邊緣提取算法［9－10］具有亮度和對比度不變性，對于異源圖像可采用同一閾值提取細節程度相同的邊緣，因此，本文采用該方法提取特征點和邊緣，利用邊緣圖像構建特征描述符，并基于局部歸一化互信息和最優化方法進行匹配點精確定位，有效實現了異源圖像的精確匹配。

2 異源圖像匹配方法

如圖1所示，異源圖像匹配方法步驟如下：

圖1 異源圖像匹配算法框圖Fig.1 Block diagram ofmatching algorithm

1）基于相位一致性的特征點和邊緣提取。采用非最大抑制算法，選取部分角點作為特征點；采用非最大抑制方法和雙閾值遲滯算法，提取邊緣圖像；

2）基于梯度方向直方圖的描述符構建。以特征點為中心，統計100×100圖像區域的梯度方向直方圖，生成特征描述符；

3）基于歸一化相關的雙點匹配。采用歸一化互相關函數作為匹配測度，結合雙點匹配方法獲取候選匹配點；

4）基于RANSAC的匹配提純。采用RANSAC方法對雙點匹配得到的候選匹配點進行匹配提純。

5）基于歸一化互信息的匹配點精確定位。在以匹配點為中心的小區域內，采用最優化和歸一化互信息方法實現匹配點精確定位。

2.1 基于相位一致性的特征點和邊緣提取

Kevesi提出了基于相位一致性的角點和邊緣檢測算法［9－10］，該方法選取6個方向和4個度的Log－Gabor小波變換，計算相位一致性測度PC（θ），得到最大矩M和最小矩m：

其中，

若像素點（x，y）處的最大矩M＞T1，則該位置為邊緣點；若像素點（x，y）處的最小矩m＞T2，則該位置為角點。其中，T1為邊緣點檢測閾值；T2為角點檢測閾值。

與Canny算法等邊緣檢測方法相比，相位一致性方法具有亮度和對比度不變性，對于異源圖像，采用相同的閾值可得到同樣穩定的角點和細節程度相當的邊緣圖像。因此，本文選取相位一致性方法進行特征點和邊緣提取。

特征點提取算法步驟如下：

1）采用相位一致性方法計算最小距m，對于任意位置（x，y），若最小矩m＞T2，則該位置為候選特征點。其中，T2為特征點檢測閾值；

2）為了提高計算效率，需要減少特征點數目。以像素點（x，y）為中心，在3×3的像素區域內，選用最小距m應用非最大抑制方法，得到最終的特征點。

如圖2所示，基于相位一致性的特征點檢測方法是一種異源圖像特征點提取的有效方法，對于對比度差異較大的異源圖像，采用相同的閾值可提取出同樣穩定的特征點。

圖2 相同閾值條件下，可見光和紅外圖像提取的特征點

如圖3所示，邊緣圖像提取具體步驟如下：

1）對于每個像素點（x，y），采用相位一致性方法計算最大矩M；

2）對于每個像素點（x，y）的最大矩M，采用非最大抑制算法與周圍3×3鄰域的最大矩M比較，保留局部最大值；

3）給定閾值T1和T2，T1＞T2，采用雙閾值遲滯算法提取邊緣。若像素點（x，y）的最大矩M＞T1，則標記為邊緣；若像素點（x，y）標記為邊緣點，并且其3×3鄰域內任一像素點的最大矩M＞T2，則也標記為邊緣點；

4）采用形態學方法提取邊緣骨架，得到邊緣圖像；

圖3 邊緣圖像生成框圖

2.2 基于梯度方向直方圖的描述符構建

對異源圖像而言，由于采用相位一致性邊緣提取方法可提取細節程度相同的邊緣圖像，因此，基于該邊緣圖像，統計梯度方向直方圖可生成近似的特征描述符。

如圖4所示，特征描述符構建具體步驟如下：

1）特征區域提取。以特征點為中心，選取100×100像素的邊緣圖像作為特征區域；

2）子區域劃分。將特征區域均分為4×4個，大小為25×25的特征子區域；

3）特征向量生成。每個子區域統計4個方向的梯度方向直方圖，16個子區域共得到64維的特征向量。

圖4 特征向量構建原理框圖

2.3 基于歸一化相關的雙點匹配

異源圖像匹配選用歸一化相關函數作為匹配測度，采用雙點匹配法得到候選匹配點，最后采用RANSAC方法進行匹配點提純。具體步驟：

1）雙點匹配法

匹配測度選用歸一化相關函數：

其中，ki和kj分別為圖像I1和I2中的2個特征向量。S（ki，kj）值越大，特征點相關程度越高。

由于異源圖像差異較大，因此，匹配測度的單一極值點不一定是正確的匹配點，造成誤匹配率提高。因此，選用雙點匹配法，即：對于圖像I1的任意一個特征點，選取圖像I2中的2個特征點作為候選匹配點。

2）匹配點提純

基于候選匹配點，采用RANSAC方法實現匹配提純，剔除外點，得到最終的匹配點對。

2.4 基于歸一化互信息的匹配點精確定位

由于邊緣提取存在一定的定位誤差，造成匹配點位置誤差。為了提高匹配點位置精度，采用在一定旋轉和平移變換參數θ范圍內，搜索使歸一化互信息MI最大的變換參數＾θ，實現匹配點精確定位：

歸一化互信息MI定義為：

如圖5所示，經過匹配點精定位后，匹配點位置精度得到明顯提高，通過實驗對比，應用匹配點精確定位算法后，匹配正確率從83%提高到94%（誤差＜3像素）。

圖5 精確定位算法效果

3 實驗結果及分析

為了驗證本文算法的有效性，選取CVC和DGP可見光－紅外圖像數據庫、LandSat7多光譜遙感數據庫進行特征匹配實驗，將本文方法與OpenSURF算法進行比較，OpenSURF算法采用系數為0.8的比例提純法，匹配誤差＜3像素視為正確匹配。

（1）CVC數據庫匹配結果

如圖6所示，采用CVC數據庫圖像，SURF算法匹配7個特征點，無正確匹配點；本文算法匹配305個匹配點，匹配正確率約為94%。實驗表明：對于CVC可見光－紅外數據庫，本文算法匹配性能顯著優于SURF算法。

（2）DGP數據庫匹配結果

如圖7所示，采用DGP數據庫圖像，SURF算法匹配21個特征點，無正確匹配點；本文算法匹配139個匹配點，匹配正確率約為95%。實驗表明：對于DGP可見光－紅外數據庫，本文算法匹配性能顯著優于SURF算法。

圖6 SURF和本文算法匹配實驗對比（CVC數據庫）

圖7 SURF和本文算法匹配實驗對比（DGP數據庫）

（3）多譜段遙感圖像匹配

如圖8所示，選用Visible Blue波段與Thermal IR波段進行匹配實驗的結果。采用SURF算法，Visible Blue與Mid IR波段圖像匹配正確率為44%，Visible Blue與Thermal IR波段匹配正確率僅為5.9%；而采用本文算法，其匹配正確率分別為98.5%和92.6%。實驗表明：對于多譜段遙感圖像，本文方法匹配性能顯著優于SURF方法，另外，對于不同的異源圖像本文方法匹配性能穩定，而對于SURF算法，當對比度和亮度差異較大時，其匹配性能下降顯著。

圖8 本文算法匹配結果（LandSat7數據庫，Visible Blue與Thermal IR波段）

選取CVC可見光－紅外數據庫的32幅圖像、DGP可見光－紅外數據庫20幅圖像和8組Land-Sat7多光譜圖像進行異源圖像匹配實驗，實驗結果如表1所示。

表1 平均匹配點數和匹配正確率Tab.1 Averagematching points and correct ratio

實驗表明：

1）對于可將光－近紅外／中波紅外／長波紅外的異源圖像匹配，本文算法的匹配性能顯著優于SURF算法，本文算法平均匹配正確率高達88%，而SURF算法僅為26%，前者是后者的3.4倍；

2）對于不同的異源圖像之間的匹配，本文算法具有穩定的、魯棒的匹配性能，而SURF算法在異源圖像對比度和亮度差異較大時（如可見光和長波紅外），其匹配性能顯著下降，甚至失效。

4 結 論

針對異源圖像特征匹配應用中，SURF等基于梯度信息的匹配方法性能較差的問題，提出了一種基于相位一致性和梯度方向直方圖的異源圖像匹配方法。該方法采用相位一致性理論提取特征點和邊緣圖像，基于邊緣圖像統計梯度方向直方圖生成特征向量。選用歸一化相關函數作為匹配測度，采用雙點匹配方法進行特征匹配，并使用RANSAC方法進行匹配提純。為了提高匹配精度，采用局部歸一化互信息和最優化方法進行匹配點精確定位。由于相位一致性方法對亮度和對比度變化不敏感，因此，本文方法對于可將光、近紅外、中波紅外和長波紅外之間的異源圖像匹配具有較好的匹配性能，平均匹配正確率高達88%，顯著優于SURF算法，該方法在醫學、遙感、圖像融合和景象匹配等方面具有較高的應用價值。

［1］ Bin Fan，Chunlei Huo，Chunhong Pan，et al.Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT［J］.IEEE Geoscience and Remote Sensing Letters，2013，10（4）：657－661.

［2］ CHEN Bing，ZHAO Yigong，LI Xin.A new approach to scene matching during electro-optical imaging terminal guidance［J］.Acta Optica Sinica，2010，30（1）：163－168.（in Chinese）

陳冰，趙亦工，李欣.一種新的光電成像末制導景象匹配方法［J］.光學學報，2010，30（1）：163－168.

［3］ HUANG Jiexian，YANG Dongtao，GONG Changlai.Research on imagematch based onmutual information entropy and regional feature［J］.Laser＆Infrared，2013，43（1）：98－103.（in Chinese）

黃杰賢，楊冬濤，龔昌來.互信息熵與區域特征結合的圖像匹配研究［J］.激光與紅外，2013，43（1）：98－103.

［4］ C Bodensteiner，W Huebner，K Juengling，et al.Local multi-modal image matching based on self-similarity［C］／／Proceedings of 2010 IEEE 17th International Conference on Image Processing，2010：937－940.

［5］ YAN Junhua，ZHU Zhichao，SUN Sijia，et al.Research on infrared and visible image registration based on multiscale［J］.Laser＆Infrared，2013，43（3）：329－333.（in Chinese）

閆鈞華，朱智超，孫思佳，等.基于多尺度紅外與可見光圖像配準研究［J］.激光與紅外，2013，43（3）：329－333.

［6］ D.Lowe.Distinctive Image Features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［7］ Bay H，Tuytelaars T.SURF：speeded up robust features［C］／／Proceeding of European Conference on Computer Vision，Berlin：Springer-Verlag，2006：404－417.

［8］ Mikolajczyk K，Schmid C.A performance evaluation of local descriptors［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615－1630.

［9］ P.Kovesi.Phase congruency：a low-level image invariant［J］.Psychological research，2000，64（2）：136－148.

［10］P.Kovesi.Phase congruency detects corners and edges［C］.The Australian Pattern Recognition Society Conference：DICTA，2003：309－318.

Heterogonous imagematching method based on phase congruency

ZHAO Chun-yang1，2，3，ZHAO Huai-ci1，2，ZHAO Gang1，2
（1.Shenyang Institute of Chinese Academy Of Sciences，Shenyang 110016，China；2.Key-Laboratory of Opto-Electronic Processing，CAS，Shenyang 110016，China；3.University of Chinese Academy of Sciences，Beijing 100049，China）

The common local featurematchingmethods based on gradienthistogram are difficult tomatch correctly due to the difference of contrast and luminance of heterogonous image.For solving this problem，the heterogonous image matchingmethod was proposed based on the phase congruency and histograms of oriented gradients.Firstly，feature points and edge image of heterogonous imageswere extracted by using phase congruencymethod which has invariance of luminance and contrast，and then the 64-dimensional feature descriptorwas generated by counting histograms of oriented gradients of squared feature areawhose size is 100×100.Secondly，formatching heterogonous image pair，normalized correlation function is selected as similaritymeasure，and two better candidatematching point pairs ofone feature pointwas first selected by using dual-point matching method，then matching point pair was purified by using RANSACmethod.Finally，the location ofmatching pointwas refined using optimization method and local normalized mutual information.The experimental results indicate that the proposed method can achieve higher performance in heterogonous imagematching，the average matching correct rate is up to 88%and is 3.4 times of SURF matching method.

heterogonous imagematching；phase congruency；histograms of oriented gradients；normalized correlation；normalized mutual information

TP391

A

10.3969／j.issn.1001-5078.2014.10.022

1001-5078（2014）10-1174-05

中國科學院光電信息處理重點實驗室開放基金項目（No.OEIP－O－201203）資助。

趙春陽（1980－），男，副研究員，博士研究生，主要從事目標跟蹤方面的研究。E-mail：zcyneu＠sia.com

2013-03-04；

2013-03-19