多模態圖像匹配的FFT梯度相關算法

咸艷霞, 胡修兵, 鄭 莉

(1.武漢科技大學 理學院, 武漢 430081; 2.武漢大學 測繪學院, 武漢 430079)

?

咸艷霞1*, 胡修兵2, 鄭 莉2

(1.武漢科技大學 理學院, 武漢 430081; 2.武漢大學 測繪學院, 武漢 430079)

多模態圖像匹配是各領域圖像匹配研究中的一個熱點和難點問題,特征的可重現探測和非線性優化搜索,分別是基于特征和基于區域的多模態圖像匹配的瓶頸問題.將灰度圖像轉換為復數域的梯度圖像,提出以復數平方圖像實現的2倍梯度差角余弦作為相似性測度,提出FFT梯度相關算法,實現了多模態圖像局部匹域的快速匹配,通過紅外與可見光圖像的匹配實驗,驗證了算法的有效性.

多模態圖像匹配; 梯度相關; 快速傅立葉變換; 共軛復數; 紅外圖像

圖像匹配主要分為基于特征和基于區域的兩類方法.基于特征的方法,通過特征描述[1]或利用特征之間的空間距離[2]或分布關系[3]進行匹配.特征匹配的優勢是可以不依賴匹配初值,允許圖像之間存在一定程度的幾何變形,而且速度較快、穩健性較好.但對于多模態圖像,特征匹配卻面臨很大挑戰.雖然出現了許多針對多模態圖像的改進算法,但這些方法一般將研究重點放在特征相似性測度的模態不變性問題上,另一個更關鍵的問題往往被忽略了,那就是特征的可重現探測問題[4].如果在兩幅圖像上探測到的特征的重現率非常低,那么特征匹配可靠性的前提就難以保證了.在基于區域的多模態圖像匹配方法中,一般采用互信息[5]、梯度[6]、自相似性[7]等作為相似性測度.這些方法在醫學、計算機視覺和遙感等領域都有成功的應用,但計算量大和局部極值等問題還很難克服.

本文提出結合FFT(快速傅立葉變換)的梯度相關算法,屬于區域匹配的類型,所以不必受限于特征提取的效果.區域匹配的主要限制是對圖像幾何變形的適應性較差,好在許多應用場合圖像之間的攝影姿態關系是已知的,因此整體的圖像變形是可以糾正的.糾正以后匹配的搜索空間是二維平移變換,通過將FFT與改進的梯度相關算法結合,速度顯著提高,因此可以采用窮盡搜索,從而無需采用非線性優化算法而不受局部極值的影響.必要時還可以在局部匹配的基礎上,對圖像進行更高精度的幾何糾正,再進行匹配以獲取更高的匹配精度.

1 基于梯度差角余弦的匹配測度

由于多模態圖像灰度特性的非線性改變,灰度相關已不能適用,利用梯度信息是多模態圖像匹配的重要方法之一.梯度的幅值會因灰度特性差異而發生改變,而梯度的方向則有較好的穩定性.

匹配測度可以看作概率估計問題.在某種基于梯度的匹配測度下,如果匹配區域的梯度全部為0(無任何結構信息)時的測度值為0,則兩塊無關區域(結構無關)的匹配測度值的概率期望值也應該為0,這樣的估計才是無偏的.兩個單位向量的內積即等于差角的余弦,文獻[6]以歸一化梯度的內積平方和最小作為匹配測度,避免了煩瑣的三角函數計算,但余弦函數平方的概率估計為1/2,其估計是有偏的.文獻[8]采用了內積與外積的絕對值之差作為改進的匹配測度,是一種無偏估計,但這兩種方法都無法結合FFT快速算法.由于梯度信息主要分布在邊緣附近,因此梯度匹配的拉入范圍較其它區域匹配方法的拉入范圍更窄,因此要求有較好的匹配初值并依賴非線性全局優化算法.所以其匹配效率與常用的互信息方法相比并沒有明顯優勢.文獻[9]將梯度角度當作灰度來構造圖像,借用FFT灰度相關算法實現多模態圖像的快速匹配,但由于角度是周期性的,盡管采用了“準梯度”來修正其影響,但是在模型上依然是不嚴謹的.

對于單模態圖像,余弦函數是利用梯度方向評價匹配相似性的一種理想測度.如圖1所示,其中θ′是對應點梯度方向角之差,余弦函數是偶對稱的,且概率期望值為0,這些性質很適于評價梯度方向的差異程度.

圖1 單模態圖像的梯度方向余弦測度Fig.1 Cosine measure of monomode image gradient

多模態圖像之間的對比度反轉是不確定的(例如圖5可見光與紅外圖像的灰度對比關系).所以梯度方向相同和方向相反的情況,對匹配測度評價都應該是正貢獻的[8].

圖像的梯度可以用復數表示,通過求取垂直和水平兩個方向的梯度再組合而成,復數還可以表示成幅度(模)和角度的形式,分別表示梯度的強度和方向:

c=x+yi=reiθ=rcosθ+i·rsinθ.

(1)

本文提出的方法是先求取復梯度平方圖像,因為單位復數的平方的結果即為方向角加倍,即

c1·c2=r1eiθ1·r2eiθ2=(r1·r2)·ei(θ1+θ2).

(2)

角度加倍后,余弦函數的周期減半,以其作為匹配測度在模型上更貼近多模態圖像匹配的特點(如圖2).

圖2 多模態圖像的梯度方向余弦測度Fig.2 Cosine measure of multimode image gradient

2倍角余弦的概率期望值也為0,以其作為多模態圖像匹配測度估計具有無偏性.通過復數平方運算方便地實現了2倍角余弦計算,結合FFT頻域處理技術,可以快速實現多模態圖像的局部區域匹配.

2 結合FFT的梯度相關算法

空間域復雜的相關或卷積運算,可以轉換為頻率域的簡單乘法運算,而空間域與頻率域的轉換又可以用FFT快速實現,利用頻域變換處理圖像區域匹配可以實現數量級意義上的效率提升[9-10].

兩個復數共軛相乘的結果即為幅度相乘、角度相減,而復數的實部和虛部分別為復向量的余弦分量和正弦分量.所以復數共軛乘積的實部即為:

(3)

3 圖像的投影糾正處理

將圖像糾正處理為與基準圖像相同的拍攝角度,一方面增強圖像區域之間的可匹配性,另一方面可以降低匹配搜索的維度,便于結合頻域處理算法,以提高匹配效率.

如圖3所示,目標場景和攝影中心不變,僅轉動相機的攝影方向.由于在物方空間坐標系下,糾正前后的像點位置、攝影中心、和目標點4點是共線的,投影糾正處理就相當于對原影像點(x,y,-f)T重新拍攝成像.設旋轉矩陣為:

圖3 投影糾正處理中的像點坐標變換關系Fig.3 Image coordinate transformation of perspective correction processing

由共線方程[11]就可以得到攝影糾正的坐標轉換公式:

(4)

其中,F是基準圖像的焦距,因此糾正后圖像與基準圖像有相同的縮放比例.

綜上所述,本文提出的FFT梯度相關算法的流程如圖4所示.

圖4 多模態圖像匹配的FFT梯度相關算法Fig.4 The FFT gradient correlation algorithm for multimodal image matching

4 實驗與分析

實驗圖像是從同一地點拍攝的可見光和紅外圖像(圖5),大小分別為2400×3200和512×640像素,攝影方向基本一致,無需做投影糾正處理,幾何關系近似為相似變換.

4.1 整體匹配實驗

由攝影焦距和像素大小,可以估算出兩幅圖像的縮放比例約為0.45,經過縮放調整再匹配應該能找到紅外圖像對應于可見光圖像中的位置.

圖5 同一地點拍攝的紅外與可見光圖像Fig.5 Visible and IR images acquired from the same position

利用Matlab實現本文提出的FFT梯度相關算法,解得位移參數,兩幅圖像套合的效果如圖6左所示.由于拍攝時圖像之間有微小旋轉,并且縮放比例估計得也不夠精確,所以套合的效果還不夠理想.

圖6 圖像糾正前、后匹配套合的效果圖Fig.6 Renderings of nested images before and after the rectifications respectively

將紅外圖像等分成4塊,分別與可見光圖像匹配,得到4塊子圖像的位移參數.由任意兩塊子圖像的位移量就可以解算出相似變換參數,分別采用兩個對角方向的兩對子圖像解算,再取平均值,得到更精確的旋轉角0.755度和縮放比0.442,對可見光圖像糾正后,再匹配的套合效果如圖6右所示.

圖7為圖像糾正前、后的梯度相關測度值的分布圖,峰值分別為0.081和0.178,從圖中還可以看出糾正以后匹配峰值的顯著性更好.經過測試,本文方法對圖像旋轉的適應能力達3度以上,如果未糾正的圖像旋轉角度較大,可以以5度為步長對模板進行旋轉重采樣,仍次進行快速匹配,取匹配測度的最大值即可,僅需要匹配兩對同名點,就可以較精確地糾正圖像的旋轉變形.

圖7 圖像糾正前、后匹配測度值的分布圖Fig.7 Renderings of similarity measures before and after the rectifications respectively

4.2 局部匹配性能實驗

由于采用了FFT快速算法,上述整幅圖像的匹配時間在Matlab平臺上僅需要0.7s,否則匹配時間則需要十幾到幾十min.對于局部匹配,由于圖像之間存在大量的相似結構,匹配窗口過小時,非匹配位置也可能出現較大的測度值,給匹配搜索帶來困難.實驗采用不同大小的局部匹配窗口,比較FFT梯度相關與互信息方法[5]的匹配性能.為了減少實驗計算量,將匹配搜索的范圍限定在理想匹配位置周圍50像素的移動范圍內(事實上采用FFT算法時,搜索范圍對計算量沒有任何影響,完全可以對整幅圖像窮盡搜索).

如圖8所示,窗口大小為60×60時,采用互信息測度無法找到正確的匹配位置,而梯度相關的匹配峰值雖然也不太明顯,但匹配位置的測度值仍然是全局最大值,是能夠確定的.

如圖9所示,當窗口大小增加到90×90時,兩種匹配測度都是有效的,顯然梯度相關測度的顯著性更好.

圖8 窗口60×60,互信息與梯度相關的匹配測度值Fig.8 Similarity measures of MI and gradient correlation respectively with 60×60 window size

圖9 窗口90×90,互信息與梯度相關的匹配測度值Fig.9 Similarity measures of MI and gradient correlation respectively with 60×60 window Size

表1列出了采用互信息方法以及本文提出的梯度相關和FFT梯度相關算法的局部匹配耗時情況,顯然本文算法的計算效率有明顯的優勢.

表1 不同方法的局部匹配耗時

5 結論與展望

將實數域灰度圖像轉換為復數域的梯度圖像,以復數平方運算實現的2倍角余弦作為多模態圖像匹配測度的無偏估計,由灰度相關頻域快速算法發展到多模態圖像的梯度相關頻域快速算法.實驗證明本文提出的FFT梯度相關算法在精度、速度和可靠性等方面較傳統方法都有顯著提升.下一步可能研究的方向是梯度場的穩健估計和子像素級精度多模態圖像匹配的快速算法.

[1]MIKOLAJCAYKK,SCHMIDC.Aperformanceevaluationoflocaldescriptors[J].PatternAnalysisandMachineIntelligence,IEEETransactionson, 2005, 27(10):1615-1630.

[2]SHAPIROLS,MICHAELBJ.Feature-basedcorrespondence:aneigenvectorapproach[J].ImageandVisionComputing, 1992, 10(5):283-288.

[3]MYRONENKOA,SONGX.Pointsetregistration:Coherentpointdrift[J].PatternAnalysisandMachineIntelligence,IEEETransactionson, 2010, 32(12):2262-2275.

[4]KELMANA,SOFKAM,STEWARTCV.Keypointdescriptorsformatchingacrossmultipleimagemodalitiesandnon-linearintensityvariations[C]//ComputerVisionandPatternRecognition,IEEEConferenceon, 2007:1-7.

[5]MAESF.Multimodalityimageregistrationbymaximizationofmutualinformation[J].MedicalImaging,IEEETransactionson, 1997, 16(2):187-198.

[6]HABERE,MODERSITZKIJ.Intensitygradientbasedregistrationandfusionofmulti-modalimages[J].MethodsofInformationinMedicine, 2007, 46(3):292-299.

[7]HEINRICHMP.MIND:Modalityindependentneighbourhooddescriptorformulti-modaldeformableregistration[J].MedicalImageAnalysis, 2012, 16(7):1423-1435.

[8] 閆 利. 胡修兵,陳長軍,等.多模態圖像配準的梯度一致性算子[J]. 武漢大學學報(信息科學版), 2013, 38(8):969-972.

[9]WONGA,BISHOPW,ORCHARDJ.Efficientmulti-modalleast-squaresalignmentofmedicalimagesusingquasi-orientationmaps[C].IPCV, 2006:74-86.

[10]REDDYBS,CHATTERJIBN.AnFFT-basedtechniquefortranslation,rotation,andscale-invariantimageregistration[J].ImageProcessing,IEEETransactionson, 1996, 5(8):1266-1271.

[11] 張劍清, 潘 勵, 王樹根. 攝影測量學[M]. 武漢:武漢大學出版社,2009.

An FFT gradient correlation algorithm for multimodal image matching

XIAN Yanxia1, HU Xiubing2, ZHENG Li2

(1.School of Science, Wuhan University of Science and Technology, Wuhan 430081;2.School of Geodesy and Geomatics, Wuhan University, Wuhan 430079)

Multimodal image matching is a hot and difficult issue in various image matching research fields. The reproducible detection of features and nonlinear optimization are bottlenecks of the feature-based and area-based image matching methods, respectively. The images are converted from grayscale to gradient domain in complex field, and the similarity measure of Double-angled cosine is desinged base on the squared gradient orientation image. Thus, the FFT gradient correlation algorithm is proposed to match multimodal images rapidly.

multimodal image matching; gradient correlation; FFT; conjugate complex; infrared image

2015-03-20.

國家自然科學基金項目(41001309).

1000-1190(2015)06-0838-05

TP391.41

A

*E-mail: whu2014@qq.com.