視差約束的改進(jìn)Hough變換多光譜影像匹配方法

趙寶瑋,相里斌,黃 旻,呂群波,張桂峰

(1.西安電子科技大學(xué)物理與光電工程學(xué)院,陜西西安 710071；2.中國(guó)科學(xué)院光電研究院,北京 100094)

視差約束的改進(jìn)Hough變換多光譜影像匹配方法

趙寶瑋1,2,相里斌1,2,黃 旻2,呂群波2,張桂峰2

(1.西安電子科技大學(xué)物理與光電工程學(xué)院,陜西西安 710071；2.中國(guó)科學(xué)院光電研究院,北京 100094)

針對(duì)機(jī)載濾光片型多光譜相機(jī)影像配準(zhǔn)中同一目標(biāo)在不同譜段表現(xiàn)的特征各不相同以及不同譜段圖像存在較大灰度差異等問(wèn)題,提出了視差約束的改進(jìn)Hough變換多光譜影像匹配方法.該方法使用金子塔影像匹配策略,頂層金字塔影像通過(guò)尺度不變特征轉(zhuǎn)換算子進(jìn)行匹配來(lái)提供初始的視差約束條件,其他各層金字塔左右影像利用改進(jìn)Hough變換影像方法進(jìn)行匹配,匹配過(guò)程中利用上層匹配結(jié)果為當(dāng)前層影像匹配提供視差約束條件,提高匹配速度及可靠性.通過(guò)對(duì)兩幅1 415×1 415像素的機(jī)載多光譜飛行影像數(shù)據(jù)進(jìn)行匹配,該方法僅耗時(shí)7.8 s,配準(zhǔn)精度能夠達(dá)到0.65個(gè)像素.

金字塔方法;多光譜;改進(jìn)的Hough變換;遞進(jìn)影像匹配

濾光片型多光譜相機(jī)是通過(guò)窄帶干涉濾光片分光,經(jīng)過(guò)平臺(tái)推掃在不同時(shí)刻獲得同一目標(biāo)的不同譜段圖像[1],可通過(guò)數(shù)據(jù)處理的方法進(jìn)行圖像拼接及配準(zhǔn),得到光譜數(shù)據(jù)立方體（如圖1).機(jī)載濾光片型多光譜相機(jī)由于飛機(jī)平臺(tái)晃動(dòng)及外界光照狀況變化,往往造成同一目標(biāo)在不同譜段有較大的灰度及特征差異,加上光學(xué)系統(tǒng)和機(jī)械結(jié)構(gòu)也會(huì)產(chǎn)生誤差[2],因此,多光譜影像的拼接與配準(zhǔn)需利用影像匹配獲取同名點(diǎn)[3].依據(jù)特征提取方法的不同,影像匹配方法通常可分為基于區(qū)域的匹配方法和基于特征的匹配方法[4].基于區(qū)域的匹配方法主要是基于圖像間的灰度相關(guān)性,不適合重疊區(qū)域波段不相同的機(jī)載多光譜圖像的自動(dòng)匹配;基于特征的匹配方法適用于灰度相關(guān)性較弱的多光譜影像,它提取影像中對(duì)灰度變換、縮放、旋轉(zhuǎn)、比例具有不變性的特征,且提取可在空間域內(nèi)進(jìn)行,也可在變換域內(nèi)進(jìn)行,常用的如尺度不變特征轉(zhuǎn)換（Scale-Invariant Feature Transform,SIFT)方法,但是,這類(lèi)方法的時(shí)間效率不高.基于互信息（Mutual Information,MI)和基于歸一化互信息（Normalized Mutual Information,NMI)的匹配方法[5]被廣泛應(yīng)用于影像匹配領(lǐng)域.然而對(duì)于多光譜圖像匹配,采用互信息和歸一化互信息往往無(wú)法取得和單模影像匹配一樣好的效果,其匹配會(huì)因?yàn)楫a(chǎn)生局部極值而造成誤匹配.筆者提出視差約束的改進(jìn)Hough變換多光譜影像匹配方法,將待配準(zhǔn)的兩幅多光譜影像分別經(jīng)向下采樣生成兩組對(duì)應(yīng)的n層金字塔影像,遞進(jìn)計(jì)算左右影像間各層的變換參數(shù)及提取同名點(diǎn).其中,金字塔頂層的左右兩幅影像利用SIFT匹配方法計(jì)算其幾何變換參數(shù)及姿態(tài)參數(shù),其他各層金字塔左右影像利用改進(jìn)Hough變換影像匹配方法完成,匹配時(shí)姿態(tài)的初始值為上層計(jì)算得到的姿態(tài)值,同時(shí)將上層計(jì)算得到的影像幾何變換關(guān)系用來(lái)確定當(dāng)前層視差范圍,以此范圍約束當(dāng)前層影像的匹配,提高匹配速度及可靠性.

圖1 濾光片型多光譜相機(jī)單波段圖像合成過(guò)程圖

1 改進(jìn)Hough變換的影像匹配

多光譜影像匹配時(shí),相鄰影像重疊區(qū)域波段可能不同,因此,利用基于灰度相關(guān)的影像匹配可能失敗.而Hough變換的影像匹配方法利用統(tǒng)計(jì)方法及大數(shù)理論來(lái)實(shí)現(xiàn)匹配,無(wú)需借助影像的灰度信息,適合多光譜影像匹配要求.匹配時(shí)首先利用特征提取算子提取左右影像上的特征點(diǎn),接著將這些特征點(diǎn)形成多對(duì)同名點(diǎn),然后利用這些同名點(diǎn)對(duì)計(jì)算多組影像間相對(duì)變換參數(shù),同時(shí)統(tǒng)計(jì)每組相對(duì)變換參數(shù)對(duì)應(yīng)同名點(diǎn)對(duì)個(gè)數(shù).依據(jù)大數(shù)理論,選取對(duì)應(yīng)同名點(diǎn)個(gè)數(shù)最多的那組變換參數(shù)作為這兩張影像間的變化參數(shù),并由此確定兩張影像的同名點(diǎn).

Hough變換方法所用到的兩張影像間變換關(guān)系為相對(duì)幾何關(guān)系,其數(shù)學(xué)模型為兩張影像的獨(dú)立相對(duì)定向模型[6],即

因?yàn)棣?=0,因此將獨(dú)立相對(duì)定向模型按泰勒級(jí)數(shù)展開(kāi),則有

其中,F0為利用姿態(tài)元素的近似值分別代入定向模型中求得的F的近似值,即為改進(jìn)Hough變換影像匹配的誤差模型.

式（2)中有5個(gè)未知數(shù),當(dāng)利用Hough變換進(jìn)行影像匹配時(shí),需開(kāi)辟一個(gè)五維數(shù)組統(tǒng)計(jì)參數(shù)組對(duì)應(yīng)的同名點(diǎn)對(duì)個(gè)數(shù).考慮到原始方法的實(shí)現(xiàn)對(duì)時(shí)間及內(nèi)存空間的要求都非常高,實(shí)際應(yīng)用時(shí)需要對(duì)原始方法進(jìn)行改進(jìn).

如圖2所示,將兩種影像重疊區(qū)域分為6個(gè)區(qū)域,6個(gè)區(qū)域的序號(hào)分別定義為:左列由上到下分別為1、2、3,右列從上到下分別為4、5、6.每個(gè)區(qū)域?qū)?yīng)1個(gè)姿態(tài)參數(shù),每個(gè)區(qū)域內(nèi)同名像點(diǎn)只與該區(qū)域?qū)?yīng)的姿態(tài)參數(shù)相關(guān).即該區(qū)域中左影像某一特征點(diǎn)對(duì)應(yīng)右影像上同名點(diǎn)位置的改變只會(huì)改變?cè)搮^(qū)域?qū)?yīng)的姿態(tài)參數(shù),不會(huì)影響其他姿態(tài)參數(shù).如此一來(lái),統(tǒng)計(jì)時(shí)就可以將五維數(shù)組簡(jiǎn)化為一維數(shù)組進(jìn)行統(tǒng)計(jì).利用迭代方法,每次只處理1個(gè)區(qū)域內(nèi)的點(diǎn)及其對(duì)應(yīng)的姿態(tài)參數(shù).

圖2 兩張多光譜影像重疊區(qū)域劃分

利用改進(jìn)Hough變換確定同名點(diǎn)對(duì)的具體操作方法主要包含以下幾個(gè)步驟:

（1)給定5個(gè)姿態(tài)參數(shù)的初始值（除ω1外)及取值區(qū)域大小.

（2)利用特征點(diǎn)提取方法提取左右兩幅影像上的特征點(diǎn).一般利用Harris角點(diǎn)提取方法進(jìn)行提取.

（3)利用迭代方法計(jì)算影像間變換參數(shù).按照以下步驟依次處理除第5個(gè)區(qū)域外其他5個(gè)標(biāo)準(zhǔn)區(qū)域的特征點(diǎn):

①選取標(biāo)準(zhǔn)區(qū)域1,其對(duì)應(yīng)參數(shù)為φ2.

② 以φ2初始值為中心確定一個(gè)取值范圍,將該范圍內(nèi)值離散化,并開(kāi)辟一個(gè)數(shù)組,數(shù)組元素個(gè)數(shù)與離散化后值的個(gè)數(shù)一致,初始化數(shù)組元素值為0.

③依次取區(qū)域中左影像上每一特征點(diǎn),將該點(diǎn)與右影像上的所有可能特征點(diǎn)形成同名點(diǎn)對(duì),并利用式（2)計(jì)算姿態(tài)參數(shù)φ2的值（其他值認(rèn)為是常值).將該值對(duì)應(yīng)數(shù)組元素值加1.

④ 處理完標(biāo)準(zhǔn)區(qū)域1內(nèi)所有特征點(diǎn)后,將統(tǒng)計(jì)數(shù)組中元素值最大對(duì)應(yīng)的參數(shù)值作為該區(qū)域?qū)?yīng)姿態(tài)參數(shù)的值,修改該參數(shù)對(duì)應(yīng)的初始值.

⑤處理下一個(gè)標(biāo)準(zhǔn)區(qū)域,如果全部處理完,則檢查每個(gè)參數(shù)的變化值.若其改變均小于閾值時(shí),則匹配完成;否則,重復(fù)第（3)步.

（4)記錄選取的姿態(tài)參數(shù)對(duì)應(yīng)的同名點(diǎn)對(duì)為影像匹配結(jié)果.

2 視差約束的改進(jìn)Hough變換多光譜影像匹配方法

多光譜的像幅較大,兩張影像上提取的同名點(diǎn)較多,利用改進(jìn)Hough變換進(jìn)行匹配時(shí)耗時(shí)較多.這是因?yàn)榇_定左片某特征點(diǎn)在右片的候選同名點(diǎn)時(shí),一般將右片上所有點(diǎn)或某個(gè)較大區(qū)域的點(diǎn)均作為候選同名點(diǎn).考慮到將候選同名點(diǎn)約束在某個(gè)較小范圍內(nèi)時(shí),可顯著提高方法執(zhí)行效率及可靠性,這里將借助影像間粗略幾何變換關(guān)系,確定同名點(diǎn)的視差范圍,以此約束影像匹配.

2.1 視差范圍確定

影像間的幾何變換關(guān)系可用投影變換模型進(jìn)行表示,若同名點(diǎn)對(duì)在左右影像上的坐標(biāo)分別為（u,v)及（x,y),則可以表示為

若已知兩幅影像間的粗略幾何關(guān)系（即變換參數(shù)),則利用式（3)可以確定左片特征點(diǎn)（x,y)在右片上的初始位置（u,v),以此為中心在右片上形成一個(gè)矩形區(qū)域（長(zhǎng)寬分別為w和h),認(rèn)為該特征點(diǎn)對(duì)應(yīng)的同名點(diǎn)在此矩形區(qū)域內(nèi).由此,可計(jì)算得到左右視差范圍.在改進(jìn)Hough變換進(jìn)行匹配方法中,確定左片某一特征點(diǎn)在右片的候選同名點(diǎn)時(shí),遍歷右片上所有特征點(diǎn),將與該點(diǎn)的視差在范圍內(nèi)的右片特征點(diǎn)作為該點(diǎn)的候選同名點(diǎn).

2.2 視差約束的改進(jìn)Hough變換多光譜影像匹配方法

因?yàn)橐暡罘秶拇_定利用了影像間的粗略幾何變換關(guān)系,為獲取初始的影像幾何變換關(guān)系,這里將采用金字塔影像匹配策略及頂層金字塔影像的SIFT影像匹配方法,即首先生成金字塔影像,最頂層影像利用SIFT影像匹配獲取同名點(diǎn),利用匹配結(jié)果得到初始的影像幾何變換關(guān)系.其他各層的粗略幾何變換關(guān)系可利用上一層影像的匹配結(jié)果計(jì)算得到.

因此,視差約束的改進(jìn)Hough變換多光譜影像匹配方法包括以下幾個(gè)步驟:

（1)金子塔影像的建立.形成影像金字塔的過(guò)程主要是通過(guò)對(duì)影像進(jìn)行低通濾波得到的[7],綜合影像金字塔構(gòu)建方法對(duì)匹配效率及精度的影響,這里采用領(lǐng)域平均濾波方法形成金字塔影像.

（2)頂層影像匹配及初始參數(shù)計(jì)算.SIFT算子是一種尺度不變的特征算子[8],可用于多光譜影像的匹配.利用該算子進(jìn)行頂層金字塔影像匹配時(shí),首先提取頂層金字塔左右兩張影像上的SIFT特征算子,然后將左右影像上的特征點(diǎn)進(jìn)行匹配,得到一組同名點(diǎn).得到的匹配結(jié)果中可能存在錯(cuò)誤匹配點(diǎn),為剔除這些點(diǎn),可使用隨機(jī)抽樣一致方法（RANdom SAmple Consensus,RANSAC)[9-10],剩下的同名點(diǎn)即為頂層影像的同名點(diǎn).利用得到的同名點(diǎn),按式（3)計(jì)算頂層影像的幾何變換參數(shù),按照式（2)計(jì)算該層影像的姿態(tài)參數(shù).

（3)其他各層影像匹配.首先利用Harris角點(diǎn)提取兩張影像的特征點(diǎn),然后利用上層計(jì)算得到的幾何變換參數(shù)計(jì)算每個(gè)特征點(diǎn)視差范圍以及當(dāng)前層的初始姿態(tài)參數(shù),并結(jié)合改進(jìn)Hough變換匹配法提取同名點(diǎn).提取完同名點(diǎn)后,利用式（3)及式（2)分別計(jì)算當(dāng)前層的幾何變換參數(shù)及姿態(tài)參數(shù).

①視差約束:利用改進(jìn)Hough變換法提取同名點(diǎn)時(shí),將視差范圍加入匹配過(guò)程中用以約束匹配.即對(duì)于左片的任一特征點(diǎn),其在右片的候選特征點(diǎn)的視差必須在對(duì)應(yīng)的視差范圍內(nèi),而視差范圍的計(jì)算則利用當(dāng)前層影像間的粗略幾何變換關(guān)系,該關(guān)系利用上一層幾何變換關(guān)系得到,具體公式為

②姿態(tài)初始值確定:利用改進(jìn)Hough變換進(jìn)行影像匹配時(shí),需要確定姿態(tài)的取值范圍,這里將利用上一層計(jì)算的姿態(tài)參數(shù)予以確定,具體計(jì)算公式為

（4)粗差提出.完成所有層匹配后,將底層所得的同名點(diǎn)作為原始影像的匹配結(jié)果,為提高匹配精度及可靠性,使用RANSAC方法剔除所得結(jié)果中的錯(cuò)誤匹配點(diǎn).

3 實(shí)驗(yàn)結(jié)果及評(píng)價(jià)

圖3 480 nm譜段影像

圖4 920 nm譜段影像

圖5 合成偽彩色影像

考慮金字塔影像構(gòu)建方法對(duì)匹配效率及精度的影響,在實(shí)驗(yàn)中設(shè)置金字塔下采樣的行與列倍數(shù)均為3,頂層影像的長(zhǎng)寬設(shè)置在350到400之間.將上述方法在配有Intel Core 2.33 GHz處理器和2 GB內(nèi)存的PC機(jī)編程實(shí)現(xiàn),并對(duì)某機(jī)載八譜段濾光片型多光譜相機(jī)影像數(shù)據(jù)進(jìn)行處理.圖3和圖4分別為該多光譜相機(jī)480 nm和920 nm譜段對(duì)應(yīng)影像中截取的1 415×1 415分辨率影像.圖5為以480 nm譜段為參考影像,經(jīng)過(guò)方法匹配720 nm和920 nm影像后得到的偽彩色影像.為評(píng)價(jià)該方法對(duì)多光譜影像的匹配精度,提出了一種計(jì)算方法,即在兩幅匹配完成的多光譜影像中選取多個(gè)特征點(diǎn)對(duì),將圖像放大至亞像素級(jí)別,分別測(cè)量各特征點(diǎn)對(duì)之間的距離,設(shè)為d1,d2,d3,…,dn,計(jì)算該組數(shù)據(jù)的均方根誤差值即為匹配精度.表1為文中方法與圖像分割SIFT方法（Image Segmentation and SIFT,IS-SIFT)[11],同步擾動(dòng)隨機(jī)逼近方法（Simultaneous Perturbation Stochastic Approximation,SPSA)[12]等對(duì)上述影像進(jìn)行匹配時(shí)運(yùn)行時(shí)間及匹配精度的對(duì)比.從表1能夠看出,該改進(jìn)方法的處理速度快、精度較高及可靠性較高.

表1 文中方法與IS-SIFT、SPSA等方法的運(yùn)行時(shí)間及匹配精度

4 結(jié)束語(yǔ)

針對(duì)機(jī)載濾光片型多光譜影像提出了一種視差約束的改進(jìn)Hough變換多光譜影像匹配方法.在該方法中,首先將原始影像生成金字塔影像;然后對(duì)頂層金字塔影像采用SIFT匹配方法進(jìn)行粗略匹配,得到頂層金字塔影像間的幾何變換參數(shù)和姿態(tài)參數(shù);接著依次進(jìn)行各層影像間的匹配,并利用上一層同名點(diǎn)計(jì)算當(dāng)前層的視差范圍,約束當(dāng)前層特征點(diǎn)間的匹配,提高了方法的計(jì)算效率和可靠性.實(shí)驗(yàn)結(jié)果表明,該方法匹配實(shí)時(shí)性強(qiáng),精度能夠達(dá)到0.65像素,能滿(mǎn)足機(jī)載濾光片型多光譜相機(jī)數(shù)據(jù)配準(zhǔn)及拼接要求.

[1] 徐曉軒,林海波,俞鋼,等.小型線(xiàn)形可變?yōu)V光片分光的可見(jiàn)成像光譜儀及其特性研究[J].光譜學(xué)與光譜分析,2002,22(5):714. Xu Xiaoxuan,Lin Haibo,Yu Gang,et al.Reseatch of Image Spectrometer Using Linear Variable Interference Filter[J]. Spectroscopy and Spectral Analysis,2002,22(5):714.

[2]Darren T,Arko L,Zbyněk M,et al.Spatial Co-registration of Ultra-high Resolution Visible,Multispectral and Thermal Images Acquired with a Micro-UAV over Antarctic Moss Beds[J].Remote Sensing,2014,6(5):4003-4024.

[3]Lee I H,Choi T S.Accurate Registration Using Adaptive Block Processing for Multispectral Images[J].IEEE Transactions on Circuits And Systems for Video Technology,2013,23(9):1491-1501.

[4]ZitováB,Flusser J.Image Registration Methods:a Survey[J].Image and Vision Computing,2003,21(11):977-1000.

[5]Wang F,Vemuri B C,Rao M.Cumulative Residual Entropy,a New Measure of Information&Its Application to Image Alignment[J].Computer Vision,2003,86(1):112-114.

[6] 鐘燦.非常規(guī)航攝影像定位方法及精度評(píng)定[D].武漢:武漢大學(xué),2013.

[7]Lowe D G.Distinctive Image Features from Scale-invariant Interest Points[J].International Journal of Computer Vision,2004,60(2):91-110.

[8]Sajid S,Robert S.A Robust SIFT Descriptor for Multispectral Images[J].IEEE Signal Processing Letters,2014,21 (4):400-403.

[9]Li A L,Zhang B H.Registration Algorithm of Panchromatic and Multi-spectral Images Based on SIFT and RANSAC [C]//Symposium on Photonics and Optoelectronics.Piscataway:IEEE,2012:1-4.

[10]羅文超,劉國(guó)棟,楊海燕.SIFT和改進(jìn)的RANSAC算法在圖像配準(zhǔn)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(15): 147-149. Luo Wenchao,Liu Guodong,Yang Haiyan.Application of SIFT and Advanced RANSAC Algorithm on Image Registration[J].Computer Engineering and Applications,2013,49(15):147-149.

[11]Gon?alves H,Corte-Real L,Gon?alves J A.Automatic Image Registration through Image Segmentation and SIFT[J]. IEEE Transactions on Geoscience and Remote Sensing,2011,49(7):2589-2600.

[12]Schneider M,Suri S,Reinartz P,et al.Matching of High-resolution Optical Data to a Shaded DEM[C]//International Geoscience and Remote Sensing Symposium.Piscataway:IEEE,2009:37-40.

（編輯:齊淑娟)

Matching method for multispectral images based on improved hough transformation with disparity constraint

ZHAO Baowei1,2,XIANGLI Bin1,2,HUANG Min2,LüQunbo2,ZHANG Guifeng2
(1.School of Physics and Optoelectronic Engineering,Xidian Univ.,Xi’an 710071,China; 2.Academy of Opto-electronics,Chinese Academy of Sciences,Beijing 100094,China)

To overcome the problems of image matching caused by different charactors and the grey-level in every spectrum of the airborne filter multispectral imager for the same target,a matching method for multispectral images based on improved Hough transformation with disparity constraint is presented. Firstly,we get the N layer pyramid images of the two multispectral images for registration by downsampling,and then calculate the transformation parameters of each layer between the left and right images progressively.In this progress,the transformation parameters of the two adjacent top Pyramid images can be calculated by using the feature points extracted by the SIFT operator,and the transformation parameters of the other adjacent Pyramid images can be calculated by using the transformation parameters of their upper images and the improved Hough transformation.At the same time,the attitude parameters and the geometric transform relation calculated from the upper layer between the images can be used to improve the matching speed and reliability.By processing two airborne flight multispectral images with 1 415×1 415 pixels,this approach only takes 7.8 secends,and its registration accuracy can reach 0.65 pixels.

pyramid method;multispectral;improved Hough transformation;progressive image matching

TP751

A

1001-2400（2015)06-0094-05

10.3969/j.issn.1001-2400.2015.06.017

2014-07-13

時(shí)間:2015-03-13

國(guó)家杰出青年科學(xué)基金資助項(xiàng)目（61225024)

趙寶瑋（1983-),男,西安電子科技大學(xué)博士研究生,E-mail:zbw8200980@163.com.

http://www.cnki.net/kcms/detail/61.1076.TN.20150313.1719.017.html