多尺度自卷積變換與MSER組合的影像匹配方法研究

吉長(zhǎng)東,沈曉剛

(遼寧工程技術(shù)大學(xué) 測(cè)繪與地理科學(xué)學(xué)院，遼寧 阜新 123000)

影像特征提取與匹配技術(shù)作為計(jì)算機(jī)視覺(jué)研究的核心技術(shù)之一，一直以來(lái)就是相關(guān)行業(yè)的重點(diǎn)研究方向。在數(shù)字圖像的處理中，許多關(guān)鍵問(wèn)題例如圖像的分類、檢索、目標(biāo)跟蹤、恢復(fù)、重建等都可以歸結(jié)為影像的本質(zhì)特征提取問(wèn)題，在特征提取完畢之后，則是進(jìn)行同名影像的匹配，影像匹配技術(shù)是攝影測(cè)量中自動(dòng)空中三角測(cè)量的基礎(chǔ)，數(shù)字表面模型(DSM)、數(shù)字高程模型(DEM)、數(shù)字正射影像(DOM)，影像的拼接等也需要影像匹配技術(shù)的支持;乃至后續(xù)的空間數(shù)據(jù)產(chǎn)品的生產(chǎn)都是與影像匹配技術(shù)息息相關(guān)的。而影像匹配技術(shù)的大力發(fā)展，也使得以影像數(shù)據(jù)為基礎(chǔ)的各類技術(shù)手段能夠在應(yīng)急指揮、國(guó)土安全、智慧城市、數(shù)字城市等方面均有廣泛應(yīng)用[1-3]。

最大穩(wěn)定極值區(qū)域(Maximally Stable Extremal Regions,MSER)，在局部特征提取中，常常用來(lái)檢測(cè)影像中的斑點(diǎn)區(qū)域，由J.Matas等學(xué)者于2002年提出[4]。該算法思想原理簡(jiǎn)單，提取出的特征區(qū)域具有很強(qiáng)的穩(wěn)定性，并且不需要提前對(duì)影像進(jìn)行任何處理就可以同時(shí)檢測(cè)出具有不同尺度的特征區(qū)域。周鵬飛等人利用卷積神經(jīng)網(wǎng)絡(luò)提取文本影像中的多特征，與MSER算法進(jìn)行融合，使得文本定位的準(zhǔn)確率大大提高[5]。針對(duì)有些特征區(qū)域顯著性不強(qiáng)的問(wèn)題，T.Tuytelaars等研究人員對(duì)MSER提取的橢圓擬合局部特征區(qū)域做出一定程度的擴(kuò)增，這使得極值區(qū)域的特征顯著性明顯增強(qiáng)，有效提升匹配的精準(zhǔn)度[6-7]。但當(dāng)影像仿射變化加劇時(shí)，該算法的匹配性能也會(huì)急劇下降。

多尺度自卷積變換(Multi-Scale Auto-convolution，MSA)是一種基于不變矩的特征提取算法[9]，它以多尺度理論為基礎(chǔ)，將概率統(tǒng)計(jì)學(xué)的思想與仿射變換相結(jié)合，可以實(shí)現(xiàn)多尺度的特征提取，這些特征向量均具有一定的仿射不變性。黃波[10-11]等人在研究全局的仿射不變特征研究中利用MSA算法構(gòu)建出的關(guān)于多尺度自卷積的歸一化直方圖的特征提取方法，并在計(jì)算運(yùn)行方面利用最小基準(zhǔn)變換減少算法中關(guān)于傅里葉變換的計(jì)算次數(shù)，有效的提升了MSA算法的效率。張潔玉[12]則構(gòu)造出多尺度自卷積熵(MSAE)，與MSA變換進(jìn)行特征向量融合，作用于局部特征區(qū)域，描述符的辨識(shí)率有極大的提高。但該類方法的不足在于一個(gè)尺度變化只能提取相對(duì)應(yīng)的一個(gè)特征，這容易導(dǎo)致特征尺度集過(guò)于龐大且計(jì)算量巨大。基于此，提出一種將改進(jìn)的MSA算法作為特征描述符，與MSER特征區(qū)域相融合的影像局部匹配算法，并選用兩組影像進(jìn)行算法的可行性驗(yàn)證與分析。

1 MSER局部特征區(qū)域檢測(cè)與篩選

1.1 MSER基本原理與組合算法流程

受分水嶺概念思想的啟發(fā)，即在自然地形中有高低不平的地勢(shì)地貌，而影像也因每個(gè)像元的灰度值的不同類似于地勢(shì)不一樣的地形，當(dāng)有水注入的時(shí)候地勢(shì)較低的地方就會(huì)形成水洼，當(dāng)水繼續(xù)注入而水洼的水面大小不再變化時(shí)，這個(gè)水洼被認(rèn)為是一個(gè)區(qū)域不變的地方，算法原理如圖1所示。

圖1 MSER算法示意圖

MSER算法將其運(yùn)用到影像特征檢測(cè)上，將原影像進(jìn)行二值化，影像灰度值在0～255內(nèi)連續(xù)增加或者減少時(shí)，在定義的閾值范圍內(nèi)如果連通區(qū)域的面積不再有明顯的變化，則認(rèn)為該區(qū)域是局部特征不變區(qū)域。但MSER算法與分水嶺的分割思想還是有所區(qū)別的，分水嶺算法在做影像分割時(shí)其閾值是在不斷改變的，這將導(dǎo)致它得出的連通域面積會(huì)實(shí)時(shí)變化，變化也是明顯的；而MSER算法所要求的是極大穩(wěn)定極值區(qū)域，因此在做特征區(qū)域檢測(cè)時(shí)追求的是局部閾值發(fā)生改變時(shí)能夠使連通域面積的變化率達(dá)到極小的狀態(tài)，即可以認(rèn)為連通域的面積變化率不再隨閾值的改變而有明顯變化[13]。

組合算法流程如圖2所示。

圖2 組合算法流程

先對(duì)影像進(jìn)行MSER局部特征區(qū)域檢測(cè)，將檢測(cè)到的區(qū)域以影像單元格網(wǎng)信息熵為權(quán)重進(jìn)行特征區(qū)域數(shù)額的分配優(yōu)化；然后，以MSA的概率密度直方圖熵為特征描述向量，對(duì)局部特征區(qū)域進(jìn)行描述，利用次鄰近匹配算法進(jìn)行影像的粗配準(zhǔn)。最后利用隨機(jī)抽樣一致算法進(jìn)行誤匹配的剔除，以得到正確的同名點(diǎn)匹配。

1.2 MSER局部特征區(qū)域篩選

以信息熵作為篩選條件，對(duì)影像的MSER局部特征區(qū)域進(jìn)行特征篩選工作，在特征描述之前先剔除部分可能無(wú)法被辨識(shí)的局部特征區(qū)域。

假設(shè)影像的MSER檢測(cè)的特征區(qū)域總數(shù)為X，并且每一個(gè)特征區(qū)域都進(jìn)行了橢圓擬合。將影像平均劃分成3×3共9個(gè)單元格網(wǎng)影像，根據(jù)特征區(qū)域中心位置坐標(biāo)確定特征屬于哪一個(gè)單元格網(wǎng)影像，并且以每個(gè)格網(wǎng)影像的信息對(duì)整幅影像做出的貢獻(xiàn)量確定各格網(wǎng)影像的特征區(qū)域分配數(shù)量；影像信息熵的計(jì)算方法為：

(1)

式中:H表示影像信息熵；M和N表示的是需要計(jì)算信息熵影像區(qū)域的高度和寬度，即影像矩陣的行和列；pij是影像中像素點(diǎn)(i,j)的灰度值概率。利用式(1)計(jì)算出每個(gè)格網(wǎng)影像的信息熵Hk,k∈[1,9]，k為每個(gè)單元影像的標(biāo)號(hào)，將9個(gè)格網(wǎng)的信息熵相加為HS，那么每個(gè)格網(wǎng)影像應(yīng)該分配的特征數(shù)為：

(2)

在每個(gè)單元格網(wǎng)內(nèi)按照特征區(qū)域信息熵從大到小的順序進(jìn)行排列，單元格網(wǎng)內(nèi)的特征區(qū)域數(shù)L小于等于分配額tk，那么該單元格網(wǎng)內(nèi)的特征數(shù)量就為L(zhǎng)個(gè)；若L大于分配額tk，那么該單元格網(wǎng)內(nèi)的特征數(shù)按照排列順序取前tk個(gè)，即剔除后L-tk個(gè)。具體流程如圖3所示。

圖3 MSER局部特征優(yōu)化流程

至此，基于信息的特征區(qū)域篩選工作結(jié)束，此方法可有效去除影像中一些信息量不足特征區(qū)域，且對(duì)于特征區(qū)域的空間分布均衡性更有利，亦能有效提高影像匹配效率。

2 改進(jìn)的MSA局部特征描述向量

2.1 MSA仿射不變特征提取原理

Tuα,β+t.

(3)

(4)

2.2 MSA灰度概率密度直方圖熵

根據(jù)MSA特征構(gòu)造過(guò)程分析得出，要獲得更多的特征描述需要不斷改變尺度(α,β)，且MSA變換對(duì)更細(xì)微的特征提取能力有限，因此，基于MSA變換構(gòu)建灰度概率密度直方圖熵特征向量。

定義uα,β的概率密度函數(shù)：

pUα,β(u)=(pα×pβ×pγ)(u).

(5)

式中:γ=1-α-β；對(duì)x，y，u進(jìn)行仿射變換得到x′=Tx+αt，y′=Ty+βt，u′=Tu+(α+β+γ)t，當(dāng)α，β，γ均不為0時(shí)，將仿射變換前后的概率密度函數(shù)引入式(5)，并轉(zhuǎn)化為積分形式：

(6)

由式(6)可以發(fā)現(xiàn)，p(x)=|det(T)|p′(Tx+t)，對(duì)此進(jìn)行替代與化簡(jiǎn)得出仿射變換前后概率密度函數(shù)的關(guān)系：

(7)

仿射變換中T是未知的，需構(gòu)造歸一化直方圖，以此來(lái)削弱仿射變換帶來(lái)的干擾。定義仿射變換前后特征區(qū)域的概率密度函數(shù)為：

(8)

(9)

顯而易見(jiàn)，特征區(qū)域歸一化灰度概率密度也是仿射不變的，由于影像中的灰度概率密度函數(shù)是離散型的，在計(jì)算pα,β,γ(u)時(shí)要注意將卷積形式改為離散的傅里葉乘積形式即可；為構(gòu)建直方圖仿射不變向量，將灰度區(qū)間等分成N份，即(B1,B2,…,BN)，定義在任意一個(gè)區(qū)間內(nèi)，有：

(10)

根據(jù)式(10)即可構(gòu)造出在一個(gè)尺度(α，β)上的特征區(qū)域的歸一化仿射不變直方圖描述向量：

(pB1,pB2,…,pBN).

(11)

從上述的直方圖構(gòu)造原理可知，特征區(qū)域的灰度分布是不變的，那么基于歸一化直方圖的熵也是不變的，對(duì)此，可以根據(jù)直方圖構(gòu)造基于直方圖的熵仿射不變向量：

(12)

表1 尺度集

該向量主要從局部區(qū)域灰度直方圖特征分布的不確定性來(lái)對(duì)影像進(jìn)行描述，此特征提取方法不僅具有仿射不變性，而且相對(duì)于MSA算法具有更好的魯棒性以及更高的描述精度。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所闡述的方法在影像發(fā)生不同程度的仿射變換時(shí)的有效性，設(shè)置兩組對(duì)比實(shí)驗(yàn)，將本文算法與MSER算法進(jìn)行實(shí)驗(yàn)對(duì)比和性能比較分析。數(shù)據(jù)來(lái)源為著名學(xué)者Krystian Mikolajczyk提供的具有仿射變換的近景影像，共有兩組數(shù)據(jù)：wall影像組(見(jiàn)圖4)和graf影像組(見(jiàn)圖5)，每組影像集中含有6張仿射變換影像。

為篩選出含有高信息量的局部特征區(qū)域，提高匹配效率，增加局部特征區(qū)域向量描述的質(zhì)量與可區(qū)分性，首先進(jìn)行MSER局部區(qū)域的特征篩選實(shí)驗(yàn)，部分影像實(shí)驗(yàn)結(jié)果如圖6所示。

圖7為對(duì)兩組影像數(shù)據(jù)的篩選情況做出比對(duì)情況，橫坐標(biāo)為影像名，縱坐標(biāo)為每幅影像中的特征區(qū)域數(shù)量，藍(lán)色線表示篩選前，紅色線表示篩選后，關(guān)于影像匹配實(shí)驗(yàn)，影像匹配的效果一般需要對(duì)其進(jìn)行定量分析和評(píng)價(jià)，論文采用推定匹配率和誤匹配率對(duì)上述局部特征提取算法進(jìn)行性能評(píng)價(jià)。定義影像檢測(cè)特征數(shù)量為nF，總匹配對(duì)數(shù)為nall，正確匹配數(shù)為ncor，則：

推定匹配率：

(13)

準(zhǔn)確率：

(14)

式中：nF1和nF2為參考影像和帶配準(zhǔn)影像的特征檢測(cè)數(shù)量。

圖4 wall影像組數(shù)據(jù)

圖5 graf影像組數(shù)據(jù)

首先對(duì)各組實(shí)驗(yàn)數(shù)據(jù)做影像粗匹配處理，由于篇幅有限，下面關(guān)于影像的匹配效果僅展示本文算法匹配的一部分，對(duì)MSER算法匹配效果不再展示。圖8和圖9為部分實(shí)驗(yàn)結(jié)果圖，視圖左半部分為每組影像的參考影像，視圖右半部分為待配準(zhǔn)影像。

為得到正確的同名點(diǎn)匹配，實(shí)驗(yàn)以隨機(jī)抽樣一致性算法(Random Sample Consensus,RANSAC)作為誤匹配剔除算法，剔除粗匹配中含有的錯(cuò)誤同名點(diǎn)對(duì)。

圖10和圖11為部分實(shí)驗(yàn)結(jié)果圖，視圖左半部分為每組影像的參考影像，視圖右半部分為待配準(zhǔn)影像。

圖6 影像特征區(qū)域篩選前后效果對(duì)比

圖7 影像特征區(qū)域篩選前后對(duì)比

圖8 wall(a)和(e)粗匹配(組合算法)

特征粗匹配詳細(xì)的實(shí)驗(yàn)結(jié)果由圖12的影像粗匹配數(shù)量統(tǒng)計(jì)直方圖給出，藍(lán)色表示為組合算法結(jié)果，紅色為MSER算法實(shí)驗(yàn)結(jié)果。

去除誤匹配詳細(xì)的實(shí)驗(yàn)結(jié)果由圖13的影像精匹配數(shù)量統(tǒng)計(jì)直方圖給出，藍(lán)色表示為組合算法結(jié)果，紅色為MSER算法實(shí)驗(yàn)結(jié)果。

圖9 graf(a)和(e)粗匹配(組合算法)

圖11 graf(a)和(e)精匹配(組合算法)

圖12 graf影像兩種算法特征粗匹配

對(duì)于本文提出的組合算法評(píng)價(jià)，采用影像推定匹配率和準(zhǔn)確率來(lái)進(jìn)行定量分析，藍(lán)色表示本文提出的組合算法，紅色表示MESR算法，圖14計(jì)算的是3組影像本文算法與MSER算法的推定匹配率，圖15所表達(dá)的是組合算法與MSER算法的匹配正確率。

圖14 影像推定匹配率

圖15 影像組匹配準(zhǔn)確率

4 結(jié) 論

為了提高影像的幾何仿射變換而導(dǎo)致的特征檢測(cè)與匹配效果不理想的問(wèn)題，從影像全局特征提取與局部特征檢測(cè)方面進(jìn)行研究，提出一種將MSA灰度概率密度直方圖熵提取方法與MSER優(yōu)化特征區(qū)域檢測(cè)方法組合的算法。根據(jù)實(shí)驗(yàn)驗(yàn)證得出如下結(jié)論：

1)針對(duì)局部特征區(qū)域數(shù)量較多而造成匹配效率低的問(wèn)題，采用信息熵原理對(duì)局部區(qū)域進(jìn)行優(yōu)化篩選，綜合兩組實(shí)驗(yàn)數(shù)據(jù)來(lái)看，在本文實(shí)驗(yàn)中特征區(qū)域平均有11%左右被認(rèn)為是不合格的，不僅提升特征描述的效率，也使特征描述向量的可區(qū)分性更強(qiáng)。

2)針對(duì)常用局部特征匹配算法仿射不變特征提取能力不強(qiáng)的問(wèn)題，提出將MSA灰度概率密度直方圖熵作為仿射不變特征描述符，對(duì)優(yōu)化后的MSER局部區(qū)域進(jìn)行特征描述，通過(guò)匹配實(shí)驗(yàn)發(fā)現(xiàn)，在大多數(shù)情況下，無(wú)論是推定匹配率還是匹配準(zhǔn)確率，本文提出的組合算法要優(yōu)于MSER算法，在wall組影像試驗(yàn)中，兩種算法的差異性體現(xiàn)的不是很明顯，但在graf影像組實(shí)驗(yàn)中，兩種算法的差異性是顯然的。這也證明提出方法的仿射不變性也更強(qiáng)，匹配效率更高。