基于RVCF的大視角差異圖像匹配方法

胡文超，周　偉，關(guān)　鍵

（海軍航空工程學(xué)院a.研究生管理大隊(duì)；b.信息融合研究所；c.電子信息系，山東煙臺(tái)264001）

基于RVCF的大視角差異圖像匹配方法

胡文超a，周偉b，關(guān)鍵c

（海軍航空工程學(xué)院a.研究生管理大隊(duì)；b.信息融合研究所；c.電子信息系，山東煙臺(tái)264001）

文章針對(duì)SIFT算法對(duì)大視角變化圖像匹配效果差的問題，提出一種改進(jìn)的SIFT算法——抗視角變化特征提取算法（Resistance to Viewpoint Change Feature，RVCF）。首先，利用最大穩(wěn)定極值區(qū)域（MSER）算法提取圖像中的仿射不變特征區(qū)域；然后，利用協(xié)方差矩陣將MSER檢測(cè)出的橢圓區(qū)域轉(zhuǎn)化成符合尺度空間條件的圓形區(qū)域；最后，利用SIFT算法對(duì)獲得的圓形區(qū)域進(jìn)行仿射不變特征的提取與匹配。實(shí)驗(yàn)結(jié)果表明：RVCF算法能夠在大的視角和尺度變化下成功實(shí)現(xiàn)圖像間的匹配。

尺度不變特征變換；最大穩(wěn)定極值區(qū)域；圖像匹配；大視角差異

圖像匹配是計(jì)算機(jī)視覺領(lǐng)域中的重要部分，廣泛應(yīng)用于圖像拼接、目標(biāo)檢測(cè)與跟蹤、定位系統(tǒng)等［1］。近年來，基于特征的圖像匹配方法發(fā)展迅速，如Harris算法、Hessian-affine算法、最大穩(wěn)定極值區(qū)域（MSER）算法等。MSER算法［2］具有良好的仿射不變性，其使用分水嶺算法提取特征，這種方法不需要對(duì)圖像進(jìn)行高斯濾波操作，也就不存在高斯濾波器和圖像結(jié)構(gòu)不匹配的問題，只要特征區(qū)域足夠顯著和清晰就有可能被正確提取出來。但MSER算法對(duì)尺度變換比較敏感，不具備尺度不變性［3］。David Lowe于2004年提出的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法由于特征獨(dú)特性好，信息量豐富，并對(duì)旋轉(zhuǎn)、平移、縮放、噪聲等干擾具有良好的魯棒性而受到廣泛應(yīng)用［4］。雖然SIFT算法具有良好的尺度不變性，但其存在抗仿射性弱的缺點(diǎn)，在處理存在大視角變化的圖像時(shí)匹配效果嚴(yán)重下降［5］。對(duì)此，Morel等人于2009年提出ASIFT算法［6］，ASIFT算法在仿射不變性方面相比較SIFT有較大的提升，但由于ASIFT算法是對(duì)整幅圖像的變換，計(jì)算復(fù)雜度高，算法效率低下［7］。本文結(jié)合MSER算法和SIFT算法，提出一種RVCF算法以解決大視角變化和尺度變化的情況下的圖像匹配問題。

1　SIFT算法

SIFT算法主要包括4個(gè)步驟，分別是尺度空間構(gòu)建、特征點(diǎn)檢測(cè)與定位、關(guān)鍵點(diǎn)方向分配和計(jì)算特征描述子［8］。

1.1構(gòu)建DoG尺度空間

對(duì)于二維圖像I（x，y）在不同尺度下的尺度空間表示L（x，y，σ）可由圖像與Gaussian核的卷積得到：

式（1）中：G（x，y，σ）為二維高斯函數(shù)；x、y表示點(diǎn)的坐標(biāo)；σ表示高斯正態(tài)分布的方差。

為了在尺度空間中更高效地檢測(cè)出穩(wěn)定、有效的特征點(diǎn)，利用不同尺度的高斯差分核與圖像進(jìn)行卷積得到DoG尺度空間，其計(jì)算更加簡(jiǎn)單，且是尺度歸一化的LoG函數(shù)的一種近似。

基于不同的尺度空間因子σ可將高斯金字塔分為多組（Octaves），每一組又分為多層，下一組圖像由上一組圖像降采樣得到［9］。本文中第0組第0層的尺度設(shè)置為1.6，每組金字塔的層數(shù)為4。

1.2特征點(diǎn)檢測(cè)與定位

為了尋找DoG尺度空間的局部極值點(diǎn)，每一個(gè)檢測(cè)點(diǎn)要與同尺度及上下相鄰尺度共26個(gè)相鄰點(diǎn)進(jìn)行比較，以確保在二維圖像空間和尺度空間都檢測(cè)到極值點(diǎn)［10］。在DoG空間中得到的尺度不變局部極值點(diǎn)即為SIFT特征點(diǎn)。Lowe首先利用擬合三維二次函數(shù)對(duì)關(guān)鍵點(diǎn)進(jìn)行亞像素級(jí)的精確定位。為了得到穩(wěn)定的特征點(diǎn)，利用Hessian矩陣對(duì)低對(duì)比度的特征點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)進(jìn)行剔除。Hessian矩陣的主曲率方程為

H的特征值α和β代表x和y方向的梯度，

假設(shè)α為較大特征值，β為較小特征值，令α=rβ，則：

r越大，則說明α與β的比值越大，即某方向的梯度值越大。因此，只需要將式（6）的值小于設(shè)定的閾值r即可［11］。本文中r的取值為10。

1.3關(guān)鍵點(diǎn)方向分配

經(jīng)過精確定位的特征點(diǎn)被稱為關(guān)鍵點(diǎn)。利用關(guān)鍵點(diǎn)的梯度及方向分布的特性計(jì)算出關(guān)鍵點(diǎn)的梯度和方向，使算子具有旋轉(zhuǎn)不變性。

式（7）、（8）中，L表示關(guān)鍵點(diǎn)所在的尺度。

1.4計(jì)算特征描述子

將坐標(biāo)軸旋轉(zhuǎn)到關(guān)鍵點(diǎn)的方向以保證旋轉(zhuǎn)不變性，以關(guān)鍵點(diǎn)為中心取一個(gè)16×16的窗口，在每個(gè)窗口計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，構(gòu)成一個(gè)種子點(diǎn)，則每個(gè)種子點(diǎn)帶有8個(gè)方向向量信息，形成一個(gè)128維的特征描述向量［12］。

至此，SIFT描述符建立完成。雖然SIFT特征具有良好的尺度不變性，然其不具備仿射不變性，因而在大視角變換下失去其性能［13］，這就需要提出一種高效的、具有仿射不變的匹配算法。

2　RVCF算法

抗視角變化特征提取算法（Resistance to Viewpoint Change Feature，RVCF）先利用MSER算法檢測(cè)仿射不變特征區(qū)域，再利用協(xié)方差矩陣將MSER特征區(qū)域轉(zhuǎn)化成各項(xiàng)同性的尺度空間，并利用SIFT算法在該尺度空間提取特征點(diǎn)，完成圖像匹配，流程見圖1。

圖1　RVCF算法流程圖Fig.1 Flow chart of RVCF algorithm

2.1MSER特征區(qū)域檢測(cè)

MSER算法利用地形學(xué)中的分水嶺概念來求解最穩(wěn)定局部區(qū)域，主要步驟為：①將圖像灰度化，利用箱排序算法［6］按照?qǐng)D像灰度值對(duì)像素點(diǎn)進(jìn)行排序，即把待排序列的所有數(shù)組分到不同的箱中；②對(duì)每個(gè)箱進(jìn)行自動(dòng)排序并串聯(lián)起來；③按升序或降序的方式將像素放入其中，采用高效的合并-查找算法［7］來維護(hù)。令Qi為二值化閾值i對(duì)應(yīng)的二值圖像中的連通區(qū)域，當(dāng)閾值在［i-Δ，i+Δ］時(shí)，連通區(qū)域?qū)?yīng)變?yōu)镼i+Δ和Qi-Δ。如在這個(gè)變化范圍內(nèi)，該區(qū)域具有極小變化率，則認(rèn)為是最大穩(wěn)定極值區(qū)域（MSER）。經(jīng)過上述步驟雖得到大量的最大穩(wěn)定極值區(qū)域，但這些區(qū)域中存在面積過大、過小部分和極可能不穩(wěn)定部分，將這些部分去除掉后剩下的區(qū)域即為穩(wěn)定的最大穩(wěn)定極值區(qū)域，具體過程如下。

3）變化率過大區(qū)域：若q（i）>0.25，則認(rèn)為該區(qū)域變化率過大，是不穩(wěn)定的，應(yīng)當(dāng)去除。

圖2中的橢圓即為最后提取的MSER特征區(qū)域。

圖2　MSER特征檢測(cè)Fig.2 MSER feature detecting

2.2RVCF特征提取

檢測(cè)出的MSER區(qū)域雖然具有仿射不變性，但其由于是不規(guī)則區(qū)域，因而不具備各向同性性質(zhì)，即不具有尺度不變性。為利用尺度空間理論來提取尺度不變特征，需要把檢測(cè)出的MSER橢圓區(qū)域轉(zhuǎn)化成各向同性區(qū)域。

橢圓的中心點(diǎn)位于坐標(biāo)軸原點(diǎn)的方程為：

式（9）可以被看作是圓心位于原點(diǎn)的圓關(guān)于協(xié)方差矩陣C′的線性映射：

式（10）中：D為對(duì)角矩陣，其主對(duì)角線為C′矩陣的特征值，特征值為正數(shù)；P為實(shí)數(shù)酉矩陣，其矩陣縱列為C′的特征向量。

橢圓的長(zhǎng)軸和短軸分別是C′矩陣的特征向量，對(duì)應(yīng)特征值為橢圓半長(zhǎng)軸和半短軸平方的倒數(shù)［8］。由于橢圓可以通過坐標(biāo)伸縮變換轉(zhuǎn)換成一個(gè)圓，即令橢圓的x坐標(biāo)乘以一個(gè)常數(shù)而不改變y坐標(biāo)來生成，利用橢圓與圓之間的這種關(guān)系可以將一個(gè)橢圓旋轉(zhuǎn)壓縮成圓［9］，具體過程如圖3所示。

圖3　橢圓區(qū)域轉(zhuǎn)化為圓區(qū)域Fig.3 Transformation of ellipse region into circle region

首先，對(duì)MSER橢圓區(qū)域進(jìn)行旋轉(zhuǎn)，使其2個(gè)焦點(diǎn)均落在x軸上，旋轉(zhuǎn)角度α為橢圓長(zhǎng)軸與x軸的夾角；旋轉(zhuǎn)完畢后，利用高斯濾波器沿x軸方向?qū)E圓區(qū)域圖像進(jìn)行濾波。為保證濾波器能夠正確對(duì)圖像進(jìn)行采樣，令濾波器的標(biāo)準(zhǔn)差，其中c≥0.6，t為橢圓長(zhǎng)軸與短軸的比值［10］；最后，利用坐標(biāo)伸縮變換將橢圓轉(zhuǎn)化成圓。圓形區(qū)域具有各項(xiàng)同性的性質(zhì)，滿足尺度空間理論的使用條件，因而可以利用SIFT算法提取尺度不變特征。

3　實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用的硬件環(huán)境為Intel Core I5四核處理器、主頻為3.3 GHz、內(nèi)存為8 G的PC機(jī)，軟件環(huán)境為VS2010軟件平臺(tái)，并使用C++語言實(shí)現(xiàn)了相關(guān)算法。圖4中的a）、b）、c）為3組800×600的實(shí)驗(yàn)圖片，其中，Triumphal arch圖不僅有較大角度的仿射變換，而且還有90°的旋轉(zhuǎn)變換，Schoolroom圖中有明顯的仿射變換、亮度變化和背景差異，Book圖為彩色圖像，圖中存在比較明顯的視角變化和背景變化。實(shí)驗(yàn)中SIFT算法的距離比閾值設(shè)置為0.59。圖5～7分別是圖4中a）、b）、c）3組圖像分別用SIFT算法和RVCF算法處理的結(jié)果，表1為實(shí)驗(yàn)結(jié)果數(shù)據(jù)。

圖4　實(shí)驗(yàn)圖像Fig.4 Image used in experiment

圖5　Triumphal arch檢測(cè)結(jié)果Fig.5 Detection results of the triumphal arch image

圖6　Schoolroom檢測(cè)結(jié)果Fig.6 Detection results of the schoolroom image

圖7　Book檢測(cè)結(jié)果Fig.7 Detection results of the book image

表1　SIFT與RVCF算法性能比較Tab.1 Performance comparison between SIFT and RVCF

從實(shí)驗(yàn)結(jié)果可以看出，利用SIFT算法對(duì)圖4a）、b）、c）3組圖像進(jìn)行處理時(shí)效果比較差。Triumphal arch圖中，SIFT算法共檢測(cè)到258對(duì)匹配點(diǎn)，但卻有212個(gè)錯(cuò)誤匹配點(diǎn)，匹配率僅17.8%；Schoolroom圖中，SIFT算法檢測(cè)到29對(duì)匹配點(diǎn)，其中僅5對(duì)正確匹配點(diǎn)，匹配率為17.2%；Book圖中，SIFT檢測(cè)的匹配點(diǎn)對(duì)為93對(duì)，篩除后的剩余匹配點(diǎn)對(duì)為35對(duì)，匹配率為37.6%。而使用RVCF算法處理Triumphal arch圖、Schoolroom圖和Book圖時(shí)的匹配點(diǎn)對(duì)分別為278、34和323，匹配率為95.7%、88.2%和97.8%，匹配效果相比SIFT算法有相當(dāng)大的改善。

出現(xiàn)上述結(jié)果的主要原因是SIFT算法利用尺度空間理論進(jìn)行特征點(diǎn)檢測(cè)，其構(gòu)建尺度空間的方式是利用高斯核函數(shù)，而圖像經(jīng)過大視角仿射變換后原來的各項(xiàng)同性的圓形區(qū)域會(huì)變成各向異性的橢圓區(qū)域，其高斯核函數(shù)和尺度空間理論的應(yīng)用條件被破壞，因而會(huì)造成算法失效。

RVCF算法結(jié)合MSER算法與SIFT算法的優(yōu)點(diǎn)：先用MSER算法提取仿射不變特征區(qū)域；再利用協(xié)方差矩陣C′通過坐標(biāo)伸縮變換的方式將橢圓區(qū)域轉(zhuǎn)化成圓形區(qū)域，使特征檢測(cè)區(qū)域成為各項(xiàng)同性區(qū)域以滿足尺度空間理論條件；最后，利用SIFT算法提取尺度不變特征并進(jìn)行匹配。因此，RVCF特征具有良好的仿射不變性和尺度不變性。

實(shí)驗(yàn)證明RVCF算法在較為顯著的仿射變換和尺度變換下能獲取大量匹配點(diǎn)，雖然存在少量誤匹配點(diǎn)，但對(duì)最終的匹配結(jié)果沒有影響，其匹配效果明顯優(yōu)于SIFT算法。

4　結(jié)論

本文針對(duì)SIFT方法在處理大視角差異圖像匹配時(shí)存在的匹配效果差的問題，結(jié)合MSER算法和SIFT算法，提出了一種抗視角變化特征提取算法。RVCF算法結(jié)合MSER算法的仿射不變區(qū)域與SIFT算法的尺度不變描述子形成RVCF特征，該特征不僅繼承了MSER算法良好的仿射不變特性，同時(shí)具備SIFT算法的尺度不變性和旋轉(zhuǎn)不變性等。實(shí)驗(yàn)表明，RVCF算法在匹配大視角差異圖像時(shí)具有優(yōu)秀的匹配率，算法性能明顯優(yōu)于SIFT算法。

［1］LISA GOTTESFELE BROWN.A survey of image registration techniques［J］.ACM Computer Surveys，1992，24（4）：325-376.

［2］MATAS J，CHUM O，URBAN M，et al.Robust widebaseline stereo from maximally stable extremal regions［J］.Image and Vision Computing，2004，22（10）：761-767.

［3］陳月玲.結(jié)合區(qū)域匹配和點(diǎn)匹配的大視角圖像匹配方法［D］.西安：電子科技大學(xué)，2014. CHEN YUELING.A matching method for viewpointchange images by combining region with point matching［D］.Xi'an：Xidian University，2014.（in Chinese）

［4］DAVID G LOWE.Distinctive image features from scaleinvariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-100.

［5］劉欣，李笑林，謝燦，等.一種基于仿射變換的SURF圖像配準(zhǔn)算法［J］.計(jì)算機(jī)技術(shù)與應(yīng)用，2014，40（6）：130-136. LIU XIN，LI XIAOLIN，XIE CAN，et al.Affine-SURF algorithm for image recognition［J］.Computer Technology and ItsApplications，2014，40（6）：130-136.（in Chinese）

［6］MOREL J M，YU G.ASIFT：A new framework for fully affine invariant image comparison［J］.SIAM Journal on Imaging Sciences，2009，2（2）：438-468.

［7］薛艷華，何小海，雷翔，等.基于改進(jìn)ASIFT算法的遙感圖像匹配［J］.四川大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，50（5）：999-1005. XUE YANHUA，HE XIAOHAI，LEI XIANG，et al.Remote sensing image matching using an improved ASIFT algorithm［J］.Journal of Sichuan University：Natural Science Edition，2013，50（5）：999-1005.（in Chinese）

［8］潘子昂.基于SIFT算法的圖像匹配研究［D］.西安：電子科技大學(xué)，2012. PAN ZIANG.Research on image matching based on sift algorithm［D］.Xi'an：Xidian University，2012.（in Chinese）

［9］汪松.基于SIFT算法的圖像匹配方法研究［D］.西安：電子科技大學(xué)，2013. WANG SONG.SIFT based image matching algorithm research［D］.Xi'an：Xidian University，2013.（in Chinese）

［10］劉佳，傅衛(wèi)平，王雯，等.基于改進(jìn)SIFT算法的圖像匹配［J］.儀器儀表學(xué)報(bào)，2013，34（5）：1107-1112. LIU JIA，F(xiàn)U WEIPING，WANG WEN，et al.Image matching based on improved SIFT algorithm［J］.Chinese Journal of Scientific Instrument，2013，34（5）：1107-1112.（in Chinese）

［11］吳偉交.基于SIFT特征點(diǎn)的圖像匹配算法［D］.武漢：華中科技大學(xué)，2013. WU WEIJIAO.Image matching algorithm based on SIFT feature points［D］.Wuhan：Huazhong University of Science&Technology，2013.（in Chinese）

［12］傅衛(wèi)平，秦川，劉佳，等.基于SIFT算法的圖像目標(biāo)匹配預(yù)定位［J］.儀器儀表學(xué)報(bào)，2011，32（1）：163-169. FU WEIPING，QIN CHUAN，LIU JIA，et al.Matching and location of image object based on SIFT algorithm［J］. Chinese Journal of Scientific Instrument，2011，32（1）：163-169.（in Chinese）

［13］劉坤，羅予頻，楊士元.大視角下非平面場(chǎng)景的圖像特征匹配［J］.清華大學(xué)學(xué)報(bào)，2010，50（4）：499-502. LIU KUN，LUO YUPIN，YANG SHIYUAN.Image matching for non-planar scenes under wide baseline views［J］.Journal of Tsinghua University，2010，50（4）：499-502.（in Chinese）

［14］LEISERSON C E，RONALD R L，STEIN C.Introduction to algorithms［M］.Boston：MIT Press，2001：589-615.

［15］MURPHY C E，TRIVEDI M.N-tree disjoint-set foreset for maximally stable extremal regions［C］//British Machine Vision Conference.Edinburgh，2006：739-748.

［16］GARDING J，LINDEBERG T.Direct computation of shape cues using scale-adapted spatial derivative operators［J］.International Journal of Computer Vision，1996，17（2）：163-191.

［17］李威，史澤林，尹健.仿射高斯尺度空間下的完全仿射不變特征提?。跩］.光電工程，2012，39（12）：77-85. LI WEI，SHI ZELIN，YIN JIAN.Detecting fully affine invariant features in affine gaussian scale-space［J］.Opto-Electronic Engineering，2012，39（12）：77-85.（in Chinese）

［18］MOREL J M，YU G.Is SIFT scale invariant［J］.Inverse Problems and Imaging，2011，5（1）：115-136.A Modified RVCF Algorithm for Matching Images with Different Viewing Angle

HU Wenchaoa，ZHOU Weib，GUAN Jianc
（Naval Aeronautical and Astronautical University a.Graduate Students'Brigade；b.Institute of Information Fusion；c.Electronics and Information Engineering，Yantai Shandong 264001，China）

In order to solve the problem of invalidation of SIFT algorithm when viewpoints had been changed with large affine angle，in this paper a M-SIFT algorithm that the RVCF was proposed.Firstly，the algorithm detected affine invariant feature regions by MSER algorithm.Then covariance matrix was used to transform anisotropic patches into isotropic patches by rotating and squeezing to meet the condition of scale-space theory.Finally，the affine invariant key points on isotropic patches were detected and matching using SIFT algorithm.Experiments showed that RVCF worked well with large affine angle changes and scale changes.

SIFT；MSER；image matching；viewing angle difference

TP391

A

1673-1522（2016）05-0513-05

10.7682/j.issn.1673-1522.2016.05.003

2016-06-22；

2016-07-14

國(guó)家自然科學(xué)基金資助項(xiàng)目（61179017，61201445，61002045，61302008）；“泰山學(xué)者”建設(shè)工程專項(xiàng)經(jīng)費(fèi)資助項(xiàng)目

胡文超（1991-），男，碩士生。