一種針對MSER區域的雙層匹配策略

王建永,常 偉

(火箭軍工程大學 士官學院,山東 青州 262500)

一種針對MSER區域的雙層匹配策略

王建永,常 偉

(火箭軍工程大學 士官學院,山東 青州 262500)

為了快速高效地采用圖像的最大穩定極值區域(MSER)進行圖像匹配，提出了一種針對歸一化MSER區域的雙層匹配策略。對于待匹配圖像的MSER區域進行歸一化之后，采用互相關性進行區域的粗匹配；再將候選匹配區劃分為4×4個子區域，計算對應子區域的hausdorff距離，作為投票依據，根據投票多少從候選匹配對中選擇最優匹配對作為最終的匹配結果。采用標準圖像庫及實拍紅外圖像進行了2組實驗，實驗結果表明，該方法能夠較好地完成圖像匹配任務。提出了一種針對MSER區域的雙層匹配策略，采用標準圖像庫及紅外實拍圖像進行了匹配試驗。實驗結果表明，方法簡單高效，匹配效果較好。

最大穩定極值區域；雙層匹配策略；互相關性；hausdorff距離；圖像識別

0 引言

圖像局部特征提取在圖像匹配，目標檢測、跟蹤等方面有著重要應用。局部特征檢測包括特征區域或特征點的檢測，對這些特征區域或特征點進行描述，使其具有某些不變特征[1]。最常用的特征點提取算法為SIFT特征檢測，而區域檢測方法則有MSER[2]、Harris-Affine[3]、Hessien-Affine[4]、EBR、IBR[5]和Salient Region等。在比較了MSER、SIFT及其他檢測算法之后，結果顯示SIFT檢測平坦物體效果較好，而MSER對大多數物體均有較好的檢測效果[6-9]。K Mikolajczyk[10]等對上述5種常用的區域檢測方法進行了比較分析，結果表明在區域檢測算子中，MSER檢測最為穩定，效果也最為理想。

鑒于MSER區域在視角變換、光照變化和尺度縮放等畸變影響下的高穩定性，利用MSER進行圖像匹配、目標識別等任務一直是一項重要的選擇[11]。如何實現對應2幅圖像中MSER區域的匹配，常用方法是為MSER添加描述，常見的描述方法有SIFT[12-13]、GLOH[14]等利用局部梯度信息進行特征描述，以及利用局部灰度信息對鄰域紋理特征進行描述的局部二值模式[15](Local Binary Patterns，LBP)。文獻[16]中提出了一種多尺度自卷積熵的新型描述符，將其與多尺度自卷積進行融合作為MSER的描述。上述提到的幾種描述方法計算相對復雜，本文提出了一種雙層匹配方法，首先利用2幅圖像MSER區域之間的互相關性進行粗匹配，然后將區域進行分塊，塊與塊之間采用hausdorff距離進行投票，最終確定匹配結果。實驗結果表明，本文方法原理簡單，匹配效果較好。

1 最大穩定極值區域MSER

最大極值穩定區域使用地形中分水嶺的概念來求解穩定局部區域。在求取MSER的原理中有以下定義：

① 圖像I是一個區域D到灰度S的映射：D?Z2→S，對于灰度圖像，S={0,1,…,255};

② 鄰域關系A?D×D;

③ 區域Q是D的一個連通子集；

④ 區域邊界?Q不屬于區域Q，但區域Q中至少存在一個像元與其構成鄰接關系；

⑤ 極值區域Q?D，對于所有p∈Q，q∈?Q：I(p)>I(q)(最大極值區域)或I(p)

如果Q1,…Qi-1,Qi,…為一系列相互包含的極值區域，即Qi?Qi+1。若極值區域Qi*為最大極值區域，當且僅當區域變化率q(i)=|Qi+Δ-Qi-Δ|/Qi在灰度值i*處取得局部極小值，|·|表示區域面積，Δ∈S，為微小的灰度變化。

由上面幾個定義可知，MSER即是指在某個灰度閾值i的時候，區域內像元數量變化最小的區域。

直接提取的MSER區域為不規則區域，需進行歸一化[18-19]，將不規則區域擬合為橢圓，再仿射歸一化為圓形區域。在歸一化區域內進行圖像梯度直方圖統計，找出直方圖最大值，將其對應的方向作為歸一化圖像梯度的主方向。根據主方向對歸一化圖像進行旋轉歸一化，以消除仿射變換等畸變影響對提取區域的影響。

2 雙層匹配策略

提取MSER區域之后，就是對區域進行匹配，為圖像匹配、目標識別等做準備。MSER區域相對于圖像來說尺寸較小，怎樣充分利用這些圖像信息是影響匹配效果的關鍵。互相關性在早期模板匹配中有較好的應用，但是不能抗旋轉等畸變影響，而歸一化后的MSER區域原理上可以消除扭曲變形、尺度大小和旋轉方向上的差異，針對MSER區域這一優點，引入區域之間的互相關性指標，基于此本文提出了一種雙層匹配方法，首先利用2幅圖像歸一化后的MSER區域之間的互相關性進行粗匹配，然后將區域進行分塊，塊與塊之間采用hausdorff距離進行投票，最終確定匹配結果。

2個區域之間的互相關性指標可以通過下式計算：

(1)

式中，MSERm(i,j)，MSERn(i,j)分別代表2幅圖像中的MSER區域的灰度值。當區域灰度信息區別明顯時，直接采用相關性指標，當corr大于設置的閾值時即表示實現了正確匹配，但灰度信息接近時則會出現一對多或多對一的情況，以致出現誤匹配。

為從這些錯誤的匹配情況中提取出正確的匹配對，本文設計了一種精匹配的思路。以圖1為例，圖1(a)為基準圖，圖1(b)和圖1(c)均為經粗匹配得到的候選匹配圖像，現將每個區域分為4×4個子區域，如A={Apatch1,Apatch2,…,Apatch16}，B={Bpatch1,Bpatch2,…,Bpatch16}，各子區域之間的hausdorff距離[17]可通過下式計算得到：

hausdorff(A,B)=max(dh(A,B),dh(B,A))，

(2)

(a) 基準圖 (b) 匹配圖 (c) 匹配圖圖1 精匹配中的子區域劃分

雙層匹配策略實現的具體步驟如下：

① 提取待匹配圖像的MSER區域;

② 計算區域之間的互相關性，若corri>th1且corrmax/corrnext>th2，則為正確匹配區域；若corri>th1且corrmax/corrnext

③ 對步驟②中得到的候選匹配對進行處理。將MSER區域分別劃分為4×4個子區域，計算對應子區域之間的hausdorff距離，若hdi>th3，則投一次票;

④ 統計得票情況，得票最多的匹配對即為最終的匹配結果。

其中corrmax代表相關性最大的區域對，corrnext代表相關性次大的區域對，th1～th3代表3個閾值。

以圖1為例，圖1中(a)應與圖1(b)匹配，但是與圖1(c)出現了誤匹配，corrab=0.992 2，corrac=0.995 2。利用投票策略后，得到的票數分別為voteab=9，voteac=4，進而排除圖1(a)和圖1(c)組合，得到正確的匹配結果圖1(a)和圖1(b)。

3 實驗結果與分析

為驗證算法的有效性，本文設計了2個實驗。試驗1采用哥倫比亞大學coil-100標準圖像庫[20]。coil-100標準圖像庫包含了7 200幅圖像(100個物體，每個物體旋轉5°拍攝一張圖像，共拍72張，大小為128×128)，本文選擇第14個物體圖像作為實驗的數據集。采用文獻[4]中的實驗方法，以下面7幅中均檢測出的區域作為匹配對象，將相同位置處區域劃分為一類，如左眼作為一類，得到7類區域，每一類包括6個區域。以0°圖像為準對6幅圖像進行匹配，試驗中設th1=0.9，th2=1.006，th3=5，識別率為85.71%，如圖2所示。

圖2 實驗1中所用的圖像及提取的MSER區域

利用本文方法的匹配結果如圖3所示。由圖3可以看出，旋轉角度較小時(±30°以下)；匹配區域連線接近于平行，當出現大角度旋轉時(±30°以上)，匹配區域連線會出現交叉。在以往的匹配結果處理中，常采用RANSAC消除誤匹配，而對于實驗1中的情況，RANSAC將會消除過多的正確匹配區域。實驗1中沒有采用RANSAC消除誤匹配，而是直接顯示的采用雙層匹配策略得到的正確匹配結果。

實驗2利用M3制冷型紅外熱像儀拍攝了一組序列圖像，該序列圖像為某發電廠周圍區域，使用本方法得到的匹配結果如圖4所示。從匹配結果可以看出，在序列圖出現平移、旋轉等畸變時，本文算法仍能準確進行匹配。

圖3 實驗1匹配結果

圖4 實驗2匹配結果

4 結束語

本文提出了利用MSER區域進行匹配識別的雙層匹配策略，并且采用coil-100標準圖像庫及紅外實拍圖像進行了2組匹配試驗，得到了較好的匹配效果。本文針對描述子生成較復雜的問題，提出了針對歸一化MSER區域的雙層匹配策略：利用互相關性進行粗匹配，將候選區域進行分塊，采用hausdorff距離進行投票，最終確定正確匹配區域。本文提出的雙層匹配策略計算量小，易于實現，在實拍圖像的匹配識別中體現出較好的匹配結果。

[1] 吳偉平.局部仿射不變特征的提取技術研究[D].中國科學院研究生院(長春光學精密機械與物理研究所),2015.

[2] MIKOLAJCZYK K,SCHMID C.Scale & Affine Invariant Interest Point Detectors[J].International Journal of Computer vision,2004,60(1):63-86.

[3] MIKOLAJCZYK K,SCHMID C.An Affine Invariant Interest Point Detector[C]∥Computer Vision—ECCV 2002.Springer Berlin Heidelberg,2002:128-142.

[4] MATAS J,CHUM O,URBAN M,et al.Robust Wide-baseline Stereo from Maximally Stable Extremal Regions[J].Image and vision computing,2004,22(10):761-767.

[5] TUYTELAARS T,GOOL V L.Matching Widely Separated Views Based on Affine Invariant Regions[J].International journal of Computer Vision,2004,59(1):61-85.

[6] KIMMEL R,ZHANG C,BRONSTEIN A M,et al.Are MSER Features Really Interesting?[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2011,33(11):2316-2320.

[7] 廉藺,李國輝,王海濤,等.基于MSER的紅外與可見光圖像關聯特征提取算法[J].電子與信息學報,2011(7):1625-1631.

[8] 柳濤.多通道圖像MSER局部不變特征提取算法研究[D].長沙：國防科學技術大學,2010.

[9] 程丹,范洪冬,鄧喀中,等.基于MSER的SAR影像配準算法[J].測繪通報,2014(12):28-31.

[10] MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision,2005,65(1-2):43-72.

[11] 萬文寅.最大穩定極值區域應用研究[D].西安：西安電子科技大學,2011.

[12] 杜玉龍,李建增,張巖,等.基于MSER與SIFT融合的多通道圖像匹配算法研究[J].軍械工程學院學報,2016(1):52-58.

[13] 王帥,孫偉,姜樹明,等.基于旋轉不變特征的SIFT描述子在圖像配準中的應用[J].計算機應用,2014(9):2678-2682.

[14] MIKOLAJCZYK K,SCHMID C.A Performance Evaluation of Local Descriptors[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2005,27(10):1615-1630.

[15] 韓田甜,李航,張濤.基于改進HOG-LBP特征的行人檢測[J].信息工程大學學報,2016(3):298-302.

[16] 張潔玉,陳強,白小晶,等.一種新的局部仿射不變特征描述符[J].光電子·激光,2009,11(20):1503-1506.

[17] DUBUISSON M P,JAIN A K.A Modified Hausdorff Distance for Object Matching[J].Pattern Recognition,1994.Vol.1-Conference A:Computer Vision & Image Processing,Proceedings of the 12th IAPR International Conference on.IEEE,1994,1:566-568.

[18] PEI S C,LIN C N.Image Normalization for Pattern Recognition[J].Image and Vision Computing,1995,13(10):711-723.

[19] LEU J G.Shape Normalization through Compacting[J].Pattern Recognition Letters,1989,10(4):243-250.

[20] Columbia University.Coil-100 imagedatabase[EB/OL].http:∥www.cs.columbia.edu/CAVE/software/softlib/coil-100.php

ATwo-stepMatchingStrategyforMSERs

WANG Jian-yong,CHANG Wei

(RocketForceUniversityofEngineering,QingzhouShandong262500,China)

To quickly and efficiently conducting the image matching task using the Maximally Stable Extremal Regions(MSER),this paper presents a novaltwo-step matching strategy for the normalized MSER regions.After the MSER regions extracted from images to be matched are normalized,the coarse matching is performed by using cross correlation;the candidate regions are divided into 4×4sub-regions,the hausdorff distance of the corresponding sub-regions is calculated,and the results are used as the voting basis.Depending on the voting results,the best matching pairs are chosen from the candidates as the final matches.The two experiments are conducted by using standard image database and real infrared images respectively.The experimental results show that the proposed method can better complete the image matching task.This paper presents a two-step matching strategy for MSER regions,and the two matching experiments are conducted by using standard image database and infrared images respectively.The results show that this method is simple and efficient,and has better matching effect.

MSER;two-step matching strategy;cross correlation;hausdorff distance;image recognition

10.3969/j.issn.1003-3106.2017.10.15

王建永,常偉.一種針對MSER區域的雙層匹配策略[J].無線電工程,2017,47(10):68-72.[WANG Jianyong,CHANG Wei.A Two-step Matching Strategy for MSERs[J].Radio Engineering,2017,47(10):68-72.]

TP391.4

A

1003-3106(2017)10-0068-05

2017-07-05

王建永男,(1989—),碩士，助教。主要研究方向：測試與控制技術。常偉男，(1985—)，碩士，助教。主要研究方向：測試與控制技術。