一種局部與全局特征結合的圖像檢索算法

郭蘭圖，余 芳，陳金鳳

(1.中國電波傳播研究所，山東 青島266107;2.中國石油大學（華東），山東 青島266580）

圖像檢索的主要目的是從大規模數據庫中檢索出與查詢圖像相似的圖像。SWAIN M J和BALLARD D H[1]提出利用顏色直方圖作為圖像顏色特征的表示方法，該方法能夠簡單描述一幅圖像中顏色的全局分布，簡單易行，具有旋轉不變性。此外，STRICKER和ORENGO提出的累積直方圖方法[2]也優于一般基于圖像顏色直方圖的方法。但是由于顏色對圖像或圖像區域的方向、大小等變化不敏感，因此顏色特征不能很好地捕捉圖像中對象的局部特征。為此,MARR和NISHIHARA H[3]和BRADDY M[4]詳細闡述了形狀的表示方法和評價標準，然而基于圖像形狀特征的方法在獲得有關目標的形狀參數時通常需要對圖像進行邊界提取或分割操作，因此形狀特征的提取會受到圖像分割效果的影響。目前大多數基于內容的圖像檢索系統也是基于上述特征的。

一般圖像特征可以分為全局特征和局部特征[5]。基于全局特征的檢索系統只能表示圖像的整體內容，并不適合部分圖像的匹配和具有不同視角的相同目標或場景的圖像檢索。受參考文獻[6]的啟發，本文提出一種基于圖像的穩定局部區域特征和全局GIST特征相結合的圖像檢索算法。圖像的穩定局部區域不僅具有顯著性，并且對旋轉以及仿射變換具有不變性，已廣泛應用于目標識別等領域。而基于仿射不變區域檢測技術也得到很大的發展，例如最大穩定極值區域檢測器MSER[7]等方法。參考文獻[8]對目前國際上比較流行的6種仿射不變區域檢測方法進行了比較，得出最大穩定區域(MSER)檢測方法檢測效果最好。為了更好地找到圖像的穩定局部區域,本文選取目前國際上最流行的MSER檢測方法。

1 最大穩定區域檢測

1.1 MSER的相關定義

在基于區域的檢測方法中，最大穩定極值區域檢測方法的檢測效果較好，并且已經得到了廣泛的應用。MSER利用地形中分水嶺的概念檢測穩定局部區域，與傳統的分水嶺算法重要的區別是二者所關心的水位選取是不一樣的。MSER尋找圖像中的穩定區域，也就是當水位變化時水的體積變化率最小的區域。圖像I是區域D到灰度S的映射：D∈Z2→S,且滿足下述條件。

(1)S具有自反、非對稱和傳遞的二值關系，S={0,1,…,255}。鄰域關系A?D×D。

(2)區域Q是D的一個連通子集。

(3)區域Q的邊界δQ，δQ={q∈DQ∶p∈Q∶q∈A(p)}。

(4)極值區域Q。極值區域Q屬于集合D,對所有p∈Q,q∈δQ∶I(p)>I(q)屬于最大極值區域，若I(p)

(5)最大穩定極值區域(MSER)。如果Q1,Q2,…,Qi-1,Qi,…為一系列相互包含的極值區域，當且僅當區域變化率q(i)=|Qi+thQi-th|/|Qi|在i處取得局部極小值。

1.2 MSER區域檢測

在利用MSER區域檢測方法對其進行檢測后,MSER方法檢測到的區域中有很多較小的區域,這些區域往往是由于噪聲造成的，本文根據面積閾值過濾掉較小的區域。經過多次驗證，在檢索時所用的最小面積閾值為100。最后把檢測到的區域擬合為橢圓。對數據庫COIL-100中的圖像進行MSER區域檢測,部分檢索結果如圖1所示。

圖1 MSER穩定區域檢測結果

2 區域的GIST特征提取及匹配

2.1 GIST特征簡介

為了精確地描述圖像局部區域的內容，本文采用基于GIST特征的區域描述算法。參考文獻[9]提出了GIST描述符，其思想就是不用任何形式的圖像分割，找到一種圖像場景的低維表示。目前，GIST特征被廣泛應用于自然圖像檢索領域，并且取得了較好的效果。

2.2 局部圖像區域的GIST特征提取步驟

(1)利用MSER區域檢測算法檢測到圖像的穩定區域；

(2)把最終檢測到的區域擬合為橢圓，計算橢圓區域的最小外接矩形；

(3)對最小外接矩形進行方向校正，并提取矩形區域內的GIST特征。

本文的圖像檢索系統的框架流程如圖2所示。

2.3 圖像匹配

本文借助于sift關鍵點匹配與k-d樹算法相結合進行圖像匹配，其詳細步驟如下。

(1)對待查詢圖像進行局部區域檢測并提取特征；

(2)對于查詢圖像的每一個區域與數據庫圖像的所有區域利用歐氏距離進行比較，找到距離最小和次小值；

圖2 圖像檢索系統框架流程圖

(3)如果距離的最小值除以次小值小于某個預設閾值(本實驗中的閾值為0.85)，就認為此區域找到了與其匹配的區域；

(4)找到與查詢圖像匹配區域數最多的圖像作為檢索結果。

3 實驗結果及分析

為了與參考文獻[6]的方法進行對比，數據庫也選擇哥倫比亞大學的COIL-100數據庫[10]。此數據庫含有100個類,每個類含有72幅不同視角的圖像。本文也同樣選取了與參考文獻[6]相同的10類作為實驗庫，每類含有72幅不同視角的圖像。

為了驗證本文算法的有效性，從每一類中隨機地選取5幅圖像作為查詢圖像。對數據庫中的所有圖像檢測到穩定區域并提取區域的特征。

圖3展示了一些數據庫中的圖像實例。在實驗中從每一個類中隨機選取5幅圖像作為查詢圖像并在最后統計了相應的實驗結果。

圖3 數據庫中的部分圖像類別實例

檢索的部分結果如圖4所示，其中第一幅為待檢索圖像，后4幅為查詢結果中選取的前4幅圖像。從實驗結果可以看出，該方法能夠抵制較強的旋轉與光照干擾，這與穩定局部區域和全局內容信息特征的有效選取是分不開的。

本文的一些實驗結果統計如表1所示，其中查詢圖像從每一類中隨機選取5幅圖像。查準率即檢出的相關圖像與檢出的全部圖像的百分比。

圖4 部分檢索結果示例

表1 圖像查準率統計

為測試算法的有效性，與參考文獻[6]中提到的方法進行了對比，在相同數據圖像庫條件下，參考文獻[6]的平均查準率為82.46%，而本文的平均查準率為89.6%。由實驗結果可知，本文方法的平均查準率遠高于參考文獻[6]中的平均檢索精度，驗證了本文方法的有效性。

本文提出了一種基于穩定局部區域和區域全局內容特征相結合的圖像檢索算法。實驗結果表明，兩者結合能夠達到很好的圖像檢索效果。與參考文獻[6]的方法相比，本文方法不需要設定權值，平均檢索精度更優。

[1]SWAIN M J,BALLARD D H.Color indexing[J].International Journal of Computer Vision,1991,7(1)∶11-32.

[2]顧曙輝.基于內容的圖像檢索技術研究[J].科技資訊,2007(14)∶189.

[3]MARR D,NISHIHARA H K.Representation and recognition of the spatial rganization of three-dimensional shapes[J].Proceedings of Royal Seciety,1978,200(1140)∶269-294.

[4]BRADY M.Criteria for representations and of shape[J].Academic Press,1993∶39-84.

[5]HALAWANI A,TEYNOR A,SETIA L,et al.Fundamentals and applications of image retrieval∶an overview[J].Datenbank Spektrum,2006∶14-23.

[6]VELMURUGAN K,LT D S,BABOO S.Image retrieval using harris corners and histogram of oriented gradients[J].International Journal of Computer Applications,2011,24(7)∶6-10.

[7]MATAS J,CHUM O,URBAN M,et al.Robust widebaseline stereo from maximally stable extremal regions[C].British Machine Vision Conference,2002∶384-393.

[8]MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al.A comparision of affine region detectors[J].International Journal of Computer Vision,2005,65(1-2)∶43-72.

[9]OLIVA A,TORRALBA A.Modeling the shape of the scene∶a holistic representation of the spatial envelope[J].International Journal of Computer Vision,2001,42(3)∶145-175.

[10]NENE S A,AYAR S K,MURASE H.Columbia object image library[R].New Yourk∶Deptartment of Competter Science,Columbia University,1996.