基于SIFT特征和顏色融合的圖像檢索方法

董傲霜，宋宏亮

(東北大學(xué)軟件學(xué)院，沈陽110004)

基于內(nèi)容的圖像檢索CBIR(Content－based Image retrieval)［1］，屬于圖像分析的一個研究領(lǐng)域，目的是在給定查詢圖像的前提下，依據(jù)內(nèi)容信息或指定查詢標(biāo)準(zhǔn)，在圖像數(shù)據(jù)庫中搜索并查找出符合查詢條件的圖片。傳統(tǒng)的圖像檢索是基于文本標(biāo)注的。其基本原理是通過對圖像進行人工文字注解，利用文本關(guān)鍵字進行檢索以實現(xiàn)對圖像的查找。而基于內(nèi)容的圖像檢索是圖像特征相似性匹配檢索，系統(tǒng)內(nèi)的圖像標(biāo)識是圖像特征描述，檢索線索是一目了然的圖像示例，輸入為圖像示例，輸出為所有與示例特征相同或相近的圖像，按相似程度排序，供用戶選擇。實際上，把一般用戶難以完成的圖像特征描述、提取與識別等難題交由系統(tǒng)解決。CBIR是一門有關(guān)圖像特征相似性匹配的新技術(shù)。它利用圖像的內(nèi)容，如顏色、形狀、紋理以及空間關(guān)系等特征，建立圖像的特征矢量檢索圖像［2］。當(dāng)用戶進行圖像檢索時，系統(tǒng)把查詢圖像作為檢索條件提交給系統(tǒng)，通過提取查詢圖像的特征向量，在圖像庫中檢索與特征向量相匹配的圖像，將結(jié)果集返回給用戶。圖像的顏色具有穩(wěn)定性強，旋轉(zhuǎn)不變形，復(fù)雜背景健壯性好及計算簡單等特點。顏色特征成為描述一幅圖像最簡便而有效的特征。但單純依靠描述圖像顏色特征進行匹配不能達到理想的準(zhǔn)確程度，而SIFT特征提取能較好地處理局部點特征，應(yīng)用SIFT特征可得到很好的匹配效果。基于這種思想，本文提出一種基于圖像顏色特征和局部點特征相結(jié)合的檢索算法。通過實驗和結(jié)果分析，驗證了算法的有效性。

1 圖像檢索系統(tǒng)的設(shè)計

本文實現(xiàn)一個基于Web的小型CBIR系統(tǒng)。系統(tǒng)采用C語言實現(xiàn)圖像特征提取和特征向量匹配，采用php抓取網(wǎng)絡(luò)圖像、客戶端上傳查詢圖像以及展現(xiàn)檢索結(jié)果等。系統(tǒng)可分為三個主要模塊:爬蟲模塊、特征提取及入庫模塊和用戶查詢模塊，模塊劃分如圖1所示。

圖1 系統(tǒng)模塊劃分Fig.1 Partition of system model

從圖1中可以看出，這三個模塊是系統(tǒng)的核心。各個模塊的功能如下。

①爬蟲模塊:將網(wǎng)絡(luò)上的圖像批量下載到本地，這些圖像作為服務(wù)器端圖像庫。

②圖像特征提取及入庫模塊:對圖像庫中的圖像進行特征抽取及把這些圖像特征放入數(shù)據(jù)庫，并通過k－means算法對顏色特征進行聚類。

③用戶查詢模塊:將查詢圖像轉(zhuǎn)化為查詢向量，并根據(jù)查詢向量與數(shù)據(jù)庫中特征向量的相似度大小按序輸出結(jié)果。

2 顏色和SIFT特征融合的檢索算法

算法采用基于RGB顏色空間的灰度直方圖和SIFT描述符綜合描述圖像內(nèi)容，一方面充分利用顏色直方圖特征提取計算量小和相似度計算簡便的優(yōu)勢，把顏色直方圖作為輔助特征，實現(xiàn)快速粗檢索，縮小檢索范圍;另一方面利用SIFT描述子能充分描述圖像空間信息，并且對圖像的旋轉(zhuǎn)、尺度等變化具有很高的魯棒性的優(yōu)勢，把SIFT特征作為主特征，在粗檢索得出的中間集上進行細檢索，查詢圖像匹配SIFT特征，得出相似度，最后根據(jù)相似度進行從大到小排序，得到最后結(jié)果集。

2.1 特征提取

2.1.1 基于灰度直方圖的顏色特征提取

在顏色檢索中，顏色直方圖是最通用的顏色特征表示形式，它運用了統(tǒng)計學(xué)的方法，體現(xiàn)了三個顏色通道分布密度的聯(lián)合分布概率。本文將彩色圖像轉(zhuǎn)化為灰度圖像，將RGB三個分量變成一個灰度分量，再用顏色空間量將原來龐大的直方圖下降到可接受的程度。

給定一幅圖像(fxy)M×N，fxy表示像素點(x，y)處的顏色值，M×N表示圖像的尺寸，圖像所包含的顏色集記為C，則圖像的顏色直方圖可表示為

得到圖像的顏色特征為32維特征向量，可表示如下:

2.1.2 SIFT特征提取

SIFT特征提取可分解為兩個子模塊，即檢測特征點模塊和生成特征描述符模塊［3］。SIFT算法的主要步驟為:

①構(gòu)建高斯尺度空間和高斯差分尺度空間;

②檢測特征點;

③確定穩(wěn)定特征點;

④確定特征點主方向;

⑤生成特征點描述符;

⑥匹配特征點。

由于SIFT特征描述符是基于特征點鄰域像素梯度變化的，所以對于特征點而言，鄰域窗口內(nèi)像素的梯度變化越大，特征描述符的獨特性就越好，進行描述符匹配時正確匹配的概率就越高。因為Harris角點的鄰域窗口內(nèi)像素具有顯著的梯度變化，因此本文使用Harris角點對SIFT特征提取算法進行改進。算法首先按照傳統(tǒng)SIFT算法在像素點鄰域內(nèi)檢測極值點，接著在極值點鄰域內(nèi)檢測該極值點是否是Harris角點，如果是角點，則保留該極值點為特征點，否則直接丟棄該極值點。

不同的尺度空間上角點檢測公式為

式中:σ1是積分的尺度;σs是特征點所在的尺度。

分別使用傳統(tǒng)SIFT和改進的SIFT對同一幅圖像檢測特征點，結(jié)果如圖2所示。

圖2 兩種算法檢測特征點結(jié)果Fig.2 Search result of two algorithem

2.2 相似性度量

2.2.1 顏色直方圖匹配

對上面得到的圖像，使用歐氏距離計算兩個顏色特征向量的距離。令Hp(k)和Hq(k)分別為數(shù)據(jù)庫圖像p和查詢圖像q的特征向量，則兩圖像顏色特征的歐式距離可定義為

特征向量間歐式距離越小，說明相似度越大。

2.2.2 SIFT特征匹配

以兩個特征點描述符之間的歐式距離作為特征點匹配的相似度準(zhǔn)則。假設(shè)特征點對p和q的特征描述符分別為Desp和Desq，則其歐式距離定義為

使用基于 k－d樹的近似最近鄰搜索算法(Best－bin－first，BBF)在歐式空間中尋找各特征向量的最近鄰和次近鄰［4］，比如尋找特征點p歐式距離最近和次近的兩個鄰居特征點q'和q″，然后計算p與q'及p與q″兩組描述符之間歐氏距離的比值。如果小于規(guī)定的某個閾值，則認為匹配成功，接受點對(p，q')為一對匹配點;否則匹配失敗。本文取閾值為0.45。

設(shè)Nq和Np分別表示查詢圖像q和數(shù)據(jù)庫圖像p提取的特征點個數(shù)，應(yīng)用BBF算法得到圖像q和p匹配特征點個數(shù)為N_of_Mateched，則定義查詢圖像q和數(shù)據(jù)庫圖像p的相似度為

3 計算結(jié)果與比較

實驗圖片集大致分為三類:人臉圖片、自然景物和同一物體仿射變換處理后的圖像。選取其中32幅具有代表性的圖片作為查詢圖像。

圖3是本文算法對某一自然景物圖像的檢索返回結(jié)果，圖4是本文算法對一幅建筑物圖像檢索的返回結(jié)果。其中左邊的圖像是查詢圖像。圖中只列出了結(jié)果的第一頁，也就是最相似的圖像。其中包括圖像及與目標(biāo)圖像的相似度。

圖3 基于本文算法自然景物檢索結(jié)果Fig.3 Search result using color characteristics

圖4中采用本文算法返回的前10張圖像都是相似圖像，唯一的瑕疵是第7位和第4位位置應(yīng)該互換。

圖4 基于本文算法建筑物檢索結(jié)果Fig.4 Search result using method of this article

①查全率和查準(zhǔn)率。

本文采用查準(zhǔn)率/查全率作為系統(tǒng)性能評價準(zhǔn)則。結(jié)果為1表示最優(yōu)檢索，0表示最差檢索，其定義如下所示:

式中:Pn，Rn分別表示查準(zhǔn)率和查全率，tp表示返回的相關(guān)圖像個數(shù)，n表示相關(guān)圖像個數(shù)，k表示返回圖像個數(shù)。

32次檢索結(jié)果的平均查準(zhǔn)率Pn和查全率Rn如表1所示，在表1中，A1表示基于顏色直方圖算法，A2表示本文算法，A3表示基于SIFT特征算法。

表1 三種算法的查全率和查準(zhǔn)率Table 1 Recall rate and precision of three algorithms

所有檢索結(jié)果的查全率和查準(zhǔn)率如圖5和圖6所示。

圖5 算法對三類圖像的查全率Fig.5 Recall rate of algorithm on three types of image

圖6 算法對三類圖像的查準(zhǔn)率Fig.6 Precision of algorithm on three types of image

基于顏色直方圖算法的檢索能力很差，基于SIFT特征算法的檢索能力則非常強，擁有超過0.9的查全率和查準(zhǔn)率。而本文算法的檢索能力比基于SIFT特征算法略弱，但查全率和查準(zhǔn)率也在超過了0.8。

②檢索響應(yīng)時間。

搜索引擎的檢索響應(yīng)時間是指系統(tǒng)平均完成一次檢索的耗時，可用如下表達式描述:

式中:T表示平均檢索時間;n表示檢索次數(shù);tn表示n次檢索響應(yīng)時間總和。3種算法對于32次檢索所需時間如圖7所示。

圖7 三種算法的查詢響應(yīng)時間Fig.7 Query response time of three algorithms

對于圖像庫中存在500幅圖像規(guī)模，基于顏色直方圖算法每次檢索所需時間最短，平均檢索時間3.5 s左右;基于SIFT特征算法最長，平均大于60 s，大大超過了用戶的忍耐度;本文算法居中，平均檢索時間為12 s左右，這是因為算法先使用顏色特征過濾了大部分?jǐn)?shù)據(jù)。

4 結(jié)論

本文提出了一種融合顏色特征和SIFT特征的圖像檢索算法。算法使用顏色特征匹配縮小檢索范圍，得到一個中間集合;對中間集合應(yīng)用SIFT算法，得到最終結(jié)果集和匹配的相似度。結(jié)果表明，算法綜合檢索能力良好，查全率和查準(zhǔn)率遠高于單獨使用顏色特征算法，而平均檢索響應(yīng)時間遠低于單獨使用SIFT特征檢索算法，對同一物體經(jīng)過旋轉(zhuǎn)、尺度縮放、平移等處理后的圖像表現(xiàn)出很好的檢索能力，該多特征融合算法是切實可行的。

［1］Niblack W.The QBIC project:Querying image by content using color，texture and shape［C］∥SPIE，1993: 173－187.

［2］周明全，耿國華，韋娜.基于內(nèi)容圖像檢索技術(shù)［M］.北京:清華大學(xué)出版社，2007.

［3］Riepe W，Steller M.Characterization of coal and coal blends by automatic image analysis［J］.Fuel，1984，63 (3):313.

［4］Zhan Hong－liang，Zhong Di.A scheme for visual feature based image retrieval［C］∥Proc SPIE Storage and Retrieval for Image and Video Database，1995.