基于綜合特征和ＳＶＭ相關反饋的圖像檢索

摘 要：提出綜合紋理、顏色和形狀特征的圖像檢索方法。首先采用Gabor小波計算ROIs(Regions of Interest)的位置和數目；然后在ROIs中，使用Gabor小波提取紋理特征，采用YUV空間直方圖和顏色矩表示顏色特征，使用Zernike矩提取形狀特征。為了提高圖像檢索的準確度，最后采用基于支持向量機(SVM)的相關反饋算法。實驗結果表明，提出的方法具有較好的檢索性能。

關鍵詞：圖像檢索；特征提取；Zernike矩；紋理分析；相關反饋；支持向量機

中圖分類號：TP3914 文獻標識碼：B 文章編號：1004373X(2008)1614304

Image Retrieval Based on Integrative Features and SVM Relevance Feedback

WU Kai，GU Shiwen，LIU Yinglong

(College of Information ScienceEngineering，Central South University，Changsha，410075，China)

Abstract：The main focus in this paper is on integrated color，texture and shape extraction methods for CBIR.Original CBIR methodology that uses Gabor filtration for determining the number of Regions of Interest (ROIs).In the ROIs extracted，texture features based on thresholded Gabor features，color features based on histograms，color moments in YUV space，and shape features based on Zernike moments are then calculated.At last，an algorithm of the support vector machine for improving veracity of image retrieval is applied.The result of experiment illustrate proposed method have a better retrieval performance.

Keywords：image retrieval;feature extraction;Zernike moments;texture analysis;relevance feedback;support vector machine

1 引 言

近年來，隨著多媒體和網絡技術的迅速發展，人們越來越多地接觸到大量的圖像信息。為了能夠從這些大量的圖像數據中快速準確地找到用戶所需內容的圖像，基于內容的圖像檢索(CBIR)技術已經成為一個研究的熱點。其應用領域涉及多媒體數據庫、電子圖書館、商標管理、衛星圖像管理等方面^［1，2］。

圖像包含豐富的內容，提取圖像的一種特征往往只能表達圖像的部分屬性，對內容的描述比較片面；提取圖像全局特征的方法，沒有對圖像目標重要區域信息集中提取，不能反映目標區域綜合特征^［14］。在目標區域中使用顏色、紋理和形狀特征描述一幅圖像的特征^［5，6］，在圖像目標區提取圖像紋理，顏色和形狀綜合特征信息，然后進行圖像檢索，是本文研究的重點。

本文首先采用Gabor過濾器提取一定數量的POIs(Points of Interest)，圍繞每個POIs選取一個適當大小的區域(ROIs) (Regions of Interest)作為特征向量提取的目標區域，使用基于閾值Gabor小波變換提取圖像紋理特征，基于YUV空間的顏色矩和直方圖提取顏色特征^［7］，和基于Zemike矩提取形狀特征。為了進一步提高圖像檢索的精度，最后采用SVM的相關反饋算法. ［810］。實驗結果表明，提出的方法具有良好的檢索性能，系統具有較好的魯棒性。

2 Gabor過濾器和POIs的提取

對于圖像目標區域的提取，第一步檢測圖像的POI，通過POIs的輔助，來提取圖像ROIs， POI的檢測首先使用Gabor小波變換對圖像進行分解，用到的二維的Gabor過濾器為：

ψ(x，y;σ，λ，θk)=expx.2θk+γ.2y.2θk2σ.2exp2πxθkλi(1)

式(1)中xθk=xcos θk+ysin θk，yθk=-xsin θk+ycos θk，σ是沿x和y方向的高斯包絡線的標準差，γ是空間縱橫比；λ和θk分別是波長和方向。這里僅使用信號的奇成分，通過在xy平面上變化角度θk，產生在角度θk上的Gabor過濾器，θk=π/n(k-1)(k=1，2，…，n)，n∈N，n表示方向的數目。在本文的CBIR系統中，使用4個方向的角度：0°，45°，90°，135°。圖像f(x，y)和二維的Gabor奇過濾器ψo(x，y;σ，λ，θk)進行反卷積，獲得一個Gabor小波過濾后的圖像Φo(x，y)表示如下：

Φo(x，y;σ，λ，θk)=∑η∑ζf(η，ζ)·

ψ(x-η，y-ζ;σ，λ，θk)dηdζ(2)

POI提取的算法如下，分為4個步驟：

(1) 將Gabor小波過濾后的圖像Φo(x，y;σ，λ，θk)分成沒有重疊的大小為a×a的塊b.k(i，j)(k=1，2，3，4)(假設分為p塊)；

(2) 計算每個分割塊的V.k(i，j)(V.k(i，j)=1a.2∑ai=0∑aj=0b.k(i，j))；

(3) 在p塊個分割b.kp(i，j)塊中尋找最大值的V.k(i，j)的塊，表示圖像的輪廓；

(4) 在每個塊b.kp(i，j)中尋找大于某個設定的閾值的V.k(i，j)，滿足條件的坐標點是圖像的POI。

3 在ROIs中提取紋理、顏色和形狀特征

3.1 基于Gabor過濾器的紋理特征

通過找到的POIs確定ROIs，計算每個ROI中能量和熵，作為圖像的紋理特征。對圖像使用Gabor過濾器后，應用一個閾值函數獲得圖像的特征。公式表示為：To(x，y;σ，λ，θk)=χ(Φo(x，y;σ，λ，θk))(3)式(3)中χ(z)＝0 z<0

zz≥0。

在每個ROIs中計算熵和能量，在一個A×B尺寸的ROI中(A，B為目標區域的尺寸)，歸一化的能量和熵能通過下列公式計算：Et=∑x∑yT.2o(x，y;σ，λ，θk)(A·B).2(4)

Entropy=-1(A·B)×∑x∑y{\\×

log2\\}(5) 計算的得到的紋理特征向量表示為：

Ftexture={Et1，Et2，…，Etp，Entripy1，Entropy2，…，

Entropyp}(6)

式(6)中p是ROIs的數目。紋理相似度度量公式如下(Q為要檢索的圖像，D為數據庫中的圖像)：d.(Q)(D)p=E.(Q)tp-E.(D)tp+Entropy.(Q)p-Entroopy.(D)p(7)3.2 顏色特征提取

在ROIs中提取顏色特征向量，采用的是YUV顏色空間，Y表示顏色的亮度，U，V表示顏色的色度：Y＝R+2G+B4〗；U=R-G；V=B-G(8) 為每個A×B大小的ROI中構造直方圖：Hx(j)=number of pixel with luminance jnumber of pixels in x(9) 按照式(9)計算在圖像中每個ROI的顏色直方圖(Ep)。另外，圖像的顏色內容同時通過用顏色矩值(σp)表示：Ep=1A·B∑A·Bs=1Yps

σp=1A·B∑A·Bs=1(Yps-Ep).2 顏色特征向量定義為：Fcolor={HQ1，HQ2，…，HQP，E1，E2，…，

EP，σ1，σ2，…，σP}(10) 式(10)中p是ROIs的數目。圖像的直方圖的相似度度量定義為：d.(Q)(D)p(Dp，Ep，σp)=∑pd.(Q)(D)p(11)式(11)中：

d.(Q)(D)p=Hp(Q)-Hp(D)+Ep(Q)-Ep(D)+

σp(Q)-σp(D)(12)

3.3 形狀特征以及Zernike矩

在ROIs中形狀的特征的提取采用Zernike矩方法。在計算圖像f(x，y)的Zemike矩時，把圖像f(x，y)映射到一個單位圓，圖像的中心是單位圓的圓心，在單位圓范圍外的像素點在計算時忽略。從提取的p個ROIs中計算圖像中的Zernike矩，計算方法在如下描述。

表1 Zemike矩多項式(部分)

(n，m)Rnm(r)(n，m)Rnm(r)(0，0)1(1，1)r(2，0)2r.2-1(3，1)3r.3+2r(2，2)r.2(3，3)r.3(4，0)4r.4+2r.2+1(5，1)5r.5+4r.3+3r(4，2)4r.4+3r.2(5，3)5r.5+4r.3(4，4)r.4(5，5)r.5

Zernike矩是一序列正交的Zernike多項式(如表1所示)，這些多項式定義域為單位圓。Zernike矩(ZM)多項式的次數由兩個參數決定：n和m(如表1所示)，Zernike矩的Znm由圖像f(x，y)決定，Zernike矩的Znm定義為：

Znm=n+1π∫.∞-∞∫.∞-∞\\*f(x，y)dxdy(13)

式(13)中f(x，y)是圖像在點(x，y)處的亮度，\\為：

Vnm(x，y)＝Vnm(ρcos(θ)，ρsin(θ))=Rnm(ρ)e.imθ(14)

n-|m|是一個偶正整數。式(16)中Rnm(ρ)的定義如下：Rnm(ρ)=∑n-|m|2S=0(-1).S\\ρ.n-2SS!(n+|m|2-S)!(n-|m|2-S)!(15) 因為Zernike函數定義域為一個單位圓，所以要求計算時把方形的圖像轉換為圓形的圖像如圖1所示。

圖1 方形圖像到圓形圖像轉換在實際的計算中，必須把式(13)離散化：

Znm=4(n+1)(N-1)(M-1)π∑M-1k=0∑N-1l=0f(k，l)Rnm(ρk，l)e.-jmθkl

0≤ρk，l≤1(16)

式(16)中ρk，l= x.2k+ y.2l ;θkl= arctan(ylxk)。

其中xk=2M-1k+-12；yl=2N-1l+-12(17) 式(17)k=0，…，M-1和l=0，…，N-1。Zernike矩具有旋轉不變的特性，Zernike矩能比較好的描述圖像的形狀特征，使用下面的特征向量作為圖像的形狀特征向量：SFV=(Z1m，Z2m，…，Znm)(18)

4 支持向量機的相關反饋

4.1 相關反饋

為了進一步提高圖像檢索的精確度，用戶在是使用相似度計算進行檢索后，對檢索的結果進行評價，標記出相關和不相關的圖像，然后提出基于SVM的相關反饋算法，將圖像按相似度的大小返回給用戶。系統的檢索結構框圖如圖2所示：

4.2 支持向量機(SVM)

假定某個超平面w·x+b=0，可以2類分開，它所對應的分類函為g(x)=w·x+b。將g(x)歸一化后，求解最優分類面的問題等價于最小化‖w‖，目標函數為:min φ(w)=12‖w‖.2=12w.T·w(19) 式(19)的條件為：yi(+b)≥1，i=1，2，…，n，最優解是下面定義Lagrance函數的鞍點：L(w，b，α)=12‖w‖.2-∑ni=1αi(yi(w·xi+b)-1)(20) 上式分別對w和b求偏導，并令它們等于0 ，這個最優解還必須滿足約束條件：

αi(yi(w·xi+b))-1=0，i=1，2，…，n，最終可得到判別函數為：

f(x，a′，b′)＝sgn(∑ni=1yiαi′+b′)(21)

對于線性不可分的情況，目標函數φ(w)改寫為：min φ(w)＝12w.T·w+C(∑ni=1ξ)(22) 利用核函數K(x，y)代替原來的點積，最優分類函數為：f(x，a′，b′)=sgn(∑ni=1yiai′K(xi，x)+b′)(23)圖2 系統結構圖5 實 驗

基于上述思想，實現了一個圖像檢索系統，該系統在Windows XP下開發，運行在P43.0 G，RAM 1 G的PC機上對一個具有3 000幅的彩色圖像數據庫進行處理。檢索的效果有2個度量標準：precision和recall。precision是被檢索到的圖像和在數據庫中相關的被檢索圖像的總數的比率，recall是被檢索到的圖像和在數據庫中相關的圖像的總數的比率。Recall和precision定義如下：R=NT和P=NK(24)式(24)中，N是相關的被檢索的圖像數量；T是相關圖像的總數；K是檢索的圖像的數量。

實驗用本文的方法與其他3種其他不同的圖像檢索方法在檢索性能上做了比較，本文的方法為基于相關反饋的在ROI中綜合特征提取的方法。其他3種方法分別為：在ROI中的綜合特征的提取方法、綜合特征(color+texture+shape)的提取方法和只提取顏色和紋理的方法。實驗結果對比如下：

圖3 對比結果圖4 綜合特征提取的結果圖5 基于相關反饋的在ROI中綜合特征提取的結果

6 結 語

本文首先在ROIs中提取顏色、紋理、形狀綜合特征，然后對圖像進行檢索。在檢索過程中，提出基于SVM的相關反饋技術，加強用戶的交互，縮小底層特征和高層語義之間的語義鴻溝，提高了檢索精度。由于系統僅計算的ROIs中的顏色、形狀和紋理綜合特征向量，增強了系統的有效性和魯棒性，大大改善了圖像檢索的性能。實驗結果表明，該方法提高了檢索的效率，且具有良好的魯棒性。

參 考 文 獻

［1］Smeulders A W M，Worring M，Gupta A，et al.Contentbased Image Retrieval at the end of the Early Years\\.IEEE Trans.Pattern Anal.Machine Intell.，2000，22:1 3491 380.

［2］Choras R.Contentbased Retrieval Using Color，Texture，and Shape Information.Progress in Pattern Recognition，Speech and Image Analysis，Springer，Heidelberg，2003.

［3］Howarth P.Rüger S.Evaluation of Texture Features for Contentbased Image Retrieval\\.Image and Video Retrieval.Springer LNCS，2004.

［4］Flicker M，Sawhney H，Niblack W，et al.Query by Image and Video Content:The QBIC System.IEEE Comput.Mag.，1995，28:2332.

［5］章毓晉.基于內容的視覺信息檢索［M］.北京:科學出版社，2003.

［6］Smith J R，Chang S F.VisualSEEK:A Fully Automated Contentbase Image Query System.In:Proceedings of the ACM International Conference on Multimedia，Boston，MA，1997:8798.

［7］曹莉華，柳偉，李國解.基于多種主色調的圖像獲取算法研究與實現［J］.計算機研究與發展，1999，36(1):96100.

［8］鐘洪，夏利民.基于本體的圖像檢索［J］ 計算機工程與應用，2007，43(17):3740.

［9］邊肇祺，張學工.模式識別［M］.北京:清華大學出版社，2003.

［10］Bach JR，Fuller C，Gupta A，et al.The Virage Image Search Engine:An Open Framework for Image Management.SPIE Storage RetrStill Image Video Database 1996:7687.

作者簡介 吳 凱 男，1980年出生，碩士，湖南岳陽人。研究方向為圖像處理、模式識別。

谷士文 男，1944年出生，教授，湖南長沙人，博士生導師。研究方向為圖像處理、模式識別。

劉應龍 男，1958年出生，湖南長沙人，副教授。研究方向為多媒體工業視覺(機器人視覺)檢測。

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文