結合穩定興趣點和Gabor小波的圖像檢索

閆允一,姜 帥,郭寶龍

(西安電子科技大學智能控制與圖像工程研究所,陜西西安 710071)

結合穩定興趣點和Gabor小波的圖像檢索

閆允一,姜 帥,郭寶龍

(西安電子科技大學智能控制與圖像工程研究所,陜西西安 710071)

提出了一種基于穩定興趣點和紋理特征的圖像檢索算法.該算法首先利用優化的Hessian檢測器檢測圖像中的穩定興趣點,并計算穩定興趣點的環形鄰域的偽澤尼克矩;然后,利用Gabor小波變換提取圖像的紋理特征;最后,用不同圖像偽澤尼克矩和紋理之間的差異來衡量圖像的相似度,實現圖像檢索.實驗結果表明,與其他基于興趣點或者紋理特征的檢索方法相比,該算法能夠降低不穩定興趣點的影響,有效提高了圖像檢索的準確率和查全率.

圖像檢索;興趣點;Hessian檢測器;Gabor小波變換;紋理特征

興趣點是一種重要的圖像視覺特征,具有計算量小、信息含量高的特點.利用興趣點,可以大大降低圖像檢索中需要處理的數據量,因此被廣泛應用于許多基于內容的圖像檢索(Contents-Based-Image Retrieval, CBIR)系統[1]中.近年,利用興趣點檢測器獲取興趣點的位置,并利用基于興趣點的局部特征描述方法對其圖像進行特征提取,最后再進行相似度匹配的圖像檢索方法已經受到廣泛關注[2].紋理特征是圖像的重要特征之一,它能夠反映鄰域像素灰度的分布規律,其中小波分析是一種全新的時、頻分析,是信號的時間尺度分析方法.近年來越來越多的研究集中于如何借助小波變換進行圖像紋理分析.Wol等[3]采用興趣點局部Gabor特征檢索的方法,根據各個不同尺度和方向的最大幅值生成一列直方圖表示圖像進行檢索;Jian等[2]使用密度的聚類算法對興趣點進行聚類,使用各類興趣點的顏色矩和Gabor特征的加權特征向量進行檢索;符祥等[4]在興趣點局部計算澤尼克矩,通過比較各興趣點局部澤尼克矩的歐氏距離來提取最優匹配點對,取出不匹配的興趣點,然后利用興趣點的空間離散度來估計圖像內容的相似性[5].

以上這些研究成果更多地考慮了興趣點的空間分布信息和紋理特征,不再是早期算法中將圖像匹配算法的簡單移植,提高了圖像檢索的準確度.但是,由于傳統的興趣點檢測器檢測的興趣點通常會存在點位置偏差和誤檢的問題,使得基于興趣點圖像檢索的準確率并不高.針對這一點,筆者提出了一種圖像檢索新算法.該算法利用優化Hessian檢測器檢測穩定的興趣點,并結合Gabor小波變換提取紋理特征,采用穩定興趣點鄰域內偽澤尼克矩和Gabor小波變換提取的紋理特征加權向量來進行特征描述.實驗結果表明,該算法具有較好的檢索性能.

1 興趣點檢測

角點是主要的一類興趣點,Hessian角點檢測器[6]可檢測具有輪廓和直線上局部最大值的點,因此被廣泛應用于圖像檢索中.該檢測器通過利用一個高斯窗或者矩形窗在圖像上移動,由模板窗口取得原圖像衍生出2×2的局部結構矩陣,該矩陣定義為

其中,h為高斯窗平滑函數;Gxx、Gyy和Gxy為圖像亮度I(x,y)在點(x,y)處的二階梯度.

可以由基坐標梯度的線性組合表示任意方向上的一階梯度,其表達式為

其中,下角標u=(ux,uy)T,表示單位向量[7].依據一階梯度的表達式,可定義一個二階梯度的線性代數表達式為

其中,Gx和Gy分別為圖像沿x和y方向的梯度值,定義為

對式(5)進行傅里葉變換,得到

在頻域下,兩個一階濾波器分別表示為P(ω)和Q(ω),可通過濾波器的最小二乘函數(WLS)將誤差[jωP(ω)-Q(ω)]精確到最小化.例如,高頻部分由濾波器Q(ω)產生的誤差可以通過濾波器P(ω)減小.

考慮到上述因素,濾波器的WLS可定義為

一階梯度濾波器p和q均選擇三拍的,因為三拍的濾波器不僅對低頻部分和高頻部分的估計較精確,而且計算簡單.將三拍的一階濾波器和代入式(7),對其進行全局優化,計算得到當E 2取最小值時的p(n)和q(n),如表1所示.

表1 濾波器p和q的值

對上述結果進行歸一化,便可得到優化梯度濾波器p=(3/16 10/16 3/16)和q= (-1/2 0 1/2).將信號I(x)分別與兩個濾波器進行卷積,得到{I*p}(x)和{I*q}(x),并將它們分別作為原信號和該信號的梯度形式,即可得到優化Hessian檢測器;然后利用該檢測器對圖像進行興趣點檢測,就能夠得到比Hessian檢測器更為精確的興趣點.

2 基于興趣點環形區域的偽澤尼克矩

偽澤尼克矩的抗噪性比澤尼克矩的抗噪性更強,并具有旋轉不變性和魯棒性.文中采用興趣點鄰域內偽澤尼克矩作為圖像特征加權向量,具有更高的準確性.

根據文獻[8]中的劃分方法,將圖像空間按照興趣點的空間劃分成l個同心圓環,如圖1(a)中的圓環和圖1(b)中的圓環,再以每個興趣點為中心展開其周圍3×3鄰域,然后統計每個圓環內部興趣點鄰域的偽澤尼克矩.偽澤尼克矩是一種正交復數矩,它所利用的正交多項式集是一個在單位圓(x2+y2≤1)內的完備正交集.圖像I(x,y)的(n,m)階偽澤尼克矩定義[8]為

對于數字圖像,在極坐標下,式(8)變為

計算圖像的偽澤尼克矩時,選圖像的興趣點為極坐標的原點,將單位圓內的像素映射為極坐標,單位圓外的像素在計算時不予考慮.

圖1 空間區域劃分示意圖

3 紋理特征提取

圖像紋理反映的是圖像的一種局部結構化特征.基于頻域的能量分布能夠鑒別紋理的基本假設,小波變換方法通過濾波器或濾波器組將紋理轉到變換域,然后應用某種能量準則提取紋理特征[9].文中采用Gabor小波變換提取紋理特征,其原因是紋理是窄帶信號,不同紋理一般具有不同的中心頻率及帶寬.

Gabor濾波器將輸入紋理圖像I(x,y)與Gabor小波進行卷積,可得到不同方向和尺度的子帶.設I(x, y)的大小為M×N,則經Gabor分解輸出的圖像為

其中,ψmn(x,y)是對Gabor小波基函數ψ(x,y)進行尺度伸縮和旋轉變換后形成的Gabor小波族,可表示為

其中,x′=a-m(x cosθ+y sinθ),y′=a-m(y cosθ-x sinθ),θ=nπk,k是方向數,a-m是尺度因子.則二維Gabor波的基函數可定義為

其中,ψ(x,y)是經過復數正弦函數調制的Gaussian函數;σx和σy分別為Gabor波基函數沿x軸和y軸方向的方差;ω為中心頻率.這里,Gabor波基函數是以(ω,0)為中心頻率的帶通濾波器.由式(11)計算出的均值μmn和標準方差σmn可以作為圖像的紋理特征,其表達式為

Arivazhagan等[10]通過實驗給出了方向數和尺度數取值分別為6和4時顯著性最高的依據[11],因此,文中不再累述,并分別選取方向數為6、尺度數為4作為參考取值.特征向量可表示為:f(μ00,σ00;μ01,σ01;…;μ35,σ35).

4 相似性度量

設Q為待查詢圖像,I為圖像庫中的一副圖像,使用加權特征距離度量它們內容的相似度.用Szernike和Stexture分別表示圖像Q和I的偽澤尼克矩的特征相似度和紋理特征相似度.圖像總的相似度可表示為

其中,ωz和ωt是兩個可調整的權值,且滿足ωz+ωt=1;fQ和fI分別是圖像Q和圖像I的紋理特征向量;N為興趣點總數目;ωk為在第k個圓環興趣點的數目;P是圖像的偽澤尼克矩.S的值越小,則視為越相似.ωz和ωt的選擇是依據相應組成部分的貢獻度決定的,可利用基于權系數調整,又稱之為相似性度量更新的方法,它是根據反饋信息適當調整距離公式中的權系數來達到優化匹配結果的目的的.首先,權重被設置成一些預設值,通過計算出的檢索結果,對于符合用戶要求的情況,分析它們的各個分量,對貢獻度大的權值增大,對貢獻度小的就減小權值.經過反饋迭代后,權重便可以接近最優值.由于該相關反饋的問題超出了文中的研究范圍,為簡單起見,假設每一個部分對相似性判斷具有同等的貢獻度,因此,取ωz=ωt=0.5.

5 實驗結果

為驗證文中算法的檢索性能,將文中算法與文獻[4,8]的算法進行比較,采用的是從Corel圖像庫中抽取的1 000幅圖像(下載網址是http://wang.ist.psu.edu/～jwang/test1.tar),這些圖像分屬于10個圖像類,每類100張.在相同的軟硬件環境(軟件環境:VC++6.0,WindowsXP;硬件環境:Pentium(R)D CPU 2.8 GHz,1.5 GB內存)下,通過比較查準率來評價檢索性能.

表2 文中算法與其他算法的檢索性能比較

查準率的定義為:PT=nT,其中,n為1次查詢返回的相關圖像數目,T為1次查詢返回的圖像數目.實驗時,提取150個興趣點,興趣點環形劃分數為6.具體實驗步驟如下:從每類圖像中抽取10幅圖像分別作為查詢圖像,由式(16)分別計算出每幅圖像的P10、P20和P30,然后計算每類圖像的平均值ˉP10、ˉP20和ˉP30,實驗結果如表1所示.從表1可以看出,文中算法較文獻[4,8]的算法有明顯優勢.

圖2是上述3種不同算法對馬類圖像的檢索結果比較.圖2(a)是文獻[4]采用興趣點匹配和空間分布的檢索結果,圖2(b)是文獻[8]采用興趣點顏色及空間分布方法的檢索結果,圖2(c)是文中穩定興趣點及紋理特征結合算法的檢索結果.圖2中返回的圖像是20幅,左上角第1幅圖像為查詢圖像,其余圖像是查詢結果,從左到右,從上到下,相似度依次減小.經分析發現,在查詢結果中,文中算法查詢正確的圖像有18幅,準確度為90%;文獻[4]查詢正確的圖像有14幅,準確度為70%;文獻[8]查詢正確的圖像有15幅,準確度為75%.實驗結果說明,用穩定興趣點環形區域偽澤尼克矩和紋理特征有效結合,并將加權特征作為特征向量進行檢索后,圖像的準確度更高.

圖2 3種算法對馬類圖像的檢索結果

查全率的定義為:PR=nR,其中,n為1次查詢返回的相關圖像數目,R為1次查詢返回的查詢結果個數.查準率用來評價檢索結果的準確性,而查全率用來評價檢索結果的全面性.若查準率和查全率越高,則算法的檢索性能就越好.但研究表明,查準率和查全率之間成反比關系,隨著檢索返回結果數的增加,查全率越來越高,查準率則越來越低.查準率(PT)和查全率(PR)是應用最廣泛的評價標準.

為進一步說明文中算法的檢索性能,從特征提取時間復雜度和圖像檢索時間復雜度兩個方面與文獻[4,8]的算法進行比較,如圖3所示.具體步驟為:從Corel圖像庫中任意取100幅圖像,分別用文中算法、文獻[4]的算法和文獻[8]的算法提取特征,提取特征所用的平均時間分別為25.53s、45.65 s和43.58 s;分別用文中算法、文獻[4,8]的算法在Corel圖像庫中檢索出與查詢圖像相似度最大的20幅圖像,平均檢索時間分別為1.83 s、3.69 s和2.45 s.實驗結果表明,文中算法的特征提取時間復雜度和圖像檢索時間復雜度均小于其他兩種算法.算法復雜度包括特征檢測、特征匹配、紋理特征提取及圖像檢索.假設輸入圖像為E×F個像素,兩幀圖像分別檢測的特征點數為E×F和E×F,得到的一致匹配對為E×F,利用RANSAC方

法篩選的匹配對為E×F,提取的紋理特征大小是E×F,則計算復雜度為O(M×N)+O(A2B2)+ O(p2)+O(E×F).可利用匹配對搜索抑制方法來獲得更快的計算速度.同時,特征檢測和特征匹配時間約占圖像檢索時間的20%,當特征匹配的數量較大時,可通過分塊計算最優變換模型的辦法來減少計算時間.

圖3 3種方法的查全率查準率曲線比較

6 結束語

文中算法利用優化Hessian檢測器檢測出穩定的興趣點,降低了不穩定興趣點的影響,通過穩定興趣點集合劃分得到環形區域,并在環形區域中獲得穩定興趣點鄰域內的偽澤尼克矩;然后采用Gabor小波變換提取紋理特征;最后使用加權特征向量進行圖像檢索.從理論分析可知,該算法具備偽澤尼克矩所具備的旋轉、平移和縮放不變性.而且實驗結果表明,文中算法復雜度小,檢索準確度高,具有較好的檢索性能,但是沒有考慮圖像顏色的空間分布信息.在今后的研究中,將把顏色的空間分布信息融入文中算法中.同時,使用種類更全、數量更大的數據庫,也是今后研究工作的重點.

[1]Zakariya S M,Ali R,Ahmad N.Combining Visual Features of an Image at Different Precision Value of Unsupervised Content Based Image Retrieval[C]//Proceedings of International Conference on Computational Intelligence and Computing Research.Piscataway:IEEE,2010:110-113.

[2]Jian Muwei,Chen Shi.Image Retrieval Based on Clustering of Salient Points[C]//2nd International Symposium on Intelligent Information Technology Application.Piscataway:IEEE,2008:347-351.

[3]Wol C,Jolion J,Kropatsch W,et al.Content Based Image Retrieval Using Interest Points and Texture Features[C]// Proceedings of 15th International Conference on Pattern Recognition.Los Alamitos:IEEE,2000:234-237.

[4]符祥,曾接賢.基于興趣點匹配和空間分布的圖像檢索方法[J].中國激光,2010,37(3):774-778.

Fu Xiang,Zeng Jiexian.A Novel Image Retrieval Method Based on Interest Points Matching and Distribution[J]. Chinese Journal of Lasers,2010,37(3):774-778.

[6]孟繁杰,郭寶龍.使用興趣點局部分布特征及多示例學習的圖像檢索方法[J].西安電子科技大學學報,2011,38(2): 47-53.

Meng Fanjie,Guo Baolong.Image Retrieval by Using Local Distribution Features of Interest Points and Multipleinstance Learning[J].Journal of Xidian University,2011,38(2):47-53.

[7]Freeman W T,Adelson E H.The Design and Use of Steerable Filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1991,13(9):891-906.

[8]孟繁杰,郭寶龍.一種基于興趣點顏色及空間分布的圖像檢索方法[J].西安電子科技大學學報,2005,32(2):256-259.

Meng Fanjie,Guo Baolong.A Novel Image Retrieval Algorithm Based on the Color and Distribution of Interest Points [J].Journal of Xidian University,2005,32(2):256-259.

[9]Mukundan R,Ramakrishnan K R.Moment Functions in Image Analysis—Theory and Applications[M].Singapore: World Scientific Publishing,1998.

[10]Arivazhagan S,Ganesan L,Priyal S P.Texture Classification Using Gabor Wavelets Based Rotation Invariant Features [J].Pattern Recognition Letters,2006,27(16):1976-1982.

[11]Roslan R,Jamil N.Texture Feature Extraction Using 2-D Gabor Filters[C]//IEEE Symposium on Computer Applications and Industrial Electronics.Washington:IEEE Computer Society,2012:173-178.

(編輯:齊淑娟)

簡 訊

日前,美國俄亥俄州立大學設計創新與仿真實驗室與我校電子裝備結構設計教育部重點實驗室聯合成立了微/納精度機構設計與控制研究中心.依托該研究中心,雙方將致力于微/納精度機構工作機理動態分析與設計原理、可靠性分析與設計,以及控制領域的基礎性問題研究,并開展微/納精度機構的機電一體化實踐和應用.

(摘自《西電科大報》2014.8.14)

Image retrieval using stable interest points and Gabor wavelet

YAN Yunyi,JIANG Shuai,GUO Baolong
(Research Inst.of Intelligent Control&Image Engineering,Xidian Univ.,Xi’an 710071,China)

A new image retrieval method based on stable interest points and texture feature is proposed. Firstly,the optimal Hessian derivative filter is used to detect the stable interest points in the image.After that,pseudo-Zernike moments defined on the neighborhood of stable interest points in the annular region are calculated.Then,the texture feature is extracted by the Gabor wavelet transform.Finally,the difference in pseudo-Zernike moment and texture feature among images is used to depict image similarity. Experimental results show that this method reduces the effects of the unstable points and improves the image retrieval accuracy effectively comparied with other retrieval methods based on interest points.

image retrieval;interest points;Hessian detector;Gabor wavelet transform;texture feature

TP391.4

A

1001-2400(2014)05-0118-06

2013-08-09< class="emphasis_bold">網絡出版時間:

時間:2014-01-12

國家自然科學基金資助項目(61305041);中央高校基本科研業務費專項資金資助項目(K5051304024)

閆允一(1979-),男,博士,副教授,E-mail:yyyan@xidian.edu.cn.

http://www.cnki.net/kcms/doi/10.3969/j.issn.1001-2400.2014.05.020.html

10.3969/j.issn.1001-2400.2014.05.020