基于內外邊緣顏色特征的圖像檢索算法

鄭秋梅， 王紅霞， 閔利田

（中國石油大學計算機與通信工程學院，山東 東營 257061）

基于全局顏色直方圖的圖像檢索算法考慮了圖像的整體顏色，較為簡便和直觀，但忽略了圖像目標和背景的主次關系。為了能夠突出圖像的主體部分，本文將邊緣檢測技術應用到基于顏色特征的圖像檢索中，提出了一種基于內外邊緣顏色特征的圖像檢索算法（Edge Color-Based Image Retrieval，簡稱ECBIR）。ECBIR算法運用數學形態學方法提取圖像的邊緣信息，即在結構元素的選取時，內邊緣采用多尺度多結構元素的方法，外邊緣采用單一結構元素的方法。通過這種方法提取內外邊緣信息，突出了圖像邊緣在圖像檢索中的重要作用，使代表圖像主體的內邊緣信息比代表背景部分的外邊緣信息比重大，并且更加精確；然后根據邊緣信息分別提取位于內外邊緣處的顏色特征，合成新的特征向量，并以此作為圖像相似性度量的依據，進行圖像檢索。ECBIR算法較全局顏色直方圖算法，在查全率和查準率上有了很大的提高，同時減少了數據庫中顏色特征的存儲空間。

1 利用數學形態學提取圖像內外邊緣信息

邊緣是圖像最基本的特征，它包含了圖像絕大部分有用信息，圖像的邊緣處理是圖像分析中一項重要的預處理技術。數學形態學是一門新興的、以形態為基礎對圖像進行分析的學科[1]，它以嚴格的數學理論和幾何學為基礎，算法簡單、可并行處理、速度快、易于硬件實現的同時，能較好的保持圖像的細節特征，較好的解決了邊緣檢測精度與抗噪性能的協調問題。因此，本文利用數學形態學提取圖像內外邊緣信息。

圖像的內外邊緣代表的意義不同，內邊緣代表目標部分，外邊緣代表背景部分，ECBIR算法對內外邊緣信息區別對待，采用兩種不同的方法來提取圖像的內外邊緣信息，為了突出圖像主體部分，ECBIR算法加大了內邊緣信息的權重，來加強圖像主體對檢索的貢獻。這也是ECBIR算法的核心所在。在內邊緣提取方面，采用了一種基于多尺度多結構元素的數學形態學圖像邊緣檢測算法，該算法構造了5個不同的結構元素，應用數學形態學的腐蝕算法進行加權運算，得到了圖像5個方向不同寬度的內邊緣信息，然后通過加權平均將這5個邊緣信息合成圖像最終的內邊緣，為基于顏色特征的圖像檢索做準備；在外邊緣提取方面，采用基于3×3方形結構的數學形態學膨脹算法，這種方法實現簡單，且運行速度較快。通過以上方法提取的圖像內外邊緣信息，內邊緣信息比重較大，并且比較精確，突出了內邊緣代表的目標部分。

1.1 內邊緣特征的提取

ECBIR算法通過數學形態學的方法提取圖像的邊緣信息，考慮到圖像內外邊緣的重要程度不同，通過不同的方法提取內外邊緣信息，賦予不同的權重。鑒于內邊緣的重要性，采用了以下方法：① 采用多結構元素，提取不同方向的內邊緣信息；② 采用多尺度方法，提取較粗的邊緣；③ 增大了內邊緣對應的目標部分的權重，突出圖像的主體。

內邊緣特征提取的步驟如下：

（1） 內邊緣檢測算法

通過下述算法[2]提取圖像P的內邊緣eI(P)：B為結構元素集合，首先令P被B腐蝕，然后求圖像P與它的腐蝕的差

（2） 基于多結構元素的內邊緣提取

兼顧到圖像不同方向的邊緣，結構元素B設計為4個3×3模板，分別是

B1= [0 1 0; 0 1 0; 0 1 0]

檢測圖像垂直方向邊緣

B2= [0 0 0; 1 1 1; 0 0 0]

檢測圖像水平方向邊緣

B3= [0 0 1; 0 1 0; 1 0 0]

檢測圖像與水平夾角 °45 邊緣

B4= [1 0 0; 0 1 0; 0 0 1]

檢測圖像與水平夾角 °135 邊緣

此外，考慮到檢測圖像不同方向的邊緣，設計結構元素B5= [0 1 0; 1 1 1; 0 1 0]；

分別用上述5種結構元素對圖像進行(1)中的形態學梯度運算，將5個檢測結果進行加權平均，即可得到尺度n=1下圖像的邊緣Ef1。考慮到圖像各個方向邊緣出現的概率，將水平和垂直方向邊緣的加權系數設為0.1， °45 邊緣和 °135 邊緣的加權系數設為0.2，無方向邊緣的加權系數設為0.4。

（3） 基于多尺度的內邊緣提取

采用的多尺度結構元素定義如下（Bi為(2)中定義的5種結構元素）

式中 n為尺度參數，是一正整數，即大尺度的結構元素由小尺度元素經過膨脹運算得到，一般膨脹2～5次即可，考慮到計算量和運行速度，本文將各個結構元素膨脹2次。

對(2)中所取5個結構元素按照多尺度結構元素的定義進行膨脹[3]。

當n=2時，

分別用上述5種結構元素對圖像進行(1)中的形態學梯度運算，將5個檢測結果進行加權平均，即可得到尺度n=2下圖像的邊緣Ef2。加權系數的選擇同(2)中的加權系數。

當n=3時，

分別用上述5種結構元素對圖像進行(1)中的形態學梯度運算，將5個檢測結果進行加權平均，即可得到尺度n=3下圖像的邊緣Ef3。加權系數的選擇同(2)中的加權系數。

（4） 多尺度邊緣檢測圖像的合成

1.2 外邊緣特征的提取

鑒于外邊緣對應的背景部分對人們的視覺影響較小，外邊緣的提取采用簡單、速度快的單一結構元素。

結構元素B采用3×3全“1”集合，首先令P被B膨脹，然后求圖像P的膨脹和圖像P的差

1.3 簡化邊緣信息

為了使提取的內外邊緣更好的為檢索做準備，需對提取的邊緣信息做簡化。

首先調整內邊緣圖像的對比度，再對圖像進行二值化，圖像中像素值為“0”的點，位于圖像的內邊緣上；外邊緣圖像的處理與內邊緣相同。

2 顏色特征的提取

2.1 顏色空間的選取與量化

由于傳統的RGB 顏色模型的可分辨色差是非線性的，且沒有直感，采用常用的面向視覺的適合肉眼分辨的HSV顏色模型。一幅圖像包含的直方圖矢量的維數會很多，所以對HSV空間進行適當的量化以減少計算量。由于人眼對色調、飽和度和亮度的感知不盡相同，對色調比對飽和度和亮度敏感，因此對這3個分量進行非等間隔量化：將色調H分成16份，飽和度S和亮度V分成4份，然后將3個顏色分量合成為一個一維矢量：L= 16 H+4S+V ，將HSV空間被量化為256種顏色。量化后再計算直方圖，計算量會少得多。

2.2 基于邊緣分布信息的顏色特征的提取

根據第1節，完成圖像內外邊緣信息提取后，就可以進行顏色特征的提取了，首先，掃描其內邊緣的像素點，若該像素點的值為“0”，則提取該像素點的RGB值，并將從RBG顏色模型轉換到HSV顏色模型，對HSV模型量化后計算顏色直方圖；其次，依照掃描內邊緣的步驟，對外邊緣進行掃描，提取外邊緣的顏色直方圖。將依據內外邊緣提取的顏色直方圖，合成新的包含空間信息的特征向量。ECBIR算法生成的顏色直方圖信息，由于內邊緣比外邊緣的比重大，因此顏色特征中內邊緣的顏色特征也就比外邊緣比重大，突出了圖像的主體部分。

2.3 相似性匹配

依據人眼對內外區域的關注程度是呈線性遞減分布的計算權值的理論公式[4]，設X為關鍵圖像，Y是圖像庫中的一幅圖像。設兩幅圖像的 顏色特征向量分別為X=( x1, x2, … , xn)與Y=( y1, y2, … , yn)，兩幅圖像的相似性度量采用 直方圖相交[5]的方法計算

n=256，表示在HSV空間中量化后直方圖的矢量維數。 ),( yxD ]1,0[∈ ，它的值越大，則兩 幅圖像越相似。

3 實驗結果分析

ECBIR算法中基于數學形態學的邊緣特征提取部分，是通過Matlab批量處理的，對圖像進行預處理，提取的圖像內外邊緣信息，再使用VC++6.0實現了一個基于不同權重的內外邊緣提取圖像顏色特征的圖像檢索系統。實驗使用的圖像庫是SIMPL Icity[6]系統使用的測試集，從Corel圖像庫中抽取的1000幅圖像，這些圖像分屬10大類，每類100幅。內容包括非洲人、海灘、建筑物、公共汽車、恐龍、大象、花卉、馬、山脈和食物等。

下面的實驗是采用全局顏色直方圖的方法和本文的基于權重提取圖像內外邊緣顏色特征的圖像檢索方法(ECBIR)兩種檢索方法的結果對比圖，以關鍵圖中的公交車為待檢索圖像，取兩例圖像按其相似程度排列的前14幅圖像檢索的結果，其中第一幅為關鍵圖（待檢索圖像），文本框中的數據是各圖像與關鍵圖的相似度值（見圖1，圖2）。

圖1是全局顏色直方圖的對于公共汽車的檢索結果，因為其沒有考慮邊緣分布信息，前14 幅的查準率為92%。圖2是使用本文算法―基于內外邊緣顏色特征的圖像檢索結果，前14幅圖像的查準率為100%。因此，本文提出的ECBIR算法，返回了與關鍵圖邊緣和顏色分布上更接近的結果，為了進一步說明ECBIR算法的優越性，采用檢索的準確率(Precision)和查全率(Recall)[7]作為評價標準，與全局顏色直方圖的圖像檢索進行比較。

為了突出ECBIR算法對于目標鮮明圖像檢索的優越性，本文選取了圖像庫中五類目標比較突出圖像，每類圖像抽取10幅，記錄每一幅查詢圖像的當查全率分別為5%，10%，15%，20%，25%，30%，35%，40%，45%，50%時相應的查準率，最后取平均值,得到準確率―查全率曲線，如圖3～圖7所示。

圖1 全局顏色直方圖的檢索結果

圖2 本文算法―基于內外邊緣顏色特征的圖像檢索

從對公共汽車、恐龍、大象、花卉和馬這五類主題比較鮮明的圖像的結果可以看出，圖像中目標物體占的比重越大，背景部分占的比重越小或者是背景部分越單調，本文的ECBIR算法檢索的準確率都比較傳統的基于直方圖的檢索方法準確率有很大的提高，恐龍圖像就是很好的證明，當查全率是40%時，查準率仍然是100%。

為了進一步說明ECBIR算法的優越性，采用檢索的準確率(Precision)和查全率(Recall)[7]作為評價標準，與全局顏色直方圖(Global histogram，簡稱GH)的圖像檢索進行比較。

圖3 ECBIR 和GH 在公共汽車類圖像中的查準率比較

圖4 ECBIR 和GH 在恐龍類圖像中的查準率比較

圖5 ECBIR 和GH 在大象類圖像中的查準率比較

圖6 ECBIR 和GH 在花卉類圖像中的查準率比較

圖7 ECBIR 和GH 在馬類圖像中的查準率比較

4 結 論

（1） 基于內外邊緣顏色特征的圖像檢索算法(ECBIR)，解決了全局顏色直方圖無法反映顏色空間分布信息的缺陷，在提取顏色特征時，加大了內邊緣對應的目標部分的比重，更加符合人眼識別圖像的要求。檢索結果表明，ECBIR算法較全局顏色直方圖方法，在查全率和查準率方面都有了很大的提高。

（2） ECBIR算法只提取邊緣像素點的顏色特征，而不是整幅圖像的顏色特征，這樣一來就減少了特征向量的存儲空間，圖像庫規模越大，ECIBR算法的優越性體現的越明顯。

（3） 由于進行圖像檢索時，只提取和匹配邊緣部分像素點的顏色特征，加快了圖像檢索系統的響應時間。

[1] 章毓晉. 圖像處理和分析基礎[M]. 北京： 清華大學出版社, 1999. 151-190.

[2] 阮秋琦. 數字圖像處理學[M]. 北京： 電子工業出版社, 2003. 429-455.

[3] 陶曉勛, 安 如, 周紹光. 基于多尺度形態梯度的灰度圖像邊緣檢測[J]. 遙感應用, 2007, (1)： 58-62.

[4] 楊關良, 李忠杰, 徐小杰. 基于顏色-空間的圖像檢索算法[J]. 工程圖學學報, 2005, 26(3)： 51-53.

[5] Swan M J, Ballard D H. Color indexing [J].International Journal of Computer Vision, 1991, 7(1)： 11-32.

[6] Wang J Z, Li J, Wiederhold G. SIMLPL Icity：Semantics sensitive integrated matching for picture libraries [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(9)： 947-963.

[7] Smeulders AW M, Worringm, Santini S. Content-based image retrieval at the end of the early years [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2000, 22(12)： 1349-1380.