綜合ＭＰＥＧ－７中紋理和顏色特征的圖像檢索方法

摘要：在基于內容的圖像檢索中， 顏色和紋理是圖像檢索使用最頻繁、最重要的兩個視覺特征。但是僅基于一種特征的方法只能表達圖像的部分屬性。為此提出了綜合利用MPEG－7中建議的紋理特征的邊緣直方圖描述符和顏色特征的主顏色和顏色布局描述符進行檢索的方法，并依據MPEG－7中的評價準則評價檢索結果。實驗結果表明，綜合特征檢索更符合人的視覺感受要求，檢索效果更好。

關鍵詞：基于內容的圖像檢索; MPEG－7; 紋理; 邊緣直方圖描述符; 主顏色; 顏色布局中圖分類號：TP391文獻標志碼：A

文章編號：1001－3695(2008)03－0957－04

基于內容的圖像檢索是當前國內外的一個研究熱點，它以圖像處理、模式識別、計算機視覺、圖像理解等技術為基礎，是多媒體的綜合集成技術。但是， 目前不同的CBIR系統往往都有其自身不同的內容描述方案，使得檢索的通用性差，信息的廣泛使用受到阻礙。國際標準的MPEG－7[1]提供了一整套多媒體內容描述工具，進一步發展了基于內容的描述和檢索規范。MPEG－7的制定解決了互聯網上圖像檢索亟待解決的統一標準問題。

紋理特征作為一種全局特征，對空間信息進行了一定的描述，而顏色作為圖像最基本的視覺特征定義比較明確，抽取也相對容易。本文采用MPEG－7標準中的紋理邊緣直方圖，對邊緣直方圖描述子（edge histogram descriptor，EHD）進行改進，并結合MPEG－7標準中顏色布局和改進后的主顏色提取方法進行綜合檢索。最后根據MPEG－7標準的評價準則對實驗結果進行評價。

1基于MPEG－7紋理邊緣直方圖描述符的圖像檢索

1．1MPEG－7中的紋理描述符

在MPEG－7標準中提出了三種紋理描述符:邊緣直方圖、紋理瀏覽和同質紋理[2]。三種描述符各有其優劣，就提取描述子的計算復雜度而言，紋理瀏覽描述子是復雜度最高的而邊緣直方圖描述子則是最易于提取的。本文利用MPEG－7推薦的邊緣直方圖描述子（EHD）表達了五種類型的邊緣子圖像的空間分布。在此基礎上增加半全局和全局信息，以彌補其反映局部信息的不足。

1．2邊緣直方圖的特征提取

計算EHD的步驟如下[3]:

a)首先將一個原始圖像平均分割為4×4共16個子圖像，然后對每一個子圖像局部邊緣的直方圖進行計算。每個局部邊緣直方圖包括5個直方條（bin）。原始圖像分割成16個子圖像后就有80個直方條。

b)把每個子圖像分割成為一系列圖像塊，這些圖像塊的面積隨著圖像面積的變化而變化。其中每個子圖像的圖像數目是固定的。式(1)(2)用來計算圖像塊的尺寸。Image_width、image_height分別表示子圖像的寬和高；desired_num_block代表對子圖像

劃分的塊數，實驗中選取desired_num_block的值為256。

x=image_width×image_height/desired_num_block(1)

block_size=x/2」×2(2)

c)計算并歸類每個圖像塊的五種邊緣類型（水平、垂直、45°、135°和無方向）。MPEG－7推薦的五種邊緣檢測算子如圖1所示。通過計算宏塊的五個方向邊緣值，得到五個邊緣方向的最大值。如果大于預設的閾值則把它記為對應的邊緣方向。實驗中選取的閾值為20。

圖1五種邊緣檢測算子

d)對得到的邊緣直方圖的值進行歸一化和量化。將歸一化以后的80個直方條的值非線性量化，每個直方條使用固定長度的3 bit進行編碼，總共用240 bit來表示邊緣直方圖。

e)考慮兩個邊緣直方圖描述符，通過計算直方圖間的距離得到兩個紋理圖像的相似度：

D(A，B)=∑79i=0|Local_A[i]-Local_B[i]|（3）

其中：Local_A[i]、Local_B[i]代表直方圖編碼以后反量化的值。如果兩幅圖像的紋理特征完全相同或者說五個方向的邊緣信息完全一致，則距離D應該為0；否則距離D為80個直方條的差值和。

1．3邊緣直方圖描述符的改進

直方圖是將圖像視覺特征按等級量化后得到的。MPEG－7推薦的邊緣直方圖是一種壓縮為固定長度的描述符，它對圖像的伸縮不敏感，其局限性在于僅由局部邊緣直方圖組成。但是使用它可以產生不同模式的半全局和全局直方圖，并不需要額外的特征提取過程[4]。全局直方圖代表整幅圖像邊緣分配的信息；半全局直方圖代表了圖2所示的13個子圖像的邊緣分配信息。如圖2所示的1~4的子塊代表垂直方向的信息，5~8的子塊代表水平方向的信息。

兩幅圖像描述符的距離相似性測度公式[5]為

D(A，B)=∑79i=0|Local_A[i]-Local_B[i]|+

5×∑4i=0|Global_A[i]-Global_B[i]|+（4）

∑64i=0|Semi_Global_A[i]-Semi_Global_B[i]|

2顏色特征的圖像檢索

顏色是最直觀的視覺特征，MPEG－7中建議的顏色布局表達了顏色的空間分布信息，而主顏色又具有平移、旋轉不變性，因此本文結合這兩種顏色描述符進行圖像檢索。

2．1顏色布局

獲得顏色布局描述符的主要步驟如下[6]：

a)將圖像從RGB空間映射到YCrCb空間。

b)將整幅圖像分成64塊（每塊尺寸為（W/8）×（H/8）（其中：W為整幅圖像的寬度；H為整幅圖像的高度），計算每一塊中所有像素各顏色分量（Y、Cr、Cb）的平均值，并以此作為該塊的代表顏色（主顏色）。

c)對各塊的平均值數據進行DCT變換。

d)通過“之”字形掃描和量化，取出三組顏色DCT變換后的低頻分量，共同構成該圖像的顏色布局描述符。

對于兩個顏色布局描述符CLD1={DY，DCr，DCb}和CLD2={DY′，DCr′，DCb′}，計算它們之間的距離：

D(CLD1，CLD2)=∑iwyi(DYi-DY′i)2+

∑iwbi(DCbi-DCb′i)2+∑iwri(DCri-DCr′i)2(5)

其中：(DYi，DCri，DCbi)表示各顏色分量的第i個DCT系數；權重wyi、wbi、wri對低頻率系數取較大的值，對高頻率系數取較小的值。

2．2主顏色

本文中獲取主顏色描述符的主要步驟如下：

a)將圖像從RGB空間轉換到HSV空間[6]。

b)考慮到一幅圖像的顏色十分豐富，如果直接用HSV空間的顏色直方圖來描述整幅圖像，計算量將非常巨大，因此需要對HSV空間進行量化。

對于HSV顏色c=(h，s，v)，獲取相應的量化顏色q={0，1，…，165}的方法如下：

q=0v≤0．1g(h，s，v)s<0.1 v>0.1f(h，s，v)otherwise

其中：g(h，s，v)=1s<0.1 0.1

f(h，s，v)則均勻劃分剩余的HSV空間。其中：h∈[0，360°]，s∈[0.1，1]，v∈(0.1，1]。色調h以20°為間隔分成18份；飽和度s和亮度v以0.3為間隔分別分成3份。

c)量化后整幅圖像的顏色可以用166 bin（18色調×3飽和度×3亮度＋4灰度=166種顏色）來表示，并計算出歸一化顏色直方圖，即得到每種顏色占整幅圖像的百分比。使用閾值百分比以保留主要顏色。如果某種顏色對應的百分比大于5%，即該顏色覆蓋整幅圖像超過5%的面積，則認為該顏色為主顏色。定義描述符為

F={{ci，pi，vi}，s}；i=1，2，…，N；pi∈[0，1]

其中：N是整幅圖像的主顏色數目；ci表示顏色；pi是該顏色對應的百分比；vi作為可選項，表示它的顏色方差；s用于指示空間的一致性。

考慮兩個主顏色描述符F1={{ci，pi，vi}，s1}(i=1，2，…，M)和F2={{cj′，qj，vj′}，s2}(j=1，2，…，N)

，忽略可選的方差參數和空間一致性，則兩個描述符之間的距離為

D(F1，F2)=∑Mi=1∑Mk=1ai，kpipk+

∑Nj=1∑Nl=1aj，lqjql-∑Mi=1∑Nj=12ai， jpiqj(7)

系數ai， j表示兩種顏色的相似性：

ai， j=1-di， j/dmax(8)

其中：di， j是顏色i和j之間的歐氏距離；dmax則是兩顏色之間的最大距離。對于HSV空間的兩種顏色(hi，si，vi)和(hj，sj，vj)：

di， j=(vi-vj)2+(si cos hi-sj cos hj)2+

(si sin hi-sj sin hj)21/2（9）

2．3主顏色提取的改進

獲取主顏色描述符的步驟c)中，使用閾值百分比作為判斷依據：如果某種顏色覆蓋整幅圖像超過5%的面積，則將其保留為主顏色。對2 000幅各種色彩的花卉圖像的統計結果發現，采用上述方法得到的平均主顏色數目為4.8。雖然占用存儲空間較小，但是有151幅（7.5%）圖像的主顏色數目不大于2，即僅使用兩種或一種主顏色來描述這些圖像。如果主顏色所占百分比太小（10%或5%），則不能很好地表達圖像內容，其中有4幅圖像的主顏色數目為0，也就是說，這4幅圖像所包含的各種顏色覆蓋圖像的面積均不超過5%。如果將其作為查詢圖像，則獲得的檢索結果將與其大相徑庭。

采用累積百分比的方法[7]來解決上述問題，將各種顏色（ci）按其對應的百分比（pi）降序排列，以此序列獲取主顏色，一旦百分比之和（∑Pi）大于某個閾值（P）則停止取主顏色。通過實驗發現，P=80%和P=60%在視覺要求不嚴格的情況下，檢索效果相差并不明顯，但是前者的平均主顏色數目為15.7，而后者的平均主顏色數目為7.8，所占存儲空間僅為前者的一半。

在實際檢索中，同時考慮檢索效果和存儲空間，決定選取P=60%作為主顏色的累積百分比閾值；同時結合顏色所占百分比，即只要滿足累積百分比小于等于60%或顏色所占百分比大于5%兩個條件之一，則將該顏色作為主顏色，這種情況下的平均顏色數目為8.2。

3評價準則

為判定各個檢索系統的性能和不同技術所得到的檢索結果，需要定義一些計量準則。檢索率（RRR）是一種相當普遍的衡量標準[1]：

RRR(q)=NF(α，q)/NG(q)(10)

其中：NG(q)是測試集里一個查詢q對應的相似圖像的數目；NF(α，q)是在前α×NG(q)個檢索結果中相似圖像的數目（α≥1，一個查詢對應的相似圖像的數目越小，α的值可以選擇較大）。RRR(q)的值為0～1，0代表沒有檢索到相似圖像；1代表檢索到所有的相似圖像。NQ表示總共的查詢次數。對于所有的查詢，得到平均檢索率：

RARR=1/NQ∑NQq=1RRR(q)(11)

考慮到檢索結果的排序等級，引入了等級：

GRank(k)=GRank(k)if GRank(k)≤K

1.25Kif GRank(k)>K(12)

假設測試集里若干個查詢對應的相似圖像數目NG(與前面的NG(q)定義相同)大約為4、5個相似圖像，對于一個查詢q，假定該查詢對應的第K幅相似圖像在檢索結果中的某一等級GRank(k)出現，同時定義K≥NG，用于指定相關等級，取K≥NG的某個數，如2×NG，可以認為在前2×NG個檢索結果中出現的相似圖像仍然是有效的，排在越前面的相似程度越高，等級越小。由此得到查詢q的平均等級：

GAVR(q)=1/NG(q)∑NG(q)k=1GRank(k)(13)

為了減小NG(q)變化帶來的影響，修正的檢索等級定義如下：

GMRR(q)=GAVR(q)-0.5×[1+NG(q)](14)

從而得到歸一化的修正檢索等級：

GNMRR(q)=GMRR(q)/{1.25K-0.5×[1+NG(q)]}(15)

最終得到用于MPEG－7的評價準則——平均歸一化修正檢索等級：

GANMRR=1/NQ∑NQq=1GNMRR(q)(16)

4綜合紋理和顏色的圖像檢索

由于基于紋理和顏色的特征不具有直接的可比性，需要進行歸一化處理，其主要步驟如下：

a)計算查詢圖Q和圖像庫中所有圖像的基于EDH的相似距離DE1Q，…，DEMQ（其中M為庫中圖像總數）并計算出均值mE和標準差σE。

b)將DEIQ進行高斯歸一化至[0，1]：

DNEIQ=[(DEIQ-mY)/3σY+1]/2(17)

c)重復步驟a) b)，計算歸一化的顏色布局相似距離DLIQ和主顏色相似距離DDIQ。

d)計算綜合的相似距離為

DIQ=wEDEIQ+wLDLIQ+wDDDIQ(18)

其中：wE、wL、wD分別是EDH、顏色布局、主顏色特征的權重。在[0，1]中取值，且wE+wL+wD=1，

本系統設wE:wL:wD=4:3:3。

5系統結構實現

本系統由以下四個模塊構成：

a)查詢模塊。提供一個接口給用戶對所查詢圖像進行檢索，本系統采用借助范例圖像進行查詢的方式。

b)特征提取。對于圖像數據提取其顏色和紋理特征存入特征數據庫作為索引，并將圖像文件存入圖像數據庫；對于查詢圖像，提取其相應的顏色和紋理特征。

c)匹配模塊。將查詢圖像的特征與特征數據庫中的對應特征進行相似性匹配。

d)顯示模塊。將匹配模塊得到的結果最終顯示給查詢用戶，本系統在顯示檢索結果時返回前8幅最相近的圖像。

系統結構框圖如圖3所示。

圖3系統結構

6實驗結果及結論

基于上述思想，本文實現了一個原型系統。該系統的實驗環境為Intel P4 3.0 GHz，Windows XP，512 MB內存。本文以2 000幅色彩豐富的花卉圖像和1 000幅不同的紋理圖像作為測試圖像，檢索結果的第一幅為查詢樣本。以下是不同綜合檢索的比較結果以及根據MPEG－7評價標準的實驗數據（表1）。

圖4是使用主顏色和紋理邊緣直方圖特征結合得到的檢索結果。第一幅為查詢樣本，前八位的檢索結果整體顏色與查詢圖像比較接近，但是與查詢圖像相似的圖像比較靠后，位于第七位。

圖5是使用顏色布局和紋理邊緣直方圖特征結合得到的檢索結果，檢索出與查詢樣本相似的圖像位于第二位。但是從整體顏色相似程度上來說，其余幾幅圖像與查詢圖像相比還不太接近。

圖6是綜合主顏色、顏色布局和紋理邊緣直方圖的檢索結果。檢索得到的前五幅圖像均與原圖像花朵相似，而且位置比較靠前，比結合兩種特征的檢索效果更符合人的視覺要求。

根據MPEG－7核心實驗中的GANMRR的評價準則，RARR越大，GANMRR越小，則檢索效果越好。表1中實驗數據表明綜合EHD、主顏色和顏色布局與使用兩種特征相比確實提高了平均檢索率ARR，并降低了ANMRR。所以本系統的綜合檢索可以減少誤匹配，從而提高檢索的精確度。下一步的工作是在檢索系統中引入相關反饋機制，使其具有很好的人機交互功能。

參考文獻：

[1]MARTINEZ J M. MPEG－7 overview(version 9) [EB/OL]. (2003－03).http://mpeg.telecomitalialab.com/standards/mpeg－7/mpeg－7.htm.

[2]MANJUNATH B S， OHM J R， VINOD V V， et al. Color and texture descriptors[J]. IEEE Trans on Circuits and Systems for Video Technology: Special Issue on MPEG－7， 2001，11(6):703－715.

[3]PARK D K， JEON Y S， WON C S， et al. Efficient use of local edge histogram descriptor[C]//Proc of ACM International Workshop on Standards， Interoperability， and Practices. California：[s.n.]， 2000:52－54.

[4]帥勤，覃團發，唐振華. 基于MPEG－7邊緣直方圖描述符的圖像檢索系統[J]. 通信學報，2005，26(12A):913.

[5]WON C S， PARK D K， PARK S J. Efficient use of MPEG－7 edge histogram descriptor[J].ETRI Journal，2002，24(1):23－30.

[6]KERMINEN P， GABBOUJ M. Image retrieval based on color matching[C]//Proc of Finnish Signal Processing Symposium.1999.

[7]王海霞， 覃團發. 綜合MPEG－7中顏色特征的圖像檢索方法[J]. 計算機應用研究， 2005，22(3):164－165，168. [8]王海霞， 覃團發. 一種基于MPEG－7中主顏色提取的改進方法[J]. 計算機工程， 2005，31(16):185－187.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”