綜合ＭＰＥＧ－７全局及局部主顏色的圖像檢索方法

(廣西大學(xué) 計(jì)算機(jī)與電子信息學(xué)院， 南寧 530004)

摘 要：為改進(jìn)全局主顏色特征在反映空間分布信息方面的不足，提出一種基于局部主顏色特征的圖像檢索方法，并綜合兩者的特點(diǎn)提出一種基于MPEG-7全局及局部主顏色描述符的圖像檢索方法。給出了全局主顏色和局部主顏色的提取方法，詳細(xì)介紹了MPEG-7標(biāo)準(zhǔn)的顏色評(píng)價(jià)準(zhǔn)則，并以此作為評(píng)判檢索結(jié)果優(yōu)劣的依據(jù)。實(shí)驗(yàn)結(jié)果表明，綜合利用兩種特征對(duì)圖像進(jìn)行描述及檢索，獲得了比使用單一特征更好的檢索效果。

關(guān)鍵詞：圖像檢索； MPEG-7； 主顏色

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695(2009)04-1581-03

Image retrieval based on global and local dominant colors in MPEG-7

LI Yue， HUANG Wen-yu， QIN Tuan-fa

(School of Computer Electronic Information， Guangxi University， Nanning 530004， China)

Abstract:In order to improve the deficiency of global dominant color in describing the spatial relations， this paper firstly proposed a method based on local dominant color， then proposed combining characteristics of color features above， a method based on global dominant color and local dominant color in MPEG-7. Gave the method of extracting global dominant color and local dominant color， and introduced evaluation criterion used in MPEG-7 in detail and used it to evaluate the results. The experimental result shows that the retrieval performance obtained from combined features is superior to that obtained from single feature.

Key words：image retrieval; MPEG-7; dominant color

在圖像的低層視覺特征中，顏色是最顯著、最穩(wěn)定的視覺特征。顏色特征定義比較明確，抽取也相對(duì)容易[1]，具有旋轉(zhuǎn)、平移不變性，對(duì)各種變形都不敏感，表現(xiàn)出相當(dāng)強(qiáng)的魯棒性[2]，因此基于顏色的圖像檢索得到了廣泛的重視。在目前著名的檢索系統(tǒng)中，QBIC和VisualSEEK都是采用顏色特征作為主要的檢索手段。

一般來說，一幅圖像包含的顏色非常豐富，MPEG-7標(biāo)準(zhǔn)建議的主顏色描述符就是用少量的顏色來表達(dá)圖像的基本概貌。其中，全局主顏色的提取及匹配方法高效，具有平移、旋轉(zhuǎn)不變性，但它只是提取出圖像的幾種主要顏色來代表圖像的顏色特征，忽略了顏色的空間分布信息，無法在空間布局層次比較圖像的相似性，檢索效果不夠理想。為了提高檢索精度，本文在全局主顏色基礎(chǔ)上提出一種基于局部主顏色的檢索方法，能夠包含圖像的主要顏色信息及其空間分布信息，但降低了對(duì)圖像平移、旋轉(zhuǎn)的適應(yīng)能力。綜合考慮上述兩種方法的優(yōu)缺點(diǎn)，本文提出一種綜合MPEG-7全局及局部主顏色的圖像檢索方法，結(jié)合客觀的MPEG-7評(píng)價(jià)準(zhǔn)則，對(duì)花卉圖像庫(kù)進(jìn)行檢索實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明綜合利用兩種特征來描述圖像能得到更好的檢索效果。

1 評(píng)價(jià)標(biāo)準(zhǔn)和測(cè)試方案

1.1 評(píng)價(jià)標(biāo)準(zhǔn)

MPEG標(biāo)準(zhǔn)化過程中通常用核心實(shí)驗(yàn)（core experiment）來比較不同的競(jìng)爭(zhēng)技術(shù)，以此突出MPEG所建議技術(shù)的優(yōu)點(diǎn)。在顏色核心實(shí)驗(yàn)中，例子查詢（query by example）已經(jīng)作為評(píng)價(jià)的主要方法。對(duì)于一幅給定的查詢圖像，對(duì)應(yīng)的真實(shí)數(shù)據(jù)是一組視覺上相似的圖像集合。在顏色核心實(shí)驗(yàn)中，查詢的數(shù)目約為數(shù)據(jù)庫(kù)中圖像總數(shù)的1%。

定義好數(shù)據(jù)庫(kù)、查詢和對(duì)應(yīng)的相似圖像后，需要用一些定量的標(biāo)準(zhǔn)衡量查詢結(jié)果。檢索率（RR）是一種相當(dāng)普遍的衡量標(biāo)準(zhǔn)[3]：

RR(q)=NF（α，q）/ NG(q) (1)

其中：NG(q)是一個(gè)查詢q對(duì)應(yīng)的相似圖像集的大小；NF（α，q）是在第一組（α×NG(q)）檢索結(jié)果中所發(fā)現(xiàn)的相似圖像的數(shù)目（α≥1，如果一個(gè)查詢對(duì)應(yīng)的相似圖像的數(shù)目較小，那么α的取值可以選擇較大）；RR(q)的取值為[0，1]，0代表沒有檢索到任何相似圖像，1代表檢索到所有的相似圖像。

對(duì)于所有的查詢，得到平均檢索率（average retrieval rate，ARR）[3]：

ARR=1/NQNQq=1RR(q)(2)

考慮到檢索結(jié)果的排序等級(jí)，引入了等級(jí)rank*(k) [3]：

rank*(k)=rank(k)if rank(k)≤K(q)1.25Kif rank(k)＞K(q)(3)

假設(shè)測(cè)試集中若干個(gè)查詢對(duì)應(yīng)的相似圖像數(shù)目NG (4～5個(gè)相似圖像)，取K≥NG的某個(gè)數(shù)，如2×NG，可以認(rèn)為在前2×NG個(gè)檢索結(jié)果中出現(xiàn)的相似圖像均有效，且排在越前面的相似程度越高，等級(jí)越小。由此得到查詢q的平均等級(jí)[3]：

AVR(q)=1/NG(q)NQ(q)k=1rank*(k)(4)

為了減小NG(q)變化所帶來的影響，定義修正的檢索等級(jí)（modified retrieval rank，MRR）[4]：

MRR(q)=AVR(q)-0.5×[1+ NG(q)](5)

從而得到歸一化的修正檢索等級(jí)（normalized modified retrieval rank， NMRR）[4]：

NMRR(q)=MRR(q)/{1.25k-0.5×[1+ NG(q)]} (6)

NMRR(q)在0（表示檢索到所有相似圖像）~1（表示沒有檢索到任何相似圖像）之間取值。可得到平均歸一化修正檢索等級(jí)（average normalized modified retrieval rank，ANMRR）[4]：

ANMRR=1/NQNQq=1NMRR(q)(7)

1.2 測(cè)試方案

本文的測(cè)試方案是對(duì)2 000幅花卉圖像庫(kù)中39組顏色上兩兩相似的圖像進(jìn)行39個(gè)查詢。相似圖像的選取遵循如下步驟：a)從數(shù)據(jù)庫(kù)中選取一幅圖像作為查詢圖像，對(duì)查詢圖像和數(shù)據(jù)庫(kù)中所有圖像的全局直方圖進(jìn)行匹配，得到與查詢圖像相似程度最大的另一幅圖像，保證兩者全局顏色的相似；b)觀察查詢圖像和由a)得到的另一幅圖像，五個(gè)局部的主顏色是否接近，保證兩者局部顏色的相似；c)主觀判斷兩幅圖像的顏色相似性（包括整體顏色和局部顏色分布）。

測(cè)試中每個(gè)查詢對(duì)應(yīng)的相似圖像數(shù)目均為2，即NG=2，根據(jù)MPEG-7顏色評(píng)價(jià)準(zhǔn)則，α取4，相關(guān)等級(jí)K為8。同時(shí)，為了得到更為客觀的測(cè)試數(shù)據(jù)，考察每個(gè)查詢對(duì)應(yīng)的兩幅相似圖像，即這兩幅圖像都作為查詢圖像，得到的檢索率（RR）和等級(jí)（rank）分別取平均作為該查詢的檢索率和等級(jí)。從評(píng)價(jià)準(zhǔn)則可知，ARR越大，ANMRR越小，檢索效果越好。這也是本文對(duì)檢索方法的評(píng)價(jià)依據(jù)。

2 主顏色特征

主顏色描述符最適用于表示局部（對(duì)象或圖像區(qū)域）特征，幾種顏色就足以表達(dá)感興趣區(qū)域的顏色信息。當(dāng)然，它也可以用于整個(gè)圖像，如旗幟圖像或彩色商標(biāo)圖像。

2.1 全局主顏色

針對(duì)實(shí)時(shí)性檢索系統(tǒng)，本文全局主顏色的提取采用文獻(xiàn)[5]中介紹的提取方法，具體步驟如下：

a）先將圖像從RGB空間轉(zhuǎn)換到HSV空間。

b）對(duì)HSV空間進(jìn)行量化，這里采用符合人類視覺感知的166維量化[6]（8色調(diào)×3飽和度×3亮度+ 4灰度=166種顏色）。

c）將一幅圖像分成4×4的子塊，對(duì)應(yīng)A、B、C三個(gè)區(qū)域（圖1），各區(qū)的量化顏色取不同的權(quán)重進(jìn)行累加。對(duì)于大多數(shù)圖像而言，用戶感興趣的區(qū)域是畫面的中間，因此A區(qū)域所取權(quán)重最大，B區(qū)域次之，C區(qū)域最小。多次實(shí)驗(yàn)表明，權(quán)重滿足A∶B∶C=5∶4∶1時(shí)效果最佳。

d）計(jì)算出歸一化的顏色直方圖。將各種量化顏色（ci）按其對(duì)應(yīng)的百分比（pi）降序排列，取百分比大于5%或者累加百分比（∑pi）小于60%的量化顏色為主顏色。對(duì)于全局主顏色的相似性測(cè)度，本文采用計(jì)算二次型距離的主顏色匹配方法。

2.2 局部主顏色

在基于全局主顏色的圖像檢索實(shí)驗(yàn)中，筆者發(fā)現(xiàn)，基于全局主顏色的檢索方法只是提取在整幅圖像中的幾種顏色來代表這幅圖像的顏色特征，雖然采用了分塊加權(quán)的方案區(qū)別了人們對(duì)圖像不同區(qū)域的重視程度，改進(jìn)了檢索的效果，但當(dāng)遇到查詢圖像中背景顏色在整幅圖像中所占的顏色比重較大而目標(biāo)圖像的顏色所占的比重較小時(shí)，檢索的結(jié)果就往往不盡如人意了。為了進(jìn)一步改善檢索系統(tǒng)的性能，本文提出一種基于局部主顏色的圖像檢索方法，為主顏色加入了顏色的空間分布信息。它以較小的計(jì)算代價(jià)，換來了更精確的檢索。其提取方法如下：

a）為了能較好地反映人對(duì)顏色的感知和鑒別能力，本文采用MPEG-7推薦的對(duì)應(yīng)于畫家配色模型的HSV模型，分量H、S、V分別對(duì)應(yīng)于彩色信號(hào)的色調(diào)（hue）、飽和度(saturation)和亮度(value)。因此先將圖像從RGB空間轉(zhuǎn)換到HSV空間。

b）考慮到一幅圖像的顏色十分豐富，如果直接用HSV空間的顏色直方圖來描述整幅圖像，計(jì)算量將非常巨大，因此需要對(duì)HSV空間進(jìn)行量化。這里采用符合人類視覺感知的166維量化。對(duì)于HSV顏色c=(h，s，v)，獲取相應(yīng)的量化顏色q={0，1，…，165}的方法如下[6]：

q=0 v≤0.1g(h，s，v) s＜0.1 v＞0.1f(h，s，v) otherwise(8)

式(8)中，

g(h，s，v)=1，s＜0.10.1＜v≤0.42，s＜0.10.4＜v≤0.73，s＜0.10.7＜v≤1， f(h，s，v)均勻劃分剩余的HSV空間。其中：h∈[0，360°]；s∈[0.1，1]；v∈(0.1，1]。色調(diào)h以20為間隔分成18份，飽和度s和亮度v以0.3為間隔分別分成三份。量化后整幅圖像的顏色可以用166維（18色調(diào)×3飽和度×3亮度＋4灰度=166種顏色）來表示。

c）將圖像分成4×4的子塊。這八個(gè)子塊按照一定的組合將圖像分成五個(gè)部分，分別是左上、右上、左下、右下和中間，如圖2所示。A區(qū)域?qū)?yīng)左上部分，B區(qū)域?qū)?yīng)右上部分，C區(qū)域?qū)?yīng)右下部分，D區(qū)域?qū)?yīng)左下部分，E區(qū)域?qū)?yīng)中間部分。然后，分別提取A、B、C、D、E五個(gè)區(qū)域的主顏色。Lantagne等人[7]將對(duì)應(yīng)百分比大于5%的量化顏色作為主顏色，但是對(duì)于色彩豐富的圖像，有可能出現(xiàn)大于5%的量化顏色過少甚至沒有的情況。因此局部主顏色提取采用累積百分比的方法，即將各種量化顏色按其對(duì)應(yīng)的百分比（pi）降序排列后，取百分比大于5%或累加百分比（∑pi）小于60%的量化顏色為主顏色。與全局主顏色提取不同的是，各區(qū)域內(nèi)的量化顏色均取相同的權(quán)重進(jìn)行累加。經(jīng)過主顏色提取后，一幅圖像可得到五個(gè)描述符：FCA、FCB、FCC、FCD、FCE，均由主顏色和對(duì)應(yīng)百分比構(gòu)成。

對(duì)于局部主顏色的相似性測(cè)度，本文將二次型距離匹配法應(yīng)用到圖像間的對(duì)應(yīng)局部，從而比較圖像間的相似性。具體方法如下：對(duì)于查詢圖像Q和圖像數(shù)據(jù)庫(kù)中的圖像I，經(jīng)過主顏色提取，圖像Q可得到五個(gè)描述符，即FCQA、FCQB、FCQC、FCQD、FCQE；圖像I也相應(yīng)得到五個(gè)描述符，即FCIA、FCIB、FCIC、FCID、FCIE。用距離公式[7]：

d(FC1，F(xiàn)C2)=∑Mi=1aiipi+∑Nj=1ajjqj-∑Mi=1∑Nj=12ai，jpiqj(9)

分別計(jì)算出對(duì)應(yīng)描述符（如FCQA和FCIA）間的二次型距離dA、dB、dC、dD、dE。式（9）中，F(xiàn)C1={{ ci ， pi }，i=1，…，M}，FC2={{ cj ， pj }， j=1，…，N}，系數(shù)ai，j體現(xiàn)了兩種顏色的相似性：

ai，j =1- di，j/dmax(10)

其中：di，j是顏色i和j之間的歐氏距離;dmax是兩顏色之間的最大距離。對(duì)于HSV空間的兩種顏色ci=(hi，si，vi)和cj=(hj，sj，vj)，它們之間的歐氏距離為

di，j=[(vi-vj)+(si cos hi-sj cos hj)+(si sin hi-sj sin hj)](11)

通過計(jì)算兩種相反顏色，如(0°，1，0)和(180°，1，1)得到最大距離dmax=5。最后，由dA、dB、dC、dD、dE得出圖像Q和I之間的總距離d：

d= A×dA + B×dB + C×dC + D×dD + E×dE (12)

其中：A、B、C、D、E分別為dA、dB、dC、dD、dE在總距離d中所取的權(quán)重。考慮到對(duì)于大多數(shù)圖像而言，用戶感興趣的區(qū)域是畫面的中間，因此E區(qū)域所取的權(quán)重最大，而位于周圍的A至D區(qū)域均取相同權(quán)重。經(jīng)多次實(shí)驗(yàn)證明，當(dāng)權(quán)重滿足A∶B∶C∶D∶E=1∶1∶1∶1∶6時(shí)，檢索效果最佳。表1給出了A~E區(qū)不加權(quán)重和A~E區(qū)加權(quán)重兩種情況的實(shí)驗(yàn)數(shù)據(jù)。

3 綜合全局主顏色和局部主顏色的圖像檢索

假設(shè)查詢圖像Q與數(shù)據(jù)庫(kù)圖像D之間，使用全局主顏色得到的距離為d1，使用局部主顏色得到的距離為d2。距離d1的值為[0，max1]，距離d2的值為[0，max2]。其中：0表示兩幅圖像最相似；max1、max2是某個(gè)正數(shù)，其值越大表示兩者越不相似。為了使d1和d2具有可比性，需要先進(jìn)行歸一化處理：d1=(max1-d1)/max1，d2=(max2-d2)/max2。此時(shí)得到d1、d2均為[0，1]。如果兩幅圖像顏色特征最相似，那么相似性測(cè)度為1，最不相似時(shí)為0 。

綜合顏色布局和主顏色進(jìn)行圖像檢索時(shí)，本文采用的距離d=w1d1+w2d2。其中w1、w2為權(quán)重，分別對(duì)應(yīng)這兩種顏色特征在檢索中的相對(duì)重要性，需要滿足w1+w2=1，w1， w2∈[0，1]，實(shí)驗(yàn)中分別取0.5。實(shí)驗(yàn)對(duì)比數(shù)據(jù)如表2所示。

比較表中數(shù)據(jù)可見，因?yàn)榫植恐黝伾朔巳种黝伾雎詧D像空間信息的缺點(diǎn)，有效地區(qū)分了目標(biāo)與背景，其ARR相對(duì)全局主顏色有了明顯的提高，而ANMRR也明顯低于全局主顏色。從表中最后一列數(shù)據(jù)可知，綜合利用全局主顏色及局部主顏色的圖像檢索比使用單個(gè)顏色特征的圖像檢索具有更高的平均檢索率ARR及更低的ANMRR。可見，其能綜合全局主顏色和局部主顏色的優(yōu)點(diǎn)，同時(shí)擯棄兩者的缺點(diǎn)。而且，兩幅不同圖像的全局主顏色或局部主顏色有可能會(huì)相似，但兩者同時(shí)相似的概率就很小，所以綜合檢索可以減少誤匹配，從而使檢索更精確。

4 結(jié)束語

本文提出了一種在MPEG-7標(biāo)準(zhǔn)下基于局部主顏色的圖像檢索方法，并根據(jù)全局主顏色和局部主顏色的優(yōu)缺點(diǎn)，提出一種綜合兩者作為圖像內(nèi)容描述的方法。實(shí)驗(yàn)結(jié)果表明，基于局部主顏色的圖像檢索比基于全局主顏色的圖像檢索擁有更高的檢索精度。而綜合利用兩種特征進(jìn)行圖像檢索比利用單一特征進(jìn)行檢索的效果更好，檢索系統(tǒng)的性能更優(yōu)。在圖像檢索中，顏色特征只是常用的底層視覺特征中的一種。因此，僅僅利用顏色特征進(jìn)行圖像檢索是不夠的，如果想要獲得更好、更優(yōu)的檢索性能，還須再結(jié)合圖像的紋理、形狀等特征，并在檢索系統(tǒng)中引入相關(guān)反饋機(jī)制。

參考文獻(xiàn)：

［1］

田卉， 覃團(tuán)發(fā)， 梁琳. 綜合顏色、紋理、形狀和相關(guān)反饋的圖像檢索[J]. 計(jì)算機(jī)應(yīng)用研究， 2007，24(11): 292-294， 314.

［2］陳智芳， 魏亮， 李向榮. 基于顏色特征的圖像檢索技術(shù)研究[J]. 電腦知識(shí)與技術(shù)， 2007，3(14): 529-530.

［3］MANJUNATH B S， OHM J R， VASUDEVAN V V， et al. Color and texture descriptors[J].IEEE Trans on Circuits and Systems for Video Technology， 2001，11(6): 703-715.

［4］官倩寧， 覃團(tuán)發(fā)， 帥勤，等. 綜合MPEG-7中紋理和顏色特征的圖像檢索方法[J]. 計(jì)算機(jī)應(yīng)用研究， 2008，25(3): 957-960.

［5］王海霞， 覃團(tuán)發(fā). 綜合MPEG-7中顏色特征的圖像檢索方法[J]. 計(jì)算機(jī)應(yīng)用研究， 2005，22（3）: 164-165.

［6］王海霞， 覃團(tuán)發(fā). 基于MPEG-7中主顏色提取的改進(jìn)方法[J]. 計(jì)算機(jī)工程， 2005，31(16): 185-187.

［7］LANTAGNE M， PARIZEAU M， BERGEVIN R. VIP: vision tool for comparing images of people. vision interface [EB/OL]. (2003-11-30) [2008-05-18]. http://vision.gel.ulaval.ca/~lantagne/LantagneVI2003.pdf.