基于基元相關性描述子的圖像檢索

吳 俊 劉勝藍 馮 林, 于來行

1(大連理工大學創新創業學院 遼寧大連 116024)2(大連理工大學電子信息與電氣工程學部控制科學與工程學院 遼寧大連 116024)3(大連理工大學電子信息與電氣工程學部計算機科學與技術學院 遼寧大連 116024)(shuxuewujun@mail.dlut.edu.cn)

?

基于基元相關性描述子的圖像檢索

吳 俊1劉勝藍2馮 林1,3于來行3

1(大連理工大學創新創業學院 遼寧大連 116024)2(大連理工大學電子信息與電氣工程學部控制科學與工程學院 遼寧大連 116024)3(大連理工大學電子信息與電氣工程學部計算機科學與技術學院 遼寧大連 116024)(shuxuewujun@mail.dlut.edu.cn)

圖像檢索系統性能很大程度上取決于提取的圖像描述子，其中顏色差分直方圖(color difference histogram, CDH)已經在圖像檢索中顯示出了較好的性能.但是這種描述子仍然有一定的局限性：1)只考慮到了像素間顏色差分的整體分布；2)忽略像素間的空間位置分布.因此提出了1種新的基元相關性描述子(texton correlation descriptor, TCD)提取圖像特征，并將其應用于圖像檢索系統中.具體提取過程分為3個步驟：1)利用圖像底層特征(顏色和局部二值模式)檢測一致性區域，選擇圖像中包含區分性信息的局部區域；2)提出顏色差分特征和基元頻率特征分別描述圖像像素間的對比度和空間位置信息，其中顏色差分特征融合了描述局部鄰域的顏色差分相關性統計和全局顏色差分直方圖，基元頻率特征也融合了描述局部鄰域的基元頻率相關性和基元頻率直方圖；3)聯合一致性區域中的這2種特征得到最后的TCD描述子.這種特征描述了圖像中2種互相獨立并互相補充的特性：對比度和空間位置關系，并同時考慮到了這2種特性在局部和全局區域中的描述，因此在圖像檢索實驗中會有更好的性能.在圖像數據集中的實驗結果顯示了TCD描述子的檢索效果明顯優于其他幾種特征描述子，證實了TCD描述子在圖像檢索中的有效性和穩定性.

基元相關性描述子；一致性區域；顏色差分特征；基元頻率特征；圖像檢索

近年來隨著互聯網和移動終端上圖像數據的急劇增長，如何快速有效地從數據庫中檢索用戶需要的圖像已成為計算機視覺領域的熱點問題.由于圖像數據的多樣性和復雜性，系統仍很難對圖像描述的內容準確定位分析及檢索.圖像檢索系統[1]大致可分成3類：基于文本、基于內容和基于語義[2].傳統的基于文本的圖像檢索系統需要提前人工對所有圖像進行標注，再利用文本檢索技術查找對應的圖像.但是這對于現實生活中的海量圖像數據是不可能的，而且每個人對同一幅圖像的理解標注也可能不同.另外，由于人工智能和視覺認知領域的局限性，基于語義的圖像檢索系統仍有一定的限制.目前應用最廣泛的是基于內容的圖像檢索(CBIR)系統[3-6]，這種方式主要分成3步：1)分別提取查詢圖像樣本和數據庫圖像的底層特征，如顏色、紋理和形狀等；2)選擇合適的相似性度量，評估查詢樣本與數據庫各圖像的相似性程度；3)利用相似性程度對數據庫圖像排序，并輸出最接近查詢樣本的前N幅圖像，即為檢索結果.其中對圖像底層特征描述的準確性和有效性很大程度上決定了圖像檢索系統的性能.

Fig. 1 The flow chart of image feature extraction.圖1 圖像特征提取流程圖

目前圖像底層特征主要集中在對圖像的顏色、紋理和形狀的1種或多種特征的描述，其中特征提取過程可分成3部分，如圖1所示：

① 對圖像進行預處理.通過圖像降噪[7]和圖像銳化技術[8]，減少噪聲對圖像信息的干擾并增強圖像中的區分性信息；或者將彩色圖像轉化成灰度圖像[9]，提取灰度圖像信息.

② 檢測圖像中有區分性信息的區域.根據圖像特征描述區域的不同，又可以分成圖像的全局特征和局部特征.全局圖像特征針對圖像的所有區域進行描述，考慮圖像中所有可能的相關信息.例如統計顏色信息的顏色直方圖、統計紋理信息的局部二值模式(local binary pattern， LBP)[10-11]和統計邊緣信息的方向梯度直方圖(histogram of gradient, HOG)[12]等.而局部圖像特征是只描述了圖像中更具有區分信息的局部區域.Lowe[13]提出的尺度不變性特征變換特征(scale-invariant feature transform， SIFT)就是檢測并描述尺度空間中感興趣點附近局部鄰域的特征.由于Gabor小波[14]具有與哺乳動物視覺感知細胞相似的特性，在圖像分析中有著重要的作用.多尺度、多方向的Gabor濾波能描述不同分辨率下的局部圖像方向信息，Serre等人[15]基于靈長類視覺皮層的分層視覺處理過程提出的HMAX模型中的S1層也是采用了Gabor濾波模擬人腦對圖像的處理過程.其他一些有關圖像局部特征提取方法的性能比較參考文獻[16].

③ 對檢測到的圖像區域采用適當特征描述方法.其中基于直方圖統計[17]的策略是最常用的特征描述方法，這種統計方法簡單有效，在許多圖像特征描述子中被廣泛應用.但是由于只考慮像素在圖像中的整體出現頻率，而忽略了像素間的關系，限制了基于直方圖統計特征描述子的性能.基于此，顏色矩(color moments)[18]、顏色相關圖(color correlo-gram)[19]和顏色一致向量(color coherence vector)[20]被提出，同時得到圖像像素的顏色分布信息和相互之間的空間位置相關性.此外，由于單一特征對圖像信息描述的有限性，目前基于多特征融合的圖像表示也受到了廣泛的關注.BoC-BoF特征[21]就是融合了基于RootSift描述子的特征詞袋和HSV顏色詞袋中的邊緣和顏色特征.基于底層特征綜合分析算法(CAUC)[22]和分層融合顏色和形狀算法[23]在圖像檢索中也取得了比較好的效果.Zhang等人[24]提出的圖融合算法也同時考慮到了圖像全局和局部特征，更有效地描述圖像信息.

受人眼視覺感知對圖像區域的選擇機制啟發，Liu等人[25]提出了微結構描述子(micro-structure descriptor， MSD).通過比較中心像素與周圍鄰居間的梯度方向關系檢測圖像中的局部微結構區域，再利用相關性統計原則描述此區域內像素間的空間關系.此外，多紋理直方圖(multi-texton histogram, MTH)[26]和顏色差分直方圖(color difference his-togram, CDH)[27]也是檢測圖像中顯著性區域，即中心像素與周圍鄰居有相似顏色值或梯度方向的區域，再統計此區域內中心像素與鄰居像素間的共生對，同時利用了共生矩陣和直方圖的優勢.可以看出像素間顏色差分信息能夠很好地描述圖像特征，并在圖像檢索實驗中取得了比較好的效果.但是CDH仍然存在一些不足：1)CDH對于在圖像中視覺感知一致的區域提取顏色差分性，只考慮到了這些區域內顏色差分的全局特征，而忽略了區域中的局部分布特性；2)CDH中的顏色差分性只提取了這些區域中心像素與周圍鄰居有相似特性時的差異性，即它們之間的顏色差分總和，而忽略了它們之間本身的相似性程度，即它們之間相似的個數或頻率.

為了解決這些問題，本文提出了一種新的圖像特征提取模型——基元相關性描述子(texton corr-elation descriptor, TCD).本文工作集中在特征提取過程中的后2步，即區域檢測和該區域內特征的統計方法.首先，利用圖像2種底層特征(顏色值和LBP紋理結構)，檢測圖像中一致性區域.在這些區域內的特征統計中，針對問題1，通過融合本文提出的顏色差分相關性統計方法和全局顏色差分直方圖，描述了圖像區域中結構的顏色差分信息；針對問題2，通過融合圖像的基元頻率相關性和頻率直方圖統計，描述了圖像區域中結構的頻率信息.

1 圖像底層特征描述

1.1 HSV顏色空間與顏色量化

在圖像處理中，顏色是重要的視覺屬性，顏色空間的選擇對圖像特征向量的性能影響顯著[28-29].目前已經有很多好的顏色空間模型，例如RGB，YIQ，Lab，HSV等.其中由于HSV顏色空間非常接近人眼對視覺感知的理解，在圖像處理中得到了廣泛的應用.在HSV顏色空間中，顏色被劃分成3種元素：色調(hue)、飽和度(saturation)和亮度(value).由于HSV顏色空間是基于圓柱坐標系統提出的，色調值在0～360°之間變化，對應表示的顏色從紅色到黃色、綠色、藍綠色、藍色，再到品紅，再回到紅色一直變化；飽和度和亮度值都是在0～1之間變化.

但是，對于1幅顏色圖像，像素點的顏色屬性有很多種可能，所以直接在此顏色空間中統計顏色特征會需要很大的計算量.為了減少計算量，選擇更具有代表性的顏色特征，對顏色空間進行量化處理很有必要.在本文中，我們選擇將HSV顏色空間等距量化到72類顏色區間，其中色調、飽和度和亮度分別被量化到8，3，3類，得到量化后的顏色圖像每一像素點的取值為0～71.

1.2 局部二值模式(LBP)紋理檢測

紋理也是圖像的1個重要視覺屬性，圖像的紋理分析在計算機視覺和圖像處理中受到廣泛的應用.但是由于紋理基元的復雜性，目前還沒有對圖像紋理基元統一的定義.Julesz[30-31]的紋理基元理論認為紋理是有一些規則性的結構元素組成的.Ojala等人[10-11]提出的局部二值模式(LBP)就是基于這種假設提出的.

對于灰度圖像中，假設中心像素點的灰度值為gc，取半徑為R的P個鄰居點，其中灰度值分別為g0,g1,…,gP-1.以中心像素灰度值作為閾值，與其周圍鄰居的灰度值作比較，得到中心點處的像素分布為

(1)

(2)

通過將得到的二進制數轉化成十進制的LBP值，表示圖像紋理的1種結構.即：

(3)

利用這種紋理檢測方法，總共可能會產生2P中模式.為了得到其中更具區分性的紋理結構，Ojala等人提出“等價模式”的概念，即得到的二進制數再一次循環計算中01變化次數至多為2，否則稱為“非等價模式”.如果取半徑R=1，鄰居數P為8，那么會有256種LBP模式.其中等價模式有58種，其他為非等價模式.

Fig. 2 The process of detecting image uniform regions.圖2 圖像一致性區域檢測過程

2 基元相關性描述子TCD

在數字圖像中相似的圖像區域會有相似的局部結構，對這些區域提取特定結構的特征表示對圖像檢索有著很好的性能.這些基于結構化的方法都是以Julesz的紋理基元理論為基礎提出的，即圖像中的局部結構都是些有規則的，圖像由這些規則性的局部結構組成.由于人眼對視覺感知一致性區域的敏感性，對有相似顏色和紋理結構的一致性區域的特征描述可以有效地提供圖像的區分信息，提高圖像檢索的效果.

由于本文提取的一致性區域包括顏色和紋理相似性區域，用來分別提取圖像對應的顏色HC和紋理特征信息HT.由于圖像中這2種底層特征的顯著性并不相同，本文對提取的加以權值得到最后的圖像特征向量：

H=(α·HC,β·HT)，

(4)

其中,α和β(0≤α,β≤1)分別表示顏色和紋理特征所占的權重系數.

2.1 一致性區域檢測

在圖像檢索系統中，檢索效果很大程度上依賴于圖像特征表示的性能.對圖像中包含區分性信息的區域進行特征統計，能更好地提高圖像特征向量的區分性.本文選擇同時利用顏色和紋理檢測圖像中的特征一致性區域，如圖2所示.首先分別利用顏色等距量化和局部二值模式(LBP)表示圖像中像素點的底層特征，在HSV顏色空間中對圖像顏色值等距量化，得到圖像的量化顏色值圖，同時計算灰度圖像下的LBP閾值，采用“等價模式”策略下的LBP閾值，得到圖像的LBP閾值圖.然后利用3×3大小的窗口分別檢測2幅底層特征圖中的一致性區域.例如，對于量化顏色值圖，比較圖2中3×3窗口(為便于顯示，圖2中3×3窗口都是不重疊的，實際本文選擇窗口依次滑動，考慮所有像素點在中心位置的可能性，圖像邊緣像素點除外)中心像素點與周圍8個鄰居像素點間的差異性，選擇存在鄰居像素點與中心像素點有相同量化顏色值的區域(即相鄰像素點在HSV顏色空間中有相似的顏色特征).通過這種方法，分別檢測出圖像中的顏色和紋理一致性區域，在這些區域的3×3小鄰域中，中心像素點與鄰域像素點有非常相似的顏色或紋理特征.

利用圖像底層特征對一致性區域的檢測過程可分為4步：

1) 在HSV空間中等距量化各像素點顏色值，轉化灰度圖像，計算“等價模式”下LBP閾值圖；

2) 利用3×3模塊檢測圖像，依次滑動模塊，檢測圖像中除邊界區域外的所有像素點；

3) 選擇中心像素點與鄰居存在相似量化顏色值或LBP閾值的區域；

4) 分別得到原始圖像的顏色和紋理一致性區域.

2.2 相關性統計

為了有效表示一致性區域中的圖像特征，本文的基元相關性描述子TCD提出了1種新的統計策略：即基于顏色差分和基元頻率的統計.對于這些特征一致性區域，可以通過2種互不相交的屬性加以描述：即空間分布和對比度.其中空間分布是對一致性區域中周圍鄰居與中心像素的相似性分布，而對比度則是這些區域中周圍鄰居與中心像素的相似性程度.這2種特征屬性是相互獨立，并且相互補充的.為了提取這2種特征屬性，本文提出2種統計策略(如圖3所示)：1)基于顏色差分的特征統計，這種方法描述了鄰域內中心像素點和周圍鄰居如果有相似底層特征時的相似性程度(顏色差分越小，說明與中心像素點越相似)；2)基于基元頻率的特征統計，這種方法描述了鄰域內周圍鄰居與中心像素點的基元結構相似的概率(概率越大，說明鄰居中與中心像素點相似的個數越多).對圖像中的特征區域同時提取這2種特征可以更好地描述圖像信息，對圖像檢索系統提供更好的區分性能.

H1 and H2 represent color and texture feature HC and HTFig. 3 The process of TCD in uniform regions.圖3 一致性區域中基元相關性統計流程圖

假設彩色圖像為f(x,y)，對應的底層特征圖像為Tk(x,y)(k=1,2)，其中T1(x,y)∈{0,1,…,71}表示量化顏色值圖，T2(x,y)∈{0,1,…,58}表示LBP閾值圖.

首先統計圖像一致性區域中的顏色差分特征.由于HSV顏色空間是基于圓柱坐標系統提出的，需要先轉化成笛卡爾坐標系統H′S′V′，其中再利用笛卡兒坐標系中的歐氏距離計算像素間的顏色差.對于像素點gc=(xc,yc)和距離為D的第i個鄰居gi=(xi,yi)的顏色差計算公式為

(5)

(6)

(7)

其中：

(8)

通過描述圖像一致性區域中相鄰像素點間有相似結構時的顏色差分與區域內總顏色差分的比值，可以提供此局部區域中像素間的對比度信息.因此本文提出的顏色差分相關性統計特征描述可定義為

(9)

Fig. 4 Two images which have the same color difference correlation.圖4 顏色差分相關性相同的2幅圖

(10)

但是由于這種直方圖統計策略會忽略特征的空間位置關系，所以單一直方圖也不能很好地描述圖像顏色特征.為了同時利用圖像的顏色差分相關性統計特征CH和顏色差分直方圖特征CF的優勢，本文利用1種相應的特征融合方法[32]，融合后的圖像顏色差分特征為

(CFk(Tk(gc))+1).

(11)

CFk(Tk(gc))+CHk(Tk(gc))=

(12)

Fig. 5 The distinction of different patterns with their spatial structure correlation.圖5 利用空間位置分布區分不同的結構模式

從式(12)可以看出，等號右側第1項是一致性區域中相鄰像素間的顏色差分在整幅圖像中的全局出現概率；式(12)第2項是顏色差分相關性統計，即一致性區域中相鄰像素間的顏色差分在該局部鄰域內的出現概率.圖4(a)(b)的顏色差分相關性統計結果相同，但是可以通過式(12)的第1項來區分這2幅圖的特征.

(13)

(14)

(15)

(TFk(Tk(gc))+1).

(16)

其中，式(16)等號右側第1項是圖像結構的基元相關性統計，統計了一致性中相鄰像素點有相同結構Tk的概率；第2項主要是基元直方圖統計信息，描述了這些結構Tk的全局出現概率.利用這種特征融合的方法可以同時具備直方圖和相關性統計策略的優勢，避免其中的不足.式(16)還可寫為

THk(Tk(gc))×TFk(Tk(gc))=

(17)

可以看出，式(17)等號右側第1項是相關性統計的結果；第2項是局部鄰域內2個有相同結構Tk的像素點相鄰的概率，正是由于這1項，可以區分出圖4所示的這2幅圖像特征.

(18)

其中,H1和H2分別表示顏色和紋理特征基元統計特征HC和HT.根據這2種特征在圖像檢索應用中的性能賦以相應的權值得到本文最后的基元相關性描述子(TCD)特征向量(如式(4)所示).

3 實驗與結果分析

3.1 實驗設置

本文實驗使用圖像檢索中常用的Corel圖像數據集，使用2組數據集來評價本文算法的性能.一組為Corel-1000數據集，共有1 000幅圖像，總共分為10類，包括非洲人、海灘、建筑、公交車、恐龍、象、鮮花、馬、山和食物，每類包含100幅；另一組為Corel-10K數據集，共有10 000幅圖像，總共分為100類，包括老虎、蔬菜、卡片等，每類包括100幅圖像.此外，UKbench數據集也用來驗證特征描述子的有效性，此數據集包含10 200幅圖像，共分為2 550類(每類4幅圖像).在檢索中，本文選擇將所有圖像作為查詢圖像評估特征的性能.

本文采用查全率與查準率來驗證特征提取模型在Corel-1000，Corel-10K，UKbench數據集中的有效性.首先對數據集中每幅圖像分別作為查詢樣本進行圖像檢索，然后對每類圖像檢索得到的查全率和查準率求平均值.每個查詢樣本的查全率及查準率計算過程如下：

(19)

(20)

而對于UKbench數據集采用N-S得分[33](最高結果為4)檢測特征描述子性能.

在檢索過程中，圖像之間的相似性是其提取的特征向量之間的相似性度量決定的.目前已經有很多對相似性度量方面的研究，在不同情況下會有不同的效果,所以對提取的特征向量選擇合適的相似性度量是圖像檢索系統的關鍵一步.由于L1距離在圖像區分中的有效性和高效性，本文選擇L1距離作為圖像間的相似性度量.

3.2 顏色空間和量化類數的選擇

不同顏色空間、顏色量化類數的選擇對本文提出的特征提取模型的有效性有重要的影響.本文實驗對比不同的顏色空間(包括HSV，RGB，Lab這3種顏色空間)和量化策略對特征提取模型的影響.對比實驗結果如表1所示，分別統計了這3種顏色空間中不同量化策略下在Corel-1000圖像數據集中檢索的平均查準率和查全率，檢索過程中選擇輸出圖像數目依次為10，20，30，40，50幅.HSV顏色空間等距量化類數從72～192維，RGB顏色空間等距量化類數從16～128維，Lab顏色空間等距量化類數從45～180維.從表1可以看出，本文的TCD特征提取模型在HSV顏色空間中的查準率最好.在返回20幅圖像時檢索結果能達到74.54%以上，而在其他2種顏色空間至多只能達到63.85%和64.52%.除此之外，可以看出在HSV顏色空間中隨著顏色量化從72類增加到128類，查準率也有一定的提高，但是再增加到192類時檢索查準率反而有所下降.隨著顏色量化類數的增加，提取的特征維數也會增加.雖然查準率略有提升，但減慢了檢索速度，因此本文選擇72類量化顏色值.因此，雖然高維量化會對特征區分度有所提高，但并不是量化類數越高檢索效果越好，過高反而會降低特征性能，還會延長檢索的時間.因此本文選擇在HSV顏色空間的基礎上，并且在描述顏色一致性時，將像素點的顏色等距量化到72類.在描述紋理一致性區域時，采用59維局部二值模式(LBP)閾值.

Table 1 Retrieval Results of TCD in Different Categories in Corel-1000 Dataset

在TCD特征描述子中模型參數的選擇也對其性能有較大的影響.圖5是選擇不同的α和β權值，在Corel-1000圖像數據集中返回20幅圖像時的檢索結果.可以看出，當α=0.20和β=0.80時效果最好，當α增加或降低時，都會使得檢索效果下降.因此，本文的TCD特征為H=(0.20·HC, 0.80·HT).

3.3 圖像檢索實驗對比

在本節中本文通過與其他3種圖像特征描述子顏色差分直方圖(CDH)、微結構描述子(MSD)和多紋理直方圖(MTH)相比較，證明了本文提出的基元相關性描述子(TCD)在圖像特征描述中的優越性.表3是這4種特征描述子在Corel-1000圖像數據集中每類圖像的平均查準率和平均查全率的基元相關性描述子(TCD)在圖像特征描述中的率(檢索過程中選擇輸出圖像數目為20幅).可以看出TCD描述子在公交車、恐龍和鮮花類都有很好的檢索效果，其中在恐龍類中查準率最高，能達到99.75%；在非洲人、建筑、象和食物也有比較好的檢索效果，明顯高于其他3種特征描述子.但是在馬和山類圖像中檢索效果略低于MSD描述子(檢索查準率分別低1.05%和2.15%左右).在海灘類中的檢索效果也低于CDH描述子(檢索查準率低14.85%左右)，這是因為在海灘類圖像中，圖像的顏色特征區分性更為顯著，類內紋理的差異性相對較大，這使得本文TCD描述子性能有所降低，而只著重于描述圖像顏色差分的CDH描述子會有比較好的性能.

Table 2 The Selection of Model Parameters

從整體上看，本文的TCD描述子在Corel-1000圖像數據集中的檢索效果明顯優于其他3種描述子.如圖6所示，選擇輸出圖像數目分別從10～100幅統計這4種特征描述子在Corel-1000和Corel-10K圖像數據集中的平均查準率和查全率.從圖6(a)可以看出，TCD描述子在輸出20幅圖像時的查準率能達到74.54%，而CDH，MSD，MTH描述子分別只有62.83%，68.44%，62.03%.而且隨著輸出圖像數目的增加，TCD描述子的查準率雖有下降，但是也明顯高于其他3種特征描述子.圖6(b)中的結果是在Corel-10K圖像數據集中這幾種特征描述子的檢索性能對比.可以看出，本文的TCD特征描述子的檢索效果也明顯優于其他的特征描述子.這證實了本文提出了TCD描述子在圖像檢索系統中有更優的性能和穩定性.

Fig. 6 The average retrieval performance comparison in Corel datasets.圖6 在Corel圖像數據集的特征描述子檢索性能比較

UKbench圖像數據集旨在評估特征描述子對圖像物體空間變換的識別性能.表4給出了本文提出的TCD特征與CDH，MSD，MTH在此數據集中的檢索結果.可以看出TCD在UKbench數據集中的N-S得分能達到3.36，比其他3種特征都高.此外，表4中也有其他一些文獻提出的圖像特征中在UKbench數據集中的檢索效果，可以看出這些特征檢索結果也均不超過3.36.因此，這證實了TCD特征對圖像物體空間旋轉的穩定性.

顏色差分直方圖(CDH)、微結構描述子(MSD)和多紋理直方圖(MTH)在圖像檢索應用中都已經取得了比較好的實驗效果.其中CDH利用像素點間顏色值之間的歐氏距離來衡量圖像區域的視覺感知差異性，同時考慮到了圖像顏色和梯度方向特征的顏色差分特性以及特征之間的空間位置關系.雖然這種顏色差分能比較好地描述圖像像素的對比度信息，但是由于沒考慮到圖像局部鄰域內顏色差分特性和像素間的空間結構，在圖像特征描述中也有一定的局限性.MSD通過定義有相似梯度方向的微結構元檢測圖像中的“潛在”顏色區域，再利用相關性統計策略提取圖像特征.但是MSD過分重視圖像的顏色特征，當圖像間邊緣方向非常接近而顏色差異較大時，圖像MSD特征的差別就會較大，因此并不能對圖像做出合理的區分.MTH是利用共生矩陣和直方圖統計策略的優勢，同時提取圖像的顏色紋理信息.但是由于只考慮鄰域內像素的空間分布，忽略了像素間的對比度信息.本文提出的TCD描述子同時考慮了圖像一致性區域中像素間的對比度和空間位置分布信息，通過圖像中像素點間顏色差分和頻率特征分別描述這2種信息，然后用適當的權值平衡顏色和紋理一致性區域中的基元特征.因此，本文的TCD描述子會有更好的特征描述性能，在圖像檢索應用中能有更好的檢索效果.

Table 3 Retrieval Results of Each Kind of Images in Corel-1000 Dataset

Table 4 The Performance Comparison of Different Image Representations in UKbench Dataset

表4 在UKbench數據集中各特征模型性能比較

4 結束語

本文提出了一種新的圖像特征描述子基元相關性描述子(TCD),主要過程為：1)利用圖像顏色和紋理檢測圖像中的一致性區域.2)利用像素點間的顏色差分特征描述對比度信息，其中顏色差分相關性和全局顏色差分直方圖統計分別描述了圖像局部鄰域和全局中底層特征的顏色差分信息，二者的融合能同時利用這2種統計策略的優勢，更好地描述圖像中的對比度信息；利用基元頻率特征描述圖像像素的空間位置分布信息，其中也同時融合了圖像底層特征的基元相關性和基元頻率直方圖統計.通過聯合一致性區域像素間中的對比度和空間位置分布，能更好地描述圖像信息.3)得到顏色和紋理一致性區域中的基元特征統計，并通過權值聯合這2種特征得到最終的TCD特征向量.通過在Corel-1000，Corel-10K，UKbench數據集中的圖像檢索實驗，也證實了本文TCD描述子在圖像特征描述中的有效性和穩定性.

本文通過多特征融合提取圖像一致性區域中的信息，對圖像檢索效果進一步提高.但是仍存在一定的局限性：1)多特征融合技術仍需進一步研究，提高圖像檢索準確率，同時降低特征維數；2)對圖像空間信息有待進一步提高.此外，對人眼視覺感知還需進一步研究，借助視覺認知的機制更好地描述圖像信息.

[1]Datta R, Joshi D, Li J, et al. Image retrieval: Ideas, influences, and trends of the new age[J]. ACM Computing Surveys, 2008, 40(2): Article No 5

[2]Liu Y, Zhang D, Lu G, et al. A survey of content-based image retrieval with high-level semantics[J]. Pattern Recognition, 2007, 40(1): 262-282

[3]Datta R, Li J, Wang J Z. Content-based image retrieval: Approaches and trends of the new age[C] //Proc of the 7th ACM SIGMM Int Workshop on Multimedia Information Retrieval. New York: ACM, 2005: 253-262

[4]Singhai N, Shandilya S K. A survey on: Content based image retrieval systems[J]. International Journal of Computer Applications, 2010, 4(2): 22-26

[5]ElAlami M E. A new matching strategy for content based image retrieval system[J]. Applied Soft Computing, 2014, 14: 407-418

[6]Bian W, Tao D. Biased discriminant euclidean embedding for content-based image retrieval[J]. IEEE Trans on Image Processing, 2010, 19(2): 545-554

[7]Buades A, Coll B, Morel J M. A review of image denoising algorithms, with a new one[J]. Multiscale Modeling & Simulation, 2005, 4(2): 490-530

[8]Ding F, Zhu G, Shi Y Q. A novel method for detecting image sharpening based on local binary pattern[C] //Proc of Digital-Forensics and Watermarking. Berlin: Springer, 2014: 180-191

[9]Song M, Tao D, Chen C, et al. Color to gray: Visual cue preservation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1537-1552

[10]Ojala T, Pietik?inen M, M?enp?? T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987

[11]Ojala T, Pietik?inen M, M?enp?? T. Gray scale and rotation invariant texture classification with local binary patterns[C] //Proc of the 6th European Conf on Computer Vision. Berlin: Springer, 2000: 404-420

[12]Dalal N, Triggs B. Histograms of oriented gradients for human detection[C] //Proc of 2005 IEEE Conf on Computer Vision and Pattern Recognition. Los Alamitos, CA: IEEE Computer Society, 2005: 886-893

[13]Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110

[14]Jones J P, Palmer L A. An evaluation of the two-dimensional Gabor filter model of simple receptive fields in cat striate cortex[J]. Journal of neurophysiology, 1987, 58(6): 1233-1258

[15]Serre T, Wolf L, Bileschi S, et al. Robust object recognition with cortex-like mechanisms[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2007, 29(3): 411-426

[16]Mikolajczyk K, Schmid C. A performance evaluation of local descriptors[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630

[17]Swain M J, Ballard D H. Color indexing[J]. International Journal of Computer Vision, 1991, 7(1): 11-32

[18]Stricker M A, Orengo M. Similarity of color images[C] //Proc of SPIE 2420. Bellingham: SPIE, 1995: 381-392

[19]Huang J, Kumar S R, Mitra M, et al. Image indexing using color correlograms[C] //Proc of 1997 IEEE Conf on Computer Vision and Pattern Recognition. Los Alamitos, CA: IEEE Computer Society, 1997: 762-768

[20]Pass G, Zabih R, Miller J. Comparing images using color coherence vectors[C] //Proc of the 4th ACM Int Conf on Multimedia. New York: ACM, 1997: 65-73

[21]Feng Jinli, Yang Hongju. Image retrieval method research based on BoC-BoF feature[J]. Computer Science, 2015, 42(4): 297-301

[22]Zhang Yongku, Li Yunfeng, Sun Jingguang. Image retrieval based on multi-feature fusion[J]. Journal of Computer Application, 2015, 35(2): 495-498

[23]Pan Yongsheng, Ji Xiaoping. New image retrieval method based on multiple feature fusion[J]. Science Technology and Engineering, 2014 (15): 219-223

[24]Zhang Shaoting, Yang Ming, Cour T, et al. Query specific fusion for image retrieval[C] //Proc of the 12th European Conf on Computer Vision. Berlin: Springer, 2012: 660-673

[25]Liu Guanghai, Li Zuoyong, Zhang Lei, et al. Image retrieval based on micro-structure descriptor[J]. Pattern Recognition, 2011, 44(9): 2123-2133

[26]Liu Guanghai, Zhang Lei, Hou Yingkun, et al. Image retrieval based on multi-texton histogram[J]. Pattern Recognition, 2010, 43(7): 2380-2389

[27]Liu Guanghai, Yang Jingyu. Content-based image retrieval using color difference histogram[J]. Pattern Recognition, 2013, 46(1): 188-198

[28]Singha M, Hemachandran K. Performance analysis of color spaces in image retrieval[J]. Assam University Journal of Science and Technology, 2011, 7(2): 94-104

[29]Xia Wan, Kuo C-C J. Color distribution analysis and quantization for image retrieval[C] //Proc of SPIE 2670. Bellingham: SPIE, 1996: 8-16

[30]Julesz B. Textons, the elements of texture perception, and their interactions[J]. Nature, 1981, 290(5802): 91-97

[31]Julesz B. Texton gradients: The texton theory revisited[J]. Biological Cybernetics, 1986, 54(4/5): 245-251

[32]Feng Lin, Wu Jun, Liu Shenglan, et al. Global correlation descriptor: A novel image representation for image retrieval[J]. Journal of Visual Communication and Image Representation, 2015, 33: 104-114

[33]Zhang Shaoting, Ming Yang, Cour T, et al. Query specific rank fusion for image retrieval[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2015, 37(4): 803-815

[34]Jégou H, Douze M, Schmid C. Improving bag-of-features for large scale image search[J]. International Journal of Computer Vision, 2010, 87(3): 316-336

[35]Wengert C, Douze M, Jégou H. Bag-of-colors for improved image search[C] //Proc of the 19th ACM Int Conf on Multimedia. New York: ACM, 2011: 1437-1440

[36]Perronnin F, Liu Y, Sánchez J, et al. Large-scale image retrieval with compressed fisher vectors[C] //Proc of 2010 IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2010: 3384-3391

[37]Jégou H, Douze M, Schmid C, et al. Aggregating local descriptors into a compact image representation[C] //Proc of 2010 IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2010: 3304-3311

Wu Jun, born in 1993. Master candidate at Dalian University of Technology. His main research interests include pattern recognition and machine learning.

Liu Shenglan, born in 1984. PhD. Postdoctor at Dalian University of Technology. His main research interests include pattern recognition and machine learning.

Feng Lin, born in 1969. Professor and PhD supervisor at Dalian University of Technology. His main research interests include intelligent image processing, robotics, data mining, and embedded systems.

Yu Laihang, born in 1982. PhD candidate at Dalian University of Technology. His main research interests include image processing, data mining.

Image Retrieval Based on Texton Correlation Descriptor

Wu Jun1, Liu Shenglan2, Feng Lin1,3, and Yu Laihang3

1(School of Innovation and Entrepreneurship, Dalian University of Technology, Dalian, Liaoning 116024)2(SchoolofControlScienceandEngineering,FacultyofElectronicInformationandElectricalEngineering,DalianUniversityofTechnology,Dalian,Liaoning116024)3(SchoolofComputerScienceandTechnology,FacultyofElectronicInformationandElectricalEngineering,DalianUniversityofTechnology,Dalian,Liaoning116024)

The performance of content-based image retrieval (CBIR) depends to a great extent on the image feature descriptor. Among these descriptors, color difference histogram (CDH) has showed the great discriminative performance in CBIR. However, there are still some limitations in it: 1)only taking color difference of pixels in global region into account; 2)not considering the spatial structure among pixels. In this paper, to solve these problems, we propose a novel image representation, called texton correlation descriptor (TCD), which is applied to CBIR. First, we define uniform regions which contain discriminative information of images and then detect them by analyzing the relationship among low-level features (color value and local binary patterns) of pixels. Second, in order to character contrast and spatial structure information in uniform regions respectively, we propose the color difference feature which fuses color difference correlation and global color difference histogram, and texton frequency feature which fuses texton frequency correlation and texton frequency histogram. Finally, by combining these feature vectors, TCD not only characters two orthogonal properties: spatial structure and contrast, but also takes these properties in local and global uniform regions into account simultaneously so that TCD has better performance in CBIR. The experimental results show that the retrieval results of TCD is higher than that of other descriptors in image datasets, and thus demonstrate that TCD is more robust and discriminative in CBIR.

texton correlation descriptor (TCD); uniform regions; color difference feature; texton frequency feature; image retrieval

2015-08-10；

2016-03-22

國家自然科學基金項目(61173163,61370200)；中國博士后科學基金項目(ZX20150629) This work was supported by the National Natural Science Foundation of China (61173163, 61370200) and the China Postdoctoral Science Foundation (ZX20150629).

馮林(fenglin@dlut.edu.cn)

TP181