分組排序多特征融合的圖像檢索方法

劉勝藍 馮 林 孫木鑫 劉 洋

(大連理工大學電子信息與電氣工程學部 遼寧大連 116024)(大連理工大學創新實驗學院 遼寧大連 116024)(liusl@mail.dlut.edu.cn)

分組排序多特征融合的圖像檢索方法

劉勝藍 馮 林 孫木鑫 劉 洋

(大連理工大學電子信息與電氣工程學部 遼寧大連 116024)(大連理工大學創新實驗學院 遼寧大連 116024)(liusl@mail.dlut.edu.cn)

在圖像檢索中，多特征圖融合方法大多僅對最近鄰域進行融合.當每個特征的近鄰圖排序結果較差時，融合后的新圖難以得到理想的檢索效果.為了解決該問題，提出一種新的多特征圖融合圖像檢索方法——分組排序融合(group ranking fusion， GRF),該方法將數據集合中的相似圖片劃分為圖片組，利用相似圖片組對近鄰圖的檢索結果進行改進，在保持精度的前提下擴充了融合范圍.最后，在3個標準數據集上的實驗結果表明：多特征融合方法能夠有效地利用多特征圖提高圖像檢索效果.

多特征融合；基于內容的圖像檢索；規范最小割；圖學習；檢索重排

近年來隨著互聯網和移動終端上圖像數據的急劇增長，如何快速有效地從圖像庫中檢索用戶需要的圖像已成為計算機視覺領域的熱點問題.圖像檢索[1]可分為3類：基于文本[2]、圖像內容[3]和圖像語義[4]的圖像檢索.基于文本和基于語義的檢索效果尚不理想；而基于內容的圖像檢索(CBIR)技術近些年取得了很多成果，其檢索效果也較為理想.因此，CBIR成為圖像檢索的主流方式.CBIR主要研究圖像特征提取和圖像排序兩方面的工作，圖像特征提取的方法和圖像排序都對圖像檢索的效果有很大的影響，好的圖像特征配合與之相適應的圖像排序方法才能得到理想的圖像檢索效果.

在圖像排序方面，已有很多優秀的成果.如劉廣海等人[5]發現1范數排序比歐氏距離排序效果更好.然而1范數排序存在排名方式獨立的問題.因此，在后續的研究中，圖學習在圖像檢索中起著至關重要的作用.He等人[6]將流形排序(manifold ranking，MR)應用于圖像檢索，取得了較好效果.He等人[6]進一步提出了廣義的MR，利用K-NN初始化得分向量，該方法在數據分布不復雜的情況下可以獲得比MR更優的結果，但容易因K-NN選取不當造成誤差擴散.王斌等人[7]將圖結構中的K-NN利用樣本節點的度和權值的最小化改進為K-RNN，提升圖像檢索的效果.在圖結構方面，Huang等人[8]利用超圖實現MR，節點之間的權值由概率決定，由于不同節點對有多個權值，所以在圖像檢索中可以取得比較好的排序結果.除了超圖，多圖也是樣本點間多權值的一種實現手段.Zhao等人[9]利用圖像的不同特征構建多圖加強樣本點之間的關系實現圖像檢索，Zhang等人[10]利用Graph PageRank和Graph Density方法將多圖進行融合，實現圖像的排序.

Graph Density[10]方法為目前主流的圖學習方法之一.該方法通過融合差異性大的特征組來提高檢索結果的準確性.但Graph Density方法在多特征圖融合上依然存在限制.Graph Density方法要求至少一個特征對待檢索圖片表現良好，才能取得較理想的檢索結果如圖1[10]所示.若單特征的檢索結果不理想，則Graph Density方法難得得到理想的效果.

例如，在局部特征和全局特征都沒有得到理想檢索結果的情況下，如圖2所示的Graph Density方法的檢索結果不會得到改善.在圖2(a)中，對待檢圖片而言，不同特征的檢索結果均不理想，導致Graph Density方法沒有獲取到充分的信息，改善待檢圖片的檢索結果如圖2(b)所示.

Fig. 1 The performance of holistic features and local features on the same data-set圖1 全局特征和局部特征在同一個數據集上的檢索結果

Fig. 2 Retrieval result of one query images in UK-bench圖2 UK-bench數據集中一張圖片的檢索結果

為了獲取足夠的信息，本文將待檢圖片的檢索結果視為新的待檢圖片組，利用該圖片組的檢索結果獲取原始待檢圖片的信息，將檢索結果的范圍擴大到數據集中與檢索圖片相似的圖片組，若圖片組中能夠獲取足夠的信息，就可以提升檢索效果.

為了從相似圖片組中獲取足夠的信息解決Graph Density方法對特征要求過高的問題，本文提出分組排序的圖融合(group ranking fusion, GRF)方法.該方法主要分為4個步驟：

1) 將圖像檢索數據集，獲取特征的排序結果(第2節)，例如HSV[11]，BOW[12]；

2) 建立權重圖(第3節)，權重圖中節點為數據集合中的圖片，其中節點之間權重和圖像之間的相似度成正比，對于不同特征的權重圖采用圖融合(3.1節)的方法；

3) 將權重圖中節點分為n個獨立的集合(集合大小等于圖像檢索輸出圖像的個數)，n個大小相同的集合滿足規范最小割[13]；

4) 將最近鄰域中與檢索圖片不在同一個圖片組中的近鄰刪除，余下的近鄰就是本文方法的檢索結果，具體過程如圖3所示.

權重圖的規范最小割是一個NP完全問題[13],為了求解規范最小割，本文(3.2節)設計一種求解規范最小割極值的隨機算法.

Fig. 3 Group and rank fusion method圖3 分組排序的圖融合方法

1 圖像特征提取

圖像特征提取很大程度上決定了圖像檢索的效果，也是多特征圖融合方法的重要步驟.本節主要簡單介紹實驗中GRF使用到的圖像特征提取方法.

1.1 全局圖像特征

全局特征主要是通過圖片整體特性來描述圖片所攜帶的信息.例如統計顏色信息的顏色直方圖(HSV[11])、統計紋理信息的局部二值模式(LBP)等.

HSV為統計顏色信息直方圖，它能夠描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特別適用于描述那些難以自動分割的圖像和不需要考慮物體空間位置的圖像，但是它無法描述圖像中顏色的局部分布及每種色彩所處的空間位置，即無法描述圖像中的某一具體的對象或物體.

LBP為統計紋理信息的局部二值模式，它也描述了圖像或圖像區域所對應景物的表面性質，但是它無法完全反映高層次圖像內容.

除此之外還有許多全局圖像方法，例如基于局部敏感度Hash(LSH[14])，以及在LSH上改進馬氏(Mahalanobis)距離[15]等.本文的實驗主要使用HSV特征.

1.2 局部圖像特征

局部圖像特征通過描述圖片的區域來描述圖片特征，其中圖片區域的描述子通常滿足不變性(魯棒性)和可區分性，例如尺度不變性特征(SIFT[16-17]，SURF[18]).

SIFT是應用廣泛的局部特征，它對尺度、旋轉以及一定視角和光照變化等圖像變化都具有不變性，并且SIFT具有很強的可區分性.

SURF是對SIFT的改進版本，它利用Haar小波來近似SIFT方法中的梯度操作，同時利用積分圖技術進行快速計算，SURF的速度是SIFT的3～7倍，大部分情況下它和SIFT的性能相當.

近期很多二值特征描述子被提出，例如ORB[19]，BRISK[20]，FREAK[21]等.局部特征描述子結合詞匯樹[22](VOC)或詞袋[12](BOW)轉化為圖像的局部特征.本文的實驗主要使用SIFT特征+BOW方法以及CNN特征.

2 特征圖構建

要在排序階段實現不同特征的圖融合，首先需構建一個好的特征圖.一般的想法是構建出來圖的邊的權重是圖片之間為相似圖片的概率，但它是不可計算的.同本文類似的替代方案是文獻[10，23]等，本節將會介紹GRF算法特征圖的構建方式.

(1)

邊權函數w定義為

(2)

(3)

其中，α為常量(α∈[0.1,0.3]).基于式(2)(3)，對于任意的檢索結果可以構建出有向圖G=(V,E,w).由式(2)(3)可以得出，節點i和i′(i′∈Nk(i))的J(i,i′)大于常數α的數量越多，則w(q,i)值越大.

為了利用相似圖片組的檢索信息，本文將圖像檢索數據集劃分為n個集合S={S1,S2,…,Sn}，集合Si的大小為k(一般為檢索出的相似圖像的個數)，且集合之間滿足關系：

(?i?j)Si∩Sj=?，

(4)

(5)

(6)

定義1. 函數f(i,i′)為

由定義1可知，對于數據集合V的劃分S={S1,S2,…,Sn}的準確率(precision)期望為

E(precision)=

(7)

(8)

從式(8)可以得出，求任意的劃分集合S={S1,S2,…,Sn}對應的E(precision)關鍵是P(f(i,i′)=1)，由于P(f(i,i′)=1)的準確值是不可知的.因此，如果w(q,i)越大，則P(f(i,i′)=1)越大，此時，可用w(q,i)近似代替P(f(i,i′)=1)，求出在不同劃分集合條件下E(precision)的大小關系.

3 分組排序的圖融合

分組排序的圖融合(GRF)方法主要包括：多特征圖融合方法以及分組排序方法.在本節中，將分別對以上內容進行詳細介紹.

3.1 圖融合

為了獲取圖像特征互補信息，提高圖像檢索的準確率，需要設計多種圖像特征融合方法.現有的多特征融合方法主要有：在特征提取階段的融合方法和在排序階段的融合方法.在特征提取階段的融合方法在效率和可靠性方面表現一直不佳，尤其是融合特征越多效率越難以保證.對于要求高效的圖像檢索，在特征提取階段的融合方法存在嚴重缺陷.因此，在排序階段的融合方法成為圖像檢索中多特征融合的主要研究方向.目前在排序階段的融合方法主要是Dwork等人[25]提出的圖融合方法，但該方法仍然存在一定的限制.為了避免上述多特征融合出現的問題，本文進行如下融合方式，本文方法同文獻[10，26-27]相似.

Fig. 4 Fusion of two graphs圖4 2種不同的Gm=(Vm,Em,wm)融合成G=(V,E,w)

3.2 分組排序方法

通過上述優化方法，可保證集合劃分S={S1,S2,…,Sn}的E(precision)逐漸增大，當不存在交換2個點能夠使E(precision)增大時，則認為集合劃分S={S1,S2,…,Sn}的E(precision)達到極值點.迭代的具體方式如下：

算法1. 主要迭代過程.

輸入:結構圖G=(V,E,w)；

輸出:劃分集合S={S1,S2,…,Sn}.

While True

Swap(i,i′)；

Else Return；

End If

End While

Return

不難發現，每次迭代需要計算集合的總權值的變化情況.總權值的計算速度直接影響算法的運行效率，對于給定節點i和i′，由式(8)可得：

(9)

同理，可得交換之后：

(10)

由式(9)(10)可知交換之后：

E(precision)-E′(precision)=

(11)

輸入:i,i′(i,i′∈V)；

輸出:d.

d=0；

For (i,v)∈E

Ifv∈Sj∧i∈Sj

dd+w(i,v)；

Else Ifv∈Sj′∧i′∈Sj′

dd-w(i,v)；

End If

End For

For (i′,v)∈E

Ifv∈Sj∧i∈Sj

dd-w(i′,v)；

Else Ifv∈Sj∧i∈Sj

dd+w(i′,v)；

End If

End For

Return

本文已給出最大化E(precision)的迭代方法，并且可以通過本文方法對任何候選集合進行優化，進而得到更加合理的候選圖像集合.

4 實驗結果分析

本節首先說明數據集和實驗的方法，然后詳細說明在每一個數據集合上的實驗結果，對每個數據集的結果進行分析.

4.1 數據集

本文評估采用3個標準數據集：UK-bench，Corel-10K，Corel-1K.其中，UK-bench具有圖片旋轉和尺度變化、圖片類別多和數據集合相對較大等特點；Corel-10K具有每類圖片個數多和數據集合相對較大等特點；Corel-1K具有每類圖片個數多和數據集合大相對較小等特點.通過以上數據集，驗證本文算法的有效性.數據集詳細參數如表1所示:

Table 1 Attributes of Experimental Data Set表1 實驗數據集的屬性

UK-bench[28]包含2 550個不同的數據種類的圖片，每類圖像包含4張相似的圖片.10 200張圖片同時包含數據集合和詢問集合.每張圖片返回4張候選圖片，采用N-S(改成斜體)評估.

Corel-1K[29]包含10個不同的數據種類的圖片，每類圖像包含100張圖片.1 000張圖片包含數據集合和詢問集合.每張圖片尋找20張候選圖片，并評估候選圖片的準確率.

Corel-10K[29]包含100個不同的數據種類的圖片，每類圖像包含100張圖片.1 000張圖片包含數據集合和詢問集合.每張圖片尋找12張候選圖片，并評估候選圖片的準確率.

4.2 特征選取及融合方法

基礎的圖像檢索方式包括：VOC,HSV，BOW等.本文將會應用單特征優化方法對GVOC,GHSV，GBOW進行優化，并應用圖融合方法對GVOC，GHSV和GHSV，GBOW進行融合優化.

1) VOC.本文采用基于圖像檢索的詞匯樹，每張圖片使用VLFeat-library提取出2500 SIFT特征.詞匯樹包含7層，每層10個分支，在image-net上進行訓練，最后應用到UK-bench數據集上.

2) HSV.本文采用對于檢索圖像的每個像素點計算出11維向量：黑、藍、棕、灰、綠、橙、粉、紫、紅、白、黃.對于檢索圖像，本文以平均向量為顏色描述符作為圖片的描述向量，最后應用到UK-bench，Corel-1K，Corel-10K數據集上.

3) BOW.本文采用基于圖像檢索的詞袋，每張圖片使用VLFeat-library提取出密集SIFT特征.詞袋采用1000個詞匯，進行kmeans聚類，最后應用到Corel-1K和Corel-10K數據集上.

4.3 UK-bench數據集

為了說明GRF方法在多特征圖融合上的效果.在UK-bench數據集上，GRF方法采用VOC和HSV方法作為基礎特征，進行多特征圖融合，并同目前的主流的其他多特征圖融合方法進行比較，比較結果詳如表2所示:

Table 2 Comparisons of N-S Score on the UK-bench Data Set表2 在UK-bench 數據集多特征圖融合方法的N-S值結果

結果較VOC(N-S值為3.54)偏低.經過不同的圖融合方法都得到不同的提高.本文的單特征優化，使HSV的N-S值提高了0.12，VOC結果的N-S值提高了0.29，造成HSV和VOC差異的主要原因是：VOC和HSV的P(f(i,i′)=1)的大小不同，導致VOC的特征圖相對于HSV的特征圖更接近于真實的概率.因此，GRF算法對VOC較HSV的N-S值效果提高更大.

本文的圖融合方法可以將UK-bench數據集合的N-S值提高到3.83.通過HSV,VOC采用文獻[31]的方法進行迭代.在迭代之后HSV(N-S值為3.35)和VOC(N-S值為3.73)，進行GRF方法的多特征圖融合可以將UK-bench數據集的N-S分數提高到3.86，GRF算法的迭代效果如圖5所示:

Fig. 5 N-S Score on the UK-bench data set after iterative building graphs圖5 UK-bench數據集上不同方法迭代之后的N-S值

4.4 Corel-1K和Corel-10K數據集

為了說明GRF在不同數據集上具有良好效果，本文在Corel-1K和Corel-10K數據集上采用BOW和HSV方法作為基礎特征進行實驗，并同目前在這2個數據集上具有較好效果的其他方法進行比較.在Corel-1K和Corel-10K數據集中每類圖片包含100幅圖片.在Corel-1K數據集中，本文比較前20幅圖片的準確率；在Corel-10K數據集上，本文比較前12幅圖片的準確率；采用BOW和HSV進行特征融合.相對于基本BOW和HSV準確率提高了11.70%，具體的準確率如表3所示.在Corel-10K數據集上，本文采用BOW和HSV進行特征融合前12幅圖片的準確率可以提升8.36%.相對于Corel-1K提升幅度差異主要由于P(f(i,i′)=1)的大小，導致提升幅度減少，具體GRF算法的準確率如表4所示.

Table 3 Comparison of Different Image Retrieval Methods on Corel-1K

Table 4 Comparison of Different Image Retrieval Methods on Corel-10K

表4 不同算法在Corel-10K數據集上的準確率 %

表3和表4的準確率結果說明，GRF方法利用全局圖像檢索信息使BOW和HSV方法的結果得到了較大的提升.由于不同方法的融合更加準確地求出w(i,i′)，使本文方法在圖融合方面表現出了很大的優勢.對于前k幅圖片準確率的提升并不相同，當k接近50時在Corel數據集上的效果最明顯，在Corel-1K數據集上可以提高15%的準確率，在Corel-10K數據集上可以提高9%的準確率，不同的k值的準確率如圖6所示.

4.5 時間復雜度分析

Fig. 6 Precision on the Corel data set for different k圖6 Corel數據集的前k幅圖片準確率情況

在本文實驗中，k根據實際要求的候選圖片數量取值為4～30；分組方法固定迭代5次，每次迭代的時間復雜度為O(k2|V|)，如果數據集較大可以采用離線的方式預先計算結果；每張檢索圖像重排方法的時間復雜度為O(klogk).本文方法計算檢索圖像排序結果的時間復雜度明顯小于提取圖像特征的時間復雜度.尤其當k的取值較小時(k=4)，本文方法的檢索時間小于1 ms，由此可見本文方法不影響圖像檢索的時間復雜度.在本文實驗的數據集上重排時間如表5所示:

Table 5 The Re-rank Time on the Test Datasets

5 結 論

本文利用全局候選圖片的信息，提出GRF圖像排序融合方法.該方法利用不同特征圖，將圖像檢索數據集劃分為相似圖片組以提升圖像檢索的效果.從實驗結果可以看出，本文多特征圖融合方法優于已有的方法；此外，通過融合圖像的局部和全局特征，能夠更全面地刻畫圖像的顏色、尺度及旋轉等信息，可以較原特征(全局或局部特征)獲得更高的精度，且原特征的效果越優，多特征圖融合的檢索效果越好.當所有特征對該圖片檢索結果存在較大偏差時，GRF方法依然能夠提升圖像檢索的效果.該方法還存在一些不足，當相似圖片組對檢索圖像整體沒有較好的檢索結果時，GRF方法難以提升圖像檢索的效果.在今后的工作中，可以通過研究此問題的解決辦法，進一步提升多特征圖融合方法對圖像檢索效果.

[1]Datta R, Joshi D, Li Jia, et al. Image retrieval: Ideas, influences, and trends of the new age[J]. ACM Computing Surveys, 2008, 40(2): No.5

[2]Zhang Chen, Joyce Y C, Rong Jin. User term feedback in interactive text-based image retrieval[C] //Proc of the 28th Annual Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2005: 51-58

[3]Li Xiangyang, Zhuang Yueting, Pan Yunhe. Content-based image retrieval techniques and systems[J]. Journal of Computer Research and Development, 2001, 38(3): 344-354 (in Chinese)(李向陽, 莊越挺, 潘云鶴. 基于內容的圖像檢索技術與系統[J]. 計算機研究與發展, 2001, 38(3): 344-354)

[4]Wang Huifeng, Sun Zhengxing, Wang Jian. Semantic image retrieval: Review and ResEearch[J]. Journal of Computer Research and Development, 2002, 39(5): 513-523 (in Chinese)(王惠鋒, 孫正興, 王箭. 語義圖像檢索研究進展[J]. 計算機研究與發展, 2002, 39(5): 513-523)

[5]Liu Guanghai, Yang Jingyu. Content-based image retrieval using color difference histogram[J]. Pattern Recognition, 2013, 46(1): 188-198

[6]He Jingrui, Li Mingjing, Zhang Hongjiang, et al. Generalized manifold-ranking-based image retrieval[J]. IEEE Trans on Image Processing, 2006, 15(10): 3170-3177

[7]Wang Bin, Pan Feng, Hu Kaimo, et al. Manifold-ranking based retrieval usingk-regular nearest neighbor graph[J]. Pattern Recognition, 2012, 45(4): 1569-1577

[8]Huang Yuchi, Liu Qingshan, Zhang Shaoting, et al. Image retrieval via probabilistic hyper graph ranking[C] //Proc of the 23rd IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2010: 3376-3383

[9]Zhao Sicheng, Yao Hongxun, Yang You, et al. Affective image retrieval via multi-graph learning[C] //Proc of the ACM Int Conf on Multimedia. New York: ACM, 2014: 1025-1028

[10]Zhang Shaoting, Yang Ming, Cour T, et al. Query specific rank fusion for image retrieval[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2015, 37(4): 803-815

[11]Zheng Liang, Wang Shengjin, Liu Ziqiong, et al. Packing and padding: Coupled multi-index for accurate image retrieval[C] //Proc of the IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2014: 1939-1946

[12]Christian W, Matthijs D, Hervé J. Bag-of-colors for improved image search[C] //Proc of the 19th ACM Int Conf on Multimedia. New York: ACM, 2011: 1437-1440

[13]Shi Jianbo, Jitendra M. Normalized cuts and image segmentation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905

[14]Mayur D, Nicole I, Piotr I, et al. Locality-sensitive hashing scheme based on p-stable distributions[C] //Proc of the 20th Annual Symp on Computational Geometry. New York: ACM, 2004: 253-262

[15]De Maesschalck R, Jouan-Rimbaud D, Massart D L. The mahalanobis distance[J]. Chemometrics and Intelligent Laboratory Systems, 2000, 50(1): 1-18

[16]Lowe D G. Object recognition from local scale-invariant features[C] //Proc of the 7th IEEE Int Conf on Computer Vision, Vol2. Piscataway, NJ: IEEE, 1999: 1150-1157

[17]Lindeberg T. Scale invariant feature transform[J]. Scholarpedia, 2012, 7(5): 10491-10491

[18]Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359

[19]Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C] //Proc of IEEE Int Conf on Computer Vision (ICCV). Piscataway, NJ: IEEE, 2011: 2564-2571

[20]Leutenegger S, Chli M, Siegwart R Y. BRISK: Binary robust invariant scalable keypoints[C] //Proc of IEEE Int Conf on Computer Vision (ICCV). Piscataway, NJ: IEEE, 2011: 2548-2555

[21]Alahi A, Ortiz R, Vandergheynst P. Freak: Fast retina keypoint[C] //Proc of IEEE Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2012: 510-517

[22]Chen D, Tsai S S, Chandrasekhar V, et al. Robust image retrieval using multiview scalable vocabulary trees[C/OL] //Proc of SPIE Electronic Imaging, 2009[2014-08-18]. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.142.8937&rep=rep1&type=pdf

[23]Jegou H, Schmid C, Harzallah H, et al. Accurate image search using the contextual dissimilarity measure[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2010, 32(1): 2-11

[24]Niwattanakul S, Singthongchai J, Naenudorn E, et al. Using of Jaccard coefficient for keywords similarity[C] //Proc of the Int Multi-Conf of Engineers and Computer Scientists, 2013[2014-10-11]. http://www.iaeng.org/publication/IMECS2013/IMECS2013_pp380-384.pdf

[25]Dwork C, Kumar R, Naor M, et al. Rank aggregation methods for the Web[C] //Proc of the 10th Int Conf on World Wide Web. New York: ACM, 2001: 613-622

[26]Jing Yushi, Baluja S. Visualrank: Applying pagerank to large-scale image search[J]. IEEE Trans on Pattern Analysis and Machine Intelligence. 2008, 30(11): 1877-1890

[27]Duygulu P, Barnard K, De Freitas J F G, et al. Object recognition as machine translation: Learning a lexicon for a fixed image vocabulary[C] //Proc of the 7th European Conf on Computer Vision. Berlin: Springer, 2002: 97-112

[28]Nister D, Stewenius H. Scalable recognition with a vocabulary tree[C] //Proc of IEEE Computer Society Conf on Computer Vision and Pattern Recognition. Los Alamitos, CA: IEEE Computer Society, 2006: 2161-2168

[29]Li Jia, Wang J Z. Automatic linguitic indexing of pictures by a statistical modeling approach[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2003, 25(9): 1075-1088

[30]Wang Xiaoyu, Yang Ming, Timothee C, et al. Contextual weighting for vocabulary tree based image retrieval[C] //Proc of the 13th IEEE Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2011: 209-216

[31]Wang Meng, Li Hao, Tao Dacheng, et al. Multimodal graph-based reranking for Web image search[J]. IEEE Trans on Image Processing, 2012, 21(11): 4649-4661

[32]Guo Jingming, Heri P, Su Huaisheng. Image indexing using the color and bit pattern feature fusion[J]. Journal of Visual Communication and Image Representation, 2013, 24(8): 1360-1379

[33]Walia E, Pal A. Fusion framework for effective color image retrieval[J]. Journal of Visual Communication and Image Representation, 2014, 25(6): 1335-1348

[34]Zeng Shan, Huang Rui, Wang Haibing, et al. Image retrieval using spatiograms of colors quantized by Gaussian mixture models[J]. Neurocomputing, 2016, 17: 673-684

[35]Yu F X, Luo Hao, Lu Z M. Colour image retrieval using pattern co-occurrence matrices based on BTC and VQ[J]. Electronics Letters, 2011, 47(2): 100-101

[36]Lin C, Chen R, Chan Y. A smart content-based image retrieval system based on color and texture feature[J]. Image and Vision Computing, 2009, 27(6): 658-665

[37]Chen Jinhui, Toru N, Tetsuya T, et al. Content-based image retrieval using rotation-invariant histograms of oriented gradients[C] //Proc of the 5th ACM on Int Conf on Multimedia Retrieval. New York: ACM, 2015: 443-446

[38]Babenko A, Slesarev A, Chigorin A, et al. Neural codes for image retrieval[C] //Proc of European Conf on Computer Vision. Berlin: Springer, 2014: 584-599

[39]Liu Guanghai, Li Zuoyong, Zhang Lei, et al. Image retrieval based on micro-structure descriptor[J]. Pattern Recognition, 2011, 44(9): 2123-2133

[40]Dalal N, Triggs B. Histograms of oriented gradients for human detection[C] //Proc of IEEE Computer Society Conf on Computer Vision and Pattern Recognition. Los Alamitos, CA: IEEE Computer Society, 2005: 886-893Liu Shenglan, born in 1984. PhD. Post doctor at Dalian University of Technology. His main research interests include pattern recognition and machine learning.

Group and Rank Fusion for Accurate Image Retrieval

Liu Shenglan, Feng Lin, Sun Muxin, and Liu Yang

(Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology, Dalian, Liaoning 116024)(School of Innovation Experiment, Dalian University of Technology, Dalian, Liaoning 116024)

Single feature is not discriminative to describe informational content of an image, which is always a shortcoming in traditional image retrieval task. It can be seen that one image can be described by different but complemented features. So multi-feature fusion ranking methods should be further researched to improve the ranking list of query in image retrieval. Most existing multi-feature fusion methods only focus on the nearest neighbors in image retrieval. When the ranking result of each neighbor graph is poor, it is hard to get ideal image retrieval result after graph fusion. In order to solve the problem, this paper proposes a novel multi-feature fusion method for image retrieval—GRF(group ranking fusion). The proposed method divides similar images of a data set into the same group, and improves the retrieval result of neighbor graph through similar images group. The GRF method expands the fusion scope in the premise of guaranteeing retrieval precision premise. At last, the experimental results on three standard data sets demonstrate that GRF can effectively utilize multi-feature graph to improve the performance of image retrieval.

multi-feature fusion; content-bases image retrieval; minimizing normalized cut; graph learning; retrieval re-rank

Feng Lin, born in 1969. Professor and PhD supervisor at Dalian University of Technology. His main research interests include intelligent image processing, robotics, data mining, and embedded systems.

Sun Muxin, born in 1989. Master candidate at Dalian University of Technology. His main research interests include pattern recognitionand machine learning.

Yang Liu, born in 1992. PhD candidate at Dalian University of Technology. His main research interests include video analysis and machine learning.

2015-10-29；

2016-07-05

國家自然科學基金項目(61602082,61672130,61370200);中國博士后科學基金面上資助基金項目(2015M581331) This work was supported by the National Natural Science Foundation of China (61602082, 61672130, 61370200) and the General Program of the Postdoctoral Science Foundation of China (2015M581331).

TP391.41