基于深度卷積神經(jīng)網(wǎng)絡(luò)和局部敏感哈希的圖像檢索

廖榮凡， 沈希忠

(上海應(yīng)用技術(shù)大學(xué) 電氣與電子工程學(xué)院， 上海 201418)

在網(wǎng)絡(luò)信息技術(shù)日益發(fā)達(dá)的背景下，網(wǎng)絡(luò)圖像資源迅速增長(zhǎng)，如何實(shí)現(xiàn)快速有效的檢索成為了亟待解決的問(wèn)題。當(dāng)前基于內(nèi)容的圖像檢索(content-based image retrieval, CBIR)成為研究的熱點(diǎn)之一。基于圖像內(nèi)容的檢索技術(shù)流程是通過(guò)提取圖像紋理、形狀和色彩分布等特征，計(jì)算待檢索圖像與已經(jīng)構(gòu)建好的圖像數(shù)據(jù)庫(kù)中各個(gè)圖像的距離，返回與待檢索圖像最接近的圖像。檢索中最具有挑戰(zhàn)性的問(wèn)題是如何將圖像像素層面的信息與個(gè)人理解的圖像語(yǔ)義聯(lián)系起來(lái)[1]。

深度卷積神經(jīng)網(wǎng)絡(luò)在圖像分類、圖像語(yǔ)義分割和目標(biāo)檢測(cè)等計(jì)算機(jī)視覺(jué)領(lǐng)域表現(xiàn)優(yōu)異，對(duì)圖像底層和中層特征有很好的表達(dá)能力。相對(duì)于人工選擇圖像特征表達(dá)圖片內(nèi)容的方法，例如SIFT[2]、HOG[3]，卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的高維圖像特征可以更好地表達(dá)圖像信息，但也增加了計(jì)算復(fù)雜度，尤其是在大數(shù)據(jù)背景下，訓(xùn)練1個(gè)大型深度卷積神經(jīng)網(wǎng)絡(luò)使其收斂到較高的精度，然后用于圖像檢索任務(wù)，往往需要很大的計(jì)算開(kāi)銷(xiāo)，同時(shí)對(duì)于檢索本身而言高維度的特征向量也較低了檢索的效率。

Krizhevsky等[4]使用其提出的Alex-Net網(wǎng)絡(luò)的第7層(全連接層)輸出作為圖像的特征向量，用于圖像檢索，在ImageNet數(shù)據(jù)集[5]上取得了很好的表現(xiàn)。但是其輸出的特征向量高達(dá) 4 096 維，檢索大量 4 096 維的數(shù)據(jù)，判斷2個(gè)向量的相似度，其計(jì)算速度是一個(gè)值得優(yōu)化的問(wèn)題。Babenko等[6]使用主成分分析(PCA)壓縮特征向量的維度，實(shí)現(xiàn)數(shù)據(jù)降維，明顯地加快了檢索速度，但是比較2個(gè)矩陣的相似度依然不是一個(gè)高效的運(yùn)算。文獻(xiàn)[7-10]提出使用近似最近鄰(approximate nearest neighbor，ANN)算法加速運(yùn)算，如局部敏感哈希(locality sensitive hash，LSH)，將高維度的特征數(shù)據(jù)映射到低維度的二值空間中，形成二值編碼后，比較它們的漢明距離可以進(jìn)一步提高檢索速度[11]。

在Alex-Net網(wǎng)絡(luò)之后涌現(xiàn)出了一系列表現(xiàn)優(yōu)異同時(shí)也更加復(fù)雜的卷積網(wǎng)絡(luò)，如VGGNet[12]、Inception[13]和Xception[14]等，這些網(wǎng)絡(luò)雖然提高了圖像檢索的精度但因?yàn)榫薮蟮挠?jì)算開(kāi)銷(xiāo)同時(shí)也增加了網(wǎng)絡(luò)訓(xùn)練的難度。

本文設(shè)計(jì)的檢索方法提供了一種簡(jiǎn)潔有效的圖像檢索框架。在計(jì)算資源有限的情況下，利用遷移學(xué)習(xí)方式[4]使用VGG16深度卷積神經(jīng)網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型完成圖像檢索任務(wù)，并使用LSH算法進(jìn)一步提升檢索速度。

圖1 檢索圖片F(xiàn)ig.1 Retrieve image

1 圖像檢索方法

通過(guò)遷移學(xué)習(xí)方式使用VGG16深度卷積神經(jīng)網(wǎng)絡(luò)[12]在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型，先采集由其全連接層輸出的高維圖像特征，再經(jīng)局部敏感哈希處理保存圖像的二值化特征編碼建立圖像的特征數(shù)據(jù)集，最后將待檢索圖片輸入到網(wǎng)絡(luò)中得到圖像的特征編碼和數(shù)據(jù)庫(kù)中的特征數(shù)據(jù)集進(jìn)行比較返回最相近的圖像。

1.1 深度卷積VGGNet網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)是一種專門(mén)用來(lái)處理具有類似網(wǎng)格結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，如時(shí)間序列數(shù)據(jù)和圖像數(shù)據(jù)[15]，具有很好的特征提取能力，可以層次化提取圖像的像素特征完成高精度的圖像分類。

VGGNet由牛津大學(xué)開(kāi)發(fā)。VGG16網(wǎng)絡(luò)[12]包括13個(gè)卷積層、5個(gè)池化層和3個(gè)全連接層。它的輸入為224×224×3(pixel)的RGB圖像，整個(gè)網(wǎng)絡(luò)只使用3×3的卷積核，卷積步長(zhǎng)為1，而池化層均采用2×2的最大池化,由全連接層實(shí)現(xiàn)對(duì)ImageNet數(shù)據(jù)集的分類。

卷積神經(jīng)網(wǎng)絡(luò)全連接層的輸出包含輸入圖像的視覺(jué)特征，可以看成為輸入圖像的特定編碼，具有相似編碼的圖像也具有相似的圖像特征[16-17]。使用VGG16網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型，分離網(wǎng)絡(luò)的圖像分類層(softmax layer)使用其全連接層的輸出作為圖像檢索的特征編碼，建立檢索圖像數(shù)據(jù)集的特征索引(見(jiàn)圖1)。

設(shè)圖像數(shù)據(jù)集中有N張圖片，數(shù)據(jù)集中第i(0≤i≤N)張圖片的特征編碼為vi∈Rm，待檢索圖片特征為vq∈Rm，其中m為特征的維度。2張圖片間的距離定義為

li=‖vi-vq‖q

(1)

在圖片搜索時(shí)，將待檢索圖片輸入神經(jīng)網(wǎng)絡(luò)得到檢索圖片的特征編碼vq后與數(shù)據(jù)庫(kù)中的各圖像特征vi對(duì)比，計(jì)算圖像特征之間的距離,如式(1)，按距離的大小返回距離最小的前n張圖片。

1.2 局部敏感哈希

哈希算法指的是構(gòu)建一個(gè)哈希模型，使用該哈希模型，可以將高維度的圖片特征映射為低維度的哈希編碼。局部敏感哈希(local sensitive Hash)算法主要用來(lái)解決高維空間中點(diǎn)的近似最近鄰搜索問(wèn)題。局部敏感哈希函數(shù)定義：

(2)

式中：r為超平面向量符合高維高斯N(0,1)分布[2]；vi∈Rm代表樣本的特征向量。

具體過(guò)程如下，給1個(gè)樣本特征v∈Rm，將v代入哈希函數(shù)H={h1,h2,…,hk}，得到二值編碼的計(jì)算過(guò)程：

y={h1(v),h2(v),…,hk(v)}

(3)

這個(gè)過(guò)程也可以表示為：

H:v→{h1(v),h2(v), …,hk(v)}

(4)

得到哈希編碼后，對(duì)圖片進(jìn)行最近鄰搜索，通過(guò)計(jì)算待檢索圖片的哈希碼與數(shù)據(jù)庫(kù)中各圖片哈希碼的漢明距離，得到與待檢索圖片特征最相似的結(jié)果。

2張圖片的特征向量為vi和vj，它們的哈希編碼分別為yi=[h1(vi),h2(vi), …,hk(vi)]和yj=[h1(vj),h2(vj), …,hk(vj)],則它們的哈希距離定義為：

dH(yi,yj)=‖yi-yj‖1

(5)

在實(shí)際計(jì)算中，因?yàn)楣４a由0和1構(gòu)成，因此其哈希距離可以直接通過(guò)計(jì)算機(jī)中的位操作來(lái)進(jìn)行，因此大大提升了計(jì)算速度。相較于在原始的特征空間中利用圖片特征進(jìn)行檢索，利用圖片的哈希編碼進(jìn)行最近鄰搜索明顯地加快了檢索的速度。

2 實(shí) 驗(yàn)

在ImageNet ILSVRC2012_img_val驗(yàn)證數(shù)據(jù)集上檢驗(yàn)實(shí)驗(yàn)的效果。此數(shù)據(jù)集是ILSVRC2012訓(xùn)練數(shù)據(jù)集的驗(yàn)證數(shù)據(jù)集包含 50 000 張不同類型的圖片。實(shí)驗(yàn)先利用VGG16網(wǎng)絡(luò)建立數(shù)據(jù)集圖片的特征索引，然后進(jìn)行檢索，驗(yàn)證實(shí)驗(yàn)的檢索精度，最后使用局部敏感哈希加速檢索速度，提高大規(guī)模圖像數(shù)據(jù)檢索的時(shí)效性。

2.1 卷積神經(jīng)網(wǎng)絡(luò)輸出特征檢索的有效性

使用基于距離排序的準(zhǔn)確率測(cè)量方法，給出帶查詢圖片q,檢索出數(shù)據(jù)庫(kù)中距離q最近的前k張圖片，其中第i(0≤i≤k)張圖片的標(biāo)簽(label)若與圖片q的標(biāo)簽相同則記val(i)=1,否則記val(i)=0。檢索精度P的計(jì)算公式為

(6)

取j張圖片，每張圖片的檢索精度記為pj則模型的平均檢測(cè)精度為：

(7)

使用10張驗(yàn)證集中的圖片(見(jiàn)圖1)。每張圖片檢索時(shí)取k=1、5、10，經(jīng)過(guò)多次檢索實(shí)驗(yàn)，上述網(wǎng)絡(luò)的檢索精度如表1所示。部分圖片檢索結(jié)果如附錄1所示。

表1 圖片檢索精度Tab.1 Image retrieval accuracy

由實(shí)驗(yàn)結(jié)果分析可見(jiàn)當(dāng)k=1時(shí)，即對(duì)輸入圖像進(jìn)行匹配時(shí)可以完全精準(zhǔn)地匹配到數(shù)據(jù)集中的對(duì)象。當(dāng)k=5、10時(shí)，基于圖像內(nèi)容的檢索精度分別為0.93和0.83，在準(zhǔn)確判斷圖像類別的基礎(chǔ)上還可以依據(jù)圖像的像素特征返回相近的圖片。

2.2 使用局部敏感哈希提升檢索速度

使用局部敏感哈希算法將圖像的高維特征映射到8維的哈希空間中建立圖像索引，然后對(duì)上述提到的10張標(biāo)準(zhǔn)圖片檢索。在上述相同數(shù)據(jù)集上檢索的時(shí)間，見(jiàn)表2。其中部分檢索圖像結(jié)果如附錄2所示。

表2 使用VGG網(wǎng)絡(luò)和VGG+LSH算法檢索的時(shí)間開(kāi)銷(xiāo)Tab.2 Retrieval time using VGG network and VGG+LSH algorithm s

由上述實(shí)驗(yàn)結(jié)果可見(jiàn)在大規(guī)模數(shù)據(jù)集上使用這種方法可以明顯提高檢索的速度。在本圖像數(shù)據(jù)集(50 000 張)中局部敏感哈希算法將檢索速度提升了近3倍。使用上文設(shè)定的10張標(biāo)準(zhǔn)檢索圖片，按式(7)計(jì)算局部敏感哈希算法檢索圖片的精度。取k=1、5、10，經(jīng)過(guò)多次檢索實(shí)驗(yàn)，上述網(wǎng)絡(luò)的檢索精度如表3所示。實(shí)驗(yàn)表明使用VGG16網(wǎng)絡(luò)結(jié)合局部敏感哈希算法檢索圖像可以在不明顯影響檢索精度的情況下大幅提升檢索速度。

表3 VGG+LSH檢索精度Tab.3 Image retrieval accuracy of VGG+LSH

3 結(jié) 語(yǔ)

本文通過(guò)使用深度卷積神經(jīng)網(wǎng)絡(luò)的全連接層輸出作為圖像的特征編碼，用于端到端的基于內(nèi)容的圖像檢索，并使用局部敏感哈希算法加速檢索。實(shí)驗(yàn)表明使用VGG16網(wǎng)絡(luò)結(jié)合局部敏感哈希算法檢索圖像可以大幅提升檢索速度，同時(shí)保持較高的檢索精度。本文設(shè)計(jì)的圖像檢索方法提供了一種在計(jì)算資源有限情況下實(shí)現(xiàn)大規(guī)模圖像檢索的輕便框架，可有效完成大規(guī)模數(shù)據(jù)的圖像檢索和匹配任務(wù)。