結合自適應融合網絡與哈希的圖像檢索算法*

周 燕，潘麗麗，陳蓉玉，邵偉志，雷前慧

(中南林業科技大學計算機與信息工程學院，湖南 長沙 410004)

1 引言

為了在大規模數據集中實現快速相似搜索，本文探討了基于深度學習卷積神經網絡CNN(Convolutional Neural Network)提取特征和基于哈希算法建立索引的方法，以尋求高效精準的檢索方案。相比于底層特征描述符，深度學習[1]從目標數據集中提取的特征，其表征能力更佳，特征的魯棒性較強，不易受噪聲影響，因而被廣泛采用。而哈希算法對計算機內存需求低且檢索效率高，尤其是在處理海量數據集的情況下；與此同時，哈希算法得到的二進制碼能夠以高概率將相似的圖像映射成相似的二進制碼。壓縮的二值哈希編碼比原始的特征在數據存儲和計算方面有更大的優勢。

圖像檢索方案應具備以下幾個性質：首先，由卷積神經網絡提取的特征能充分表達圖像的高級語義信息。其次，哈希后的特征維度降低，以便存儲海量圖像的特征。再次，哈希編碼時應該將相似的圖像(無論是特征空間距離還是語義距離)映射成具有較小漢明距離的二進制字符串。最后，算法在訓練集中得到的參數應在測試集中同樣有效。

2 背景

卷積神經網絡CNN通過層層卷積捕獲圖像的深層語義信息，而不是單單從形狀、顏色和紋理等特征進行考慮。卷積神經經典的網絡及應用有：LeNet-5用于各類數字識別。AlexNet[2]的網絡架構與 LeNet的非常相似，但是網絡更深，并且具有彼此堆疊的卷積層，以捕獲更多的圖像信息。GoogLeNet[3]有2個優點：一是開發了一個 Inception 模塊，該模塊將縱向的深層次連接拆分為若干個塊狀子網絡，采用不同大小的卷積核得到不同的感受野，最后進行拼接從而實現不同尺度特征的融合。另一優點是在卷積神經網絡的頂部使用平均池化層替代全連接層，這樣不僅消除了大量不重要的參數，同時提升了空間信息轉換的魯棒性。網絡架構的改進不僅有利于高效地提取圖像的高級語義信息，同時使得提取的特征維度降低，避免“維度災難”。文獻[4]以GoogLeNet的網絡架構為基礎引入一種新的架構—“跳遠連接”，可對網絡信息流進行重定向，加深網絡層數的同時避免了權重衰減和學習退化問題。該網絡的特征維度為2 048維，雖然相對于VGG(Visual Geometry Group)網絡的4 096維有了較大的改善，但依然影響圖像檢索效率。文獻[5]采用CNN提取圖像深度特征，主成分分析PCA(Principal Components Analysis)算法壓縮深層特征，并采用SVM學習相似性度量從而提升圖像檢索效率。

網絡的不斷改進使得深度特征的表征能力逐步增強，但深度特征維度居高不下，使得檢索時內存需求大。為了降低搜索復雜度，人們提出了各種哈希算法。基于局部敏感哈希算法[6]的檢索方案通過隨機線性投影將數據映射成二進制碼，隨機投影法的另一用途便是提高最近鄰搜索的執行速度。文獻[7]提出將PCA哈希應用在醫學圖像檢索中，將原始特征用PCA進行降維，然后對降維后的結果進行二值化處理，降低檢索所需計算量。但是，該方法缺少約束條件，會導致量化誤差較大，檢索精度較低。保留相似性的二進制碼雖不似局部敏感哈希算法能提供近似最近鄰查找的次線性運行時間，但它不僅不涉及構建和維護復雜的數據結構，還可以通過重要的常量因素減輕內存壓力。卷積神經網絡提取的特征相比傳統方法提取的特征更具表達力。文獻[8]采用PCA對高級語言特征進行降維，然后同提取的2種底層特征EHD (Edge Histogram Descriptor)和BOW (Bag Of Words)一同進行哈希，接著自適應地融合這些特征，實現高效的圖像檢索。文獻[9]提出由卷積神經網絡VGG提取圖像深度特征的方法，并針對深度特征維度高且占大量存儲空間的問題，在特征哈希前先采用PCA算法對特征數據進行壓縮。文獻[10]提出一種基于果蠅嗅覺電路的數據無關局部敏感哈希算法，該算法與神經網絡算法相似，它們都使用激活函數學習數據。

近年來，由于深度學習卷積神經網絡具有很強的泛化性能而備受青睞。深度特征雖能高效表達圖像信息，但維度過高影響檢索速度；各類哈希算法雖能提升檢索速度，但因信息丟失造成檢索效率下降；此外，哈希算法與深度特征具有較大的融合空間。在此基礎上，本文提出通過在網絡中加入自適應融合模塊使得提取的深度特征融合降維生成新的特征。但是，隨著數據集的增大，特征數據對內存存儲和檢索計算量依舊具有挑戰性。為此，本文提出優化哈希算法，從降低特征的存儲空間、縮短檢索時間以及減輕計算量的角度對深度特征進行處理。

第3節詳細介紹本文算法的原理。第4節通過多種方法進行，實驗對比和具體分析。最后對本文進行總結。

3 圖像檢索算法原理

本文通過在卷積神經網絡中接入自適應融合模塊來獲得表征能力更強的圖像特征；接著采用哈希(稀疏化優化算法)算法處理特征，在提升檢索效率的同時避免因數據量大、特征維度高引發的“維度災難”。本文提出的稀疏化優化算法的特點在于根據特征進行隨機投影作為加權的權重，這種方法可有效提高哈希算法的執行速度。但是，隨機生成權重會帶來一定的誤差，因此本文先采用主成分分析法進行特征降維，去除冗余信息，然后再哈希編碼處理特征。圖像檢索框架如圖1所示。

Figure 1 Image retrieval framework based on adaptive fusion network and hash transform圖1 基于自適應融合網絡與哈希轉換的圖像檢索框架

3.1 自適應特征融合

本文所采用的深度學習模型為具有優良局部拓撲結構的Inception-V3網絡模型，該網絡最核心的部分是其內部子網絡結構Inception模塊,這也是一個非常重要的NIN(Network In Network)結構。為了使提取的特征能更充分地表達圖像深層語義信息，同時降低特征維度，本文借鑒Inception-V3網絡中Inception模塊的結構思想，通過在卷積神經網絡中加入自適應特征融合模塊來改進網絡架構，使得網絡能夠學習深層語義信息，使得提取的特征更具表達力。自適應融合模塊如圖2所示。

Figure 2 Adaptive fusion module圖2 自適應融合模塊

自適應融合模塊用于改善網絡的非線性映射關系，提升網絡學習復雜映射的能力。該模塊由3個卷積分支和1個池化分支構成，以此來提高深度特征的多樣性。由于在模塊中加入1×1卷積的作用相當于用很小的計算量就能增加一層特征變換和非線性化，因此在模塊中，3個卷積分支都對輸入進行1×1卷積，以此來進行低成本(相對3×3卷積計算量小得多)的跨通道組織信息,其中不同分支使用不同的1×1卷積核，這樣能最大程度加大特征的差異性。由于模塊中小尺度卷積核的使用，使得訓練所需計算量得到有效控制；將對稱卷積核拆分為非對稱卷積核(將3×3卷積拆分為3×1卷積和1×3卷積)提升非線性化，有利于網絡更細致地感知圖像高層語義信息，有助于處理更多、更豐富的空間特征，使得特征的魯棒性增強。

模塊的4個不同類型分支在最后通過一個聚合操作進行合并，增強了網絡對不同尺度的適應性；同時，本文采用的自適應融合模塊有效平衡了網絡的深度與寬度，增強了圖像內容的抽象能力，提取的語義信息也更為豐富。為保證檢索準確度，實驗時將輸出的特征維度壓縮了50%(圖2中N表示特征維度，在這里特征維度從原始的2 048維降至1 024維)，實現了在維持特征表征能力的同時降低特征維度，降低了后續哈希處理的計算開銷。

3.2 稀疏化優化算法

深度特征表征圖像信息更豐富的同時帶來了維度過高的問題，這將影響后續圖像檢索時的效率。在網絡中加入自適應融合模塊雖然能將特征維度壓縮至原來的一半，但對于大數據集提取的深度特征而言，依舊會面臨巨大的存儲壓力和計算開銷。因此，本文從緩解存儲壓力和降低檢索所需計算成本的角度對深度特征進行處理。

本文借鑒simhash算法和特征融合的思想，對特征進行融合降維。特征數據在低維下更容易處理且更容易使用，因此需要對深度特征進行篩選，使得留下的特征之間具有獨立性。由于PCA處理特征時以方差衡量信息量，不受數據集以外的因素影響(PCA屬于無監督學習，訓練時不需要借助標簽)，且各主成分之間正交，可消除原始數據成分間相互影響的因素，更重要的是該方法計算簡單(主要運算是特征值分解)，易于實現。因此，對特征進行稀疏化前先采用主成分分析法將高維的深度特征通過線性變換投影到低維空間中，解決訓練數據中存在的數據特征過多和特征累贅等問題，確保留下的深度特征是相互獨立的。實驗中根據特征隨機投影的方式生成權重，但隨機投影會帶來一定的誤差，因此本文在選擇權重時對其設置范圍，根據降維后的特征將其映射至一個更小的區域，再在區域內隨機生成權重值(取值為(0，1))。處理后的特征經加權再降維后，映射得到更為精簡的二值哈希編碼。隨機投影法能有效提高算法的執行速度，但從應用層面的需求考慮，樣本數據的評價標準不一樣，需要對其量綱化，統一評價標準，因此需要對特征數據進行預處理。深度特征通過加權降維實現不同特征的融合，顯著提高了圖像檢索效率，彌補了整體準確率低的不足。哈希時隨機投影矢量的維度即哈希后特征的維度，因為需要的存儲空間較少，所以適合于大規模數據的索引。

稀疏化優化算法描述如下所述：

輸入：訓練集X={x1,x2,x3,…,xn1}T,其中xi={a1,a2,a3,…,a1024}；測試集Y={y1,y2,y3,…,yn2}T，其中yi={b1,b2,b3,…,b1024}；哈希長度m，權重W。

輸出：二值哈希編碼H1和H2。

步驟2用特征分解法求得協方差矩陣Z1和Z2的特征值和特征向量；

步驟3對特征值從大到小排序，選擇其中最大的d個，然后將對應的d個特征向量分別組成特征矩陣向量px和py；

步驟4將數據轉換到d個特征向量構建的新空間中，即X1=px，Y1=py；

步驟5對X1和Y1進行預處理分別得到p′x和p′y；

步驟6權重選取:

根據p′x隨機投影生成m(m

步驟7特征融合降維:

H1=sgn(W·p′x)∈{0,1}mK

#設置閾值為0

H2=sgn(W·p′y)∈{0,1}mK

#設置閾值為0；

4 實驗與分析

4.1 實驗設置

所有實驗都是在2個廣泛使用的圖像數據集CIFAR-10和ImageNet上進行。

CIFAR-10是一個單標簽數據集，包含60 000幅32×32彩色圖像，共10類。由于圖像的像素低，因此它的識別難度大。選取10 000幅圖像組成訓練集，選取1 000幅圖像組成測試集。

ImageNet是大型視覺識別挑戰賽(ILSVRC)的著名基準數據集。 它具有1 000個對象類別，其中包含約120萬幅訓練圖像和5萬幅驗證圖像。本文隨機選擇100個類別，選取10 000幅圖像組成訓練集，選取5 000幅圖像組成測試集。

所有的網絡都是通過Keras深度學習框架實現的，并在服務器上進行了訓練/測試，該服務器配置16 GB RAM，并配備有8 GB顯存的NVIDIA RTX2070。

4.2 評價指標

本文以圖像平均檢索精度mAP(mean Average Precision)和準確率P(Precision)作為評價指標。AP(Average Precision)是衡量檢索每個類別圖像精度的指標。AP計算公式如式(1)所示：

(1)

其中，cj表示第j類圖像的數量，location(i)表示第i個樣本在檢索結果中的位置。

mAP則是衡量檢索所有類別(M種類別)圖像精度的指標，即AP的平均值，計算公式如式(2)所示：

(2)

準確率P(Precision)表達式為：

(3)

其中，C指的是系統檢索到的相關圖像數，D指的是系統檢索到的所有圖像總數。

4.3 實驗評估與分析

實驗采用自適應融合網絡AF-Net(Adaptive Fusion Network)提取圖像特征，再對深度特征進行哈希編碼。對比實驗有：改進網絡再通過LSH(Locality Sensitive Hashing)[11]方法編碼(AF-Net-lsh)；改進網絡再通過flyhash方法編碼(AF-Net-flyhash)。本文選擇以下哈希方法進行mAP的對比：LSH,2種最先進的監督哈希方法LFH(Latent Factor Hashing)[12]和SDH(Supervised Discrete Hashing)[13]，5種最先進的深度監督哈希方法CNNH[14]、DeSH[15]、DNNH[16]、DRSCH[17]和DSH(Deep Supervised Hashing)[18]。ImageNet數據集上的對比結果如表1所示。

Table 1 mAP comparison of different methods on ImageNet dataset表1 ImageNet數據集上不同算法的mAP對比 %

表1中展示了在ImageNet數據集上的圖像檢索結果。從實驗結果可以看出，以改進網絡來提升特征的表征能力再與稀疏化優化算法相結合的方法有助于提升圖像檢索性能，32位、64位、96位和128位哈希碼的檢索結果分別為：66.60%,81.23%,86.50%和88.25%。在使用相同的改進網絡配合不同哈希算法方案中，本文的圖像檢索算法檢索效果最佳，64位哈希碼的檢索精度分別提升13.82%和15.19%。由此證明本文的稀疏化優化算法能在特征降維的同時降低信息損失量，因此檢索效果相對而言最佳。本文圖像檢索算法(AF-Net-phash)相較于其它圖像檢索算法(CNNH、DeSH、DNNH、DRSCH和 DSH)，檢索精度提高明顯，其中與對比算法DSH相比在64位哈希碼時所取得的mAP值提升高達26.69%。由此證實在網絡中加入自適應融合模塊有利于提升特征的表征能力，再與稀疏化優化算法相結合能取得較優的檢索效果。

圖3給出了3種圖像檢索算法(AF-Net- flyhash、AF-Net-lsh和AF-Net-phash)在64位哈希碼時檢索前1 000幅圖像的檢索準確率。對比后不難發現，本文提出的檢索算法(AF-Net-phash)檢索準確率最高。

Figure 3 Precision curve of the improved algorithm in the Inception-V3 under different samples on ImageNet dataset圖3 在ImageNet數據集上不同采樣下 改進算法在 Inception-V3 網絡中的精度曲線

圖4給出了3種圖像檢索算法(AF-Net- flyhash、AF-Net-lsh和AF-Net-phash)在不同長度哈希碼時檢索ImageNet數據集中前5 000幅圖像的時間。對比后不難發現，本文提出的檢索算法(AF-Net-phash)檢索時間最短。

Figure 4 Time comparison of different algorithms on ImageNet dataset圖4 ImageNet 數據集上不同算法的檢索時間對比

表2展示了在CIFAR-10數據集上的圖像檢索結果。從實驗結果可以看出，以改進網絡來提升特征的表征能力有助于提升哈希后的檢索性能，在32位、64位、96位和128位哈希碼時的檢索結果分別為：53.41%,68.58%,73.30%和76.73%，在使用相同的改進網絡配合不同哈希算法方案中，本文提出的圖像檢索算法檢索效果最佳，在哈希碼長度為64位時，檢索精度提升分別為15.36%和14.10%。本文算法(AF-Net-phash)相較于其他圖像檢索算法(CNNH、DeSH、DNNH、DRSCH和 DSH)，檢索精度有明顯的提升，尤其是與DSH算法相比，在哈希碼長度為128位時所取得的mAP值提升高達6.22%。由此可證明，在網絡中加入自適應融合模塊使得提取的特征更具表征能力，再經過稀疏化優化算法能在特征維度降低的同時盡可能減少圖像特征信息量的損失，由此獲得較好的檢索效果。

Table 2 mAP comparison of different algorithmson CIFAR-10 dataset表2 CIFAR-10數據集上不同算法的mAP對比 %

圖5給出了3種圖像檢索算法(AF-Net- flyhash、AF-Net-lsh和AF-Net-phash)在64位哈希碼時檢索前1 000幅圖像的檢索精度。從圖5中可以清楚地看到，相比而言，本文提出的檢索算法(AF-Net-phash)檢索效果最佳。

Figure 5 Precision curve of the improved algorithm in the Inception-V3 under different samples on CIFAR-10 dataset圖5 在CIFAR-1數據集上不同采樣下 改進算法在 Inception-V3 網絡中的精度曲線

圖6給出了3種圖像檢索算法(AF-Net- flyhash、AF-Net-lsh和AF-Net-phash)在不同長度哈希碼時檢索CIFAR-1數據集中前1 000幅圖像的時間。從圖6中可以清楚地看到，相比而言，本文提出的檢索算法(AF-Net-phash)檢索效果最佳。

Figure 6 Time comparison of different algorithms on CIFAR-10 dataset圖6 CIFAR-10數據集上不同算法的檢索時間對比

5 結束語

本文提出了一種基于自適應融合網絡與稀疏化優化算法相結合的圖像檢索算法。首先，通過在網絡中接入自適應融合模塊來提取更具表征能力的深度特征。自適應融合模塊的另一個功能則是在提升檢索精度的同時將特征維度(2 048維)降低至原來的一半，緩解存儲壓力。其次，為減輕特征的存儲壓力和提升檢索效率，本文使用了稀疏化優化算法,將高維特征(1 024維)映射為精簡的二值哈希序列(64維)，占用的存儲空間縮小至原來的 1/59。最后，本文采用mAP和檢索時間對算法進行評價。實驗結果表明，本文提出的圖像檢索算法不僅在不同數據集上檢索效率都有明顯的提升，還有效地緩解了內存壓力并提升了檢索精度。接下來本文將致力于探索更為精簡有效的圖像檢索算法。