基于成對標簽的深度哈希圖像檢索方法

李 雪，于 炯，李梓楊，陳嘉穎，蒲勇霖

(1.新疆大學 軟件學院，新疆 烏魯木齊 830008；2.新疆大學 信息科學與工程學院，新疆 烏魯木齊 830046；3.新疆大學 軟件工程技術重點實驗室，新疆 烏魯木齊 830008)

0 引 言

隨著基于內容的圖像檢索技術逐步替代早期基于文本的圖像檢索技術，有限的時間和計算資源將挑戰也轉向優化存儲消耗和檢索速度這兩方面[1,2]。近似最近鄰檢索作為數據檢索中使用最為廣泛的技術，其中最受歡迎的一類方法是哈希方法，該方法將高維圖像映射成固定長度的散列值并保持原始空間中的相似性，在內存消耗和檢索速度方面有著明顯優勢，因此被廣泛應用于公安系統、數字圖書館、搜索引擎等相關工業中[3]。目前的哈希檢索方法存在標簽語義利用不充分、哈希碼離散優化松弛、卷積神經網絡模型照搬套用等缺點，這些制約因素限制了大規模圖像檢索的發展的腳步。為了解決上述問題，本文提出基于成對標簽的深度哈希圖像檢索方法(deep pairwise hashing with binary restricted，DPHB)，與之前單純采用相似或不相似的標簽的方法相比，能夠深度挖掘豐富的圖像間的內在聯系，生成具有強判別力的哈希碼，有效解決了二值碼離散優化問題，使得標簽所表達的語義更豐富，特征學習過程中語義損失更明顯。

1 相關工作

由于早期的媒體圖像數量有限，哈希方法的發展受到圖像數量的制約，如局部敏感哈希[4](locality sensitive hashing，LSH)，采用隨機投影對特征空間進行劃分，增大原始空間中相鄰的點被劃分到相同桶內的概率，實驗結果表明這類不依賴數據的方法的有效性與哈希碼的長度正相關。學者們提出了一系列依賴數據的哈希算法來生成更加緊湊的哈希碼，按照訓練數據是否帶有人工標簽分為有監督方法和無監督方法兩大類。

譜哈希[5](spectral hashing，SH)和迭代量化哈希[6](iterative quantization，ITQ)是兩種較為經典的無監督方法，前者通過學習原始空間中樣本對之間的相似度得到哈希函數，后者采用主成分分析方法，將投影后的二進制碼進行正交變換，以最終得到的主成分作為哈希函數。

監督離散哈希[7](supervised discrete hashing，SDH)和核監督哈希[8](kernel supervised hashing，KSH)是有監督方法中較為經典的兩種方法，前者使用最小二乘回歸和傳統的類標簽信息固定回歸目標，后者提出在核空間處理數據線性不可分問題，學習非線性的哈希函數。

盡管上述方法在圖像檢索精度上有一定提升，但是文本標注無法描述圖像的深層語義信息且存在主觀性，為了突破這個困境，研究者們提出使用深度卷積神經網絡，同時學習圖像特征表示和哈希函數。2012年文獻[9]提出的AlexNet模型，2014年提出的NIN(network in network)模型和深層VGG模型都成功地驗證了基于深度卷積神經網絡的方法在學習圖像特征表示上的非凡能力。最早的有監督的深度哈希方法是卷積神經網絡哈希[9](convolutional neural network hashing，CNNH)，成功結合了卷積神經網絡和數據相似矩陣實現圖像檢索，但是這個方法不是端到端的方法，且矩陣分解消耗大量存儲內存，該方法并不適用于大規模圖像數據集。針對該問題，學者們提出網絡哈希[10](network in network hashing，NINH)方法，該方法以端到端的方式將輸入的圖像從像素映射到標簽，實現了用深度神經網絡同時進行特征學習和哈希編碼學習。

為了進一步提升圖像檢索精度，研究者們提出了多種基于深度卷積神經網絡的優化方案，深度快速二進制哈希[11](deep binary fast hash，FastH)通過使用一個隱藏層來表示類標簽的潛在概念來學習特征，深度語義排序哈希[12](deep semantic ranking hashing，DSRH)通過保留多標簽圖像間的相似語義信息來學習哈希函數，監督語義保留深度散列[13](supervised semantics-preserving hashing via deep neural networks，SSHD)實現了基于排序的深度哈希算法，深度哈希網絡[14](deep hashing network，DHN)通過構造成對標簽來學習樣本之間的聯系。文獻[15,16]是神經網絡和PCA算法、多尺度平衡算法的結合，解決了低效耗時的問題，深度監督哈希[17](deep supervised hashing，DSH)使用兩層循環不重復的生成圖像對來學習深層特征。為了更好減小量化損失的負面影響，深度樣本對哈希[18](deep pairwise-supervised hashing，DPSH)，哈希網絡[19](HashNet:Deep learning to hash by continuation，HashNet)通過不同策略表示樣本對在漢明空間上的原始關系，通過正則化項顯式地懲罰松弛后的量化損失。

上述哈希方法目前存在兩個問題：①無法打破松弛-量化所帶來的局限性，無法保證松弛后的實數值再量化的結果仍是最佳的；②使用的損失函數大多是把離散優化過程的損失直接轉化為正則化向，使得損失被迫接近區間的邊界值，導致網絡下降梯度小、結果收斂慢。為了解決上述問題，本文提出基于成對標簽的深度哈希圖像檢索方法(deep pairwise hashing with binary restricted，DPHB)，該方法直接在漢明空間中設置一些錨點，并約束與錨點越相似的圖片到錨點的距離越近，與錨點越不相似的圖片距離錨點越遠。通過訓練神經網絡模型來擬合最優哈希碼，避免松弛-量化的固有缺點。

實驗在兩個公開的數據集CIFOR-10和ImageNet-100上與7種具有代表性的方法進行對比，結果表明較當今先進方法檢索精度分別提高了2.37%和3.94%，驗證了該方法能有效提高圖像檢索精度。

2 基于成對標簽的深度哈希方法

為了有效克服松弛-量化模式的缺點，提出了一種基于成對標簽的深度哈希方法，引入錨點的概念，在漢明空間優化哈希碼，并設計了一個深度卷積神經網絡，同時學習樣本特征和哈希函數，通過不斷迭代擬合提升哈希碼的質量。整個檢索工作流程如圖1所示，首先通過貪心算法，得到代表錨點的哈希碼。然后，通過訓練深度神經網絡將表示圖片的二值碼擬合至各錨點附近。網絡采用AlexNet框架，并引入哈希層，通過利用圖像標簽信息學習圖像特征，網絡在擬合過程中，以漢明空間中的錨點作為監督信息，使用成對損失和均方誤差損失計算分類誤差和錨點誤差，對網絡模型進行參數微調。最后，訓練好的網絡即是本方法中的哈希函數。以小批量圖像集作為DPHB模型的輸入，對模型的輸出采用上述方法量化就得到了表示圖像的哈希碼，然后采用常見的漢明距離排序或哈希表查詢等方法進行快速檢索。提出的網絡結構如圖2所示，基本組件使用AlexNet八層網絡結構，AlexNet網絡第八層是SoftMax分類層，根據sgn函數分為零一兩種結果，現將第八層改為哈希層，用于輸出神經網絡預測的哈希碼。AlexNet中使用ReLU作為CNN的激活函數，驗證效果遠遠好于sigmoid，解決了網絡較深時的梯度彌散問題，并且加快了訓練速度。網絡詳細配置見表1。它包含了5個卷積層(Conv1-5)、3個池化層(Maxpool1-3)、2個全連接層(Full6-7)，最后一層是哈希層(Hash layer)。本節將詳細介紹DPHB方法的3個關鍵步驟，分別是生成錨點哈希碼、損失函數優化、哈希函數學習。

圖1 基于成對標簽的監督哈希圖像檢索的工作流程

圖2 DPHB的網絡結構

表1 DPBH中特征學習部分的配置

2.1 問題描述

2.2 生成錨點哈希碼

根據最后一步中留下的二進制編碼不同，可以得到不同的解，且都是最優解。經算法求證，當k等于10類時，c等于12比特，H等于6時，M集合中共有16個二進制編碼，可隨機留下其中10個編碼組成錨點哈希碼；當k等于10類，c等于12比特，H等于7時，M集合中共有4個二進制編碼，數量小于k，不能滿足解的要求。綜上所述，可以很高效地得到錨點哈希碼集，給后續神經網絡哈希層輸出的結果提供參照點，在漢明空間內優化二進制碼。

2.3 損失函數優化

在訓練深度卷積神經網絡時，錨點哈希碼的作用是監督網絡生成具有強判別力的哈希碼，那么如何讓神經網絡在訓練中變得越來越智能，則需要一個優秀的損失函數及時識別出誤差，讓神經網絡各部分在誤差反饋下促進工作達到理想狀態。于是設計出能夠減小相似實例哈希碼的漢明距離，增大不相似實例哈希碼的漢明距離的損失函數至關重要。

(1)

(2)

其中，λ表示權重。

該損失函數由兩部分組成，其中第一項表示成對損失，利用標簽信息衡量樣本對之間的漢明距離表示誤差，第二項表示均方誤差損失，衡量神經網絡輸出的哈希碼到錨點間漢明距離表示誤差。用成對損失與均方誤差損失的加權求和的方式同時考慮兩種損失的約束，使得損失盡可能接近最小，神經網絡輸出的結果盡可能接近錨點哈希碼并保持原始空間相似性，最終生成具有高判別能力的哈希碼。將函數(2)推導如下

(3)

不難發現，當xi和xj越相似，πij值越大，相似可能性越大，與錨點間損失越小，二者之和越大，反之亦然。由此看來，式(3)能夠滿足使得相似圖片變換得到的哈希碼之間依舊保持相似性，相似性在漢明空間中使用漢明距離度量，相似的哈希碼在漢明空間中越接近則漢明距離越小。較好地達到成對損失函數的優化目標，對預訓練的神經網絡調整參數起到了理想的效果。損失函數最終形式整理如下

(4)

其中，λ是權重，這里等于1。

現有工作中，損失函數的優化策略是通過松弛為實值矩陣將二進制代碼從離散狀態轉換成連續狀態，嚴重影響了算法性能。但是式(4)中利用錨點哈希碼，很好規避了離散優化問題，可以直接在漢明空間中計算出損失。相比之下，本文提出的損失函數更有利于哈希函數的學習，最終得到的哈希碼更具有判別能力。

2.4 哈希函數學習

上述的損失函數僅在樣本訓練過程中發揮作用，使得神經網絡輸出令人滿意的結果，但是圖像檢索過程不同于繁瑣的訓練過程，檢索的目的是高效完成以圖搜圖的用戶任務。因此需要讓訓練后的深度卷積神經網絡能夠達到哈希函數的作用，能夠使得圖像經過函數變換成具有高判別能力的哈希碼。為了得到用于編碼的哈希函數，用θ表示特征學習部分7層的所有參數，xi表示網絡的輸入，bi表示網絡的輸出，φ(xi;θ) 表示full 7層輸出的圖像特征，w∈R4096×c表示權重矩陣，v∈Rc是一個偏執向量，通過一個全連接層將這兩部分連接到一個框架中，用包含權重矩陣W和偏執向量V的一個公式實現數據傳輸

bi=wTφ(xi;θ)+v

(5)

于是，將式(5)代入式(4)可以寫成如下形式

(6)

(7)

然后，根據鏈式法則，利用bi更新參數w、v、θ

(8)

(9)

(10)

最后，該神經網絡中各參數可以通過標準的反向傳播算法進行優化，神經網絡訓練結束后，即作為DPHB方法的哈希函數。在圖像檢索過程中，優化后的哈希函數可以高效的將樣本圖像生成具有判別力的哈希碼，與訓練圖像哈希碼數據庫中哈希碼進行相似查找操作，最后根據漢明距離排序輸出結果。

3 實驗與分析

在本小節，利用兩個基準數據集CIFAR-10和ImageNet-100，基于平均準確率均值mAP指標驗證DPHB方法在圖像檢索方面優秀的性能。此外，基于其它3項常用評價指標，與7個典型的圖像檢索方法做了對比實驗，所有實驗結果均表明了本文提出的DPHB方法優于當前主流方法。

3.1 實驗環境與數據集

實驗采用預訓練模型，使用Pytouch作為模型調參環境，每次初始輸入128張訓練圖像，再以結對的方式兩兩組合成成對圖像作為輸入神經網絡，采用隨機梯度下降(SGD)優化。SGD的學習率為0.05，學習率衰減值為10-7。實驗過程使用一塊GPU加速，詳細的實驗機器配置信息見表2。

表2 實驗機器配置信息

為了讓實驗公平進行，選取了兩個圖像檢索領域最常用數據集進行實驗。CIFAR-10：CIFAR-10圖像數據庫共有80 000張小型圖像數據集，從10個類中隨機挑選6000張圖像組成一個60 000張32×32的彩色圖像數據集，且每張圖像只屬于一個類。在實驗中，隨機在每個類別中選擇100張圖片(總共1000張圖片)作為測試集，每個類別中選擇500張圖片(總共5000張圖片)作為訓練集，本文使用一個512維的GIST描述符來表示CIFAR-10數據集的圖像；ImageNet-100[20]：ImageNet-100是一個廣泛使用的單標簽大數據集，它是從ImageNet-1000中提取的100個類別的圖像，包含128 503張圖像且每張圖像只屬于一個類別，其中500張作為測試集，128 000張作為訓練集。為了減小復現過程中潛在錯誤導致的不利影響，所有方法僅使用這兩個數據集做對比。

本文采用常用的4個指標作為度量標準來評估DPHB的檢索性能：平均準確率均值(mean average precision，mAP)；查準率-召回率曲線(precision-recall curves，PR)；前n個檢索結果精度(precision curves with different number of top returned samples，P@N)；查詢樣本和數據集之間的漢明距離小于2的精度(precision curves with hamming radius2，P@H=2)。

根據特征提取方法，以下方法分為兩類，分別是傳統的手工制作方法和基于神經網絡的方法，可以分為4個子類：

(1)傳統的無監督哈希方法：ITQ[6]；

(2)傳統的有監督哈希方法：SDH[7]；

(3)提取深度特征的深度哈希方法：FastH[11]、DHN[14]和DSH[17]；

(4)成對標簽的深度哈希方法:DPSH[18]、HashNet[19]。

實驗選取的每種方法都是該類中優秀的方法，沿用所對比得方法使用的網絡結構，在同一個網絡結構基礎上比較方法的性能，實驗均在優化的AlexNet網絡和兩個基準數據集上進行，所有結果均是復現已有研究成果，復現的方法性能略有不同，但性能優次順序與已有成果的結論是一致的。

3.2 實驗結果與分析

具體來說，首先將所有圖像的大小調整為224×224像素，然后使用原始圖像像素和目標哈希碼作為模型輸入。為了降低過擬合的風險，在模型初始化方面，與文獻[18]的工作是一致的。采用預訓練的AlexNet初始化DPHB框架的前7層進行哈希學習。表3列出了8種圖像檢索方法在CIFAR-10和ImageNet上的mAP結果。

在CIFAR-10數據集上的結果表明，提出的DPHB方法在本質上優于表3中的所有方法。傳統的無監督哈希方法ITQ的性能排在最后。SDH是最具代表性的傳統監督方法，但其性能僅略好于ITQ方法。DSH、FastH和DNH等基于深度學習的哈希方法在圖像檢索性能上與傳統方法完全拉開了距離。DPHB與主流的基于深度學習的哈希方法相比，在不同長度哈希碼的mAP中，與HashNet相比，絕對提升8.65%、4.09%、4.05%、6.09%，與DPSH相比，絕對提升5.98%、5.64%、4.74%、5.16%，DSH方法碼長48位時mAP在7種被比較的方法中達到最高，與之相比，DPHB絕對提升2.37%，檢索性能優于DSH。對于大規模圖像數據集ImageNet-100，表3中的ImageNet-100數據集的實驗結果表明，所提出的DPHB方法優于現有的傳統哈希圖像檢索方法。與基于學習的哈希方法(如FastH、DNH和DPSH)相比，DPHB的性能有了顯著的提高。與HashNet相比，DPHB在不同哈希碼長度的平均mAP中絕對提升41.01%、21.45%、11.95%、3.94%。結果表明，該方法可以生成信息豐富、判別力強的哈希碼，從而提高大規模圖像檢索性能。

表3 8種圖像檢索方法在CIFAR-10和ImageNet上的mAP結果

為了進一步驗證DPHB的有效性，實驗基于其它評價指標做了對比實驗。圖3表示在CIFAR-10上的結果，圖4表示在imagenet-100上的結果，圖5表示不同算法模型調參和檢索效率。

如圖3(a)、圖4(a)所示，精度召回曲線(PR)是評價圖像檢索性能的一個重要指標。DPHB的性能優于與之相比較的模型。圖3(b)、圖4(b)表示在漢明半徑2(P@H=2)范圍內的精度，圖3(c)和圖4(c)分別表示在CIFAR-10上map@ALL的結果和在imagenet-100上前1000個搜索結果的精度曲線(P@N)。DPHB模型在所有被比較的檢索方法中取得最佳結果。

圖3 CIFAR-10數據集上的結果

圖4 imagenet-100數據集上的結果

如圖5所示，分別對6種加入卷積神經網絡的哈希模型，統計了調參時間和檢索時間，每種方法取5次實驗所得結果的均值作為對比結果，避免外部因素影響。圖5(a)表示DPHB方法在imagenet-100上不同哈希碼位數上的表現，生成24 bit哈希碼時，神經網絡調參和檢索用時最少，效率最佳。圖5(b)和圖5(c)分別表示采用24 bit在CIFAR-10 數據集和imagenet-100數據集上調參時間和檢索時間的表現。通常響應時間小于30 s不會影響用戶體驗感，由圖(5)可知，DPHB算法在CIFAR-10上與其它5種算法效率上無明顯差別，但是在大規模圖像數據集imagenet-100上，DPHB算法的調參時間明顯優于其它方法，檢索時間明顯優于HashNet、DSH和DHN算法，在實際的圖像檢索應用中快速響應用戶指令，且返回的結果準確率更高。

圖5 不同算法模型調參和檢索效率

實驗結果表明，DPHB相對于以往的哈希算法，在各項評價指標方面都具有理想的檢索效果，尤其在高位編碼上有明顯的優勢，在CIFOR_10數據集和ImageNet_100數據集上，DPHB方法48 bit的mAP較其它方法最高結果分別提高了2.37%和3.94%。另一方面，實驗驗證了DPHB方法所采用的優化策略，有效規避了傳統的松弛-量化步驟所帶來的負面影響，驗證了在漢明空間中以錨點為監督信息的方法能有效減小相似實例哈希碼的漢明距離，增大不相似實例哈希碼的漢明距離，所提出的損失函數能夠使得神經網絡的輸出更接近錨點哈希碼，經過訓練的哈希函數能夠生成判別力更高的哈希碼。通過對DPHB方法檢索效率的對比實驗分析發現，本文提出的方法較其它主流方法更適用于在十萬級數量以上的圖片集中進行高精度檢索的場景，DPHB在大規模數據集上具有檢索結果正確率更高，性能更穩定、檢索效率更快等優點，能夠高效完成圖像數據量日益增長趨勢下的圖像檢索任務。綜上所述，DPHB方法能更好地滿足當下大規模圖像檢索的實際需求。

4 結束語

本文提出了一種基于成對標簽的端到端的圖像檢索算法。該算法巧妙的規避了哈希碼量化損失的問題，生成的哈希碼具有強判別力，使得檢索性能有大幅提升。與其它相關方法相比，DPHB的優勢主要體現在3個方面：

(1)打破了原有松弛-量化的固定優化模式，引入了錨點信息，直接在漢明空間中度量相似樣本間距離，而非松弛到歐氏空間中計算，避免了二次量化造成的語義缺失；

(2)DPHB方法是一個端到端的可以同時進行特征學習和哈希碼學習的方法，這個過程極大保留了圖像間的語義相似度；

(3)使用成對損失和均方誤差損失計算分類誤差和錨點誤差，同時考慮兩種損失，使得圖像語義損失更明顯，網絡輸出結果更逼近錨點哈希碼，與單純只考慮一種損失，這樣得到的哈希碼更具有判別力。

在實際數據集上的實驗結果表明，DPHB在圖像檢索應用方面的性能優于其它方法。此外，下一步工作將DPHB方法用于特定領域的數據集上進行測試，如醫學圖像，提供機器輔助診斷，來檢驗DPHB方法的通用性。