一種等量約束聚類的無監督蒸餾哈希圖像檢索方法

摘 要：為了進一步降低無監督深度哈希檢索任務中的偽標簽噪聲，提出了一種等量約束聚類的無監督蒸餾哈希圖像檢索方法。該方法主要分為兩個階段，在第一階段中，主要對無標簽圖像進行軟偽標簽標注，用于第二階段監督哈希特征學習，通過所提等量約束聚類算法，在軟偽標簽標注過程中可以有效降低偽標簽中的噪聲；在第二階段中，主要對學生哈希網絡進行訓練，用于提取圖像哈希特征。通過所提出的無監督蒸餾哈希方法，利用圖像軟偽標簽指導哈希特征學習，進一步提高了哈希檢索性能，實現了高效的無監督哈希圖像檢索。為了評估所提方法的有效性，在CIFAR-10、FLICKR25K和EuroSAT三個公開數據集上進行了實驗，并與其他先進方法進行了比較。在CIFAR-10數據集上，與TBH方法相比，所提方法檢索精度平均提高12.7%；在FLICKR25K數據集上，與DistillHash相比，所提方法檢索精度平均提高1.0%；在EuroSAT數據集上，與ETE-GAN相比，所提方法檢索精度平均提高16.9%。在三個公開數據集上進行的實驗結果表明，所提方法能夠實現高性能的無監督哈希檢索，且對各類數據均有較好的適應性。

關鍵詞：無監督哈希；圖像檢索；聚類；知識蒸餾；自監督學習

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2023）02-048-0601-06

doi： 10.19734/j.issn.1001-3695.2022.06.0274

Unsupervised distillation hashing image retrieval method based on equivalent constraint clustering

Miao Zhuang， Wang Yapeng， Li Yang， Zhang Rui， Wang Jiabao

（College of Command amp; Control Engineering， Army Engineering University of PLA， Nanjing 210007， China）

Abstract：In order to reduce the noise ratio of pseudo labels in unsupervised deep hash learning， this paper proposed a novel two-stage unsupervised distillation hashing method based on equivalent constraint clustering（UDH-ECC）. The main idea of this method was to utilize a robust clustering algorithm to annotate unlabeled images， which could get better soft pseudo labels for hash learning. To be specific， in the first stage， it selected a pre-trained teacher network to extract deep image features. Then， it clustered the deep image features by the proposed equivalent constraint clustering algorithm， then assigned hard pseudo labels to unlabeled images by the clustering results. Benefiting from the high accuracy of the hard pseudo labels， this method fine-tuned the teacher network to further adjust the unlabeled dataset. In the second stage， it utilized the predictive probability distribution produced from the fine-tuned teacher network as the soft pseudo labels to train the student hashing network. To further reduce the noise in soft pseudo labels， this paper proposed a distillation hashing method to convert noisy labels into clean hash codes. This paper compared the proposed method with other twelve state-of-the-art methods on three public datasets. The proposed method can outperform other state-of-the-art methods by a large margin， which is 12.7% higher than the TBH method on CIFAR-10， 1.0% higher than the DistillHash method on FLICKR25K， and 16.9% higher than the ETE-GAN method on EuroSAT. Comprehensive experimental results show that the proposed method not only has high performance， but also has good adaptability to variety datasets.

Key words：unsupervised hashing; image retrieval; clustering; knowledge distillation; self-supervised learning

0 引言

在圖像檢索任務中，由于深度神經網絡提取的圖像哈希特征具備存儲效率高和查詢速度快的優勢［1，2］，被研究者們廣泛關注。目前，圖像哈希檢索方法主要是基于有監督深度學習方法進行表示學習［3］。這類方法結合了深度學習和哈希學習的優勢，在保持檢索效率的同時提高了檢索精度。但是，有監督深度哈希方法依賴于大量準確標注的數據，而獲取這些數據將耗費大量的人力資源。

在現實世界中，無標簽數據的數量要遠遠超過有標簽數據，如何利用海量無標簽數據獲取“知識”，成為了一個極具挑戰性的課題。與有監督深度哈希學習方法不同，無監督深度哈希學習方法無須人工標注數據，可以直接從無標簽數據中學習緊湊的哈希特征用于哈希檢索，極大地降低了哈希學習的成本。因此，無監督深度哈希學習成為了新的研究熱點［4～6］。但是，在目前應用較廣泛的基于偽標簽的無監督深度哈希學習方法中偽標簽包含大量噪聲，如何進一步降低偽標簽中噪聲成為影響哈希學習性能的關鍵問題［7］。為此本文提出了一種等量約束聚類的無監督蒸餾哈希圖像檢索方法（unsupervised distillation hashing method based on equivalent constraint clustering，UDH-ECC）。在第一階段中，首先利用所提等量約束聚類算法對圖像深度特征進行聚類，生成硬偽標簽并微調特征提取網絡作為教師網絡，然后利用教師網絡預測圖像的輸出概率分布作為軟偽標簽；在第二階段中，通過所提出的無監督蒸餾哈希方法，利用第一階段得到的軟偽標簽指導學生哈希網絡學習，實現無監督哈希特征提取。綜上所述，本文的主要貢獻可以概括為：

a）設計了一種兩階段的無監督哈希檢索方法。在第一階段中，基于本文所提等量約束聚類算法，能夠實現高效的軟偽標簽標注，并用于指導學生哈希網絡學習。在第二階段中，通過本文所提無監督蒸餾哈希方法，減少了偽標簽中噪聲帶來的影響，進一步提高了哈希檢索的性能。

b）提出了一種等量約束聚類算法，能夠有效避免K-means聚類過程中的空聚類和聚類不平衡問題［8］，顯著提升了深度特征的聚類效果，提高了偽標簽標注精度。

c）在三個常用數據集上進行了測試，實驗結果表明，本文方法的檢索精度較其他方法均有較大提高。例如，在CIFAR-10數據集上，與TBH方法［9］相比，本文方法檢索精度平均提高12.7%；在FLICKR25K數據集上，與DistillHash［6］相比，本文方法檢索精度平均提高1.0%；在EuroSAT數據集上，與ETE-GAN［10］相比，本文方法檢索精度平均提高16.9%。

1 相關工作

1.1 深度無監督哈希

為了擺脫對數據標簽的依賴，圖像檢索領域提出了多種深度無監督檢索方法［4，7，11］。相比于傳統無監督方法，深度無監督方法充分發揮了深度學習的優勢，能夠更好地提取圖像特征，因此無監督哈希檢索的性能也得到了較大提升。深度無監督哈希方法中的生成哈希方法通常使用生成模型實現哈希編碼。例如，TBH方法通過兩個bottleneck結構將自適應圖和生成自編碼器進行了結合，有效挖掘了圖像間的相似性信息；ETE-GAN方法通過在GAN訓練中加入相似性損失，提高了GAN的特征判別性。深度無監督哈希方法中的基于偽標簽的哈希方法通常通過聚類［12］、挖掘圖像對相似性［7］等手段給圖像或圖像對進行偽標簽標注，而后利用偽標簽作為監督信息指導哈希特征學習。例如，DistillHash方法通過篩選高可信度的相似或不相似圖像對構建相應的偽標簽，而后利用選出的圖像對訓練帶哈希層的深度神經網絡；SSDH方法［13］通過設置閾值將圖像對偽標簽細化為三類，在提高圖像對偽標簽準確性的同時充分利用了訓練數據。但是，由于受偽標簽標注算法自身性能的限制，現有方法所得到的偽標簽中仍包含較多噪聲，影響了檢索性能的進一步提升，造成深度無監督哈希方法與有監督哈希方法的性能之間仍有較大差距［7］。為此本文提出了一種更加魯棒的偽標簽標注方法，有效提升了偽標簽標注精度，進而提高了哈希檢索性能。

1.2 自監督學習

自監督學習通過從輸入數據中生成監督信息，將無監督學習轉換成有監督學習，是無監督學習的一個重要分支。近期的研究工作展示了自監督學習的強大表征學習能力，在特定任務上甚至超越了有監督方法［14］。按照自監督信息的生成方式不同，自監督學習方法可以大致分為基于對比學習的自監督學習方法［15，16］和基于偽標簽的自監督學習方法［8，17］。基于對比學習的自監督學習方法利用對圖像自身的變換生成圖像正例，其他圖像作為負例，在正例和負例之間進行對比學習。此類方法通常需要設置較大的訓練批次，因此對硬件設備要求較高。基于偽標簽的自監督學習方法通過聚類等手段給圖像生成偽標簽，而后通過偽標簽監督深度網絡訓練。此類方法中比較有代表性的是Deep Cluster方法［8］。 該方法將聚類和深度學習進行了有效結合，首先使用深度神經網絡對無標簽數據進行特征提取，而后對提取到的特征進行聚類，并給聚類簇賦予偽標簽，而后利用得到的偽標簽對網絡進行訓練，重復以上過程直至聚類簇不再變化。但是，由于Deep Cluster方法并沒有完全避免K-means聚類中存在的空聚類和聚類不平衡問題［8］，其偽標簽中仍包含較多噪聲，將會影響哈希學習效果。

為了進一步提高偽標簽精度，更好地指導哈希學習，在現有基于偽標簽的自監督學習方法基礎上，提出了一種等量約束聚類算法并用于偽標簽標注，有效提高了標注精度。

1.3 知識蒸餾

知識蒸餾最早被用于模型壓縮［18］。所謂蒸餾，即通過高性能的大型深度網絡生成軟標簽，并用于指導輕量級模型學習，實現知識從大模型到小模型的遷移，在保持模型輕量的同時提高模型性能。由于軟標簽能夠保留圖像的類間關系，能夠比one-hot方式編碼的硬標簽更充分地標注一張圖像，所以知識蒸餾被廣泛應用于圖像處理的其他領域。甘俊英等人［19］將蒸餾學習應用于人臉識別領域，有效提高了人臉美麗預測精度。Hu 等人［20］利用預訓練網絡為無標簽數據生成相似性信息，而后通過知識蒸餾的方式實現了無監督的跨模態檢索。以上應用充分說明了知識蒸餾的優越性能。為降低硬偽標簽中噪聲帶來的影響，充分挖掘圖像類間關系，本文將知識蒸餾與無監督哈希相結合，設計了一種無監督的蒸餾哈希方法，能夠實現無監督的哈希圖像檢索。據筆者所知，這是首次將知識蒸餾應用于無監督哈希圖像檢索領域。本文的實驗結果表明，蒸餾學習在無監督哈希學習中能夠有效發揮作用。

2 本文方法

本文方法的框架如圖1所示，主要包括軟偽標簽標注和蒸餾哈希學習兩個階段。第一階段（軟偽標簽標注）主要是為了對無標簽數據生成魯棒的軟偽標簽，用于指導第二階段學生哈希網絡學習；第二階段（蒸餾哈希學習）主要是為了訓練學生哈希網絡，用于生成圖像的哈希特征，進而實現高效的圖像檢索。

2.1 軟偽標簽標注階段

當前基于偽標簽的無監督學習方法［8，17］通常采用硬偽標簽作為監督信息。但是硬偽標簽僅將圖像標記為單一的類別，忽略了圖像的類間關系，僅通過硬偽標簽無法充分標注一張圖像。因此，本文在本階段主要采用教師網絡的預測概率分布作為軟偽標簽來指導哈希特征學習。

常用的生成軟偽標簽的方法是采用預訓練深度網絡對圖像進行預測，保留預測概率分布作為軟偽標簽。但是未經過微調的預訓練深度網絡并未經過本領域數據訓練，容易導致域適應能力下降，進而使得所生成的軟偽標簽可用性降低。為了解決以上問題，本文首先利用所提等量約束聚類算法對圖像深度特征進行聚類，產生圖像硬偽標簽，而后利用硬偽標簽微調教師網絡（特征提取網絡），最后利用教師網絡提取圖像預測概率分布，作為圖像軟偽標簽。

2.1.1 軟偽標簽生成方法

算法1中給出了軟偽標簽生成的過程。該算法的輸入是N張無標簽圖像數據X={xi}Ni=1，輸出是軟偽標簽集YT。在算法開始時，選取預訓練深度網絡ΦT作為教師網絡，用于特征提取及軟偽標簽標注。算法主體部分包括三步（圖1中第一階段），分別為深度特征提取、硬偽標簽標注（聚類）和微調教師網絡，具體如下：

a）深度特征提取。對于數據集X，送入教師網絡ΦT進行特征提取，得到數據集對應的深度特征集F={fiT}Ni=1，fiT為圖像xi對應的深度特征，θT表示教師網絡ΦT的參數。

fiT=ΦT（xi;θT）（1）

b）硬偽標簽標注（聚類）。在得到深度特征集F后，即可利用相關聚類算法生成硬偽標簽。但現有硬偽標簽生成方法中，Deep Cluster方法因未徹底解決空聚類和聚類不平衡問題，使得偽標簽噪聲比例仍然較大；而SeLa（self labelling）方法［17］因在深度網絡后插入了隨機初始化的全連接層，導致無法充分利用預訓練網絡。為此，本文提出了一種改進的K-means聚類算法，通過在聚類過程中加入等量約束，有效避免了空聚類和聚類不平衡問題。同時，本文方法可以充分發揮預訓練網絡優勢，有效提高了硬偽標簽標注精度，為實現更加魯棒的軟偽標簽生成提供了保障。

算法1 軟偽標簽標注

輸入：無標簽圖像數據集X，聚類數k，等量約束聚類算法最大迭代次數M。

輸出：圖像軟偽標簽集YT。

initialization：

a）選取預訓練深度網絡ΦT作為教師網絡，用于特征提取及軟偽標簽標注。

b）初始化計數器，i=0。

for ilt;2：

（a）深度特征提取：

利用教師網絡ΦT對無標簽圖像數據集X中圖像進行特征提取，得到圖像深度特征集F，如式（1）。

（b）硬偽標簽標注（聚類）：

將圖像深度特征集F、聚類數k，聚類最大迭代次數M輸入等量約束聚類算法K，利用式（2）對F進行聚類，得到聚類簇劃分C={C1，C2，…，Ck}，根據圖像所在簇Ci給每個圖像標注上硬偽標簽i，進而得到數據集X對應的硬偽標簽集Y。

（c）微調教師網絡：

利用步驟（b）中得到的偽標簽集Y作為監督信息，微調教師網絡ΦT，提高ΦT特征提取能力。

計數器加1，i=i+1。

output：

將數據集X中的圖像送入教師網絡ΦT，保留所有圖像的預測概率分布，根據式（4）構成圖像的軟偽標簽集YT用于第二階段的蒸餾哈希學習。

利用本文提出的等量約束聚類算法K（見2.1.2節）對特征集F進行聚類，即可得到聚類簇劃分C：

C=K（F;k）（2）

其中：k為聚類簇數。對于任意的xi∈X，根據其所在的簇Cj∈C（j=1，2，…，k）可以得到其對應的初始硬偽標簽i∈Rk。該硬偽標簽為k維向量，第j個位置為1，其余位置為0。數據集X對應的硬偽標簽集可表示為Y={i}Ni=1。

由于本文等量約束聚類算法的優越性，算法所得到的硬偽標簽精度可得到有效提升，其性能將在3.3.2節中進行驗證。

c）微調教師網絡。在得到圖像初始硬偽標簽Y后，利用Y作為監督信息對教師網絡ΦT進行微調。在微調過程中采用隨機梯度下降方法更新教師網絡參數θT，進一步提高網絡的特征提取能力。

本文對步驟a）～c）循環執行兩次。循環結束后，對于任意的xi∈X，本文使用微調后的教師網絡ΦT對圖像進行預測，即可在教師網絡輸出層OT后得到圖像的預測概率分布yiT，并把yiT作為最終的軟偽標簽。

yiT∈Rk ∑kj=1yjiT=1（3）

由此可以得到無標簽圖像數據集X對應的軟偽標簽集YT。

YT={yiT}Ni=1（4）

從以上步驟可以看出，聚類是偽標簽標注的核心步驟，會對偽標簽的精度產生較大影響。因此，本文所提等量約束聚類算法成為影響偽標簽標注精度的關鍵問題。

2.1.2 等量約束聚類

傳統K-means算法通過啟發式的迭代求解方法對數據進行聚類，由于該算法簡單高效，得到了廣泛應用。K-means算法在聚類時，首先隨機選擇k個中心點作為聚類中心，分配數據并更新中心點。而后進行迭代，直到聚類中心不再發生變化或達到最大迭代次數為止。假設利用K-means算法對有N個數據點的深度特征集F進行聚類，其聚類簇劃分為C={C1，C2，…，Ck}，則聚類目標函數可以表示為最小化所有數據點到各自聚類中心ui的距離之和。

其中：ui為第i個聚類簇的質心，可表示為

由于傳統K-means算法沒有限制各個聚類簇內樣本點的數量，在聚類過程中會面臨空聚類和聚類不平衡問題［8］。

所以，本文在Deep Cluster方法基礎上對傳統K-means算法進行了改進，在聚類過程中加入等量約束，即要求數據點在各聚類簇中平均分配。具體來說，就是在分配數據時，當一個聚類簇達到平均數量后，將不再給其分配新數據，保證了聚類過程中各聚類簇的樣本數量始終相同或相近，從而避免空聚類和聚類不平衡問題。改進后的聚類目標函數可表示為

式（7）中的目標函數可以通過算法2進行求解。

算法2 等量約束聚類算法K

輸入：圖像深度特征集F，無標簽圖像數據集X，聚類數k，聚類最大迭代次數M。

輸出：硬偽標簽集Y。

initialization：

a）樣本點取值區間內隨機生成k個數據點作為本輪聚類中心U={u1，u2，…，uk}，上輪聚類中心置空U′=。

b）初始化聚類簇劃分C={C1，C2，…，Ck}，Cl=，l=1，2，…，k。

c）取D=N/k作為每個聚類的樣本容量。

d）迭代次數置0，m=0。

while（mlt;M and U′！=U）：

（a）分配樣本點：

對于i=1，2，…，N，計算樣本fiT到各個聚類中心uj（j=1，2，…，k）的距離dij=‖fiT－uj‖22，在未達到樣本容量D的聚類簇中取使得dij最小的聚類Cl，并將fiT并入Cl，Cl=Cl∪fiT。

（b）更新聚類中心：

更新上輪聚類中心U′=U；更新本輪聚類中心U，對于j=1，2，…，k，根據式（6）重新計算各聚類中心uj，m=m+1。

output：

根據圖像特征fiT所在的聚類簇Cl給圖像xi標注上硬偽標簽i，而后輸出無標簽圖像數據集X的硬偽標簽集Y。

2.2 蒸餾哈希學習階段

蒸餾哈希學習主要是通過所提無監督蒸餾哈希方法，利用教師網絡生成的軟偽標簽指導學生哈希網絡學習，而后使用學生哈希網絡生成圖像的哈希碼，進而實現高效的圖像檢索。

傳統有監督蒸餾學習方法中，通常采用硬標簽和軟標簽共同指導學生網絡學習，并通過超參數控制硬標簽和軟標簽的權重，為學生網絡提供更加豐富的監督信息。但是，由于在本文無監督蒸餾哈希方法中，硬標簽為自動生成的偽標簽，其中不可避免地會包含噪聲，此時繼續采用硬標簽作為監督信息將不利于學生網絡學習。所以，本文無監督蒸餾哈希方法對傳統蒸餾學習方法進行了改進，只保留軟偽標簽作為監督信息指導學生哈希網絡學習。改進后的蒸餾哈希方法不僅避免了軟硬標簽權重的超參調整，而且有效降低了硬偽標簽噪聲在學生哈希網絡學習過程中的負面影響。

在本文無監督蒸餾哈希方法中，為了生成圖像的哈希碼，在學生哈希網絡中插入哈希層，并通過tanh激活函數使哈希層輸出趨近于二值化。本階段輸入為無標簽圖像數據集X，軟偽標簽集YT，輸入數據后利用KL（Kullback-Leibler）損失對學生哈希網絡進行訓練。在完成訓練后，即可使用學生哈希網絡對圖像進行哈希特征提取，進而得到圖像哈希碼b。

將任意一張圖像xi∈X送入學生哈希網絡進行特征提取，得到深度特征fiS。

其中：ΦS表示學生哈希網絡；θS表示ΦS骨干網的參數。為了將特征映射為n bit的哈希碼，在ΦS的骨干網后插入n維哈希層H并經tanh函數激活，使得哈希層H輸出趨近于二值化，進而得到哈希層特征vi。

其中：WH和VH分別表示哈希層H的權重矩陣和偏置向量。

在哈希層H后插入k維輸出層OS，并經softmax函數激活，得到學生哈希網絡的預測概率分布yiS。

其中：WOS和VOS分別表示輸出層OS的權重矩陣和偏置向量。

在得到學生哈希網絡的預測概率分布yiS后，即可用教師網絡的預測概率分布yiT作為監督信息，通過KL損失指導學生哈希網絡學習。KL損失函數可表示為

在訓練學生哈希網絡過程中，通過最小化式（11）中損失L，即可求解學生哈希網絡參數θS、WH、VH、WOS和VOS。

在進行哈希編碼時，將圖像送入訓練后的學生哈希網絡提取圖像的哈希特征vi，而后對哈希層特征vi二值化即可得到圖像xi對應的哈希碼bi。

3 實驗

為了驗證本文方法的有效性，在三個常用公開數據集上進行了測試，并同多種方法進行了比較。為了檢驗本文方法的泛化能力，在數據集的選取上，除兩個自然圖像數據集CIFAR-10和FLICKR25K外，還加入了一個遙感場景數據集EuroSAT。在對比實驗中，本文對比分析了不同標簽生成方法、教師網絡和硬偽標簽更新次數對無監督哈希檢索性能的影響。

3.1 數據集

a）CIFAR-10。該數據集包含10類60 000張彩色圖像，每類包含6 000張圖像，圖像大小為32×32。本文按照DistillHash方法的數據集劃分方法進行設置，從每類圖像中隨機抽取500張作為訓練集，1 000張作為測試集，除測試集外的所有圖像為數據庫。最終訓練集共包含5 000張圖像，測試集共包含10 000張圖像，數據庫共包含50 000張圖像。

b）FLICKR25K。該數據集是一個多標簽數據集，包含38類25 000張彩色圖像，每張圖像至少標記了38種類別中的一個，且各類別數據量差別較大（從幾百到幾千不等）。本文同樣按照DistillHash方法的數據集劃分方法進行設置，從所有數據中隨機抽取5 000張作為訓練集，2 000張作為測試集，除測試集外的23 000張圖像作為數據庫。

c）EuroSAT。該數據集是一個遙感場景圖像數據集，包含10類27 000張圖像，每類包含2 000～3 000張圖像，圖像大小為64×64。本文按照ETE-GAN方法的數據集劃分方法進行設置，從每類圖像中隨機抽取500張作為訓練集，100張作為測試集，除測試集外的所有圖像為數據庫。最終訓練集共包含5 000張圖像，測試集共包含1 000張圖像，數據庫共包含26 000張圖像。

3.2 實驗設置

本文采用PyTorch 1.4深度學習框架，利用兩塊NVIDIA 2080Ti顯卡進行實驗測試。本文方法中的教師網絡采用ResNet-101網絡，等量約束聚類最大迭代次數為10次，硬偽標簽更新次數均為2次。圖像送入網絡前統一設置為224×224像素。學生哈希網絡訓練過程中，采用隨機梯度下降方法，學習率設為0.05，訓練批次大小為32，訓練次數為50輪。在評價指標中，本文選取圖像檢索中最常用的MAP（mean average precision）和P-R（precision-recall）兩種評價指標，關于MAP和P-R的詳細介紹可參考文獻［21］。

在深度哈希方法中，由于不同深度網絡具有不同的特征提取能力，在選取不同深度網絡作為骨干網時檢索性能會有較大變化。為便于比較，本文實驗采用與DistillHash方法相同的深度網絡VGG16［22］作為學生哈希網絡的骨干網。

3.3 實驗結果與分析

3.3.1 檢索結果對比

在自然圖像數據集CIFAR-10和FLICKR25K上，本文與12種無監督哈希方法進行了對比，包括6種傳統無監督哈希方法（LSH［23］、SH［24］、ITQ［25］、PCAH［26］、DSH［27］、SpH［28］）和6種深度無監督哈希方法（DeepBit［4］、SGH［29］、SSDH［13］、SSDH+PSO［30］、BGAN［31］、TBH［9］、DistillHash［6］），評價指標為MAP，結果如表1所示。從表1可以看出，深度無監督哈希方法檢索性能總體上超越了傳統無監督哈希方法，但仍有部分深度方法（如DeepBit和SGH）性能低于傳統方法（如ITQ和SpH）。其主要原因可能是深度方法自身的過擬合及偽標簽中噪聲較多造成的。

由于本文無監督蒸餾哈希和等量約束聚類標簽生成方法可以有效減少標簽噪聲，所以本文方法檢索精度在四種哈希編碼條件下均達到最佳性能。在CIFAR-10數據集上，與TBH方法［9］相比，本文方法MAP平均提高12.7%；在FLICKR25K數據集上，與DistillHash方法［6］相比，本文方法MAP平均提高1.0%。從以上結果可以看出，本文方法在CIFAR-10單標簽數據集上提升幅度較大，但在FLICKR25K多標簽數據集上提升幅度相對較低。這說明本文方法在不同數據集上均有性能提升，特別是針對單標簽無監督哈希檢索任務，具有更好的適應性。但本文方法對于多標簽、類別不均衡數據的無監督哈希檢索任務仍有一定的提升空間。

為檢驗本文方法的泛化能力，在遙感場景數據集EuroSAT上進行了測試，并與七種無監督哈希方法進行了對比，包括四種傳統無監督哈希方法（SKLSH［32］、ITQ、SpH、SP［33］）和三種深度無監督哈希方法（CNN_MS［10］、GAN_MS_ESM［10］、ETE-GAN［10］），結果如表2所示。從表2中可以看出，本文方法在三種哈希編碼條件下均達到最佳性能。與ETE-GAN方法相比，本文方法檢索精度平均提高16.9%，這說明本文方法具有較好的泛化能力，在遙感圖像檢索領域也能取得較好的結果。

圖2和3分別為多種方法16位和32位哈希碼在FLICKR25K數據集上的P-R曲線。P-R曲線可以通過對比曲線下的面積來比較各種方法的性能，面積越大代表性能越好。在圖2、3中，最上方線為本文方法的P-R曲線，其下方面積明顯高于其他方法所得到的曲線，這充分說明了本文方法的有效性。

3.3.2 不同標簽生成方法性能對比

為了驗證本文等量約束聚類算法的有效性，將本文的偽標簽生成方法與Deep Cluster［8］和SeLa方法［17］中的偽標簽生成方法進行對比（以上三種方法的教師網絡均采用ResNet-101），結果如圖4、5所示。圖4為在FLICKR25K數據集上三種方法的性能對比，圖5為在EuroSAT數據集上三種方法的性能對比。

從圖4、5中可以看出，本文方法在兩個數據集上均取得了最佳性能。其主要原因是本文方法在聚類過程中加入了等量約束條件，進一步避免了Deep Cluster方法［8］中的空聚類和聚類不平衡問題；同時與SeLa方法［17］不同，本文方法采用了兩階段的設計，有效發揮了預訓練網絡的優勢，得到了更好的檢索性能。

3.3.3 硬偽標簽更新次數分析

在本文方法中，更新硬偽標簽是第一階段軟偽標簽標注的重要步驟，能夠進一步降低偽標簽中的噪聲。不同的硬偽標簽更新次數會對軟偽標簽生成結果產生一定影響。為了測試不同更新次數對最終檢索性能的影響，本文測試了ResNet-101作為教師網絡更新次數為0～5時在CIFAR-10上64位哈希碼的檢索精度，結果如圖6所示。

從圖6中可以看出，偽標簽更新次數為0時，檢索性能最低。其主要原因是更新次數為0次時，沒有對教師網絡進行微調，教師網絡不能較好地適應新的數據。偽標簽更新次數為1時，與更新0次時的檢索精度對比可以看出，MAP有明顯提升，這說明了微調教師網絡能夠提高教師網絡對數據的適應性，可以進一步提升學生哈希網絡的編碼能力。此外，隨著偽標簽更新次數的增加，當偽標簽更新次數為2時，檢索精度達到最優，而當更新次數繼續增加時，檢索精度呈下降趨勢。這是因為更新次數過多可能會導致教師網絡過擬合到標簽噪聲中，造成性能退化。所以在本文所有實驗中，硬偽標簽更新次數均設置為2。

3.3.4 不同教師網絡性能對比

為了驗證不同教師網絡對蒸餾哈希學習效果的影響，本文選取了三種不同教師網絡，分別使用軟偽標簽和硬偽標簽測試學生哈希網絡檢索性能，結果如表3所示。

從表3可以看出，采用不同深度網絡作為教師網絡得到的檢索精度具有較大差異。當使用ResNet-101（軟偽標簽）作為教師網絡時得到的檢索性能最高。同時，當固定教師網絡時，軟偽標簽方法的檢索精度均優于硬偽標簽方法。

這說明本文所提軟偽標簽方法在蒸餾哈希學習過程中可以進一步降低偽標簽噪聲帶來的負面影響，得到更好的檢索性能。

3.3.5 偽標簽可視化

為了進一步分析本文等量約束聚類算法偽標簽生成的效果，在CIFAR-10數據集上將本文得到的硬偽標簽和Deep Cluster方法得到的硬偽標簽利用t-SNE（t-distributed stochastic neighbor embedding）方法［34］進行降維可視化，結果如圖7所示。在圖7中，每種數字和顏色代表一種類別標簽，每類包含25張圖像，共250張圖像。其中：（a）表示降維后真實標簽的數據分布；（b）表示降維后Deep Cluster方法硬偽標簽的數據分布；（c）表示降維后本文方法硬偽標簽的數據分布。通過對比圖7中的內容可以看出，本文方法所得到的硬偽標簽能夠較好地保持各類別標簽的正確性，而Deep Cluster方法所得到的硬偽標簽則包含大量噪聲。這說明本文的等量約束聚類算法較Deep Cluster方法具有更好的魯棒性。

4 結束語

為了減少對數據標簽的依賴，實現無監督哈希檢索，本文提出了一種等量約束聚類的無監督蒸餾哈希圖像檢索方法。該方法主要分為兩個階段，在第一階段中，通過所提等量約束聚類算法實現了高效的偽標簽標注，并用于指導學生哈希網絡學習；在第二階段中，通過所提無監督蒸餾哈希方法，進一步提高了哈希檢索性能。本文在CIFAR-10、FLICKR25K和EuroSAT三個常用數據集上進行了測試，實驗結果比當前主流方法的平均檢索精度分別提高了12.7%、1.0%和16.9%。實驗結果表明，本文方法在自然圖像和遙感場景圖像條件下均取得了較好的性能，特別是針對單標簽無監督哈希檢索任務，具有更好的適應性，但本文方法對于多標簽無監督哈希檢索任務仍有一定的提升空間。因此在下一步工作中，將考慮對偽標簽生成方法作進一步改進，以提高本文方法對多標簽數據的適應能力。

參考文獻：

［1］Liu Haomiao，Wang Ruiping，Shan Shiguang，et al. Deep supervised hashing for fast image retrieval［J］. International Journal of Computer Vision，2019，127（9）： 1217-1234.

［2］Cao Zhangjie，Long Mingsheng，Wang Jianmin，et al. HashNet： deep learning to hash by continuation［C］// Proc of IEEE International Conference on Computer Vision. 2017： 5609-5618.

［3］顧廣華，霍文華，蘇明月，等. 基于非對稱監督深度離散哈希的圖像檢索［J］. 電子與信息學報，2021，43（12）： 3530-3537.（Gu Guaghua，Huo Wenhua，Su Mingyue，et al. Asymmetric supervised deep discrete hashing based image retrieval［J］. Journal of Electronics amp; Information Technology，2021，43（12）： 3530-3537.）

［4］Lin K，Lu Jiwen，Chen Chusong，et al. Learning compact binary descriptors with unsupervised deep neural networks［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2016： 1183-1192.

［5］林計文，劉華文. 基于偽成對標簽的深度無監督哈希學習［J］. 模式識別與人工智能，2020，33（3）： 258-267.（Lin Jiwen，Liu Huawen. Deep unsupervised hashing with pseudo pairwise labels［J］. Pattern Recognition and Artificial Intelligence，2020，33（3）： 258-267.）

［6］Yang Erkun，Liu Tongliang，Deng Cheng，et al. DistillHash：unsupervised deep hashing by distilling data pair［C］// Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition. 2019： 2946-2955.

［7］Li Yang，Wang Yapeng，Miao Zhuang，et al. Contrastive self-supervised hashing with dual pseudo agreement［J］. IEEE Access，2020，8： 165034-165043.

［8］Caron M，Bojanowski P，Joulin A，et al. Deep clustering for unsupervised learning of visual features［C］// Proc of the 15th European Conference on Computer Vision. 2018： 139-156.

［9］Shen Yuming，Qin Jie，Chen Jiaxin，et al. Auto-encoding twin-bottleneck hashing［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2020： 2815-2824.

［10］Chen Xuelei，Lu Cunyue. An end-to-end adversarial hashing method for unsupervised multispectral remote sensing image retrieval［C］// Proc of IEEE International Conference on Image Processing. 2020： 1536-1540.

［11］Shen Yuming，Liu Li，Shao Ling. Unsupervised binary representation learning with deep variational networks［J］. International Journal of Computer Vision，2019，127（11-12）： 1614-1628.

［12］Hu Qinghao，Wu Jiaxiang，Cheng Jian，et al. Pseudo label based unsupervised deep discriminative hashing for image retrieval［C］// Proc of ACM on Multimedia Conference. 2017： 584-1590.

［13］Yang Erkun，Deng Cheng，Liu Tongliang，et al. Semantic structure-based unsupervised deep hashing［C］// Proc of International Joint Conference on Artificial Intelligence. 2018： 1064-1070.

［14］Caron M，Misra I，Mairal J，et al. Unsupervised learning of visual features by contrasting cluster assignments［C］// Proc of the 34th International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2020.

［15］Chen Ting，Kornblith S，Norouzi M，et al. A simple framework for contrastive learning of visual representations［C］// Proc of the 37th International Conference on Machine Learning. 2020： 1597-1607.

［16］He Kaiming，Fan Haoqi，Wu Yuxin，et al. Momentum contrast for unsupervised visual representation learning［C］// Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition. 2020： 9726-9735.

［17］Asano Y M，Rupprecht C，Vedaldi A. Self-labelling via simultaneous clustering and representation learning［C］// Proc of International Conference on Learning Representations. 2020.

［18］Hinton G E，Vinyals O，Dean J. Distilling the knowledge in a neural network［J］. Computer Science，2015，14（7）： 38-39.

［19］甘俊英，項俐，翟懿奎，等. 結合多任務遷移學習與知識蒸餾的人臉美麗預測研究［J］. 信號處理，2020，36（7）： 1151-1158.（Gan Junying，Xiang Li，Zhai Yikui，et al. Research for facial beauty prediction combined multi-task transfer learning with knowledge distillation［J］. Journal of Signal Processing，2020，36（7）： 1151-1158.）

［20］Hu Hengtong，Xie Lingxi，Hong Richang，et al. Creating something from nothing： unsupervised knowledge distillation for cross-modal hashing ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2020： 3120-3129.

［21］Manning C D，Raghavan P，Schütze H. Introduction to information retrieval［M］. Cambridge： Cambridge University Press，2008.

［22］Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition［EB/OL］.（2015-04-10）. https：//arxiv. org/abs/1409.1556.

［23］Andoni A，Indyk P. Near-optimal hashing algorithms for approximate nearest neighbor in high dimensions［J］. Communications of the ACM，2008，51（1）： 117-122.

［24］Weiss Y，Torralba A，Fergus R. Spectral hashing［C］// Advances in Neural Information Processing Systems. 2009： 1753-1760.

［25］Gong Y，Lazebnik S，Gordo A，et al. Iterative quantization： a procrustean approach to learning binary codes for large-scale image retrieval［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2013，35（12）： 2916-2929.

［26］Wang Xinjing，Zhang Lei，Jing Feng，et al. AnnoSearch： image auto-annotation by search［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2006： 1483-1490.

［27］Jin Zhongming，Li Cheng，Lin Yue，et al. Density sensitive hashing［J］. IEEE Trans on Cybernetics，2014，44（8）： 1362-1371.

［28］Heo J P，Lee Y，He Junfeng，et al. Spherical hashing［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2012： 2957-2964.

［29］Dai Bo，Guo Ruiqi，Kumar S，et al. Stochastic generative hashing［C］// Proc of International Conference on Machine Learning. 2017： 913-922.

［30］Wei Yiwen，Tian Dayong，Shi Jiao，et al. Optimizing non-differentiable metrics for hashing［J］. IEEE Access，2021，9： 14351-14357.

［31］Song Jingkuan，He Tao，Gao Lianli，et al. Binary generative adversa-rial networks for image retrieval［C］// Proc of AAAI Conference on Artificial Intelligence. 2018： 394-401.

［32］Raginsky M，Lazebnik S. Locality-sensitive binary codes from shift-invariant kernels［C］// Advances in Neural Information Processing System. 2009： 1509-1517.

［33］Xia Yan，He Kaiming，Kohli P，et al. Sparse projections for high-dimensional binary codes［C］// Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition. 2015： 3332-3339.

［34］Hinton G E，Roweis S. Stochastic neighbor embedding［C］// Advances in Neural Information Processing Systems. 2002： 833-840.

收稿日期：2022-06-07；修回日期：2022-07-18 基金項目：國家自然科學基金資助項目；國家重點研發計劃資助項目；江蘇省自然科學基金資助項目；中國博士后科學基金資助項目

作者簡介：苗壯（1976-），男，遼寧遼陽人，教授，博導，博士，主要研究方向為模式識別、計算機視覺；王亞鵬（1995-），男，安徽宿州人，碩士研究生，主要研究方向為計算機視覺、圖像檢索；李陽（1984-），男（通信作者），河北廊坊人，副教授，碩導，博士，主要研究方向為計算機視覺、機器學習（solarleeon@outlook.com）；張睿（1977-），男，山東威海人，教授，博導，博士，主要研究方向為信息融合；王家寶（1985-），男，安徽肥西人，講師，博士，主要研究方向為模式識別、機器學習.