基于深度多相似性哈希方法的遙感圖像檢索

何悅，陳廣勝，景維鵬，徐澤堃

（東北林業大學 信息與計算機工程學院，哈爾濱 150040）

0 概述

隨著對地觀測技術的快速發展，遙感圖像數量呈爆炸性增長趨勢，迫切需要對遙感數據進行高效化、輕量化的管理。基于內容的遙感圖像檢索（Content-Based Remote Sensing Image Retrieval，CBRSIR）旨在從大規模遙感圖像庫中檢索到與查詢圖像具有相似語義特征的圖像，常采用近似最近鄰（Approximate Nearest Neighbor，ANN）搜索來實現［1］。其中，基于哈希學習方法由于其高效的查詢速度和較低的存儲空間，已成為圖像檢索的主流技術之一。哈希算法的目的是將圖像集從高維空間轉換為緊湊的二進制哈希碼，并保持圖像相似性［2］，其能夠顯著降低存儲成本并保持原有空間的語義結構。

主流的哈希學習方法主要分為監督哈希和無監督哈希兩類［3-5］。其中，監督哈希方法在學習過程中使用監督信息以提高哈希算法的性能，如監督離散哈希（Supervised Discrete Hashing，SDH）［6］、深度監督哈希［7］等。這些方法將圖像集的標簽當成監督信息訓練哈希模型，基本和相應的數據有關聯。但是，對于遙感圖像來說，標記大量的數據具有一定難度，此外，收集足夠的標記數據需要投入巨大的時間和精力，因此，監督哈希方法很難滿足實際需求。

為了解決上述問題，大量的無監督哈希方法相繼被提出，包括局部敏感哈希（Locality-Sensitive Hashing，LSH）［8］、譜哈希（Spectral Hashing，SH）［9］、迭代量化哈希（Iterative Quantization Hashing，ITQ）［10］等。上述傳統哈希方法往往采用淺層架構，性能上仍舊無法滿足實際應用的需求，因此，無監督深度哈希技術開始受到關注［11-13］。文獻［14］利用余弦距離和閾值從特征空間學習語義結構。文獻［15］通過局部的流形語義相似結構重構進行哈希學習，通過研究輸入圖像的流形結構來優化網絡。文獻［16］使用訓練后的模型輸出來優化相似矩陣。雖然上述研究通過預訓練的卷積神經網絡（Convolution Neural Network，CNN）模型能提取高維特征，但是都只考慮了局部結構而忽略了同樣重要的全局結構，導致偽標簽不可靠。此外，這些研究采用的損失函數沒有設立較好的懲罰機制，輸入數據被同等對待，導致檢索模型精度較低。

本文提出一種深度多相似性哈希（Deep Multi-Similarity Hashing，DMSH）來學習沒有語義監督的高質量哈希碼。DMSH 采用預訓練的Swin Transformer模型作為骨干網絡，并設計兩個創新模塊：自適應偽標簽模塊（Adaptive Pseudo-Labeling Module，APLM）采用K 最近鄰（K-Nearest Neighbor，KNN）和核相似度實現偽標簽生成和更新，以充分挖掘遙感圖像的語義信息和相似關系；成對結構信息模塊（Paired Structure Information Module，PSIM）的核心思想是通過結構相似度區分不同圖像對的訓練關注度，使得模型能夠自適應地學習更高質量的哈希碼。

1 本文方法

本文提出一種面向遙感圖像檢索的深度多相似性哈希方法，該方法的總體框架如圖1所示，主要包括3個部分：基于Swin Transformer 骨干網絡的特征提取與哈希碼生成；基于自適應偽標簽模塊的相似矩陣生成與更新；基于成對結構信息模塊的哈希編碼學習。

圖1 深度多相似性哈希方法總體框架Fig.1 General framework of deep multi-similarity hashing method

1.1 特征提取與哈希碼生成

本文采用預訓練的 Swin Transformer 的Tiny 版本作為骨干網絡，用于遙感圖像的特征提取。Swin Transformer 網絡模型采用多層結構，包含Patch Merging 和多個 Blocks［17］。模型通過自適 應平均池化層和全連接層輸出1 000 維的高維特征。為了讓網絡適用于哈希學習，在全連接層之后添加一個哈希層，輸出值為-1～1 之間的近似哈希碼。哈希層采用tanh()作為激活函數，如式（1）所示：

給定一幅圖像xi，通過Swin Transformer 和哈希層，由哈希層輸出圖像對應的近似哈希碼r(xi)，采用sgn()函數生成圖像xi的二進制哈希碼b(xi)，計算過程如式（2）所示：

1.2 自適應偽標簽模塊

考慮到遙感圖像的特性，本文設計自適應偽標簽模塊（APLM）以充分捕獲遙感圖像的語義信息。APLM 包含偽標簽的生成與更新兩個部分。

1.2.1 偽標簽生成

以往圖像檢索研究中通過CNN 模型進行高維特征提取，從而生成偽標簽［18-20］。受此啟發，本文建立一個基于Transformer 模型的相似度矩陣，將其作為偽標簽來指導哈希學習。首先通過預訓練的Swin Transformer 的全連接層提取遙感影像的高維特征，然后利用兩階段的KNN 生成語義相似矩陣：第一階段，KNN 將高維特征的余弦距離設置為距離度量，前k1個鄰近對象判定為相似圖像；第二階段，KNN 將相同鄰居的數量設置為距離度量，前k2個鄰近對象判定為相似圖像。如果兩張遙感圖像在兩階段的最近鄰搜索中均被判定為相似，即被認為是相似的。數據集通過上述流程生成的相似度矩陣W作為初始偽標簽。預訓練模型不能很好地挖掘遙感圖像的深層語義信息，導致偽標簽的可信度不高，因此，在哈希學習的過程中需要進行偽標簽的同步更新。

1.2.2 偽標簽更新

在開始訓練后，使用數據集和初始偽標簽來更新模型參數。參數優化后，模型會輸出包含更多語義信息的高維特征，APLM 再采用高斯核函數計算每一個mini-batch 中圖像對的核相似度，從而更新偽標簽。核相似度的計算如式（3）所示：

其中：dij代表圖像i和圖像j之間的歐氏距離；σ2是超參數；n代表每一個mini-batch 中訓練圖像的數量。

通過采用新的相似度閾值（所有圖像對的核相似度均值）來更新偽標簽，閾值的計算如式（4）所示：）

APLM 的偽標簽更新策略為：將核相似度高于閾值的圖像對在相似度矩陣中更新為正樣本對（相似），對于矩陣中原有的正樣本對不做修改。偽標簽相似矩陣W的更新如式（5）所示：

由于微調后的模型針對遙感圖像集的判別性有所提升，因此每一輪mini-batch 更新后的偽標簽會比初始偽標簽更可靠，利用更可靠的偽標簽再次訓練模型并更新參數，多輪迭代，直至模型達到最佳性能。

1.3 成對結構信息模塊

在以往研究中，模型計算相似損失時往往賦予所有圖像對相同的訓練權重，導致相似度差異大的圖像對沒有被充分學習，相似度差異小的圖像對被過度學習。為了解決上述問題，本文設計一種成對結構信息模塊（PSIM），如圖2 所示，它能夠得到模型訓練過程中不同圖像對的受關注度，為不同圖像對賦予不同的訓練權重，使相似度高的圖像拉得更近，相似度低的圖像推得越遠，從而使得模型聚焦于貢獻度更大的圖像對。

圖2 成對結構信息模塊Fig.2 Paired structure information module

PSIM 模塊主要通過每個mini-batch 中圖像間的多尺度結構相似性（Multi-Scale Structural Similarity，MS-SSIM）計算出自適應調制因子，以優化哈希學習。MS-SSIM 是一種基于多尺度測量兩個圖像之間相似性的方法［21］，包含亮度（l）、對比度（c）、結構（f）這3 種對比模塊，計算分別如式（6）～式（8）所示：

其中：μi代表圖像i的均值；代表圖像i的方差；σij代表圖像i和圖像j的協方差；C1、C2、C3是常數。

遙感圖像集地物類型豐富，因此，相比僅適合特定場景的單尺度結構相似度方法，多尺度結構相似度方法更適用于多場景的遙感圖像［22］。多尺度結構相似度評估是通過組合不同尺度的測量來獲得，具體計算如式（9）所示：

其中：M代表最高尺度；h代表所在尺度層數；αM、βh、γh代表各成分間的關系權重。

如果圖像j是圖像i的最相似圖像，則認為兩者的結構相似度也是最高的，因此，將圖像對的結構相似度作為輸入，通過Softmax 函數計算每個minibatch 中各圖像間的相似概率，如式（10）所示：

其中：τ是一個溫度超參數，可以控制Softmax 輸出差異的大小。

最終，本文采用負對數似然（negative log-likelihood）關聯Softmax 函數，生成自適應的調制因子，用于確定圖像對的訓練關注度。自適應調制因子如式（11）所示：

對于結構相似度越低的圖像對，認為其相似概率越低，能夠為模型提供的信息更豐富，因此，為其設置較高的調制因子mij，便于模型訓練過程中更關注這一類圖像對。反之，圖像對的結構相似度越高，調制因子mij設置越低。

1.4 多損失函數學習

在哈希學習階段，本文采用基于自適應調制因子的相似損失函數和量化損失函數來更新模型參數。相似損失函數減少相似圖像對（正樣本）間的距離，并增大不相似圖像對（負樣本）間的距離，從而保證遙感圖像之間的相似性可以保留在哈希編碼中，如式（12）所示：

其中：sij代表圖像i和圖像j的余弦相似度。余弦相似度通過計算兩個向量內積空間夾角的余弦值來判定相似性，如式（13）所示：

其中：ri代表圖像i的近似哈希碼；代表ri的轉置；代表L2 范數。

量化損失函數將近似哈希碼中的元素推向0 或1，減少近似哈希碼和二進制哈希碼之間的性能差距，如式（14）所示：

其中：B和R分別代表訓練輸出的二進制哈希碼和近似哈希碼；代表Frobenius范數。

用于模型訓練的總損失函數如式（15）所示：

其中：λ是平衡Ls和Lq的超參數。

2 實驗結果與分析

2.1 實驗數據與評價準則

為了評估本文方法的檢索性能，采用兩個已發布的遙感數據集進行大量實驗。第一個數據集是由德國凱澤斯勞滕大學提出的EuroSAT，該數據集有27 000幅場景圖像，圖像分為10 個類別［23］，每個類別的樣本數量從2 000到3 000不等，每張圖像尺寸大小為64×64像素。第二個數據集是武漢大學發布的PatternNet，該數據集由38 個場景類別組成，包含30 400 張圖像，每張圖像尺寸為256×256 像素［24］。此外，PatternNet 的遙感圖像空間分辨率為0.006 2～4.693 0 m。在兩種數據集中，均針對每類隨機選取100 張圖像作為測試查詢集，其他圖像作為訓練集。

本文采用3個廣泛使用的評價指標來評估DMSH的檢索性能，分別為平均精度均值（mean Average Precision，mAP）、Top-N檢索返回的準確率（Precision@N）和查準率-查全率（Precision-Recall，P-R）曲線。其中，針對EuroSAT 和PatternNet 數據集，本文分別使用排名前1 900 和排名前700 的檢索圖像來統計mAP值。

2.2 實驗環境

本文使用ImageNet-1K 數據集預訓練Swin Transformer 模型作為骨干網絡。實驗所用GPU 為TeslaV100，采用PyTorch 來訓練模型［25］。根據超參數的調試，最終的各超參數值在兩個數據集上均能使模型達到最佳檢索性能，超參數設置如下：k1和k2分別為20 和30，σ2和τ均為1，λ為10，mini-batch 為64，學習率為2e-5，采用Adam 優化器［26］，總共訓練40 個輪次。

2.3 與先進方法的比較

為了驗證本文DMSH 方法的有效性，將其與多種無監督哈希學習方法進行比較，包括基于淺層模型的哈希方法與基于深度學習的哈希方法，淺層方法分別是LSH、SH 和ITQ，深度方法分別 是SSDH［14］、MLS3RDUH［15］和DUIH-MBE［27］。在兩種數據集上進行的對比實驗結果如表1、表2 所示，最優結果加粗標注。從中可以看出：在EuroSAT 數據集上，本文方法在16、24、32 和48 位哈希碼的mAP 性能較對比方法的最優結果分別提升了1.8%、0.8%、2.3%、3.0%；在PatternNet數據集上，DMSH 在不同長度哈希碼的mAP 結果上分別實現了12.5%、10.1%、9.8%和10.7%的增量。可以得出：1）除了表1 中ITQ 的mAP 結果之外，其余的無監督哈希方法的mAP 結果均隨著哈希碼長度的增長而提升；2）傳統的無監督哈希方法雖然采用了高維特征作為輸入，但是檢索精度仍舊遠低于深度無監督哈希方法，原因是傳統方法大多將特征提取和哈希學習分開，無法在訓練過程中獲取包含更多語義信息的圖像特征；3）DMSH 的檢索精度高于其他深度無監督哈希方法，說明無監督哈希學習結合多種相似度，能夠更好地實現偽標簽和哈希編碼的共同優化。

表1 在EuroSAT 數據集上各方法的mAP 比較 Table 1 mAP comparison of methods on EuroSAT dataset

表2 在PatternNet 數據集上各方法的mAP 比較 Table 2 mAP comparison of methods on PatternNet dataset

為進一步驗證DMSH 的有效性，采用其他指標進行對比實驗。圖3 和圖4 分別為兩個數據集下不同方法的48 位哈希碼的Precision@N指標對比，從中可以看出，在兩種數據集上DMSH 的Precision@N均高于其他方法。圖5 和圖6 分別為兩個數據集下不同方法的48 位哈希碼的P-R 曲線對比，從中可以看出，當召回率逐漸提高時，全部方法的查準率都會降低，然而，在相同召回率下DMSH 的查準率仍高于其他方法，在相同查準率下DMSH 的召回率也優于其他方法。DMSH 在上述兩種評估指標下依然具有優越性，說明該方法在大規模遙感圖像數據集上具有有效性和通用性。

圖3 在EuroSAT 數據集上各方法的Precision@N 比較Fig.3 Precision@N comparison of methods on EuroSAT dataset

圖4 在PatternNet 數據集上各方法的Precision@N 比較Fig.4 Precision@N comparison of methods on PatternNet dataset

圖6 在PatternNet 數據集上各方法的P-R 曲線比較Fig.6 P-R curve comparison of methods on PatternNet dataset

2.4 消融實驗

為了驗證DMSH 中兩個模塊的有效性，在DMSH 中刪減APLM 模塊以及同時刪減APLM 和PSIM 模塊，48 位哈希碼的mAP 性能指標對比如表3所示。從中可以看出：在EuroSAT 數據集中，刪減APLM 模塊會使模型的mAP 精度下降1.8 個百分點，完全刪減兩個模塊會導致檢索精度再次下降6.3 個百分點；在PatternNet 數據集中，不采用APLM 和PSIM 模塊也會導致mAP 精度下降9.5 個百分點。因此，同時運用APLM 和PSIM 模塊能夠更有效地保留遙感圖像的相似性，生成更高質量的哈希編碼。

表3 消融實驗結果 Table 3 Results of ablation experiment

2.5 可視化實驗

為了更直觀地展示DMSH 的有效性，圖7 所示為EuroSAT 和PatternNet上48 位哈希碼的檢索結果，輸出與查詢圖像最相似的10 張檢索圖像，圖中帶叉號的圖像代表錯誤結果。從圖7 可以看出，DMSH 在兩個數據集上的檢索效果明顯好于最優對比方法DUIH-MBE，尤其是在河流類別和交叉路口類別上，本文方法分別克服了公路和立交橋類別圖像的干擾，這是因為基于核相似度迭代更新后的偽標簽能提供更加準確的監督信息，同時基于結構相似度的調制因子能更有效地實現最小化類間相似度、最大化類內相似度，即DMSH 相比其他方法可以更好地判別多類遙感圖像。

圖7 DMSH 和DUIH-MBE 的檢索結果比較Fig.7 Comparison of retrieval results between DMSH and DUIH-MBE

3 結束語

本文提出一種多相似性聯合的深度無監督哈希方法DMSH，利用預訓練的Swin Transformer 模型作為特征提取器，結合核相似度在訓練過程中迭代更新偽標簽，挖掘遙感圖像間潛在的語義相似關系，同時通過結構相似度設計自適應調制因子，賦予不同圖像對不同的關注度權重，從而更充分地利用圖像對的判別信息，提高哈希碼的辨識力。實驗結果驗證了DMSH 方法的有效性。下一步將考慮設計新的網絡結構并優化量化損失函數，以期在更復雜的遙感圖像數據集上實現更高的檢索精度。