基于注意力金字塔與監督哈希的細粒度圖像檢索

殷梓軒，孫 涵

(南京航空航天大學 計算機科學與技術學院/人工智能學院，江蘇 南京 211106)

0 引 言

細粒度圖像檢索是細粒度圖像處理領域中的子方向，要求給定一張圖片，算法能返回數據集中與該圖片同屬一個子類的圖片。它與一般圖像的檢索不同，例如一般圖像的檢索要求在貓、狗、兔子中檢索出來貓，細粒度圖像檢索則要求在波音737-300、737-400、737-500中找到波音737-400。可以看出細粒度圖像具有類間差異小、類內差異大的特點。因此，通常在檢索的范圍內，所有圖像在視覺上都是相似的，但它們會在一些局部的細節處存在微小的區別。這無疑是非常具有挑戰性的。

圖像檢索的原理，其實就是計算數據庫中所有圖像與待檢索圖像在特征空間中的距離并進行排序，距離越近，說明該圖像與待檢索圖像相似度越高。但在如今大數據時代，線性搜索顯然是不現實的，不僅因為時間開銷大，而且存儲成本也高。而深度哈希[1-2]恰恰能解決這兩個弊端，因為它可以把提取到的圖像特征壓縮成緊湊的二進制哈希碼，從而減小存儲空間，同時大大提升檢索速度。因此，深度哈希方法受到了越來越多的關注。

深度哈希模型一般包含兩個階段：特征提取及特征編碼。特征提取階段其實就是要進行細粒度圖像識別任務。現有的細粒度圖像識別算法主要分兩類[3]：帶有定位-分類子網絡的模型以及進行端到端特征編碼的模型。但是現有的方法大部分只關注到了卷積神經網絡中高層的語義信息，卻忽略了低層的細節特征，該文則希望能把二者結合在一起。在特征編碼階段，深度哈希可以把圖像特征映射為二進制形式的哈希碼，從而在減小存儲空間的同時大大提升檢索速度。

具體地，該文提出了一個基于注意力金字塔與監督哈希的深度神經網絡，用于解決大規模細粒度圖像檢索問題。它主要分為兩大部分，分別是兩階段的特征提取網絡以及哈希分類網絡。在特征提取網絡中，使用了一種雙通路的金字塔結構，包含自上而下的特征通路以及自下而上的注意力通路，借此融合高層的抽象語義信息與低層的細節特征；與此同時，還在網絡的兩個階段之間引入了一個中間層對輸入圖像進行細化。在哈希分類網絡中，使用tanh(x)代替sign(x)作為激活函數，從而使學習到的哈希函數達到平穩分布；同時結合量化損失與分類損失，使生成的哈希碼能更好地與原始輸入圖像的特征進行匹配。在兩個標準細粒度圖像數據集[4-5]上進行了大量實驗，實驗結果表明，提出的模型能進行高精度細粒度圖像檢索。同時還與當前的一些經典算法進行了實驗比較，比較結果展示了該方法的優越性。

1 相關工作

1.1 細粒度圖像檢索

細粒度圖像檢索是近年來比較活躍的研究方向，其任務為：給定一個數據集，該數據集中的所有圖片屬于同一大類下的若干子類，要求輸入一張待檢索圖片，系統能返回數據集中與其同屬一個子類的若干張圖片。現有方法可以分為兩類：監督方法[6-7]和無監督方法。其中，監督方法中的代表方法是Zheng等人提出的度量學習方法[6]。為了更好地從背景中提取目標主體的部件特征，作者使用了一種弱監督的特征提取方式，通過由上到下的顯著性分割目標輪廓。而無監督方法中的代表就是Wei等人提出的SCDA方法[8]。該方法首先從圖片中定位目標主體，去除背景噪聲并保留關鍵的深度描述子，接著再由這些深度描述子生成特征向量。

1.2 細粒度圖像識別

細粒度圖像檢索是以識別任務為基礎的，因為識別的準確性會直接影響后續分類網絡的性能。現有的細粒度圖像識別算法主要分為以下兩類：(1)帶有定位-分類子網絡的模型[9-10]。如Zhang等人提出了一種學習部件級檢測器的網絡[9]，Wei等人通過分割的方法[10]對關鍵部位進行定位。(2)端到端特征編碼模型[11-12]。這一類方法對監督信息的依賴相對較低，它們一般僅要求提供圖像級別的標注。其中最具代表性的是Lin等人提出的雙線性卷積神經網絡。

上述方法均能取得良好的效果，但它們都忽略了低層的細節信息。因為細粒度圖像具有類間差異小、類內差異大的特點，因此低層的細節信息，如紋理、邊緣等對識別任務是非常關鍵的。因此，受Ding等人AP-CNN[13]的啟發，該文希望把高層的語義信息與低層的細節特征結合在一起。

1.3 深度哈希

深度哈希基于訓練數據學習哈希函數，在還原原始數據空間距離順序的同時生成更短的哈希碼。這種緊湊的特征表示有利于存儲大量樣本并節省檢索時間。依據是否使用標注信息，可以分為無監督方法和監督方法兩類。前者如HashGAN[14]等在學習哈希函數時不需要監督信息，但是容易造成原始數據和哈希編碼之間的語義鴻溝。而后者充分利用監督信息學習哈希函數并生成哈希碼，具有更高的準確性，代表方法如KSH[15]等。

2 模型框架

2.1 網絡基本架構

提出的網絡分為特征提取以及特征編碼兩個階段，如圖1所示。其中特征提取是兩階段的：第一階段為原始特征提取，以原始圖片作為輸入；第二階段為細化特征提取，以第一階段的輸出作為輸入。

圖1 網絡結構

網絡接收到一張圖片后，首先使用骨干網絡生成特征金字塔，其信息流動方向是自上而下的。然后引入注意力機制，得到注意力金字塔，其信息流動方向是自下而上的。以上是網絡的第一階段。使用中間層對原始圖像進行細化，并輸入二階段網絡。網絡第二階段的工作流程與第一階段是相同的，并最終得到兩個注意力金字塔，對它們做連接操作后即可用于后續的特征編碼。

2.2 雙通路金字塔

2.2.1 自上而下的特征金字塔

一般地，原始圖像輸入經過卷積神經網絡的處理會得到具有高層語義信息的特征表示，但這會使低層的許多細節特征被丟失，不利于細粒度圖像的處理。為了能保留這些細節特征，受FPN網絡[16]的啟發，該文設計了一條自上而下的特征通路來提取不同尺度的特征。

原始的輸入圖像在經過若干卷積塊后可以得到若干特征圖，把這些特征圖表示為{B1,B2,…,Bl}，這里l表示卷積塊的數量。很多針對粗粒度圖像處理的方法會直接把最后一塊的輸出Bl用于分類，但該文希望盡量利用好每一個Bi。由于越靠近低層，特征的抽象層次越低，如果要利用每一個卷積塊的輸出，將不可避免帶來巨大的成本開銷，因此選擇其中的后N個輸出并生成對應的特征金字塔。具體如圖2所示。最終得到的特征金字塔為{Fl-N+1,Fl-N+2,…,Fl}。

圖2 特征金字塔

2.2.2 自下而上的注意力通路

得到特征金字塔后，該文設計了一條自底向上的注意力通路，其中包含空間注意力以及通道注意力。空間注意力[17]用于定位輸入圖像在不同尺度上具有辨識度的區域。其形式化描述為：

(1)

式中，σ為sigmoid激活函數，*代表反卷積操作，而K代表卷積核。通道注意力[18]用于加入通道之間的關聯，并同時把低層的細節信息一層一層傳遞給高層。其形式化描述如下：

(2)

圖3 注意力金字塔

(3)

2.3 中間層

2.3.1 ROI金字塔

2.3.2 基于ROI的圖像細化

2.3.3 細化特征提取階段

(4)

并把Foutput用于后續的分類。

2.4 深度哈希

2.4.1 穩定分布與量化損失

受DSHSD[20]的啟發，該文引入了p穩定分布。記輸入圖像從歐幾里德空間到漢明空間上的損失為量化損失，當量化損失較小時，可以認為哈希函數是一個p穩定分布，否則是不穩定的。因此，為了使量化損失盡可能小，選擇tanh(x)作為激活函數，使用‖tanh(xi)-tanh(xj)‖p代替‖xi-xj‖p來保證分布一致性。tanh(x)不僅梯度容易計算，而且對于反向傳播算法來說是友好的：

(5)

于是量化損失可以寫成：

(6)

(7)

(8)

式中，S為相似性標簽的集合，m為閾值參數且m>0，‖·‖2表示L2范數并用于衡量哈希碼之間的距離。

2.4.2 分類損失

除了量化損失以外，為了使哈希碼能保留圖像特征中的分類信息，還引入了分類損失。不同于以前的一些方法，為了不引入額外的變量，該文并沒有對hi施加二值化約束，這也符合奧卡姆剃刀原理。于是分類損失的形式化表示如下：

Lc(Y,H)=L(Y,WTH)

(9)

最后，結合公式6與公式9就可以得到總的損失函數：

L(Y,S,H)=Lc+εLd

(10)

式中，ε是控制量化損失的權重參數。

3 實驗結果與分析

在FGVC-Aircraft以及Stanford Cars兩個標準細粒度數據集上進行了實驗驗證。其中FGVC-Aircraft數據集包含了10 200張飛機的圖片，共有102種不同的機型，其中訓練集有6 667張圖片，測試集有3 333張圖片。Stanford Cars數據集包含了16 185張汽車的圖片，共有196種不同型號的汽車，其中訓練集有8 144張圖片，而測試集有8 041張圖片。該文使用mAP作為度量指標。

3.1 實現細節

該文使用ResNet-50作為骨干網絡，并在ImageNet上進行預訓練。選擇ResNet-50的后3個殘差塊輸出的特征圖建立特征金字塔，沒有選擇conv1和conv2主要是因為它們的抽象層次較低，若參與特征金字塔的構建將帶來較大計算開銷。所有圖片在輸入網絡時大小均會被調整為448×448。該文并沒有使用數據集提供的bounding box標注信息，因為在實際問題中，bounding box的獲取成本較高，過于依賴它會使方法存在較大局限性。

圖4 波音747與布加迪威龍16.4圖片檢索示例

自適應NMS算法中的閾值t1和t2分別設置為0.05和0.9。公式8中的閾值m設置為2k(k為哈希碼位數且k={16,32,64})。公式3中的權重參數α設置為0.5，公式10中的ε設置為0.1。在模型訓練的過程中，該文使用的優化算法為Adam算法，其中學習率設置為10-5，β1設置為0.9，β2設置為0.999。

3.2 對比實驗

文中方法與其他4種State-Of-The-Art方法在2個數據集、3種哈希碼長度下的對比結果如表1所示。從表中可以看出，文中方法無論在16位哈希碼、32位哈希碼以及64位哈希碼中都能達到最高的準確率，這驗證了該方法的準確性。具體地，在FGVC-Aircraft數據集中，文中方法在三種長度哈希碼下的準確率比第二名的DCH分別提升了33.0%、15.9%以及27.8%。在Stanford Cars數據集中，文中方法在三種長度哈希碼下的準確率比DCH分別提升了16.4%、30.8%以及33.9%。這得益于在哈希層中使用了tanh(x)作為激活函數，可以保證哈希變換過程中的分布一致性，使哈希碼可以更好地保留圖像的特征信息。

圖5展示了5種方法在FGVC-Aircraft數據集上的mAP隨哈希碼位數的變化。可以很直觀地觀察到，文中方法在16位、32位以及64位長度的哈希碼上效果都大幅優于其他四種方法，同時，哈希碼長度的改變并不會顯著影響文中方法的準確度。

圖5 mAP隨哈希碼位數的變化

總體上，5種方法的mAP基本會隨著哈希碼位數的增加而增加，這很容易解釋，因為哈希碼的位數越高，它的特征表示能力也越強。但也有例外，如DCH在FGVC-Aircraft數據集中，當哈希碼長度由32位變成64位時，mAP反而從68.4%下降到了64.4%。

圖6展示了5種方法在FGVC-Aircraft數據集上的PR曲線。可以直觀地看出，文中方法的PR曲線所圍成的面積是最大的，這證實了該方法的有效性。

圖6 PR曲線對比

3.3 消融實驗

在特征提取網絡中，該文結合了特征金字塔與注意力金字塔。為了分別驗證它們的作用效果，使用32位哈希碼設計了如下消融實驗。

在表2中，Baseline即ResNet-50，FP表示只使用特征金字塔，FP+AP表示既使用特征金字塔，也使用注意力金字塔。可以看出，特征金字塔能在Baseline的基礎上較大地提升模型準確率，而注意力金字塔能讓準確率有進一步的提升。

表2 不同特征提取網絡下的mAP對比 %

接下來，驗證了中間層中使用到的Dropblock算法以及背景噪聲去除算法的作用效果，消融實驗同樣是基于32位哈希碼設計的。由表3可知，Dropblock算法迫使網絡學習不同區域的特征，從而能較大提升網絡性能。而背景噪聲去除算法作為一種輔助手段，雖然提升效果不如Dropblock算法，但也可以在一定程度上提升網絡性能。

表3 不同特征提取網絡下的mAP對比 %

由表4可以看出，在分類損失與量化損失中，分類損失起主要作用，同時也可以看出使用tanh(x)作為激活函數的巨大優勢。

表4 各哈希方法的對比

4 結束語

細粒度圖像檢索是一個在日常生活中有著廣泛應用、但卻充滿挑戰性的任務。該文提出了一種基于注意力金字塔和監督哈希的深度神經網絡。通過兩階段的特征提取網絡構建雙通路金字塔，把高層語義信息與低層細節特征充分結合，同時引入了一個中間層對圖像進行細化；在哈希編碼階段結合了量化損失與分類損失，并使用tanh(x)代替sign(x)作為激活函數，使學習到的哈希函數達到平穩分布的要求，減少了反向傳播過程中量化損失的偏差，從而使生成的哈希碼更好地與原本圖像的特征進行匹配。為了驗證模型的有效性與準確性，在兩個標準的細粒度數據集上進行了大量實驗。通過在16位、32位以及64位三種長度的哈希碼上與四種SOTA方法進行對比，證實了該模型的有效性，同時通過一系列消融實驗驗證了不同算法組件的作用效果。