基于注意力機制和圖卷積的小樣本分類網絡

王曉茹，張 珩

1.北京郵電大學 計算機學院，北京 100876

2.北京市網絡系統(tǒng)與網絡文化重點實驗室，北京 100876

在過去的幾年，利用深度神經網絡，在很多圖像識別數據集上的準確率已經取得了很大地提高。這些模型[1-4]往往都基于卷積神經網絡，而且需要大量有標簽的數據來訓練。為了提高識別的準確率，網絡向著更深和更復雜的方向發(fā)展，這無疑增加了網絡參數，同時需要更多有標簽的數據來訓練。另一方面，基于傳統(tǒng)深度神經網絡的圖像識別算法訓練的模型往往只能識別訓練數據中出現的類別，進一步限制了算法的應用和發(fā)展。不同于機器，人類通過幾次甚至一次觀察就能夠識別圖像的特征，當再次看到相同類別的圖像時就能夠準確地識別出來。希望機器也能夠擁有這樣的能力，所以在機器學習的領域中，一個新的方向逐漸受到大家的關注——小樣本學習[5-6]。

小樣本學習的目的是通過少數幾張甚至一張有標簽圖像學習圖像的類別信息。可以通過對傳統(tǒng)的神經網絡進行精細的調參來解決小樣本學習問題。但是由于有標簽的訓練數據不足，很容易導致網絡出現過擬合的現象。盡管能夠通過數據增強和正則化的技巧減輕過擬合現象，但是并不能從根本上解決這個問題。

通過元學習[7]能夠很好地解決小樣本學習問題，目前已經有很多基于元學習思想的模型被提出。在元學習的訓練階段，會將訓練集分為一個個元任務，然后用這一個個元任務去訓練網絡，即是指導網絡如何去解決一個個元任務，而不是訓練網絡識別所有類別的圖像。這樣，在測試的時候，即使測試數據集中有新的類別的圖像，網絡仍然有足夠的泛化能力識別出圖像的類別。基于元學習思想的小樣本學習算法主要包括基于度量的算法[8-14]、基于數據增強的算法[15-17]和基于模型優(yōu)化的算法[18-21]。其中基于度量的算法被認為是一種最簡單而有效的方法。

基于度量的小樣本學習算法一般包含兩步：（1）通過一個特征提取器提取支撐集圖像和查詢集圖像的特征。（2）在一個統(tǒng)一的空間中比較特征的距離或者相似度，從而得到圖像所屬的類別。盡管有很多基于度量的小樣本學習算法被提出來，但是這些算法仍然很難達到很高的準確率。認為現有的基于度量的小樣本學習算法主要有兩個方面的不足：（1）特征提取網絡不能關注那些對分類起決定性作用的特征。（2）簡單的將圖像映射到同一個特征空間進行比較，不能充分利用支撐集中不同類別圖像之間特征的差異。

基于上面的分析，主要關注兩個方面的問題：（1）如何更好地提取特征來指導后面的分類？（2）如何充分利用提取的特征以及特征之間的關系？因此，提出了基于注意力機制和圖卷積網絡的小樣本目標識別算法。這篇文章的主要貢獻有：

（1）提出了添加了空間和通道注意力機制的特征提取網絡，使得特征提取網絡能夠更好提取對分類有幫助的特征。

（2）提出了基于圖卷積網絡的關系網絡，能夠在比較特征相似度的同時利用不同類別圖像特征之間的關系，從而提高分類的準確率。

（3）在Omniglot數據集和miniImageNet數據集上進行了大量的實驗，相較于其他的基于度量的小樣本學習算法，本文模型達到了更高的準確率。

1 相關工作

在這部分，將主要介紹基于度量的小樣本學習算法、注意力機制以及圖卷積網絡。

1.1 小樣本學習

小樣本或者單樣本分類任務是一個很有應用前景的研究方向。傳統(tǒng)的深度學習方法并不能很好的解決小樣本學習問題。最近，使用深度神經網絡的方法已經取得很好的效果。但是與傳統(tǒng)的分類任務相比，小樣本分類任務在分類的準確率上還遠遠達不到同樣的水平。

已經有很多研究表明使用元學習的方法能夠很好的解決小樣本分類任務，其中基于度量的小樣本學習方法是一種簡單而又有效的方式。雙生網絡[8（]Siamese Network）是一種通過共享網絡權值實現的網絡。雙生網絡有兩個輸入，通過兩個共享權重的神經網絡將輸入映射到新的空間，從而可以在這個新的空間計算兩個樣本的相似程度，最終達到分類的目的。匹配網絡[9]（Matching Network）先使用一個卷積神經網絡獲得支持集和測試集的淺層表示，然后將它們放入一個雙向LSTM 網絡，最后通過計算輸出特征的余弦相似度來表示查詢集圖像與支撐集圖像的相似度。不需要對一個訓練好的匹配網絡做任何改變，網絡就能夠識別訓練過程中沒有遇見的類別。原型網絡[11（]Prototypical Network）是將輸入圖像映射到一個潛在空間。其中，一個類別的原形是對支撐集中的所有相同類別圖像的向量化樣例數據取均值得到的。然后再通過計算查詢集圖像的向量化值與類別原型之間的歐氏距離就能得到查詢集圖像的類別。即原型網絡認為在映射后的空間中距離越近的樣例屬于同一類別的可能性越大。前面的提到的雙生網絡和原型網絡都是通過一個神經網絡得到樣例的向量化表示，然后計算向量化表示之間的相似度或者距離來判斷樣例是不是同一類別。而關系網絡[12（]Relation Network）則是通過一個神經網絡來計算不同樣例之間的距離。

1.2 注意力機制

注意力機制[22]最初在機器翻譯中被使用。隨后，注意力機制開始在計算機視覺任務中被使用。注意力機制和人類的視覺機制相似，由于人眼看到的圖像往往包含了大量的信息，但是大腦處理圖像的時候往往只會關注某些重要的部分，忽略那些不重要的信息，這樣能夠加快大腦處理圖像信息的速度。所以在計算機視覺中使用注意力機制可以讓神經網絡關注與任務相關的信息。注意力機制可以簡單的理解為對某個時刻的輸出y，在輸入x上各部分施加不同的注意力的一種機制，而這里注意力就是權重。注意力機制可以分為軟注意力機制和強注意力機制[23]。軟注意力是可學習的，通常可以嵌入模型中直接訓練，而強注意力是一個隨機預測的過程。目前，神經網絡中使用較多的是軟注意力機制。

1.3 圖卷積網絡

在過去的幾年中，神經網絡的興起與應用成功推動了模式識別和數據挖掘的研究。很多曾經機器并不能很好的解決的問題，現在已經能通過各種各樣的深度學習模型解決了。但是傳統(tǒng)的深度學習方法只能夠被應用到提取歐式空間數據的特征上，許多從非歐式空間產生的數據，傳統(tǒng)深度學習在上面的表現卻仍不盡如人意。因而人們開始設計能夠處理非歐式結構數據的神經網絡，即圖神經網絡。在傳統(tǒng)深度學習中，數據樣本之間往往被認為是獨立的，但是在圖神經網絡中，每個樣本結點都會通過邊與其他數據樣本建立聯系，這些信息能夠用來捕獲不同實例之間的相互依賴關系。圖神經網絡包含了很多類別[24]，在這篇論文中，使用了圖卷積網絡[25-26]，圖卷積網絡是對圖結構的數據進行操作的卷積神經網絡。

2 模型和方法

在這部分，首先將定義小樣本學習中的專業(yè)術語和相關的符號，然后介紹使用的數據集，最后將提出基于注意力機制和圖卷積網絡的小樣本目標識別算法，并且介紹模型設計的細節(jié)。

2.1 問題描述

對于人來說，初識一個新的物品，人類可以通過探索很快地了解并熟悉它，而這種學習能力，是目前機器所沒有的。如果機器也能擁有這種學習能力，面對樣本量較少的問題時，便可以快速地學習，這便是元學習。已經有很多研究發(fā)現，通過元學習可以很好的解決小樣本分類問題。

基于元學習的小樣本分類方法將分類任務分為一個一個的元任務。通常，元學習將訓練集分為訓練任務集和測試任務集。在訓練的過程中，隨機的從訓練集中抽取C×K個樣本作為支撐集（support set），其中C表示類別數，K表示每一類的圖像數。然后再從訓練集中剩下的類別為C中某一類的圖像中抽取一定數量的圖像作為查詢集（query set），即那個由查詢集和支撐集圖像構成的一組數據成為一個episode。小樣本分類任務的目是要得到查詢集中的圖像分別屬于C類中的哪一類。當每次抽取的類別數為C，每類圖像的數量為K時，把這樣的任務稱為C-way K-shot問題。式（1）和式（2）給出了支撐集和查詢集的定義。

其中S表示支撐集，xi和yi表示支撐集中的第i張圖像以及其對應的標簽。

其中Q表示查詢集，N表示查詢集中的圖像數量，xi和yi分別表示查詢集中的第i張圖像以及其對應的標簽。特別的，當支撐集中每類圖像的數量K=1 時，稱這類任務為單樣本學習；當K>1 時，稱為小樣本學習。

2.2 模型簡介

本文提出了一種基于注意力機制和圖卷積網絡的端到端的模型來解決小樣本分類問題。模型的框架如圖1所示。

從圖1 可以看到，本文模型包含兩個網絡：基于注意力機制的特征提取網絡（FN）和基于圖卷積網絡的關系網絡（RN）。特征提取網絡用于提取輸入圖像的高維特征表示，而關系網絡根則根據兩張圖像的特征表示判斷兩張圖像是不是同一類，從而得到查詢集圖像的所屬的類別。

圖1 網絡結構Fig.1 Network architecture

以5-way1-shot問題為例，從數據集中隨機抽取5 張類別不同的圖像{x1,x2,x3,x4,x5}組成支撐集，然后從數據集剩余的類別與支撐集類別相同的圖像中隨機抽取一張圖像作為查詢集。這里目標是判斷圖像xˉ和支撐集{x1,x2,x3,x4,x5}中哪一張圖像屬于同一類別。

首先，將所有圖像都輸入到特征提取網絡，得到每張圖像的特征然后，將支撐集圖像特征和查詢集圖像特征拼接在一起，得到其中C(·,·) 是特征的拼接操作。將拼接后的特征送入關系網絡，最后關系網絡的輸出一個5 維的向量，表示兩個特征對應圖像屬于同一類別的概率。

2.3 模型細節(jié)

2.3.1 特征提取網絡

特征提取網絡使用了一個包含四層卷積的CNN網絡。為了更好地提取任務相關的特征，在特征提取網絡中添加了注意力模塊。比較了一些注意力模塊，如Nonlocal[27]等，但是Non-local 的計算量較大，而且特征提取網絡的深度很小，所以選擇了即插即用的卷積注意力模塊[28（]Convolutional Block Attention Module，CBAM）。CBAM 包含了兩個維度的注意力——空間注意力和通道注意力。

特征的每一個通道都表示一個專門的檢測器，可以認為每一個通道代表著一種不同的特征。因此使用通道注意力可以使得網絡知道關注什么特征針對目前的任務是有意義的。如圖2（a）所示，先在每一個通道的特征圖上進行全局平均池化和全局最大池化，得到兩個1×1×C的通道描述。然后將這兩個通道描述送入一個多層感知機中，這個多層感知機由兩個共享權重的全連接層組成，即將全局平均池化和全局最大池化的結果都通過這個全連接層得到相應的輸出，這兩層全連接層的神經元個數分別為和C，在實驗中，取r=2。然后將輸出的特征經過逐元素相加后經過Sigmoid激活函數得到最終的通道注意力。最后，將得到的通道注意力與原來的特征圖相乘。

而空間注意力能夠關注哪里來的特征是有意義的。如圖2（b）所示，與通道注意力相似，在通道維度上進行最大池化和平局池化，得到兩個H×W×1 的空間描述。然后，將這兩個特征在通道維度拼接，經過一個卷積層后得到空間注意力。最后將經過了通道注意力的特征圖與空間注意力相乘，最終得到了經過調整的特征圖。

圖2 卷積注意力模塊Fig.2 Convolutional block attention module

2.3.2 基于圖卷積的關系網絡

關系網絡的目的是比較支撐集圖像特征和查詢集圖像特征，從而得到查詢集圖像屬于支撐集圖像類別中的哪一類。基于傳統(tǒng)神經網絡的關系網絡僅僅將查詢集圖像特征和一類支撐集圖像特作為輸入，所以不能充分利用支撐集中不同類別圖像之間的差別和相似性作出更準確的判斷。所以，針對小樣本學習的訓練特點，將不同的圖像特征抽象成圖卷積中的節(jié)點特征，同時將節(jié)點的距離作為邊的權重。這樣關系網絡就能夠利用圖卷積里面的消息傳遞的特性獲得整個支撐集的信息，從而作出更準確的判斷。

在前面的特征提取網路中，得到了支撐集圖像特征和查詢集圖像特征，并把它們拼接在一起得到了在特征提取網絡中，在C-way Kshot，K>0 的時候，將同一類別圖像特征的平均值作為該類的特征，即拼接后特征先經過一個全連接層，得到融合后的特征。然后，將這些特征作為圖的結點，支撐集圖像的特征之間的距離作為邊的權重，組成一個完全圖。距離的計算方式如下：

這個完全圖經過圖卷積網絡后，每個節(jié)點輸出一個特征。將輸出的特征經過Softmax激活函數得到查詢集圖像屬于每一類的概率。

2.3.3 損失函數

在模型的訓練過程中，使用了交叉熵損失函數，即：

φ、θ分別為特征提取網絡和關系網絡的參數，ri,j表示第i組數據中查詢集圖像與第j張支撐集圖像為同一類的概率。

3 實驗

在這部分，將介紹實驗環(huán)境設置和使用的數據集，然后將介紹網絡的具體結構。最后，進行了大量的實驗，驗證了本文模型在小樣本分類問題中能夠取得的效果。同時，進行了消融實驗驗證模型中相關模塊的有效性。

3.1 數據集

在Omniglot 數據集和miniImageNet 數據集上進行了實驗。Omniglot數據集包含來自50個不同字母表的1 623 個不同手寫字符，每個字符包含20 張28×28 圖片。使用了與文獻[9，11-12]類似的處理方式，將圖像分別旋轉90°、180°和270°作為新的類別。然后將1 200個字符以及它們旋轉之后的字符作為訓練集，剩下的423個字符以及它們旋轉之后的字符作為測試集。與文獻[9-12，18]類似，在Omniglot 數據集上進行了20-way1-shot和20-way5-shot的實驗。

miniImageNet 數據集是ImageNet 數據集的子集。miniImageNet 數據集包含了100 類圖像，每一類由600張圖像組成，將圖像統(tǒng)一處理成84×84 的大小。和文獻[12]中一樣，將100 類中的64 類作為訓練集，16 類作為驗證集，20 類作為測試集。與文獻[9-12，18]類似，在miniImageNet 數據集上進行了5-way1-shot和5-way5-shot的實驗。兩個數據集的實驗設置如表1所示。

表1 在Omniglot和miniImageNet數據集上的試驗設置Table 1 Experiment settings on Omniglot and miniimageNet dataset

3.2 模型具體實現

本文的模型一共包含了兩個部分：特征提取網絡和基于圖卷積的關系網絡。

特征提取網絡由4個卷積層組成，在特征提取網絡里面使用的通道注意力和空間注意力。特征提取網絡的具體結構如圖3。在每一個卷積操作之后添加了一個注意力模塊。

圖3 特征提取網絡的結構Fig.3 Architecture of feature extraction network

在關系網絡中，首先將查詢集圖像特征和支撐集圖像特征經過一個全連接層進行融合，然后將融合后的特征作為圖的結點特征，由這些結點構成一個完全圖，然后將這個完全圖進行3 層圖卷積，最后輸出一個5 維的向量，經過Softmax 后得到查詢集圖像屬于每一類的概率。特征提取網絡結構如圖4所示。

圖4 關系網絡的結構Fig.4 Architecture of relation network

3.3 實驗結果和分析

3.3.1 對比實驗

將本文模型與多個小樣本分類模型進行了比較，實驗結果見表2和表3。

表2 在Omniglot數據集上的效果Table 2 Results on Omniglot dataset %

表3 在miniImageNet數據集上的效果Table 3 Results on miniImageNet dataset %

從實驗數據可以看到，在兩個基準數據集上面，本文模型都取得超過基準模型的效果，雖然在5-way5-shot任務中的準確率不及原型網絡，但是已經達到了相近的水平。在特征提取網絡中添加了注意力機制，使得特征提取網絡能夠關注那些對分類更有幫助的特征。同時，基于圖卷積的關系網絡改進了傳統(tǒng)關系網絡不能利用支撐集圖像特征之間關系的問題，使得關系網絡不僅能夠比較支撐集圖像特征和查詢集圖像特征，而且能夠利用圖卷積的信息傳遞得到支撐集中其他圖像的相關信息。因此，本文模型能夠取得比基準模型更高的準確率。

3.3.2 消融實驗

為了能夠分析清楚網絡中各個部分的影響，使用控制變量法對模型進行了消融實驗，分別驗證了注意力機制和圖卷積的有效性。消融實驗的結果見表4。

表4 在miniImageNet數據集上的消融實驗Table 4 Ablation experiment on miniImageNet dataset %

如表4所示，進行了3組實驗：（A）只在特征提取網中使用注意力機制；（B）只在關系網絡中使用圖卷積；（A+B）同時使用注意力機制和圖卷積。從實驗結果可以看出針對關系網絡提出的兩個改進點都能提高分類的準確率。在與原型網絡對比中可以看到，雖然單獨的使用注意模塊和圖卷積并不能獲得更好的效果，但是，注意力模塊和圖卷積的組合卻能夠明顯提高分類的準確率。使用注意模塊CBAM能夠加強網絡對關鍵特征的提取。通過調整不同特征的權重，CBAM能夠使得特征提取網絡提取到對分類更有效的特征。但是由于特征提取網絡并不復雜，只能在空間和通道維度上調整不同特征的權重，所以使用CBAM 對最終結果的提升效果不及使用圖卷積的效果。使用圖卷積不僅能夠讓關系網絡使用當前圖像和查詢集圖像特征，而且能夠讓關系網絡綜合支撐集中各個圖像特征之間的差異，利用這些差異，關系網絡能夠做出更準確的判斷。同時，發(fā)現兩種方式一起能夠明顯提高傳統(tǒng)關系網絡分類的準確率。

4 結束語

本文提出了基于注意力機制和圖卷積的解決小樣本分類問題的網絡。本文模型主要由特征提取網絡和關系網絡組成。在特征提取網絡中，使用了通道和空間注意力來指導神經網絡提取更重要的特征。在關系網絡中，使用了圖卷積讓網絡在比較查詢集圖像特征和對應的支撐集圖像特征的同時利用圖卷積的消息傳遞獲取支撐集中其他圖像的特征信息。對比實驗表明，在Omnislot 數據集和miniImageNet 數據集上均取得了比基準模型更好的效果。消融實驗結果說明，注意力模塊和圖卷積的使用確實提高了模型分類的準確率。