面向小樣本學習的雙重度量孿生神經網絡

孫統風 王康 郝徐

摘 要：為了解決孿生神經網絡因使用圖像級特征度量，存在對位置、復雜背景及類內差異比較敏感的問題，提出了一種雙重度量孿生神經網絡（DM-SiameseNet）。具體來說，DM-SiameseNet使用圖像級的特征和局部特征（局部描述符）共同表示每幅圖像，然后根據兩種不同級別的相似度度量學習特征映射，最后使用自適應融合策略，自適應整合兩種不同級別特征表示的度量結果。實驗結果表明，改進后模型的準確率分別提高了5.04%和9.66%，并且在miniImageNet、TieredImageNet、Stanford Dogs、Stanford Cars和CUB-200數據集上高于只使用圖像級的特征表示或者局部描述符表示的度量方法。實驗結果證明所提出的模型不僅考慮了圖像的全局特征，還可以捕獲圖像中更多有效的局部特征信息，提高了模型的泛化能力。

關鍵詞：小樣本學習； 孿生網絡； 雙重度量； 特征提取； 局部描述符

中圖分類號：TP391?? 文獻標志碼：A

文章編號：1001-3695（2023）09-046-2851-05

doi：10.19734/j.issn.1001-3695.2022.11.0807

Dual-metric siamese neural network for few-shot learning

Sun Tongfeng， Wang Kang， Hao Xu

（School of Computer Science & Technology， China University of Mining & Technology， Xuzhou Jiangsu 221116， China）

Abstract：In order to solve the problem that the siamese neural network is sensitive to position， complex background and intra-class differences due to the use of image-level feature metrics， this paper proposed a dual metric siamese neural network（DM-SiameseNet）. DM-SiameseNet used image-level features and local features （local descriptors） to jointly represent each image， then learned feature maps based on two different levels of similarity measures， and finally used an adaptive fusion strategy to adaptively integrate two different measurement results represented by the level feature. Experimental results show that the accuracy of the improved model is increased by 5.04% and 9.66% respectively， and is higher than the measurement methods that only uses image-level feature representation or local descriptor representation on miniImageNet， TieredImageNet， Stanford Dogs， Stanford Cars and CUB-200 datasets. The experimental results prove that the proposed model not only considers the global features of the image， but also captures more effective local feature information in the image， which improves the generalization ability of the model.

Key words：few-shot learning; siamese network; double measures; feature extraction; local descriptors

在大數據時代，隨著科技的發展，依托強大運算能力，深度學習模型已經在圖像、文本、語音等任務中取得了巨大成就，但深度學習模型的成功，離不開大量的訓練數據。然而在現實世界的真實場景中，經常會遇到樣本過少或者獲取成本過高的情況，如何利用少量樣本進行學習，是深度學習模型無法繞開的難題。與此相反，人類只需要通過少量數據就能做到快速學習。受到人類學習特點的啟發［1］，小樣本學習［2，3］的概念被提出，旨在讓機器學習更加靠近人類思維，擁有像人類一樣快速學習的能力。近年來小樣本學習在圖像分類領域提出了許多優秀學習方法，一般來說，可以大致分為基于元學習［4］的和基于度量學習［5］的小樣本學習方法。元學習旨在從大量的先驗任務中學習到元知識，利用以往的先驗知識來指導模型在新任務（即小樣本任務）中更快地學習，在元訓練過程包括基礎學習器和元學習器的兩步優化，當對元學習器優化時，一般還需要微調操作。基于度量學習的小樣本學習方法通過學習樣本與特征之間的映射關系，將樣本映射到特征空間，然后在空間內中使用最近鄰和其他依賴距離或相似性函數方法實現分類。由于簡單有效的特點，基于度量學習的方法在小樣本學習中受到了大量關注，本文提出的模型也屬于此類方法。

孿生神經網絡（SiameseNet）［6］是被提出用于單樣本學習（one-shot learning）的相似性度量模型，在Omniglot數據集上準確度達到了92%，然而經過測試發現，在miniImageNet數據集上5-way 1-shot的準確度只有49.23%。因為相比Omniglot數據集，miniImageNet數據集的目標物體特征更加豐富，背景也更加復雜。因此，使用圖像級特征表示的孿生神經網絡，在度量時很難得到出色的效果。本文提出了一種新的雙重度量孿生神經網絡（DM-SiameseNet），使用圖像級特征和局部描述符共同表示圖像，能充分考慮全局特征和局部特征之間的關系來解決上述問題。本文的主要貢獻有三個：a）不同于傳統的只基于圖像級特征表示或者基于局部描述符表示，本文同時使用圖像級特征和豐富的局部描述符來共同表示每幅圖像；b）使用了一種自適應融合策略來自適應地整合兩種級別圖像表示的度量關系；c）整個框架可以端到端的方式進行訓練，不使用微調和蒸餾等技巧。

1 相關工作

1.1 基于度量的小樣本學習方法

Koch等人在2015年提出了基于度量的小樣本學習方法，采用孿生神經網絡來學習如何區別不同的圖像特征，并遷移到新的類中。Vinyals等人［7］在2016年提出了一種直接將查詢圖像與支持類進行比較的MatchingNets（匹配網絡），同時還提出了在小樣本學習中廣泛使用的episodic訓練策略。Snell等人［8］在2017年提出了ProtoNet（原型網絡），把類中所有樣本的均值向量作為一個原型來表示一個類，然后使用一個特定的距離度量來執行最終的分類。為了避免選擇特定的度量函數，Sung等人［9］在2018年提出了RelationNet（關系網絡），試圖通過深度卷積神經網絡學習度量來衡量圖像之間的相似性。葉萌等人［10］在2021年提出一種特征聚合網絡，嘗試通過該網絡將原始特征向更優的特征空間中進行偏移，最終使得同類樣本之間的特征向量分布更為緊湊，從而提升特征提取的有效性。在2022年，Wang等人［11］提出了一種簡單有效的不可知度量（TSMA）方法，來幫助基于度量的FSL方法取得更好的效果，并可以適用到大多數基于度量的小樣本方法中。Gao等人［12］考慮了淺層特征，提出了多距離度量網絡（MDM-Net），通過一個多輸出嵌入網絡將樣本映射到不同的特征空間。

上述方法都是基于圖像級的特征表示，由于小樣本中每個類別的樣本數不足，所以每個類別的分布無法在圖像級特征的空間中進行可靠的估計。在2019年，Li等人提出了CovaMNet［13］和 DN4［14］模型，實驗結果表明，相比圖像級的特征，豐富的局部特征（即深度局部描述符）可以更好地表示一幅圖像，因為局部特征可以看做是一種自然的數據增強操作。CovaMNet使用提取的深度局部描述符的二階協方差矩陣來表示每個支持類，并設計一個基于協方差的度量來計算查詢圖像和支持類之間的相似性。與CovaMNet不同，DN4 認為將局部特征池化為緊湊的圖像級表示會丟失大量的判別信息。因此，DN4 建議直接使用原始局部描述符集來表示查詢圖像和支持類，然后采用余弦相似度來度量圖像之間的相似度。2021年Huang等人［15］提出了基于局部描述符的LMPNet（多原型網絡），使用局部描述符來表示每幅圖像，為了減少原型在樣本上平均帶來的不確定性，還引入了通道擠壓和空間激勵（SSE）注意力模塊。韋世紅等人［16］提出了一種多級度量網絡的小樣本學習方法，將圖像—圖像的度量與圖像—類的度量進行結合，從多個角度考慮圖像的表達分布以有效挖掘圖像語義信息。

1.2 孿生神經網絡

孿生神經網絡實際是使用同一個嵌入網絡提取圖像的圖像級特征，將圖像映射成向量，使用兩個向量之間絕對差的值，代表了兩幅圖像的相似程度。在訓練時輸入的是一對樣本而不是單個樣本，如果兩個輸入圖像來自同一類，標簽為1，不同的類標簽為0。然后通過交叉熵函數計算損失。測試時將樣本對依次輸入到孿生神經網絡中，得到每對樣本的距離，選取距離最小的測試集標簽作為測試樣本的類別，從而完成分類。

如圖1所示，孿生神經網絡的一對輸入（x1，x2），經過同一卷積神經網絡后，最后一個卷積層中的高維向量被展開為單個向量，接著是一個全連接層。然后根據前一個全連接層的輸出 （h1，h2） 計算誘導距離，最后使用sigmoid激活函數進行預測。孿生神經網絡計算兩幅圖像相似度距離度量的公式為

D（x1，x2）=σ（∑jαjhj1-hj2）（1）

其中：σ代表激活函數，這里使用的是sigmoid; αj是模型在訓練時學習到的參數，用于加權分量距離的重要性。最后一層，在前一層的學習特征空間上引入一個度量，然后經過激活函數得出（x1，x2）全局特征向量的相似度分數。

受CovaMNet和DN4的啟發，本文提出的DM-SiameseNet在SiameseNet上引入局部描述符，使用圖像級特征和豐富的深度局部描述符共同來表示圖像，解決圖像級特征表示的度量存在的問題。

2 問題定義和訓練方法

2.1 問題定義

小樣本學習問題通常涉及支持集（support set）、查詢集（query set）和輔助集（auxiliary set）三個數據集，分別表示為S、Q和A。支持集和查詢集共享相同的標簽空間。如果支持集S包含N個類，每個類包含K個樣本，則這種少樣本分類任務稱為N-way K-shot任務。然而，在支持集S中，每個類通常只包含幾個樣本（例如，K=1或5），用這幾個樣本直接訓練深度神經網絡很容易出現過擬合。因此，通常通過從輔助集A學習可遷移知識來緩解這個問題。集合A的類較多，每個類包含大量的標注樣本，但集合A相對于集合S有一個不相交的類標簽空間。

2.2 Episodic訓練策略

為了訓練一個泛化能力強的分類器，基于度量的小樣本學習方法在訓練階段通常采用episodic訓練策略［7］。具體來說，在每一個episodic中，從輔助集A中隨機構建一個查詢集AQ和一個支持集AS，它們分別類似于S和Q。在每次迭代訓練時，采用一個episodic任務來訓練當前模型。訓練時會構建數萬個episode來訓練分類模型，即episodic training。測試階段，通過支持集S，學習到的模型可以直接用于對Q中的圖像進行分類。

3 雙重度量孿生神經網絡模型

圖2是本文的雙重度量孿生神經網絡模型結構，模型由特征提取模塊、雙重度量模塊和分類器模塊組成。特征提取模塊用于提取輸入圖像的圖像級特征和豐富的局部描述符。

雙重度量模塊定義了查詢圖像（query image）和支持圖像（support image）之間的圖像級特征度量和局部描述符度量。對于最后一個模塊，通過可學習的權重向量自適應地將局部和全局度量關系融合在一起，然后采用非參數最近鄰分類器作為最終分類器。這三個模塊直接以端到端的方式訓練，沒有使用微調、蒸餾和預訓練等技巧。具體來說，對于一對樣本S和Q，首先經過特征提取網絡提取圖像特征，然后在雙重度量模塊分別得到全局特征度量結果和局部特征度量結果，最后經過分類器模塊輸出S和Q之間的相似度得分。

3.1 特征提取模塊

本文的DM-SiameseNet模型使用Conv64F（用Ψ表示）嵌入網絡來學習查詢圖像和支持集的圖像級特征表示和局部特征表示。Conv64F包含四個卷積塊，每個卷積塊由Conv層、BN層、ReLU層和MP層組成，并且最后沒有全連接層，給定一個圖像X，通過嵌入網絡后輸出的Ψ（X）是一個h×w×c維的張量（分別代表高、寬和通道數），用于接下來雙重度量模塊的圖像級特征度量和局部特征度量。

3.2 雙重度量模塊

雙重度量模塊由圖像級特征度量和局部特征度量兩個分支組成，兩個分支使用特征提取模塊輸出的h×w×c維的張量分別度量兩個不同級別的特征。

3.2.1 圖像級特征度量

將嵌入網絡輸出的Ψ（X）（h×w×c的三維張量）進行flatten操作后，得到圖像全局特征，然后用于計算基于圖像級特征表示的度量。對于圖像Q和S的圖像級度量（image-level measure）結果可以表示為

DILM（Q，S）=σ（∑jαjhj1-hj2）（2）

其中：α j是模型在訓練時學習到的參數，用于加權分量距離的重要性；σ代表激活函數，最后得出兩個全局特征向量的相似度分數。和孿生神經網絡的圖像級特征度量唯一不同的是，此處使用的是tanh激活函數而不是sigmoid，因為在下面的局部特征度量中，使用的余弦相似度作為度量函數，度量結果的取值是［-1，1］，當結果越趨向于1時，表示相似程度越高，當結果越趨向于-1時，表示相似程度越低。兩種度量的取值范圍要保持一致，所以此處使用tanh激活函數。

3.2.2 局部特征度量

上面的基于圖像級特征的度量可以捕獲圖像之間的圖像級關系，但沒有考慮到局部關系。根據對Li等人提出的DN4模型的深度分析可知，使用的基于局部描述符的表示比基于圖像級特征的表示具有更強的泛化能力。因此，這種基于局部描述符的圖像到類（image-to-class）的度量也被引入到模型中，以捕獲圖像間的局部特征關系。

具體來說，圖像Q和S，經過特征提取模塊后，得到分別擁有m（m=w×h）個d維局部描述子組合的Ψ（Q）和Ψ（S）。對于Ψ（Q）中的每一個局部描述子xi，在Ψ（S）中找到k個和xi最相似的局部描述子［1，…，k］，然后使用余弦相似度分別計算xi和k個i的余弦相似度，累加得到局部描述符xi的相似度。用同樣方法分別計算Ψ（Q）中m個局部描述符的相似度，最后將m局部描述符的相似度求和后再除（m×k），作為圖像Q和S基于局部描述符度量的相似度。從公式上Q和S的相似度可以表示為

DI2C（Q，S）=∑mi=1∑kj=1cos（xi，ji）m×k，cos（xi，ji）=xTii‖xi‖·‖i‖（4）

其中：cos（·）代表余弦相似度；超參數k在本文中為3，關于k對最終分類結果的影響在4.6節中詳細闡述。

3.3 分類器模塊

雙重度量模塊分別得到了圖像間的全局特征關系和局部特征關系，因此在分類器模塊需要設計融合策略來整合這兩部分關系。本文采用和ADM［17］相同的融合策略，使用可學習的二維權重向量W=［w1，w2］來實現融合，圖像Q和S之間的最終融合相似度可以定義為

D（Q，S）=w1·DILM（Q，S）+w2·DI2C（Q，S）（5）

在N-way K-shot情景訓練中，雙重度量模塊的圖像級特征度量分支（ILM）和局部特征度量分支（I2C）分別輸出一個N維相似度向量。接下來，將這兩個向量連接在一起，得到一個2N維向量，接著使用一個批歸一化層，以平衡兩部分相似性的比例，然后使用一個一維卷積，其中kernel大小為 1×1，dilation值為N。這樣，就通過學習一個二維權重向量W來獲得一個加權的N維相似度向量。最后，執行非參數的最近鄰分類器以獲得最終的分類結果。例如在5-way 1-shot情景訓練中，ILM分支和I2C分支分別輸出一個5維的相似度向量，將兩個向量拼接到一起后得到一個10維的相似度向量，接著使用一個kernel大小為 1×1，dilation值為5的一維卷積，這樣，就可以通過學習2維權重向量W，得到一個加權的5維相似性向量，最后使用非參數的最近鄰分類器進行分類。

4 實驗

在本章中使用miniImageNet和tieredImageNet這兩個小樣本公共數據集，以及Stanford Dogs、Stanford Cars、CUB-200-2010這三個細粒度基準數據集進行了大量的實驗，以評估所提出的DM-SiameseNet模型。源代碼可以從https：//github.com/wangkang1022/DM-SiameseNet上獲取。

4.1 數據集

miniImageNet［7］數據集是ImageNet［18］的一個子集，該數據集包含100個類，每個類有600張圖像。在100個類中選取64個用于訓練、16個用于驗證，剩下20個用于測試集；tiered-ImageNet［19］數據集是ImageNet的另一個子集，包含34個超類別，34個超類共包含608個類。將超類別拆分為20、6、8，然后分別產生351、97、160個類作為訓練集、驗證集和測試集。

本文選取了三個細粒度數據集，即Stanford Dogs、Stanford Cars和CUB-200-2010來進行細粒度的小樣本圖像分類任務。Stanford Dogs包含120種狗，共20 580張圖像，其中70種用做輔助訓練，20種用做驗證集，最后30種用做測試集；Stanford Cars數據集共有196個類別，共16 185幅圖像，其中130個類用做訓練集，17個類用做驗證集， 49個類用做測試集； CUB-200-2010數據集包含200種鳥類，共6 033張圖像，其中130個類用做訓練集，20個類用做驗證集，50個類用做測試集。

4.2 實現細節

本文使用5-way 1-shot和5-way 5-shot 分類任務來評估方法的性能。在訓練和測試階段的每個episodic（任務）中，每個類使用15個查詢圖像。采用episodic 訓練機制，并以端到端的方式訓練網絡，沒有使用預訓練、蒸餾以及微調等技巧。在訓練階段，使用Adam算法對所有模型進行30個epoch 的訓練。在每個epoch中，隨機構造10 000個episodic（任務）。此外，5-way 1-shot和5-way 5-shot初始學習率都設置為1×10-4，每10個epoch按乘0.5速率衰減。測試時隨機構造1 000個episodic來計算準確度，然后重復5次求平均值作為最終實驗的結果。以top-1平均準確率作為評價標準，同時還給出了95%置信區間。

4.3 對比方法

本文方法屬于基于度量學習的小樣本方法，所以主要和基于度量學習的方法進行對比，包括ProtoNet、RelationNet、IMP［20］、CovaMNet、DN4、CAN［21］、LMPNet、Proto-TSMA、SiameseNet。同時還選取了主要的元學習方法，包括MAML［22］、Baseline［23］、Baseline++［23］、TAML［24］、MetaOptNet-R［25］、Versa［26］、R2D2［27］、LEO［28］。同時進一步將基于度量學習方法根據圖像表示方式的不同，分為了基于圖像級特征表示的度量和基于局部描述符表示的度量，來與本文提出的雙重度量進行比較。

4.4 在miniImageNet和tieredImageNet上的分類結果

表1中展示了在miniImageNet和tieredImageNet數據集上各方法的結果，最高和次高結果以粗體顯示。第一列指出了方法的名稱，第二列指出方法采用的嵌入模塊，第三列是方法的類型，第四列顯示在5-way 1-shot和5-way 5-shot上具有 95% 置信區間的分類精度。在對SiameseNet進行復現時，本文采用了episodic 訓練機制進行訓練，這是與Koch等人的原始訓練方法不同的地方。其他方法的復現結果和原始論文保持一致。

本文將所提出的方法與其他小樣本方法做了公平對比，從表1可以看出，在miniImageNet數據集上，本文方法相比改進前的孿生神經網絡（SiameseNet）在5-way 1-shot和5-way 5-shot上的準確度分別提高了5.04%和9.66%。經過分析可知，結果的大幅提高是因為改進后的模型可以捕獲圖像中更多豐富的局部特征信息，在一定程度上彌補了圖像級特征表示在度量時對位置和復雜背景敏感的不足。此外，miniImageNet數據集上，改進后的方法在5-way 1-shot和5-way 5-shot上的準確度均高于其他基于度量和基于元學習的小樣本方法。除本文提出的方法外，在1-shot和5-shot上，結果最好的方法是LEO和DN4，分別為52.15%和71.02%，仍然比本文的DM-SiameseNet低了約2.12%和0.57%。在1-shot分類結果上，本文方法的優勢是非常明顯的。而在tieredImageNet數據集上，本文方法依然可以取得良好的結果，特別是在1-shot情況下。

表2專門給出了不同級別特征表示的度量方法，以及本文提出的雙重度量在miniImageNet數據集上置信區間為95%的結果比較，最高和次高結果以粗體顯示。結果表明，相比于單一使用圖級特征或者局部描述符來表示圖像的小樣本方法， 本文方法可以取得最好的分類效果。因為DM-SiameseNet綜合考慮兩種不同級別的特征，采用圖像級特征和豐富的局部描述符共同表示每一幅圖像，并且使用了自適應融合策略來綜合考慮兩種不同級別的度量關系，可以學習到更好的分類效果。

4.5 在細粒度數據集上的分類結果

為了證明本文方法在考慮圖像全局特征的情況下還能提取豐富的局部特征，本文在Stanford Dogs、Stanford Cars和CUB-200-2010這三個細粒度數據集上進行了大量小樣本分類任務的實驗。表3顯示了不同級別特征表示的度量方法在三個細粒度圖像上的分類結果，其中置信區間為95%，最高和次高結果以粗體顯示，DM-SiameseNet是本文方法。相比通常的圖像分類任務，細粒度圖像分類的難點在于其所屬類別的粒度更加精細，比如“哈士奇”和“愛斯基摩犬”這兩種細粒度類別，只有耳朵形狀及毛發等局部特征上有差別，所以大多數方法嘗試通過捕獲有區別性的局部特征來實現分類。從表3中可以看到，本文方法在三個數據集上均取得了出色的表現，特別是在1-shot情況下，分別比次高方法提高了1.68%、2.22%、2.92%。實驗結果證明，相比單一使用基于圖像級特征表示的度量方法或者基于局部描述符表示的度量方法，本文雙重度量方法應用在細粒度圖像上可以取得更好的效果。因為有區別性的局部特征雖然重要，但全局特征在分類時仍然起一定作用。所以能綜合考慮圖像的全局特征和局部信息的DM-SiameseNet，在細粒度圖像分類上具有一定優勢。

4.6 超參數k對實驗結果的影響

在雙重度量模塊的局部特征度量分支中，本文需要為查詢圖像Q的每個局部描述符在支持集S中通過余弦相似度找到k個最相似的局部描述符，那么k的取值會對最終結果造成怎樣的影響呢？為此，本文通過改變k（1、3、5、7）的值來測試模型在miniImageNet上5-way 1-shot和5-way 5-shot情況下的分類結果，訓練和測試時k值保持一致。分類結果如表4所示。可以看出，k的不同取值在1-shot情況對結果的影響大致在4%以內，在5-shot情況對結果的影響大致在1%以內。對于1-shot情況，當k取2或3的時候結果最優，因為此時支持集中每個類別只有一個樣本，當k取1時，每個局部描述符只能在這一個樣本中匹配一個和其相似的局部描述符，其度泛化能力弱，無法得到理想結果，而當k＞3后，每個局部描述符匹配多個（＞3）和其相似的局部描述符，度量時可能對不同局部特征的敏感度下降，無法很好地區別不同的局部特征；對于5-shot情況，因為支持集中每個類別有5個樣本，分類時一般不會出現泛化能力弱的問題，所以k的取值對結果影響較小。綜合上述原因，本文在實驗中超參數k都設置為3。

5 結束語

在本文中，針對孿生神經網絡圖像級特征表示的度量存在的問題，提出了一種雙重度量孿生神經網絡（DM-SiameseNet）模型來解決孿生神經網絡中存在圖像級特征表示的度量對位置、復雜背景及類內差異比較敏感的問題。實驗結果表明，改進后的模型在考慮了圖像的全局特征下，還可以捕獲圖像中更多有效的局部信息，通過自適應融合策略，能充分考慮雙重度量（基于圖像級特征的度量和基于局部描述符的度量）的關系，從而達到更好的分類效果。通過在Stanford Dogs、Stanford Cars和CUB-200-2010這三個細粒度圖像的實例探究表明，雙重度量比單一使用圖像級特征度量或者局部特征度量更具有優勢。實驗結果表明在1-shot情況下，本文方法在多個數據集上的結果是非常具有競爭性的。而在k-shot（k＞1）情況下，本文方法還需要找到一個更好的特征融合策略來提高分類精度，接下來會更加關注在k-shot（k＞1）下的研究。

參考文獻：

［1］李新葉， 龍慎鵬， 朱婧. 基于深度神經網絡的少樣本學習綜述［J］. 計算機應用研究， 2020，37（8）： 2241-2247. （Li Xinye， Long Shenpeng， Zhu Jing. A survey of few-shot learning based on deep neural networks［J］. Application Research of Computers， 2020， 37（8）： 2241-2247.）

［2］Jankowski N， Duch W， Grbczewski K. Meta-learning in computational intelligence［M］. Berlin：Springer， 2011： 97-115.

［3］Lake B M， Salakhutdinov R R， Tenenbaum J. One-shot learning by inverting a compositional causal process［C］//Proc of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY：Curran Associates Inc.， 2013：2526-2534.

［4］Munkhdalai T， Yu Hong . Meta networks［C］//Proc of the 34th International Conference on Machine Learning. New York： ACM Press， 2017： 2554-2563.

［5］Xing E P， Jordan M I， Russell S， et al. Distance metric learning with application to clustering with side-information［C］//Proc of the 15th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2002： 505-512.

［6］Koch G， Zemel R， Salakhutdinov R. Siamese neural networks for one-shot image recognition［C］//Proc of the 32nd International Conference on Machine Learning Deep Learning. New York： ACM Press， 2015： 6-36.

［7］Vinyals O， Blundell C， Lillicrap T， et al. Matching networks for one shot learning［C］//Advances in Neural Information Processing Systems. Cambridge， MA： MIT Press， 2016： 3637-3645.

［8］Snell J， Swersky K， Zemel R. Prototypical networks for few-shot learning［C］//Advances in Neural Information Processing Systems. Long Beach， USA： NIPS Press， 2017： 4078-4088.

［9］Sung F， Yang Yongxin， Zhang Li， et al. Learning to compare：relation network for few-shot learning［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 1199-1208.

［10］葉萌， 楊娟， 汪榮貴， 等. 基于特征聚合網絡的小樣本學習方法［J］. 計算機工程， 2021， 47（3）： 77-82. （Ye Meng， Yang Juan， Wang Ronggui， et al. Few-shot learning method based on feature aggregation network［J］. Computer Engineering， 2021，47（3）：77-82.）

［11］Wang Heng， Li Yong. Task-specific method-agnostic metric for few-shot learning［J］. Neural Computing and Applications， 2023，35（4）： 3115-3124.

［12］Gao Farong， Cai Lijie， Yang Zhangyi， et al. Multi-distance metric network for few-shot learning［J］. International Journal of Machine Learning and Cybernetics， 2022，13（9）： 2495-2506.

［13］Li Wenbin， Xu Jinglin， Huo Jing， et al. Distribution consistency based covariance metric networks for few-shot learning［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence and the 31st Innovative Applications of Artificial Intelligence Conference and the 9th AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto， CA： AAAI Press，2019： 8642-8649.

［14］Li Wenbin， Wang Lei， Xu Jinglin， et al. Revisiting local descriptor based image-to-class measure for few-shot learning［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 7253-7260.

［15］Huang Hongwei， Wu Zhangkai， Li Wenbin， et al. Local descriptor-based multi-prototype network for few-shot learning［J］. Pattern Recognition， 2021，116： 107935.

［16］韋世紅， 劉紅梅， 唐宏， 等. 多級度量網絡的小樣本學習［J］. 計算機工程與應用， 2023，59（2）： 94-101. （Wei Shihong， Liu Hongmei， Tang Hong， et al. Multilevel metric networks for few-shot learning［J］. Computer Engineering and Applications， 2023， 59（2）： 94-101.）

［17］Li Wenbin， Wang Lei， Huo Jing， et al. Asymmetric distribution measure for few-shot learning［EB/OL］. （2020-02-01） . https：//arxiv.org/abs/2002.00153.

［18］Deng Jia， Dong Wei， Socher R， et al. ImageNet： a large-scale hierarchical image database［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2009： 248-255

［19］Zheng Yan， Wang Ronggui， Yang Juan， et al. Principal characteristic networks for few-shot learning［J］. Journal of Visual Communication and Image Representation， 2019，59： 563-573.

［20］Allen K， Shelhamer E， Shin H， et al. Infinite mixture prototypes for few-shot learning［C］//Proc of International Conference on Machine Learning. New York： ACM Press， 2019： 232-241.

［21］Hou Ruibing， Chang Hong， Ma Bingpeng， et al. Cross attention network for few-shot classification［C］//Advances in Neural Information Processing Systems. Cambridge， MA： MIT Press， 2019： 4005-4016.

［22］Finn C， Abbeel P， Levine S. Model-agnostic meta-learning for fast adaptation of deep networks［C］//Proc of International Conference on Machine Learning. New York： ACM Press， 2017： 1126-1135.

［23］Chen Weiyu， Liu Yencheng， Kira Z， et al. A closer look at few-shot classification［EB/OL］. （2021-03-21） . https：//arxiv.org/abs/1904.04232.

［24］Jamal M A， Qi Guojun. Task agnostic meta-learning for few-shot learning［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ ： IEEE Press， 2019： 10657-10665.

［25］Lee K， Maji S， Ravichandran A， et al. Meta-learning with differentiable convex optimization［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press， 2019： 10657-10665.

［26］Gordon J， Bronskill J， Bauer M， et al. Versa：versatile and efficient few-shot learning［C］//Advances in Neural Information Processing Systems. 2018： 1-9.

［27］Bertinetto L， Henriques J F， Torr P H S， et al. Meta-learning with differentiable closed-form solvers［EB/OL］. （2019-07-24） . https：//arxiv.org/abs/1805.08136.

［28］Rusu A A， Rao D， Sygnowski J， et al. Meta-learning with latent embedding optimization［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press， 2019.

收稿日期：2022-11-28；修回日期：2023-01-07? 基金項目：國家自然科學基金資助項目（61976217）

作者簡介：孫統風（1976-），男，江蘇徐州人，副教授，碩導，博士，主要研究方向為機器學習、小樣本學習、圖像視頻感知；王康（1994-），男（通信作者），安徽宿州人，碩士研究生，主要研究方向為深度學習、小樣本學習（8978932003@qq.com）；郝徐（1997-），男，江蘇徐州人，碩士研究生，主要研究方向為目標檢測．