基于特征聚合網絡的小樣本學習方法

葉 萌，楊 娟，汪榮貴，薛麗霞，李 懂

（合肥工業大學計算機與信息學院，合肥 230601）

0 概述

自深度學習［1］技術被提出以來，增加神經網絡模型深度［2-3］從而使得模型具有更強的學習能力成為人工智能領域的熱點研究［4-6］，但在構建大容量模型時需要使用海量的訓練樣本，因此在樣本獲取、標注等工作上耗費大量的人工成本。小樣本學習［7］研究的主要目的在于賦予深度學習模型從少量新事物中快速學習抽象概念的能力，并在遇見同類事物時能夠快速對比重要信息從而做出正確判斷。具體而言，小樣本學習任務的目標是在少量待測試類別樣本參與模型訓練的情況下構建性能優異的分類器。針對小樣本學習問題，基于距離度量的小樣本學習方法易于實現，并且效果顯著，目前已成為小樣本學習領域的一個重要研究方向。此外，基于遷移學習的小樣本學習方法、基于數據增強的小樣本學習方法和基于元學習的小樣本學習方法也是小樣本學習領域的常用方法。

基于遷移學習的小樣本學習方法利用訓練樣本對模型進行預訓練，并運用有限的測試集樣本對模型參數進行調整從而完成從源域到目標域的遷移。文獻［8］利用內積度量的邊際Fisher 準則對源域進行特征映射，并對源域中的樣本點進行篩選，在核化空間上學習目標域與源域特征的非線性映射，最終在目標域中構建小樣本分類器，該方法取得了一定的實際應用效果。此類學習方法與快速學習的流程一致，都是在經驗信息的基礎上通過學習獲得對指定類別的泛化判別能力，但實際實驗結果證明，深度學習模型在遷移過程中極易遺忘過往的經驗信息，在進行參數遷移時往往會出現嚴重的過擬合現象，因此直接使用遷移學習方法難以有效解決小樣本學習問題。基于數據增強的小樣本學習方法則從樣本量角度出發，生成虛擬樣本或借取真實樣本對訓練樣本集進行擴充。文獻［9］從未標注的樣本集中借取樣本從而實現數據增強。文獻［10］通過帶有注意力機制的生成對抗網絡（GAN）生成一些虛擬樣本實現了數據增強。雖然這些方法對模型的最終性能有著積極影響，但仍然存在不可忽視的缺陷，虛擬樣本或借取的真實樣本分布與訓練樣本集的分布總存在一定差異，難以保證數據增強的有效性。相較于遷移學習方法和數據增強方法，元學習方法試圖根據現有數據學習更高級的問題解決策略。文獻［11］提出直接使用梯度優化算法訓練小樣本學習模型往往難以獲得最優的模型參數，但長短時記憶（LSTM）網絡［12］的計算形式與梯度優化算法的計算形式類似，因此可將LSTM 模型作為元學習器，并代替優化算法參與模型訓練過程。文獻［13］認為構建一個具有較強泛化能力的模型，本質上是在尋找一個可以應用于許多任務的特征空間，基于這一思想所提出的模型無關元學習方法，可以通過少量樣本完成對其參數的有效更新，從而保證該方法的強大泛化性能。上述方法均說明了元學習方法的有效性，但同時也說明此類方法的模型結構或計算方法往往較為復雜。

基于距離度量的小樣本學習方法多在特征空間中分析樣本之間的分布規律，根據同類樣本所對應的特征向量分布相近、不同類別樣本的特征向量分布較遠這一簡單假設完成對樣本類別的判定。此類方法簡單易行，且所使用的分類模型為無參數模型，因此距離度量方法能夠快速應用于新的樣本類別判斷過程。目前，基于距離度量的小樣本學習研究成果顯著，文獻［14］提出一種具有兩路對稱結構的網絡模型，該網絡共享上下兩路權值，分別完成對帶標注樣本和無標簽樣本從樣本空間到同一嵌入空間的映射，在求得特征向量后便可通過距離度量方式確定未標注樣本，最后使用正則化的交叉熵損失函數完成對模型參數的訓練。文獻［15］提出的匹配網絡模型在求解特征空間過程中加入了注意力機制，并給出episode 訓練策略來統一模型訓練過程和測試過程，即在訓練和測試過程中模型都根據帶有標簽的樣本對未標注樣本類別進行預測，相似的訓練和測試流程使得該方法具備一定的泛化能力。文獻［16］則認為特征空間中的每一類樣本都應存在一個原型表示，而在合適的特征空間中同類樣本應分布于該類別的原型附近，基于這一思想所構建的原型網絡直接使用帶標簽樣本特征向量的均值向量作為真實原型的近似，并通過比較待測試樣本特征向量與各近似原型之間的距離完成分類。

由于基于距離度量的小樣本學習方法均在特征空間中對樣本特征分布關系進行分析，因此特征空間的質量與模型最終效果關聯密切。為減小樣本特征之間的類內距離，降低對樣本類別預測的難度，本文構建一種具有雙路結構的特征聚合網絡，并提出一種綜合損失函數。結合綜合損失函數，具有雙路網絡結構的特征聚合網絡可將樣本映射到同類樣本特征更為聚集的特征空間中，以提升樣本類別的分類效果。

1 問題描述與訓練方法

本文方法采用episode 訓練策略［15］構建模型從而解決上述小樣本分類問題。對于k-wayn-shot 學習任務，在每一輪訓練過程中首先從Cbase中隨機選定t個類別，再從每個選中類別中分別隨機選擇n個樣本對組成支持集{i=|1，2，…，t×n} }，并從每個選中類別中分別隨機選擇m個樣本對組成查詢集{i=|1，2，…，t×m} }。在支持集的樣本輸入模型中，經過前向計算可得出模型對樣本類別的預測值，對比樣本的真實標簽與樣本類別的預測值即可確定損失函數的具體取值。為使得損失函數取得最小值，本文選擇Adam 優化算法［17］對模型進行優化。具體來說，每次通過前向計算確定損失函數的具體取值后，可結合Adam 優化算法完成一次模型參數更新，重復這一過程直至滿足特定條件即可求得最終模型在測試階段首先使用與訓練階段相同的方式 抽取支持集1，2，…，k×n}和查詢集m}，然后通過最終模型對支持集中的樣本進行計算確定類別表示，并根據該組類表示對查詢集中的樣本類別進行判別。在確定了支持集和查詢集后，首先將支持集中的樣本輸入特征聚合網絡從而獲得樣本對應的特征向量，然后計算各類樣本的均值向量并將其作為各個類別的類表示向量。在確定類表示后，將查詢集中的樣本輸入特征聚合網絡獲得對應的特征向量，并逐一比較各查詢集樣本特征向量與各類表示向量之間的歐式距離從而對樣本進行分類。最后通過對比分類結果與樣本真實標簽之間的差異，確定損失函數取值并利用反向傳播算法完成參數更新。

2 特征聚合網絡

基于距離度量的小樣本學習方法［15-16］采用四層卷積塊結構網絡進行特征提取，但由于此類特征提取器結構較為簡單，在面對miniImageNet、Cifar-100等復雜數據集時，該模型往往難以尋找到合適的非線性映射方式，因此采用此類特征提取器的方法在實際應用中難以取得理想效果。從度量學習角度出發，在一個好的特征空間中同類樣本之間的距離應該較小，而不同類別樣本之間距離應該較大，基于這一簡單原理，本文嘗試構建特征聚合網絡用于特征提取。特征聚合網絡由上下兩個網絡通路組成，其中一路用于學習樣本的特征表示，另一路則用于擬合樣本與當前類表示之間的偏差，該網絡最終輸出的特征向量為樣本的特征向量與偏差向量之差。

考慮到小樣本學習問題中數據分布的復雜性，為更好地通過學習獲得較好的特征分布，特征聚合網絡中的特征提取通路應當具有強大的非線性映射能力。實驗結果證明，層數越深、參數越多的網絡模型通常具有更強的非線性映射能力［1］，文獻［5］提出的深度殘差網絡在實際任務中表現出了其強大的擬合能力，因此，本文沿用了resnet18 的主體結構作為特征聚合網絡中的特征提取通路，但依次將每兩個殘差塊中的卷積核數目調整為16、32、64、256，并使用核大小的4×4 步長為1 的平均池化方式代替全連接層之前的全局平均池化方式，從而保留更多的信息以供后續計算，全連接層節點數目設置為1 600，即特征提取通路的最終輸出為1 600 維的特征向量。相比于特征提取通路而言，偏差擬合通路的任務難度較為簡單，因此此處采用四層卷積塊結構網絡作為偏差擬合通路。具體來說，對于單個卷積塊，其中第一層為卷積層，卷積核大小為3×3，卷積步長為1，進行一圈0 填充（padding=1）；卷積層輸出的特征圖經過ReLU 激活后再進行步長為2 的最大值池化，得到該卷積塊的最終輸出。本文的偏差擬合通路由4 個卷積塊堆疊而成，4 個卷積塊中的卷積核數目分別設置為16、16、16、64。此處將最終所得到的64×5×5 大小的特征圖直接展開以獲得1600 維的偏差擬合向量。使用特征聚合網絡作為特征提取器時的整體模型結構如圖1 所示。特征聚合網絡由兩路結構組成，圖1 中的上半部分網絡結構為特征提取通路，用于學習樣本分布，下半部分網絡結構為偏差擬合通路，用于學習樣本特征到更優特征空間的偏差分布。結合上下兩個通路所學得的信息可將樣本的特征向量向當前類表示向量進行偏移，從而得到類內距離更小、類間距離更大的樣本特征分布，最后逐一對比查詢樣本與類表示之間的歐式距離完成分類。

圖1 本文整體模型結構Fig.1 Whole model structure of this paper

為使得同類樣本的特征向量分布更加緊湊，需將特征向量向對應類別的原型估計進行定向偏移，此處使用偏差擬合通路Fbias估計支持集中任意圖像樣本與其對應的類別原型之間的偏差，對于圖像樣本，其偏差向量估計為：

大部分鄉村百姓曾對民間傳統節日非常重視，如中秋節、春節、元宵節等，鄉民會聚在一起祭祖、設宴、載歌載舞、歡聲笑語，將傳統節日舉辦的紅紅火火，彰顯了鄉村欣欣向榮的氣息。然而，當今大多數鄉村群眾不再注重這些“老氣息”，轉而追求洋文化，大張旗鼓地慶祝西洋節日，如情人節、圣誕節、萬圣節等。久而久之，傳統節日失去了往日的地位，人們普遍對傳統文化持輕視冷漠的態度，不注重對優秀文化傳統的傳承與保護。隨著城市化的普及，鄉民向往城市生活，認為鄉村無法實現個人價值，只有城市才能體現自我價值，盲目追求所謂的“城市身份”[6]。

為將特征向量向原型估計進行偏移，此處設置特征聚合網絡FFAN對樣本的輸出為特征提取通路Ffeature與偏差擬合通路Fbias的輸出之差，因此特征聚合網絡FFAN對樣本的最終輸出為：

通過特征聚合網絡對支持集中所有樣本進行特征提取后，可取各類樣本特征向量的均值作為新的原型估計，類別標簽為yk的類別原型估計為：

3 綜合損失函數

為確保特征偏移的有效性和網絡最終的分類效果，本文考慮在損失函數中分別對偏差擬合通路輸出以及整個模型最終的分類效果進行懲罰，并通過對查詢集樣本進行前向計算確定損失函數的具體取值，從而對網絡參數進行更新。為保證特征偏移的有效性，本文使用均方誤差損失限制偏差擬合通路Fbias的輸出，接近于通過特征提取通路Ffeature所提取的特征向量與對應類別原型之間的偏差，為保證整個模型的分類效果，本文使用交叉熵損失函數限制模型的最終分類結果與樣本真實標簽相同，為減輕網絡的過擬合現象，本文在損失函數中添加了L2 正則化項。對于查詢集1，2，…，t×m}，損失函數的具體形式為：

其中，θ為特征聚合網絡的參數向量，I(A，B)在A=B時取1，否則取值為0，d(a，b)為向量a和b之間的歐式距離，α為正則化系數，其余表示規則與上文相同。通過優化上述目標函數并利用反向傳播算法便可完成參數更新。

若僅使用均方誤差項對偏差擬合通路的參數更新過程進行限制，由于目標函數要求偏差擬合通路Fbias對樣本的輸出、特征提取通路Ffeature以及對樣本的輸出，與該樣本所屬類別的原型估計相近，因此在模型收斂時，對于任意樣本X有：

結合式（7）、式（8）有：

在模型收斂的情況下，對于任意給定的樣本X，通過特征聚合網絡所提取到的特征向量FFAN(X) 均分布于樣本X所屬類別的類原型估計附近。但由于此處采用綜合損失函數對整體模型參數更新過程加以限制，此時偏差擬合通路的參數更新過程同時受交叉熵損失項和均方誤差損失項影響，這意味著偏差擬合通路的輸出需在完成特征偏移的同時保證整體模型的性能。

4 實驗結果與分析

在本文實驗中，驗證模型解決小樣本學習能力和特征聚合特性的實驗分別在miniImageNet［15］、Cifar-100［18］、Caltech-UCSD Birds 200-2011［19］和Caltech-256［20］4 個數據集上完成。本文所有實驗均在搭載NVIDIA GeForce GTX TITANX 12 GB 顯卡、Intel i7-6700處理器并具有16 GB 運行內存的PC 機上完成，采用PyTorch 深度學習框架Windows 版本實現。所有參與訓練和測試的圖像樣本尺度都歸一化為84×84 大小，部分實驗中從ImageNet 數據集中抽取了20%的樣本對模型進行預訓練，預訓練樣本均不包含在miniImageNet 數據集中。

實驗1本文所提出的特征聚合網絡可將樣本映射為類內分布更緊湊的特征向量，為驗證這一理論，此處使用類內樣本距離均值與類原型距離均值作為指標衡量模型性能。具體來說，假設測試過程中共進行q次采樣，每次測試過程有p類，每類有r個測試樣本，則在每次測試過程中，每個類別的類內樣本特征向量之間共有r(r-1)/2 條無向邊，因此在整個測試過程中共計有q×p×r(r-1)/2 條無向邊。由于每條邊的長度表示兩個同類樣本之間的歐式距離，因此可計算得到整個測試過程中所有同一采樣過程中類內樣本兩兩之間的歐式距離平均值dins，這一平均值可作為類內距離使用；同理，也可通過計算獲得所有同一采樣過程中類原型兩兩之間的歐式距離平均值douts，并使用該值度量特征空間中的類間距離。由于在一個好的特征空間中，特征向量的分布具有類內距離小、類間距離大的特性，因此可使用Ra=dins/douts作為衡量特征提取器性能的指標，當Ra越小時特征提取器性能越好。

本文由于本文方法是受原型網絡思想啟發而提出，并且方法流程與原型網絡方法流程最為接近，因此性能對比選擇原型網絡實際效果作為基準線。此處所有數據均為5 次測試結果的平均值，其中每次測試進行500 次采樣，查詢集中共5類，每類樣本數量為30。經測試得到5-way 1-shot 和5-way 5-shot 結果分別如表1和表2 所示。

表1 5-way 1-shot 測試結果Table 1 5-way 1-shot test results

表2 5-way 5-shot 測試結果Table 2 5-way 5-shot test results

由上述實驗結果可知，無論是在5-way 1-shot 任務還是5-way 5-shot 任務中，所有使用特征聚合網絡的具體方法在各個數據集上的Ra取值均小于原型網絡在對應數據集上的Ra取值，并且所對應的分類正確率均高于原型網絡。這一結果表明，相較于原型網絡，特征聚合網絡在各個數據集上均將樣本映射到了較優的特征空間中，特征聚合網絡所提取到的特征類內更加緊湊。

實驗2為驗證本文整體方法的有效性，分別在上述4 個數據集上對比了多種類型的具有代表性的相關方法，包括匹配網絡MN［15］、原型網絡PN［16］、關系網絡RN［21］、MAML［13］和元學習LSTM［11］。本文所提出的相關方法實驗結果數據，由訓練過程間隙驗證正確率最高的優化模型經5 次測試并取其均值得到，參與對比的其他方法實驗結果來自于對應文獻，經實驗得到表3 所示的結果。

表3 5-way 1-shot 與5-shot 正確率對比Table 3 Comparison of 5-way 1-shot and 5-shot accuracy%

在表3 中，本文使用加粗字體展示了對比方法中的最優效果。根據表3 中的數據可知，除了在miniImageNet 數據集的5-way 1-shot 任務和5-way 5-shot 任務中本文方法取得了次優結果之外，在其他3個數據集的所有實驗任務中，本文方法均取得了參與對比方法的最優結果。相較于原型網絡分類正確率這一基準線而言，本文方法在5-way 1-shot 任務和5-way 5-shot 任務中均取得了超過2%的性能提升。實驗結果表明，本文所提出的特征聚合網絡優于絕大多數小樣本學習方法所使用的特征提取器。

5 結束語

本文針對傳統特征提取器難以求得較優特征向量分布的問題，提出一種特征聚合網絡。該特征聚合網絡能夠有效地將原始特征向更優的特征空間中進行偏移，最終使得同類樣本之間的特征向量分布更為緊湊，從而提升特征提取的有效性。下一步將對基于半監督學習的小樣本學習進行研究，設計更有效和更具通用性的數據增強方法。