基于圖神經網絡的小樣本學習方法研究進展

楊潔祎 董一鴻 錢江波

（寧波大學信息科學與工程學院 浙江寧波 315211）

（浙江省移動網絡應用技術重點實驗室（寧波大學） 浙江寧波 315211）

（17858878879@163.com）

深度學習能夠很好地實現復雜問題的學習，然而，深度學習需要大量帶標注的訓練數據[1].而在現實場景中，某些類別僅有少量標注數據.與此相反，人類只需通過少量數據就能做到快速學習.受到人類學習方式的啟發[2]，小樣本學習（few-shot learning,FSL）[3-5]的概念被提出，即使在僅有少量數據或標記數據的情況下，也能學習到具有良好性能的模型.

小樣本學習方法包括基于模型微調、基于數據增強和基于遷移學習3 類方法[6].基于模型微調的主要策略是首先使用大規模數據集對模型進行預訓練，然后針對只有少量訓練樣本的特定任務對模型進行微調.然而該類模型存在過擬合[7]問題，即在實例不足的情況下無法建模新任務的數據分布.基于數據增強的學習旨在應用數據增強[8]或數據混合[9]的技術來擴大訓練集.雖然數據增強的方法在有限的數據狀態下緩解了過擬合問題，但在擴增數據的同時可能引入噪聲數據，對模型效果產生消極影響.基于遷移學習的方法是目前較為前沿的方法，可細分為基于度量學習、基于元學習（meta-learning,ML）和基于圖神經網絡（graph neural network,GNN）3 類方法[5].基于度量學習的方法通過計算樣本之間的距離，從而根據有標注樣本確定未知樣本類別.但在樣本數量較少的情況下，這類基于度量的思想使模型效果的提升遇到瓶頸.元學習方法的出現使FSL 更靠近人類的學習模式，以任務為訓練單位，使模型開始具備學習的能力.然而純粹的元學習方法復雜度較高，且忽視了對FSL 問題中樣本間關系的探索.圖神經網絡[10]能夠通過消息傳遞機制迭代地執行來自鄰居的特征聚合，因此可以表達數據實例間的復雜交互.由于小樣本學習算法已被證明需要充分利用支持集和查詢集[11-13]之間的關系，因此GNN 具有解決FSL問題的巨大潛力.GNN 在節點分類、圖分類和鏈接預測等應用中表現出良好的效果和可解釋性[14]，并成為一種廣泛應用的圖分析方法[15-16].現今，使用GNN 來解決FSL 問題已逐漸成為國內外的研究熱點.基于GNN 的FSL 方法遵循元學習的情景訓練策略，將任務視為訓練樣本，任務中的數據實例能構成一個無向無環圖，每個樣本被視為圖中節點.如何準確有效地捕獲樣本間的關系是解決FSL 問題的關鍵.而GNN 能夠通過在圖上進行消息傳遞來聚合更新信息，在僅有少量實例的任務中度量樣本間距離并探索樣本間的關系.因此GNN 被視為一種度量工具在FSL 問題中的廣泛應用.

基于GNN 的FSL 方法融合了度量學習和元學習的優點，相較于基于元學習的方法，GNN 能夠精準地捕捉樣本的類間和類內關系.相較于基于度量學習的方法，GNN 模型能夠挖掘節點間的潛在關系，從而提升模型性能.基于GNN 的FSL 方法在FSL 圖像分類、文本分類[17-19]、視頻分類[20]、疾病診斷[21]和疾病的相似性[22]等研究領域取得了一定的進展.基于GNN 的FSL 方法旨在利用GNN 能夠在圖上傳播信息的特點，構建不同的特征信息并在圖上傳播，利用更新后的特征信息完成下游任務.

研究人員對FSL 和GNN 的相關工作分別進行了總結.文獻[6,23]從不同的角度出發，分別構建了不同的FSL 方法劃分體系.這些工作系統地歸納了各類FSL 方法的基本思想，并對各類FSL 方法中的經典模型進行了具體分析.文獻[14,24]概括了GNN的不同框架，對各類GNN 方法進行了詳細介紹，并說明了GNN 在不同實際場景中的應用.GNN 作為近幾年的熱點模型被成功地應用于FSL 問題，基于GNN 的FSL 方法較為新穎，且近2 年出現了大量基于GNN 的FSL 方法.然而以往的綜述工作中缺乏對該類FSL 方法的具體討論與研究，因此本文對基于GNN 的一系列FSL 方法進行深入的研究，對不同方法進行系統分類，并詳細地闡述了劃分依據與各類方法的整體思想，主要貢獻有3 點：

1）首次對基于GNN 的FSL 方法進行歸納總結，并給出了基于GNN 的FSL 范式，該范式明確地闡明了基于GNN 的FSL 目標是什么以及如何解決該類問題.這一定義有助于確定基于GNN 的FSL 領域的研究目標.

2）整理歸納了近幾年涌現的基于GNN 的FSL方法并對其進行系統地分類，首次給出了基于GNN的FSL 的分類方法.總結了不同類別方法的特點并深入地探討對比了各類方法的優劣勢.

3）基于GNN 的FSL 方法的弱點，提出了基于GNN 的FSL 面臨的挑戰，并給出了其未來可能的探索方向，為解決FSL 問題提供新的解決思路.

1 FSL 的研究進展

FSL 領域的研究試圖從有限的標記數據中提取信息，并對未知的數據做出準確的預測.模型微調的方法是FSL 方法中最直觀且最有效的方法.文獻[25]提供了一種基于模型微調的方法，該方法通過在再訓練階段中采用更低的學習率，以及在微調過程中采用自適應的梯度優化器來實現優化的目的.為了在微調階段學習到更加適應目標數據域的知識，文獻[26]將未標記的查詢樣本的熵作為正則項加入損失函數，通過利用無標簽數據的信息來緩解可用樣本量不充足的問題.這一類基于微調的模型較為簡單，但由于在實際場景中目標數據集與源數據集分布相差較大，采用模型微調的方法可能導致模型在目標數據集上發生過擬合.

基于數據增強方法借助輔助數據或輔助信息，對既有的小樣本數據集進行擴充，以克服FSL 中樣本量不充足的困難.文獻[27]提出的數據增強方法結合了元學習的訓練策略，該方法通過將現有圖像的一些屬性和特征變化遷移到新樣本上來生成新數據圖像，以達到擴充樣本量的目的，并通過端到端聯合訓練的模式生成模型和分類算法.文獻[28]提出了一種特征遷移網絡，用于描述物體姿態變化引起的運動軌跡變化.該網絡通過對數據樣本的特征進行增強，即用物體的運動軌跡特征來擴充原有的物體姿態特征，以此達到數據增強的目的.文獻[29]提出了一種新的特征增強網絡（feature augmentation network,FAN）用于對小樣本的無約束掌紋圖像識別，在缺乏其他外部信息的前提下，FAN 可用于減少因無約束信息獲取而導致的圖像改變，其目的是解決由于圖像噪聲帶來的模型效果不佳的問題.此外FAN從少數支持樣本中增強它們的特征表示，即通過對數據特征的強化來達到數據增強的目的.基于數據增強的方法在一定程度上解決了僅用少量樣本訓練深度學習模型所產生的過擬合現象，但由于數據增強方法生成的數據為虛擬數據，生成的數據越多引入的噪聲數據可能越多，因此模型的性能不隨數據量正比增強，導致模型性能在得到了一定的提升后就停留在瓶頸期.

基于遷移學習的方法是目前較為前沿的方法.其中基于度量方法的FSL 模型，例如，匹配網絡[30]結合了注意力機制和記憶機制，并利用情景訓練的訓練模式，將未標記的查詢樣本標簽與各個類中的少量帶標記支持樣本的標簽進行匹配，根據匹配結果從而確定未標記樣本的標簽.原型網絡[31]則學習了一個判別度量空間，通過計算查詢樣本和每個類的原型表示之間的距離來進行分類，每個類的原型表示通過計算該類支持樣本的均值得到.文獻[32]利用協方差度量網絡構造了一個嵌入的局部協方差表示來提取每個類的2 階統計信息，并定義了一個協方差矩陣來衡量查詢樣本和支持樣本之間分布的一致性.MSML[33]模型提出了一種用于層次度量學習的多尺度關系生成網絡，該模型中引入了特征金字塔結構，旨在結合高層語義特征和低層視覺特征，以及提取多尺度特征用于映射生成樣本間的多尺度關系.元學習[34]是一種模仿生物利用先前已有的知識，迅速學習新的未見事物能力的一種學習定式.元學習的目標是使模型能夠利用學習到的知識，快速適應未見過的新任務，這與實現人工智能的目標相契合[35].元學習作為機器學習領域中一個前沿的研究框架，被廣泛地應用到小樣本學習的任務中.Metalearner LSTM[36]的隨機梯度下降更新規則可解釋為一個帶有可訓練參數的門控遞歸模型學習模型參數的更新規則.MAML[37]則尋求通過2 階梯度下降來進行適當的參數初始化，從而使模型在經過幾步梯度下降后能夠獲得更好的泛化能力.不同于深度學習模型的目標旨在通過梯度下降法得到最優的模型參數，MAML 模型旨在得到能夠從少量的數據中進行幾步更新就可以得到具有較好分類效果的初始化參數.Meta-SGD[38]在MAML 的基礎上更進一步提出在一步內學習權重初始化、梯度更新方向和學習速率.基于記憶的方法提取在元訓練階段獲得的有價值的知識以協助元測試.表1 總結了各類FSL 方法的優劣勢，其中基于GNN 的FSL 方法是目前較為前沿且性能最好的一類，然而由于基于GNN 的FSL 是近幾年才興起的，其需要改進和發展的方面還有很多.

Table 1 Comparison of Advantages and Disadvantages of Few-Shot Learning Methods表1 小樣本學習方法優缺點對比

2 相關概念

2.1 符號說明

為了更好地理解基于GNN 的FSL 模型框架，本節首先簡要介紹了相關的基本概念和專業術語，并給出了基于GNN 的FSL 方法的說明范式和一般流程.為行文方便，對本文使用的符號進行說明，如表2 所示.

Table 2 Symbol Description表2 符號說明

2.2 基于GNN 的FSL 基本概念

基于GNN 的FSL 遵循元學習的情景訓練策略[39-40].情景訓練的核心思想是構造一系列FSL 任務用于訓練，訓練目的是使模型能夠快速適應并解決類似的新FSL 任務.訓練任務用于訓練FSL 模型，相當于深度學習中的訓練樣本；測試任務則用于評估模型性能，即評估模型在新任務上的泛化能力.

情景訓練將數據集劃分為訓練集Dbase=和測試集Cnovel}，其中mbase和mnovel為Dbase和Dnovel中的樣本數，Cbase和Cnovel分別是Dbase和Dnovel對應的類集合，且Cbase∩Cnovel=?.FSL 旨在Dbase上學習一個模型，該模型能夠很好地推廣到未見過的測試集Dnovel.情景訓練分別在Dbase和Dnovel中采樣一系列的任務作為FSL框架中的訓練樣本和測試樣本.其中每個分類任務由支持集和查詢集構成，支持集S由N個類中抽取的K個樣本（N-wayK-shot 設置）構成，這些樣本作為標記實例.從同樣的N個類中抽取另外的H個樣本作為查詢集這些樣本為待預測的未標記樣本.

設p(T) 為任務T的分布，情景訓練從p(T)中采樣一系列訓練任務Ttrain～p(T)作為訓練階段樣本，對于訓練任務Ttrain在特定于該任務的N個類的部分數據上操作，為這N個類的集合，訓練任務中的支持集和查詢集均來自每個任務中的數據采樣如圖1 所示.

Fig.1 ?llustration of task data setup圖1 任務數據設置示意圖

基于GNN 的FSL 通常將GNN 作為分類器或特征適應模塊，調整特征嵌入后再分類，GNN 模型在整體訓練過程中相當于元模型，所有任務的GNN 模型共享元參數.

基于GNN 的FSL 方法通常將每個任務中的支持樣本和查詢樣本進行全連接構圖，構建得到的圖輸入到元GNN 模塊中.其目的是基于節點分類的基本思想，利用GNN 對查詢樣本進行分類，即可得到每個任務中查詢樣本的預測結果.最終通過計算預測結果與觀測結果的分類損失來更新元GNN 模型中的模型參數 θ.如圖2 所示為基于GNN 的FSL 方法中，GNN 模型的訓練思想，其模型參數 θ學習目標如式（1）所示.

Fig.2 Process of training stage圖2 訓練階段流程

在訓練過程中，選取使得所有任務的總損失最小的模型參數作為元GNN 模型的最優參數.其中Lθ(Ttrain) 為模型在任務Ttrain上的損失函數，其計算過程如式（2）所示.

通過計算訓練任務中查詢樣本的預測標簽與觀測標簽的交叉熵損失作為該訓練任務的分類損失，其中為任務Ttrain中查詢樣本的集合，對應集合中某一查詢樣本，分別表示該樣本的預測標簽和實際觀測標簽.基于GNN 的FSL 方法要求在訓練任務上訓練得到的模型能夠泛化到測試任務Ttest～p(T) 上.測試任務中的類CN}∈Cnovel取自與訓練任務類集合Cbase不相交的新類.將訓練任務中的元知識遷移到測試任務上，并在測試任務上評估模型性能.與深度學習訓練的“樣本”概念類似，情景訓練策略采用“任務”作為訓練的基本單位.

在小樣本學習中，GNN 作為一個強大的后處理工具，能夠獲取魯棒的特征表示.

假設F=(f1,f2,…,fN×K+N×H)∈R(N×K+N×H)×p是分類任務Ti中支持和查詢樣本經卷積神經網絡（convolutional neuaral network，CNN）[41]提取的特征矩陣，其中p為特征維度，fj(j=1,2,…,N×K+N×H) 則為任務Ti中的某一實例j的特征向量.給定GNN 的初始特征輸入F0=F及初始 鄰接矩 陣輸入A0=A，GNN 在 隱藏層中按層級傳播如式（3）所示.

其中l=0,1,…,L-1，D=diag(d1,d2,...,dn)為視度矩陣,由計算得到，σ()通常為激活函數或可訓練的特征轉換函數.

基于GNN 的FSL 方法通過利用GNN 挖掘圖上更深入的結構關系來獲取判別性的樣本表示及更精確的樣本間關系，預測查詢樣本的標簽.其預測整體過程如圖3 所示.

Fig.3 Basic flow of FSL method based on GNN圖3 基于GNN 的FSL 方法基本流程

經特征提取器提取得到的樣本特征通過構圖模塊后輸入到GNN 中，節點、邊等圖中特征通過特征聚合在圖上傳播，以此更新圖中信息.而后，基于更新后的特征信息推理查詢樣本的標簽.查詢樣本的最終預測結果如式（4）所示.

其中M為基于GNN 的模型，FS和FQ分別為支持集和查詢集的樣本特征矩陣，YS和分別為支持集中樣本的觀測標簽矩陣和查詢集中樣本的預測標簽矩陣.

3 基于GNN 的FSL 方法

GNN 能夠自然地適用于FSL，GNN 能夠通過在有限實例構造的圖上進行消息傳遞來聚合更新信息，探索樣本間的關系，并學習得到具有代表性的節點特征表示.GNN 的本質是聚合鄰居信息[42]，對于圖中任意節點，其特征每更新一次，就聚合了更高一階的鄰居節點信息.基于GNN 的FSL 方法利用GNN 的這些特點能夠學習具有判別性的節點表示以及探索圖中查詢節點和支持節點間豐富的關系.

根據模型利用圖上不同粒度級別的特征進行預測，將基于GNN 的FSL 問題分為基于節點特征的方法、基于邊緣特征的方法、基于節點對特征的方法和基于類級特征這4 類方法.

3.1 基于節點特征的方法

基于節點特征的方法通常將卷積網絡提取到的樣本特征與其1 維標簽向量進行拼接得到節點特征向量，全連接構圖后計算其鄰接矩陣，輸入到GNN模型，在節點特征更新的過程中將支持樣本的標簽信息傳遞給查詢樣本，最終通過查詢節點特征確定查詢樣本類別.

GNN-FSL 模型[43]首次提出利用GNN 模型來解決FSL 問題.模型中的節點嵌入表示其中 φ(xi) 為 卷積網絡提 取的特征向 量，h(yi)為節點的one-hot 標簽向量.將支持節點與查詢節點進行全連接構圖后，第k層網絡中節點i與節點j之間的邊由式（5）構建得到：

其中 φ是由神經網絡參數化的對稱函數，φ可從當前節點的特征表示中學習圖的鄰接矩陣，從在2 個節點向量的絕對差異后堆疊多層感知器得到，為可學習參數.模型通過GNN 更新節點嵌入向量，進一步更新邊向量，最終利用學習到的查詢節點特征來評估查詢樣本所屬的類別.其模型框架圖如圖4 所示.GNN-FSL 模型將標簽信息編碼為節點特征的一部分，并利用圖的消息傳遞機制在圖上進行節點特征的傳播.將支持樣本的標簽信息通過信息傳遞的形式編碼進與其實例特征相似的查詢節點中，因此最終得到的查詢節點特征中隱含了其可能的類別信息.

Fig.4 The frame diagram of GNN-FSL model [43]圖4 GNN-FSL 模型框架圖[43]

與標簽傳播的思想一致，TPN[44]模型直接利用圖卷積（graph convolution network,GCN）顯式地進行標簽信息的傳播，并在圖卷積過程中融合標簽信息.TPN 首次在基于GCN 的FSL 學習中明確地建模轉導推理[45].在歸納推理[46]中，模型對每個查詢樣本獨立預測，利用支持樣本標簽推理查詢樣本標簽.而在轉導推理中可將查詢樣本和支持樣本一起用于推理，能夠同時對整個查詢集進行預測，而不是獨立預測單個查詢樣本.

GNN-FSL 和TPN 這2 種基于GNN 的FSL 模型證明了相較于傳統的FSL 方法，GNN 在解決FSL 問題上的優越性能.但隨著GNN 層的疊加，模型不可避免地出現了節點過平滑和過擬合的問題[47].AGNN（attentive GNN）[48]模型引入圖注意力（graph attentive,GAT）[49]機制來緩解GNN 中的節點過平滑問題.AGNN 首先通過節點自注意力機制更新節點的樣本特征和標簽向量.其次通過引入鄰居節點注意力機制來限制參與聚合的鄰居節點個數，通過稀疏性約束構建鄰接矩陣，避免由于節點過度混合而造成節點特征趨于一致的問題.使用層注意力機制保留并融合節點特征的早期“記憶信息”.AGNN 的三重注意力機制有效地緩解了GNN 的過平滑和過擬合問題.

基于節點特征的FSL 問題通常只提取一個模態的信息作為節點特征.AMGNN（auto-metric GNN）[21]模型被用于阿爾茲海默癥的診斷，該模型有效地融合多模態特征作為節點特征.AMGNN 將樣本的風險因子、認知評分等先驗知識模態和磁共振成像特征模態進行拼接得到節點特征，并用樣本的先驗知識計算邊緣概率矩陣來約束磁共振成像特征計算得到的鄰接矩陣，從而融合樣本的多模態信息，將更新后的節點特征輸入到softmax 層和歸一化層后得到節點的最終標簽.AMGNN 在保證良好分類性能的同時提高了靈活性，促進了GNN 向小樣本的疾病診斷方向的發展.AMGNN 將多模態GNN 應用于FSL 問題，文獻[50]則提出利用多尺度GNN 來對任務建模，該方法首先利用特征提取網絡提取3 種不同尺度的圖像特征，將不同尺度的特征輸入對應尺度的GNN 網絡中進行特征聚合，最終得到多尺度的預測結果，并用原始特征尺度的預測結果來限制其余2 種尺度的預測結果，從而確保多尺度GNN 預測結果的準確性.

文獻[21,43-45,48-49]通過拼接樣本特征和標簽特征的方法融合了同一節點的2 種視角信息作為節點特征，繼而借助GNN 探索樣本節點之間的關系.雙模態超圖小樣本學習（dual-modal hypergraph FSL,DMH-FSL）[51]在此基礎上，通過引入超圖卷積[52]的思想，來模擬樣本之間的高階關系.超圖提供了一種靈活而自然的建模工具來表示樣本間超越成對的關系.GCN 中的每條邊只能和2 個頂點連接；而對于超圖來說，其超邊可以和任意數量的頂點連接.每個邊所包含的頂點數都是相同且為k時，該圖被稱為k階超圖.DMH-FSL 首先使用特征模態超圖構造了具有樣本特征的關聯矩陣，標簽模態超圖構造了帶有樣本標簽的關聯矩陣.通過特征和標簽2 種模態來聚合節點特征嵌入，并利用超圖卷積對不同模態的樣本進行靈活聚合.

基于節點特征的方法將節點特征在圖上傳播，將支持節點的信息傳遞給查詢節點，從而確定查詢節點的類別.該類方法通過拓展原始的GNN 網絡，使節點特征信息在圖上高效傳播，獲取具有判別性的節點嵌入表示，利用最終學習到的節點嵌入確定查詢節點類別.

3.2 基于邊緣特征的方法

不同于利用節點特征的方法，利用邊緣特征的方法從另一方面進行考慮，對圖中的邊緣特征進行建模，利用邊緣特征表示節點間的相關性.相比之下，基于邊緣特征的模型能夠考慮樣本間更豐富的關系與建模更靈活的信息交互形式.這類方法通常仍采用緊密連接的圖結構，將實例特征視為節點特征，通過不同的方法構建邊緣初始特征及邊緣更新網絡，最終利用學習到的邊特征表示樣本間的相關性，從而對未標記樣本進行分類.

文獻[53]提出的EGNN 模型由多個層組成，其中每一層都由1 個節點更新塊和1 個邊緣更新塊組成.EGNN 首先初始化邊緣特征，使用2 維的邊特征向量，其中第1 維表示相連的2 個節點屬于同一類的概率，即節點間相似性，第2 維表示相連的2 個節點不屬于同一類的概率即節點間差異性.如式（6）所示：

該邊向量作為注意力權重聚合對應的鄰居節點特征，得到更新后的節點向量.使用可訓練函數度量節點間的相似度和不相似度，分別作為自注意力系數更新邊緣特征中第1 維和第2 維的值，以此更新邊緣特征.查詢樣本標簽的預測則利用其最終的邊緣特征與邊相連的支持節點來確定.圖5 為EGNN 的整體框架圖，其中邊緣特征的強度用正方形中的顏色深度表示.盡管每條邊都有2 維特征，但為了簡單起見，圖5 中只描述了第1 個維度.EGNN 模型在小樣本圖像分類數據集上的優越性能證明了該模型的有效性.EGNN-FSL[54]模型將EGNN 模型應用于高光譜圖像（hyperspectral image,HS?）分類問題中，對HS? 中像素之間的關聯進行明確地考慮和探索，特別是像素之間的類內關聯和類間關聯.EGNN 模型在進行節點和邊緣特征更新時，同時將節點信息和節點間的關系在圖上進行消息傳遞.模型旨在最大化類內相似性和類間差異性以提高模型的預測性能.在EGNN 模型的基礎上，MDEGNN（multi-dimensional EGNN）[55]使用多維特征作為邊緣特征，所有的邊緣特征被初始化成一個p維向量，若2 個節點屬于同一類，則它們之間的邊特征是1 個全1 向量，若2 個節點屬于不同類，則它們之間的邊特征是全0 維向量，邊緣特征初始化如式（7）所示.

Fig.5 The framework of EGNN model[53]圖5 EGNN 模型框架

與EGNN 類似，MDEGNN 將多維邊緣特征作為權值來聚合鄰域節點信息.邊緣更新網絡則利用更新后的節點特征生成多維相似度注意矩陣對多維邊緣特征進行更新.最后利用聚合網絡對不同維數的邊緣特征進行加權，得到最終的節點間關系表示.基于邊緣特征的方法通常基于節點的標簽信息進行邊緣特征的構建.相較于基于圖像特征建模的邊，基于標簽信息建模的邊對異常樣本點不敏感，且不會由于圖像較為相似使得邊緣特征較大而導致不適當的特征聚合.然而標簽信息忽略了特定于樣本的特征信息，因此在標簽的更新中通常會融合節點圖像特征信息.文獻[56]提出一個將條件隨機場（conditional random field,CRF）[57]和GCN 結合的模型MCGN（mutual CRF-GNN），該模型利用樣本標簽信息和特征信息來構建邊緣特征.MCGN 構建了一個以標簽和特征為條件的CRF，支持數據的標簽和特征被 RF以有概率的方式推斷GNN 親和力.由此利用CRF 實現了特征信息和標簽信息的融合，即在特征空間利用標簽特征相似度進行聚合.MCGN 訓練時同時關注CRF 和GNN 的輸出，從而共同促進CRF 和GNN.

由于節點標簽和節點特征是最容易獲得的節點信息，因此很容易度量得到節點間關系.然而標簽和節點特征信息都只關注于實例級信息而忽略了全局性信息，分布傳播圖網絡（distribution propagation graph network,DPGN）[58]模型則通過引入節點的1-vsn分布關系來構建節點關系，利用全局觀測信息和單個實例信息來度量節點間相似度.DPGN 提出了一個對偶圖的架構：一個點圖和一個分布圖.點圖通過在實例上收集1-vs-n關系來生成分布圖，而分布圖通過傳遞每對例子之間的分布關系來細化點圖.通過點圖和分布圖交替更新相互傳遞信息的形式將節點特征和節點分布特征編碼到邊緣特征中，最終通過點圖最后一層中相應的邊緣特征及其相連的支持樣本來確定與其相連查詢樣本的標簽.與DPGN 利用分布特征的思想類似，MDGN 模型[59]同時利用節點特征與節點分布信息對邊緣特征進行建模.不同的是MDGN 通過混合高斯模型和期望最大算法來估算節點的分布特征，邊緣特征由節點的分布特征相似度和實例特征相似度輸入到多層感知器網絡中得到.大多數基于邊緣特征的模型將支持節點和查詢節點以全連接的方式關聯，通過迭代更新邊緣特征得到查詢節點和支持節點屬于同一類的概率作為邊緣預測結果.但事實上對于某查詢節點，大部分支持節點與其不同類，這些支持節點傳遞的信息可能會引入噪聲對其造成負面影響.因此雙池化圖神經網絡（dual pooling graph neural network，DPGNN）[60]設計了一種邊緣池化模塊，該模塊能自適應地消除樣本間的負面關系，模型能夠成功地應用于小樣本的視頻分類任務.邊緣池化模塊首先采用可訓練的投影矩陣得到每條邊的池化分數，對于支持節點vi和查詢節點vq得到2 節點間邊的池化分數為si,q.為保留重要的邊緣特征，基于池化分數來設計掩碼，該掩碼定義如式（8）所示.

其中k′為保留的邊緣數，即保留池化分數最大的k′條邊.將掩碼mi,q和對應邊相乘，以保留查詢節點到與其相關的支持節點的邊.

相較于基于節點特征的圖網絡，基于邊緣特征的方法能夠挖掘樣本之間的相似性和差異性，將圖驅動成一個更易于分類的結構.然而這些模型缺乏一種關系歸納偏差，它決定了實體如何相互作用.在FSL 的GNN 方法中，節點之間的關系是一個模糊而主觀的概念，因此一些模型通常使用全連接的方式進行構圖.受模糊理論[61]啟發，模糊圖神經網絡（fuzzy GNN，FGNN）[62]能夠在每個情景中獲得優越的關系歸納偏差，被用于FSL.FGNN 首先利用節點特征相似度構建了邊緣特征，并設計了一個模糊隸屬度函數為節點分類實現了更精確的邊特征建模.隸屬度函數由邊緣特征來定義，其中δ ＞＞η，如式（9）所示.

基于邊緣特征的方法在考慮節點特征的基礎上對邊緣特征進行建模，通過這種方式能夠更好地表示樣本間關系.邊緣特征既可以表示節點間的相關性，也可以用于控制相鄰節點的聚合程度.基于邊緣特征的方法通常在標簽空間建模邊緣特征，部分方法還結合了分布特征來豐富邊緣特征的表示.這類方法的重點在于邊特征的初始化和更新網絡的設計，如何有效準確地將樣本間關系建模為邊特征是這類方法的難點.

3.3 基于節點對特征的方法

基于節點對特征的方法與基于邊緣特征的方法旨在挖掘樣本之間的關系.但相較于利用邊特征建模節點關系的方式，基于節點對特征的方法對樣本間關系進行顯式建模.這類方法將節點構成節點對，節點對作為關系圖中單個節點，節點對信息通過GNN在關系圖上進行傳播，節點對通常稱為“關系節點”.

青蛙GNN（Frog-GNN）[17]是用于小樣本文本分類任務的一種方法，Frog-GNN 為避免信息丟失，保留了所有的查詢支持對.首先，從預訓練的語言模型中提取文本表示，生成實例特征，利用句子匹配任務的經驗[63]提取成對實例特征，隨后用對特征和實例特征初始化圖中節點其中分別表示節點對特征、支持實例特征和查詢實例特征.每對節點都能構成關系圖中節點，并構成一個緊密連接的圖.Frog-GNN 采用多角度聚合策略，分別執行節點對特征更新和實例特征更新.計算相鄰關系節點中支持節點和查詢節點的特征相似度作為聚合權重系數來聚合鄰居關系節點中的節點對特征.計算相鄰關系節點中支持或查詢節點間相似度作為聚合權重系數來聚合鄰居關系節點中的支持節點特征或查詢節點特征.Frog-GNN 的整體模型框架圖如圖6 所示.模型將最終的關系節點輸入到全連接網絡中，得到表示相同類的查詢—支持對得分.根據查詢—支持對的支持部分，按類別平均預測得分，計算出查詢樣本屬于每個類的最終概率.Frog-GNN 被提出用于小樣本文本分類任務.TPRN-T[64]是另一種通過構建節點對特征來解決圖上的節點分類問題的模型，且其節點對特征的構建更加復雜.TRPN-T 將每個支持—查詢對的實例特征拼接得到節點對特征并進行構圖.關系節點特征為vi=[gsupport,gq]，其中gsupport為支持節點特征，gquery為查詢節點特征.由于支持節點主導了關系節點，為防止查詢節點信息的丟失，TPRN-T進一步引入偽關系節點，讓查詢樣本主動參與到圖中，偽關系節點定義為vq=[gq,gq].由于相似的支持樣本通常與同一查詢樣本有相似的關系，因此TPRNT 可利用支持樣本之間的已知關系，在圖上進行傳播，得到最終需預測的支持—查詢對關系.關系節點的鄰接矩陣由節點對中的主導的支持節點特征相似性度量得到.支持集的類內共性和類間差異性在關系圖上進行傳播和聚合，在關系傳播和特征聚合之后，對關系節點使用相似度函數來衡量支持—查詢對之間的相似度水平，并將其量化為相似度分數.與Frog-GNN 類似，根據相似度分數及查詢—支持對中的支持樣本部分確定查詢樣本所屬的類別.為了彌合可見任務和不可見任務之間的鴻溝，在TPRN-T 的基礎上，TPRN-D[65]模型在訓練時運用解耦策略，在保持特征嵌入模塊的判別表示能力的同時，保證TRPN 能更好地提取可見任務和不可見任務之間的語義鴻溝.TPRN 的模型框架如圖7 所示.

Fig.6 The frame diagram of Frog-GNN model[17]圖6 Frog-GNN 模型框架圖[17]

Fig.7 The frame diagram of TPRN model[65]圖7 TPRN 模型框架圖[65]

基于節點對的方法通過構建關系節點，即支持—查詢節點對的方法來建模節點間關系，并將關系表示在圖上顯式地傳播，基于此探索更豐富的節點間關系.該方法提出類似的支持節點與同一查詢節點有著相似的關系，利用已知的支持—支持節點間關系在關系圖上進行傳播，得到消息聚合后的支持—查詢對關系.最終模型可直接根據支持—查詢對關系和基于支持節點判斷查詢節點的類型.基于節點對特征的方法能夠靈活地應用節點間的相關性，聚合節點特征信息.

3.4 基于類級特征的方法

FSL 受到人類學習的啟發，人類能在僅有少量學習樣本時學習區分這些樣本所屬類別的能力.值得注意的是，人類可以很容易地從少數樣本中學習到類級知識，例如當人類在學習如何區分手機和電腦這2 類時，會通過學習更加抽象的類級概念來更好地掌握區分2 類物品的能力.換句話說，類級知識可以理解為原型，即該類中所有樣本都應具有的普遍特性等.但大多數現有的基于圖的FSL 方法旨在探索查詢樣本和支持樣本之間的相關性從而忽略了從樣本中提取類級知識.這促使基于GNN 的FSL 方法考慮如何顯式地學習更豐富的類知識，以指導圖中查詢節點的信息推理.

分層GNN[66]提出具有層次結構的GNN 來探索類別中可能具有的層次結構.對于FSL，從樣本中提取類別的區別特征非常重要.為解決這個問題，分層GNN 模型[67]提取類內具有代表性的節點特征和保留類間難區分的節點特征即一些相似度高的類間節點進行深層學習.分層GNN 主要包含自下向上推理、自頂向下推理和跳過連接層3 部分.自下向上推理模塊利用GNN 探索節點間相關性并利用類內k近鄰池化層為每個類保留離其類質心最近的k個節點，即提取具有類內共同特征的節點特征.為保留類間的區別特征，分層GNN 利用類間節點池化層保留相近的不同類來進一步地探索.通過類內和類間池化層對支持節點進行下采樣，提取樣本中豐富的類級知識.與自下向上推理模塊中的下采樣相反，自頂向下推理模塊對下采樣后的節點進行上采樣恢復到原始個數.相同級別的自下向上塊和自頂向下塊用跳過連接層連接，有效地融合了不同尺度的類級特征和節點特征.最后，利用映射函數將節點特征映射為節點標簽.分層GNN 的模型框架如圖8 所示.

Fig.8 The frame diagram of hierarchical GNN[66]圖8 分層GNN 框架圖[66]

與利用池化模塊提取類級知識的方式不同，文獻[67]提出利用顯示類別知識傳播網絡（explicit class knowledge propagation network,ECKPN）來解決FSL 問題.ECKPN 由比較、壓縮和校準3 個模塊組成.首先使用比較模塊來探索成對的樣本關系，以學習實例級圖中的樣本表示.隨后，壓縮模塊利用可訓練的賦值矩陣壓縮實例圖來生成類級圖，即Vc=PTV(l)，其中為實例圖中的節點特征表示，r1為實例圖中節點個數，d為特征維度.為賦值矩陣，r為類級圖中節點個數.其中每個元素puv表示原始圖中的節點u被分配給類級圖中的節點v的概率.將實例級圖壓縮為類級圖，有助于獲取類級的視覺知識，并對類間關系進行建模.校準模塊結合Glove[68]提取的標簽語義嵌入，多模態地建模類間關系，獲得具有區別性的類級知識表示，并將類級知識與實例級樣本表示相結合，以指導查詢樣本的推理.分層GNN和ECKPN 利用池化的思想對原始實例圖中的節點進行壓縮獲取具有高級表征的類級知識，并通過融合實例知識和類級知識獲取豐富的樣本表示.混合GNN[69]則從不同角度出發，旨在解決類邊界的樣本重疊和少量樣本離群、異常的問題.混合GNN 由實例GNN（instance GNN,?GNN）和原型GNN（prototypical GNN，PGNN）組成，通過減小類內樣本距離和增大每個類原型間距離的方法對特征嵌入網絡學習到的特征進行調整.PGNN 在類原型上操作，旨在解決類邊界的樣本重疊問題.每個類由類均值或類原型進行初始化，以提取初始類級特征.類級特征在圖上進行消息傳遞，以最小化類間重疊和增大類間距離為學習目標.學習到的PGNN 重新排列每個類原型的相對位置，使類特征變得更易分離.?GNN 通過實例消息傳遞專注于異常樣本識別和中和離群樣本，以最減小類內樣本距離為目標，調整樣本中異常樣本和離群樣本特征.最終通過計算PGNN 和?GNN 特征更新后的原型節點和查詢節點間的歐氏距離，將查詢樣本分配給具有更高可信度的類.除圖像分類任務的FSL 方法外，小樣本文本分類任務的方法研究通常是基于類級特征進行的，即采用原型網絡來學習廣義類原型.然而在編碼過程中，一些方法關注支持實例和查詢實例間的交互和匹配信息，忽略了關于類內相似性和類間差異性等類級信息.文獻[19]提出了一種負監督膠囊圖神經網絡（negative-supervised capsule GNN,NSCGNN），該網絡明確地利用樣本間相似性和差異性來進行文本再現，使同一類型的點彼此更近、不同類型的點彼此更遠，產生具有判別性的類原型表示.NSCGNN 同時學習實例特征表示和類級特征表示，采用具有負監督的GNN 來學習所有支持和查詢實例的特征表示.類級表示過程受膠囊網絡[70]的啟發，將從GNN 中提取的節點特征視為基本膠囊，將類表示視為高級膠囊，采用動態路由算法來學習類的原型表示.

EGNN-prot 模型[18]是另一種用于解決小樣本文本分類任務的方法，該模型將邊緣標記圖神經網絡和原型網絡結合，首先利用邊緣標記圖神經網絡建模文檔的類內相似性和類間不相似性.不同于EGNN中通過邊緣特征直接計算查詢節點類別的方式，EGNN-prot 引入原型網絡，利用原型知識對未標記文本進行分類.原型網絡計算類中支持樣本的平均向量作為該類的原型向量表示.最終通過比較所有原型向量和查詢向量之間的距離，將查詢樣本分類到最接近的原型向量所在類中.與利用原型網絡提取類級知識不同，文獻[71]在分類階段利用最優傳輸算法來確定類中心，間接地提取類級概念.文獻[72]利用最優類分配模塊來確定查詢節點類別，即使用sinkhorn 算法[73]計算一個類分配矩陣，以最小的運輸成本將未標記的查詢樣本分配到類中心，并交替更新類中心和類分配矩陣.

基于類級特征的方法有2 種利用類級特征的形式：1）在GNN 前提取初始類級特征，并將類級特征在圖上傳播，通過GNN 學習得到構建的目標類級特征，以此達到提升模型性能的目的.2）在分類階段利用類級知識進行分類，即在GNN 前不涉及類級特征，在GNN 后使用訓練好的樣本特征提取原型特征作為所屬類的參考標準，由此將查詢樣本分類到具有更高可信度的類別中.

4 數據集與模型評估

4.1 數據集

在小樣本圖像分類任務中，一些標準數據集被廣泛使用.Mini?mageNet[74]和 Tiered?mageNet[75]是FSL 領域中最常用的數據集，同時CUB[76],C?FAR-100[77],Stanford Cars 等常用作細粒度小樣本圖像分類.

1）Mini?mageNet.該數據集是從?mageNet[78]分割得到的，包含?mageNet 的100 個類別，每個類別含有600 張圖片.將100 個類分為64 類、16 類、20 類分別用于訓練、驗證和測試.

2）Tiered?mageNet.該數據集是Ren 等人[75]在2018 年提出的數據集，是比Mini?mageNet 更大的屬于?mageNet 的子集，其類別高達608 種.

3）CUB-200-2011（caltech-UCSD birds）.該數據集是一個鳥類圖像數據集，包含200 種鳥類，共計11 788張圖像.通常將數據集劃分為130 類、20 類、50 類分別用于訓練、驗證和測試.

4）C?FAR-FS.該數據集共100 個類，每個類包含600 個圖像，分別包括500 個訓練圖像和100 個測試圖像.C?FAR-100 中的100 個子類所屬于20 個父類，每個圖像都帶有一個子類標簽和一個父類標簽.

5）Stanford Cars.該數據集一般用于細粒度圖像分類任務，包括196 類車的樣本共計16 185 個圖像.數據集被劃分為130 類、17 類、49 類分別用于訓練、驗證和測試.表3 所示為各類數據集中的統計信息與數據集劃分情況.

Table 3 Statistics and Division of Datasets表3 數據集的統計與劃分

4.2 實施細節

本文對FSL 的GNN 方法中的一些著名模型在小樣本圖像分類任務數據集Mini?mageNet 和Tiered?mageNet 上的性能表現進行了總結.所有方法都選取了5-way 1-shot 和5-way 5-shot 設置的結果進行展示.

FSL 通常使用CNN 作為特征提取網絡，比如Conv-4[37],ResNet12[79],WRN 等常用的特征提取網絡.具體來說，Conv-4 和ResNet12 網絡將輸入圖像編碼為128 維的特征向量，Conv-4 和ResNet12 都由4 個區塊組成.Conv-4 中的每個塊都包含3×3 的卷積塊、1 個批處理標準化和1 個LeakyRelu 激活函數.而ResNet12中的每個殘差塊包含3 個大小為3×3 的卷積層，每個卷積層之后是一個2×2 的最大池化層.而網絡將圖像編碼為64 維的特征向量.

部分模型利用了歸納學習和轉導學習的實驗設置進行模型性能的評估，其中歸納學習從給定的訓練數據或任務中學習共同的模式，并轉移到未知的任務和數據中，而轉導學習則直接從訓練數據或任務推廣到給定的測試數據.

4.3 實驗結果

各類方法的實驗結果具體如表4 所示.表4 選取了MiniimageNet 和Tiered?mageNet 數據集的實驗結果作為對比參考.在FSL 的圖方法中，最優的模型在5-shot 的圖像分類任務上能夠達到約88%的準確率；這證明了基于GNN 的FSL 方法的優越性.早期的基于GNN 的FSL 方法僅考慮在圖上傳播節點特征，且對于節點間關系的探索停留在利用計算樣本相似度來構建鄰接矩陣的階段.因此這類方法雖然在性能上有一定的提升，但其分類準確率仍處于較低水平.基于邊緣特征的方法總體上優于基于節點特征的方法.EGNN 是最早的邊緣標記圖GNN，該模型在Mini-?mageNet 數據集的1-shot 和5-shot 測試的準確率分別達到了59%和76%.基于節點對特征和基于類級特征的模型效果整體處于較高水平.這2 類模型在5-shot 設置時性能有明顯的提升，因為節點對特征和類級特征在支持樣本數量較多時有明顯優勢.

Table 4 Accuracy of GNN-Based Few-Shot Image Classification Learning Method on Two Datasets表4 基于GNN 的小樣本圖像分類學習方法在2 個數據集上的準確率 %

5 模型歸納與總結

本節從主要研究內容、關鍵技術和具體應用等方面對近幾年的基于GNN 的FSL 代表性研究算法進行了相關內容的整理，結果如表5 所示.

Table 5 Summary of Few-Shot Learning Methods Based on GNN表5 基于GNN 的小樣本學習方法總結

在GNN 中節點特征是最易獲取的信息，因此大多數算法將節點特征在圖上進行消息傳遞，從而將已知標簽的支持節點信息傳播到未知標簽的查詢節點上，利用學習到的查詢節點特征確定其類別.在基于節點特征方法的基礎上，基于邊特征的方法還需考慮邊特征的構建方法，不同于將樣本特征作為節點特征的直觀表示方法，邊緣特征的建模缺乏統一的標準.邊緣特征不僅可以表達樣本間的關系，還可以控制消息聚合的程度.因此設計合理的初始邊緣特征和邊緣特征更新網絡非常關鍵.通過計算節點間的相似度來構建邊緣特征是最簡單的方式，然而當2 個不屬于同類的樣本其特征較為相似時，此時將導致相似度引導的節點間邊特征值較大，從而導致信息發生不適當的信息聚合，因此邊緣特征的構建通常在標簽空間進行，因為標簽信息固定且對離群樣本不敏感.基于節點特征的方法旨在如何利用GNN 進行有效的節點信息傳播，基于邊緣特征的方法則關注邊緣特征的學習希望最終的邊緣特征應能反映節點間準確的關系.類似于基于邊緣特征的方法，基于節點對特征的方法旨在挖掘節點間的深層關系.不同的是，基于節點對特征的方法不采用將“邊”表示為節點關系的固有思想，而構建節點對作為“關系節點”，并將“關系節點”作為單個節點進行構圖得到關系圖.將已知的支持—支持節點對關系在圖上進行傳播，以此推理支持—查詢節點對關系，從而確定查詢樣本標簽.節點對的思想為基于GNN的FSL 方法提供了一個新思路，并在小樣本圖像分類任務上有著突出的性能.基于類級特征的方法模擬了人類能從學習中提取類級知識的行為，從實例圖上提取類級特征構建類級圖，類級特征是一類樣本抽象出的概念，利用類級知識在圖上進行傳播從而提取類內相似性和類間差異性或利用類級知識進行查詢樣本的匹配.基于類級特征的方法希望類特征能夠提煉類別的概念，從而將查詢樣本匹配給更高可信度的類.表5 中這4 類方法旨在利用不同粒度的特征進行查詢樣本的預測，本文對這4 種方法做了總結，并且比較了它們的優點和缺點.

6 應用場景

FSL 在一定程度上解決了樣本量少的問題，它能夠減少數據收集工作和計算成本，或作為模擬人類學習的墊腳石[81].因此，許多現實世界的應用程序都涉及到FSL，在許多場景中也得到了應用.

6.1 計算機視覺領域

基于GNN 的FSL 中最常用的數據集為圖像分類數據，這是因為視覺信息很容易獲取，并且得到了廣泛的研究[82].而基于GNN 的FSL 方法也已經在小樣本圖像分類數據集Mini?mageNet 和TieredimageNet等數據集上獲得了較高的準確率.因此，研究人員開始探索更多的圖像分類任務.

圖像分類任務幾乎覆蓋了基于GNN 的FSL 方法的所有應用場景，由于圖像分類問題的解決模式相對固定，解決思路相對簡單，且很多圖像分類任務都有與其相對應的圖像數據集.因此基于GNN 的FSL 方法在除?mgeNet 數據集圖像分類任務外的高光譜圖分類[20,54,83-85]、金屬表面分類[86-87]和遙感場景分類[88-89]等圖像分類任務中也取得了一定的研究進展.文獻[20]提出了一種跨領域的對偶圖FSL 框架，試圖通過將FSL 與域對齊相結合來解決跨場景高光譜圖分類任務.當目標數據出現新類時，該模型分類準確率仍能穩定在較高水平.缺陷分類對于金屬表面的缺陷檢測至關重要.而現今由于良好優化的制造技術，在工業場景中收集缺陷圖像相當困難，因此FSL 對于金屬表面缺陷檢測具有重要意義.文獻[86]提出利用圖嵌入與分布變換（graph embedding and distribution transformation,GEDT）模塊和最優傳輸（optimal transport,OPT）模塊來解決小樣本金屬表面分類任務.GEDT 模塊能夠充分利用支持集和查詢集中不同特征之間的關聯信息，保證圖嵌入結果分布的一致性.OPT 模塊以轉導的方式實現小樣本分類.場景分類是遙感技術的一項基礎性工作，具有廣泛的應用前景.隨著在數據緊急情況下滿足高方差情況的需求的增加，為大量的遙感場景進行標注可能需要耗費大量的人力，因此少鏡頭遙感場景分類研究越來越受到人們的關注，其重點是利用少量訓練樣本建立分類模型.文獻[88]提出了一種基于連續元學習原理的小樣本場景分類算法，該算法通過在元訓練或元測試階段融合來自一系列任務的更多歷史先驗知識來增強任務間的相關性.

6.2 疾病診斷領域

探究疾病預測領域的FSL 方法促進了計算機輔助技術在疾病預測領域的實際應用.一些計算機輔助技術往往基于傳統的深度學習算法，然而，由于醫學數據具有隱私保護性強以及標注成本高的特點，疾病領域的數據往往難以獲取，缺乏大型的醫學數據集.疾病診斷是疾病預測領域中一項至關重要的技術，隨著深度學習的蓬勃發展，許多計算機輔助診斷技術用于醫學疾病的診斷，根據醫學影像進行疾病診斷是計算機輔助技術最常見的一種診斷形式.醫學影像的產生來源于病例,而通常少量的病例使一些深度學習模型失效.GNN 由于其能夠融合多模態特征可以自然地將醫學影像數據和受試者表型數據同時利用起來.在疾病預測領域，利用GNN 進行節點分類或者圖分類來對受試者做出疾病預測的方法已經得到了廣泛的運用.文獻[21]提出了一種用于疾病診斷的自動度量GNN 模型，通過引入基于度量的元學習策略和設計了一個具有概率約束的GNN層進行節點多分類任務，實現獨立測試的歸納學習.該方法不僅緩解了當數據量較少時診斷準確率較低的問題，還克服了傳統節點分類方法中固定大型圖結構不適用于獨立測試的問題.

6.3 自然語言處理

除計算機視覺領域外，基于GNN 的FSL 方法在自然語言處理領域也取得了一定的進展，在自然語言處理領域中的文本分類[17-19,90-91]任務中有較多涉及GNN 的FSL 學習方法.隨著深度學習和預訓練語言模型的發展，自然語言處理領域中的各種研究方法已經取得了巨大的成功.然而，這些模型取決于訓練數據的數量和質量.由于數據稀缺和語義復雜性，FSL 在自然語言處理中仍然是一個具有挑戰性的問題.

文本分類任務與圖像分類任務同屬于小樣本分類問題，且文本數據也可以和圖像數據一樣映射到特征嵌入空間中，然后通過文本語義特征來建模樣本之間的關系.但相較于圖像數據，文本數據的表現形式更加豐富，且文本之間的關系更加復雜.文獻[90]提出了一種新的猶豫模糊圖神經網絡模型（hesitant fuzzy GNN,HFGNN）來探索樣本之間的多屬性關系，并將HFGNN 與原型網絡結合，以實現小樣本的文本分類.文獻[17]提出了一種基于多角度聚合的GNN,分別關注支持和查詢實例以及支持—查詢節點對的更新和聚合，利用GNN 將節點間關系顯式地在圖上傳播，進行文本分類.

7 存在的問題與挑戰

盡管近年來基于GNN 的FSL 已取得了一定進展，但仍面臨著6 個挑戰.

1）基于GNN 的FSL 方法遵循元學習的情景訓練策略，因此模型的訓練雖然在特定任務上只需要少量標注實例，但仍需大量訓練任務作為“訓練樣本”，這致使“小樣本學習”在一定程度上變成了偽命題，從本質上來看，與FSL 的定義背道而馳[92].因此從根本上解決訓練樣本量的問題對于未來FSL 的圖方法是一個巨大的挑戰.

2）基于GNN 的FSL 方法通過構建一系列的訓練任務作為訓練樣本用于訓練，其目的是使模型能夠解決類似的FSL 任務，這些任務構建的圖結構共享圖模型的參數.然而基于GNN 的FSL 方法中，GNN 專注于任務內節點關系的建模，忽略了任務間的高階關系.由于每個任務的樣本是隨機采樣的，即使在相同的圖構建方式下，最終構建得到的圖結構仍有特定于任務的度量范圍與特征空間，而這與GNN 模型的參數共享思想矛盾，使得在訓練過程中很難找到一個最優的元參數.如何構建適合所有任務的元GNN 模型或建立任務間的高階關系是基于GNN 的FSL 方法的一個難點.

3）基于GNN 的FSL 方法在訓練任務上訓練GNN 模型并使其能夠泛化到測試任務.雖然訓練任務與測試任務來自相同數據集，但測試任務中的類是訓練任務中未出現過的，測試任務與訓練任務的樣本特征分布跨度較大.在元學習中，訓練階段的模型應用到測試任務時，模型會在支持樣本上微調，而基于GNN 的FSL 中的圖模型將任務間的樣本統一建模為圖網絡，無法使用微調的方法，此時GNN 作為度量函數的泛化能力將面臨巨大的考驗.

4）基于GNN 的FSL 學習框架通常通過聯合元學習與特征提取器以達到特征重用和快速學習的目的，但基于GNN 的元學習分類器與特征提取器的訓練本質上是矛盾的，因為分類器需快速適應不同的任務，而特征嵌入模塊則不需要，因此這種聯合元學習和特征嵌入模塊的訓練模式亟待改變.若直接將特征嵌入模塊與元學習分類器分離，可能導致提取到的特征與特定任務所需的特征有所偏離，因此如何校準特征嵌入模塊與元學習分類器之間的特征分布差異值得考慮.

5）在FSL 的圖方法中通常將GNN 視為分類器，GNN 的本質是進行消息傳遞，將支持樣本標簽傳遞給查詢樣本，此時GNN 執行分類器的功能.此外GNN 也可以通過鄰居節點聚合學習具有代表性的節點表示.因此GNN 是否能在FSL 中執行除分類器以外的功能是值得考慮的問題.突破GNN 在整體訓練框架中僅作為分類器的固有模式對于未來FSL 的圖方法研究工作是一項挑戰.

6）GNN 不可避免地存在過平滑問題，當任務內采樣的樣本屬于同類但特征較為相似時，會導致邊權較大而發生不適當的信息聚合，此時樣本間的差異性信息可能會隨著GNN 網絡的加深被中和，節點的特征趨于一致.在基于GNN 的FSL 方法中，節點特征由于較為相似而丟失了具有區別性的信息，因此過平滑問題是模型性能欠佳的一大隱患.在節點信息發生充分交互的前提下，如何緩解過平滑問題是基于GNN 的FSL 方法的又一難點.

8 未來研究方向

由于真實世界中樣本稀缺的問題，FSL 越來越受到人們的重視.基于圖神經網絡的FSL 的分類問題已經在計算機視覺等領域有了深入的研究，通過對當前FSL 的圖方法研究進展的梳理，可以展望未來基于圖的FSL 的發展方向.

1）先驗知識的利用.現有的基于GNN 的FSL 使用預訓練的神經網絡作為特征提取模塊提取樣本特征，因此特征提取模塊仍需要大量數據用于訓練.未來可以嘗試利用其他先驗知識訓練模型，或者合理利用無標注數據.探索更多不依賴模型預訓練、使用先驗知識就能取得較好效果的方法.

2）彌合任務間的差異性.GNN 由于能夠挖掘樣本間的關系在FSL 領域展現出優秀的性能，但基于GNN 的FSL 方法僅關注任務內問題的建模，而任務間的差異不僅影響了模型最優參數的確定也使模型由訓練任務遷移到測試任務時性能大大降低，未來可以通過建模任務間的高階關系來彌合任務間的差異性，建立適用于所有任務的全局一致的特征空間和度量標準可能是解決任務差異帶來的問題的一個切入點.在基于元學習的FSL 方法中，對每個任務，元模型在支持集上微調后得到特定于該任務的模型，基于GNN 的FSL 方法可借鑒這種學習框架利用微調的方式間接地提高模型的泛化能力.

3）彌合模塊間差異性.在基于GNN 的FSL 方法中，存在GNN 模塊特征與特征提取模塊提取得到的特征分布不匹配問題，這嚴重影響了GNN 的模型效率，因此對特征提取模塊提取到的特征進行分布校準或特征對齊是解決該矛盾的有效途徑.例如可以通過高斯分布變換等方法來對分布進行校準.考慮設計合理的分布校準模塊，彌合特征網絡與圖網絡的特征分布間差異可以作為未來基于GNN 的FSL方法的突破點之一.

4）應用場景和圖結構的創新.相較于傳統的FSL方法，基于GNN 的FSL 方法性能好且可解釋性強，但其應用場景較少.在有相應小樣本數據集的條件下，探索除圖像分類外新場景中FSL 的圖方法利用是一個較佳的想法.此外如何設計創新圖網絡模型值得進一步探究.例如GNN 可以很自然地進行多模態信息的融合[93-95]，而現有FSL 的圖方法缺乏對多模態融合方法的探究，因此在未來的研究中可以考慮利用多模態信息挖掘更豐富的樣本間關系，或構建具有多模態特征的節點特征來表示更準確的樣本特征.

5）更先進的FSL 方法.基于GNN 的FSL 需要一系列任務來進行元訓練.雖然這確實反映了人類的終身學習，但在一些應用程序中，此類任務族的數據可能不可用.此外，對于某些FSL 任務，缺乏足夠的數據來構建一系列的任務.已知的無監督元學習[5,96-97]和單任務元學習方法[98-100]可以幫助緩解這種問題，未來基于GNN 的FSL 方法可結合這類更先進的元學習方法進一步地研究.此外基于GNN 的FSL 方法可以尋求與其他FSL 方法的融合.數據作為深度學習的驅動力，對于模型的訓練至關重要.因此可通過融合數據增強的方法使基于GNN 的FSL 方法得到改進.

6）跨領域的小樣本學習.在實際應用中，訓練任務中的數據和測試任務中的數據可能來自不同的數據集，而無論是傳統的FSL 方法還是基于GCN 的FSL 方法，其中訓練任務和測試任務中的數據均來自同一數據集，這限制了FSL 方法的實際應用.已知的跨域FSL 方法[101]提供了一個很好的學習框架，到目前為止，針對小樣本圖像分類的領域自適應及領域泛化方法還很少.因此，基于GNN 進行跨領域的FSL研究值得進一步深入研究.

7）前沿的圖方法應用.大部分基于GNN 的FSL方法利用GCN 模型來進行學習，而GCN 僅僅是GNN中的一個分支，未來可以考慮使用一些前沿的圖方法來解決FSL 問題.例如可以使用超圖卷積來建模更復雜的節點間關系，在多模態數據下利用超圖卷積能夠更好地探索模態間的數據關系，更好地解決FSL 問題.除超圖卷積外，還可以通過使用圖transformer[102-103]等來提升圖結構注意，在早期的FSL的圖方法中已經嘗試結合GAT 來解決單純圖模型帶來的過擬合和過平滑問題，但該方法并沒有帶來明顯的性能提升.未來可以考慮使用圖強化學習、圖transformer 等更復雜的圖模型來解決FSL 問題.

9 總結

從小樣本的概念被提出，到基于元學習的FSL方法的興起，再到GNN 被用于解決FSL 問題以及各類FSL 方法在各個領域的廣泛應用，FSL 在理論和實踐上經歷了一個從無到有、從有到優化的過程.FSL 的各類方法也在不斷地完善和發展.本文概括和提煉了目前主流的基于GNN 的FSL 方法，并對不同算法進行劃分、歸納和總結，分析了基于GNN 的FSL 的應用以及未來發展方向.基于GNN 的FSL 方法的出現為FSL 問題的解決提供了一個全新的思路.就模型性能而言，各類基于GNN 的FSL 方法已經超越了大多數過往的FSL 方法，為FSL 的研究進展做出了巨大的貢獻.即便如此，基于GNN 的FSL 方法仍有較大的改進空間.在未來研究的道路上，還有更多優秀的FSL 的圖方法出現，為實現真正的FSL 和發展人工智能技術貢獻出一份力量.

作者貢獻聲明：楊潔祎負責資料收集、文獻歸納整理、研究方案的構思和設計、論文撰寫及修訂；董一鴻提供研究思路、論文組織結構的設計、論文審閱及修訂；錢江波負責論文審閱及修訂.