基于多重并聯圖神經網絡的小樣本圖像分類算法

摘" 要： 小樣本學習（few-shot learning， FSL）中，由于樣本量過少，導致了特征多樣性的降低。為了彌補特征多樣性的降低，提出通過提高模型的特征提取能力，以獲得更為充分的特征數量。利用多重并聯圖神經網絡來進行多重特征提取，使模型更充分地提取圖像特征，從而提升小樣本圖像分類任務的分類準確率。所提出的多重特征提取方法在5-way 1-shot設置下將基線的分類準確率提高了2.02%，在5-way 5-shot設置下將基線的分類準確率提高了1.98%。

關鍵詞： 小樣本學習； 小樣本圖像分類； 多重特征提取； 圖神經網絡

中圖分類號：TP273" " " " " 文獻標識碼：A" " "文章編號：1006-8228（2023）12-40-04

Multi-level parallel graph neural network based few-shot image classification algorithm

Wu Jie， Zhang Haixiang

（Room 305， School of Information Science and Technology， Zhejiang Sci-Tech University， Hangzhou， Zhejiang 310018， China）

Abstract： FSL leads to the reduction of feature diversity due to the small sample size. To compensate for this， it is proposed to obtain a more sufficient number of features by improving the feature extraction ability of the model. Multiple parallel graph neural networks are utilized for multiple feature extraction， so that the model can extract image features more fully and improve the classification accuracy of few-shot image classification tasks. The proposed multiple feature extraction method improves the classification accuracy of the baseline by 2.02% in 5-way 1-shot setting and by 1.98% in 5-way 5-shot setting.

Key words： FSL（few-shot learning）; few-shot image classification; multiple feature extraction; graph neural network

0 引言

隨著人工智能技術的不斷發展與進步，深度學習已然成為一項廣泛應用于各個領域的強大工具[1-3]。然而，深度學習的卓越性能通常需要建立在海量訓練樣本的基礎之上，當樣本量不充足時難以獲得泛化性高的模型。但是，在一些場景下，由于數據的獲取涉及成本、安全和倫理等因素，可獲取的樣本數量往往非常有限，這給深度學習帶來了巨大的考驗。為此，研究員提出了FSL，FSL模型，只需要少量的樣本就能就能訓練出性能良好的分類器，大大降低了模型訓練中人力、物力、財力和時間成本。但與此同時，由于FSL中提供的標記樣本數量有限，特征的多樣性也隨之降低。因此，本文基于基線DPGN[4]提出了多重特征提取方法來增加模型獲取的特征數量，從而彌補特征多樣性的降低，并在CUB-200-2011[5]數據集上進行了模型性能測試。本文的主要研究內容如下：

⑴ 提出一種多重特征提取方法，用于提升小樣本模型提取特征的充分性，通過在主干網絡之后并聯堆疊多個圖神經網絡來提取圖像的多種不同特征；

⑵ 通過大量消融實驗驗證了多重特征提取方法中并聯堆疊多重圖神經網絡的最佳堆疊重數為三重，并且在FSL中的5-way 1-shot設置和5-way 5-shot設置下都取得了可觀的分類準確率提升。

1 算法描述

1.1 基于圖神經網絡的多重特征提取方法

圖是由節點和邊組成的一種數據結構，通過將節點相互連接來呈現數據的關系，其本質是通過從每個節點向周圍節點傳播消息來進行信息傳播。圖神經網絡（GNN）[6]是一種將圖中節點間信息互相傳播的函數用神經網絡來表達的模型。得益于GNN強大的關系表達能力[7]，其已經成為一種廣泛使用的圖形分析方法。如圖1所示，本文提出的基于圖神經網絡的多重特征提取方法將基線位于實例傳播模塊之后的分布傳播模塊擴展成一重分布傳播模塊、二重分布傳播模塊和三重分布傳播模塊，這三個模塊以并聯的形式進行堆疊，共輸出三種不同的特征。該方法的大致流程如下：

⑴ 將主干網絡輸出的圖像的實例特征輸入到實例傳播模塊；

⑵ 實例傳播模塊將每個實例特征視為圖中的一個節點，每個節點都與其他節點通過邊相連，以構成圖。然后，利用圖神經網絡計算出每對相鄰節點特征之間的分布相似性，作為連接這對相鄰節點的邊特征，即實例特征的分布特征；

⑶ 一個分布特征通過三個并聯堆疊的分布傳播模塊后得到三個不同的特征，這便完成了一次迭代；

⑷ 將上述⑶得到三個不同的特征與本次迭代中實例傳播模塊中的節點特征融合，融合得到的新特征作為下一次迭代中實例傳播模塊中的節點；

⑸ 重復步驟⑵～⑷直到給定的迭代次數。

采用多次迭代方法的原因是：經過少量的圖神經網絡的傳播迭代后，每個節點可以獲得其鄰域節點的分布信息；而經過多次迭代后，圖中的每個節點就能繼承整個圖的拓撲結構。因此，采用多次迭代的方法可以通過圖神經網絡的信息傳播特性，計算出一個查詢樣本與所有支持樣本之間的相似性，從而獲得更高的分類準確率。在流程步驟⑶中，三個并聯堆疊的分布傳播模塊分別輸出一個特征，對比于基線只輸出單個特征，本研究提出的多重特征提取方法可以同時獲得三種不同的特征，豐富了特征的數量，提升了小樣本模型特征提取的充分性。經過大量的消融實驗證明，在不同圖神經網絡堆疊重數設置的實驗中，模型的分類準確率在重數為三重時達到峰值，因此，本研究認為三重的重級設定是最優的。

1.2 目標函數設計

在分布傳播模塊中，查詢樣本的預測類別概率計算如下：

[Pdistyj|xi=Softmaxj=1NKedistl， ij·onehotyj] " ⑴

其中，[xi]是查詢樣本，[yj]是支持集中第[j]個樣本的標簽，[Pdistxyj|xi]表示在第[x]重分布模塊中模型將[xi]預測為[yj]的概率（即[xi]被預測正確的概率），[edistxl， ij]表示第[l]次迭代中第[x]重分布模塊中連接節點[xi]和節點[xj]的邊特征（其中[xi]是查詢樣本，[xj]是支持樣本），[onehotyj]表示真實標簽[yj]的one-hot編碼形式。

在基線中僅對單個分布特征計算損失，其目標函數如下：

[Ll=LCEPdistyj|xi，" yj] ⑵

其中，[Pdistyj|xi]是通過公式⑴計算得到。

本文提出的方法中對三重分布傳播模塊輸出的三個分布特征計算損失，改進的目標函數如下：

[Ldistxl=LCEPdistxyj|xi，" yj，" x=1， 2， 3] ⑶

[Ll=（Ldist1l+Ldist2l+Ldist3l）/3] ⑷

其中，[Pdistxyj|xi]是通過公式⑴計算得到。[Ldist1l]、[Ldist2l]、[Ldist3l]分別表示一重分布傳播模塊輸出的分布特征的損失、二重分布傳播模塊輸出的分布特征的損失、三重分布傳播模塊輸出的分布特征的損失。

2 實驗設計

2.1 實驗設置

為了保證本文提出的方法與基線有可比性，本文數據集和實驗參數的設置與基線保持一致。

⑴ 數據集

CUB-200-2011數據集是一個標準的小樣本圖像分類的數據集，該數據集共有200種不同的鳥類，每個種類有大約60張不同角度和姿態下的圖片，共計11，788張圖像。其中，訓練集包含100個類別，驗證集包含50個類別，測試集包含50個類別。訓練集和驗證集共有5，994張圖像，測試集有5，794張圖像。

⑵ 主干網絡

采用ResNet12[8]作為主干網絡。主干網絡最后輸出一個128維的實例特征。

⑶ 訓練細節

為了減少過擬合，訓練前進行了一些數據增強的預處理，如水平翻轉、隨機裁剪和顏色調整（亮度、對比度和飽和度），這些操作在文獻[9]中已提及。在元訓練的每次迭代中隨機抽樣28個元任務，使用Adam優化器，初始學習率為[10-3]，每15000次迭代后學習率衰減0.1，衰減權重為[10-5]。

⑷ 評價指標

在FSL標準數據集CUB-200-2011上，以5-way 1-shot和5-way 5-shot設置對網絡進行評估。按照先前方法[10]的評估過程，隨機抽取10000個任務計算平均準確率（%）。

2.2 基于圖神經網絡的多重特征提取方法

本文提出的基于圖神經網絡的多重特征提取方法通過并聯堆疊三個圖神經網絡來提取圖像的多重特征增加了特征的數量，豐富了特征的種類，提升了小樣本模型提取特征的充分性。該多重特征提取方法中包含三個由圖神經網絡構成的分布傳播模塊，圖像的分布特征作為圖中的節點，在單次信息傳播中通過圖中的邊進行鄰域聚合，圖中的邊特征即為相鄰節點的分布相似性，在經過多次信息傳播的迭代中，每個節點便獲得了整個圖的節點的分布信息。因此，通過計算與查詢圖像相鄰的每條邊的特征，就能夠預測出查詢圖像的類別標簽。

為了證明基于圖神經網絡的多重特征提取方法的有效性，本文在CUB-200-2011數據集上以5-way 1-shot和5-way 5-shot兩種任務設置進行了大量的消融實驗。表1中包含了從一重到四重的多重特征提取方法的分類準確率數據，分別表示并聯堆疊了一到四個圖神經網絡。通過觀查表1中數據可知，模型在5-way 1-shot和5-way 5-shot兩種任務設置下的分類準確率隨著特征提取的重數的增加而逐漸提高，并且模型在三重特征提取時分類準確率都達到了最高。這表示在只有一重特征提取時，模型中的參數量不足以描述樣本的分布，因此在將一重特征提取擴展到二重特征提取，再從二重特征提取擴展到三重特征提取時，模型學習到了一個樣本的多種特征信息，改善了特征提取的充分性。然而，由于小樣本任務中標記樣本少，當模型對單個樣本進行的特征提取次數過多時會出現過擬合，導致在擴展特征提取的重數后模型性能不升反降，這就是當實驗中將三重特征提取加深成四重特征提取時模型的分類準確率下跌的原因。因此，本文最終取三重作為多重特征提取的重數。同時，表1顯示，將特征提取的重數從一重增加至三重后，模型的參數量增加了0.81M，計算量增加了0.02G，在少量的硬件資源花銷下，大幅提升了模型的分類準確率，在5-way 1-shot設置下，此方法將基線的分類準確率提高了2.02%，在5-way 5-shot設置下，將基線的分類準確率提高了1.98%。

為了驗證本文提出的多重特征提取方法不僅在基線（DPGN）上有效，并且對分類準確率的提升效果不受其他方法影響。本文向基線中添加了一種基于分割的目標定位方法后，再次測試多重特征提取方法的有效性，如圖2所示，其中圖2（a）是新的基線。表2是基于新的基線所做的一系列消融實驗。從表2中的數據可以看出，從一重特征提取到二重特征提取，再到三重特征提取時，模型在5-way 1-shot和5-way 5-shot兩種設置下的分類準確率均不斷爬升，再次驗證了本文提出的多重特征提取方法的有效性。

3 結束語

3.1 工作總結

本文提出了一種基于圖神經網絡的多重特征提取方法，通過提取多重特征來增加特征的數量，從而彌補FSL中由于樣本數量有限導致的特征多樣性不足的問題，增強了小樣本模型提取特征的充分性。本文在FSL的經典數據集CUB-200-2011上，對該方法的有效性進行了實驗驗證，在5-way 1-shot設置下，此方法將基線的分類準確率提高了2.02%，在5-way 5-shot設置下，將基線的分類準確率提高了1.98%。

3.2 未來展望

本文提出的多重特征提取方法使模型的分類準確率得到了一定提升，但仍存在一些局限性。例如：添加多重特征提取后不可避免地增加了模型的參數量和計算量；本文僅在單個數據集上驗證所提方法。因此，未來研究可以從以下兩方面著手：①利用模型剪枝、知識蒸餾等方法，采用更簡單的模型逼近復雜模型的性能，有效地降低模型參數量，減輕硬件計算量，從而更便于在實際應用中使用；②在更多的數據集上驗證本文提出的算法，以便更全面地評估算法的性能和泛化能力。

在未來的研究中，本文的研究者將進一步探索這些問題并不斷發現新的研究方向，提出更多的改進，以推動小樣本分類領域的發展和推進小樣本分類方法的落地。

參考文獻（References）：

[1] 張林朋，楊紅云，錢政，等.基于改進的VGG16網絡和遷移

學習的水稻氮素營養診斷[J].中國農業大學學報，2023，28（6）：219-229.

[2] 胡曉陽，李哲.基于卷積神經網絡和Transformer的肝臟

CT圖像分割方法[J].中國醫學物理學雜志，2023，40（4）：423-428.

[3] 晏文靖，戴建華.基于改進YOLOv3的交通標志識別[J].武漢

工程職業技術學院學報，2023，35（1）：31-35.

[4] Yang L， Li L， Zhang Z， et al. DPGN： Distribution

Propagation Graph Network for Few-shot Learning[J].IEEE，2020：13390-13399.

[5] Wah C， Branson S， Welinder P， et al. The Caltech-UCSD

Birds-200-2011 Dataset[J]. Technical Report CNS-TR-2011-001， California Institute of Technology，2011.

[6] Zhou J， Cui G， Hu S， et al. Graph neural networks： A

review of methods and applications[J]. AI Open，2020（1）：57-81.

[7] 付炳光，楊娟，汪榮貴，等.基于混合語義的圖神經網絡小樣本

圖像分類方法[J].智能計算機與應用，2022，12（12）：93-99.

[8] He K， Zhang X， Ren S， et al. Deep Residual Learning for

Image Recognition[J]. IEEE，2016：770-778.

[9] Ye H J， Hu H， Zhan D C， et al. Learning embedding

adaptation for few-shot learning[J]. arXiv preprint，2018：1812.03664.

[10] Rusu A A， Rao D， Sygnowski J， et al. Meta-learning

with latent embedding optimization[J]. arXiv preprint，2018：1807.05960.