基于語義特征傳播圖神經網絡的小樣本圖像分類算法

姜 威,汪 洋,尹 晶,朱超然

(1.長春電子科技學院,吉林 長春 130114;2.長春理工大學 計算機科學技術學院,吉林 長春 130022)

1 引 言

目前,大多數成功的深度學習架構都是基于大量的數據集。然而,在特殊的實際應用場景中,由于某些限制,只有少量數據可以使用。因此,出現了多種使用有限的數據來獲取新類別的信息即小樣本學習(Few-Shot Learning,FSL)方法。其中,Finn等人[1]提出MAML算法,該算法使用一個初始化參數,只需要少數樣本就能使得算法迅速收斂,并在遇到新問題時獲得良好的結果;但是,MAML算法需要根據不同的任務調整參數,導致訓練出來的模型容易產生過擬合。Wang等人[2]使用元學習方法根據任務動態地選擇權重,并使用權重分解方法進行計算;但是,小樣本數據集沒有相應的類別描述信息,這使得元學習表示圖像嵌入特征的能力受到影響,與其他算法相比,實驗效果并不是很理想。Oriol等人[3]使用匹配網絡構建一個端到端最近鄰分類器,通過元學習訓練模型,該分類器可以快速適應小樣本的新任務;但是當標簽分布具有明顯的偏差時,模型會變得不可用。

圖神經網絡(Graph Neural Network,GNN)是一個多層權重共享網絡,由節點和邊組成圖像模型,每個節點代表一個輸入圖像,每個邊上的權重代表不同圖像之間的關系,這種關系可以用來表示圖像間的相似度。具有圖神經網絡的FSL算法[4]將歐幾里得空間的距離度量轉移到非歐幾里得空間,將標記圖像的標簽信息傳送到查詢集圖像。Jongmin等人[5]提出的EGNN在GNN方法的基礎上,使用邊標簽預測代替節點標簽預測,使用二維邊緣特征來明確表達類別之間的相似性和差異,但是忽略了樣本的分布信息。大多數基于元學習的GNN方法關注樣本間的距離,Yang等人[6]提出的DPGN通過一對多的方式,顯式地模擬從一個實例到其他所有實例的分布關系,進一步擴展了這一思想。DPGN提出的雙圖神經網絡模型首先建立兩個圖之間的循環傳播過程,然后將距離和分布情況的關系結合起來,為小樣本分類創造一個更好的環境,但是DPGN完全忽略了細粒度分類所需要的語義特征,因此表現出較差的分類性能。Gidaris等人[7]提出了一種使用圖神經網絡去噪的自動編碼器結構,利用節點之間的連接來初始化和更新分類權重向量,但是完全忽略了圖像的語義信息。

基于語義信息的分類方法使用目標標簽信息作為先驗知識來輔助目標分類。Eli等人[8]提出Multiple-Semantics,利用多種語義信息豐富小樣本學習的信息源,更接近人類學習新事物的情況。Edgar等人[9]提出了一種變分自動編碼器,該編碼器結合圖像特征和語義特征來構建潛在特征,包含重要的多模型特征對未訓練樣本進行分類,但是獲得準確語義特征的方法是限制這些方法應用的重要因素。Tokmakov等人[10]將圖像表示分解成多個屬性,并通過添加損失函數約束來提高特征提取網絡的表示能力。Aoxue等人[11]提出的分類分級結構使用類別間的語義關系對特征提取網絡進行附加監督,并引導其學習附加的可轉移特征信息,這有助于KNN算法獲得更準確的分類結果;小樣本學習中的語義特征增強也使用語義信息來擴展數據,它編碼特征數據映射到語義空間,然后通過解碼增強信息來執行分類,結果優于圖像級的數據增強;Chen等人[12]提出了一種新的語義嵌入框架有效地使用分層分類結構來指導網絡特征學習,編碼分層類別之間的相關性,并在細粒度圖像分類上獲得更好的性能。然而,該框架需要手工標注數據集,由于手工標注繁瑣耗時,影響了其實際應用性。

針對上述存在的問題,提出了語義特征傳播圖神經網絡(Semantic Feature Propagation Graph Neural Network,SPGN),將語義特征嵌入分布圖合并到GNN中,通過循環計算方法來完成細粒度小樣本分類任務。

2 語義特征傳播圖神經網絡

語義特征傳播圖神經網絡使用GloVe[13]模型提取類別的標簽信息作為語義特征,并利用WordNet模型[14]衡量類分布的相似性,將語義特征嵌入到GNN中,從而解決了細粒度圖像特征相似性帶來的分類準確率低的問題;使用FReLU[15]函數代替GNN的ReLU激活函數。FReLU函數更適合處理視覺任務,能夠進一步提高分類準確率。另外,通過使用馬氏距離代替歐氏距離來計算樣本之間的距離,具有更好的分類性能;將高效通道注意力[16]和主干網絡ResNet-12[17]進行結合得到ECAResNet-12,在不降低通道維數的情況下,可以更好地提取圖像的特征,進一步提高GNN的分類性能。

2.1 任務定義

小樣本學習任務的目標是在僅給出少量訓練數據的情況下,仍然能夠保證訓練模型的分類精度。小樣本學習任務提供支持集S、查詢集Q和訓練圖像數據集Dtrain。N-way K-shot表示任務中包含N個類,每個類的支持集S中有K個樣本。小樣本學習任務與傳統圖像分類任務進行了比較,如圖1所示,圖1(a)表示傳統的圖像分類,在10類訓練集上訓練模型,然后使用訓練好的模型在測試集上測試準確度。圖1(b)表示小樣本分類,5-way 5-shot任務類別表示訓練集共有5種類別,每個類別支持集S有5張圖像。訓練好的模型通過測試集S在查詢集Q上測試模型的準確率,測試任務流程與訓練任務相同。

(a)傳統的圖像分類任務

2.2 ECAResNet-12

圖像特征提取的好壞直接影響圖神經網絡的分類效果。現有的ResNet-12網絡中,圖像的不同區域特征被平等對待。但是在分類任務中應該更關注前景而忽略背景。因此所提算法在ResNet-12網絡中增加了通道注意機制,構建了ECAResNet-12網絡,其結構如圖2所示。ECAResNet-12網絡能夠強化前景,以進一步提高特征提取的質量。在ECAResNet-12主干網絡中,隨著通道數的增加,特征圖的分辨率會降低。在通道注意力學習過程中,如果分辨率或者通道數過低都會導致圖像提取質量下降。因此,所提算法設置中間層的通道數為128來加入高效通道注意機制。

2.3 特征提取

語義特征傳播圖神經網絡由0～L層組成,每層包含一個基于圖像特征提取模塊和語義特征提取模塊,其中采用ECAResnet-12骨干網進行特征提取,如圖3所示。語義特征傳播圖神經網絡將圖像作為圖像特征提取模塊的初始化信息。根據圖像對應的類名,利用GloVe模型嵌入每個類的語義信息作為語義特征提取模塊的初始信息。然后根據循環計算方式,更新圖像特征提取模塊中的節點,生成每一層的圖像特征和語義特征分布圖。最后,根據圖像特征提取模塊中節點之間的距離判斷圖像間的相似程度,從而對查詢集圖像類別進行分類。

圖3 SPGN框架圖

2.3.1 圖像特征提取模塊

圖像特征提取模塊的作用是對輸入的圖像信息進行特征提取。每個圖像特征提取模塊表示為每個實例在樣本空間中的位置,其初始化方法,如下式所示,式中,gi表示為每個圖像樣本實例,fextract()表示為用特征提取的骨干網絡:

(1)

(2)

(3)

(4)

(5)

(6)

(7)

在現有的圖神經網絡中,圖像特征提取方法以及度量選擇尤為重要。現有的度量選擇基于兩個不切實際的假設:1)特征維度不相關;2)存在一致的協方差。但是馬氏距離認為不同類型的圖像可以有不同的協方差,而這些圖像的分布更接近真實的情況。馬氏距離可以處理高維線性分布數據中各維度間的非獨立同分布問題。由于小樣本學習任務中數據量較小,因此考慮不同類別圖像協方差的差異非常重要,故選擇馬氏距離來計算樣本間的距離。為了驗證馬氏距離的有效性,通過改變相似度計算的度量方法,對CUB200-2011數據集的分類結果進行比較,實驗結果如表1所示。從表1中對比分析可知,曼哈頓距離精度最低,歐氏距離的精度次之,馬氏距離精準度最高,所以證明馬氏距離更適合用于計算SPGN中類別相似度。

表1 不同度量方式的精度對比

2.3.2 語義特征提取模塊

與圖像特征提取模塊不同,語義特征提取模塊是基于語義信息生成的,先用GloVe模型對類別標簽進行矢量化,然后使用WordNet計算各模塊間的相似度。GloVe模型的語義特征擁有可加減的屬性,如公式(8)所示,式中,fg()表示經GloVe模型訓練的語義特征。語義特征可加減性便于語義信息在全樣本空間中表示,有利于在全樣本空間中擴大類之間的距離,從而提高分類性能:

fg(King)-fg(Man)+fg(woman)=fg(Queen)

(8)

(9)

(10)

(11)

(12)

m=Lowhy(x,y)

(13)

2.3.3 循環計算

語義特征提取模塊中實例之間的位置表示為不同實例在樣本空間的分布情況。經SPGN初始化后,該模型將進行循環計算并結合語義特征學習圖像特征并預測圖像的分類。

圖4 SPGN循環計算流程

(14)

(15)

FReLU是一種簡單有效的激活函數,適用于視覺任務。其通過增加可忽略的空間條件開銷來改善ReLU,比ReLU更適合于圖神經網絡。因此,使用FReLU對圖像特征提取模塊和語義特征提取模塊得到的特征進行更新合并,以循環計算的方法得到下一層的圖像特征提取模塊和語義特征提取模塊。FReLU如公式(16)所示,式中,T(x)表示簡單高效的空間上下文特征提取器,如公式(17)所示:

fFR(x)=Max(x,T(x))

(16)

T(x)=fBN(fconv2d(x))

(17)

使用FReLU作為激活函數的對比分析,如表2所示,FReLU與LeakyReLU相比,精度有一定程度的提高,從ReLU到FReLU,語義特征傳播圖神經網絡的精度提高了1.83%。

2.3.4 損失函數

語義特征傳播圖神經網絡采用Softmax函數作為分類函數,將圖像特征提取模塊損失和語義特征提取模塊損失結合作為語義特征傳播圖神經網絡的損失函數。網絡中每個節點的預測過程,如公式(18)所示,式中,P(yi|xi)表示為置信度最高的類別,xi表示為在圖神經網絡中最可能屬于的類別,yi表示為支持集中第j個樣本的標簽:

(18)

損失函數的計算包括以下幾個部分:

(19)

2)計算語義特征提取模塊的損失,如公式(20)所示,式中,Pw(yi|xi)表示為樣本xi在語義特征分布圖中最可能屬于的類別:

(20)

3)通過權重λ計算網絡的總損失,如公式(21)所示,當λ取不同值時分類精度,如表3所示:

(21)

表3 λ取值對于模型精度對比

從表3可以看出,隨著λ值的增大,分類精度逐漸提高。當λ為0.9時,可以得到最高的準確率,大于0.9時,分類準確率開始下降。語義特征傳播圖神經網絡在λ為0.9時得到最小損失值。因此,實驗將λ設置為0.9。

3 實驗與結果分析

語義特征傳播圖神經網絡在三個公開數據集上同當前其他算法進行了對比,并在CUB-200-2011數據集上進行消融實驗,進一步擴展到珍稀鳥類的應用場景中。

3.1 實驗平臺及數據集

實驗平臺操作系統為Windows10,顯卡是Nvidia GeForce GTX3060,12G顯存,CUDA版本為11.1,內存32GB,CPU為英特爾酷睿i7-11700 2.5GHz,網絡結構基于Pytorch平臺實現。實驗選取標準數據集為MiniImageNet、CUB-200-20110和CIFAR-FS0,每個數據集的圖像數量、類別數、訓練/驗證/測試集劃分和圖像分辨率的詳細信息如表4所示。

表4 所用數據集介紹

3.2 評估指標

采用分類精度作為評價標準,精度越高,則模型性能越好,隨機選取n=10000個任務,公布了平均準確率和95%置信區間,如公式(22)所示,式中,Acci表示各任務分類精度:

(22)

3.3 實驗對比分析

語義特征傳播圖神經網絡分別將ConvNet、RestNet-12和ECAResNet-12作為特征提取的骨干網絡進行對比,分別為5-way 1-shot、5-way 2-shot和5-way 5-shot,在CUB-200-2011數據集上的實驗結果,如表5所示。從表5中可以看出,SPGN在3個骨干網和3個任務下的分類精度均高于其他方法。當特征提取骨干網為ECAResNet-12,在5-way-1 shot、5-way-2 shot和5-way-5 shot任務上SPGN的準確率比DPGN分別提高了近9.0%、4.5%和4.1%。在5-way 2-shot任務下,SPGN的準確性比DPGN在5-way-5 shot下的準確性高約2%。實驗結果證明SPGN在細粒度分類中表現最好。

表5 CUB-200-2011數據集對比實驗結果

在MiniImagenet和CIFAR-FS數據集上的實驗結果,如圖6所示。其中,DPGN Conv表示為特征提取骨干網為ConvNet的DPGN,SPGN ResNet表示為特征提取骨干網為ResNet-12的SPGN,SPGN ECARes表示為特征提取骨干網ECAResNet-12的SPGN。從圖6可以看出,在MiniImagenet數據集和CIFAR-FS數據集上,SPGN在三種任務上的分類準確率均高于DPGN。此外,當特征提取骨干網采用ECAResNet-12時,其分類效果明顯優于ConvNet和ResNet-12。實驗表明,SPGN在具有較多混淆特征的數據集上表現較好,而CIFAR-FS數據集的精度低于MiniImagenet數據集,因為其可用的語義信息相比于MiniImagenet更少,導致對分類精度的影響較小。

圖6 MiniImagenet和CIFAR-FS對比實驗結果

與DPGN相比,SPGN在精度提高的前提下,計算量更小,這是因為小樣本學習是以任務為單位訓練的。對于每個任務,DPGN分布圖的第一層初始化需要大量的計算,而SPGN語義特征分布圖的第一層只需要獲得對應類別的語義特征即可,因此,初始化完成得更快。SPGN和DPGN訓練相同輪數所用時間如表6所示,在相同的訓練輪數下,SPGN比DPGN需要的計算量要少得多。

表6 SPGN與DPGN訓練時間對比

同時,相比于訓練輪數,如圖7(a)所示,SPGN的損失收斂速度明顯快于DPGN,說明SPGN在總體訓練時間上更優。從實驗中可以看出SPGN在12000輪收斂,SPGN的收斂速度更快,而DPGN需要至少15000輪才能收斂并降低學習率。實驗嘗試在12000輪下降低DPGN的學習率,但實驗結果表明DPGN的準確率卻降低了約2%,如圖7(b)所示,與DPGN相比,SPGN收斂速度更快且準確度顯著提高。由于SPGN模型在計算開銷和精度方面都超越DPGN模型,證明其在實際應用中具有推廣前景。

圖7 SPGN和DPGN收斂速度及模型精度圖

3.4 消融實驗

為了驗證本文創新點的有效性,將所提方法在CUB-200-2011數據集和CIFAR-FS數據集上進行5-way 1-shot任務的消融實驗結果如表7所示。從表7中可以看出,在SPGN中加入語義特征提取模塊后,兩個數據集的分類準確率分別提高了7.23 %和2.1 %;相似度計算方法采用馬氏距離后,使得分類精度提高了0.4 %;FReLU激活函數也提高了模型的分類精度,最后,通過將ECA注意模塊集成到ResNet-12中,使得模型精度提高了1.2 %。從實驗結果可以看出,對于這兩個數據集,所提算法的四個創新點都進一步提高了模型的分類精度。

表7 所提算法消融實驗

3.5 珍稀鳥類小樣本分類

為了證明SPGN在實際應用中的巨大潛力,增加一個將訓練后的SPGN應用于特定珍稀鳥類分類的例子。選取鳥類棲息地的珍稀鳥類7種,如圖8所示,其中上半部分屬于2種鸛類,下半部分屬于5種鶴類。從圖8中可以看出,盡管這些鳥屬于不同的類別,但它們之間的相似性非常高。如果不是專業的鳥類學家,普通人很難區分這七種鳥類。與常見的圖像分類問題相比,細粒度分類面臨的圖像具有更相似的外觀特征,此外,細粒度數據集中存在姿態、光照、視角、遮擋、背景等干擾因素,導致類間差異小、類間差異大的特點。

圖8 特定珍稀鳥類分類圖

通過使用類別標簽,SPGN可以首先增加鸛類與鶴類的距離,從語義信息來看,鸛類與鶴類的距離將大于其子類別之間的距離。其次,在鶴類或鸛類的子類別中,語義信息也可以根據類別標簽進一步劃分。最后,將圖像特征嵌入到圖神經網絡中,借助語義特征對鳥類進行分類。

該示例包含了7種鳥類的350張圖像,使用在CUB-200-2011數據集上訓練的SPGN模型,通過7-way 1-shot任務來測試這個示例。在這個實驗中,SPGN在7-way 1-shot任務上的準確率是82.45 %,而DPGN模型的精確度為72.14 %,而且證明了語義信息可以在不需要人工標記的情況下獲得,這個例子說明了SPGN在實際應用中的巨大潛力。

4 結 語

在本文中提出了語義特征傳播圖神經網絡,實驗表明,所提算法在細粒度小樣本學習中取得了先進的結果。與基線模型相比,5-way 1-shot任務精度提高了近9 %。同時,可以看到語義特征分布傳播圖神經網絡在CUB-200-2011數據集上的精度比其他兩個數據集有更大的提高。CUB-200-2011數據集是一個細粒度數據集,包含200種鳥類,類別之間有很大的相似性,語義特征和圖像特征的融合可以在該應用場景中發揮更好的作用。在使用語義信息時,語義特征傳播圖神經網絡使用GloVe模型提取語義特征,大大提高了該方法的實用性。語義特征傳播圖神經網絡在珍稀鳥類分類中的應用表明,該網絡模型在實際應用中是靈活可行的。在未來的工作中,將進一步探索改進在細粒度小樣本學習中嵌入語義信息的不同方法,以提高語義信息對分類精度的影響。