基于信息對齊的半監督少樣本學習方法

廖凌湘，馮 林，劉鑫磊，張華輝

(四川師范大學 計算機科學學院，四川 成都 610101)

0 引 言

現有的少樣本學習方法大多存在以下兩個問題：①在目標域和源域數據分布差異不大的情況下，實驗效果都取得了較好的成績，但當目標域和源域分布差異較大，會導致過擬合，分類準確率不高，泛化能力差等問題。②當輸入樣本經由特征提取網絡得到特征向量，可能會導致嚴重的模糊，因為可識別類的顯著特征可能在圖像上的任意一個位置，因此圖像上的顯著特征可能會與另一個圖像上的其它位置的不顯著特征進行對比。如圖1所示，兩張圖片屬于同一個類，但關鍵物體(動物)，在圖像上不同位置，如直接采用距離度量，就會導致分類錯誤。

圖1 特征提取模糊示例

針對以上問題，提出一種基于信息對齊的半監督少樣本學習方法(FSL-SIA)。本文主要貢獻如下：

(1)采用自訓練半監督的方法，通過引入未標注的數據樣本輔助模型訓練，即通過分類模型對未標注的數據集進行預測，將預測概率最大的類別對未標注的數據樣本進行標注，將這種偽標簽的數據集和源域數據集對模型進行協同訓練，以此提升少樣本學習模型的泛化能力。

(2)利用類原型空間的思想和注意力機制，使查詢圖片和支持圖片上具有相同信息的局部區域信息對齊，以此解決少樣本學習中特征提取網絡得到的特征向量的模糊性問題。

(3)根據FSL-SIA模型在少樣本領域的經典數據集上的實驗，分析模型的跨域適應性、分類準確率和分類穩定性，研究表明，相比關系型網絡[1]等主要方法的準確率均有提升。

1 理論基礎

現有的少樣本學習方法，可分為4類：

第一類是基于數據增強的方法，常用的方式有使用生成對抗網絡來擴充訓練數據；第二類是基于微調(fine-tu-ning)的方法，事先在大規模的數據集上做預訓練模型，然后對目標數據集上對網絡模型的全連接層進行參數微調，得到微調后的模型，在真實場景和實驗中，目標數據集和預訓練的數據集往往分布并不相近，采用微調的方式容易導致過擬合；第三類是基于元學習(meta-learning)的方法，它的主要思想是讓機器學會學習，讓模型學習到模型訓練之外的元知識[2,3]；第四類是基于度量學習的方法。在數學定義上，度量指的是元素之間的距離函數，通過確定的距離函數計算兩個樣本的距離，從而度量樣本間的相似度[4]。

1.1 少樣本學習

目前主要針對少樣本學習問題，以任務task為基本單元，由多個meta-training任務訓練一個模型F， 使F可以快速適應到少樣本的新任務上。下面，以元學習中的監督學習為例，采用數學定義形式化的方式來闡述與本文相關的元學習定義。

設X為輸入實例的特征空間。

定義1 meta-learning數據集：

一個meta-learning任務集Υ由多個meta-training任務Γtr與多個meta-test任務Γte組成，滿足：

(1) Γtr, Γte～p(Γ)；

(2) Γtr∪Γte=Υ, Γtr∩Γte=?；

(3) ?Γi,Γk∈Γtr, Γi≠Γk。

定義2 meta-training支持集與查詢集：

定義3 meta-test支持集與查詢集：

(4)Ste∩u=?。

定義4 C-way K-shot數據集：

(1) |S|=C；

(2) |Z(y)|=K。

其中， |·| 為集合的勢。

定義5 C-way K-shot元學習：

給定任務集合Γ={Γtr,Γte}， 元學習通過兩個階段的訓練完成使模型適應任務分布p(Γ) 的目的。

特別地，在訓練F*的過程中，如果涉及模型超參數的調整，可以把訓練任務集再劃分為訓練任務集與驗證任務集。驗證任務集可用于模型超參數的調整，也可用于對模型的初步評估，并監控模型是否過擬合。

1.2 注意力機制

計算機視覺中的注意力機制的基本思想是要模型學會注意力，能夠忽略無關信息而關注重點信息，為信息處理提供了便利[5]，可以幫助模型對輸入的每個部分給予不同的權重，增強更加關鍵和重要的信息，對模型做出更加準確的判斷[6]。

Fusheng Hao等[7]提出一種收集與選擇的策略，利用卷積神經網絡對圖像特征進行收集，通過可變注意力對收集到的特征進行選擇，以提高分類模型的準確率。Ilse等[8]使用嵌入級別的注意力方法，將兩層全連接的神經網絡嵌入到模型的輸出，用神經網絡確定注意力權重的加權方式，令H={h1,h2,…,hi} 表示輸入到神經網絡的向量，ai表示神經網絡的參數，則可以表示為

(1)

(2)

其中，ω∈L×1,V∈L×M。

如圖2所示本文使用基于激活的嵌入級注意力機制提取支持集和查詢集信息相關區域的特征，以實現信息對齊。

圖2 自適應權重分配模塊

1.3 半監督學習

區分有監督學習和無監督學習，是通過輸入樣本是否有監督信息，即輸入樣本是否有類的標簽。半監督學習是有監督和無監督學習的結合[9]，輸入數據里中包含有標記數據集和未標注數據集。

Li等[10]提出一種半監督元學習方法，采用自訓練模式標記無標簽數據，通過軟權重網絡(SWN)為偽標簽添加權重。David等[11]提出混淆匹配半監督學習模式，用熵正則化和偽標簽思想對模型進行一致性調整。

以半監督學習過程為例，先使用有監督的數據估計出先驗概率P(Ci)， 再估計出每一個類有標記數據的分布P(x|Ci)， 確定數據的分布是協方差矩陣的高斯分布，那么需要估計出μi之后就可以估計某個數據屬于某一個類的概率，以二分類問題為例，有監督學習的計算公式如下

(3)

半監督學習[12]的前面部分操作與有監督學習的操作相同，以二分類問題為例使用有監督的數據xr估計出P(Ci) 和μi， 使用未標記數據集xu對得到的模型參數θ重新估計，估計過程按照EM思想分為兩步：①根據參數θ計算出無標記數據的后驗概率Pθ(C1|xu)， ②更新模型參數θ

(4)

(5)

其中，N為全部的樣本數量，N1為屬于C1的樣本數量。

本文采用一種偽標簽的半監督學習方法，對未標注的數據通過預測值為其標注偽標簽，設置超參數減弱偽標簽所帶來噪聲的影響，在偽標簽數據集的幫助下和有標注數據的協同訓練分類模型和提高模型的魯棒性。

2 FSL-SIA模型

FSL-SIA模型的流程如圖3所示，分為特征提取模塊、信息對齊模塊、關系模塊和半監督輔助4個部分。本章首先對特征提取模塊、信息對齊模塊、關系模塊3個部分內容進行介紹，再對FSL-SIA模型算法進行詳細描述，FSL-SIA算法策略如算法4所示。

圖3 自適應權重分配模塊FSL-SIA流程

2.1 特征提取模塊

將經過預處理的數據集按照定義2對其進行劃分，輸入到四層卷積神經網絡提取特征向量，特征提取過程如算法1所示。

算法1：特征提取

輸入：meta-training任務集Γtr

輸出：特征向量Vx={Vxs,Vxq}

(2)隨機初始化特征提取網絡參數

(3)fori=0in|X×Str|do:

(4)根據式(6)得到通過特征提取網絡后的特征向量Vx

(5)Endfor

(6)輸出特征向量Vx

表1 特征提取網絡結構

Vx=AP1(cv4(cv3(MP2(cv2(MP1(cv1(x,ω1)),ω2)),ω3),ω4))

(6)

其中，Vx表示圖像的特征向量，cv1,cv2,cv3,cv4表示卷積層，ω1,ω2,ω3,ω4表示卷積核，MP1，MP2表示最大池化層，AP1表示平均池化層。

2.2 信息對齊模塊

為了將不同區域內的顯著信息進行對齊，提出一種信息對齊模塊，該模塊包含兩個小部分特征對齊，聯合關系矩陣，其過程如算法2所示。

算法2：信息對齊模塊

輸入：特征向量Vx={Vxs,Vxq}

輸出：聯合關系矩陣Vjoint

(1)fori=0in|Vxq|do:

(2)forj=0in|Vxs|do:

(3)根據式(7)、式(8)對Vxs和Vxq求原型表達

(4)根據式(9)、式(10)，得到信息向量Vixs,Vixq

(5)將Vixs,Vixq根據式(11)、式(12)進行平鋪

(6)平鋪后的向量VIxs,VIxq根據式(13)、式(14)、式(15)計算重新加權后的聯合關系矩陣Vjoint

(7)Endfor

(8)Endfor

(9)輸出Vjoint

(7)

(8)

其中，Tq=|Str|。 得到基準向量后，采用特征向量和基準向量相減的方式進行對齊，得到支持集信息向量Vixs和查詢集信息向量Vixq。 根據式(6)、式(7)和式(8)，有

Vixs=Vxs-Vmeanxs

(9)

Vixq=Vxq-Vmeanxq

(10)

聯合關系矩陣：聯合關系矩陣目的是將不同信息向量整合在一起，以便于關系網絡對查詢集數據進行分類，如何構建高效的聯合關系矩陣是本文的重點和難點。首先，為了提高信息向量對圖像實例的表達效果，提升模型效能，根據Zagoruyko等[13]提出的辦法，將Vixs,Vixq信息向量通過向量內叉乘的方式得到其平鋪表達。根據式(9)和式(10)，有

VIxs={C,H*W}

(11)

VIxq={C,H*W}

(12)

其中，VIxs轉化為平鋪表達后的支持集信息向量，VIxq轉化為平鋪表達后的查詢集信息向量。然后，針對平鋪表達后的信息向量，利用矩陣相乘的方式得到聯合矩陣。根據式(11)和式(12)，有

Vjoint=Matmul(VIxs,VIxq)

(13)

其中，Vjoint表示聯合矩陣。為了得到在傳遞關系過程中更加高效的聯合關系矩陣，本文利用注意力機制，計算多個感受野下的聯合關系矩陣。針對支持集中不同的信息向量，通過感知機網絡為信息向量設定不同的權重，增強關鍵信息區域的權重，減弱無關信息的權重，得到不同的注意力值。根據式(9)和式(10)，有

Attention=MLP(Vixs,Vixq)

(14)

其中，Attention為注意力值。利用注意力值對聯合矩陣進行仿射變換得到不同感受野(不同注意力值)下的聯合關系矩陣，根據式(10)和式(14)，有

Vjoint=Attention*Matmul(VIxs,VIxq)

(15)

其中，Vjoint表示不同感受野下的聯合關系矩陣。對不同感受野下的聯合關系矩陣求和取均值得到最后的聯合關系矩陣。根據式(15)，有

(16)

其中，Vjoint表示不同感受野下的聯合關系矩陣，m表示感受野個數(支持集類別數量)。

2.3 關系模塊

關系模塊是由輸入層、輸出層和兩層隱含層的四層感知機，通過感知機計算支持集樣本和查詢集樣本的相似程度。取出與查詢集樣本相似程度最高的類別標簽作為當前樣本的預測標簽。關系模塊如算法3所示。

算法3：關系模塊

輸入：聯合關系矩陣Vjoint

輸出：預測標簽Y1

(1)將Vjoint輸入到四層感知機根據式(17)得到相似度分數Score

(2)根據式(18)選取相似度分數Score最高的作為Vxq的預測標簽

(3)輸出預測標簽Y1

FC1、FC2、FC3、FC4表示為4個全連接層，連接權重為W1、W2、W3、W4。偏置為b1、b2、b3。其表示為

Score=FC4(W3FC3(W2FC2(W1FC1(Vjoint)+b1)+b2)+b3)

(17)

其中，Score是經過關系模塊后，查詢集樣本Vxq與支持集樣本Vxs的相似度分數

Y1=Argmax(Score)

(18)

如式(15)所示選擇與查詢集樣本Vxq相似度得分最高的支持集樣本Vxs的標簽作為Vxq的預測標簽

(19)

通過式(19)將預測的標簽與查詢集樣本Vxq的真實標簽進行交叉熵，使用交叉熵損失函數計算出Loss1。

2.4 半監督訓練

設信息對齊模塊為I()， 關系模塊為R()， 半監督任務集為Task，半監督任務是指通過無標注的數據集協助訓練模型。半監督訓練過程與有監督訓練相似。其表示為

Score′=R(I(Task))

(20)

將驗證集數據無標注數據集輸入到預訓練后的信息對齊模塊和關系模塊，得到一組相似度分數。根據相似度得分最高的位置對數據進行預測，為數據標記偽標簽。表示為

Y′=Argmax(Score′)

(21)

再將已經標記偽標簽的數據輸入到信息對齊模塊和關系模塊中，得到Y2， 將其與Y′如式(21)所示，計算出偽標簽數據的半監督損失，并通過梯度下降法繼續訓練網絡參數

(22)

Losstotal=Loss1+λLoss2

(23)

其中，λ為協同訓練系數，后續將在實驗部分對協同訓練系數λ進行討論。

2.5 FSL-SIA模型算法描述

算法4：FSL-SIA模型策略。

輸入：meta-learning任務集Υ，以及參數C、K、λ、epsiodes；/*根據定義4，C表示分類種類，K表示類別中的樣本數，epsiodes模型訓練次數，λ表示協同訓練次數。

輸出：FSL-SIA分類模型Ω與分類精度。

步驟2 隨機初始化模型Ω中各網絡層參數；

步驟3

forkinepsiodesdo:

(4)根據式(7)、式(8)、式(9)、式(10)的方法，對Vxs和Vxq進行信息對齊得到對齊后的向量，記為VIxs，VIxq。

(5)將VIxs，VIxq根據式(14)和式(15)，計算重新加權的聯合矩陣Vjoint。

(6)將Vjoint送入到關系模塊，根據式(17)計算每一個Xs和Xq的相似程度，即Score

(8)取Score′中每行最大的相似度得分作為對應半監督樣本圖片的預測標簽。

(9)利用式(19)和式(22)計算損失L1和L2

(10)根據梯度下降算法反向傳播L1+λL2， 調整模型的參數

Endfor

步驟4 選取meta-test數據集，進行(2)到(6)，根據Score進行預測，得到分類精度。

步驟5 輸出分類模型Ω與分類精度。

3 實 驗

為了驗證FSL-SIA的效果，設計了如下4個部分實驗：①與現有主流的少樣本學習算法的對比實驗；②不同尺寸圖片的對比實驗；③分析協同訓練系數λ對FSL-SIA分類能力的影響；④消融實驗。

3.1 模型對比

實驗1的目的通過與現有主流的少樣本學習算法的實驗對比來測試FSL-SIA模型的分類性能。

對于Omniglot數據集，設定5way-1shot、5way-5shot、20way-1shot、20way-5shot問題定義。實驗參數與結果見表2，從表中可以看出FSL-SIA的準確率在Omniglot數據集下上升空間有限，在20way-1shot提升1.6%，驗證FSL-SIA在面對灰度圖目標域時，具備良好的泛化能力，對于目標域也表現出較好的準確率。

表2 Omniglot數據集下與主流少樣本學習方法對比/%

對于miniImageNet數據集，FSL-SIA模型的準確率在5way-1shot問題下達到了62.11±0.69%，且在5way-5shot問題下達到80.19±0.41%，比Relation Networks的準確率分別高出了11.67%和14.77%，也均超過了其它主流的少樣本學習方法，且實驗驗證FSL-SIA模型通過信息對齊模塊可以更有效拉近源域與目標域之間特征分布的距離，使得模型具有較強的魯棒性與泛化性。相比于Relation Networks和Pro-networks直接比較兩者關系或者計算出在原型空間上的歐氏距離，FSL-SIA模型通過關系模塊和信息對齊的方式可更精確區別不同類別間的差異性。實驗參數設置見表3，訓練次數epsiodes=60 000，學習率=0.001，根據定義4分別設置5way-1shot和5way-5shot兩組實驗。

表3 miniImageNet數據集下與主流少樣本學習方法對比/%

其中：所有方法均采取4層卷積結構作為特征提取網絡，準確率A±B%，A代表多次測試過后的均值，B為標準差。

3.2 image

實驗2的主要目的研究不同尺寸的大小對FSL-SIA模型分類效果的影響。為了更充分利用本文中的信息對齊模塊，將miniImageNet數據集裁剪為尺寸大小224×224的圖片，并沒有對數據集進行擴充。為了作公平的比較，也將數據集裁剪為尺寸大小84×84的圖片。將尺寸大小84×84的圖片輸入到FSL-SIA模型中與Relation Networks和SAML進行了比較，見表4，實驗驗證我們從圖像尺寸的增加中，使得FSL-SIA模型在信息對齊模塊和半監督訓練獲得收益更多，圖像尺寸越大，在信息對齊模塊中使查詢集和支持集的圖片在不同感受野下重疊區域越小，使兩者個體獨立性更強。

表4 不同尺寸圖片對比/%

3.3 半監督參數

實驗3的目的是研究協同訓練系數λ對FSL-SIA模型分類能力的影響，我們采用miniImageNet數據集研究訓練系數λ對模型的分類的作用。對于少樣本5way-1shot的問題λ的取值為0.0、0.1、0.2、0.3、0.4、0.5。實驗步驟如下：

步驟1foriin[0.0,0.1,0.2,0.3,0.4,0.5]:

令λ=i， 按照2.5節算法4步驟，輸出FSL-SIA分類模型Ω的準確率；

步驟2 記錄不同λ下的分類準確率，選擇出最優λ。

實驗結果如圖4所示，λ的取值從λ=0.0開始，分類的準確率緩緩上升，在λ=0.3時達到峰值，分類能力達到最優，當λ=0.4到λ=0.5時，模型分類精度迅速下降。

圖4 系數λ對1-shot模型的影響

對于少樣本5way-5shot的分類問題，協同訓練系數λ的取值為0.0、0.1、0.2、0.3、0.4、0.5、0.6。實驗步驟如5way-1shot的問題相同，實驗結果如圖5所示，當λ=0.0開始模型精度緩緩上升，當λ=0.5時模型分類達到最優，當λ>0.5時，模型分類精度迅速降低。

圖5 系數λ對5-shot模型的影響

通過兩組實驗結果，協同訓練系數λ對FSL-SIA模型分類能力具有一定的影響，λ的值過小可能對模型的分類效果提升不大，而過大的λ會對模型產生消極的影響，故λ是一個經驗值，選擇合適的λ值對模型的分類能力有著舉足輕重的作用。實驗結果表明， ?λ∈(0.3,0.5) 能使FSL-SIA模型的分類能力取得不錯效果。

3.4 消融實驗

實驗4的目的是為了驗證信息對齊模塊和半監督輔助訓練對于模型的作用，在miniImageNet數據集下采用控制變量法進行消融實驗。實驗結果見表5，①在只有半監督輔助訓練的情況下，模型分類精度在5way-1shot的問題下相比于Relation Networks提升了5.11%，在5way-5shot的問題下分類精準提升了6.87%。②僅在信息對齊模塊的作用下，在5way-1shot的問題下的模型分類精度相比于Relation Networks提升了7.88%，在5way-5shot的問題下分類精準提升了8.89%。

表5 消融實驗對比/%

實驗驗證，信息對齊模塊和半監督輔助訓練分別單獨作用于模型對分類精度的提升是顯著的，當兩者結合在一起，在5way-1shot的問題下分類精度可達62.11%，在5way-5shot的問題下分類精度可達80.19%，由此可見，兩者共同作用FSL-SIA模型，可有效的幫助少樣本分類任務。

其中#代表只有半監督輔助訓練時的分類準確率。*代表只包含信息對齊模塊的分類準確率。

4 結束語

從數據集上可知，能區分類別的主體部分可能在圖片上的任一位置，因此直接計算圖片的特征向量之間的距離可能會導致嚴重的歧義，原因是錯誤地比較圖片見的信息不相關的局部區域。

本文針對遇到的問題，提出一種信息對齊的方式，將局部區域的顯著信息對齊，然后利用注意力技術來選擇和放縮信息相關的局部區域對。

另外采用偽標簽的半監督訓練方式協同整個模型的訓練。實驗結果表明FSL-SIA模型可行性，對于少樣本學習分類任務具有更高的分類精度和泛化能力，在基準數據集上的大量實驗驗證了FSL-SIA模型與目前主流的少樣本學習算法的優勢。