一種魯棒性的少樣本學習方法

代磊超，馮 林，楊玉亭，尚興林，蘇 菡

(四川師范大學 計算機科學學院，成都 610101)

1 引 言

近年來，深度學習在圖像、語音、自然語言處理等多個研究領域取得了成功應用.但是，現有的少樣本學習模型大多需要標注足夠多的訓練數據，這個過程需要花費大量的人力與物力.而少樣本學習只需標記少量樣本，就能建立具有較高識別率的模型.因此，少樣本學習成為目前機器學習研究領域的熱點.

現有的少樣本學習方法可總結為四類：基于元學習(Meta-learning)的方法、基于數據增強的方法、基于遷移學習(Transfer Learning)的方法和基于度量學習(Metric Learning)的方法.

元學習：基于元學習的目標是訓練元學習模型，模型可以在多種不同學習任務上達到很好的效果.例如記憶增強神經網絡模型(Memory-Augmented Neural Networks)是基于神經圖靈機(Neural Turing Machine,NTM)提出的，它能在外部存儲器模塊作用下實現內容的存儲訪問[1]；模型無關自適應(Model-Agnostic Meta-Learning,MAML)使用少量迭代步驟就可得到很好的泛化性能，并且模型微調簡單，無需關心模型形式，也不需增加新的參數，直接用梯度下降進行訓練[2]；Ravi等人提出基于長短期記憶網絡(Long Short-Term Memory,LSTM)的元學習(Meta LSTM)，它學習的是一個模型參數的更新函數或更新規則，不是在多輪episodes學習一個單模型，而是每個episode學習特定的模型[3]；元網絡(Meta Net)由兩個學習組件組成，一個基礎學習器在任務輸入空間執行，一個元學習器在任務不可知元空間執行，并且配備了一個外部存儲器[4]；基于梯度下降(Stochastic Gradient Descent,SGD)的元學習(Meta SGD)可以學習更新方向和學習速率，并且可以在每個episode中進行有效的學習[5]；轉換傳播網絡(Transductive Propagation Network,TPN)在元學習框架下加入傳導機制，即標簽傳播來應對數據少的問題[6].

數據增強：基于數據增強的少樣本學習方法通過對數據集進行平移、旋轉、變形、縮放等操作，生成更多樣本以創建更大的數據集，防止過擬合[7]，例如元生成網絡(Meta Generative Adversarial Networks,Meta-GAN)為特定任務生成增強數據，以補充訓練數據[8].

遷移學習：基于遷移學習的方法智能地應用以前學到的知識來更快地解決新問題[9].通過繼續訓練來微調預訓練網絡的權重來達到遷移的目的[10]，例如Hariharan B等人提出了一個由用于特征提取和分類的學習者、表示學習階段、少樣本學習階段以及測試階段幾部分組成的深度神經網絡[11].

度量學習：基于度量學習的方法通過計算不同類別樣本特征，使相同類別的樣本彼此接近，不同樣本彼此遠離，例如原型網絡(Prototype Network)認為每個類別都存在一個原型表達，該類的原型是支持集在嵌入空間的均值[12]；匹配網絡(Matching Network)是基于記憶和注意力機制的網絡[13]；關系型網絡(Relation Network,R-Net)定義了一個由用于特征提取的嵌入模塊和用于計算相似度的關系模塊組成的模型[14]；元學習半監督少樣本學習模型(Semi-supervised Few-Shot Learning,Meta SSL)利用半監督的方式對原型網絡進行了改進[15].另外圖神經網絡(Graph Neural Network,GNN)定義了一個圖神經網絡框架，將每個樣本看成圖的節點，學習節點和邊的嵌入，通過度量學習進行分類[16].

上述模型均是在特征清晰且無噪聲的環境下訓練，以達到較好的分類目的，而在實際應用中，因為圖像采集設備、自然環境、光照、姿態等諸多因素的影響，模型所處理的圖像并不會像數據集中的圖像一樣清晰[17]，因此在噪聲的不確定環境中，模型泛化能力較弱.

為了解決這一問題，使少樣本學習更具魯棒性和可擴展性，本文提出了一種魯棒性的少樣本學習方法RFSL(Robust Few-Shot Learning,RFSL).

本文的主要貢獻如下：

1)泛化性方面，采用關系網絡的嵌入模塊提取支持集與查詢集樣本特征，根據關系模塊度量支持集與查詢集樣本的距離，端到端的訓練多個基分類器，形成異構的基分類器模型.采用投票的方式對各基分類器最末的Sigmoid層非線性分類結果進行融合.利用此方法訓練可使少樣本分類模型具有更強的魯棒性以及面對新域時更好的泛化性.

2)收斂性方面，模型采用KDE與濾波技術向訓練任務的數據集加入多種類型隨機噪聲進行訓練.此方法可模糊樣本特征，促進少樣本學習快速收斂，同時驗證噪聲參與訓練的方式能有效幫助模型形成多個異構的基分類器.

3)根據模型準確率、計算效率、魯棒性、離散度多個評價指標分析模型，從而提升研究效度.

本文的組織結構如下：第2節介紹相關理論基礎；第3節詳細介紹了本文方法；第4節是本文方法的實驗，并給出實驗結果與分析；最后對全文進行總結.

2 相關理論基礎

2.1 問題定義

為了方便敘述，用數學的形式化方法定義少樣本學習的相關基本概念.

定義1.(少樣本數據集)設數據集D為一個三元組D=(X,Y,f)，其中：

X為輸入空間，它由|X|個輸入實例{x1,x2,…,x|X|}構成.本文中，?xi∈X，xi表示輸入的圖片實例.

Y為輸出空間，它由|Y|個類標簽{y1,y2,…,y|Y|}構成.

f:X→Y為信息函數，它指定X中每一個輸入實例的類別標簽值，即?xi∈X，?yj∈Y，有f(xi)=yj成立.

?yj∈Y，若f-1(yj)={xi∈X|f(xi)=yj}，稱f-1(yj)為類標簽yj的實例集.

特別地，如果|Y|=C，f-1(yj)=K，通常當K較小時，稱D為C-way，K-shot少樣本數據集.

其中，|·|為集合的勢，i=1,2,…,|X|；j=1,2,…,|Y|.

在少樣本學習中，需要在一個大的源域數據集Ds=(Xs,Ys,f)上按一定方法抽樣生成多個C-way，K-shot少樣本數據集，然后在這些小樣本數據集上訓練分類模型，并把分類模型較好遷移到目標域數據Dt=(Xt,Yt,f)上，Ds與Dt需滿足Ys∩Yt=?.

定義2.(C-way，K-shot少樣本訓練任務、支持集與查詢集)：給定數集Ds=(Xs,Ys,f)，Str=(XS,YS,f)，Qtr=(XQ,YQ,f)，從YS中隨機抽取C個類{yj|j=1,2,…,C}，一個C-way，K-shot少樣本訓練任務定義在T=(Str,Qtr)上，滿足：

①YS=YQ={yj|j=1,2,…,C}；

②?ym∈YS，|f-1(ym)|=K；

③?yn∈YQ，|f-1(yn)|=q；

④Str∩Qtr=?.

其中，Str、Qtr分別稱為訓練任務支持集、查詢集.

定義3.(C-way，K-shot少樣本測試任務、支持集與查詢集)：給定數據集Dt=(Xt,Yt,f)，Ste=(Xe,Ye,f)，Qte=(Xh,Yh,f)從Yt中隨機抽取C個類{yj|j=1,2,…,C}，一個C-way，K-shot少樣本測試任務定義在R=(Ste,Qte)上，滿足：

①Ye=Yh={yj|j=1,2,…,C}；

②?ym∈Ye，|f-1(ym)|=K；

③?yn∈Yh，|f-1(yn)|=p；

④Ste∩Qte=?.

其中，Ste、Qte分別稱為測試任務支持集、查詢集.

定義4.(C-way，K-shot少樣本學習)：給定訓練任務集合Tasks={(Str,Qtr)}、測試任務集合Tasks={(Ste,Qte)}，C-way，K-shot小樣本學習任務是在多個訓練任務的數據上，學習一個分類函數F*，并在測試任務的支持集Ste上，學習分類函數f*=F*(Ste)，使f*完成對測試任務中查詢集的分類.其學習過程如下：

②測試階段：對測試任務集的測試任務，利用支持集Ste，生成分類模型f*=F*(Ste)，然后使用查詢集Qte完成對f*的評估.

特別地，在訓練F*的過程中，如果涉及模型超參數的調整，也可以把訓練任務集再劃分為訓練任務集與驗證任務集.

對于定義4中少樣本的定義，存在兩種特殊的情況：

當K為1時稱此任務為單樣本學習，每次訓練只給出一個類的單張圖片作為支持集，剩下的圖片作為查詢集.

少樣本學習另一種特殊情況為零樣本學習，零樣本學習并不是完全不需要訓練樣本，而是研究對于特定類訓練樣本缺失時，利用訓練集樣本和樣本對應輔助文本描述、屬性特征信息對模型進行訓練.

2.2 深度卷積神經網絡

卷積神經網絡(Convolutional neural networks,CNNs)[18]是深度學習中代表算法之一.如圖2為卷積神經網絡關鍵流程，CNNs在處理圖片這種二維結構數據取得巨大成功，它可將圖片的多層二維數據通過卷積、正則化、池化、非線性激活函數映射以及全連接網絡，提取出高層的語義特征.模型所涉及的卷積、池化以及激活函數如公式(1)-公式(4)所示.

卷積公式：定義Cov=Am×n?Bk×l為卷積操作，其中Am×n表示m×n的輸入矩陣，?表示卷積運算符，Bk×l表示卷積核(大小為k×l)，Cov表示卷積后的矩陣.?i∈[0,m)，?j∈[0,n)，得：

(1)

最大池化公式：定義P=MAP(Am×n,Bk×l)為最大池化操作，其中MAP(·,·)表示最大池化運算符，Am×n表示m×n的輸入矩陣，Bk×l表示池化核(大小為k×l)，P表示池化后的矩陣.?i∈[0,m)，?j∈[0,n)，可得：

(2)

Sigmoid函數公式：定義S=Sigmoid(i)為Sigmoid激活操作，其中Sigmoid(·)表示Sigmoid運算符，S表示激活后的數值.?i，有：

(3)

ReLU函數公式：定義R=ReLU(i)為ReLU激活操作，其中ReLU(·)表示ReLU運算符，R表示激活后的數值.?i，有：

R(i)=max(0,i)

(4)

2.3 核密度估計與圖像濾波方法

核密度估計的隨機噪聲添加方式：首先，讀入圖片得到其像素矩陣.其次，選用不同類型核函數K(·)，利用平均積分平方誤差(Mean Interguated Squared Error,MISE)確定核函數帶寬h.然后，利用該核函數對像素值做核密度估計(Kernel Density Estimation,KDE)，計算和篩選相應像素值.最后，轉化添加噪聲后的矩陣為對應圖片并輸出.平均積分平方誤差如公式(5)，核密度估計如公式(6).

平均積分平方誤差公式：定義h=MISE(x)，其中x為樣本點，MISE(·)為平均積分平方誤差操作，h為選定的帶寬值，對于核函數K(·)，對任一給定樣本點的概率密度f(x)與擬合后的核計算概率密度值f(x)，有：

(5)

(6)

圖像濾波噪聲添加方式：利用不同核的濾波器，采用圖像濾波(Image Filtering)技術對圖像像素矩陣進行卷積處理，具體步驟為：首先讀入圖片得到其像素矩陣.其次，選用不同類型濾波器卷積核并定義卷積核大小.最后，對每一像素點，將其鄰域像素與濾波器矩陣對應的元素做乘積運算，相加后作為該像素位置的值.圖像濾波公式如公式(7).

圖像濾波公式：定義K=O(i,j)為濾波操作，其中(i,j)為像素在圖片中的位置，O(·)為濾波操作，K為濾波結果.對(i,j)，給定核函數K(m,n) ((m,n)為卷積核中位置，中心坐標為(0,0))和與核函數對應像素值I(i+m,j+n)，有：

O(i,j)=∑m,nI(i+m,j+n)·K(m,n)

(7)

3 RFSL模型

RFSL模型的總體結構如圖1所示，它分為關系網絡和融合模型兩部分.本節先對兩部分內容進行介紹，然后再對RFSL模型進行詳細描述.

圖1 RFSL方法流程圖Fig.1 Flow chart of RFSL method

3.1 關系網絡

關系網絡(R-Net)[14]是一個深度卷積神經模型，其結構包括嵌入模塊和關系模塊兩部分.嵌入模塊用于特征提取，包含四個卷積層，前兩個卷積層后會有一個池化層；關系模塊用于度量圖片相似度，包含兩層卷積和兩層全連接，每個卷積層后會有一個池化層.網絡中卷積層均為64個3×3的濾波器，池化層均為2×2的最大池化.

嵌入模塊fφ和關系模塊gφ，具體網絡如圖2所示.Xi,Xj分別位于支持集Str和查詢集Qtr中，Xi,Xj輸入嵌入模塊fφ，形成兩個特征映射fφ(Xi),fφ(Xj)，然后通過算子C(fφ(Xi),fφ(Xj))結合，C(·,·)為串聯方式.將組合算子C(fφ(Xi),fφ(Xj))輸入關系模塊gφ，計算兩特征的相似度，形成0到1范圍內的標量，即關系分數.一個輸入的支持集樣本Xi和查詢集樣本Xj形成一個關系得分ηi,j，關系得分如公式(8).

圖2 嵌入模塊與關系模塊網絡結構圖Fig.2 Network structure of embedded module and relationship module

ηi,j=gφ(C(fφ(Xi),fφ(Xj))),i=1,2,…,C

(8)

目標函數使用均方誤差(Mean Square Error,MSE)損失和梯度下降訓練模型，將關系得分ηi,j結果進行獨熱編碼：匹配對相似度為1，不匹配相似度為0，均方誤差損失函數如公式(9).

(9)

3.2 融合深度神經網絡

集成學習是利用多個不同的基學習器解決同一任務，從而提高模型的泛化能力[19].集成算法需要解決的兩個問題：一是如何構建具有差異性的基學習器；二是如何進行學習器的融合.結合少樣本學習算法對數據敏感的特性，利用隨機噪聲技術訓練了一種魯棒性的少樣本學習模型.

具體訓練策略見3.3算法1.模型采用2.3節中核密度估計與圖像濾波方法添加隨機噪聲.在實驗中，做了同核不同參數的Gaussian核函數及不同參數的bilateralFilter對圖像進行雙邊濾波，發現參數的調整對實驗準確度和融合效果整體影響較小，因此選用多種類型核函數以及其他不同類型噪聲參與訓練，主要包括：Gaussian、bilateralFilter、poisson、salt、pepper、salt&pepper、spakle、pepper、blur、localvar、sharpening等.

融合階段：RFSL對基分類器最末的Sigmoid層結果采用相對多數投票法(Plurality Voting).具體做法：首先，將多個基分類器關系模塊結果的關系得分η相加，得到多基分類器Sigmoid層結合結果.然后，選擇后驗概率相對最大的類別結果作為最終結果.相對多數投票法公式如公式(10).

(10)

3.3 RFSL算法

算法1：RFSL訓練策略.C為分類種類，K為每類所取樣本個數，N為集成規模，Times為訓練次數， 為損失函數收斂閾值.

輸入：數據集D=(X,Y,f)，參數C、K、N、Times、θ.

輸出：少樣本模型Ω′.

Step 1.根據定義1，劃分數據集D為訓練集Ds、測試集Dt；

Step 2.For i=1 To N

2.2.For j=1To|Xs|

2.2.1.Xij=random_noise(Xij) //為訓練集圖片加入隨機噪聲

End For

2.3.建立并行線程Modeli，并行訓練(2.4-2.13)；

2.4.weight_init(Ω)

2.5.根據定義2，隨機劃分Ds為支持集Str和查詢集Qtr；

2.6.While(Times>0)

2.7.隨機選取支持集Str中實例XS，輸入Ω的嵌入模塊.按圖2結構計算XS特征ξ1：

2.7.1.out=ReLU(Xa?H1)

2.7.2.out=MAP(out,H2)

2.7.3.out=ReLU(out?H3)

2.7.4.out=MAP(out,H4)

2.7.5.out=ReLU(out?H5)

2.7.6.out=ReLU(out?H6)

2.8.隨機選取查詢集Qtr中實例XQ，輸入Ω的嵌入模塊.按圖2結構計算XQ特征ξ2；

2.9.拼接為聯合特征矩陣ξ，輸入Ω的關系模塊.按圖2結構計算樣本集實例與查詢集實例相似度η：

2.9.1.out=ReLU(Xa?H7)

2.9.2.out=MAP(out,H8)

2.9.3.out=ReLU(out?H9)

2.9.4.out=MAP(out,H10)

2.9.5.temp=ReLU(temp·W1)

2.9.6.η=Sigmoid(temp·W2)

2.10.η為一高維矩陣，每行中每一元素表示樣本實例與查詢實例相似度，取每行最大相似度所對應標簽類別為該樣本實例預測標簽，記樣本實例預測標簽為Y′，真實標簽為YQ；

2.11.loss=MSE(YQ,Y′)；//采用均方誤差作為關系網絡損失函數.

2.12.If(Time>0‖MSE(Y,Y′)>0)

2.12.1.Times=Times-1

2.12.2.利用梯度下降反向傳播loss值，調整Ω參數；

End If

2.13.輸出當前模型Ωi；

End For

Step 3.采用投票模型，融合基網絡模型Ω1,Ω2,…,ΩN，得最終少樣本模型Ω′；

Step 4.輸出少樣本模型Ω′，算法停止.

4 實驗及結果分析

為了RFSL方法的效果，實驗分為三個部分，即實驗1、實驗2和實驗3.實驗1將RFSL和現有主流少樣本學習方法的分類效果進行對比；實驗2分析了RFSL分類效果與集成規模N之間的關系；實驗3是探究隨機噪聲對R-Net模型的性能影響以及異構有效性的分析.

數據集：miniImageNet[20]和Omniglot[21]是研究少樣本學習算法的兩個經典的公開數據集.miniImageNet數據集最初由Oriol Vinyals等人提出，由60000張彩色圖片組成，包含100個類，每個類包含600個示例，每個類之間的分步差異性很大.Omniglot數據集包含來自50種不同字母的1623個不同手寫字符(類)，每個字符(類)包含由不同人繪制的20個樣本.

實驗方法：對于miniImageNet數據集，我們按照文獻[14]提出的拆分規則，將其分為64個、16個和20個類進行訓練、驗證和測試，16個驗證集用于檢驗模型的泛化性能.實驗中，隨機噪聲在訓練集加入，驗證集和測試集保持與對比模型相同.對Omniglot數據集，使用1200個原始類別加旋轉和隨機噪聲進行訓練，其余423個類加旋轉保持與對比實驗相同進行測試.

設置：隨機選取C個類，每個類選取K個樣本作為支持集，剩余樣本選擇q作為查詢集，支持集與查詢集見定義2、3.對于miniImageNet數據集，除了K個樣本，5-way 1-shot包含15張查詢圖片，5-way 5-shot包含10張查詢圖片.例如，5-way 1-shot每個訓練批次共需15×5+1×5=80張圖片.對于Omniglot數據集，除了K個樣本， 5-way 1-shot包含19張查詢圖片，5-way 5-shot包含15張查詢圖片，20-way 1-shot包含10張查詢圖片，20-way 5-shot需要5張查詢圖片.例如，5-way 1-shot需19×5+1×5=100張圖片.

本文實驗采用的硬件環境為NVIDIA Tesla K80 GPU顯卡；軟件環境為Linux系統、Python語言和Pytorch深度學習框架.

4.1 實驗1：RFSL方法分類效果驗證

實驗1的主要目的是測試RFSL方法的分類效果并與現有的少樣本學習方法進行了對比.具體參數的設置保持與文獻[14]相同，分C=5，K=1和C=5，K=5進行訓練并做對比實驗.同時，對Omniglot數據集增加分類難度更高的C=20，K=1和C=20，K=5兩對比實驗.

實驗步驟如下：

miniImagentNet和Omniglot數據集的分類具體對比實驗結果分別如表1、表2所示.

表1 Omniglot數據集下RFSL方法與目前主流少樣本學習方法準確率對比Table 1 Comparison of the accuracy of RFSL method and the current mainstream Few-Shot learning method in Omniglot dataset

從表1中可以看出，對于Omniglot數據集，在C=5，K=1；C=5，K=5；C=20，K=1；C=20，K=5參數設置下，RFSL方法均達到了99%以上的準確率，且均超過其他主流的少樣本算法.尤其是在難度較高的C=20，K=1參數設置下，RFSL方法準確率也能達到99.1±0.01%，比目前最好的R-Net高出約2個百分點.這說明RFSL在面對灰度圖的新域時，表現出了較好的準確率和泛化性.

miniImagentNet數據集分布差異較大，是檢驗少樣本分類器性能的重要標準數據集.從表2中可以看出，C=5，K=1設置下，模型準確率達到了(53.52±0.11)%，比R-Net(50.44±0.82%)準確率高出3個百分點，且分類準確率超出現有主流的其他少樣本方法；C=5，K=5設置下，模型準確率達到了(69.54±0.31)%，比R-Net(65.32 ± 0.70)%準確率高出4個百分點，同樣超出現有主流的其他少樣本方法.實驗結果表明，RFSL在數據集分布差別較大的miniImagentNet數據集上，取得了比目前主流分類器較好的分類性能.同時，結合表1、表2還可以看出，RFSL模型的標準差較小，說明分類結果離散度更小，分類性能更穩定，面對新域時泛化性能更好.

表2 miniImageNet 數據集下RFSL方法與目前主流少樣本學習方法準確率對比Table 2 Comparison of the accuracy of RFSL method and the current mainstream Few-Shot learning method in miniImageNet dataset

4.2 實驗2：RFSL分類效果與集成規模N的關系

實驗2的主要目的是為了研究RFSL分類效果與集成規模N的關系.從表1中可以看出在Omniglot數據集下，RFSL的準確度提升空間較小，效果不明顯.因此，我們在miniImageNet數據集上來研究RFSL分類效果與集成規模N的關系，將N從1依次增加到10，分別在C=5，K=1和C=5，K=5設置下的實驗結果進行對比.

實驗步驟如下：

Step 1.For i=1 To 10

1.2取N=i ，C=5，Times=500000

1.2.1.if(N=1)跳過算法1步驟2.2

圖3 RFSL分類效果與集成規模N的關系Fig.3 Relationship between RFSL classification effect and integration scale N

4.3 實驗3：噪聲對模型性能的影響分析

實驗3的目的是為了探究隨機噪聲對R-Net模型的性能影響以及分類器異構有效性的分析，實驗對比了添加高斯噪聲前后，模型在Omniglot和miniImageNet數據集的5-way 1-shot和5-way 5-shot實驗中訓練集損失函數值和支持集錯誤率的變化情況，模型迭代次數為70000次，前100次變化率較大，每20次記錄一次，以后每迭代200次記錄一次結果.

實驗步驟如下：

Step 1.按照算法1的實驗步驟，取C=5，K=1和5，Times=70000

1.2.輸出并保存損失值

1.4.輸出并保存損失值

Step 2.計算支持集錯誤率

2.2.輸出并保存錯誤率

2.4.輸出并保存錯誤率

實驗記錄添加高斯噪聲前后實驗損失函數值和錯誤率結果，未添加噪聲的實驗運行時跳過算法1的步驟2.2繼續運行.

實驗結果如圖4～圖7所示.

圖4～圖7主要包括Omniglot數據集和miniImageNet數據集上5-way 1-shot和5-way 5-shot實驗訓練損失函數值和支持集測試錯誤率的擬合結果，“RFSL 5-way 1-shot”和“RFSL 5-way 1-shot”為訓練時添加gaussian噪聲的結果.

1)對于Omniglot數據集，從圖4～圖5可以看出，加入噪聲對模型的損失和準確度影響并不大，在兩實驗上模型損失變化率和錯誤率的變化情況以及收斂情況基本一致.且隨著迭代次數的增加，準確度均能達到99%以上，說明在分布差異較小的Omniglot數據集上，噪聲對模型收斂和準確度影響較小.在20-way實驗中，損失函數值和錯誤率擬合結果與5-way差別不大，噪聲對模型收斂和準確度影響也較小，因此不再對其做圖表展示.

圖4 RFSL添加噪聲前后在Omniglot數據集上5-way 1-shot的損失函數值和測試錯誤率Fig.4 Loss function value and test error rate of 5-way 1-shot on omniglot dataset before and after adding noise

圖5 RFSL添加噪聲前后在Omniglot數據集上5-way 5-shot的損失函數值和測試錯誤率Fig.5 Loss function value and test error rate of 5-way 5-shot on Omniglot dataset before and after adding noise

2)對于分布差異大的miniImageNet數據集，噪聲對模型的影響比較明顯，如圖6～圖7所示，噪聲對5-way 1-shot和5-way 5-shot實驗均呈現提前收斂的趨勢；對于5-way 1-shot實驗，加入高斯噪聲后損失函數值比未添加噪聲的模型高0.01左右，模型平均準確率為46.8%，比未添加噪聲的模型低3%左右；而對于5-way 5-shot實驗，加入高斯噪聲后損失函數值比未添加噪聲的模型高0.02左右，模型平均準確率為61.8%，同樣比未添加噪聲的模型低3%左右.結合實驗1模型分類準確率和離散度情況可以得出，噪聲有助于模型更快收斂，提早達到較好分類準確率.噪聲的擾動會模糊目標特征，減弱源域遷移到目標域的過擬合，使得單個模型的損失略微升高，影響模型分類的準確度，但有利于形成與原模型異構的更適于小樣本學習的基分類器.

圖6 RFSL添加噪聲前后在miniImageNet數據集上5-way 1-shot的損失函數值和測試錯誤率Fig.6 Loss function value and test error rate of 5-way 1-shot on miniImageNet dataset before and after adding noise

圖7 RFSL添加噪聲前后在miniImageNet數據集上5-way 5-shot的損失函數值和測試錯誤率Fig.7 Loss function value and test error rate of 5-way 5-shot on miniImageNet dataset before and after adding noise

5 結 論

近幾年，少樣本學習的研究熱度逐漸上升，它可在較少的標記樣本中學習出識別率較好的學習模型.但現有少樣本學習算法在源域和目標域分布差異較大的情況下，模型泛化能力較差.且在噪聲環境中，面對新域的特征提取能力和泛化能力弱等問題.本文用形式化數學定義方法系統地描述了少樣本學習相關概念，運用隨機噪聲技術訓練出不同類型噪聲下的異構基分類器，提出RFSL的少樣本學習算法，并與現有主流少樣本學習算法進行實驗對比，結果表明，RFSL模型可促進小樣本學習快速收斂，并能有效提高模型的分類預測準確率，具有更強的魯棒性.下一步的工作將考慮將RFSL算法應用于數據標簽預測及自動標注上，進而有效減少樣本標記所帶來的巨大成本.