一種半監督對抗魯棒模型無關元學習方法

胡彬，王曉軍，張雷

（1.南京郵電大學 計算機學院，南京 210023；2.南京郵電大學 物聯網學院，南京 210023）

0 概述

近年來，深度學習技術利用大數據在圖像分類、語音識別等領域取得顯著成果，這些技術需要大量帶標注的高質量數據，但在某些現實場景中，有些類別只有少量數據或少量標注樣本數據。少樣本學習（Few-Shot Learning，FSL）［1］的目標是設計一個只需少量樣例就可以快速認知新任務的模型，但是，基于梯度下降的優化算法在被應用于少樣本學習時會失效，可能的原因有［2］：少樣本學習問題的訓練數據量較小，在模型訓練中參數更新次數受到限制，傳統基于梯度優化的算法（如ADAM［3］、Adagrad［4］等）無法在這種情況下尋找到最優參數；對于每個數據集，網絡參數必須從隨機初始化開始，這嚴重影響了網絡優化速度。為緩解上述問題，文獻［5］總結了基于模型微調［6］、基于數據增強［7-9］和基于遷移學習［10-12］的三類方法。其中，遷移學習的主要思想是利用舊知識來學習新知識，并將已經學會的知識很快地遷移到一個新的領域中。遷移學習由于只需源領域和目標領域存在一定關聯，就能實現知識在不同領域之間的遷移，因此成為目前主流的應用選擇之一。

元學習（Meta-Learning）是基于遷移學習的一種解決方案，其目的是“學會學習”（Learning to Learn）［13］。元學習希望從大量相似的小任務中學習一些元知識，并使用這些元知識來指導模型快速適應新任務。一些元學習算法在少樣本學習中取得了較好的效果，如FINN等［14］在2017 年提出的模型無關元學習（Model-Agnostic Meta-Learning，MAML）算 法。MAML 算法以神經網絡為基礎模型，在大量相似任務中進行元學習，以找到對各任務都較為通用的初始化參數，MAML 訓練出的模型也被稱為元模型。當新任務來臨時，僅用少量標注訓練樣本微調元模型，便可讓損失函數快速收斂，以使模型適應新的學習任務。MAML 不僅可以用來解決少樣本分類問題，還可用于強化學習、回歸等問題。但是，GOLDBLUM等［15］發現MAML 等元學習器的對抗魯棒性較弱，很容易受到對抗樣本的影響，尤其是一些惡意設計的對抗擾動，能夠讓自動駕駛失效［16］，讓目標檢測或人臉識別系統失靈等［17］，如果系統無法應對，會造成極大危害。

YIN等［18］發現將干凈樣本與對抗樣本簡單混合后，采用MAML 訓練元模型時該模型并不能有效工作，于是提出對抗元學習（Adversarial Meta-Learner，ADML）算法。ADML 的關鍵思想是利用干凈樣本與對抗樣本之間的相關性，使任務訓練和元更新相互對抗，以改善模型魯棒性，但是，這種交替訓練網絡的方式，使得ADML 的訓練代價昂貴。在另一項工作中，GOLDBLUM等［15］將對抗訓練與MAML 相結合，提出對抗性查詢（Adversarial Querying，AQ）算法，在訓練時使用快速梯度符號方法（Fast Gradient Sign Method，FGSM）［19］生成對抗樣本，測試時使用投影梯度下降（Projected Gradient Descent Attack，PGD）算法［20］生成對抗樣本。然而，AQ 僅在有監督下工作，對于如何利用未標注樣本則沒有進一步研究。

WANG等［21］提出魯棒增強模型無關元學習（Robustness-promoting MAML，R-MAML）算法，將AQ 考慮為R-MAML 的一種特殊情況，其半監督版本R-MAML-TRADES 將額外的未標注數據引入元學習以提升元模型的對抗魯棒性。但是，REN等［22］認為將未標注數據引入元學習中，應當考慮兩種場景：一是每個任務中的未標注樣本與同一任務的已標注樣本具有相同的類分布；二是該任務中的部分未標注樣本不屬于訓練集中任何一類，未標注數據包含了在標注訓練集中未見過的類。

R-MAML-TRADES 在引入未標注樣本時，隱式地假設每個未標注樣本與當前任務中的已標注樣本屬于同一組類，即場景A，這種假設在現實場景中難以成立。REN等［22］針對上述兩種場景，擴展原型網絡（Prototypical Networks）算法［23］，提出掩碼軟聚類（Masked soft K-Means）算法，將未見過類未標注樣本作為干擾項剔除，但其沒有考慮元學習器的對抗魯棒問題。

本文針對模型無關元學習算法與半監督對抗元學習存在的不足，提出一種半監督對抗魯棒模型無關元學習（semi-supervised Adversarially Robust Model-Agnostic Meta-Learning，semi-ARMAML）算法進行模型訓練，該模型僅使用少量標注數據訓練迭代即可快速適應新任務。具體地，本文提出一種有效的對抗魯棒正則化元學習方法，在微調過程與元更新過程的目標函數中均引入對抗魯棒正則項，以提高元學習器的對抗魯棒性能。在元更新過程的目標函數中引入基于信息熵的任務無偏正則項，從而緩解元模型在訓練過程中出現過擬合的問題。在元更新過程的目標函數中還使用未標記的集合來計算對抗魯棒正則化項，并允許未標注數據包含標注訓練集中未見過的類，以獲得更為通用且對抗魯棒的元模型。

1 semi-ARMAML 算法

本文semi-ARMAML 算法的目標是采用半監督學習與對抗訓練的方式來訓練一個模型，該模型僅使用少量標注數據訓練迭代即可快速適應新任務，并且還擁有較高的對抗魯棒性能，在半監督場景B下同樣適用。

1.1 問題定義

假設任務Ti是一個從任務分布p(T)中取樣的NwayK-shot 分類任務，每個任務數據集中共有N個類別，每個類別只有K個標注樣本。任務Ti被劃分為支撐集（support set）和查詢集（query set）。為簡單起見，將元模型表示為由θ參數化的函數fθ(x)，其將輸入樣本x映射到離散標簽y∈{1，2，…，N}上。

數據集D來自一個任務分布p(T)，其類別被劃分為3 個類別集合，分別為訓練集類集合Ctrain、未見過類集合Cunseen與測試集類集合Ctest，3 個類集合不相交。將數據集D也劃分為3 個集合，分別為訓練集Dtrain={(x，y)|x∈D，y∈Ctrain}、未見過類訓練集Dunseen={(x，y)|x∈D，y∈Cunseen} 與測試集Dtest={(x，y)|x∈D，y∈Ctest}。為構建任務Ti的訓練集，首先從Ctrain中抽取包含N類的子集，然后再從數據集Dtrain中抽取支撐集與查詢集包含來自中每個類別的K個樣本包含來自相同N類且不屬于的樣本。

semi-ARMAML 的元訓練過程與MAML 相似，也采用雙層學習過程，即任務微調過程（內循環）與元更新過程（外循環）。內循環得到任務的最優參數，外循環將內循環期間得到的模型組合起來，形成一個更通用的元模型。

1.2 對抗魯棒正則項

對抗魯棒性本質上是要求模型對于輸入的微小擾動應有一個穩定的輸出，這表現為最小化擾動樣本和干凈樣本的預測概率分布之間的差異，因此，semi-ARMAML 在任務微調過程和元更新過程中同時引入對抗性魯棒正則化方法。

其中：={(x，xadv)|x∈D}是數據集D對應的對抗樣本集；E為g(x，xadv；θ)的期望；θ為模型參數；g(x，xadv；θ)根據樣本是否帶標注進行處理，對于標注樣本，g(x，xadv；θ)測量xadv的預測概率分布和真實概率分布之間的差異，即fθ對xadv的預測值和x的真實標簽y之間的交叉熵，對于未標注樣本，借鑒虛擬對抗訓練（Virtual Adversarial Training，VAT）［24］，g(x，xadv；θ)測量fθ對xadv的預測值和x的虛擬標簽fθ(x)之間的均方誤差。該損失函數的目的是希望參數模型fθ(xadv)逼近真實分布，使得元模型對輸入足夠平滑，降低模型對輸入擾動的敏感性，平滑決策邊界，提升模型在對抗樣本上的識別率。

1.3 任務無偏熵正則項

為了防止元模型fθ在某些訓練任務中過擬合，本文采用基于信息熵實現的任務無偏正則項entmax-min［25］，計算如下：

1.4 算法描述

1.4.1 任務微調過程

在任務微調期間，根據梯度及步長α微調每個任務{Ti}0≤i≤m，更新特定于該任務的最優參數

1.4.2 元更新過程

由于與Ti中已標注樣本類別不一致，因此本文使用“通用”的初始化參數θ進行預測，而不使用依賴特定于當前任務Ti的最優參數。R()和R(，θ)的作用與內循環中對抗魯棒正則項類似，不僅將樣本映射到其目標分類，而且使元模型在對抗樣本集上具有相似的表現。

semi-ARMAML 期望模型fθ以相等的概率預測新任務中的樣本標簽，采用式（3）計算上的entmax-min，以緩解模型在訓練數據上的過擬合問題，找到更通用的初始化參數。semi-ARMAML 的偽代碼如算法1 所示。

算法1semi-ARMAML 算法

2 實驗結果與分析

2.1 實驗設置

實驗選用MiniImageNet 和CIFAR-FS 數據集測試算法性能，MiniImageNet 是ImageNet 的一個精縮版本，2 個圖像數據集的概況如表1 所示。

表1 數據集信息Table 1 Datasets information

本文分別為2 個數據集從100 個類中預留16 個類數據作為未見過類數據。在MiniImageNet 數據集實驗中，從ImageNet 數據集中為每個訓練類挑選600 個未標注數據，并將圖片調整為84×84×3 大小；在CIFAR-FS 數據集實驗中，從STL-10 數據集中為每個訓練類挑選600 個未標注數據，將圖片調整為32×32×3 大小。在任務微調過程中，設置梯度更新次數S=5，α=0.02；在元更新過程中，查詢集中設置每類15 個樣本，梯度步長設置為β=0.001。在元訓練過程中使用FGSM 生成對抗樣本集，元測試過程中使用10 步PGD 生成對抗樣本集。

如不特別說明，λe取值為1，semi-ARMAML 實驗均在半監督場景B 下進行，訓練運行紀元數epoch=60 000。在MiniImageNet 數據集實驗中，訓練時?=2，元測試時?=2，λout1=8，λout2=8，λin=1；在CIFAR-FS 數據集實驗中，訓練時?=2，元測試時?=8，λout1=10，λout2=10，λin=1。

2.2 評價指標

本文測試semi-ARMAML 的以下特性：

1）可以同時有效識別對抗樣本和干凈樣本。

2）在半監督場景下，能夠進一步提升模型的對抗魯棒性，而在未標注樣本中混入未見過類數據時，分類性能不會受到較大影響。

為評價模型性能，分別測試標準正確率（Standard Accuracy，SA）和魯棒正確率（Robustness Accuracy，RA）。SA 表示在干凈樣本數據集上的模型性能，RA 表示在對抗樣本數據集上的模型對抗魯棒性能。

2.3 對抗魯棒正則項對算法性能的影響

首先分析魯棒正則項對算法性能是否產生正面影響。在表2 中：out 表示僅在元更新時加入正則項，訓練任務的微調過程與新任務適應過程都不加入正則項，即λin=0；in+out 表示在新任務適應與訓練任務的微調過程都加入正則項，即λin=1。λout1、λout2均設置為1，最優結果加粗標注。

表2 對抗魯棒正則項對算法性能的影響Table 2 Influence of adversarial robust regularization term on algorithm performance %

從表2 可以看出，盡管在微調階段加入正則項會增加一定的計算代價，但是除了5-way 1-shot 的RA 性能沒有提高外，其余實驗的SA 與RA 均有一定程度的提高，因為在任務適應階段加入對抗正則項有助于找到更為魯棒的模型參數θ′i，使得元模型更新時也能兼顧對抗魯棒性。在后續實驗中，均采用in+out 方式。

2.4 算法性能比較

為了進行算法性能比較，將MAML、ADML 和RMAML-TRADES 作為對比算法。MAML、ADML 只能采用已標注樣本進行有監督訓練，為了便于比較，semi-ARMAML 中設置λout2為0（記 為semi-ARMAML（supervised）），從而支持有監督方法。R-MAMLTRADES 僅支持半監督場景A，為保證公平，semi-ARMAML 與R-MAML-TRADES 實驗數據設置相同，未標注樣本數為38 400，均為見過的類。所有算法的標注樣本集設置相同。

不同元學習算法的實驗結果如表3、表4 所示，實驗超參數設置如表5所示。表3、表4顯示MAML在2個數據集上幾乎沒有對抗魯棒性，但是在干凈樣本下正確率最高，其他算法的SA 均有所下降，對抗魯棒性相比MAML 有明顯提升。對比對抗元學習的幾種算法，semi-ARMAML 在RA 上的性能均為最高，而SA 由于對抗訓練而不可避免地有所降低。在所有的有監督方法中，semi-ARMAML（supervised）的RA 均優于其他有監督算法，這主要是由于引入了任務無偏的熵正則項，使得新任務與訓練任務之間的關聯度降低，提高了模型對新任務的泛化性。在半監督場景下，由于未標注樣本的引入，尤其在CIFAR-FS 數據集上，本文算法有效提高了模型的對抗魯棒性能。盡管R-MAMLTRADES 的SA 相比其他對抗元學習算法有一定優勢，但是RA 并不占優。semi-ARMAML 支持未標注樣本與當前任務標注樣本不一致的情況，適應性更廣，其RA均優于其他算法，這說明對未標注樣本信息的利用可增強模型的對抗魯棒性。

表3 MiniImageNet 數據集上SA/RA 性能對比分析Table 3 Comparative analysis of SA/RA performance on MiniImageNet dataset %

表4 CIFAR-FS 數據集上SA/RA 性能對比分析Table 4 Comparative analysis of SA/RA performance on CIFAR-FS dataset %

表5 不同數據集下semi-ARMAML 的超參數設置Table 5 Hyper parameter setting of semi-ARMAML under different datasets

綜上，使用semi-ARMAML 訓練得到的初始化參數θ一方面對各任務的變化敏感，另一方面對任務中的樣本擾動噪聲有更高的容忍度，使得元模型的對抗魯棒性大幅提高。

2.5 正則項系數對算法性能的影響

表6所示為系數λout1和λe在CIFAR-FS 數據集上對semi-ARMAML 算法性能的影響。為了分析任務無偏正則項entmax-min對模型性能的影響，本文設置λout1=20、λe=0和λout1=20、λe=1 兩組對比實驗，兩組實驗中的其他參數設置相同。結果表明，盡管entmax-min正則項的引入使模型損失一定的SA，但會明顯提升RA 性能，這是因為entmax-min降低了元模型與訓練任務之間的相關性，緩解了過擬合問題，能在新任務中更好地適應對抗樣本。表6 結果還顯示，當引入正則項時（λout1>0），算法的SA與RA性能明顯優于λout1=0時的算法性能，且隨著λout1逐漸增大，RA 性能提高，SA 性能略微降低，這表明對抗魯棒正則項系數λout1對模型的對抗魯棒性能起主導作用，通過調整目標損失函數中的λout1系數，可使模型同時兼顧干凈樣本準確度和對抗魯棒性。

表6 正則項系數對算法性能的影響分析Table 6 Analysis of the influence of regularization coefficients on algorithm performance

2.6 未見過類的未標注樣本對算法性能的影響

在2.4 節的實驗中，為保證公平，實驗數據集均使用見過類的未標注數據集，本節進一步研究未見過類對算法性能的影響。

表7展示了未見過類樣本數量對模型性能的影響。未標注樣本Dul中已見過類樣本數與上文中設置相同，為32 000，其余為額外追加的與訓練集類別不相交的9 600 個未見過類樣本。從表7 可以看出，當引入干擾項，即Dunseen≠?時，semi-ARMAML 的RA 性能有所損失，但是，RA 即使在最壞情況下相比表3、表4 中其他算法的RA 也仍然具有優勢，而且由于訓練樣本增加，semi-ARMAML 的SA 在大部分情況下會比未增加未見過類樣本時有所提升。

表7 未見過類樣本數量對算法性能的影響分析Table 7 Analysis of the influence of number of unseen class samples on algorithm performance

2.7 算法時間代價對比

表8 基于CIFAR-FS 數據集對比不同算法的時間代價，ADML、R-MAML-TRADES 和本文semi-ARMAML 這3 種算法是雙層優化過程，且為保證公平，使用相同的對抗樣本生成算法。

表8 CIFAR-FS 數據集上的時間代價Table 8 Time cost on CIFAR-FS dataset

在表8 中：Time 表示500 輪的訓練時間，ADML使用干凈樣本與對抗樣本交替訓練網絡，訓練時間代價最高，R-MAML-TRADES 和semi-ARMAML 算法整體時間代價相差不大，本文算法略優；Fin steps表示在元測試時使模型達到穩定性能所需的微調步數，由于semi-ARMAML 在新任務的任務微調過程中也加入了對抗魯棒正則項，使其能夠更好地微調模型參數，更快地適應新任務，因此僅需2 步梯度下降就能達到穩定性能。

3 結束語

本文針對半監督對抗元學習問題，提出一種對抗魯棒模型無關元學習方法。該方法在元訓練過程中同時使用標注樣本與未標注樣本進行訓練，即使不知道未標注樣本的類別信息，也能在大量相似任務中訓練元模型，使其能夠快速適應新任務。同時，在損失函數中加入對抗魯棒正則項與任務無偏熵正則項，提升模型的對抗魯棒性，緩解元模型在訓練任務時的過擬合問題。在2 個基準數據集上的實驗結果表明，相較其他對抗元學習方法，該方法在干凈樣本上的正確率僅有微小降低，但獲得了更高的對抗魯棒性能，且對含未標注樣本的真實場景適應性更好。下一步將在學習過程中探究如何利用未標注樣本中占比更大的未見過類樣本，進一步提高模型的泛化性與對抗魯棒性。