增量學(xué)習(xí)研究綜述

劉冰瑤，劉進鋒

（寧夏大學(xué)信息工程學(xué)院，銀川 750021）

0 引言

隨著深度學(xué)習(xí)在計算機視覺領(lǐng)域的不斷應(yīng)用，如圖像分類、目標檢測、語義分割等，雖然在解決離線學(xué)習(xí)的問題上表現(xiàn)良好，但以在線方式訓(xùn)練模型完成一系列任務(wù)時仍具有挑戰(zhàn)性。人類的學(xué)習(xí)是一個漸進的過程，需不斷地接受和學(xué)習(xí)新知識，并對原有知識進行補充和修正。為使深度學(xué)習(xí)接近或達到人類的智能水平，學(xué)習(xí)系統(tǒng)需在不斷變化的環(huán)境中積累知識，這個過程被稱為持續(xù)學(xué)習(xí)（continual learning）或增量學(xué)習(xí)（incremental learning），與之概念等價的還有終身學(xué)習(xí)（lifelong learning）。具體來說，增量學(xué)習(xí)的要求是模型在推理過程中連續(xù)不斷地學(xué)習(xí)和更新自己，既能學(xué)習(xí)新的概念，同時又保持識別舊知識的能力。因此，增量學(xué)習(xí)是一種能夠進行無遺忘在線學(xué)習(xí)的框架。

由于神經(jīng)網(wǎng)絡(luò)與人腦結(jié)構(gòu)有所不同，神經(jīng)網(wǎng)絡(luò)訓(xùn)練很難從批量學(xué)習(xí)模式轉(zhuǎn)變?yōu)檫B續(xù)學(xué)習(xí)模式，基于深度神經(jīng)網(wǎng)絡(luò)的系統(tǒng)在使用新數(shù)據(jù)進行持續(xù)更新時，會出現(xiàn)嚴重的遺忘問題——在舊任務(wù)上的表現(xiàn)通常會顯著下降，我們稱之為災(zāi)難性遺忘。為了緩解災(zāi)難性遺忘，我們希望模型既有可塑性，即從新數(shù)據(jù)中整合知識與提煉已有知識的能力；又具有穩(wěn)定性，即防止新輸入數(shù)據(jù)對已有知識的干擾。因此，增量學(xué)習(xí)的總體任務(wù)是解決穩(wěn)定性-可塑性困境。

在計算和存儲資源有限的條件下，為使增量學(xué)習(xí)過程與人類在現(xiàn)實場景中的學(xué)習(xí)過程更接近，我們設(shè)定在其學(xué)習(xí)時需具有以下特點：①隨著模型更新，需保持其在新任務(wù)和舊任務(wù)上的性能良好，即學(xué)習(xí)到新知識的同時，又具有識別舊知識的能力；②由于增量學(xué)習(xí)在學(xué)術(shù)和工業(yè)中的應(yīng)用，模型在訓(xùn)練過程中會受到隱私約束，或計算能力與內(nèi)存會隨新任務(wù)數(shù)量的增加而緩慢增長，所以原始的訓(xùn)練數(shù)據(jù)不允許再被訪問；③為使模型具有內(nèi)在的增量性，在連續(xù)數(shù)據(jù)流中，隨著新數(shù)據(jù)到來我們要求模型是可以連續(xù)不斷地學(xué)習(xí)和更新的。

2019年，Van de Ven等基于是否在測試時需要提供任務(wù)標識，將增量學(xué)習(xí)進一步劃分為三種子領(lǐng)域：任務(wù)增量學(xué)習(xí)、類別增量學(xué)習(xí)和域增量學(xué)習(xí)。任務(wù)增量學(xué)習(xí)是要求在推理過程中使任務(wù)標識保持已知的增量學(xué)習(xí)，不同時刻到達的數(shù)據(jù)分屬于不同任務(wù)，并要求提供任務(wù)ID，其共同目標是設(shè)計一個網(wǎng)絡(luò)，既可以以最小的規(guī)模運行，又可以保持良好的性能。類別增量學(xué)習(xí)旨在區(qū)分任務(wù)內(nèi)部和任務(wù)之間的類別，不同時刻到達的數(shù)據(jù)屬于同一任務(wù)中不同類別，其模型最終要求輸出類別。域增量學(xué)習(xí)旨在連續(xù)區(qū)分每個任務(wù)內(nèi)部的類，而不是區(qū)分不同的任務(wù)，即不同任務(wù)之間的結(jié)構(gòu)相同，而輸入分布不同，并在推理過程中不需要提供任務(wù)ID。

1 相關(guān)方法

近年來，人們?yōu)楸苊鉃?zāi)難性遺忘，解決模型穩(wěn)定性和可塑性困境提出了大量方法，本文將從基于回放（replay）、基于正則化（regularization）以及基于參數(shù)隔離（parameter isolation）三個方面進行闡述。

1.1 基于回放的方法

基于回放的方法允許將部分早期階段的訓(xùn)練數(shù)據(jù)即舊數(shù)據(jù)存儲在緩存中，在新任務(wù)學(xué)習(xí)時，舊數(shù)據(jù)將被用于重放或原型演練，以此來防止模型在學(xué)習(xí)新任務(wù)時對舊任務(wù)產(chǎn)生的災(zāi)難性遺忘。此時，緩存大小、存儲數(shù)據(jù)選擇、數(shù)據(jù)存儲形式、新舊數(shù)據(jù)的混合方式都是重要的影響因素。基于回放的方式包括基于記憶、基于生成重放等方法。

1.1.1 基于記憶的方法

基于記憶的方法通常需要一個記憶緩沖區(qū)來存儲與之前任務(wù)相關(guān)的數(shù)據(jù)實例或其他相關(guān)信息，在學(xué)習(xí)新任務(wù)時，重放這些信息以鞏固之前學(xué)習(xí)的知識。

在圖像分類的任務(wù)中，Rebuffi 等首先提出了在類增量學(xué)習(xí)過程中同時學(xué)習(xí)分類器和特征表示的策略，稱為基于表征學(xué)習(xí)的增量分類器（iCARL）。在表征學(xué)習(xí)期間，iCARL利用所存儲的舊類別具有代表性的少量數(shù)據(jù)實例和來自新任務(wù)的實例進行訓(xùn)練。在分類過程中，iCARL 采用最接近樣本均值的分類策略，將給定圖像的標簽分配給與原型最相似的類，利用潛在特征空間中數(shù)據(jù)實例之間的距離來更新內(nèi)存緩沖區(qū)。但此方法保留了部分舊樣本以及新任務(wù)的所有數(shù)據(jù)一起訓(xùn)練，對存儲空間及計算能力有一定的要求。

1.1.2 基于生成重放的方法

基于生成重放的方法是基于記憶方法的替代方案，使用可以再現(xiàn)與之前任務(wù)相關(guān)信息的生成模塊來替代內(nèi)存緩沖區(qū)。通常，大多數(shù)基于生成重放的方法只生成以前的數(shù)據(jù)實例及其對應(yīng)的標簽。

Shin 等提出了一種深層生成重放（deep generative replay，DGR）方法，該方法通過GAN模型模仿以前的訓(xùn)練示例所生成的偽數(shù)據(jù)來對多個任務(wù)進行順序?qū)W習(xí)，并將其與對應(yīng)的標簽進行配對。但其缺陷是算法的有效性在很大程度上取決于生成器的質(zhì)量。

Zhang 等提 出 了 深 度 模 型 整 合（deep model consolidation，DMC），它首先使用標記數(shù)據(jù)為新類訓(xùn)練一個單獨的模型，然后利用公開可用的未標記輔助數(shù)據(jù)，將新舊模型結(jié)合起來，克服了由于無法訪問遺留數(shù)據(jù)而帶來的困難，并在這些輔助數(shù)據(jù)中挖掘出豐富的可轉(zhuǎn)移表示來促進增量學(xué)習(xí)。此外，使用輔助數(shù)據(jù)而不是新類別的訓(xùn)練數(shù)據(jù)，可以確保新模型公平地吸收來自舊模型的知識。

除了基于記憶和基于重放兩種方法外，Hu等提出了一個因果框架來解釋類別增量學(xué)習(xí)中的災(zāi)難性遺忘問題，通過對其分析，解釋了如何在舊數(shù)據(jù)和新數(shù)據(jù)之間建立暢通的因果路徑來緩解遺忘。從中提取出增量學(xué)習(xí)過程中的因果效應(yīng)，證明這種提取在因果關(guān)系上等同于數(shù)據(jù)重放；并提出消除增量動量效應(yīng)，實現(xiàn)新舊類預(yù)測的平衡。其方法基本上等同于數(shù)據(jù)重放的因果效應(yīng)，但沒有重放存儲的任何成本。

1.2 基于正則化的方法

基于正則化的方法通常是對各種模型參數(shù)和超參數(shù)在更新過程中進行限制，達到在學(xué)習(xí)新任務(wù)的同時鞏固之前學(xué)習(xí)的知識的目的，以緩解持續(xù)學(xué)習(xí)中的災(zāi)難性遺忘。基于正則化的方法包括對重要模型參數(shù)進行優(yōu)化約束、以舊模型為目標添加蒸餾損失等方法。

1.2.1 正則化損失函數(shù)

其中最典型的方案是通過正則化損失函數(shù)來鞏固之前所學(xué)知識。在圖像分類任務(wù)中，Kirkpatrick 等首先提出了一種稱為可塑權(quán)重鞏固（EWC）的方法。EWC 在損失函數(shù)中引入了一個新的二次懲罰項，以限制模型修改對之前學(xué)習(xí)任務(wù)較重要的權(quán)值。為使參數(shù)限定在任務(wù)之間常見的低損失區(qū)域，而不是只更新新任務(wù)的低損失區(qū)域，其中權(quán)重的重要性通過Fisher信息矩陣的對角線來計算，從而緩解災(zāi)難性遺忘問題。

1.2.2 基于知識蒸餾的方法

基于知識蒸餾的方法是將知識蒸餾的思想融入到增量學(xué)習(xí)中，將前一個任務(wù)上訓(xùn)練模型中的知識提取到新任務(wù)上訓(xùn)練的模型中，以鞏固之前學(xué)習(xí)的知識。

在圖像分類方面，Li和Hoiem提出了一種抗遺忘學(xué)習(xí)的方法（learning without forgetting，LwF）。在學(xué)習(xí)新任務(wù)之前，LwF 存儲以前模型參數(shù)的副本。然后，它將在新任務(wù)數(shù)據(jù)實例上得到的模型作為舊任務(wù)的分類器目標，新任務(wù)的分類器以達到ground truth 作為目標，計算新任務(wù)與舊任務(wù)損失的和來作為最終的損失。通過保證舊任務(wù)分類器的輸出，緩解對舊知識的遺忘。

Kang 等提出了一種基于自適應(yīng)特征鞏固的知識蒸餾（AFC）方法。他們推導(dǎo)出每個特征分布差異和損失變化之間的關(guān)系，通過知識蒸餾調(diào)整每個特征圖的權(quán)重，實現(xiàn)損失增加最小化，此方法目的是最小化預(yù)期損失增加的上界。

Wang 等設(shè)計了一種基于特征增強和壓縮的類增量學(xué)習(xí)范式（FOSTER）。他們將梯度提升算法應(yīng)用于類增量學(xué)習(xí)，保留舊模型只訓(xùn)練新模型，所有類別的logits 都通過組合新特征提取器和舊特征提取器來表示，使用知識蒸餾來消除創(chuàng)建新模型時所存在冗余參數(shù)和特征維數(shù)等問題，最終將擴展模型壓縮到其原始大小。

1.3 基于參數(shù)隔離的方法

基于參數(shù)隔離的方法通常是在新任務(wù)上擴大舊模型，并對不同任務(wù)之間分配不同的模型參數(shù)，進行不同程度的隔離，以防止后續(xù)任務(wù)對之前學(xué)習(xí)的知識產(chǎn)生干擾。

Mallya 等提出了PackNet 方法，該方法首先固定舊任務(wù)的參數(shù)，其次針對每個新任務(wù)訓(xùn)練整個神經(jīng)網(wǎng)絡(luò)，訓(xùn)練完成后，使用基于權(quán)重的修剪技術(shù)釋放不必要的參數(shù)，保留冗余的空間模型。

Zhang 等提 出 了 一 種 持 續(xù) 進 化 分 類 器（CEC），主要針對增量學(xué)習(xí)中的少鏡頭場景。他們首先將表征學(xué)習(xí)和分類器學(xué)習(xí)分離，其中表征學(xué)習(xí)被凍結(jié)以避免產(chǎn)生遺忘，分類器學(xué)習(xí)部分被CEC 取代，利用圖模型在分類器之間傳播上下文信息，使其適應(yīng)不同的任務(wù)。

Kanakis 等提出了多任務(wù)學(xué)習(xí)的重參數(shù)化卷 積（reparameterized convolutions for multitask learning,RCM）方法，該算法將模型參數(shù)分離為濾波器組和調(diào)節(jié)器兩部分。每一層的濾波器組部分是預(yù)先訓(xùn)練的，并在編碼公共知識的任務(wù)之間共享，而調(diào)節(jié)器部分是特定于任務(wù)的，并分別針對每個新任務(wù)進行微調(diào)。

在 圖 像 分 類 方 面，F(xiàn)ernando 等提 出 了PathNet。在第一個任務(wù)的訓(xùn)練中，選擇幾條通過網(wǎng)絡(luò)的隨機路徑。然后，利用競賽選擇遺傳算法為任務(wù)選擇訓(xùn)練的最佳路徑。然后對于接下來的每個任務(wù)，凍結(jié)前面任務(wù)所選擇的所有路徑上的模型參數(shù)，其余參數(shù)按照上述流程重新初始化并再次訓(xùn)練，最終得到最好的路徑。

除上述方法外，利用元學(xué)習(xí)方法凍結(jié)模型參數(shù)子集也受到了近年來的關(guān)注。Hurtado 等提出了一種名為元可重用知識（meta reusable knowledge，MARK）的方法，該方法對所有學(xué)習(xí)任務(wù)都有一個單一的公共知識庫。對于每個新任務(wù)，MARK 使用元學(xué)習(xí)更新公共知識庫，并使用可訓(xùn)練的掩碼從任務(wù)知識庫中提取相關(guān)參數(shù)。

2 結(jié)語

本文首先介紹了增量學(xué)習(xí)的背景、存在的問題及目前對抗該問題的主流技術(shù)：基于回放，基于正則化和基于參數(shù)隔離，并分別對其思路及代表性方法進行闡述。在上述方法中，最穩(wěn)定有效的是基于參數(shù)隔離和基于回放兩種方法。因為特征提取僅在輸出端施加效果，違反了端對端表示學(xué)習(xí)的規(guī)則，在新舊數(shù)據(jù)分布不均時，從舊網(wǎng)絡(luò)中提取新數(shù)據(jù)的特征難以捕捉，故基于正則化的方法有時會起到負面作用。

目前，在增量學(xué)習(xí)的方法中，新舊任務(wù)之間的性質(zhì)差異幾乎不存在，且在數(shù)據(jù)集的設(shè)置上，不同任務(wù)之間沒有類重疊。然而，在現(xiàn)實場景中，在時間先后順序上出現(xiàn)的數(shù)據(jù)并沒有標記，且具有公共類，所以現(xiàn)有的增量學(xué)習(xí)與現(xiàn)實場景仍存在差距。增量學(xué)習(xí)的方法大多數(shù)集中在處理圖像分類問題上，但其他研究方向中的增量學(xué)習(xí)任務(wù)也值得研究，如：圖像語義分割、目標檢測、語言任務(wù)等。另外，探索增量學(xué)習(xí)的可解釋的、穩(wěn)健的、輕量級的方法也具有深遠的現(xiàn)實意義。