基于腦啟發的類增量學習

摘 要：現有的類增量學習方法多是采用存儲數據或者擴展網絡結構，但受內存資源限制不能有效緩解災難性遺忘問題。針對這一問題，創新地提出基于腦啟發生成式重放方法。首先，通過VAE-ACGAN模擬記憶自組織系統，提高生成偽樣本的質量；再引入共享參數模塊和私有參數模塊，保護已提取的特征；最后，針對生成器中的潛在變量使用高斯混合模型，采樣特定重放偽樣本。在MNIST、Permuted MNIST和CIFAR-10數據集上的實驗結果表明，所提方法的分類準確率分別為92.91%、91.44%和40.58%，顯著優于其他類增量學習方法。此外，在MNIST數據集上，反向遷移和正向遷移指標達到了3.32%和0.83%，證明該方法實現任務的穩定性和可塑性之間的權衡，有效地防止了災難性遺忘。

關鍵詞：類增量學習； 持續學習； 災難性遺忘； 腦啟發生成重放

中圖分類號：TP393.04 文獻標志碼：A

文章編號：1001-3695（2023）03-005-0671-05

doi：10.19734/j.issn.1001-3695.2022.06.0359

Brain-inspired class incremental learning

Wang Wei1a， Zhang Zhiying1b， Guo Jielong2， Lan Hai2， Yu Hui2， Wei Xian2

（1. a.Foundation Dept.， b.School of Electronics amp; Information Engineering， Liaoning Technical University， Huludao Liaoning 125105， China; 2.Fujian Institute of Material Structure， Chinese Academy of Sciences， Fuzhou 350002， China）

Abstract：Most existing class incremental learning methods employ data storage or extended network structures， but they cannot effectively alleviate the catastrophic forgetting problem due to memory resource limitation. To solve this issue， this paper" proposed a brain-inspired generative replay approach. Firstly， it used VAE-ACGAN to simulate the memory self-organizing system to improve the quality of the generated pseudo-samples. Then， it used a shared parameter module and a private parameter module to protect the extracted features. Finally， the potential variables in the generator used a Gaussian mixture model to select specific replay pseudo-samples. The experimental results of the proposed method on MNIST， Permuted MNIST and CIFAR-10 show that the classification accuracy of the proposed method is 92.91%， 91.44% and 40.58%， respectively， which is significantly better than other class incremental learning methods. Furthermore， the backward transfer and forward transfer metrics reach 3.32% and 0.83% on the MNIST dataset， demonstrating that the model achieves a trade-off between task stability and plasticity， effectively preventing catastrophic forgetting.

Key words：class incremental learning; continual learning; catastrophic forgetting; brain-inspired generation of replay

0 引言

人類具有不斷學習新技能和累積知識的獨特能力。深度學習可以賦予機器學習知識的能力。然而，大多數深度學習模型的學習范式通常針對獨立同分布的靜態數據［1］。當訓練數據是動態數據流，即單一網絡交叉訓練多個任務，神經網絡模型會產生災難性遺忘，導致早期訓練任務性能急劇下降［2］。尤其是經歷過反向傳播的神經網絡，為此災難性遺忘被廣泛認為是神經網絡實現人工通用智能的一個關鍵障礙［3］。近年來，為解決災難性遺忘問題，Li等人［4］提出了增量學習（incremental learning，IL），其主要工作是獲得一個模型，該模型可以適應輸入數據分布的變化，同時保留過去的知識，使得模型具有可塑性—穩定性。現有的增量學習方法大致可以分為正則化方法［2，5，6］、網絡結構擴展方法［7，8］、知識蒸餾方法［4，9，10］和記憶重放方法［11～16］四種。正則化方法引入一個正則化項，在學習新任務時約束先前任務重要權重的變化，如彈性權重整合（EWC）［2］通過Fisher信息矩陣對角線近似來估計權重重要性，得到最優權重局部區域。但該方法降低了先前任務重要參數的可塑性，嚴重限制模型適應新知識的能力。網絡結構擴展方法是以擴展模型容量為代價減少任務之間的干擾。該方法雖能提升任務之間的可塑性，但隨著對任務的不斷訓練，導致網絡數量與任務數量成線性增長，并增加了計算的代價。知識蒸餾方法采用更簡單的網絡以實現更高效的部署，保留復雜網絡的輸出，由于訓練時間復雜度和空間復雜度較大，不適應一般的學習場景。以上方法大多需要在推理過程中使用任務標識來選擇與輸入任務相對應的模型，而這些信息在實際中可能無法獲得。

記憶重放是一種基于有限數據的預演策略方法，主要包括經驗重放和生成式重放。文獻［11～13］通過將存儲的原始數據，與新任務獲得的數據混合訓練，來緩解經典的災難性遺忘問題。然而這些方法不但占用大量內存而且降低了模型的可塑性，同時由于緩沖池容量的限制，大批量地存儲舊圖像實例是不現實的。文獻［14～16］使用深度生成模型VAE、GAN等方法重構先前的所有類別，將偽樣本作為重放數據，實現了不需要存儲先前任務數據的目的。然而，隨著訓練任務的增加，緩沖池中每類圖像樣本數量減少，將會導致生成圖像質量低，數據分布與真實數據不一致等問題。針對上述類增量學習方法因存儲舊類樣本降低模型的可塑性、生成偽樣本質量低導致最終分類精度低和產生災難性遺忘等問題，經研究［17］發現人類的大腦可以運用已有的知識加速未來任務學習并能鞏固舊知識。為此，根據大腦長短期記憶系統的工作原理，提出基于腦啟發生成式重放方法（brain-inspired generative replay，BGR），模擬大腦記憶系統，完全舍棄舊樣本，克服災難性遺忘問題。該方法首先根據海馬體表征重放機制在記憶編碼中起著至關重要的作用，前額葉皮層在記憶回放時調節海馬信息編碼活動，以及感知皮層整合來自大量不同來源的位置信息，每個感知皮層模塊代表一段記憶的組成部分，加強記憶之間鞏固的原理，將海馬體、前額葉皮層和感知皮層分別對應建模為變分自編碼器（variational auto-encoder，VAE）與輔助分類器生成對抗網絡（auxiliary classifier generative adversarial network，ACGAN）模型的生成器、判別器和分類器；然后，根據記憶模塊由突觸將神經元之間相互組合的特性，BGR方法在記憶生成時，為每個任務的模型設置私有參數模塊和共享參數模塊，來對學習到的特征進行保護，以減少對先驗知識的遺忘；最后，遇到某種特定情景時大腦會可控制地激活相應的記憶，為控制網絡生成特定的類別，生成器中的潛在變量服從高斯混合分布，可采樣得到特定的樣本。

本文提出基于腦啟發生成式重放方法BGR，采用VAE-ACGAN模擬大腦記憶系統，提高生成偽圖像質量和訓練速度，有效緩解災難性遺忘問題;提出私有參數模塊和共享參數模塊，保護已提取到的特征，減少對先驗知識的遺忘;提出為每個已訓練的類別提供單獨模型的方法，實現根據情景記憶再現控制網絡生成重放偽樣本。

1 相關工作

1.1 大腦記憶系統

大腦不但能從有限的經驗中學習新知識，而且仍然保留過去的記憶，促成這一現象主要原因是大腦內不同區域模塊之間相互獨立、相互作用的記憶機制。文獻［18］提出互補學習系統（complementary learning systems，CLS）理論，證明了海馬體和新皮層在記憶系統中起著非常重要的性能，海馬體能夠快速學習，通過記憶的鞏固和突觸的變化將其存儲在新皮層，形成長期記憶系統。基于CLS理論的增量學習方法有很多，如生成式重放［15，16］和通過緩存舊樣本重放［19］等。然而，這些方法都專注于任務的快速學習網絡，不能準確地保持所學訓練數據的分布。

基于腦啟發生成式重放方法主要的研究是在CLS理論基礎上，將信息編碼成更一般化的形式，可有效解決任務之間的信息干擾和保護已學的數據分布。其原理是源于新皮層包含前額葉皮層（prefrontal cortex）和感知皮層（sensory cortex）。文獻［17］提出海馬體充當新信息的臨時存儲區，隨著記憶的成熟，感知皮層對來自海馬體記憶的信息進行逐漸鞏固，使新的記憶獨立于海馬體，前額葉皮層在記憶回憶時具有雙重作用，從而形成長短期記憶系統。通過神經元之間的激活和抑制的機制，使得信息編碼更一般化。大腦長短期記憶系統如圖1所示。短期記憶系統：海馬體整合分布式感知皮層模塊的信息，每個感知皮層模塊代表一個記憶的組成部分。長期記憶系統：感知皮層模塊—感知皮層模塊之間聯系加強，使記憶獨立于海馬體發揮作用，再與預先存在的感知皮層記憶模塊整合并存儲在前額葉皮層中，形成長期記憶。前額葉皮層調節海馬體活動，當傳入的信息與新皮層中記憶相匹配時，前額葉皮層直接或者間接抑制海馬體活動，以最大限度地減少冗余信息的重新編碼，緩解災難性遺忘現象。

1.2 增量學習

近年來，為緩解神經網絡中的災難性遺忘問題，增量學習受到了廣泛的關注。文獻［20］使用三種難度依次遞增的增量學習場景設置對該問題進行建模。這些場景的區別在于測試時是否提供任務標識，如果沒有，是否需要推斷任務標識。任務增量學習 （task-incremental learning）模型被告知需要執行哪些任務，且在測試期間提供任務標識。相反，域增量學習（domain-incremental learning）測試期間不提供任務標識，只需預測所處類別。類增量學習（class-incremental learning）模型需要處理已訓練過的所有任務，并預測任務標識和子類標簽。

近期生成重放方法，如文獻［22，23］等，為了緩解網絡遺忘問題，以訓練VAE網絡生成偽樣本，將克服遺忘的難題轉移到生成網絡模型訓練上。針對VAE的生成圖像質量較模糊，導致最終分類精準度低的問題。文獻［24，25］采用GAN進行生成，由于GAN噪聲隨機產生，訓練高質量的生成模型計算成本太高以及收斂速度較慢。本文采用VAE-ACGAN，既克服了VAE生成圖片質量低的問題，又提高了訓練速度。文獻［26］通過GAN生成偽樣本，其不僅需判別器預測樣本的真實性，還需分類器預測樣本所屬的類別，該分類器與最終圖像分類的分類器為同一個，對分類器的訓練不能達到最優的狀態。為此，在判別器上增加一個輔助分類器，最大限度地克服災難性遺忘問題。

2 基于腦啟發的類增量學習模型

BGR方法采用VAE-ACGAN生成偽樣本進行生成重放的方法來模擬大腦的記憶原理系統。其生成器模擬海馬體信息編碼進行快速學習，提取特征；判別器模擬大腦前額葉皮層進行控制來自海馬體的神經元激活與抑制狀態，促使生成器生成真實的偽樣本；分類器模擬感知皮層在記憶重放期間學習新的任務，可以有效模擬大腦記憶機制減少遺忘。其次，根據大腦記憶系統的內部信息以模塊的形式可以進行組合重用，提出共享參數模塊以及私有參數模塊，更好地保護學習到的特征，并防止模型結構呈線性增長。最后，采用生成器中的潛在變量服從高斯混合分布，使得每個類有一個單獨模型，從而根據對潛在變量的采樣得到特定的樣本，具體BGR方法的模型結構如圖2所示。

2.1 基于VAE-ACGAN生成模型

受大腦記憶系統神經元工作原理的啟發，采用生成式重放的方式進行模仿記憶系統，它完全舍棄存儲舊任務原始樣本，提高模型的可塑性。

2.2 共享參數和私有參數模塊

大腦中的記憶是根據神經元之間的突觸連接并加以鞏固形成，在海馬體中對于接收輸入的情景信息進行提取與編碼。大多數情景信息基本上有一些共同屬性和具體的特征，這些信息模塊相互組合，鞏固到感知皮層中，形成具體的類別信息。信息模塊之間干擾，很難改變模塊內的特征變換。針對該現象，在VAE-ACGAN模型的生成器G模塊，設計成私有生成器Gp和共有生成器Gs，私有生成器為每個任務類的特有參數模塊，公有生成器為所有任務的共享參數模塊，來保護已提取到的特征，防止重要權重被覆蓋，從而減少模型對先驗知識的遺忘。共享參數和私有參數模塊如圖3所示。

2.3 高斯混合模型

高斯混合模型（Gaussian mixture model，GMM）［28］是一個普遍使用的密度估計、模式識別和函數逼近的統計模型，它具有解析可處理性、漸進性和連續密度函數的通用近似能力。大腦遇到某種特定情景記憶時會有選擇地激活相應記憶，從而更靈活地適應新事物。而VAE-ACGAN中潛在變量z的先驗分布p（z）僅滿足標準正態分布，不能控制模型生成某個示例，從而導致數據評估的不確定性。基于此，為使模型具有良好的可塑性，將生成器中潛在變量改用高斯混合概率分布代替其先驗分布，使每個類別具有單獨的分布模型。通過對潛在變量z的采樣來限制模型生成指定的類別，加快網絡模型訓練速度，提高類增量學習平均分類精度。潛在變量z的先驗分布、后驗分布應變換為

3 實驗結果與分析

3.1 實驗環境

所有的實驗都采用相同的環境，如表1所示。

3.2 實驗數據集

本實驗采用MNIST［30］ 、Permuted MNIST［30］和CIFAR-10［31］數據集作為類增量學習評估基準。MNIST數據集由0～9的手寫數字灰度圖像組成，已經成為增量學習中使用最廣泛的標準測試平臺。Permuted MNIST（也稱QMNIST）是MNIST數據集的一個流行變體，其中每個任務由整個MNIST數據集的隨機置換像素組成。在實驗中，使用與文獻［14］相同的設置準則。CIFAR-10數據集相對于MNIST更加復雜，由更接近普適物體的RGB圖像組成。表2對數據集進行統計。

3.3 參數設置

為了公平比較，所有類增量學習方法都使用相同的網絡結構進行訓練。所有隱藏層均使用ReLU激活函數，隨機潛在表示z的維度設置為100。在訓練階段batch size設置為256，其中包含當前任務和重放生成偽樣本batch size各128，每個任務迭代2 000次，學習率設置為0.001，并使用Adam優化器。

3.4 對比方法

a）None（微調）。該模型以標準方式在所有任務上順序訓練，優化當前參數，不考慮之前任務的性能，因此引入災難性遺忘，作為下限。

b）Joint（聯合訓練）。該模型是使用迄今為止所有看到的數據來訓練，作為上限。

c）LwF［4］。該方法利用新類的圖像和知識蒸餾來對網絡進行精細調整，使每幅圖像的舊類輸出概率接近原始網絡輸出。

d）EWC［2］。該方法將正則化項添加到損失函數中，懲罰對先前任務重要參數的改變。

e）BI-R［14］。該方法基于VAE生成重放，根據上下文調節進行內部條件重放。

3.5 實驗分析

為了評估BGR方法是否能夠克服災難性遺忘，引入反向遷移［32］（backward transfer，BWT）和正向遷移［32］（forward transfer，FWT）兩個評估指標。其中BWT衡量任務的遺忘程度，這表明在學習新任務時，對先前任務模型的準確率產生的影響。當BWT＜0時，意味著學習新任務導致模型發生了一些遺忘；BWT＞0時，表明學習新任務有助于提升先前任務的性能。FWT衡量已學任務t對未來任務的影響程度。FWT將每個任務的最終準確率與每個任務單獨訓練獨立模型的準確率進行比較，其中t是每個任務隨機初始化測試精度向量。

在MNIST數據集上，評估所有類增量學習對比方法的BWT/FWT的性能。如表3所示，可以看到LwF和EWC的BWT分別為-26.82%和-30.04%，有著嚴重的遺忘問題，相比BI-R， BGR方法的BWT提升+3.05%，驗證BGR方法的采用VAE-ACGAN提高生成偽樣本質量，避免因VAE生成偽樣本質量低而引起重放誤差，以及使用私有參數模塊和共有參數模塊保護已提取到的特征，有效地克服災難性遺忘問題，實現任務之間的穩定性。與此同時，實驗結果表明，LwF、EWC和BI-R方法存在負的正向遷移，這表明它們犧牲適應新概念的靈活性。然而，BGR實現了+0.83%的FWT，這意味著BGR方法為每個類別提供單獨可控模型，不僅使模型具有高度的靈活性，而且還帶來了正的正向轉移，證明了模型的性能優勢。

接下來，在MNIST數據集上驗證VAE-ACGAN生成偽樣本質量是否高于VAE生成偽樣本的質量。實驗結果如圖4所示，顯而易見VAE-ACGAN模型提高了生成圖像的質量，將減少因重放偽樣本質量問題而引起的增量學習精度較低和遺忘現象。

為了進一步說明BGR的有效性，在MNIST數據集上可視化了從網絡中提取到的表征，如圖5所示，其中norm分布為標準正態分布，GMM分布為高斯混合分布。GMM分布提取到的表征相對于norm分布提取到的表征，在不同類間距離更大，在類內表征聚合，精準擬合出數據分布。同時，圖6展示了BGR方法生成器中潛在空間分別采用GMM和norm分布精度的對比，可以看出GMM對每個任務平均精度整體上優于norm分布得出的結果。這些實驗結果表明，采用GMM擬合每個類別在潛在空間中的分布，使每個類別具有單獨分布模型，提高類增量學習精度，在性能上有顯著提升。

最后，對比BGR與其他類增量學習方法在相關數據集上的性能評估，采用所有任務的平均測試分類精度（ACC）作為基本的評估指標。

表4報告了所有增量學習方法在MNIST、QMNIST和CIFAR-10數據集上進行類增量訓練取得的平均分類精度結果。結果表明， BGR方法在所有的數據集上明顯優于其他增量學習方法。與EWC和LwF相比，BGR的準確率更高，驗證了本文觀點，即VAE-ACGAN模擬大腦記憶工作原理和根據情景記憶選擇性生成重放，有助于模型緩解災難遺忘的影響。此外，本文還觀察到，BGR在QMNIST和 CIFAR-10數據集上的性能顯著優于BI-R。導致這種現象主要原因是BI-R采用VAE生成偽樣本，不能保證生成的偽樣本質量，驗證了VAE-ACGAN生成偽樣本質量的提高，使得模型的性能得到了進一步的改善。

為了更好地理解不同類增量學習方法的性能，在圖7～9中分別顯示不同對比方法在三個數據集上，相對任務數的類增量學習平均測試分類精度。圖中橫坐標為任務數，縱坐標為在當前看到所有任務的平均類增量學習分類精度。

圖7中，在MNIST數據集上，經過5個任務數的類增量學習，Joint的精度為97.87%，為網絡訓練的上界。BGR的準確率為92.91%，與上界相比，準確率僅下降了4.9%。在所有對比方法中，BI-R性能最好，其最終精度為92.22%，BI-R采用VAE網絡進行生成重放，根據上下文調節進行內部重放。而BGR最終精度高于BI-R的0.61%，驗證了采用VAE-ACGAN模型提高生成偽樣本的質量，減少重放損失，提升類增量學習的精度。LwF和EWC具有相似的性能，僅略好下界none，幾乎完全忘記之前所學的任務。產生該現象的主要原因是， LwF和 EWC分別是基于知識蒸餾的正則化方法和基于正則化方法，它們對于之前學過的任務，響應是最大的。然而，一些高響應的樣本可能會被錯誤地劃分為其他的類別，即正則化方法可以強制更新方向，以保留以前的信息。不幸的是，強制的方向可能對所有任務都是錯誤的方向，無論是之前的任務還是當前的任務。在這種情況下，基于正則化方法的方向可能會有很多錯誤的預測，參數被限制在特定的位置，當有很多任務時，很難找到所有任務的最優，準確率下降主要來自于任務數量的增加，這使得任務本身更加困難。與它們相比，BGR采用共享參數和私有參數模塊以及GMM混合概率模型靈活學習網絡中的參數分布，不僅防止網絡對重要權重的修改，還提高模型適應類增量學習新任務能力。同時，BGR可克服深度網絡訓練中的災難性遺忘問題。

從圖8和9中也可以看出，隨著類增量學習任務的增加， EWC的性能依舊與None相似，對原始數據造成嚴重的性能退化。LwF比EWC性能表現略好一點，主要是因為通過知識蒸餾增加輸出穩定性，對舊網絡進行了維護。隨著數據集的逐漸復雜，BGR平均分類精度顯著高于BI-R，證明BGR更能適用復雜規模數據集上，在一定程度上緩解了災難性遺忘。

4 結束語

針對單一網絡交叉訓練動態數據流產生災難性遺忘問題，受大腦記憶機制的啟發，提出基于腦啟發生成重放（BGR）的類增量學習方法。BGR基于VAE-ACGAN網絡架構模擬記憶信息回放系統，通過混合高斯潛在空間執行任務推理進行可控制生成重放，以及共享參數和私有參數模塊保護學習到的特征，將災難性遺忘最小化。實驗結果表明，BGR明顯優于其他類增量學習方法。與此同時，可以實現正向的正向遷移和反向遷移，在穩定性—可塑性之間得到很好的權衡，并有效地緩解了災難性遺忘。本文后續的工作將擴展到更復雜的數據集上，如ImageNet數據集，適合現實世界中的交互場景。

參考文獻：

［1］安琛， 陳可佳， 彭高婧. 采用主動學習的動態網絡鏈接預測方法［J］. 計算機應用研究， 2018，35（3）： 817-819，824. （An Chen， Chen Kejia， Peng Gaojing. Using active learning in link prediction for dynamic networks［J］. Application Research of Computers， 2018， 35（3）： 817-819，824.）

［2］Kirkpatrick J， Pascanu R， Rabinowitz N， et al. Overcoming catastrophic forgetting in neural networks［J］. Proceedings of the National Academy of Sciences， 2017， 114（13）： 3521-3526.

［3］韓亞楠， 劉建偉， 羅雄麟. 連續學習研究進展［J］. 計算機研究與發展， 2022， 59（6）： 1213-1239.（Han Yanan， Liu Jianwei， Luo Xionglin. Advances in continuous learning research［J］. Computer Research and Development， 2022， 59（6）： 1213-1239.）

［4］Li Zhizhong， Hoiem D. Learning without forgetting［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2017，40（12）： 2935-2947.

［5］Zeng Guanxiong， Chen Yang， Cui Bo， et al. Continual learning of context-dependent processing in neural networks［J］. Nature Machine Intelligence， 2019， 1（8）： 364-372.

［6］Zenke F， Poole B， Ganguli S. Continual learning through synaptic intelligence［C］//Proc of the 34th International Conference on Machine Learning. 2017： 3987-3995.

［7］Rusu A A， Rabinowitz N C， Desjardins G， et al. Progressive neural networks［EB/OL］.（2016-06-15）［2022-02-09］. https：//arxiv. org/pdf/1606. 04671. pdf.

［8］Yan Shipeng， Xie Jiangwei， He Xuming. Der：dynamically expandable representation for class incremental learning［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 3014-3023.

［9］Wu Yue， Chen Yingpeng， Wang Lijuan， et al. Large scale incremental learning［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 374-382.

［10］Yin Hongxu， Molchanov P， Alvarez J M， et al. Dreaming to distill： data-free knowledge transfer via deep inversion［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2020： 8715-8724.［11］Rebuffi S A， Kolesnikov A， Sperl G， et al. iCaRL： incremental classifier and representation learning［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2017： 2001-2010.

［12］Hou Saihui， Pan Xinyu， Loy C C， et al. Learning a unified classifier incrementally via rebalancing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 831-839.

［13］Douillard A， Cord M， Ollion C， et al. PODNet： pooled outputs distillation for small-tasks incremental learning［C］//Proc of the 16th European Conference on Computer Vision. Cham：Springer， 2020： 86-102.

［14］Van de Ven G M， Siegelmann H T， Tolias A S. Brain-inspired replay for continual learning with artificial neural networks［J］. Nature Communications， 2020，11（1）： 1-14.（下轉第688頁）

［15］Shin H， Lee J K， Kim J， et al. Continual learning with deep generative replay［C］//Advances in Neural Information Processing Systems. 2017： 2990-2999.

［16］Wu Chenshen， Herranz L， Liu Xialei， et al. Memory replay GANs： learning to generate new categories without forgetting［C］//Advances in Neural Information Processing Systems. 2018： 5966-5976.

［17］Frankland P W，Bontempi B. The organization of recent and remote memories［J］.Nature Reviews Neuroscience，2005，6（2）：119-130.

［18］Mccleddend J L， Mcnaughton B L， O′Reilly R C. Why there are complementary learning systems in the hippocampus and neocortex： insights from the successes and failures of connectionist models of learning and memory［J］. Psychological Review， 1995， 102（3）： 419.

［19］Pham Q， Liu Chenhao， Sahoo D， et al. Contextual transformation networks for online continual learning［C］//Proc of the 9th International Conference on Learning Representations. 2020.

［20］Van de Ven G M， Tolias A S. Three scenarios for continual learning［EB/OL］.（2019-04-15）［2022-06-09］. https：//arxiv. org/pdf/1904. 07734. pdf.

［21］Masana M， Liu Xialei， Twardowski B， et al. Class-incremental lear-ning：survey and performance evaluation on image classification［EB/OL］.（2020-10-28）［2022-06-09］. https：//arxiv.org/pdf/2010.15277.pdf.

［22］Lavda F， Ramapuram J， Gregorova M， et al. Continual classification learning using generative models［EB/OL］.（2018-10-24）［2022-06-09］. https：//arxiv. org/pdf/1810. 10612. pdf.

［23］Egorov E， Kuzina A， Burnave E. BooVAE： boosting approach for continual learning of VAE［C］//Advances in Neural Information Processing Systems. 2021： 17889-17901.

［24］Liu Xialei， Wu Chenshen， Menta M， et al. Generative feature replay for class-incremental learning［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE Press， 2020： 226-227.

［25］Wang Liyuan， Lei Bo， Li Qian， et al. Triple-memory networks： a brain-inspired method for continual learning［J］. IEEE Trans on Neural Networks and Learning Systems， 2021， 33（5）： 1925-1934.

［26］Ofena A， Olah C， Shlens J. Conditional image synthesis with auxiliary classifier GANs［C］//Proc of the 34th International Conference on Machine Learning. 2017： 2642-2651.

［27］Kingma D P， Welling M. Auto-encoding variational Bayes［EB/OL］.（2013-12-20）［2022-06-09］. https：//arxiv.org/pdf/1312.6114.pdf.

［28］Roberts S J， Husmeier D， Rezek I， et al. Bayesian approaches to Gaussian mixture modeling［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 1998， 20（11）： 1133-1142.

［29］Guo Chunsheng， Zhou Jialuo， Chen Huahua， et al. Variational autoencoder with optimizing Gaussian mixture model priors［J］. IEEE Access， 2020， 8： 43992-44005.

［30］LeCun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

［31］Krizhevsky A， Hinton G. Learning multiple layers of features from tiny images［EB/OL］.（2009-04-08）［2022-06-09］.https：//cite-seerx.ist.psu.edu/viewdoc/download？doi=10.1.1.222.9220amp;rep=rep1amp;type=pdf.

［32］Lopez-Paz D， Ranzato M A. Gradient episodic memory for continual learning［C］//Advances in Neural Information Processing Systems. 2017： 6467-6476.

收稿日期：2022-06-10；修回日期：2022-08-09 基金項目：國家自然科學基金青年基金資助項目（61701211）；遼寧省教育廳基本科研項目（LJKZ0362）；福建省科技計劃資助項目（2021T3003，2021T3068）；泉州市科技計劃資助項目（2021C065L）

作者簡介：王偉（1981-），男，安徽宿州人，副教授，碩導，博士，主要研究方向為人工智能與智能信息處理；張志瑩（1997-），女，遼寧朝陽人，碩士研究生，主要研究方向為增量學習、深度學習；郭杰龍（1988-），男（回族）（通信作者），福建泉州人，工程師，碩士，主要研究方向為深度學習、圖像分類（gjl@fjirsm.ac.cn）；蘭海（1988-），男（畬族），福建莆田人，助理研究員，主要研究方向為深度學習、機器視覺；俞輝（1986-），男，安徽池州人，副研究員，博士，主要研究方向為控制工程；魏憲（1986-），男，河南沁陽人，研究員，博士，主要研究方向為機器學習、幾何優化．