基于數據分布的聚類聯邦學習

摘 要：聯邦學習（federated learning）可以解決分布式機器學習中基于隱私保護的數據碎片化和數據隔離問題。在聯邦學習系統中，各參與者節點合作訓練模型，利用本地數據訓練局部模型，并將訓練好的局部模型上傳到服務器節點進行聚合。在真實的應用環境中，各節點之間的數據分布往往具有很大差異，導致聯邦學習模型精確度較低。為了解決非獨立同分布數據對模型精確度的影響，利用不同節點之間數據分布的相似性，提出了一個聚類聯邦學習框架。在Synthetic、CIFAR-10和FEMNIST標準數據集上進行了廣泛實驗。與其他聯邦學習方法相比，基于數據分布的聚類聯邦學習對模型的準確率有較大提升，且所需的計算量也更少。

關鍵詞：聯邦學習；個性化聯邦學習；聚類聯邦學習；特征提取；聚類

中圖分類號：TP301 文獻標志碼：A 文章編號：1001-3695（2023）06-015-1697-05

doi： 10.19734/j.issn.1001-3695.2022.11.0554

Clustering federated learning based on data distribution

Chang Liming， Liu Yanhong， Xu Shuzhen

（College of Software， Henan University， Kaifeng Henan 475000， China）

Abstract：

Federated learning is designed to solve the problem of data fragmentation and data isolation based on privacy protection in distributed machine learning. In the federated learning system， participants collaboratively train a model. Each participant uses local data to train the local model， and uploads the trained local model to the server for aggregation. In the real application environment， the data distribution between nodes is often very different， resulting in the accuracy of federated learning model is low. In order to solve the influence of non-independent identically distributed data on the accuracy of the model， this paper proposed a clustering federated learning framework by using the similarity of data distribution between diffe-rent nodes. Extensive experiments were conducted on Synthetic， CIFAR-10 and FEMNIST standard datasets. Compared with other federated learning methods， clustering federated learning based on data distribution greatly improves the accuracy of the model and requires less computation.

Key words：federal learning; personalized federated learning; clustering federated learning; feature extraction; clustering

0 引言

人工智能技術的不斷發展引領著時代的智能化變遷，但是這些前沿技術在落地過程中的瓶頸也逐漸顯現。一方面社會生產和日常生活中會產生大量的零散數據資產，企業或個人的數據價值無法串連，構成眾多數據孤島；另一方面各個國家政府愈發重視保障公民的隱私數據，例如，歐盟在2018年實施了《通用數據保護條例》，而中國在2021年6月10日通過了《中華人民共和國數據安全法》等。聯邦學習技術［1～3］由谷歌在2017年首次提出，很好地平衡了數據價值與數據隱私之間的矛盾。聯邦學習作為一個分布式計算范式，可以在保護用戶隱私、數據安全的情況下，使所有參與者節點協作訓練全局模型。參與者的數據保留在本地，并在服務端的協調下進行模型更新。訓練好的模型可以分配到聯邦學習的各參與方，也可以在多方之間共享。但是，傳統的聯邦學習應用到非獨立同分布（non-IID）數據上時，效果并不理想。實驗證明，當聯邦學習的各節點的數據分布差異過大時，訓練出來的模型精度會大大降低［4］。然而，各節點的數據在現實的產生過程中，可能會受到其他節點或者本地環境的影響，各節點的數據往往是非獨立同分布的。這就給聯邦學習的應用帶來了難題，即如何降低數據的非獨立同分布特性對聯邦學習訓練精度的影響。特別是在推薦系統和個性化廣告等應用中，解決數據異構問題尤為重要，它能使用戶和企業都從中受益。例如閱讀新聞文章的手機用戶可能對不同類別的新聞感興趣，如政治、體育或時尚；廣告平臺可能需要向不同的客戶群體發送不同類別的廣告。這表明利用用戶之間的異構性具有潛在的好處：a）每個節點本身可能沒有足夠的數據，需要更好地利用用戶之間的相似性；b）如果把所有用戶的數據都當做獨立同分布（IID）樣本，則可能無法提供精準的預測。

針對以上問題，本文研究了一種基于數據分布的聚類聯邦學習［5～9］框架及算法，用于解決非獨立同分布數據的異構問題，命名為FedDK（clustering federated learning based on deep set and K-means）。假定用戶被分入不同的聚簇，目標是為每一個聚簇訓練一個模型。該方法面臨的主要挑戰是用戶的聚類標識未知。為了確認用戶的聚類標識，需要同時解決兩個問題：a）標識每個用戶的集群成員關系；b）在分布式條件下優化每一個聚類模型。為了實現這兩個目標，本文的主要思路是利用Deep Sets［10］對用戶的本地數據進行特征提取，獲取用戶的特征描述符，一個特征描述符代表一個用戶的本地數據分布。隨后使用K-means聚類算法對特征描述符進行分組，將具有相似數據分布的用戶分入同一個聚簇，最后每一個聚簇中的所有用戶共同訓練一個模型。本文在本地模擬多個節點和參數服務器，在聯邦學習的基準數據集上進行了廣泛的實驗。

1 相關工作

1.1 聚類聯邦學習

聯邦學習使用戶可以充分利用豐富的數據訓練機器模型，不用擔心泄露其數據。從2017年以來，聯邦學習已經吸引了大量的研究興趣。目前，聯邦學習已經被應用到銀行、健康醫療等領域。

在聯邦學習背景下，異構性是一個關鍵挑戰，已經被廣泛研究。Haddadpour等人［11］針對聯邦學習上的異構數據提出了理論上的收斂分析。Hsu等人［12］衡量了non-IID數據對聯邦可視分類任務的影響。Liang等人［13］討論了本地表征，使數據在不同設備上通過不同的方式處理，而不是通過一個全局模型。Li等人［14］提出了一個新的聯邦配置，由一個共享的全局數據集和若干個來自設備的異構數據集組成。文獻［15，16］整合知識蒸餾到聯邦學習架構中，以期解決模型異構問題。Li等人［17］提出了一個FedProx算法，是對FedAvg算法的泛化和再參數化。

為了解決由non-IID數據引發的問題，一個新興的研究方向是聚類聯邦學習（CFL）。聚類聯邦學習是本地訓練和全局訓練的一種折中，它可以緩解本地訓練中數據不足的問題，也可以減少異構數據對全局模型的影響。在已完成的研究中，基于如何對用戶進行分組，有四種不同的分類方法：

a）利用模型之間的參數距離。例如Xie等人［18］提出了根據客戶端模型和服務器模型之間的距離確定客戶端關聯的方法。與之類似，Briggs等人［19］建議直接在客戶端模型上應用基于距離的分層聚類算法。

b）利用訓練損失。在HyperCluster［11］算法中，使用貪婪算法的思路使用客戶端的本地數據對每一個聚類模型進行幾輪訓練，選擇損失函數最小的模型；Ghosh等人［20］提出了一個類似的算法IFCA。基于模型之間的參數距離和基于訓練損失的分類方法都是基于期望最大值（EM）方法，根據每一個本地模型與聚簇模型的差異為每一個本地模型分配聚簇標識。基于EM方法的不足之處就是加大了本地節點的計算量，在每一個全局輪詢中都需要重新計算。特別是基于訓練損失的分類方式，它將所有聚簇模型發送到本地節點，然后在本地節點上依次對聚簇模型進行幾輪本地訓練，選取損失值最小的聚簇模型作為聚簇標識，這就導致本地節點的計算量急劇攀升。

c）使用梯度信息來決定分區。Sattler等人［5］提出了CFL算法，根據客戶端梯度的余弦相似度將客戶端劃分為兩個分區，然后通過測試其客戶端的梯度范數來檢查分區是否一致。此外，FedGroup［21］算法采用解耦余弦相似度的歐氏距離量化客戶端梯度之間的相似度，利用奇異值分解將梯度分解為多個方向。但基于余弦相似度的方法可能不適用于聚簇具有相同均值和聚簇的數據分布呈環狀的情況，這樣會導致各聚簇之間存在差異。更糟糕的情況是，如果本地節點的數據量很少，梯度可能會較大，從而導致錯誤分區。

d）使用數據的原始信息。Huang等人［22］根據患者的電子病歷和成像方式，將患者進行分組。這些信息通常需要直接訪問用戶數據，因此不能用于一般情況。

1.2 Deep Sets

Deep Sets［10］是一個神經網絡模型，它以數據的集合作為輸入，具有轉置不變性，其輸出結果不會由于數據輸入的順序發生變化而改變。Deep Sets是一個編碼器—解碼器的架構，編碼器獨立作用于輸入集合的每一個元素上，產生一個特征向量；解碼器聚合這些已編碼的特征向量，通過池化操作產生輸入數據的特征描述符。

2 聚類聯邦學習框架

本文設計了一個聚類聯邦學習框架，并提出了其對應的算法。圖1展示了框架詳情。

本文使用Deep Sets模型對本地數據進行特征提取，生成一個代表本地數據分布的特征描述符，并將特征描述符上傳至服務器節點。服務器節點在接收到所有工作節點的特征描述符之后，采用K-means聚類算法對特征向量進行聚類，將具有相似數據分布的工作節點分入到同一個聚簇中。隨后，在服務器節點的調度下，將工作節點根據聚簇標識分入到不同的組中，在組內使用最優化方法進行模型訓練，每一個聚簇訓練一個模型。模型之間根據各模型的訓練數據量設定對應的權重，權重的大小與聚簇中測試數據集的大小成正比。

2.1 特征提取

特征提取是第一步，目的是為工作節點提取一個既能夠反映數據分布又可以保護用戶隱私的特征描述符。最簡單的方法是從工作節點進行特征映射，直接關聯源數據。但是，特征映射的信息容易被反向推測，導致用戶隱私泄露［23～25］。

2.2 相似度比較

2.3 客戶端調度

客戶端調度模塊的目的是對具有相似數據分布的客戶端進行統一調度，使它們協同訓練聯邦模型。在聚類模塊中，通過K-means算法將所有的客戶端根據數據分布的相似度分入到k個聚簇中。每個聚簇代表一個相似的數據分布，聚簇中所有節點的數據可以視為獨立同分布（IID）數據。FedAvg算法［1］已經被證明能夠有效地聚合模型參數，特別是在IID分布上。因此，本文采用FedAvg算法在已分類的聚簇中訓練聯邦模型。

3 實驗設計與分析

為了驗證FedDK算法的有效性，本文在CIFAR-10、FEMNIST、Synthetic數據集上進行了實驗。

3.1 數據集與模型

a）Synthetic數據集。Synthetic數據集是一個合成的聯邦數據集，由Shamir等人［27］ 提出，可通過算法來生成數據，其中的超參數控制客戶端數據之間的異構程度，α控制本地模型之間的差異，β控制每個設備的本地數據與其他設備的差異。α與β的取值都為0～1，值越大，數據的異構性越大；值越小，數據的異構性越小。在本實驗中，將超參數分別設定為α=1，β=1。在合成數據集上，本實驗使用的模型是一個邏輯回歸模型（MCLR），其擁有120個參數。使用Synthetic數據集的目的是為了測試聚類中心個數對結果的影響，并與FedAvg［1］算法進行對比實驗。

b）rotated CIFAR數據集。CIFAR-10是一個由60 000張彩色圖片組成的小型數據集，分為10個類，每個類有6 000張圖像。其中，有50 000是訓練圖像，10 000張是測試圖像。本實驗在CIFAR-10數據集的基礎上創建了聚類聯邦學習數據集。為了模擬所有工作節點的數據都來自不同分布的實驗環境，本實驗通過旋轉擴增了該數據集，構造了rotated CIFAR數據集。

對于CIFAR數據集，通過對圖片進行0°、180°的旋轉，產生k=2的聚簇，從而得到適用于聚類聯邦學習訓練的rotated CIFAR數據集。然后將所有圖片隨機劃分到m個工作節點，每一個工作節點獲得n張具有相同旋轉角度的圖片，則m和n滿足mn=50000k。使用相同的方式將測試數據集劃分到m=10000k/n個工作節點上。在已完成的研究中，通過操作標準數據集（如CIFAR-10）來創建不同的任務，已經在持續學習領域被廣泛采用［28～32］。對于聚類聯邦學習，使用旋轉創建數據集可以模擬一個具有清晰集群結構的聯邦學習設置。本實驗使用了一個由兩個卷積層、兩個最大池化層和兩個全連接層組成的卷積神經網絡模型CNN。

c）federated extended MNIST。FEMNIST數據集是一個擁有62個不同類別的手寫體數字和字符（數字0～9、26個小寫字母、26個大寫字母），包含3 500個用戶的手寫數字和字母，總數據量為805 263。本實驗選取10%，即大約80 000條記錄。在FEMNIST數據集上，使用CNN模型進行訓練。

實驗數據集和模型的統計信息如表1所示。

3.2 實驗設置

本實驗選擇以下方法作為基準，進行對比實驗：local model使用SGD（stochastic gradient descent）優化本地模型，不使用聯邦學習框架；global model使用聯邦學習框架，所有工作節點共同訓練一個全局模型，并利用SGD去優化全局模型；FedAvg是基于SGD的加權平均聯邦學習；FedProx算法是Li等人在2020年提出的一個近端項正則化的聯邦學習算法；IFCA算法是Ghosh等人在2020年提出的一個迭代式聚類聯邦學習算法。

在本實驗中，每一個工作節點都擁有一個本地的測試數據集，在這些數據集上驗證其對應的聚簇模型。例如，在FedAvg和FedProx算法中，使用工作節點的測試數據集驗證全局模型；在IFCA和FedDK算法中，使用組中所有工作節點的測試數據集來驗證該組對應的聚簇模型。本實驗中使用分類準確率和訓練損失值來衡量分類器的性能。在FedDK算法中，因為存在多個聚簇模型，并且每個聚簇中擁有的工作節點數量也各不相同，所以采用加權平均的方法來衡量模型整體的性能。對每個模型的分類精確度進行加權，權重的大小與聚簇中測試數據集的大小成正比。加權精確度等同于所有聚簇中被正確分類的樣本數之和除以測試集的總數。

3.3 實驗結果及分析

為了更好地展示本文方法的有效性，在多個數據集上與其他聯邦學習算法進行了對比實驗。

在測試不同k值對結果的影響時，采用Synthetic數據集，選用100個工作節點，運行200次輪詢，k的取值分別為2、3、4。實驗結果如圖3所示。

從實驗結果可以看出，k的取值不同，FedDK算法的效果也有所不同。當k=4時，FedDK在Synthetic數據集上能夠實現較好的性能。無論k取何值，FedDK算法的分類準確率都比FedAvg算法高8%以上。此外，FedDK算法的性能不會隨k值的增大而不斷提升。當k值提升到一定程度時，對性能的影響并不顯著。例如，在圖3中，當k=3和4時，其實驗結果近似相同。如何選取適當的k值是一個值得關注的問題，在擴展部分對k值的選擇進行了相關討論。

本文在CIFAR-10數據集上對FedDK算法進行了相關實驗，并與IFCA算法、本地模型、全局模型進行了比較。實驗結果如圖4所示。

從實驗結果可以看出，FedDK算法準確率接近于IFCA算法，與本地模型和全局模型相比，準確率更高。相對于IFCA算法，FedDK算法更加簡單，計算量更小，可以應用到更多的場景中。在IFCA算法中，中心節點將聚簇模型進行廣播，工作節點接收到廣播的聚簇模型后，依次使用聚簇模型在本地數據集上進行若干輪訓練，尋找經驗損失值最小的模型，并將其作為該工作節點的聚簇標識；而本文FedDK算法只需要在每一輪訓練中對選出的客戶端節點進行一次聚類即可。當參與訓練的工作節點數量較多時，IFCA算法會造成極大的計算負載，很容易形成性能瓶頸。

此外，相對于本地模型和全局模型，FedDK算法能夠找到每一個工作節點潛在的聚類標識，然后將其分入到對應的組中。每一個模型在具有相似數據分布的數據集中進行訓練，最終擁有更高的準確率。全局模型方法的性能較差，因為它嘗試擬合不同分布的所有數據，并且不能保證個性化預測。本地模型方法容易過擬合本地數據，導致更差的性能。

本文在FEMNIST數據集上進行了相關實驗。FEMNIST數據集是一個真實的聯邦學習數據集，由參與者手寫的數字或字母組成。雖然所有用戶之間的數據分布相似，但由于不同用戶的書寫風格不同，可能存在模糊的聚類結構。

在本實驗中，采用了一個由兩個卷積層、兩個最大池化層和兩個全連接層組成的卷積神經網絡模型作為訓練模型。本實驗將FedDK與FedAvg、FedProx和IFCA算法進行了對比。實驗結果如圖5所示。

從圖5的實驗結果可以看出，FedDK算法在真實數據集FEMNIST上展示了不錯的性能。FedAvg算法是經典的聯邦學習算法，它協同所有節點共同訓練一個全局模型。從實驗結果可以看出，FedAvg算法深受數據異構的影響，其精確度出現了嚴重的彈跳現象。FedProx算法在FedAvg算法的基礎上增加了一個近端項，用于控制本地模型參數的變化幅度，能夠在一定程度上緩解數據異構帶來的影響。FedDK與IFCA算法的實驗結果相似，雙方在經過一定的訓練輪次后，損失值降到了同一水平，預測精確度也差異不大。

3.4 擴展討論

3.4.1 k值的選擇

聚簇個數k的選擇對聚類聯邦學習來說至關重要。通常情況下，k的取值是根據之前的經驗和對數據的理解來設定的。如果沒有先驗知識，最直接的方法就是使用不同的k值來運行程序，選取效果最好的k值。在大規模的聯邦學習系統中選擇最合適的k值會耗費很多的時間。因此，本文提供了一個簡化的過程，通過在少量的采樣節點上運行幾個通信輪次。例如隨機選取100個節點，只進行三次通信輪次，以此來測試k值的選擇是否合適。隨后將其應用到大規模的聯邦系統中。

3.4.2 新節點的加入

對于本文提出的框架，很容易對新的節點進行擴展。當有新的節點要加入系統時，通過Deep Sets模型對新加入的節點進行特征提取，獲取其特征描述符；然后與聚簇中心進行比較，選擇與特征描述符距離最近的聚簇，將其加入其中即可。

4 結束語

為了解決聯邦學習的non-IID問題，本文提出了一個基于數據分布的聚類聯邦學習框架FedDK，并展示了其對應的算法。FedDK能夠有效地區分出大量用戶和設備中的潛在分布，并且利用這些潛在分布來解決數據異構的問題，提高聯邦學習的準確率。在后期的研究中，將探索該方案的去中心化形式。

參考文獻：

［1］Mcmahan H B，Moore E，Ramage D，et al. Communication-efficient learning of deep networks from decentralized data ［C］// Proc of Conference on Artificial Intelligence and Statistics. 2017： 1273-1282.

［2］Koneny J，McMahan H B，Ramage D，et al. Federated optimization： distributed machine learning for on-device intelligence ［EB/OL］. （2016）.https：//arxiv.org/abs/1610. 02527.

［3］孫爽，李曉會，劉妍，等. 不同場景的聯邦學習安全與隱私保護研究綜述 ［J］. 計算機應用研究，2021，38（12）： 3527-3534. （Sun Shuang，Li Xiaohui，Liu Yan，et al. Survey on security and privacy protection in different scenarios of federated learning ［J］. Application Research of Computers，2021，38（12）： 3527-3534.）

［4］Smith V，Chiang C K，Sanjabi M，et al. Federated multi-task learning ［C］// Proc of the 30th International Conference on Neural Information Processing Systems. 2017： 4424-4424.

［5］Sattler F，Müller K R，Samek W. Clustered federated learning： model-agnostic distributed multitask optimization under privacy constraints ［J］. IEEE Trans on Neural Networks and Learning Systems，2020，32（8）： 3710-3722.

［6］Mansour Y，Mohri M，Ro J，et al. Three approaches for personalization with applications to federated learning ［EB/OL］. （2020）. https：//arxiv.org/abs/ 2002. 10619.

［7］魯晨陽，鄧蘇，馬武彬，等. 基于DBSCAN聚類的集群聯邦學習方法 ［J］. 計算機科學，2022，49（S1）： 232-237. （Lu Chenyang，Deng Su，Ma Wubin，et al. Clustered federated learning methods based on DBSCAN clustering ［J］. Computer Science，2022，49（S1）： 232-237.）

［8］Sarwar B M，Karypis G，Konstan J，et al. Recommender systems for large-scale e-commerce： scalable neighborhood formation using clustering ［C］// Proc of the 5th International Conference on Computer and Information Technology. 2002： 291-324.

［9］Li Qing，Kim B M. Clustering approach for hybrid recommender system ［C］// Proc of IEEE/WIC International Conference on Web Intelligence. 2003： 33-38.

［10］Zaheer M，Kottur S，Ravanbakhsh S，et al. Deep sets ［C］// Proc of the 30th International Conference on Neural Information Processing Systems. 2017： 3391-3401.

［11］Haddadpour F，Mahdavi M. On the convergence of local descent methods in federated learning ［EB/OL］. （2019）. https：//arxiv.org/abs/ 1910. 14425.

［12］Hsu T，Qi H，Brown M. Measuring the effects of non-identical data distribution for federated visual classification ［EB/OL］. （2019）. https：//arxiv.org/abs/ 1909. 06335.

［13］Liang P P，Liu T，Liu Ziyin，et al. Think locally，act globally： federated learning with local and global representations ［EB/OL］. （2020）. https：//arxiv.org/abs/ 2001.01523.

［14］Li Daliang，Wang Junpu. FedMD： heterogenous federated learning via model distillation ［EB/OL］. （2019）. https：//arxiv.org/abs/ 1910.03581.

［15］Jeong E，Oh S，Kim H，et al. Communication-efficient on-device machine learning： federated distillation and augmentation under non-IID private data［EB/OL］.（2018）.https：//arxiv.org/abs/1811.11479.

［16］Lin Tao，Kong Lingjing，Stich S U，et al. Ensemble distillation for robust model fusion in federated learning ［EB/OL］. （2020）.https：//arxiv.org/abs/ 2006. 07242.

［17］Li Tian，Sahu A K，Zaheer M，et al. Federated optimization in heterogeneous networks ［C］// Proc of Machine Learning and Systems. 2020： 429-450.

［18］Xie Ming，Long Guodong，Shen Tao，et al. Multi-center federated learning： clients clustering for better personalization ［EB/OL］. （2020）.https：//arxiv.org/abs/ 2005. 01026.

［19］Briggs C，Fan Z，Andras P. Federated learning with hierarchical clustering of local updates to improve training on non-IID data ［C］// Proc of International Joint Conference on Neural Networks.2020：1-9.

［20］Ghosh A，Chung J，Yin D，et al. An efficient framework for clustered federated learning ［C］// Proc of the 33rd International Conference on Neural Information Processing Systems. 2020： 19586-19597.

［21］Duan Moming，Liu Duo，Ji Xinyuan，et al. FedGroup： efficient federated learning via decomposed similarity-based clustering ［C］// Proc of IEEE International Conference on Parallel amp; Distributed Processing with Applications，Big Data amp; Cloud Computing，Sustainable Computing amp; Communications，Social Computing amp; Networking.2021：228-237.

［22］Huang Li，Liu Dianbo. Patient clustering improves efficiency of fede-rated machine learning to predict mortality and hospital stay time using distributed electronic medical records ［J］. Journal of Biomedical Informatics，2019，99： 103291.

［23］Fredrikson M，Jha S，Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures ［C］// Proc of the 22nd ACM SIGSAC Conference on Computer and Communications Security. New York：ACM Press，2015： 1322-1333.

［24］邱曉慧，楊波，趙孟晨，等. 聯邦學習安全防御與隱私保護技術研究 ［J］. 計算機應用研究，2022，39（11）： 3220-3231. （Qiu Xiaohui，Yang Bo，Zhao Mengchen，et al. Survey on federated learning security defense and privacy protection technology ［J］. Application Research of Computers，2022，39（11）： 3220-3231.）

［25］Mahendran A，Vedaldi A. Understanding deep image representations by inverting them ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2015： 5188-5196.

［26］Danielsson P E. Euclidean distance mapping ［J］. Computer Graphics and Image Processing，1980，14（3）： 227-248.

［27］Shamir O，Srebro N，Zhang Tong. Communication-efficient distributed optimization using an approximate Newton-type method ［C］// Proc of the 31st International Conference on Machine Learning.2014：1000-1008.

［28］Krizhevsky A，Hinton G. Learning multiple layers of features from tiny images ［D］. Toronto： University of Toronto，2009.

［29］GoodFellow I J，Mirza M，Xiao Da，et al. An empirical investigation of catastrophic forgetting in gradient-based neural networks ［J］. Computer Science，2013，84（12）： 1387-91.

［30］Kirkpatrick J，Pascanu R，Rabinowitz N，et al. Overcoming catastro-phic forgetting in neural networks ［EB/OL］.（2016-12-02）［2017-01-25］.https：//arxiv.org/abs/1612.00796.

［31］Lopez-Paz D，Ranzato M A. Gradient episodic memory for continual learning ［C］// Proc of the 30th International Conference on Neural Information Processing Systems. 2017： 6467-6476.

［32］Mohri M，Sivek G，Suresh A T. Agnostic federated learning ［C］// Proc of the 36th International Conference on Machine Learning. 2019： 4615-4624.