基于自適應噪聲和動態加權的聯邦學習算法

摘 要：將差分隱私應用于聯邦學習是保護訓練數據隱私的有效方法之一，但在現有的算法中，添加固定噪聲進行模型訓練會導致模型精度不高、數據隱私泄露的問題。為此，提出了一種基于自適應噪聲和動態加權的聯邦學習算法（DP-FedANAW）。首先，考慮到梯度的異質性，該算法為每個客戶端預測當前輪次梯度范數，獲得裁剪閾值，為其進行不同輪次自適應裁剪梯度，從而實現自適應調整噪聲；其次，為了進一步提高模型的訓練效率，該算法還提出了一種將客戶端貢獻度與數據量相結合的動態加權模型聚合方法。實驗結果表明，該算法在滿足差分隱私的前提下，與DP-FL和其他兩個自適應噪聲的算法相比，不僅準確率提高了5.03、2.94和2.85百分點，而且訓練輪次整體提高了5～40輪。

關鍵詞：聯邦學習；差分隱私；自適應噪聲；自適應裁剪；動態加權

中圖分類號：TP309"" 文獻標志碼：A"" 文章編號：1001-3695（2025）03-014-0749-06

doi：10.19734/j.issn.1001-3695.2024.08.0299

Federated learning scheme based on adaptive noise and dynamic weighting

Wang Honglin1a，Xue Shan1b，Zhu Cheng2

（1.a.School of Artificial Intelligence（College of Future Technology），b.School of Computer science，Nanjing University of Information Science amp; Technology，Nanjing 210044，China;2.College of Electrical amp; Computer Engineering，University of Illinois at Urbana Champaign，Urbana IL 61801，USA）

Abstract：Applying differential privacy to federated learning is one of the effective methods to protect the privacy of training data，but adding fixed noise to model training in existing algorithms will lead to the problem of low model accuracy and data privacy leakage.Therefore，this paper proposed a federation learning algorithm based on adaptive noise and dynamic weighting.Firstly，considering the heterogeneity of the gradient，the algorithm predicted the current round gradient norm for each client，obtains the clipping threshold，and performed adaptive clipping gradients for different rounds to achieve adaptive noise adjustment.Secondly，in order to further improve the efficiency of model training，the algorithm also proposed a dynamic weighted model aggregation method combining client contribution and data volume.The experimental results show that this algorithm not only improves the accuracy by 5.03，2.94 and 2.85 percent points，but also improves the training rounds by about 5～40 rounds compared with DP-FL and the other two adaptive noise algorithms under the premise of differential privacy.

Key words：federation learning;differential privacy;adaptive noise;adaptive cutting;dynamic weighting

0 引言

在傳統的機器學習訓練模型中，主要采用集中式的訓練，即所有參與訓練的數據都會集中在服務器進行訓練，以開發出一個更高性能的機器學習模型。但在訓練過程中，模型的性能和效率將嚴重依賴于服務器的計算能力和數據量的大小，并且在數據上傳過程中，無異于將數據的安全性和隱私性暴露在被攻擊竊取的風險中。另外，服務器是否可信也嚴重影響用戶數據的安全性。針對上述問題，聯邦學習［1］應運而生。聯邦學習是由Google在2017年提出的安全解決方案，在其實現過程中，客戶端的數據無須上傳至服務器，而是在本地進行訓練后將更新的本地模型參數上傳至服務器，再由服務器進行聚合。在此期間，不會發生原始數據的傳遞和交換，緩解了各客戶端數據隱私泄露的風險。聯邦學習依靠其優勢成為大規模機器學習進行模型訓練的主流選擇，并廣泛應用于人工智能［2］、智慧醫療［3］、金融［4］等領域。

然而，僅將訓練數據保留在本地并不足以保護數據隱私。當前研究表明，在用戶上傳本地模型參數、服務器進行模型聚合以及全局模型共享的過程中，惡意攻擊者可以通過對模型發起屬性推斷攻擊或成員推理攻擊等，仍然會存在數據安全問題。例如，Wang等人［5］基于GAN的重建攻擊，使用共享模型作為判別器訓練GAN模型，生成訓練模型數據的原始樣本。Hayes等人［6］通過竊取訓練好的模型進行數據集基礎分布估計，進而反演分析以獲取參與方的隱私信息。為解決上述問題，差分隱私［7］、同態加密［8］和多方安全計算［9］被廣泛應用于聯邦學習的隱私保護中。相比于同態加密和多方安全計算的計算復雜度高、通信消耗大，差分隱私只需要在真實數據中加入噪聲進行擾動，使得其實現過程簡單，系統開銷較小。

在現有的基于差分隱私的聯邦學習方法中，每個客戶端在每輪訓練過程中加入的噪聲大多數都是均勻的。但在聯邦學習場景中，每個客戶端的數據分布以及標簽特征是存在差異的，以至于更新的參數大小、速度和方向會有所不同［10］，另外，隨著訓練輪次的增加，模型逐漸趨于收斂，噪聲也應逐漸減少。因此，每個客戶端在每輪所需的噪聲尺度是不盡相同的，未考慮梯度的異質性和模型訓練的隱私需求而均勻地添加噪聲，最終會影響模型的性能。此外，由于訓練數據來源于不同的數據源，數據質量無法保證，并且不能完全滿足獨立同分布和數據量一致這兩個影響最終模型的條件［11，12］，所以，訓練過程中的模型聚合方式也是影響最終模型的重要因素。目前，大多數聯邦學習的模型聚合方式是采用加權平均［13］（FedAvg）的方式，即每個模型參數的權重是按照本地數據量大小進行賦值的，這種方式未考慮到擁有大數據量的客戶端中可能會有數據質量較差的情況，最終會導致其相應得到的本地模型會偏離正常客戶端訓練的本地模型，從而在模型聚合過程中可能會導致全局模型質量下降。

基于此，本文提出了一種具有自適應噪聲以及動態加權的聯邦學習方案。在訓練過程中，為不同客戶端不同輪次進行自適應梯度裁剪，進而引起噪聲的自適應調整。并且，在每輪模型聚合之前，基于各客戶端本地模型距離的相關計算動態分配權重因子，使模型達到更好的效果。其主要工作如下：

a）提出了一種自適應噪聲的差分隱私聯邦學習方案。該方案根據梯度L2范數和裁剪閾值的關系，為不同客戶端不同輪次分配不同的裁剪閾值，從而調整所需要添加的噪聲大小。

b）提出了一種動態加權的模型聚合方法。該方法通過計算各客戶端模型之間的L2范數距離，獲得相應的得分，后經過兩次歸一化操作，得到相應的權重因子，最后進行全局聚合。

c）通過在MNIST和CIFAR10數據集上進行實驗，驗證本文方案的模型準確率相較于傳統方法有明顯的提升。

1 研究基礎

為了解決聯邦學習中的隱私安全問題，許多基于差分隱私的聯邦學習方案被研究者提出。Sara等人［14］首次將差分隱私應用于聯邦學習，實現了在分布式環境中進行模型訓練的同時保護了個體數據的隱私。Wei等人［15］提出了一種將差分隱私應用于聯邦學習的新框架（NbAFL），通過在客戶端本地模型參數聚合之前加入人工噪聲，還提出了一種K-客戶端隨機調度策略，在所有的客戶端中隨機選取K個參加模型聚合。Xu等人［16］提出了一種具有可證明隱私預算的自適應快速收斂學習算法（ADADP），訓練的模型可以在固定的隱私水平下表現出良好的訓練性能。吳若嵐等人［17］提出了一種可以識別潛在的中毒攻擊者的方法，通過引入本地差分隱私，以加強對推理攻擊的防御。張少波等人［18］通過在高斯噪聲中引入固定的衰減系數實現動態調整每輪差分隱私噪聲的大小，以實現對數據的隱私保護。然而上述方法都采用的是添加均勻噪聲的方式，沒有考慮到梯度的異質性，不同客戶端不同輪次所需的噪聲可能不同。

隨著將差分隱私與聯邦學習相結合的不斷研究，越來越多的自適應噪聲方式被提出。Veen等人［19］提出了一種基于梯度感知的自適應裁剪方案，該方案利用前一輪梯度的L2范數進行加噪，并進行相關計算得到當前輪的裁剪閾值，進而為每輪加入不同的噪聲。Zheng等人［20］提出了PriFedSync框架，針對每個樣本的梯度裁剪計算用戶敏感度，并向本地參數添加相應的高斯噪聲，以保護用戶的隱私。Li等人［21］提出了一種多階段自適應私有異步聯邦學習算法，使用一個衰減的裁剪閾值，以減少模型收斂時所需的噪聲。Jiao等人［22］提出了一種基于自適應高斯噪聲的差分隱私聯合學習方案（DPFL-AGN），利用Adam優化器自適應調整學習率來更新參數，隨著模型的收斂，在聯邦學習訓練過程的后期階段對噪聲進行自適應降噪。吳俊儀等人［23］根據客戶端的隱私需求為高隱私需求用戶動態裁剪梯度，而低隱私需求用戶采用比例裁剪，進而自適應地添加噪聲尺度。徐超等人［24］提出了一種結合客戶端選擇的自適應差分隱私聯邦學習方法（CSamp;AGC DP_FL），使用二階指數平滑機制預測梯度，同步調整裁剪閾值和噪聲水平自適應調整。Yang等人［25］提出一種差分隱私優化器（DP-GSGLD），通過貝葉斯采樣在參數更新中實現梯度估計，引入參數裁剪技術進一步推導出隱私預算。

對于聯邦學習中的模型聚合方式，越來越多的研究者提出相應的分配權重算法。目前使用最為廣泛的便是由McMahan等人［13］提出的聯邦平均算法。羅長銀等人［11］從數據質量的角度對原有的FedAvg算法進行改進，將訓練樣本劃分為預訓練樣本與預測試樣本，將初始全局模型在預訓練樣本上訓練，所建立的模型在預測試樣本上進行預測，所得到的分數作為其數據質量，并計算出相應的權重進行模型聚合。Abdullah等人［26］提出了一種通過基于概率的排名算法（FedWAPR）進行加權聚合的方法。其優先考慮具有更高準確性的客戶端，并根據指數分布等概率分布函數為客戶端分配權重。Bhatti等人［27］提出了FedCLS算法，通過考慮設備標簽中類別的數量和數據樣本的數量來計算設備的聚合權重。但上述算法都未考慮加入噪聲后對算法的影響?；谏鲜鲅芯浚谧赃m應噪聲方面，本文提出一種基于預測客戶端梯度L2范數變化的自適應裁剪機制，從而實現噪聲的自適應添加；在服務器端模型參數聚合方面，本文提出一種動態加權的模型聚合方法，基于各局部模型之間L2距離的評分方式，通過兩次歸一化，賦予每個客戶端相應的權重因子參與每輪的模型聚合。

2 算法描述

基于差分隱私機制的聯邦學習是通過對客戶端的參數添加滿足差分隱私的噪聲，從而在參數傳輸過程中達到良好的隱私保護效果。因此，本章概述了聯邦學習和差分隱私的相關定義，并在此前提下對模型進行訓練。

定義3 高斯機制。高斯機制是一種通過給參數添加高斯噪聲的隱私保護機制。為了保證給定的噪聲分布n～N（0，σ2）保持（ε，δ）-差分隱私，噪聲尺度σ≥cΔf/ε且常數c≥2ln（1.25/δ），其中N代表高斯分布。

3 DP-FedANAW算法

根據前文所述，本文提出了一個基于自適應噪聲和動態加權的聯邦學習算法DP-FedANAW。在訓練過程中，該算法的梯度根據自適應裁剪進行自適應加噪處理，從而降低噪聲對模型準確率的影響。此外，為了進一步提高模型的性能，該算法還引了一種動態加權的模型聚合方法。

3.1 DP-FedANAW模型框架

針對聯邦學習中的隱私安全和訓練效率問題，本文提出的DP-FedANAW模型框架如圖1所示。該模型與聯邦學習模型相似，不同的是，DP-FedANAW添加自適應的噪聲來保護用戶隱私，同時采用動態加權的方式來聚合模型參數，主要訓練過程如下：

a）客戶端在本地進行模型訓練，并通過梯度的L2范數來自適應調整每輪的裁剪閾值，相應地調整噪聲，然后在模型參數中加入噪聲進行擾動，再將其上傳至服務器。

b）服務器接收所有客戶端的模型參數，通過各客戶端模型之間的L2距離來計算權重因子，為不同的客戶端分配不同的權重因子，然后再進行模型聚合得到全局模型，并下發給所有的客戶端。

c）客戶端接收全局模型進行本地更新，然后重復上述步驟直至模型收斂。

3.2 算法設計

3.2.1 自適應噪聲

在基于差分隱私的聯邦學習中，梯度裁剪閾值的設定直接影響了隱私保護的強度和模型的收斂性能。在差分隱私梯度下降算法中，通常采用裁剪技術確?！琯i‖2≤C，其中‖gi‖2表示第i個客戶端梯度的L2范數，C表示裁剪閾值。因此，確定一個合理的裁剪閾值是實現有效差分隱私聯邦學習的關鍵。若裁剪閾值C過小，可能會導致梯度被過度裁剪，使得梯度的方向和大小受到過度限制，影響模型的收斂；反之，若裁剪閾值C過大，由于高斯噪聲的方差與裁剪閾值成正比，則需要為梯度參數添加更多噪聲。一般來說，在聯邦學習的訓練過程中，客戶端梯度的L2范數會隨著輪次的增加而逐漸減小，并最終收斂到一個較小的值［28］。

基于上述內容，本文提出了一種基于梯度變化的自適應裁剪方案，從而自適應添加噪聲。該方案使用每個客戶端梯度的L2范數來調整裁剪閾值，進而實現噪聲的自適應調整。具體調整公式如下：

Cit=Cit-1×（1+（‖git-1‖2-‖git-2‖2）/‖git-2‖2）

（4）

其中：Cit為第i個客戶端第t輪的裁剪閾值；‖git-1‖2為第i個客戶端第t-1輪梯度的L2范數。

在自適應裁剪方案中，通過前兩輪的梯度L2范數來預測當前輪次的梯度L2范數的變化趨勢，若上升則提高裁剪閾值，若下降則降低裁剪閾值，從而給出合理的限制。由于該方案需要預測當前輪次梯度L2范數的變化趨勢，所以本文選取梯度裁剪之前的實際梯度進行計算。

3.2.2 動態加權

在聯邦學習訓練過程中，服務器進行模型聚合是極其重要的一步，加權聚合算法對提高模型訓練效率至關重要。最典型的聚合算法便是聯邦平均算法（FedAvg），其核心思想是根據客戶端本地訓練數據集的大小來分配權重，本地數據集越大的客戶端在模型聚合中會獲得更大的權重，所以對全局模型的影響也更大。然而在上述自適應梯度裁剪方案中，在不同輪次為不同客戶端添加不同的噪聲，被加入更多噪聲的模型參數可能會影響最終模型的準確率。因此，本文在FedAvg算法的基礎上進行了改進，提出了一種基于各客戶端模型L2距離和訓練數據集大小相結合的動態加權算法。

該算法的關鍵是計算各客戶端模型之間的L2距離，然后與訓練數據集大小相結合。設計思路是，首先計算某客戶端模型與其他客戶端模型之間的L2距離的平方和，然后取其倒數作為一個得分。為了讓良性貢獻獲得更高的權重因子，一般貢獻獲得更低的權重因子，對該初次得分進行歸一化，然后結合訓練數據量進行第二次歸一化操作，得到最終權重因子。最后，由服務器進行聚合。一般來說，一般貢獻之間以及一般貢獻與良性貢獻之間的L2距離應該會更大［29］?；诖?，一般貢獻的客戶端將會被分配更低權重。具體計算步驟如下：

3.4.2 復雜度分析

根據DP-FedANAW算法流程可知，算法的時間復雜度由客戶端和服務器端兩部分組成。設算法全局迭代次數為T，客戶端數量為N，每次迭代訓練時，客戶端進行本地訓練，計算裁剪閾值、對梯度進行裁剪并加入相應的噪聲，最終將模型參數上傳至服務器；服務器進行模型聚合，計算各客戶端權重因子，更新全局模型參數，其時間復雜度都為O（N）。因此DP-FedANAW算法的時間復雜度為O（TN）。

4 實驗及結果分析

為驗證DP-FedANAW算法的有效性，本章主要通過實驗驗證在相關參數變化時對模型準確率的影響，并將DP-FedANAW算法與FedAvg［13］、DP-FedAvg［15］和SP-FL［23］、CSamp;AGC DP_FL［24］算法進行實驗對比。

4.1 數據集與實驗設置

實驗所采用的數據集為MNIST和CIFAR10兩個標準數據集。MNIST數據集是一個手寫數字的圖像數據集，包括60 000張訓練圖像和10 000張測試圖像，每張圖像是大小為28像素×28像素的灰度圖像，標簽為0～9的數字。CIFAR10數據集是一個彩色圖像數據集，包含50 000個訓練樣本和10 000個測試樣本，每張圖片的大小為32×32，共包含10個類別，有汽車、鳥類等。實驗所使用的平臺操作系統為Windows 10（64位），開發工具為PyCharm，開發環境為Anaconda，CPU的型號為Intel CoreTM i7-8565U CPU @ 1.80 GHz，內存為16 GB。實驗采用Python 3.11對代碼進行編寫，搭建聯邦學習框架所使用的PyTorch版本為PyTorch 1.12.1。

實驗使用卷積神經網絡作為訓練模型，如圖2所示。在模型訓練過程中，參與訓練的客戶端N為20，本地迭代次數為1，全局迭代次數T為100，失敗概率δ為1E-5，MNIST和CIFAR10數據集的學習率η分別為0.005和0.008。

4.2 相關參數對模型的影響

4.2.1 初始裁剪閾值C

本文通過研究不同的C，在不添加隱私噪聲的情況下，對比本文的自適應裁剪閾值與傳統固定裁剪閾值方法對模型準確率的影響。在實驗過程中，將初始裁剪閾值分別設置為10，20，…，100。如圖3（a）和（b）所示，對于MNIST數據集，當初始裁剪閾值為70時，自適應梯度裁剪方法下的模型準確率達到最優的97.58%，當裁剪閾值為30時，固定裁剪方法下的模型準確率達到最優的97.48%，比自適應梯度裁剪方法降低了0.1百分點；對于CIFAR10數據集，在初始裁剪閾值為60時，自適應梯度裁剪方法下的模型準確率達到最優的72.86%，在裁剪閾值為30時，固定裁剪方法的模型準確率達到最優的72.69%，比自適應梯度裁剪方法降低了0.17百分點。綜合分析，當初始裁剪閾值設定較低時，固定裁剪方法要優于自適應梯度裁剪方法，這是由于自適應梯度裁剪在訓練后期，將裁剪閾值減小到一個較低的值，擾動了真實的梯度變化，使得模型準確率降低；當初始裁剪閾值設定較高時，自適應梯度裁剪方法略優于固定裁剪方法，且并不會對模型性能產生負面影響。

4.2.2 隱私預算ε

當使用差分隱私時，必須考慮隱私預算與模型準確率之間的均衡性。在給定初始裁剪閾值的情況下，探究不同隱私預算對模型性能的影響。對于MNIST數據集，設置初始裁剪閾值C為60，隱私預算分別設置為2、2.5、3以進行實驗。對于CIFAR10數據集，設置初始裁剪閾值C為40，隱私預算分別設置為10、15、20。實驗結果如圖4（a）和（b）所示，隨著隱私預算ε的增大，模型準確率也相應地變高。這符合差分隱私中隱私預算和模型準確率成反比的性質，隱私預算越小，隱私保密性越高；隱私預算越大，數據可用性越高。

4.3 實驗對比

4.3.1 不同模型聚合加權方式

為了探究不同的加權聚合方式對模型準確率的影響，在不加入差分隱私的情況下，將本文提出的動態加權（FedAW）與簡單平均加權（SimAvg）和聯邦平均加權（FedAvg）分別在MNIST和CIFAR10數據集上進行比較。從圖5（a）和（b）中可以看出，使用本文提出的動態加權方式時，模型收斂速度略快于FedAvg，明顯快于SimAvg。對于MNIST數據集，模型準確率達到95%時，FedAW的訓練輪次為41，較SimAvg與FedAvg提前了8輪和2輪；而對于CIFAR10數據集，模型準確率達到71%時，FedAW的訓練輪次為36，較SimAvg與FedAvg提前了37和7輪。因此，在不添加噪聲的前提下，本文所提出的加權方式也能夠有效地提高模型的收斂速度。

4.3.2 不同加噪方式

為了驗證自適應噪聲和動態加權對聯邦學習的有效性，接下來將本文提出的DP-FedANAW算法與不加噪聲的FedAvg、傳統固定噪聲的DP-FedAvg和其他自適應噪聲的CSamp;AGC DP_FL、SP-FL算法在不同隱私預算、相同其他相關參數的情況下進行比較。由圖6（a）可知，在MNIST數據集下，FedAvg的模型準確率達到了96.97%。當ε=3時，DP-FedAvg、CSamp;AGC DP_FL和SP-FL的模型準確率分別達到了89.69%、92.02%和92.55%，而DP-FedANAW的模型準確率達到94.37%，相比于DP-FedAvg、CSamp;AGC DP_FL和SP-FL，其準確率分別提高了4.68、2.35和1.82百分點；此外，從圖中明顯可見，在訓練進行至約第20輪后，DP-FedANAW方法的準確率曲線的變化趨勢呈現出一種接近水平的狀態，而DP-FedAvg、CSamp;AGC DP_FL和SP-FL方法在訓練輪次分別達到60輪、30輪和40輪時才近乎收斂。由圖6（b）可知，在CIFAR10數據集下，FedAvg的模型準確率達到了72.29%。當ε=15時，DP-FedAvg、CSamp;AGC DP_FL和SP-FL的模型準確率分別達到了66.29%、67.74%和67.01%，而DP-FedANAW的模型準確率達到69.37%，相比于DP-FedAvg、CSamp;AGC DP_FL和SP-FL，其準確率分別提高了3.08、1.63和2.36百分點此外，在訓練進行至約20輪時，DP-FedANAW方法的準確率曲線的變化趨勢呈現出一種接近水平的狀態，而DP-FedAvg、CSamp;AGC DP_FL和SP-FL方法在訓練輪次達到30輪左右時才近乎收斂。具體相關對比數據如表1所示。

由此可見，DP-FedANAW方法在采用高斯機制實現差分隱私對本地模型進行保護的前提下，能夠有效提高模型的準確率和收斂速度。

5 結束語

針對聯邦學習中的隱私安全問題，本文提出了一種基于自適應噪聲和動態加權的聯邦學習方案。該方法利用客戶端模型梯度的L2范數來預測當前輪次梯度的變化趨勢，基于此來調整裁剪閾值與隱私噪聲；同時基于聯邦平均算法，結合各客戶端模型之間的L2距離來衡量其貢獻程度，為每個客戶端每輪分配不同的權重因子進行模型聚合。通過在MNIST數據集和CIFAR10數據集上的實驗結果表明，在相同隱私約束下，DP-FedANAW方法與其他方法相比提高了模型的準確率及收斂速度。然而本文中的隱私預算采用平均分配的策略，這可能會造成不必要的隱私預算浪費，下一步將考慮結合通過度量隱私損失進行預算分配。同時，進一步考慮存在惡意客戶端不上傳本地模型的情況下，如何通過調整模型聚合方式以保證聯邦學習全局模型的性能。

參考文獻：

［1］McMahan B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data［C］//Proc of Artificial Intelligence and Statistics.2017：1273-1282.

［2］Govardanan S C，Kandati R D，Bhulakshmi D，et al.The amalgamation of federated learning and explainable artificial intelligence for the internet of medical things：a review［J］.Recent Advances in Computer Science and Communications，2024，17（4）：article ID：e121223224367.

［3］Jin Tong，Pan Shujia，Li Xue，et al.Metadata and image features co-aware personalized federated learning for smart healthcare［J］.IEEE Journal of Biomedical and Health Informatics，2023，27（8）：4110-4119.

［4］Li Yan，Wen Guihua.Research and practice of financial credit risk management based on federated learning［J］.Engineering Letters，2023，31（1）：271-278.

［5］Wang Zhibo，Song Mengkai，Zhang Zhifei，et al.Beyond inferring class representatives：user-level privacy leakage from federated learning［C］//Proc of IEEE Conference on Computer Communications.Pisca-taway，NJ：IEEE Press，2019：2512-2520.

［6］Hayes J，Melis L，Danezis G，et al.LOGAN：membership inference attacks against generative models［J］.Proceedings on Privacy Enhancing Technologies，2019，2019（1）：133-152.

［7］Cai Jianping，Liu Ximeng，Ye Qingqing，et al.A federated learning framework based on differentially private continuous data release［J］.IEEE Trans on Dependable and Secure Computing，2024，21（5）：4879-4894.

［8］Cai Yuxuan，Ding Wenxin，Xiao Yuxuan，et al.SecFed：a secure and efficient federated learning based on multi-key homomorphic encryption［J］.IEEE Trans on Dependable and Secure Computing，2024，21（4）：3817-3833.

［9］Li Yong，Zhou Yipeng，Alireza J，et al.Privacy-preserving federated learning framework based on chained secure multiparty computing［J］.IEEE Internet of Things Journal，2021，8（8）：6178-6186.

［10］Adnan A，Wei L，Antonio R.Robust federated learning under statistical heterogeneity via Hessian spectral decomposition［J］.Pattern Recognition，2023，141：109635.

［11］羅長銀，王君宇，陳學斌，等.改進的聯邦加權平均算法［J］.計算機應用，2022，42（4）：1131-1136.（Luo Changyin，Wang Junyu，Chen Xuebin，et al.Improved federated weighted average algorithm［J］.Journal of Computer Application，2022，42（4）：1131-1136.）

［12］Bang J，Woo S，Lee J.DRL-empowered joint batch size and weighted aggregation adjustment mechanism for federated learning on non-IID data［J］.ICT Express，2024，10（4）：863-870.

［13］McMahan B H，Moore E，Ramage D，et al.Federated learning of deep networks using model averaging［EB/OL］.（2016-02-07）.https：//arxiv.org/abs/1602.05629v1.

［14］Sara H，Mohammad A，Marianne W.Differential privacy for increasing learning in distributed environments［C］//Proc of Clinical Orthopaedics and Related Research.2016.

［15］Wei Kang，Li Jun，Ding Ming，et al.Federated learning with differential privacy：algorithms and performance analysis［J］.IEEE Trans on Information Forensics and Security，2020，15：3454-3469.

［16］Xu Zhiying，Shi Shuyu，Liu A X，et al.An adaptive and fast convergent approach to differentially private deep learning［C］//Proc of IEEE International Conference on Computer Communications.Pisca-taway，NJ：IEEE Press，2022.

［17］吳若嵐，陳玉玲，豆慧，等.抗攻擊的聯邦學習隱私保護算法［J/OL］.計算機工程.［2024-08-05］.https：//doi.org/10.19678/j.issn.1000-3428.0068705.（Wu Ruolan，Chen Yuling，Dou Hui，et al.Attack resistant federated learning privacy protection algorithm［J/OL］.Computer Engineering.［2024-08-05］.https：//doi.org/10.19678/j.issn.1000-3428.0068705.）

［18］張少波，張激勇，朱更明，等.基于Bregman散度和差分隱私的個性化聯邦學習方法［J/OL］.軟件學報.［2024-08-05］.https：//doi.org/10.13328/j.cnki.jos.007032.（Zhang Shaobo，Zhang Jingyong，Zhu Gengming，et al.Personalized federated learning method based on Bregman divergence and differential privacy［J/OL］.Journal of Software.［2024-08-05］.https：//doi.org/10.13328/j.cnki.jos.007032.）

［19］Veen K L，Seggers R，Bloem P，et al.Three tools for practical differential privacy［C］//Proc of Privacy Preserving Machine Learning Workshop.2018.

［20］Zheng Qinqing，Chen Shuxiao，Long Qi，et al.Federated f-differential privacy［J］.Proceedings of Machine Learning Research，2021，130：225 1-2259.

［21］Li Yanan，Yang Shusen，Ren Xuebin，et al.Multi-stage asynchronous federated learning with adaptive differential privacy［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2023，46（2）：1243-1256.

［22］Jiao Sanxiu，Cai Lecai，Wang Xinjie，et al.A differential privacy fede-rated learning scheme based on adaptive gaussian noise［J］.Compu-ter Modeling in Engineering amp; Sciences，2023，138（2）：1679-1694.

［23］吳俊儀，李曉會.基于差分隱私的分段裁剪聯邦學習算法［J］.計算機應用研究，2024，41（5）：1532-1537.（Wu Junyi，Li Xiaohui.Segmentation clipping federated learning algorithm based on differential privacy［J］.Application Research of Computers，2024，41（5）：1532-1537.）

［24］徐超，張淑芬，陳海田，等.基于自適應差分隱私與客戶選擇優化的聯邦學習方法［J/OL］.計算機應用.［2024-08-05］.http：//kns.cnki.net/kcms/detail/51.1307.TP.20240411.1120.002.html.（Xu Chao，Zhang Shufen，Chen Haitian，et al.Federated learning method based on adaptive differential privacy and customer choice optimization［J/OL］.Journal of Computer Application.［2024-08-05］.http：//kns.cnki.net/kcms/detail/51.1307.TP.20240411.1120.002.html.）

［25］Yang Chengyi，Jia Kun，Kong Deli，et al.DP-GSGLD：a Bayesian optimizer inspired by differential privacy defending against privacy leakage in federated learning［J］.Computers amp; Security，2024，142：103839.［26］Abdullah S S A，Bhargavi M S，Pavan C K.Weighted aggregation through probability based ranking：an optimized federated learning architecture to classify respiratory diseases［J］.Computer Methods and Programs in Biomedicine，2023，242：107821-107821.

［27］Bhatti D M S，Nam H.FedCLS：class-aware federated learning in a heterogeneous environment［J］.IEEE Trans on Network and Ser-vice Management，2023，20（2）：1517-1528.

［28］Fu Jie，Chen Zhili，Han Xiao.Adap DP-FL：differentially private fe-derated learning with adaptive noise［C］//Proc of IEEE International Conference on Trust，Security and Privacy in Computing and Communications.Piscataway，NJ：IEEE Press，2022：656-663.

［29］張連福，譚作文.一種基于自適應加權的魯棒聯邦學習算法［J］.計算機科學，2023，50（S1）：809-817.（Zhang Lianfu，Tan Zuowen.A robust federated learning algorithm based on adaptive weighting［J］.Computer Science，2023，50（S1）：809-817.）