聯(lián)邦學習安全防御與隱私保護技術(shù)研究

摘 要：聯(lián)邦學習（federated learning，F(xiàn)L）在多個參與方不直接進行數(shù)據(jù)傳輸?shù)那疤嵯鹿餐瓿赡Ｐ陀柧殻浞职l(fā)揮各方數(shù)據(jù)價值；然而，由于聯(lián)邦學習的固有缺陷以及存儲和通信的安全問題，其在實際應(yīng)用場景中仍面臨多種安全與隱私威脅。首先闡述了FL面臨的安全攻擊和隱私攻擊；然后針對這兩類典型攻擊分別總結(jié)了最新的安全防御機制和隱私保護手段，包括投毒攻擊防御、后門攻擊防御、搭便車攻擊防御、女巫攻擊防御以及基于安全計算與差分隱私的防御手段。通過對聯(lián)邦學習的現(xiàn)有風險和相應(yīng)防御手段的系統(tǒng)梳理，展望了聯(lián)邦學習未來的研究挑戰(zhàn)與發(fā)展方向。

關(guān)鍵詞：聯(lián)邦學習；安全風險；隱私保護；防御機制；數(shù)據(jù)融合

中圖分類號：TP309.2 文獻標志碼：A 文章編號：1001-3695（2022）11-003-3220-12

doi： 10.19734/j.issn.1001-3695.2022.03.0164

Survey on federated learning security defense and privacy protection technology

Qiu Xiaohui^1，2， Yang Bo^1，2， Zhao Mengchen^1，2， Hu Shiyang^1，2， Sun Pu^1，2

（1. Ramp;D Center， National FinTech Evaluation Center， Beijing 100070， China; 2. Bank Card Test Center， Beijing 100070， China）

Abstract：On the premise that multiple participants do not transmit data samples， federated learning performs model collaborative training to take advantage of the data value of all parties. However， due to the inherent shortcomings of federated lear-ning and the security issues of data storage and communication， federated learning still faces multiple security and privacy threats in practical application scenarios. This paper summarized the security and privacy attacks faced by federated learning. Then， it summarized the latest security defense mechanisms and privacy protection methods， including poisoning attack defense， backdoor attack defense， free-rider attack defense， sybil attack defense and defense methods based on secure computing and differential privacy. Finally， through a systematic summary of the existing risks and corresponding defense methods of fe-derated learning， this paper looked forward to the future research challenges and development directions of federated learning.

Key words：federated learning; security risk; privacy preserving; defense mechanism; data fusion

基金項目：國家核高基重大專項資助項目；國家發(fā)改委資助項目（發(fā)改投資（2018）122號）

作者簡介：邱曉慧（1993-），女，山東臨沂人，碩士，主要研究方向為隱私計算與人工智能；楊波（1988-），男（通信作者），河南沁陽人，副研究員，博士，主要研究方向為可信計算與金融科技安全（yangbo@bctest.com）；趙孟晨（1996-），女，山東青島人，碩士，主要研究方向為機器學習與深度學習、聯(lián)邦學習、智能信號處理；胡師陽（1996-），男，山東濟寧人，碩士，主要研究方向為機器學習、深度學習、聯(lián)邦學習；孫璞（1983-），男，山東濰坊人，碩士，主要研究方向為人工智能安全、隱私計算、對抗攻擊.

0 引言

數(shù)據(jù)逐漸成為重要的生產(chǎn)要素，數(shù)據(jù)的開放共享、融合流通以及數(shù)據(jù)價值的挖掘成為新的發(fā)展趨勢。但近年來數(shù)據(jù)相關(guān)的安全事件頻發(fā)，數(shù)據(jù)面臨著日益嚴重的安全風險。國家相繼出臺《數(shù)據(jù)安全法》《個人信息保護法》等法律法規(guī)，加大了對數(shù)據(jù)的監(jiān)管力度，但如何合理平衡數(shù)據(jù)價值與安全、兼顧效率與隱私、安全合規(guī)地挖掘數(shù)據(jù)潛力，成為當前數(shù)據(jù)應(yīng)用面臨的挑戰(zhàn)。聯(lián)邦學習（FL）作為一種具有隱私保護機制的分布式機器學習，可在不泄露原始數(shù)據(jù)的情況下實現(xiàn)多方協(xié)同計算，為任務(wù)需求方提供經(jīng)多方聯(lián)合計算的整體數(shù)據(jù)畫像和模型，打破了數(shù)據(jù)孤島，安全合規(guī)地發(fā)揮各方數(shù)據(jù)的最大價值。

在監(jiān)管趨嚴的大數(shù)據(jù)時代，聯(lián)邦學習逐漸被應(yīng)用于多個領(lǐng)域，如智慧醫(yī)療、智能風控、物聯(lián)網(wǎng)、電子政務(wù)等，促進了數(shù)據(jù)融合流通并挖掘了多方數(shù)據(jù)價值。但聯(lián)邦學習作為一種廣義分布式機器學習，不僅會面臨傳統(tǒng)分布式系統(tǒng)和機器學習算法所面臨的各種安全挑戰(zhàn)，還需應(yīng)對其特有的安全風險和威脅。聯(lián)邦學習為保護各方數(shù)據(jù)隱私而出現(xiàn)，但針對隱私的攻擊會導致聯(lián)邦參與方隱私泄露，甚至使聯(lián)合構(gòu)建的模型泄露，令聯(lián)邦學習的可靠性面臨質(zhì)疑。因此，保障聯(lián)邦學習的安全性和隱私性是將其進一步推廣應(yīng)用的關(guān)鍵環(huán)節(jié)。本文基于聯(lián)邦學習自身的安全隱患，從安全風險和隱私泄露的角度對聯(lián)邦學習面臨的多種攻擊進行詳細歸納，總結(jié)分析現(xiàn)有防范措施并提出建議。最后，根據(jù)當前聯(lián)邦學習的應(yīng)用現(xiàn)狀，總結(jié)其發(fā)展趨勢以及可能的研究方向，為未來研究提供參考。

1 聯(lián)邦學習概述

聯(lián)邦學習作為一種新型機器學習技術(shù)于2016年被提出，以解決數(shù)據(jù)安全隱私與模型聯(lián)合訓練問題。聯(lián)邦學習通過中心服務(wù)器匯聚協(xié)調(diào)全局模型，各參與方獨立進行數(shù)據(jù)存儲和模型訓練，有效保障數(shù)據(jù)隱私安全。

1.1 聯(lián)邦學習工作原理

聯(lián)邦學習以數(shù)據(jù)收集最小化為原則，通常由兩個或兩個以上參與方共同參與，參與方利用自有數(shù)據(jù)在本地訓練模型，由中心服務(wù)器進行參數(shù)聚合得到總體模型^［1］，不但能夠保障用戶隱私，而且聯(lián)邦學習構(gòu)建的模型與傳統(tǒng)集中式訓練所獲得的機器學習模型在性能上幾乎一致。聯(lián)邦訓練過程首先要求各參與方授權(quán)加入聯(lián)邦協(xié)議，明確具體機器學習算法和訓練目標，然后進入聯(lián)邦學習迭代過程。具體分為四個階段，如圖1所示。

a）各參與方在訓練目標明確后，利用自有數(shù)據(jù)訓練本地模型，之后利用同態(tài)加密^［2］、差分隱私^［3，4］、多方安全計算等技術(shù)對本地模型的梯度、參數(shù)等信息進行加密，并將加密后的信息發(fā)送至中心服務(wù)器。

b）中心服務(wù)器對各個參與方發(fā)送的梯度、參數(shù)等信息先解密，然后進行聚合。

c）中心服務(wù)器將聚合的結(jié)果加密后發(fā)送至各參與方。

d）各參與方首先將中心服務(wù)器發(fā)送的聚合信息進行解密，之后根據(jù)解密結(jié)果更新本地模型，再利用本地自有數(shù)據(jù)繼續(xù)訓練更新模型。

不同類型的聯(lián)邦學習在可用數(shù)據(jù)來源、網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)分割、聚合與優(yōu)化算法、開源框架等方面存在差異，如圖2所示。在數(shù)據(jù)維度上，聯(lián)邦學習分為橫向聯(lián)邦學習^［5］、縱向聯(lián)邦學習與聯(lián)邦遷移學習；根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)可將聯(lián)邦學習分為有可信第三方（即集中式聯(lián)邦學習）和無可信第三方（即分散式聯(lián)邦學習）^［6～8］；從主流開源框架來看，目前主要有TensorFlow federated （TFF）、PySyft、FATE、PaddleFL、Crypten等^［9］。

1.2 聯(lián)邦學習存在的安全隱患

聯(lián)邦學習的本質(zhì)是一種分布式的機器學習，如圖1所示，由中心服務(wù)器、參與者和通信網(wǎng)絡(luò)三部分組成，在聯(lián)邦學習應(yīng)用過程中上述三部分皆存在一定的安全隱患。

由于中心服務(wù)器關(guān)鍵的聚合作用，一旦被攻擊將面臨信息泄露等風險；另一方面，中心服務(wù)器的聚合算法通常不會檢測參與方上傳的信息是否存在錯誤、異常等，所以來自參與方的攻擊將對全局模型構(gòu)成威脅。參與者的安全隱患主要是其數(shù)據(jù)集面臨被惡意投毒的風險，上傳到服務(wù)器的參數(shù)也面臨被竄改的挑戰(zhàn)。通信網(wǎng)絡(luò)的安全隱患方面，參與者與服務(wù)器的通信是聯(lián)邦學習的關(guān)鍵一環(huán)，各方密鑰、參數(shù)等信息皆通過網(wǎng)絡(luò)進行傳輸，因此通信環(huán)節(jié)面臨的多種惡意竊取或竄改不容忽視。

1.3 聯(lián)邦學習面臨的安全攻擊與隱私攻擊

針對上述隱患，可將聯(lián)邦學習面臨的挑戰(zhàn)分為安全攻擊和隱私攻擊。安全攻擊是指通過多種攻擊使得構(gòu)建的聯(lián)邦學習模型出錯，甚至模型不能正確完成計算、預(yù)測等應(yīng)用任務(wù)；隱私攻擊是指導致參與方本地數(shù)據(jù)泄露、聯(lián)邦模型泄露等問題的攻擊手段。本文根據(jù)攻擊發(fā)生的位置以及攻擊破壞的內(nèi)容總結(jié)分析聯(lián)邦學習所面臨的安全攻擊和隱私攻擊，如圖3所示。在安全攻擊方面，聯(lián)邦學習主要面臨投毒攻擊、后門攻擊、搭便車攻擊和女巫攻擊；在隱私攻擊方面，聯(lián)邦學習會受到推斷攻擊和GAN攻擊的挑戰(zhàn)。

2 聯(lián)邦學習面臨的安全攻擊

聯(lián)邦學習的安全風險主要為攻擊者通過多種手段攻擊聯(lián)邦學習，破壞聯(lián)邦學習協(xié)議，降低聯(lián)邦學習正確性，使聯(lián)邦學習在數(shù)據(jù)探查、聯(lián)邦訓練以及聯(lián)邦推理等過程出錯。如表1所示，根據(jù)攻擊目標、攻擊者策略等不同，本文主要討論研究廣泛的投毒攻擊、后門攻擊、搭便車攻擊和女巫攻擊。

2.1 投毒攻擊

在聯(lián)邦學習中，投毒攻擊（poisoning attack）^{［10，11］}是一種攻擊者通過破壞參與者本地數(shù)據(jù)集或本地模型參數(shù)以降低聯(lián)邦學習正確性，進而影響聯(lián)邦訓練安全性的攻擊方式，主要發(fā)生在聯(lián)邦訓練階段。根據(jù)攻擊者投毒對象不同將投毒攻擊分為數(shù)據(jù)投毒攻擊和模型投毒攻擊，如圖4所示。攻擊對象為本地模型參數(shù)則為模型投毒攻擊，攻擊對象為本地數(shù)據(jù)集則為數(shù)據(jù)投毒攻擊^{［12～14］}。

模型投毒攻擊（model poisoning attack）是指攻擊者通過破壞參與者向中心服務(wù)器發(fā)送的模型參數(shù)來影響聯(lián)邦全局模型。模型投毒會改變聯(lián)邦參數(shù)的變化方向，減慢模型收斂速度，破壞聯(lián)邦模型的性能^{［15～17］}。數(shù)據(jù)投毒攻擊（data poisoning attack）^{［18～21］}通過獲取參與者本地訓練集及標簽等信息，對其中的樣本進行修改、刪除或者向訓練集中添加特殊樣本，降低訓練集質(zhì)量^{［22～24］}，本質(zhì)上改變了本地訓練集的局部分布，導致本地模型準確度降低，經(jīng)過中心服務(wù)器匯聚后影響全局模型準確性。數(shù)投毒攻擊包括干凈標簽投毒和標簽投毒^{［25～32］}。

2.2 后門攻擊

后門攻擊（backdoor attack）旨在通過注入對抗性觸發(fā)器來操縱訓練數(shù)據(jù)的子集，從而使得在被竄改數(shù)據(jù)集上訓練的模型在嵌入相同觸發(fā)器的測試集上出現(xiàn)錯誤預(yù)測^{［33～36］}。后門攻擊與數(shù)據(jù)投毒攻擊有許多相似之處，如表2所示。

然而對聯(lián)邦學習而言，傳統(tǒng)后門攻擊所發(fā)揮的作用在一定程度上會被模型匯聚削弱。因此，攻擊者欲使后門在模型聚合過程中持續(xù)發(fā)揮作用，通常會重新設(shè)計針對聯(lián)邦學習的后門攻擊來強化后門模型的影響，通常包括參數(shù)擴增策略、分布式差異化后門策略以及通過女巫攻擊強化后門攻擊^{［35， 37， 38］}。

2.3 搭便車攻擊

在聯(lián)邦學習中，搭便車攻擊（free-rider attack）^{［39～41］}是指參與者在沒有本地訓練集的情況下，通過構(gòu)建虛假參數(shù)發(fā)送給中心服務(wù)器以獲取全局模型，而不做實際貢獻。根據(jù)聯(lián)邦學習搭便車攻擊理論框架，將搭便車攻擊分為普通搭便車和偽裝搭便車。普通搭便車每次迭代時不更新本地模型參數(shù)，通過簡單策略實現(xiàn)攻擊；偽裝搭便車攻擊依賴于參數(shù)的隨機擾動，更加隱蔽且更易避過中心服務(wù)器的檢測。搭便車攻擊破壞了聯(lián)邦學習激勵機制，不利于構(gòu)建可信公平的聯(lián)邦學習環(huán)境，對多方合作共享機制的發(fā)展造成了消極影響，降低了模型聚合效率。

2.4 女巫攻擊

女巫攻擊（sybil attack）^［42］是指在對等網(wǎng)絡(luò)中，惡意攻擊者為單個節(jié)點偽造出多個身份ID以對網(wǎng)絡(luò)進行干擾、監(jiān)視和攻擊，損害網(wǎng)絡(luò)魯棒性。偽造生成的多個虛假節(jié)點被稱為女巫（sybil）節(jié)點，女巫節(jié)點能夠大大提高數(shù)據(jù)投毒、模型投毒等攻擊效率。女巫攻擊與搭便車攻擊均常見于分布式系統(tǒng)中，其區(qū)別與共性如表2所示。女巫攻擊在集中式聯(lián)邦學習框架^{［43～46］}和去中心化聯(lián)邦學習架構(gòu)中均會發(fā)生，但由于去中心化聯(lián)邦學習框架^［47］不存在邏輯上的第三方權(quán)威節(jié)點，無法對每個ID對應(yīng)節(jié)點的可信程度進行確認，因而更易受到女巫攻擊。

3 聯(lián)邦學習面臨的隱私攻擊

聯(lián)邦學習是為解決“數(shù)據(jù)孤島”“數(shù)據(jù)安全”“數(shù)據(jù)隱私”等安全與隱私問題而出現(xiàn)的，部分聯(lián)邦學習側(cè)重于提高效率或解決數(shù)據(jù)異構(gòu)問題而忽略了各方參數(shù)傳輸與聚合時所面臨的推斷攻擊、GAN攻擊等易導致聯(lián)邦學習隱私泄露的風險。如表3所示，本章主要討論導致聯(lián)邦學習隱私泄露的推斷攻擊和GAN攻擊，其中，推斷攻擊包括成員推斷、屬性推斷、重建攻擊。

3.1 推斷攻擊

在聯(lián)邦學習中，參與方的原始訓練數(shù)據(jù)只參與訓練，不離開本地，各參與方無法訪問對方的原始數(shù)據(jù)。然而，推斷攻擊^{［14，48，49］}利用多種攻擊手段仍可獲取聯(lián)邦學習的隱私信息，如參與方的原始數(shù)據(jù)。此外，由于梯度和模型參數(shù)的交互過程存在隱私泄露風險^{［50～52］}，推斷攻擊可對聯(lián)邦模型訓練過程進行推斷獲取隱私信息。對隱私信息推斷主要通過攻擊獲取樣本成員、屬性、訓練集樣本標簽和數(shù)據(jù)等信息，即成員推斷攻擊、屬性推斷攻擊和重建攻擊。

3.1.1 成員推斷攻擊

成員推斷攻擊（membership inference attack）是指攻擊者通過一定手段對某個樣本是否被用于訓練進行推斷^{［53，54］}，即推斷特定樣本是否存在于聯(lián)邦學習某參與方的本地數(shù)據(jù)集^［55］，以獲取參與方原始數(shù)據(jù)的相關(guān)信息。攻擊者一般通過觀察參與方本地模型或聯(lián)邦模型進行推理，也可對聯(lián)邦訓練過程進行更改實現(xiàn)攻擊。聯(lián)邦學習的成員推斷攻擊實現(xiàn)方式多樣，可從不同角度對其進行分類。

a）根據(jù)攻擊者對訓練過程的觀察內(nèi)容，聯(lián)邦學習面臨的成員推斷攻擊分為白盒和黑盒設(shè)置下的攻擊^［56］。在黑盒設(shè)置中，攻擊者的觀察僅限于模型在輸入上的輸出；在白盒設(shè)置中^［57］，攻擊者還可獲取目標模型以及計算過程的梯度等信息，攻擊者可以根據(jù)樣本梯度的分布不同進行成員推斷攻擊。

b）根據(jù)是否修改訓練過程的內(nèi)容分為被動推斷攻擊和主動推斷攻擊^［58］。被動推斷攻擊是攻擊者不修改學習過程僅進行觀察而實現(xiàn)的攻擊^［59］，此攻擊易對各參與方本地訓練集的成員進行推斷；主動推斷攻擊不僅對聯(lián)邦模型進行觀察，還可以主動影響目標模型，提取訓練集的更多信息。

c）根據(jù)攻擊對象不同可分為針對中心服務(wù)器和針對參與者兩類成員推斷攻擊。中心服務(wù)器接收每個參與者的梯度更新信息，利用各方梯度進行匯聚更新全局模型，并向每個參與者分發(fā)更新后的模型參數(shù)。攻擊者可使用中心服務(wù)器觀察參與方的梯度信息進行成員推斷，利用參與者觀察的全局參數(shù)實現(xiàn)推斷攻擊，并制造惡意參數(shù)更新以獲得其他參與者的隱私信息。

3.1.2 屬性推斷攻擊

屬性推斷攻擊（property inference attack）旨在判斷特定屬性是否在其所對應(yīng)的訓練集中^［60］。該屬性并不一定與主訓練任務(wù)相關(guān)，屬性推斷攻擊更偏向于主任務(wù)無關(guān)的屬性推斷^{［25，61］}。屬性推斷攻擊分為被動屬性推斷攻擊和主動屬性推斷攻擊^［62］。屬性推斷假設(shè)攻擊者有一個輔助訓練集，此訓練集具有攻擊者意圖推斷的目標屬性^［63］。在被動屬性推斷中，攻擊者不對聯(lián)邦學習過程中的其他內(nèi)容進行更改，僅在每次迭代期間收集全局模型在局部數(shù)據(jù)上生成的中間輸出，并學習從梯度或模型中間輸出推斷出的信息以及屬性之間的映射關(guān)系。在主動屬性推斷中，攻擊者可以利用多任務(wù)學習等方式欺騙聯(lián)邦學習模型，使得模型學會識別具有某種屬性和沒有某種屬性的樣本，從而獲得更多信息。

3.1.3 重建攻擊

重建攻擊（reconstruction attack）包括數(shù)據(jù)和標簽推斷攻擊（training inputs and labels inference attack），是指攻擊者對參與方訓練集中的樣本標簽進行推斷以及重構(gòu)訓練所用數(shù)據(jù)^［64］。在集中式聯(lián)邦學習框架和去中心化聯(lián)邦學習框架^［65］中均可發(fā)生重建攻擊。在集中式聯(lián)邦學習框架中，攻擊者可能為參與方，也可能為中心服務(wù)器；在去中心化聯(lián)邦學習框架中，每個參與方均可從相鄰參與方接收梯度信息，進而進行重建攻擊。

a）集中式聯(lián)邦學習框架。當攻擊者為參與方時，攻擊者通過保存聯(lián)邦模型參數(shù)的快照，并利用連續(xù)不同輪快照之間的差異實現(xiàn)推斷。在實現(xiàn)方法上，利用各參與方聚合后的參數(shù)更新與攻擊者自身更新的差值，推斷出一個batch訓練數(shù)據(jù)的梯度^［66］。利用所獲梯度實現(xiàn)對訓練集的標簽推斷以及對樣本數(shù)據(jù)的恢復和重建，這種推斷和重建無須攻擊者對參與方數(shù)據(jù)集有先驗知識便可實現(xiàn)。

b）中心化聯(lián)邦學習框架。對于無中心服務(wù)器的去中心化聯(lián)邦學習框架，攻擊者可能為每一個參與方。參與方可以通過DLG竊取相鄰參與方的訓練數(shù)據(jù)。然而，DLG在恢復高質(zhì)量數(shù)據(jù)以及真實標簽時收斂較慢、準確度不足，因此，Zhao等人^［67］在DLG基礎(chǔ)上提出了iDLG（improved deep leakage from gradients），根據(jù)標簽和相應(yīng)梯度符號間的關(guān)系，用比DLG更少的迭代數(shù)量，利用已獲取的梯度準確推斷標簽和數(shù)據(jù)。

3.2 GAN攻擊

基于GAN^［68］能夠模仿生成數(shù)據(jù)的特性，研究者考慮利用GAN攻擊聯(lián)邦學習。假設(shè)惡意攻擊者完全控制了某個參與方（或中心服務(wù)器），攻擊者可以將接收到的更新參數(shù)送入GAN或者GAN的其他變體（如DCGAN^［69］）的鑒別器中，不斷訓練生成器模仿生成其他參與方的訓練數(shù)據(jù)^［70］，利用這種模仿生成其他參與方的訓練數(shù)據(jù)的特性還可以完成各種推斷攻擊，如類代表推斷^{［71～73］}、標簽推斷和從屬參與者的推斷^{［74，75］}，因此GAN攻擊對聯(lián)邦學習系統(tǒng)的潛在威脅不可忽視。

4 聯(lián)邦學習防御技術(shù)

為應(yīng)對上述安全攻擊與隱私攻擊，目前已有很多學者對聯(lián)邦學習的安全與隱私防御技術(shù)進行研究，本章分類總結(jié)防御聯(lián)邦學習安全攻擊與隱私攻擊的有效技術(shù)，并對現(xiàn)有技術(shù)的優(yōu)缺點進行分析。

4.1 聯(lián)邦學習安全防護措施

針對聯(lián)邦學習面臨的安全攻擊，現(xiàn)階段主要的安全防御措施為異常檢測^［76］與過濾、優(yōu)化聚合協(xié)議^［77］、模型剪枝、差分隱私等。異常檢測在網(wǎng)絡(luò)入侵檢測^{［78，81］}、信用卡欺詐檢測^{［82，83］}、故障檢測^{［84～86］}等方面已得到了廣泛研究與應(yīng)用。通過對中毒樣本點、異常更新等導致的參與者異常行為進行檢測、識別與過濾，可抵御多種攻擊，保證聯(lián)邦學習的安全性。如表4所示，本節(jié)將針對投毒攻擊、后門攻擊、搭便車攻擊以及女巫攻擊，分別闡述其對應(yīng)的防御手段。

4.1.1 投毒攻擊防御

投毒攻擊防御主要分為單一參與方投毒攻擊防御和分布式聯(lián)合投毒攻擊防御兩類。單一參與方的投毒攻擊通常利用異常檢測進行防御，而分布式聯(lián)合投毒攻擊通常利用sniper過濾機制防御。

1）參與方投毒攻擊防御

單一參與方投毒攻擊抵御措施已經(jīng)得到了廣泛研究。單一參與方投毒攻擊防御主要通過對數(shù)據(jù)投毒攻擊、模型投毒攻擊的異常檢測來實現(xiàn)。

a）數(shù)據(jù)投毒防御。

對數(shù)據(jù)投毒攻擊的異常檢測包括通用方法和特定方法兩類，通用方法可以檢測出所有種類的數(shù)據(jù)中毒樣本，特定方法僅能識別特定類別的數(shù)據(jù)中毒樣本，如標簽反轉(zhuǎn)中毒樣本或干凈標簽中毒樣本。可以通過De-Pois^［87］、最小化所有類別的貝葉斯信息準則成本^［88］等通用方法或DPA等特定方法對中毒樣本進行檢測與識別，以及進行中毒樣本數(shù)量的預(yù)測，進而在數(shù)據(jù)開始注入模型訓練之前對識別出的毒化樣本進行清除，防御數(shù)據(jù)投毒攻擊^{［89～91］}。

基于GAN的De-Pois模型是檢測中毒樣本通用且有效的方法。通過生成對抗網(wǎng)絡(luò)（GAN）生成與干凈數(shù)據(jù)分布相似的訓練數(shù)據(jù)，基于生成的數(shù)據(jù)來訓練模仿模型；模仿模型可以模仿目標模型進行預(yù)測，其預(yù)測性能與目標模型類似。通過比較模仿模型和目標模型之間的預(yù)測差異，De-Pois能夠有效區(qū)分毒化樣本和干凈樣本，具有通用性。

基于貝葉斯信息準則的混合模型可以有效檢測出被毒化的樣本，是一種數(shù)據(jù)投毒樣本的通用檢測方法，可檢測出干凈標簽投毒樣本和標簽投毒樣本等。通過最小化所有類別的貝葉斯信息準則成本識別中毒樣本，并刪除檢測到的毒化樣本，對數(shù)據(jù)投毒攻擊的防御具有有效性和普遍性。

除了以上兩種通用數(shù)據(jù)投毒攻擊的防御，Levine等人^［92］提出了兩種針對特定數(shù)據(jù)投毒的認證防御方法——深度分區(qū)聚合（deep partition aggregation， DPA）和半監(jiān)督DPA（semi-supervised DPA， SS-DPA），可以檢測特定種類的數(shù)據(jù)投毒攻擊。DPA可以防御通過增加或刪除樣本數(shù)據(jù)實現(xiàn)的數(shù)據(jù)投毒攻擊，SS-DPA可以防御標簽投毒攻擊。

b）模型投毒防御。

對模型投毒攻擊的檢測主要在中心服務(wù)器實現(xiàn)^{［93～95］}，通過兩種方式實現(xiàn)異常檢測：（a）服務(wù)器通過各類方法審計模型更新以檢測出異常更新；（b）服務(wù)器通過預(yù)設(shè)驗證集或生成有效訓練集來驗證每個參與方的模型準確性，設(shè)置一定的閾值以判別異常模型。利用這兩種異常檢測方式，標志出參與方是否為攻擊者，拒絕已標志為惡意參與方的參數(shù)更新。

服務(wù)器審計模型更新是否為異常的方法包括通過區(qū)塊鏈存儲并審計，或者通過降維技術(shù)生成本地模型參數(shù)更新的低維代理，進而完成異常參數(shù)檢測。基于區(qū)塊鏈的聯(lián)邦學習異常檢測模型，用區(qū)塊鏈技術(shù)記錄聯(lián)邦學習的訓練過程；模型的增量更新通過分布式賬本鏈接在一起，更新的權(quán)重參數(shù)被存儲在區(qū)塊鏈上，由中心服務(wù)器審計模型更新，可以防御模型投毒攻擊。有研究利用降維技術(shù)在中心服務(wù)器生成本地模型參數(shù)更新的代理，通過低維代理建模權(quán)重向量，在服務(wù)器端采用基于自動編碼器的異常檢測模型檢測異常參與方，使得聯(lián)邦學習模型精度提高10%以上^［96］。

服務(wù)器通過某一特定數(shù)據(jù)集來驗證參與方的本地模型是否準確，并設(shè)置一定的閾值，低于閾值的更新被判別和標志為異常本地模型更新。中心服務(wù)器拒絕已被標志為惡意參與者的模型更新，僅從誠實參與方接收模型更新，從而降低模型中毒攻擊成功率。這一特定數(shù)據(jù)集可以是預(yù)設(shè)的一個驗證集，也可以是生成的額外訓練集。基于驗證集的模型投毒攻擊抵御方法，通過特定的驗證集驗證本地模型性能并將性能低的參與者標志為惡意者^［97］。Zhao等人^［98］提出了一種中毒防御生成對抗網(wǎng)絡(luò)（PDGAN）來防御模型投毒攻擊，PDGAN可以從中心服務(wù)器的模型更新中重建有效訓練數(shù)據(jù)，利用重建數(shù)據(jù)測試每個參與方本地模型的準確性，將準確率低于預(yù)定義閾值的本地模型識別為攻擊者，進而刪除模型參數(shù)，防御聯(lián)邦學習中的模型投毒攻擊。

除此之外，防御聯(lián)邦模型投毒攻擊的分治算法（divide-and-conquer， DnC）在抵御模型投毒攻擊方面優(yōu)于拜占庭魯棒的（Byzantine-robust）聯(lián)邦聚合算法，是一種更為安全的模型聚合算法。

2）分布式聯(lián)合投毒攻擊防御

當具有相同目標的多個惡意參與方相互合謀時，中毒樣本被注入多個訓練集造成多個本地模型中毒，進一步影響全局模型，此分布式投毒攻擊對聯(lián)邦學習造成了更大的威脅和破壞。狙擊手sniper^［99］檢測過濾機制可有效防御上述分布式投毒攻擊，在中心服務(wù)器對多個惡意參與方聯(lián)合發(fā)起的攻擊進行識別與過濾，確保全局模型向正確方向收斂。

針對分布式投毒攻擊，sniper利用最大團^［100］識別正常參與方并過濾惡意參與方，以抵御分布式投毒攻擊。實現(xiàn)方式上，在中心服務(wù)器構(gòu)建一個由多個頂點和邊構(gòu)成的圖，每個頂點代表服務(wù)器從參與方收集的本地目標模型，然后計算本地模型間的歐氏距離，當歐氏距離較小時，兩點間便存在一條邊。通常，良性模型與良性模型之間的距離較小，而中毒模型與良性模型的距離很大，因此誠實參與方的良性本地模型和惡意參與方的中毒本地模型將分布在不同的團中。中心服務(wù)器通過求解圖中的最大團以確定良性的本地模型，利用BronKerbosch^［101］方法確定出所有團，其中最大團所包含的節(jié)點是誠實參與方，最大團之外的節(jié)點是惡意參與方。

sniper在模型匯聚前過濾惡意參與方，拒絕接受已被標志為惡意參與方的模型更新，僅利用誠實參與方的本地模型來聚合全局模型。因此，即使聯(lián)邦學習系統(tǒng)中存在多個聯(lián)合投毒攻擊者，利用sniper也可以識別并過濾，降低分布式投毒的成功率。sniper在三分之一參與方為惡意攻擊者的情況下，仍可將攻擊成功率降低至約2%。

4.1.2 后門攻擊防御

后門攻擊者一般在訓練階段將后門嵌入本地模型，通過本地模型參數(shù)來感染聯(lián)邦全局模型。后門攻擊的防御方法可分為四種：a）主動對各參與方上傳的參數(shù)或聚合后的模型進行檢測，若發(fā)現(xiàn)異常則對異常部分進行刪除或舍棄；b）通過優(yōu)化聚合協(xié)議增強聯(lián)邦學習魯棒性進而降低全局模型被后門攻擊的概率；c）利用模型剪枝技術(shù)裁剪刪除模型被感染部分；d）利用差分隱私技術(shù)防御后門攻擊。

1）異常檢測

由于只有特定樣本才可觸發(fā)后門，在沒有進一步分析的情況下，通常僅攻擊者了解后門存在的具體形式，所以對后門攻擊的防御極具挑戰(zhàn)性。為了有效防范后門攻擊，部分研究者提出異常檢測方案，如通過增強中心服務(wù)器的檢測能力來過濾攻擊者上傳的后門，或者由參與方進行異常檢測，而中心服務(wù)器僅對多個參與方的檢測結(jié)果進行聯(lián)合分析，得到是否含后門的結(jié)果^{［102，103］}。

在服務(wù)器的異常檢測典型方法包括范數(shù)閾值方法、光譜異常檢測方法、基于特征的異常檢測方法、基于智能合約的異常檢測方法、基于動態(tài)聚類的異常檢測等。通常利用含后門的模型參數(shù)更新與良性更新之間具有數(shù)字特征方面的差異作為異常檢測依據(jù)，如利用含毒更新的范數(shù)較大這一特點，Sun等人^［104］提出一種在中心服務(wù)器設(shè)置范數(shù)閾值的方案，利用閾值過濾含毒的參數(shù)防范后門攻擊；Li等人^［105］利用光譜異常檢測提升中心服務(wù)器的檢測能力，從而識別并移除含后門的更新；Fu等人^［106］提出一種基于特征的異常檢測方案，能夠?qū)箝T攻擊進行檢測和抵御；Desai等人^［107］利用智能合約來自動檢測后門并對攻擊者進行相應(yīng)懲罰，提出一種混合區(qū)塊鏈的聯(lián)邦學習框架；FLGUARD方法^［108］使用動態(tài)聚類^［109］對中心服務(wù)器收到的含毒更新進行識別和刪除，然后結(jié)合差分隱私技術(shù)，用自適應(yīng)性的剪裁與加噪技術(shù)消除聚類后殘留的后門影響，對分布式后門攻擊同樣可以進行有效過濾；Fu等人^［110］設(shè)計了一種基于殘差加權(quán)的新型聚合算法來檢測并過濾后門。

在參與方的異常檢測典型方法如BaFFLe方法^［111］，由參與者進行異常檢測，而中心服務(wù)器不再負責此任務(wù)。每輪模型聚合后，中心服務(wù)器將更新的全局模型發(fā)送給部分參與者，參與者利用本地數(shù)據(jù)對上一輪的全局模型和新聚合的全局模型分別進行預(yù)測，若兩者預(yù)測差距過大則視新模型為含毒模型；中心服務(wù)器通過分析多個參與者的判定結(jié)果來綜合判斷此輪更新是否含毒，若含毒則舍棄該輪更新直接開啟下一輪訓練。此方法利用了參與者間數(shù)據(jù)非獨立同分布的特點，惡意攻擊者較難預(yù)測后門在多個差距較大數(shù)據(jù)集上的表現(xiàn)，難以為后門設(shè)計躲避策略，因此BaFFLe方法是預(yù)防后門攻擊的有效方法。

以上的異常檢測方案主要是檢測后門，然后刪除被檢出的帶后門的本地模型更新。另一種方案是對于檢出的帶后門模型不進行直接刪除，而是在保留本地模型的基礎(chǔ)上進行后門消除，如基于逆向工程的后門消除方法^［112］，該方法不僅可以檢測后門還可以消除已檢測出的后門。各參與者利用逆向工程為每個標簽生成一個反向觸發(fā)器，中心服務(wù)器生成具有聚合功能的全局反向觸發(fā)器，聚合的同時進行異常值檢測以找出攻擊者植入的后門；然后中心服務(wù)器將后門標簽對應(yīng)的全局反向觸發(fā)器添加到每個參與者的訓練集中，以消除模型中的后門。

2）優(yōu)化聚合協(xié)議

在聯(lián)邦訓練階段可通過改進聯(lián)邦學習的聚合協(xié)議增強聚合算法的健壯性，進而防御聯(lián)邦模型被嵌入后門。對聚合協(xié)議的優(yōu)化包括范式裁剪、調(diào)整聚合學習參數(shù)、基于注意力機制的聚合協(xié)議等。中心服務(wù)器可以通過在聚合的各參與方參數(shù)上進行范式剪裁并添加高斯噪聲，再將更新后的全局參數(shù)返回各參與方，各參與方再繼續(xù)進行訓練，以此對抗后門攻擊。Ozdayi等人^［113］通過調(diào)整聚合學習參數(shù)來抵御后門攻擊，并基于針對分布式機器學習的signSGD方法^［114］，根據(jù)更新梯度的符號對參數(shù)更新進行過濾，濾除異常參數(shù)更新，確保聚合后模型的精確度；該方法還可與范式剪裁和增加噪聲方法相結(jié)合以抵擋標簽反轉(zhuǎn)攻擊。Wan等人^［115］在聚合協(xié)議里引入注意力機制，不再采用原始簡單的聚合函數(shù)，而是利用基于注意力機制的神經(jīng)網(wǎng)絡(luò)來完成聚合任務(wù)。基于注意力機制的聚合方式具有攻擊自適應(yīng)性，能夠防御不同類型的后門攻擊。

3）模型剪枝

大部分后門防御是通過異常檢測方法來辨別異常更新和正常更新，但不同數(shù)據(jù)集以及不同數(shù)據(jù)分布難以確保檢測方法可以有效地檢測所有后門攻擊^［116］，基于模型剪枝技術(shù)的后門攻擊防御方法能夠有效解決數(shù)據(jù)集分布不同導致的檢測準確率問題。遭受后門攻擊的神經(jīng)網(wǎng)絡(luò)中存在后門神經(jīng)元，后門神經(jīng)元是觸發(fā)后門的關(guān)鍵因素，模型剪枝方法針對已被嵌入后門的聯(lián)邦模型，通過對被毒化的神經(jīng)元進行剪枝來消除后門，模型剪枝包括神經(jīng)元剪枝和極值調(diào)整兩類方法^［117］。

神經(jīng)元剪枝策略分為兩種：a）每個參與方對本方最后一個卷積層的所有神經(jīng)元計算激活值并按照激活值大小對神經(jīng)元進行排序，并將排序后的序號上傳給中心服務(wù)器，中心服務(wù)器對每個神經(jīng)元的序號進行平均并重排序，進而根據(jù)最終的序號順序剪除后門神經(jīng)元，直至模型的準確率下降至指定閾值；b）不再對神經(jīng)元按序號排序，而是根據(jù)激活值和指定的剪枝比率將每個神經(jīng)元賦值0或1，0代表需要被移除，1代表該神經(jīng)元需要被保留，所以中心服務(wù)器再進行與策略a）相同的剪枝方法。

針對后門攻擊方在輸入中引入極值或引入極值神經(jīng)元而導致的后門攻擊威脅，可采用極值調(diào)整方法。掃描最后一層卷積層的神經(jīng)元，將權(quán)重均值和標準差過大或過小的神經(jīng)元權(quán)重置為0進行神經(jīng)元消除。由于剪枝會導致模型準確度下降，可將剪枝后的模型發(fā)回各參與者重新訓練，訓練完成后再重新聚合直至模型恢復至剪枝前的精度，此方法稱為微調(diào)。由于微調(diào)過程中后門有可能再次被注入，所以可在微調(diào)后再進行極值調(diào)整。

4）差分隱私

差分隱私是一種有效防御后門攻擊的手段，同時差分隱私模型從數(shù)學角度被證明是一種有效防御后門攻擊的方法^{［118～120］}。考慮到僅出于防御后門攻擊的目的并不需要加入過大的噪聲，即弱差分隱私方法便可對后門攻擊起到相應(yīng)的防御作用。但是Naseri等人^［121］指出弱差分隱私僅能起到防御后門攻擊作用，由于噪聲較小而不能起到隱私保護作用，即無法同時防御后門攻擊和推斷攻擊，所以需根據(jù)具體場景權(quán)衡選擇噪聲尺度，兼顧隱私保護與后門攻擊的防御。另外，LDP和CDP兩種差分隱私技術(shù)不僅有比弱差分隱私更小的開銷，還能同時防御后門攻擊和推斷攻擊。

4.1.3 搭便車攻擊防御

搭便車攻擊十分隱蔽，主要防御方法是根據(jù)各參與方參數(shù)分布或能量值異常進行異常檢測，可通過檢查各參與方的參數(shù)分布，利用各參與者模型參數(shù)的異構(gòu)性提升服務(wù)器端搭便車攻擊檢測能力。基于深度自編碼高斯混合模型（deep autoenco-ding Gaussian mixture model， DAGMM）^［122］的無監(jiān)督異常檢測方法通過判別能量值異常來檢測可疑的梯度更新，DAGMM首先利用深度自動編碼器將每輪各參與方更新的梯度值重構(gòu)生成低維表示并記錄重構(gòu)誤差，之后將其輸入高斯混合模型（GMM），高斯混合模型為每個編碼后的梯度輸出一個能量值，最后根據(jù)能量值異常來檢測模型更新是否為良性。DAGMM可有效防御隨機生成值作為梯度更新的普通搭便車攻擊，但對于更復雜的偽裝搭便車，DAGMM不能有效地發(fā)揮作用。

針對偽裝搭便車，STD-DAGMM（standard deviation-DAGMM）高維檢測方法在DAGMM基礎(chǔ)上進行改進，提出了結(jié)合了局部梯度更新的標準偏差度量和深度自編碼高斯混合模型^［40］。將梯度更新矩陣經(jīng)過STD-DAGMM自編碼器得到的低維特征表示與帶STD的距離度量作為網(wǎng)絡(luò)的輸入進行多元高斯估計，適用于模型參數(shù)的異常檢測以解決搭便車攻擊。

4.1.4 女巫攻擊防御

在P2P網(wǎng)絡(luò)中，通常使用先驗輔助信息檢測與刪除女巫節(jié)點的方式進行防御^{［123，124］}，輔助信息一般包括女巫節(jié)點的預(yù)期數(shù)量、對數(shù)據(jù)的假設(shè)和參與者的交互等，如SybilBlind^［125］、SybilBelief^［126］和SybilFuse^［127］等針對社交網(wǎng)絡(luò)中女巫攻擊的防御方法，首先會構(gòu)建由良好用戶和女巫用戶組成的訓練集，進而在訓練集上進行訓練，有效識別出女巫用戶和良好用戶。然而聯(lián)邦學習限制了暴露給中心服務(wù)器的信息量，因此依賴先驗知識的防御手段不適用于聯(lián)邦學習。聯(lián)邦學習通常在不使用聯(lián)邦訓練之外信息的條件下實現(xiàn)對女巫攻擊的防御，通常根據(jù)平均損失^［37］和梯度更新相似性^［128］等指標進行女巫節(jié)點的識別與檢測，對于識別出的女巫節(jié)點，服務(wù)器通過降低其學習率和拒絕其上傳模型參數(shù)來削弱女巫節(jié)點對整個聯(lián)邦學習的影響。

聯(lián)邦學習可以根據(jù)參數(shù)更新的相似性進行女巫節(jié)點的識別。當某個惡意參與方的一組女巫節(jié)點操縱全局模型時，多個女巫節(jié)點在整個訓練過程中為達到相同的惡意目標而通過共享狀態(tài)并以智能、協(xié)調(diào)的串通方式進行梯度更新，因此女巫節(jié)點間的梯度更新具有某種相似性，而誠實節(jié)點間的參數(shù)更新往往不具相似性，利用余弦相似性等指標可衡量該相似性。FoolsGold防御方法與P2P常用的依賴輔助信息的女巫防御方式不同，無須對女巫節(jié)點有先驗知識，僅根據(jù)分布式學習過程中參與方梯度更新的余弦相似性來識別女巫節(jié)點和誠實參與方，余弦相似度高的梯度更新的節(jié)點被識別為女巫節(jié)點，而具有獨特性參數(shù)更新的節(jié)點被識別為誠實參與方，然后分別調(diào)整其學習率，保持誠實參與方的學習率不變，降低女巫節(jié)點的學習率，以此減輕女巫節(jié)點的各種投毒攻擊，此方法在女巫節(jié)點遠多于誠實節(jié)點時依然有效，可有效抵御基本和高級女巫攻擊。

基于差分隱私的聯(lián)邦學習可根據(jù)參與者的平均損失進行女巫節(jié)點的識別。在基于差分隱私的聯(lián)邦學習框架中，女巫節(jié)點在每一輪訓練中精心設(shè)計的噪聲參數(shù)將毒化多個本地模型，進而使得全局模型損失變高，而累積的高損失將減慢全局模型的收斂速度，因此可以通過監(jiān)測平均損失的方式進行女巫節(jié)點的檢測和清除。文獻［54］提出了一種針對差分隱私聯(lián)邦學習的女巫攻擊抵御方法，在服務(wù)器端持續(xù)監(jiān)控每輪各參與者的平均損失，通過將模型損失的減少率與預(yù)先確定的閾值進行比較來評估下一輪的收斂速度，以檢測女巫節(jié)點；對于檢測到的女巫節(jié)點，中心服務(wù)器在聚合階段拒絕接受其更新，這種方法同樣不需要關(guān)于女巫節(jié)點的先驗知識。近年來，在聯(lián)邦學習場景中，女巫攻擊抵御方法的研究向更加廣泛性與一般性演進，研究成果在實際系統(tǒng)中具有應(yīng)用價值。

4.2 聯(lián)邦學習隱私保護方式

隱私泄露是聯(lián)邦學習面臨的另一大挑戰(zhàn)，為有效保護聯(lián)邦學習的隱私，國內(nèi)外學者進行了多種不同防御方式的嘗試，如表5所示。本節(jié)主要討論基于安全計算的聯(lián)邦學習和基于差分隱私的聯(lián)邦學習兩種聯(lián)邦學習常用的隱私保護方式，其中前者包含多方安全計算與同態(tài)加密兩種保護方法。

4.2.1 基于安全計算的聯(lián)邦學習

基于安全計算的聯(lián)邦學習主要采用多方安全計算和同態(tài)加密兩種方法對聯(lián)邦訓練過程的參數(shù)等中間信息進行加密，以保障聯(lián)邦學習各方僅可獲取加密后的計算結(jié)果而不會獲得明文的參數(shù)甚至原始數(shù)據(jù)等隱私信息。同時，對聯(lián)邦訓練過程的參數(shù)等信息進行加密可有效防范推斷、GAN等攻擊，進一步保護聯(lián)邦學習過程的隱私性。

1）多方安全計算

多方安全計算最早源于1982年姚期智院士提出的百萬富翁問題，兩個富翁在不泄露各自資產(chǎn)的情況下如何比較誰更富有，進而引申出多方安全計算^［129］。多方安全計算通過秘密分享、混淆電路、不經(jīng)意傳輸?shù)确绞接行Ы鉀Q了隱私數(shù)據(jù)協(xié)同計算問題。當前很多研究者將多方安全計算應(yīng)用于隱私計算領(lǐng)域來解決數(shù)據(jù)安全融合問題。

在普通的分布式機器學習中，可利用各種多方安全計算協(xié)議對原始數(shù)據(jù)進行處理，在保證隱私的前提下完成建模，如ABY^［130］、ABY3^［131］、SPDZ^［132］等多方安全計算協(xié)議被應(yīng)用于兩方或三方的安全聯(lián)合機器學習，各參與方的原始數(shù)據(jù)經(jīng)過秘密分享等分片處理再進行傳輸計算，可有效解決一組互不信任的參與方在保護隱私的同時協(xié)同完成聯(lián)合建模等任務(wù)。

在聯(lián)邦學習中，多方安全計算僅將各參與方更新的參數(shù)信息進行加密，而不像傳統(tǒng)多方安全計算方法^［133］需處理所有原始數(shù)據(jù)，因此可有效提升計算效率。多方安全計算應(yīng)用于參數(shù)更新過程，保障參數(shù)更新的安全與隱私，能夠有效防范推斷等攻擊。Bonawitz等人^［134］為解決聯(lián)邦學習的通信效率、聯(lián)邦隱私、中心服務(wù)器可信度有限等挑戰(zhàn)提出了一種安全聚合加密方案（SMPC），通過秘密分享將各參與方的參數(shù)信息進行加密，服務(wù)器只能看到加密聚合后的梯度，并不能獲知各參與者私有的真實梯度值，進而可有效防范推斷攻擊，防止隱私信息泄露。

2）同態(tài)加密

定義1 同態(tài)加密（homomorphic encryption，HE）。同態(tài)加密是一種可直接在密文上進行運算的加密形式，其計算結(jié)果仍為密文，密文結(jié)果的解密值同明文運算結(jié)果相一致。同態(tài)加密滿足

Dec（K_pri，Enc（K_pub，n₁）⊙Enc（K_pub，n₂））=n₁◇n₂""" （1）

其中：Dec（·）為解密運算；Enc（·）為加密運算；K_pri為私鑰；K_pub為公鑰；n₁、n₂為明文；等式左端為密文域運算，等式右端為明文域運算。

根據(jù)支持密文運算的種類和次數(shù)，同態(tài)加密可分為部分同態(tài)加密、類同態(tài)加密和完全同態(tài)加密。同態(tài)加密也可應(yīng)用于聯(lián)邦學習的參數(shù)更新過程，對參與方間以及參與方與中心服務(wù)器間通信傳輸?shù)膮?shù)信息進行加密。加密的參數(shù)信息既可防止參與聯(lián)邦學習的各方獲取到其他方的隱私信息，也可有效防止在聯(lián)邦訓練過程中泄露隱私信息。

文獻［135］采用同態(tài)加密實現(xiàn)多方聯(lián)合計算的梯度提升樹，將參與方間交互的一階梯度、二階梯度、特征增益等信息皆經(jīng)過同態(tài)加密進行計算，可保障隱私信息傳輸過程的安全性。Hardy等人^［136］將同態(tài)加密應(yīng)用于聯(lián)邦的邏輯回歸算法，中心服務(wù)器掌控同態(tài)加密的密鑰并進行梯度和訓練損失的聚合，各參與方將本地模型更新的參數(shù)進行同態(tài)加密，交互的中間結(jié)果皆屬于加密后的聚合信息，各方無法反推任何隱私信息；同時為了在同態(tài)加密下正常計算梯度，利用泰勒展開代替了原本的梯度函數(shù)。另一種簡單且高效的基于同態(tài)加密的聯(lián)邦學習方案是將異步隨機梯度下降與加法同態(tài)加密結(jié)合，加密各參與者的梯度信息，有效防止梯度泄露。

基于安全計算的聯(lián)邦學習通過將模型參數(shù)或梯度加密后在各方間交互，保護各參與方的原始數(shù)據(jù)和聯(lián)邦訓練過程的中間信息，降低利用泄露的中間信息反推樣本成員、樣本屬性等隱私信息的風險，提升聯(lián)邦學習隱私性。

4.2.2 基于差分隱私的聯(lián)邦學習

定義2 差分隱私（differential privacy）。假設(shè)存在某隨機算法A，其所有輸出構(gòu)成集合R（A），令R_A為R（A）的任何一個子集，對于僅相差一條樣本的相鄰數(shù)據(jù)集D₁和D₂，若算法A滿足式（2），則稱隨機算法A滿足ε-差分隱私。

Pr［A（D₁）∈R_A］≤e^ε×Pr［A（D₂）∈R_A］+β """""（2）

其中：ε為隱私保護預(yù)算，是一個非負參數(shù)，其數(shù)值越小，表明隱私保護程度越強，ε接近零時，算法A在相鄰數(shù)據(jù)集上輸出相同結(jié)果的概率分布越相近，算法A的隱私保護性越強；β也是非負參數(shù)，表示算法在相鄰數(shù)據(jù)集上輸出結(jié)果的差異超過exp（ε）的概率，即違背差分隱私機制的概率，其數(shù)值越小，算法的隱私保護性越強。

差分隱私作為一種隱私計算技術(shù)，通過在數(shù)據(jù)中增加噪聲擾動來有效抵御對數(shù)據(jù)的分析，具有信息論意義上的安全性，隱私保護性較強。根據(jù)擾動添加的位置，差分隱私可分為輸入擾動、輸出擾動、中間參數(shù)擾動（梯度參數(shù)擾動、特征參數(shù)擾動）、目標函數(shù)擾動^{［137～141］}。輸入擾動指的是直接在敏感原始數(shù)據(jù)上添加擾動，避免模型接觸真實用戶數(shù)據(jù)，可用于普通分布式機器學習框架中，也可用于聯(lián)邦學習中，保護數(shù)據(jù)隱私泄露。輸出擾動是在訓練完成后的最終模型參數(shù)上添加噪聲，是一種中心化的差分隱私保護方式，其優(yōu)點是能夠防止模型提取和逆向攻擊，但無法保障訓練過程中的數(shù)據(jù)隱私。中間參數(shù)擾動分為梯度參數(shù)擾動和特征參數(shù)擾動，指的是在模型訓練過程中為梯度參數(shù)或者特征參數(shù)添加拉普拉斯噪聲、高斯噪聲及其他噪聲機制，保障訓練模型和訓練數(shù)據(jù)隱私。其中，梯度參數(shù)擾動常用于聯(lián)邦學習的訓練過程中，局部差分隱私保護和中心化差分隱私保護均可采用梯度擾動方案。特征擾動方面，可采用基于非高斯噪聲的局部特征的加/解密方法，以提高聯(lián)邦學習方法的可靠性。目標函數(shù)擾動指的是在訓練的目標函數(shù)上添加擾動后再進行訓練，可增加模型可用性及隱私保護性，這種方式的局限在于，僅適用于目標函數(shù)為連續(xù)可微凸函數(shù)的情況，對于非凸函數(shù)并不適用。

對于聯(lián)邦學習，輸入擾動、輸出擾動和梯度參數(shù)擾動均可從不同角度有效保護聯(lián)邦學習的隱私性。具體來說，在聯(lián)邦學習的原始數(shù)據(jù)或模型參數(shù)中添加隨機噪聲可為敏感信息提供隱私保證，進而使數(shù)據(jù)無法被恢復，以保護數(shù)據(jù)的隱私。差分隱私通過在全局模型或者在局部梯度更新時注入噪聲，成功應(yīng)用于多種機器學習算法，如邏輯回歸、SVM、深度學習等。如表6所示，根據(jù)聯(lián)邦學習應(yīng)用差分隱私的角色不同可分為中心模型的差分隱私（central differential privacy，CDP）和局部模型的差分隱私（local differential privacy，LDP）^［142］。中心模型的差分隱私通過中心服務(wù)器對匯聚后的模型參數(shù)進行擾動來實現(xiàn)，因此各參與方每輪從服務(wù)器獲取的模型參數(shù)皆是擾動的，能夠保護各參與方本地以及各方通信中的參數(shù)隱私，在此場景中中心服務(wù)器必須為可信的。McMahan等人^［137］最早將差分隱私引入到聯(lián)邦學習中，通過在聯(lián)邦平均算法中添加噪聲來增強全局模型的魯棒性和安全性。可將CDP應(yīng)用于聯(lián)邦學習，通過在中心服務(wù)器添加噪聲以隱藏各參與方的貢獻來維護各參與方的隱私信息，同時在隱私和性能之間進行了權(quán)衡。McMahan等人采用CDP的方式來訓練LSTM模型，提升了模型訓練的隱私性。

局部模型的差分隱私在各參與方將參數(shù)更新信息上傳至中心服務(wù)器前，在待上傳的局部模型參數(shù)上添加特定擾動，因此真實模型參數(shù)對其他參與方和中心服務(wù)器皆是不可見的，此情況支持不誠實的中心服務(wù)器。Bhowmick等人^［143］提出了新的最優(yōu)LDP機制來保護聯(lián)邦學習中的參數(shù)，通過假想威脅模型有效限制了潛在敵手的力量。此方式比傳統(tǒng)嚴格的局部差分隱私有更好的模型性能，并且能提供比CDP更強的隱私保證。Pihur等人^［140］在聯(lián)合環(huán)境下提出了一種基于LDP的新型框架，該框架在有效保護各參與方與中心服務(wù)器隱私性的同時可提升模型質(zhì)量，增強聯(lián)邦學習效率。由于增加噪聲擾動會導致模型的準確度降低，為了減輕隱私保護對模型性能的影響，F(xiàn)ed-SMP^［144］利用了稀疏模型擾動技術(shù)，首先使用隨機稀疏化和top-K稀疏化策略將局部模型稀疏化，然后再進行加性高斯噪聲的擾動。

中心模型的差分隱私和局部模型的差分隱私皆可有效保護聯(lián)邦學習的隱私信息，防范部分推斷攻擊和后門等惡意攻擊。局部模型的差分隱私對各參與方的本地隱私信息進行加噪處理，比中心模型的差分隱私提供了更強的隱私保證，但由于對每個參與方皆進行加噪，在效率與實用性方面存在一定挑戰(zhàn)^{［145～147］}。

總體來說，差分隱私對成員推斷攻擊具有顯著效果，這是由于其原始訓練集上特定噪聲的添加使得樣本在數(shù)據(jù)集中可以得到隱匿性保護。差分隱私給數(shù)據(jù)集或者模型增加噪聲時，增大噪聲幅度能夠?qū)崿F(xiàn)更高程度的隱私保護，但過大的噪聲幅度將改變數(shù)據(jù)的統(tǒng)計特性，降低模型訓練的準確度。在聯(lián)邦學習中利用差分隱私進行隱私保護時，模型擬合度（fitness）與ε的平方和訓練集規(guī)模的平方和成反比，因此在數(shù)據(jù)隱私保護的同時，設(shè)計更精細的適應(yīng)性算法以達到隱私與精度之間的平衡尤為重要。在保證不改變數(shù)據(jù)統(tǒng)計性質(zhì)的前提下，差分隱私技術(shù)對需要保護的數(shù)值型數(shù)據(jù)和非數(shù)值型數(shù)據(jù)進行模糊處理，在學習性能與隱私保護兩方面進行權(quán)衡方可達到不影響模型準確度的效果。

4.2.3 隱私保護綜合分析

以多方安全計算、同態(tài)加密為主的安全計算類聯(lián)邦學習能有效保護聯(lián)邦訓練過程的隱私信息，防范聯(lián)邦訓練環(huán)節(jié)的推斷攻擊，但其不能防范對于結(jié)果模型的推斷攻擊。而差分隱私由于在訓練數(shù)據(jù)或模型中添加了噪聲，不僅可有效保護聯(lián)邦訓練過程的隱私性，還可防范針對結(jié)果模型的多種逆向以及提取攻擊。同態(tài)加密、秘密共享等多方安全計算技術(shù)不會對模型訓練精度造成損失，但其密碼學計算效率較低，增加了通信負擔，當訓練數(shù)據(jù)變多或參與方增多時，耗時會成為更嚴重的問題，更適用于參與方數(shù)量較小的場景。差分隱私保護機制通過添加噪聲的方式為數(shù)據(jù)或模型參數(shù)提供保護，相對于同態(tài)加密，優(yōu)勢在于其更小的計算復雜度不會過量增加通信負擔，適用于參與方較多的聯(lián)邦學習等協(xié)同訓練場景，但其缺點在于，差分隱私需要對隱私保護程度和模型精度進行權(quán)衡與折中。

基于安全計算的聯(lián)邦學習保護方案和基于差分隱私的聯(lián)邦學習保護方案各有優(yōu)劣，需根據(jù)應(yīng)用場景選擇不同的技術(shù)，設(shè)計更高效安全的隱私保護方案，在保護隱私的同時保障效率與精度。

5 未來研究方向

隨著國內(nèi)外對數(shù)據(jù)安全與聯(lián)合建模的日益關(guān)注，學術(shù)界與工業(yè)界對聯(lián)邦學習的需求越來越迫切，但聯(lián)邦學習目前存在的安全隱患與潛在的隱私泄露風險制約了其大規(guī)模應(yīng)用。聯(lián)邦學習的安全防御與隱私保護的研究仍處于起步階段，仍有許多問題亟待解決，其中以下四個研究方向值得進一步研究。

1）結(jié)合差分隱私的聯(lián)邦學習

差分隱私作為一種可以從數(shù)學上證明的隱私保護技術(shù)，非常適合在聯(lián)邦學習中提供隱私保護防止攻擊方反向推斷用戶數(shù)據(jù)，但是差分隱私在數(shù)據(jù)中加入噪聲的機制會帶來兩方面的問題：a）會給模型訓練過程中梯度的收斂帶來挑戰(zhàn)，對于參與方數(shù)量較多的橫向聯(lián)邦學習此問題尤甚；b）噪聲的引入會破壞全局模型的精準度，而模型精度的下降則是在工業(yè)界不可接受的。如何權(quán)衡加入噪聲的大小以確保在不泄露隱私數(shù)據(jù)的情況下還能保證訓練的速度和模型精確度成為了該技術(shù)的研究方向。目前已經(jīng)有些工作專注于將嚴格證明的差分隱私和聯(lián)邦學習進行結(jié)合，但只能在小規(guī)模的部分機器學習模型上進行。想要真正讓基于差分隱私的聯(lián)邦學習投入工業(yè)實用依然需要進行更多的研究。

2）異構(gòu)聯(lián)邦學習下的安全與隱私

目前聯(lián)邦學習技術(shù)還主要專注于同構(gòu)聯(lián)邦學習，即各參與方的模型結(jié)構(gòu)是相同的，這樣在聯(lián)合訓練時可以直接對模型權(quán)重進行平均，但這種方式具有局限性，一些研究人員通過共享預(yù)測提出了異構(gòu)聯(lián)邦學習的概念并進行了嘗試。

對于異構(gòu)條件下的聯(lián)邦學習尚有許多問題有待研究，其中就包括安全性與隱私性。目前已有的攻擊方法是否適用于異構(gòu)聯(lián)邦學習、異構(gòu)條件已有的防御方法是否依然適用，這些都是值得深入探討的問題。

3）聯(lián)邦學習的可解釋性與可追溯性

對于機器學習模型來說，使用聯(lián)邦學習技術(shù)進行訓練會進一步加大對模型進行可解釋的難度。可解釋性即指人類能夠理解模型決策原因的程度，模型的可解釋性和數(shù)據(jù)安全一樣也是當下科技理論方面關(guān)注的重點。而聯(lián)邦學習多方匯聚成中心模型的特點會給最終模型的可解釋性帶來困難。在重視科技理論的當下，提高聯(lián)邦學習模型的可解釋性也是亟待解決的問題。

同時，如何判斷各參與方對中心模型的影響程度，對中心模型產(chǎn)生的變化進行向后追溯也是一個值得研究的問題。這一方面可以提高中心模型的可解釋性，另一方面也有助于提高模型的安全性，為抵抗投毒攻擊帶來幫助。目前已有一些研究嘗試將區(qū)塊鏈和聯(lián)邦學習結(jié)合來提高其可追溯性。

4）惡意模型下的聯(lián)邦學習

目前有關(guān)安全的研究大多默認中心服務(wù)器為可信方，即認為聯(lián)邦學習處于半誠實模型假設(shè)，但對于惡意模型假設(shè)下的聯(lián)邦學習缺乏研究，如中心服務(wù)器是惡意方的情況，那么根據(jù)已有的從模型反推數(shù)據(jù)的研究，中心服務(wù)器可以從模型來推測出參與方的相關(guān)數(shù)據(jù)。對此，一些可能的方法是盡可能地限制模型中包含的數(shù)據(jù)信息，另一方面也可以參考密碼學的相關(guān)研究，讓聯(lián)邦學習拓展至惡意模型假設(shè)。

由于聯(lián)邦學習的研究還處于初級階段，依然存在許多關(guān)鍵技術(shù)問題尚待解決，如更公平的激勵機制、如何提升參與方間的通信效率、更好的聚合算法等。

6 結(jié)束語

打破“數(shù)據(jù)孤島”與保護數(shù)據(jù)隱私是聯(lián)邦學習的驅(qū)動力。當前各領(lǐng)域?qū)?shù)據(jù)安全和隱私保護的需求日益提高，呈現(xiàn)出多元化的應(yīng)用場景，促進了聯(lián)邦學習技術(shù)的蓬勃發(fā)展。但是投毒攻擊、后門攻擊、搭便車攻擊、推斷攻擊等新型攻擊方式的出現(xiàn)表明，聯(lián)邦學習的安全與隱私漏洞給數(shù)據(jù)管理和聯(lián)邦學習的推廣應(yīng)用帶來了新挑戰(zhàn)，探索有效的安全防御措施和隱私保護機制具有實際意義。本文在分類比較和深入分析的基礎(chǔ)上，針對聯(lián)邦學習面臨的安全攻擊和隱私攻擊兩類問題總結(jié)了最新的防御措施，對比了防御措施的優(yōu)缺點及適用范圍，為推動聯(lián)邦學習安全與隱私研究的進一步發(fā)展與應(yīng)用提供了借鑒和參考。

參考文獻：

［1］Mothukuri V，Parizi R M，Pouriyeh S，et al. A survey on security and privacy of federated learning ［J］. Future Generation Computer Systems，2021，115（2）： 619-640.

［2］Phong L T，Aono Y，Hayashi T，et al. Privacy-preserving deep lear-ning via additively homomorphic encryption ［J］. IEEE Trans on Information Forensics and Security，2018，13（5）： 1333-1345.

［3］Dwork C. Differential privacy： a survey of results ［C］// Proc of International Conference on Theory and Applications of Models of Computation. Berlin： Springer，2008： 1-19.

［4］Triastcyn A，F(xiàn)altings B. Federated learning with Bayesian differential privacy ［C］// Proc of IEEE International Conference on Big Data. Piscataway，NJ： IEEE Press，2019： 2587-2596.

［5］Liu Yang，Huang Anbu，Luo Yun，et al. FedVision： an online visual object detection platform powered by federated learning ［C］// Proc of the 34th AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2020： 13172-13179.

［6］Sattler F，Müller K R，Samek W. Clustered federated learning： model-agnostic distributed multitask optimization under privacy constraints ［J］. IEEE Trans on Neural Networks and Learning Systems，2021，32（8）： 3710-3722.

［7］Xie Ming，Long Guodong，Shen Tao，et al.Multi-center federated learning ［EB/OL］. （2021-08-21）. https：//arxiv.org/pdf/2005.01026.pdf.

［8］Vanhaesebrouck P，Bellet A，Tommasi M. Decentralized collaborative learning of personalized models over networks ［EB/OL］. （2017-02-15）. https：//arxiv.org/pdf/1610.05202.pdf.

［9］Sun Ziteng，Kairouz P，Suresh A T，et al. Can you really backdoor fe-derated learning？ ［EB/OL］. （2019-12-02）. https：//arxiv.org/pdf/1911.07963.pdf.

［10］Shafahi A，Huang W R，Najibi M，et al. Poison frogs！ Targeted clean-label poisoning attacks on neural networks ［EB/OL］. （2018-11-10）. https：//arxiv.org/pdf/1804.00792.pdf.

［11］Zhou Xingchen，Xu Ming，Wu Yiming，et al. Deep model poisoning attack on federated learning ［J］. Future Internet，2021，13（3）： 73.

［12］Bhagoji A N，Chakraborty S，Mittal P，et al. Analyzing federated learning through an adversarial lens ［EB/OL］. （2019-11-15）. https：//arxiv.org/pdf/1811.12470.pdf.

［13］Fang Minghong，Cao Xiaoyu，Jia Jinyuan，et al. Local model poisoning attacks to Byzantine-robust federated learning ［C］// Proc of the 29th USENIX Conference on Security Symposium. Berkeley，CA： USENIX Association，2020： 1605-1622.

［14］孫爽，李曉會，劉妍，等. 不同場景的聯(lián)邦學習安全與隱私保護研究綜述 ［J］. 計算機應(yīng)用研究，2021，38（12）： 3527-3534. （Sun Shuang，Li Xiaohui，Liu Yan，et al. Survey on security and privacy protection in different scenarios of federated learning ［J］. Application Research of Computers，2021，38（12）： 3527-3534. ）

［15］Portnoy A，Hendler D. Towards realistic Byzantine-robust federated learning ［EB/OL］. （2020-04-10）. https：//arxiv.org/abs/2004.04986.

［16］Shejwalkar V，Houmansadr A. Manipulating the Byzantine： optimizing model poisoning attacks and defenses for federated learning ［C］// Proc of Network and Distributed System Security Symposium. 2021：21-25.

［17］Chen Zheyi，Tian Pu，Liao Weixian，et al. Towards multi-party targeted model poisoning attacks against federated learning systems ［J］. High-Confidence Computing，2021，1（1）： 100002.

［18］Chen Xinyun，Liu Chang，Li Bo，et al. Targeted backdoor attacks on deep learning systems using data poisoning ［EB/OL］. （2017-12-15）. https：//arxiv.org/pdf/1712.05526.pdf.

［19］Doku R，Rawat D B. Mitigating data poisoning attacks on a federated learning-edge computing network ［C］// Proc of the 18th IEEE Annual Consumer Communications amp; Networking Conference. Pisca-taway，NJ： IEEE Press，2021： 1-6.

［20］Sun Gan，Cong Yang，Dong Jiahua，et al. Data poisoning attacks on federated machine learning ［J］. IEEE Internet of Things Journal，2022，9（13）： 11365-11375.

［21］Zhang Xuezhou，Zhu Xiaojin，Lessard L. Online data poisoning attacks ［C］// Proc of the 2nd Annual Conference on Learning for Dynamics and Control. ［S.l.］： ML Research Press，2020： 201-210.

［22］Domingos P. A few useful things to know about machine learning ［J］. Communications of the ACM，2012，55（10）： 78-87.

［23］Goldblum M，Tsipras D，Xie Chulin， et al. Dataset security for machine learning： data poisoning，backdoor attacks，and defenses ［EB/OL］. （2021-03-31）. https：//arxiv.org/pdf/2012.10544.pdf.

［24］Schwarzschild A，Goldblum M，Gupta A，et al. Just how toxic is data poisoning？ A unified benchmark for backdoor and data poisoning attacks ［EB/OL］. （2021-06-17）. https：//arxiv.org/pdf/2006.12557.pdf.

［25］Lyu Lingjuan，Yu Han，Yang Qiang. Threats to federated learning： a survey ［EB/OL］. （2020-03-04）. https：//arxiv.org/pdf/2003.02133.pdf.

［26］Zhu Chen，Huang W R，Shafahi A，et al. Transferable clean-label poisoning attacks on deep neural nets ［EB/OL］. （2019-05-16）. https：//arxiv.org/pdf/1905.05897.pdf.

［27］Gupta N，Huang W R，F(xiàn)owl L，et al. Strong baseline defenses against clean-label poisoning attacks ［EB/OL］. （2020-08-13）. https：//arxiv.org/pdf/1909.13374v1.pdf.

［28］Tian Guiyu，Jiang Wenhao，Liu Wei，et al. Poisoning MorphNet for clean-label backdoor attack to point clouds ［EB/OL］. （2021-05-11）. https：//arxiv.org/pdf/2105.04839v1.pdf.

［29］周俊，方國英，吳楠. 聯(lián)邦學習安全與隱私保護研究綜述 ［J］. 西華大學學報： 自然科學版，2020，39（4）： 9-17. （Zhou Jun，F(xiàn)ang Guoying，Wu Nan. Survey on security and privacy-preserving in fede-rated learning ［J］. Journal of Xihua University： Natural Science Edition，2020，39（4）： 9-17. ）

［30］Peri N，Gupta N，Huang W R，et al. Deep KNN defense against clean-label data poisoning attacks ［C］// Proc of European Conference on Computer Vision. Berlin： Springer-Verlag，2020： 55-70.

［31］Zhang Jiale，Chen Junjun，Wu Di，et al. Poisoning attack in federated learning using generative adversarial nets ［C］// Proc of the 18th IEEE International Conference on Trust，Security and Privacy in Computing and Communications/13th IEEE International Conference on Big Data Science and Engineering. Piscataway，NJ： IEEE Press，2019： 374-380.

［32］Zhang Jiale，Chen Bing，Cheng Xiang，et al. PoisonGAN： generative poisoning attacks against federated learning in edge computing systems ［J］. IEEE Internet of Things Journal，2021，8（5）： 3310-3322.

［33］Xie Chulin，Chen Minghao，Chen Pinyu，et al. CRFL： certifiably robust federated learning against backdoor attacks ［EB/OL］. （2021-06-15）. https：//arxiv.org/pdf/2106.08283.pdf.

［34］Lai P，Phan N，Khreishah A，et al. Model transferring attacks to backdoor HyperNetwork in personalized federated learning ［EB/OL］. （2022-01-19）. https：//arxiv.org/pdf/2201.07063.pdf.

［35］Bagdasaryan E，Veit A，Hua Yiqing，et al. How to backdoor federated learning ［C］// Proc of the 23rd International Conference on Artificial Intelligence and Statistics. ［S.l.］： ML Research Press，2020： 2938-2948.

［36］Wang Hongyi，Sreenivasan K，Rajput S，et al. Attack of the tails： yes，you really can backdoor federated learning ［C］// Proc of the 34th International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2020： 16070-16084.

［37］Jiang Yupeng，Li Yong，Zhou Yipeng，et al. Sybil attacks and defense on differential privacy based federated learning ［C］// Proc of the 20th IEEE International Conference on Trust，Security and Privacy in Computing and Communications. Piscataway，NJ： IEEE Press，2021： 355-362.

［38］Xie Chulin，Huang Keli，Chen Pinyu，et al. DBA： distributed backdoor attacks against federated learning ［C］// Proc of International Conference on Learning Representations. 2020.

［39］Fraboni Y，Vidal R，Lorenzi M. Free-rider attacks on model aggregation in federated learning ［EB/OL］. （2021-02-22）. https：//arxiv.org/pdf/2006.11901.pdf.

［40］Lin Jierui，Du Min，Liu Jian. Free-riders in federated learning： attacks and defenses ［EB/OL］. （2019-11-28）. https：//arxiv.org/pdf/1911.12560.pdf.

［41］Bogoviz A V，Rycova I N，Kletskova E V，et al. Tax awareness and “free rider” problem in taxes ［M］// Gashenko I，Zima Y，Davidyan A. Optimization of the taxation system： preconditions，tendencies and perspectives. Cham： Springer，2019： 117-123.

［42］Douceur J R. The sybil attack ［C］// Proc of the 1st International Workshop on Peer-to-Peer Systems. Berlin： Springer，2002： 251-260.

［43］Li Xiaoxiao，Jiang Meirui，Zhang Xiaofei，et al. FedBN： federated learning on non-IID features via local batch normalization ［EB/OL］. （2021-05-11）. https：//arxiv.org/pdf/2102.07623.pdf.

［44］Yang Qiang，Liu Yang，Chen Tianjian，et al. Federated machine lear-ning： concept and applications ［J］. ACM Trans on Intelligent Systems and Technology，2019，10（2）： article No. 12.

［45］梁天愷，曾碧，陳光. 聯(lián)邦學習綜述： 概念、技術(shù)、應(yīng)用與挑戰(zhàn) ［J/OL］. 計算機應(yīng)用. ［2022-05-16］.https：//kns.cnkinet/kcms/detail/51.1307.TP.2021.1231.1727.014.html. （Liang Tiankai，Zeng Bi，Chen Guang. Federated learning survey：concept，technology，application and challenge ［J/OL］. Journal of Computer Applications.［2022-05-16］.https：//kns.cnkinet/kcms/detail/51.1307.TP.2021.1231.1727.014.html.）

［46］陳兵，成翔，張佳樂，等. 聯(lián)邦學習安全與隱私保護綜述 ［J］. 南京航空航天大學學報，2020，52（5）： 675-684. （Chen Bing，Cheng Xiang，Zhang Jiale，et al. Survey of security and privacy in federated learning ［J］. Journal of Nanjing University of Aeronautics amp; Astronautics，2020，52（5）： 675-684. ）

［47］Khan L U，Saad W，Han Zhu，et al. Federated learning for Internet of Things： recent advances，taxonomy，and open challenges ［J］. IEEE Communications Surveys amp; Tutorials，2021，23（3）： 1759-1799.

［48］Li Qinbin，Wen Zeyi，Wu Zhaomin，et al. Federated learning systems： vision，hype and reality for data privacy and protection ［EB/OL］. （2019-10-14）. https：//arxiv.org/pdf/1907.09693v2.pdf.

［49］Kairouz P，McMahan H B，Avent B，et al. Advances and open pro-blems in federated learning ［EB/OL］. （2021-03-09）. https：//arxiv.org/pdf/1912.04977.pdf.

［50］Melis L，Song Congzheng，De Cristofaro E，et al. Exploiting uninten-ded feature leakage in collaborative learning ［C］// Proc of IEEE Symposium on Security and Privacy. Piscataway，NJ： IEEE Press，2019： 691-706.

［51］Phong L T，Aono Y，Hayashi T，et al. Privacy-preserving deep lear-ning via additively homomorphic encryption ［J］. IEEE Trans on Information Forensics and Security，2017，13（5）： 1333-1345.

［52］Yang Qiang，Liu Yang，Cheng Yong，et al. Federated learning ［M］. San Francisco： Morgan amp; Claypool Publishers，2019.

［53］Shokri R，Stronati M，Song Congzheng，et al. Membership inference attacks against machine learning models ［C］// Proc of IEEE Symposium on Security and Privacy. Piscataway，NJ： IEEE Press，2017： 3-18.

［54］Shen Sheng，Zhu Tianqing，Wu Di，et al. From distributed machine learning to federated learning： in the view of data privacy and security ［J］. Concurrency and Computation： Practice and Experience，2022，34（16）： e6002.

［55］Choquette-Choo C A，Tramer F，Carlini N，et al. Label-only membership inference attacks ［EB/OL］. （2021-12-05）. https：//arxiv.org/pdf/2007.14321.pdf.

［56］Nasr M，Shokri R，Houmansadr A. Comprehensive privacy analysis of deep learning： passive and active white-box inference attacks against centralized and federated learning ［C］// Proc of IEEE Symposium on Security and Privacy. Piscataway，NJ： IEEE Press，2019： 739-753.

［57］Salem A，Zhang Yang，Humbert M，et al. ML-Leaks： model and data independent membership inference attacks and defenses on machine learning models ［EB/OL］. （2018-12-14）. https：//arxiv.org/pdf/1806.01246.pdf.

［58］Zhang Jingwen，Zhang Jiale，Chen Junjun，et al. GAN enhanced membership inference： a passive local attack in federated learning ［C］// Proc of IEEE International Conference on Communications. Pisca-taway，NJ： IEEE Press，2020： 1-6.

［59］Truex S，Liu Ling，Gursoy M E，et al. Demystifying membership infe-rence attacks in machine learning as a service ［J］. IEEE Trans on Services Computing，2021，14（6）： 2073-2089.

［60］Ateniese G，Mancini L V，Spognardi A，et al. Hacking smart machines with smarter ones： how to extract meaningful data from machine lear-ning classifiers？ ［J］. International Journal of Security and Networks，2015，10（3）： 137-150.

［61］Gopinath D，Converse H，Pasareanu C，et al. Property inference for deep neural networks ［C］// Proc of the 34th IEEE/ACM Internatio-nal Conference on Automated Software Engineering. Piscataway，NJ： IEEE Press，2019： 797-809.

［62］Li Zengpeng，Sharma V P， Mohanty S. Preserving data privacy via federated learning： challenges and solutions ［J］. IEEE Consumer Electronics Magazine，2020，9（3）： 8-16.

［63］Zellinger W，Wieser V，Kumar M，et al. Beyond federated learning： on confidentiality-critical machine learning applications in industry ［J］. Procedia Computer Science，2021，180： 734-743.

［64］Zhang Xianglong，Luo Xinjian. Exploiting defenses against GAN-based feature inference attacks in federated learning ［EB/OL］. （2021-08-19）. https：//arxiv.org/pdf/2004.12571.pdf.

［65］Gholami A，Torkzaban N，Baras J S. Trusted decentralized federated learning ［C］// Proc of the 19th IEEE Annual Consumer Communications amp; Networking Conference. Piscataway，NJ： IEEE Press，2022： 1-6.

［66］Geiping J，Bauermeister H，Dr?ge H，et al. Inverting gradients： how easy is it to break privacy in federated learning？ ［C］// Proc of the 34th International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2020：16937-16947.

［67］Zhao Bo，Mopuri K R，Bilen H. iDLG： improved deep leakage from gradients ［EB/OL］. （2020-01-08）. https：//arxiv.org/pdf/2001.02610.pdf.

［68］Goodfellow I，Pouget-Abadie J，Mirza M，et al. Generative adversarial nets ［C］// Proc of the 27th International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2014：2672-2680.

［69］Radford A，Metz L，Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks ［EB/OL］. （2016-01-07）. https：//arxiv.org/pdf/1511.06434.pdf.

［70］Hitaj B，Ateniese G，Perez-Cruz F. Deep models under the GAN： information leakage from collaborative deep learning ［C］// Proc of ACM SIGSAC Conference on Computer and Communications Security. New York： ACM Press，2017： 603-618.

［71］Wang Zhibo，Song Mengkai，Zhang Zhifei，et al. Beyond inferring class representatives： user-level privacy leakage from federated lear-ning ［C］// Proc of IEEE Conference on Computer Communications. Piscataway，NJ： IEEE Press，2019： 2512-2520.

［72］Melis L，Song Congzheng，De Cristofaro E，et al. Exploiting uninten-ded feature leakage in collaborative learning ［C］// Proc of IEEE Symposium on Security and Privacy. Piscataway，NJ： IEEE Press，2019： 691-706.

［73］Fredrikson M，Jha S，Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures ［C］// Proc of the 22nd ACM SIGSAC Conference on Computer and Communications Security. New York： ACM Press，2015： 1322-1333.

［74］Zheng Zhaohua，Zhou Yize，Sun Yilong，et al. Applications of federated learning in smart cities： recent advances，taxonomy，and open challenges ［J］. Connection Science，2022，34（1）： 1-28.

［75］Odena A，Olah C，Shlens J. Conditional image synthesis with auxiliary classifier GANs ［C］// Proc of the 34th International Conference on Machine Learning. 2017： 2642-2651.

［76］Bhargava R，Clifton C. Anomaly detection under poisoning attacks ［C］// Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2018.

［77］Nguyen T，Thai M T. Preserving privacy and security in federated learning ［EB/OL］. （2022-05-17）. https：//arxiv.org/pdf/2202.03402.pdf.

［78］Neuschmied H，Winter M，Hofer-Schmitz K，et al. Two stage anomaly detection for network intrusion detection ［C］// Proc of the 7th International Conference on Information Systems Security and Privacy. 2021： 450-457.

［79］Krzysztoń M，Marks M. Simulation of watchdog placement for cooperative anomaly detection in Bluetooth mesh intrusion detection system ［J］. Simulation Modelling Practice and Theory，2020，101（5）： 102041.

［80］Dwivedi S，Vardhan M，Tripathi S. Building an efficient intrusion detection system using grasshopper optimization algorithm for anomaly detection ［J］. Cluster Computing，2021，24（3）： 1881-1900.

［81］Jose S，Malathi D，Reddy B，et al. A survey on anomaly based host intrusion detection system ［J］. Journal of Physics： Conference Series，2018，1000（1）： 012049.

［82］Mittal S，Tyagi S. Computational techniques for real-time credit card fraud detection ［M］// Gupta B，Perez G，Agrawal D，et al. Handbook of Computer Networks and Cyber Security. Cham： Springer，2020： 653-681.

［83］Sharmila V C，Kiran K R，Sundaram R，et al. Credit card fraud detection using anomaly techniques ［C］// Proc of the 1st International Conference on Innovations in Information and Communication Technology. Piscataway，NJ： IEEE Press，2019： 1-6.

［84］Li Chenxi，Yang Yongheng，Zhang Kanjian，et al. A fast MPPT-based anomaly detection and accurate fault diagnosis technique for PV arrays ［J］. Energy Conversion and Management，2021，234（4）： 113950.

［85］Jiang Wenqian，Hong Yang，Zhou Beitong，et al. A GAN-based ano-maly detection approach for imbalanced industrial time series ［J］. IEEE Access，2019，7： 143608-143619.

［86］Lu Junyong，Zeng Delin，Zheng Yufeng. Large-scale PFN fault diagnosis method based on multidimensional time series anomaly detection using convolutional neural network ［J］. IEEE Trans on Plasma Science，2020，48（11）： 3997-4005.

［87］Chen Jian，Zhang Xuxin，Zhang Rui，et al. De-Pois： an attack-agnostic defense against data poisoning attacks ［J］. IEEE Trans on Information Forensics and Security，2021，16： 3412-3425.

［88］Li Xi，Miller D J，Xiang Zhen，et al. A BIC based mixture model defense against data poisoning attacks on classifiers ［EB/OL］. （2022-05-12）. https：//arxiv.org/pdf/2105.13530.pdf.

［89］Preuveneers D，Rimmer V，Tsingenopoulos I，et al. Chained anomaly detection models for federated learning： an intrusion detection case study ［J］. Applied Sciences，2018，8（12）： 2663.

［90］Li Tian，Hu Shengyuan，Beirami A，et al. Ditto： fair and robust fede-rated learning through personalization ［EB/OL］. （2021-06-15）. https：//arxiv.org/pdf/2012.04221.pdf.

［91］Seetharaman S，Malaviya S，Vasu R，et al. Influence based defense against data poisoning attacks in online learning ［C］// Proc of the 14th International Conference on Communication Systems amp; Networks. Piscataway，NJ： IEEE Press，2022： 1-6.

［92］Levine A，F(xiàn)eizi S. Deep partition aggregation： provable defense against general poisoning attacks ［EB/OL］. （2021-03-18）. https：// arxiv.org/pdf/2006.14768.pdf.

［93］Sun Jingwei，Li Ang，Divalentin L，et al. FL-WBC： enhancing robustness against model poisoning attacks in federated learning from a client perspective ［EB/OL］. （2021-10-26）. https：//arxiv.org/pdf/2110.13864.pdf.

［94］Mao Yunlong，Yuan Xinyu，Zhao Xinyang，et al. Romoa： robust mo-del aggregation for the resistance of federated learning to model poiso-ning attacks ［C］// Proc of the 26th European Symposium on Research in Computer Security. Berlin： Springer-Verlag，2021： 476-496.

［95］Lu Shiwei，Li Ruihu，Chen Xuan，et al. Defense against local model poisoning attacks to Byzantine-robust federated learning ［J］. Frontiers of Computer Science，2022，16（6）： article No.166337.

［96］Li Suyi，Cheng Yong，Liu Yang，et al. Abnormal client behavior detection in federated learning ［EB/OL］. （2019-12-06）. https：//arxiv.org/pdf/1910.09933.pdf.

［97］Wang Yuao，Zhu Tianqing，Chang Wenhan，et al. Model poisoning defense on federated learning： a validation based approach ［C］// Proc of the 14th International Conference on Network and System Security. Berlin： Springer-Verlag，2020： 207-223.

［98］Zhao Ying，Chen Junjun，Zhang Jiale，et al. PDGAN： a novel poiso-ning defense method in federated learning using generative adversa-rial network ［C］// Proc of International Conference on Algorithms and Architectures for Parallel Processing. Cham： Springer，2019： 595-609.

［99］Cao Di，Chang Shan，Lin Zhijian，et al. Understanding distributed poisoning attack in federated learning ［C］// Proc of the 25th IEEE International Conference on Parallel and Distributed Systems. Pisca-taway，NJ： IEEE Press，2019： 233-239.

［100］Karci A. Finding innovative and efficient solutions to NP-hard and NP-complete problems in graph theory ［J］. Anatolian Journal of Computer Sciences，2020，5（2）： 137-143.

［101］Bron C，Kerbosch J. Algorithm 457： finding all cliques of an undirected graph ［J］. Communications of the ACM，1973，16（9）： 575-577.

［102］Rieger P，Nguyen T D，Miettinen M，et al. DeepSight： mitigating backdoor attacks in federated learning through deep model inspection ［EB/OL］. （2022-01-03）. https：//arxiv.org/pdf/2201.00763.pdf.

［103］Mi Yuxi，Guan Jihong，Zhou Shuigeng. ARIBA： towards accurate and robust identification of backdoor attacks in federated learning ［EB/OL］. （2022-02-09）. https：//arxiv.org/pdf/2202.04311.pdf.

［104］Sun Ziteng，Kairouz P，Suresh A T，et al. Can you really backdoor federated learning？ ［EB/OL］. （2019-12-02）. https：//arxiv.org/pdf/1911.07963.pdf.

［105］Li Suyi，Cheng Yong，Wang Wei，et al. Learning to detect malicious clients for robust federated learning ［EB/OL］. （2020-02-01）. https：//arxiv.org/pdf/2002.00211.pdf.

［106］Fu Hao，Veldanda A K，Krishnamurthy P， et al. Detecting backdoors in neural networks using novel feature-based anomaly detection ［EB/OL］. （2020-11-04）. https：//arxiv.org/pdf/2011.02526.pdf.

［107］Desai H B，Ozdayi M S，Kantarcioglu M. BlockFLA： accountable federated learning via hybrid blockchain architecture ［C］// Proc of the 11th ACM Conference on Data and Application Security and Privacy. New York： ACM Press，2021： 101-112.

［108］Nguyen T D，Rieger P，Yalame H，et al. FLGUARD： secure and private federated learning ［EB/OL］. （2022-01-09）. https：//arxiv.org/pdf/2101.02281v1.pdf.

［109］Campello R J G B，Moulavi D，Sander J. Density-based clustering based on hierarchical density estimates ［C］// Proc of Pacific-Asia Conference on Knowledge Discovery and Data Mining. Berlin： Sprin-ger，2013： 160-172.

［110］Fu Shuhao，Xie Chulin，Li Bo，et al. Attack-resistant federated lear-ning with residual-based reweighting ［EB/OL］. （2021-01-08）. https：//arxiv.org/pdf/1912.11464.pdf.

［111］Andreina S，Marson G A，M?llering H，et al. BaFFLe： backdoor detection via feedback-based federated learning ［C］// Proc of the 41st IEEE International Conference on Distributed Computing Systems. Piscataway，NJ： IEEE Press，2021： 852-863.

［112］Zhao Chen，Wen Yu，Li Shuailou，et al. FederatedReverse： a detection and defense method against backdoor attacks in federated learning ［C］// Proc of ACM Workshop on Information Hiding and Multimedia Security. New York： ACM Press，2021： 51-62.

［113］Ozdayi M S，Kantarcioglu M，Gel Y R. Defending against backdoors in federated learning with robust learning rate ［EB/OL］. （2021-07-29）. https：//arxiv.org/pdf/2007.03767.pdf.

［114］Bernstein J，Zhao Jiawei，Azizzadenesheli K. signSGD with majority vote is communication efficient and fault tolerant ［EB/OL］. （2019-02-22）. https：//arxiv.org/pdf/1810.05291.pdf.

［115］Wan C P，Chen Qifeng. Robust federated learning with attack-adaptive aggregation ［EB/OL］. （2021-08-06）. https：//arxiv.org/pdf/2102.05257.pdf.

［116］Wu Chen，Yang Xian，Zhu Sencun， et al. Mitigating backdoor attacks in federated learning ［EB/OL］. （2021-01-14）. https：//arxiv.org/pdf/2011.01767.pdf.

［117］Gu Tianyu，Dolan-Gavitt B，Garg S. BadNets： identifying vulnerabilities in the machine learning model supply chain ［EB/OL］. （2019-03-11）. https：//arxiv.org/pdf/1708.06733.pdf.

［118］Ma Yuzhe，Zhu Xiaojin，Hsu J. Data poisoning against differentially-private learners： attacks and defenses ［EB/OL］. （2019-07-05）. https：//arxiv.org/pdf/1903.09860.pdf.

［119］Dwork C，Mcsherry F，Nissim K，et al. Calibrating noise to sensitivity in private data analysis ［C］// Proc of the 3rd Theory of Cryptography Conference. Berlin： Springer，2006： 265-284.

［120］Abadi M，Chu A，Goodfellow I，et al. Deep learning with differential privacy ［C］// Proc of ACM SIGSAC Conference on Computer and Communications Security. New York： ACM Press，2016： 308-318.

［121］Naseri M，Hayes J，De Cristofaro E. Toward robustness and privacy in federated learning： experimenting with local and central differential privacy ［EB/OL］. （2020-12-02）. https：//arxiv.org/pdf/2009.03561v2.pdf.

［122］Zong Bo，Song Qi，Min M R，et al. Deep autoencoding Gaussian mixture model for unsupervised anomaly detection ［C］// Proc of International Conference on Learning Representations. 2018.

［123］Yu Haifeng，Gibbons P B，Kaminsky M，et al. SybilLimit： a near-optimal social network defense against sybil attacks ［J］. IEEE/ACM Trans on Networking，2010，18（3）： 885-898.

［124］Fung C，Yoon C J M，Beschastnikh I. Mitigating sybils in federated learning poisoning ［EB/OL］. （2020-07-15）. https：//arxiv.org/pdf/1808.04866.pdf.

［125］Wang Binghui，Zhang Le，Gong N Z. SybilBlind： detecting fake users in online social networks without manual labels ［C］// Proc of the 21st International Symposium on Research in Attacks，Intrusions，and Defenses. Cham： Springer，2018： 228-249.

［126］Gong N Z，F(xiàn)rank M，Mittal P. SybilBelief： a semi-supervised learning approach for structure-based sybil detection ［J］. IEEE Trans on Information Forensics and Security，2014，9（6）： 976-987.

［127］Gao Peng，Wang Binghui，Gong N Z，et al. SYBILFUSE： combining local attributes with global structure to perform robust sybil detection ［C］// Proc of IEEE Conference on Communications and Network Security. Piscataway，NJ： IEEE Press，2018： 1-9.

［128］Blanchard P，El Mhamdi E M，Guerraoui R，et al. Machine learning with adversaries： Byzantine tolerant gradient descent ［C］// Proc of the 31st Conference on Neural Information Processing Systems. 2017.

［129］Yao A C. Protocols for secure computations ［C］// Proc of the 23rd Annual Symposium on Foundations of Computer Science. Piscataway，NJ： IEEE Press，1982： 160-164.

［130］Demmler D，Schneider T，Zohner M. ABY： a framework for efficient mixed-protocol secure two-party computation ［C］// Proc of Network and Distributed System Security Symposium. 2015.

［131］Mohassel P，Rindal P. ABY³： a mixed protocol framework for machine learning ［C］// Proc of ACM SIGSAC Conference on Computer and Communications Security. New York： ACM Press，2018： 35-52.

［132］Damgrd I，Pastro V，Smart N，et al. Multiparty computation from somewhat homomorphic encryption ［C］// Proc of the 32nd Annual Cryptology Conference. Berlin： Springer，2012： 643-662.

［133］Chen Chaochao，Li Ang，F(xiàn)ang Wenjing，et al. Secret sharing based secure regressions with applications ［EB/OL］. （2020-04-10）. https：//arxiv.org/pdf/2004.04898.pdf.

［134］Bonawitz K，Ivanov V，Kreuter B，et al. Practical secure aggregation for privacy-preserving machine learning ［C］// Proc of ACM SIGSAC Conference on Computer and Communications Security. New York： ACM Press，2017： 1175-1191.

［135］Fang Wenjing，Chen Chaochao，Tan Jin，et al. A hybrid-domain framework for secure gradient tree boosting ［EB/OL］. （2021-09-02）. https：//arxiv.org/pdf/2005.08479v1.pdf.

［136］Hardy S，Henecka W，Ivey-Law H，et al. Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption ［EB/OL］. （2017-11-29）. https：//arxiv.org/pdf/1711.10677.pdf.

［137］McMahan H B，Ramage D，Talwar K，et al. Learning differentially private recurrent language models ［EB/OL］. （2018-02-24）. https：//arxiv.org/pdf/1710.06963.pdf.

［138］Geyer R C，Klein T，Nabi M. Differentially private federated lear-ning： a client level perspective ［EB/OL］. （2018-03-01）. https：//arxiv.org/pdf/1712.07557.pdf.

［139］朱驍，楊庚. 橫向聯(lián)邦學習中PCA差分隱私數(shù)據(jù)發(fā)布算法 ［J］. 計算機應(yīng)用研究，2022，39（1）： 236-239，248. （Zhu Xiao，Yang Geng. PCA differential privacy data publishing algorithm in horizontal federated learning ［J］. Application Research of Computers，2022，39（1）： 236-239，248. ）

［140］Pihur V，Korolova A，Liu F，et al. Differentially-private “draw and discard” machine learning ［EB/OL］. （2018-10-10）. https：//arxiv.org/pdf/1807.04369.pdf.

［141］Hu Rui，Gong Yanmin，Guo Yuanxiong. Federated learning with sparsified model perturbation： improving accuracy under client-level differential privacy ［EB/OL］. （2022-02-15）. https：//arxiv.org/pdf/2202.07178.pdf.

［142］Bassily R，Nissim K，Stemmer U，et al. Practical locally private heavy hitters ［J］. Journal of Machine Learning Research，2020，21（1）： 535-576.

［143］Bhowmick A，Duchi J，F(xiàn)reudiger J，et al. Protection against reconstruction and its applications in private federated learning ［EB/OL］. （2019-06-03）. https：//arxiv.org/pdf/1812.00984.pdf.

［144］楊強，童詠昕，王晏晟，等. 群體智能中的聯(lián)邦學習算法綜述 ［J］. 智能科學與技術(shù)學報，2022，4（1）： 27-44. （Yang Qiang，Tong Yongxin，Wang Yansheng，et al. A survey on federated learning in crowd intelligence ［J］. Chinese Journal of Intelligent Science and Technology，2022，4（1）： 27-44. ）

［145］劉藝璇，陳紅，劉宇涵，等. 聯(lián)邦學習中的隱私保護技術(shù) ［J］. 軟件學報，2022，33（3）： 1057-1092. （Liu Yixuan，Chen Hong，Liu Yuhan，et al. Privacy-preserving techniques in federated learning ［J］. Journal of Software，2022，33（3）： 1057-1092.）

［146］石聰聰，高先周，黃秀麗，等. 聯(lián)邦學習隱私模型發(fā)布綜述 ［J］. 南京信息工程大學學報： 自然科學版，2022，14（2）： 127-136. （Shi Congcong，Gao Xianzhou，Huang Xiuli，et al. Survey on private model publishing for federated learning ［J］. Journal of Nanjing University of Information Science amp; Technology： Natural Science Edition，2022，14（2）： 127-136. ）

［147］周傳鑫，孫奕，汪德剛，等. 聯(lián)邦學習研究綜述 ［J］. 網(wǎng)絡(luò)與信息安全學報，2021，7（5）： 77-92. （Zhou Chuanxin，Sun Yi，Wang Degang，et al. Survey of federated learning research ［J］. Chinese Journal of Network and Information Security，2021，7（5）： 77-92.）