智能物聯(lián)網(wǎng)中高效安全的自適應(yīng)量化聯(lián)邦學(xué)習(xí)

中圖分類號：TP309 文獻標(biāo)志碼：A 文章編號：1001-3695（2025）08-034-2503-08

doi：10.19734/j.issn.1001-3695.2024.11.0504

Efficient and secure adaptive quantization federated learning in AIoT

Ma Haiyinga，Shen Jinyua，Yang Tianlinga，Qiu Jiana，Wang Zhanjunbt （a.SchooloficellgeeoueclfaStatics，oUesitgJ1 China）

Abstract：Forthe problemofparticipants’privateleakageonthemodelparameters intheexistingadaptivequantizationfederatedlearning schemes，this paper proposedan eficientandsecureadaptivequantization federated learning scheme suitable for artificialinteligenceof things（AIoT）.Thisschemeutilizedadaptivequantization technologytoreducethecommunication overhead forparticipants.Iconstructedascureagregationprotocolintwoaggregationserverstoprotecttheprivacyoflocal modelparametersbycombiningtheDifie-Helmankeyexchangeprotocol，secretsharingshemesandoblivious trasferprotocols.This paper proved the proposed scheme was secureunder reasonable assumptions.The experimental results show that the scheme notonlycanachieveaglobal modelwithhighaccuracy，butalsocansignificantlyreducecommunicationoverheadand computationcosts forprotectingparticipants’privacy.Thisscheme issuitableforresource-constrained，suchaslightweightIT devices in AIoT.

Key Words：federatedlearning（FL）；privacyprotection；adaptivequantization；secret sharing；oblivious transfer protocol

0 引言

智能物聯(lián)網(wǎng)（AIoT）[]利用人工智能技術(shù)分析物聯(lián)網(wǎng)數(shù)據(jù)，使得物聯(lián)網(wǎng)設(shè)備具備感知與識別能力，促使產(chǎn)業(yè)升級和體驗優(yōu)化，實現(xiàn)萬物智能互聯(lián)。而智能家居作為智能物聯(lián)網(wǎng)中典型的應(yīng)用場景，家居設(shè)備能夠相互連接、自動化操作并根據(jù)環(huán)境變化或用戶需求做出智能決策，從而提升居民的生活便利性與舒適性。機器學(xué)習(xí)作為實現(xiàn)人工智能的關(guān)鍵技術(shù)，極大地推動了人工智能的發(fā)展和應(yīng)用。傳統(tǒng)的集中式機器學(xué)習(xí)需要上傳和存儲大量用戶的私有數(shù)據(jù)，產(chǎn)生大量的通信和存儲開銷，且會造成用戶敏感數(shù)據(jù)的隱私泄露。為了保護機器學(xué)習(xí)中用戶隱私信息，McMahan等人[2]提出了聯(lián)邦學(xué)習(xí)（FL）架構(gòu)。其作為一種分布式機器學(xué)習(xí)的框架，在每一輪訓(xùn)練中，每個參與者利用本地數(shù)據(jù)集訓(xùn)練一個本地模型，然后將本地模型上傳給服務(wù)器，服務(wù)器聚合所有本地模型生成全局模型并分發(fā)給所有參與者。由于FL在一定程度上保護了用戶原始數(shù)據(jù)的隱私，且能夠高效處理資源，受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。然而，攻擊者只需獲取部分模型參數(shù)，利用推理攻擊或模型反演攻擊等方法就可以重建用戶的原始數(shù)據(jù)，或者構(gòu)造一個類似模型[3.4]，在智能家居系統(tǒng)中則會暴露用戶的個人身份信息與活動數(shù)據(jù)。因此，F(xiàn)L仍然存在隱私泄露的風(fēng)險。

為了保護參與者本地模型參數(shù)的隱私安全，研究人員利用差分隱私[5.6]同態(tài)加密[7.8]和安全多方計算[9.10]等隱私保護技術(shù)，構(gòu)造出大量FL中的安全聚合協(xié)議。文獻[5，6]利用差分隱私將噪聲添加到模型參數(shù)中，一定程度上保護了用戶隱私，然而會降低全局模型準(zhǔn)確率。文獻[7，8]利用同態(tài)加密技術(shù)加密模型參數(shù)，服務(wù)器在其密文狀態(tài)下聚合所有參與者的本地模型參數(shù)，確保數(shù)據(jù)在傳輸和處理過程中不泄露其隱私信息，但會增加大量的計算和通信開銷。基于安全多方計算的FL方案[9.10]利用密文交互、秘密分享、同態(tài)加密等技術(shù)手段，確保這些中間計算結(jié)果在傳輸和計算過程中不被泄露，但參與方之間交互增加了大量的計算和傳輸開銷。因此，上述隱私保護FL方案[5～10]計算開銷和通信開銷很大，很難將其部署在輕量級物聯(lián)網(wǎng)設(shè)備上。

隨著FL模型參數(shù)個數(shù)的持續(xù)增長，參與者的通信成本和傳輸時延會大大增加，而智能家居中的智能設(shè)備（如傳感器、微型控制器、智能插座等），通常又是計算能力弱、存儲容量有限、通信帶寬受限、電池壽命短的輕量級物聯(lián)網(wǎng)設(shè)備，這類設(shè)備會很難參與FL的模型訓(xùn)練。因此，學(xué)者們提出了許多模型壓縮技術(shù)，比如通過剪枝[1]、量化[12～14]和知識蒸餾[15]等技術(shù)來減少模型大小和計算復(fù)雜度。為了減少模型的存儲和傳輸開銷，研究人員將自適應(yīng)量化技術(shù)應(yīng)用于FL的模型參數(shù)更新過程中，提出一系列自適應(yīng)量化FL方案[16～18]，實現(xiàn)更高效的模型更新。然而，現(xiàn)有的自適應(yīng)量化聯(lián)邦學(xué)習(xí)方案沒有考慮參與者模型更新過程的隱私泄露問題，即聚合服務(wù)器可以根據(jù)模型更新過程推理參與者的隱私信息。盡管現(xiàn)有 FL^[19，20] 致力于減少參與者的通信開銷和保護參與者的隱私安全，但是其通信開銷和隱私保護計算開銷依然很大，例如基于 SecAgg^[3] 的安全聚合方法需要參與者之間進行交互，沒有考慮參與者掉線的問題，很難部署在輕量級物聯(lián)網(wǎng)設(shè)備上。

本文提出一種適用于智能物聯(lián)網(wǎng)的高效安全自適應(yīng)量化聯(lián)邦學(xué)習(xí)方案，利用自適應(yīng)量化技術(shù)減少參與者模型更新向量的大小，通過布爾共享和Diffie-Hellman密鑰交換協(xié)議，將參與者量化后的模型更新向量秘密共享給兩臺服務(wù)器，這兩臺服務(wù)器構(gòu)成了分布式聚合器[21]。該隱私保護方法沒有增加額外的通信開銷，并且參與者進行的隱私保護計算也是輕量級的。此外，服務(wù)器利用不經(jīng)意傳輸技術(shù)實現(xiàn)布爾到算術(shù)共享的轉(zhuǎn)換協(xié)議，完成對參與者秘密共享值的聚合，得到更新后的全局模型。這種分布式聚合模型無需參與者進行交互設(shè)置，能夠有效處理參與者掉線問題。大量研究表明，當(dāng)聚合服務(wù)器損壞時，單服務(wù)器聚合方法容易受到隱私泄露攻擊[22.23]和單點故障攻擊，而本文方案只要有一臺服務(wù)器未受到損壞就能夠有效保護參與者模型參數(shù)的隱私信息。

本文方案支持自適應(yīng)量化和安全聚合的聯(lián)邦學(xué)習(xí)。假設(shè)兩臺服務(wù)器和參與者是半誠實的，在任意一臺服務(wù)器和其他實體不共謀的前提下，能夠有效保護參與者模型參數(shù)的隱私安全，且能夠得到滿足模型準(zhǔn)確率需求的全局模型。與傳統(tǒng)的密碼學(xué)隱私保護方案相比，本文隱私保護方法僅需要增加少量的計算開銷。實驗結(jié)果表明，本文方案參數(shù)的壓縮率約為0.19，能夠極大地減少通信開銷，與相關(guān)方案 HeteroSAg 相比，通信開銷減少了 41.5% 。此外，本文量化方案在非獨立同分布數(shù)據(jù)集上具有很高的模型準(zhǔn)確率，而在獨立同分布數(shù)據(jù)集上模型準(zhǔn)確率僅有微小的損失。因此，本文方案能夠有效減少通信開銷和隱私保護的計算開銷，非常適用于智能家居系統(tǒng)中資源受限的輕量級物聯(lián)網(wǎng)設(shè)備。

1相關(guān)技術(shù)

1.1 Diffie-Hellman密鑰交換協(xié)議

Diffie-Hellman密鑰交換協(xié)議（Diffie-Hellmankeyexchangeprotocol）[24]是一種用于在不安全通信信道上安全交換密鑰的方法。該協(xié)議允許兩方在不需要預(yù)先共享秘密信息的情況下協(xié)商出一個共享的密鑰，這個密鑰可以用于后續(xù)的加密通信。其安全性依賴于Diffie-Hellman問題和離散對數(shù)的計算，密鑰交換的兩方會進行如下操作：

a）系統(tǒng)選擇一個大的素數(shù) p 和一個隨機數(shù) g∈Z_p^* ，并將其作為系統(tǒng)公共參數(shù)發(fā)布在公告欄中。b）一方選擇一個隨機數(shù) r₁∈Z_p^* 作為其私鑰 sk₁=r₁ ，計算公鑰 pk₁=g^r1 mod p ，將其發(fā)送給對方。另一方選擇一個隨機數(shù) r₂∈Z_p^* ，作為其私鑰 sk₂=r₂ ，計算公鑰 pk₂=g^r2 mod p ，將其發(fā)送給對方。c）兩方接收到對方的公鑰后，使用自己的私鑰計算共享密鑰。一方計算共享密鑰 ，另一方計算共享密鑰 r_2，1=（g^r1）^r2modp 由于 （g^r2）^r1=（g^r1）^r2 ，所以兩方擁有一個相同的共享密鑰 r_1，2=r_2，1 。

1.2秘密共享方案

秘密共享（secretsharing）是一種密碼學(xué)技術(shù)，旨在將一個秘密分割成若干份額，并將這些份額分發(fā)給參與方。只有當(dāng)參與者收集到一定數(shù)量的份額時才能夠重構(gòu)出原始秘密。秘密共享的目的是增強數(shù)據(jù)的安全性，保護個人隱私，防止秘密過于集中，提高系統(tǒng)容錯性。

本文利用布爾秘密共享和算術(shù)秘密共享兩種秘密共享方法[25]。布爾秘密共享主要用于處理布爾運算（如邏輯與、或、非等）的秘密共享方案，每個份額是一個固定比特長度的二進制串，所有份額通過異或操作可以重構(gòu)出原始秘密值。算術(shù)秘密共享主要用于處理數(shù)值運算的秘密共享方案，每個份額是一個數(shù)值，所有份額通過加法運算可以重構(gòu)出原始秘密值。

1.3 量化技術(shù)

量化技術(shù)是將模型中的參數(shù)和激活值映射到較小的值域，通常是有限的整數(shù)或低位的浮點數(shù)。根據(jù)量化輸出的結(jié)果是否唯一，量化又能分為確定量化（deterministicquantiza-tion）[26.27]和隨機量化（stochastic quantization）[12.28]。確定量化是一種在量化過程中總是產(chǎn)生相同輸出的策略，對于給定的輸入和量化參數(shù)（如量化步長、量化范圍等），量化輸出一個確定的量化值。確定量化的特征為可預(yù)測性和一致性，即相同的輸入在任何情況下都會被量化到相同的輸出值。隨機量化是一種在量化過程中引入隨機性的策略，量化輸出可能不是唯一的，而是具有一定概率分布的。這種量化方式通常用于處理不確定性或噪聲的隱私保護應(yīng)用場景。

為了加速量化操作下模型的收斂速度，學(xué)者們提出了許多自適應(yīng)量化策略[16，17]，以提高模型的準(zhǔn)確率。Jhunjhunwala 等人[18]提出了一種自適應(yīng)量化聯(lián)邦學(xué)習(xí)方案，根據(jù)固定通信間隔的比特數(shù)來限制訓(xùn)練誤差的收斂過程，并調(diào)整每輪通信的比特數(shù)，計算出每輪次最優(yōu)的量化等級。該方法在保證模型準(zhǔn)確率損失較小的前提下極大地減少了參與者的通信開銷。該方案定義函數(shù) f（w_t） 為神經(jīng)網(wǎng)絡(luò)模型 w_t 的非凸目標(biāo)函數(shù)，推導(dǎo)出最優(yōu)量化等級 s_t+1 ，并將其近似為

1.41-out-of-2不經(jīng)意傳輸協(xié)議

1-out-of-2不經(jīng)意傳輸協(xié)議[29]是一種兩方協(xié)議，其中一方作為發(fā)送者，擁有兩個等長的秘密 m₀ 和 m₁ ；另一方作為接收者，希望從這兩個秘密中選擇一個，但又不希望發(fā)送者知道他選擇了哪一個。因此，1-out-of-2不經(jīng)意傳輸協(xié)議允許接收者在保護隱私的前提下從發(fā)送者的兩個秘密中選擇一個，即接收者能夠安全地獲得他選擇的秘密，而發(fā)送者則無法得知接收者選擇了哪一個秘密。本文中涉及的1-out-of-2不經(jīng)意傳輸協(xié)議主要包括以下幾個步驟：

a）消息的生成。發(fā)送方生成兩個消息 m₀ 和 m₁ 。b）公鑰的生成與公布。接收方根據(jù)自己的選擇位 b∈{0

1生成一對公鑰，發(fā)送給發(fā)送方。c）加密與傳輸。發(fā)送方利用這對公鑰，將兩個消息 m₀ 和m₁ 經(jīng)過加密變換后發(fā)送給接收方。d）解密與獲取秘密。接收方利用自己的選擇位和預(yù)先準(zhǔn)備的私鑰解密出所選消息 m_b ，但不能獲知另一個消息 m_1-b 。

2 系統(tǒng)模型和安全性假設(shè)

2.1 系統(tǒng)模型

本文提出一種智能物聯(lián)網(wǎng)中高效安全的自適應(yīng)量化聯(lián)邦學(xué)習(xí)方案，該方案包括系統(tǒng)管理員 sM 參與者 U_i 、服務(wù)器 S₁ 和服務(wù)器 S₂ 四種實體，其中，SM為智能家居制造商的系統(tǒng)開發(fā)人員， U_i 主要為一些輕量級智能家居設(shè)備， S₁ 和 S₂ 為兩個不同的聚合服務(wù)器提供商。該方案的系統(tǒng)架構(gòu)如圖1所示。

圖1系統(tǒng)架構(gòu)Fig.1Systemarchitecture

系統(tǒng)管理員 sM 負(fù)責(zé)構(gòu)建平臺，生成系統(tǒng)的公開參數(shù)，發(fā)布聯(lián)邦學(xué)習(xí)的任務(wù)列表。參與者 U_i 在本地進行模型訓(xùn)練，對模型更新向量進行量化編碼以及隱私保護，將隱私保護后的數(shù)據(jù)發(fā)送給服務(wù)器 S₁ 。服務(wù)器 S₁ 驗證參與者 U_i 所發(fā)送的數(shù)據(jù)，利用Diffie-Hellman密鑰交換協(xié)議生成相應(yīng)的布爾共享值，發(fā)送驗證通過的數(shù)據(jù)給服務(wù)器 S₂ S₂ 利用Diffie-Hellman密鑰交換協(xié)議生成相應(yīng)的布爾共享值；接著 S₁ 和 S₂ 執(zhí)行從布爾到算術(shù)共享的轉(zhuǎn)換，由算術(shù)共享矩陣計算出各自的聚合向量， S₂ 將其聚合向量發(fā)送給 S₁ ；服務(wù)器 S₁ 最后計算出總的聚合向量，得到全局模型參數(shù)和量化等級。參與者 U_i 可以下載全局模型和量化等級，進行新一輪的模型訓(xùn)練，當(dāng)訓(xùn)練輪次達到指定輪次后，參與者結(jié)束該聯(lián)邦學(xué)習(xí)任務(wù)。此時，系統(tǒng)管理員和所有參與者得到最終模型參數(shù)。

2.2安全性假設(shè)和系統(tǒng)威脅模型

本文方案的系統(tǒng)模型主要由系統(tǒng)管理員SM、參與者 U_i 、服務(wù)器 S₁ 和 S₂ 四種實體組成。假設(shè)系統(tǒng)管理員SM是一個可信實體，會正確執(zhí)行系統(tǒng)初始化過程且維護系統(tǒng)正常運行；服務(wù)器 S₁，S₂ 和參與者 U_i 都是半誠實的，能夠遵循協(xié)議規(guī)范，但可能會嘗試從接收到的協(xié)議消息中推理參與者的隱私信息。上述實體可能造成潛在的威脅：

a）推理攻擊。如果參與者直接上傳量化更新向量會泄露自己的隱私信息，因此本文方案利用Diffie-Hellman密鑰交換協(xié)議生成隨機布爾共享值，并用其盲化本地量化更新向量。聚合服務(wù)器 S₁ 和 S₂ 只能得到秘密共享的值和聚合的結(jié)果，而不能得到參與者模型參數(shù)的隱私信息。

b）共謀攻擊。參與者和服務(wù)器可能會進行共謀來推斷其他參與者的隱私數(shù)據(jù)。本文方案假定兩臺服務(wù)器和參與者是半誠實的，在任意一臺服務(wù)器和其他實體不共謀的前提下，能夠有效防止參與者模型參數(shù)的隱私泄露，且能夠得到滿足模型準(zhǔn)確率需求的全局模型。

3智能物聯(lián)網(wǎng)中高效安全的自適應(yīng)量化聯(lián)邦學(xué)習(xí)

智能物聯(lián)網(wǎng)中高效安全的自適應(yīng)量化聯(lián)邦學(xué)習(xí)方案由系統(tǒng)初始化、本地模型參數(shù)的量化編碼、量化更新向量的隱私保護、全局模型的生成、量化等級自適應(yīng)更新和本地模型更新六個階段組成。表1給出了本文方案涉及的符號及其對應(yīng)的含義。

表1符號及含義 Tab.1Symbols and meanings

3.1 系統(tǒng)初始化階段

系統(tǒng)管理員 sM 首先構(gòu)建平臺，所有參與者和聚合服務(wù)器可以在平臺上進行注冊。 sM 選擇一個大素數(shù) p 和一個隨機數(shù)g∈Z_p^* ，設(shè)置 d 維的初始模型參數(shù) w₀ ，選擇一個控制精度的正整數(shù)縮放因子 λ ，選擇一個偽隨機數(shù)生成器PRG（·），并發(fā)布聯(lián)邦學(xué)習(xí)的任務(wù)列表和全局模型訓(xùn)練的最大輪次 T sM 根據(jù)模型的準(zhǔn)確率和參與者的通信開銷，使用網(wǎng)格搜索法[30]從候選的量化值中找到最優(yōu)值作為系統(tǒng)的初始量化等級 s₁ 。然后，服務(wù)器 S₁ 根據(jù)固定大小的通信間隔限制訓(xùn)練誤差的收斂過程，近似計算下一個輪次的最優(yōu)量化等級 s_t，2?t?T

令 U_i 代表第 i 個參與者，參與者 U_i 申請參與某個聯(lián)邦學(xué)習(xí)任務(wù)，選擇一個隨機數(shù) r_i∈Z_p^* 作為其私鑰 sk_i 并秘密保存，計算公鑰 pk_i=gⁿⁱ mod p ，生成一對公私鑰 。本系統(tǒng)有兩個聚合服務(wù)器 S₁ 和 S₂ ，服務(wù)器 S₁ 選擇一個隨機數(shù) r₁^′∈ Z_p^* 作為其私鑰 ssk₁ ，計算公鑰 ，組成一對公私鑰 （ssk₁，spk₁） 。服務(wù)器 S₂ 選擇一個隨機數(shù) r₂^′∈Z_p^? 作為其私鑰 ssk₂ ，計算公鑰 spk₂=g^r2′ mod p ，生成一對公私鑰（ ssk₂ ，spk₂ ）。服務(wù)器和參與者可以利用其公私鑰對為它們之間的數(shù)據(jù)傳輸構(gòu)建認(rèn)證信道。

3.2本地模型參數(shù)的量化編碼階段

假定參與者 U_i 執(zhí)行第 χ_t 個輪次的模型訓(xùn)練， 1?t?T ，當(dāng)t=1 時，參與者 U_i 從系統(tǒng)管理員 sM 獲得全局模型參數(shù) w_t-1= w₀ 和量化等級 s_t=s₁ 。當(dāng) tgt;1 時，參與者 U_i 從服務(wù)器 S₁ 獲得全局模型參數(shù) w_t-1 和量化等級 s_t ，在本地數(shù)據(jù)集上訓(xùn)練得到本地模型參數(shù) w_t，i ，計算本地模型更新向量 ν_i=w_t，i-w_t-1 ，對向量 ν_i 的量化編碼過程如圖2所示。令 v_i，j 是向量 ν_i 的第 j 個分量 （1?j?d） ， 為向量 ν_i 的二范數(shù)，都為32bit的實數(shù)。令符號函數(shù) sgn（x）∈Z₂ ，當(dāng) x?0 時， sgn（x）=0 ，當(dāng) xlt;0 時，sgn（x）=1 ，即當(dāng) x 是負(fù)數(shù)時，該函數(shù)輸出一個值為1的二進制位，當(dāng) x 是非負(fù)數(shù)時，該函數(shù)輸出一個值為0的二進制位。

圖2模型更新向量的量化編碼 Fig.2Quantization encoding of model update vector

參與者 U_i 利用符號函數(shù) sgn（x） 對向量 ν_i^′ 中的每個分量計算相應(yīng)的符號值 σ_i，j=sgn（v_i，j^′） ，得到 ν_i 的符號向量 σ_i= （ σ_i，1 ， σ_i，2 ，…， σ_i，d ），計算 ，得到 32bit 的非負(fù)整數(shù)向量 。

由于 ，量化等級 s_t 的二進制數(shù)的有效長度 L_t= ?log₂（s_t+1）? ，且通常量化等級 s_t?255 ，上述量化方法可以將一個 32bit 的非負(fù)整數(shù)轉(zhuǎn)換成不大于 8bit 的二進制數(shù)。因此，參與者 U_i 取 最低的 比特有效位，將其壓縮為 bit的 ，得到量化更新向量 ，構(gòu)成一個三元組（ 。

3.3量化更新向量的隱私保護階段

為了保護模型參數(shù)的隱私安全，參與者 U_i 根據(jù)Diffie-Hellman密鑰交換協(xié)議，利用其私鑰 sk_i 、服務(wù)器 S₁ 的公鑰 ?spk₁ 和 S₂ 的公鑰 spk₂ ，計算隨機種子r_i，1=（g^r1′）^ri mod p，r_i，2= ;然后， U_i 運行偽隨機數(shù)生成器 PRG（???） 生成長度為 L_t 的兩個二進制隨機數(shù) s_i，1=PRG （ r_i，1 ）和 s_i，2= PRG（r_i，2） ；對量化更新向量 的每一個分量 進行盲化，計算 ，構(gòu)成一個盲化后的量化更新向量w "i * "= （ w" i ， 1 *" ， w" i ， 2 *" ，w" i ， d * "）"，得到一個三元組（ 并將其發(fā)送給服務(wù)器 S₁ 。

3.4 全局模型的生成階段

服務(wù)器 S₁ 和 S₂ 生成全局模型的交互過程如圖3所示，全局模型的生成主要包括服務(wù)器生成布爾共享、布爾到算術(shù)共享的轉(zhuǎn)換和算術(shù)共享矩陣的聚合三個階段。

圖3服務(wù)器生成全局模型的交互過程 Fig.3Interaction process for server generating the global model

3.4.1服務(wù)器 S₁ 和 S₂ 布爾共享的生成

服務(wù)器 S₁ 接收到三元組（ ），根據(jù)量化等級 s_t 計算 ，驗證向量 的二進制長度是否為 d?L_t ，||v i||2 "是否大于零。如果 的二進制長度等于d?L_t 且 大于零，服務(wù)器 S₁ 把 發(fā)送給服務(wù)器 S₂ ，否則丟棄這個三元組。

服務(wù)器 S₁ 根據(jù)Diffie-Hellman密鑰交換協(xié)議，利用其私鑰ssk₁ 和參與者 U_i 的公鑰 pk_i 計算隨機種子 r_i，1=（g^ri）^r1′modp 運行偽隨機數(shù)生成器 PRG（θ?θ） ，生成一個長度為 L_t 的二進制隨機數(shù) s_i，1=PRG（r_i，1） ，對于盲化向量 的每一個分量 （ 1?j?d， ，計算" w" i ， j'=" i ， j* +"s" i ， 1 "，得到一個布爾共享向量 。

服務(wù)器 S₂ 接收到 ，根據(jù)Diffie-Hellman密鑰交換協(xié)議，利用其私鑰 ssk₂ 和參與者 U_i 的公鑰 pk_i 計算隨機種子 r_i，2=（g^ri）^r2′modp ，運行偽隨機數(shù)生成器 PRG（?） ，生成一個長度為 L_t 的二進制隨機數(shù) s_i，2=PRG（r_i，2） ，得到一個布爾共享值si，20

3.4.2布爾共享到算術(shù)共享的轉(zhuǎn)換

為了在服務(wù)器 S₁ 和 S₂ 之間生成一個雙重驗證位，服務(wù)器S₁ 和 S₂ 需要執(zhí)行不經(jīng)意傳輸協(xié)議1-out-of-2OT，如協(xié)議1所示。

協(xié)議11-out-of-2 OT

輸人： S₁ 輸入一個隨機比特 b₁∈{0，1} 和一個隨機整數(shù) z∈Z_p^* ，S₂ 輸人比特 b₂∈{0，1} 。 ξ//S₁ 作為發(fā)送方， S₂ 作為接收方

輸出： z+b₁b₂（modp） 0

a） S₁ 選擇一個隨機數(shù) C∈Z_p^* ，并將其發(fā)送給 S₂ ：b）S₂ 生成一對公私鑰 （sk，pk） ，計算 pk^′=C-pk c）S₂ 將公鑰對 （pk₀^?，pk₁^?） 發(fā)送給 S₁ ：

當(dāng) b₂=0 時 ，pk₀^*=pk，pk₁^*=pk^′ 當(dāng) b₂=1 時 ，pk₀^*=pk^′，pk₁^*=pk

d）S₁ 接收 （pk₀^?，pk₁^?） ，向 S₂ 發(fā)送密文 （e₀，e₁）=（Enc（pk₀^* z）， Enc（pk₁^*，z+b₁） ）；

e） S₂ 接收 （e₀，e₁） ，計算 Dec（e_b2，sk） ，輸出 z+b₁b₂（modp） U

服務(wù)器 S₁ 選取一個隨機比特 b₁∈{0，1} 和兩個隨機數(shù) z C∈Z_p^* ，并將隨機數(shù) c 發(fā)送給 S₂ 。服務(wù)器 S₂ 選取一個隨機比特 b₂∈{0，1} ，并選擇一個隨機的公私鑰對 （sk，pk） ，計算 pk^′= C-pk ，發(fā)送一個公鑰對 （pk₀^?，pk₁^?） 給 S₁ 。其中，當(dāng) b₂=0 時，pk₀^*=pk，pk₁^*=pk^′ ；當(dāng) b₂=1 時 ，pk₀^*=pk^′，pk₁^*=pk₀

隨后 S₁ 接收 （pk₀^*，pk₁^* ），計算密文 （2pk₀^* ）， Enc（z+b₁，pk₁^?） ），并將該密文 （e₀，e₁） 發(fā)送給 S_2oS₂ 接收 （e₀，e₁） ，如果 b₂=0 ，用 sk 解密 e₀

Dec（e₀，sk）=

Dec（Enc（z，pk₀^*），sk）=Dec（Enc（z，pk），sk）=z

否則用 sk 解密 e₁ ：

S₂ 利用上述不經(jīng)意傳輸1-out-of-2OT協(xié)議僅能得到 z 和z+b₁ 中的一個值，該值可以表示為 z+b₁b₂（modp） ，令 a=z+ b₁b₂（modp） 。

服務(wù)器 S₁ 計算 b₁^′=b₁+2z（modp） ，可以將布爾共享 b₁ 轉(zhuǎn)換成相應(yīng)的算術(shù)共享 b₁^′ ，生成一個雙重驗證位 （b₁，b₁^′） 。服務(wù)器 S₂ 計算 可以將布爾共享 b₂ 轉(zhuǎn)換成相應(yīng)的算術(shù)共享 b₂^′ ，生成一個雙重驗證位 （b₂，b₂^′） 。由于 ，服務(wù)器 S₁ 和 S₂ 利用上述1-out-of-2OT協(xié)議，實現(xiàn)將布爾共享 b₁ 和 b₂ 轉(zhuǎn)換成相應(yīng)的算術(shù)共享 b₁ 和 b₂^′ 。

由于 是向量 的第 j 個分量，為了將長度為 L_t bit的布爾共享值 轉(zhuǎn)換成相應(yīng)的算術(shù)共享值，服務(wù)器 S₁ 需要 L_t 個雙重驗證位。令 （b_1，k，b_1，k^′） 是服務(wù)器 S₁ 布爾共享值 的第 k 個雙重驗證位（ 1?k?L_t ），服務(wù)器 S₁ 運行協(xié)議1，能夠?qū)⒉紶柟蚕?b_1，k 轉(zhuǎn)換成相應(yīng)的算術(shù)共享 b_1，k^′ 。為了將長度為 L_t bit 的布爾共享值 s_i，2 轉(zhuǎn)換成相應(yīng)的算術(shù)共享值，服務(wù)器 S₂ 需要 L_t 個雙重驗證位，令 （b_2，k，b_2，k^′） 是服務(wù)器 S₂ 布爾共享值 s_i，2 的第 k 個雙重驗證位（ 1?k?L_t ），服務(wù)器 S₂ 運行協(xié)議1，能夠?qū)⒉紶柟蚕?b_2，k 轉(zhuǎn)換成相應(yīng)的算術(shù)共享 b_2，k^′ 。

算法1單比特布爾共享轉(zhuǎn)換為算術(shù)共享

輸人：雙重驗證位（ b_1，k b_1，k^′） 和 （b_2，k，b_2，k^′） ;布爾共享值 （2 s_i，2，k∈{0，1} 。

輸出：算術(shù)共享值

S₁ 計算 ，并發(fā)送給 S₂ ;S₂ 計算 v₂=s_i，2，k⊕b_2，k ，并發(fā)送給 S₁ ：S₁ 和 S₂ 計算 v=v₁?v₂ ：S₁ 計算 S₂ 計算 。

令 是分量 的第 k 個二進制位， s_i，2，k 是二進制數(shù)s_i，2 的第 k 個二進制位（ 1?k?L_t ）。在算法1中，服務(wù)器 S₁ 和S₂ 輸入各自的雙重驗證位（ b_1，k ， b_1，k^′） 和 （b_2，k，b_2，k^′） ，布爾共享值 ， s_i，2，k∈{0，1} 。由于 b_1，k^′+b_2，k^′（modp）=b_1，k⊕ （2 （mod（號 ，k'+（2 。算法1實現(xiàn)了對單比特布爾共享到算術(shù)共享的轉(zhuǎn)換。

服務(wù)器 S₁ 利用每個算術(shù)共享的值 （ 1?k?L_t ），計算 mod p ，得到參與者 U_i（1?i?m） 的算術(shù)共享向量 ，將 ?_m 個參與者的算術(shù)共享向量組成一個 m 行 d 列的算術(shù)共享矩陣 V_m×d 。服務(wù)器 S₂ 利用每一個算術(shù)共享的值 （ 1?k?L_t. ，計算 mod p ，得到參與者 U_i （ 1?i?m} 的算術(shù)共享向量 ，將 m 個參與者的算術(shù)共享向量組成一個 m 行 d 列的算術(shù)共享矩陣Wmxd。

3.4.3算術(shù)共享矩陣的聚合

服務(wù)器 S₁ 利用縮放因子 λ 、量化等級 s_t 和參與者 U_i（1? i?m 的 |?ν_i|₂ ，計算 ，定義函數(shù) φ（x_i） ，將實數(shù)x_i 轉(zhuǎn)換成 Z_p^* 上的整數(shù)。

服務(wù)器 S₁ 計算 x_i^′=φ（x_i） ，構(gòu)成一個向量 x_i^′=（x₁^′，x₂^′，… x_m^′） ，符號向量 σ_i=（σ_i，1，σ_i，2，…， σ_i，d， 構(gòu)成一個 ?_m 行 d 列的矩陣 F_m×d ，令 F_j 表示矩陣 F_m×d 的第 j 列， V_j 表示矩陣 V_m×d 的第 j 列。

算法2服務(wù)器 S₁ 的行聚合操作

得到兩個向量 q⁺=（q₁⁺，q₂⁺，…，q_d⁺） 和 ， ，計算并更新全局模型參數(shù)：

3.5量化等級自適應(yīng)更新階段

為了提高全局模型的準(zhǔn)確率，借鑒文獻[18]中提出的自適應(yīng)量化方法，服務(wù)器 S₁ 計算出本輪次全局模型 w_t 的非凸目標(biāo)函數(shù) f（w_t） ，計算下一個輪次的近似量化等級 s_t+1 ：

通過這個自適應(yīng)迭代過程確保參與者找到最優(yōu)的量化等級。

3.6本地模型更新階段

當(dāng)模型訓(xùn)練輪次數(shù) t?T ，參與者 U_i 重復(fù)執(zhí)行上述步驟階段3.2～3.5，否則，參與者結(jié)束該聯(lián)邦學(xué)習(xí)任務(wù)。此時，系統(tǒng)管理員和所有參與者得到最終模型參數(shù) w_T 。

4安全性分析

4.1 正確性

定理1假設(shè)兩臺服務(wù)器和參與者是半誠實的，本文方案就可以獲得一個正確的全局模型。

證明參與者 U_i 通過布爾共享和Diffie-Hellman密鑰交換協(xié)議盲化量化更新向量 ，在兩個服務(wù)器之間生成布爾共享值，服務(wù)器 S₁ 擁有的布爾共享為向量 ），服務(wù)器 S₂ 擁有的布爾共享為一個長度為 L_t 的二進制隨機數(shù) s_i，2 。此時參與者 U_i 的秘密值 。

為了將長度為 L_t bit的布爾共享值 和 s_i，2 轉(zhuǎn)換成相應(yīng)的算術(shù)共享值，服務(wù)器 S₁ 和 S₂ 通過1-out-of-2不經(jīng)意傳輸協(xié)議生成 L_t 個雙重驗證位，（ b_1，k ， b_1，k^′） 是服務(wù)器 S₁ 布爾共享值 的第 k 個雙重驗證位（ 1?k?L_t ）， （b_2，k，b_2，k^′） 是服務(wù)器 S₂ 布爾共享值 s_i，2 的第 k 個雙重驗證位（ 1?k?L_t ），雙重驗證位滿足 b_1，k^′+b_2，k^′（modp）=b_1，k⊕b_2，k?

服務(wù)器 S₁ 由分量 的第 k 個二進制位 "w" i ， j ， k ' 和第 k 個雙重驗證位（ b_1，k ， b_1，k^′） 計算出第 k 位的算術(shù)共享值 。服務(wù)器 S₂ 由二進制數(shù) s_i，2 的第 k 個二進制位 s_i，2，k 和第 k 個雙重驗證位 （b_2，k ， b_2，k^′ 計算出第 k 位的算術(shù)共享值 。此時滿足 。然后服務(wù)器 S₁ 使用單比特的算術(shù)共享計算出秘密值 的算術(shù)共享 ，同理，服務(wù)器 S₂ 計算出算術(shù)共享 。因為 mod ，所以 和 是秘密值 的算術(shù)共享。于是服務(wù)器 S₁ 和S₂ 可以對 m 個參與者的算術(shù)共享進行求和操作，從而聚合出正確的全局模型。

4.2 隱私保護

定理2假設(shè)兩臺服務(wù)器是半誠實的，在任意一臺服務(wù)器和其他實體不共謀的前提下，本文方案能夠有效保護參與者模型參數(shù)的隱私。

證明當(dāng)服務(wù)器 S₁ 和 n 個參與者 U_m-n+1，…，U_m 共謀時，其中 n?m 。底層的布爾到算術(shù)共享轉(zhuǎn)換協(xié)議是私有的，共謀方只知道布爾到算術(shù)共享轉(zhuǎn)換的輸出，而無法獲得每個參與者模型參數(shù)的隱私。因此共謀方實際知道的（不包括共謀參與者的輸人）真實視圖 ，q₁^-，q₂⁺，q₂^-} 。其中 為服務(wù)器 S₁ 擁有的布爾共享值， 為服務(wù)器 S₁ 擁有的算術(shù)共享值，q₁⁺，q₁^- 為 S₁ 計算出的聚合值， q₂⁺q₂^- 為 S₂ 發(fā)送給服務(wù)器S₁ 的聚合值。

基于布爾和算術(shù)共享方案的隱藏特性，這兩種共享方案的單個份額都不能揭示底層秘密，因此無法與相應(yīng)的隨機元素區(qū)分。通過采樣適當(dāng)長度的隨機元素來模擬 S₁ 看到的非共謀參與者的布爾共享、算術(shù)共享和聚合向量。因此模擬視圖 E^*= {r₁，…，r_m-n，r₁^′，…，r_m-n^′，r₁^′，r₁^′，r₂^′，r₂^′，…} ，其中 r_i（1? i?m-n） 為 d 維的向量，向量 r_i 的每個分量為長度 L_? 的二進制隨機數(shù)， r_i^′（1?i?m-n） 和 r₁⁺，r₁^-，r₂⁺，r₂^- 為 d 維的向量，其中每個分量為集合 Z_p^* 上的隨機值。該視圖與服務(wù)器 S₁ 和 n 個參與者 U_m-n+1，…，U_m 共謀時所擁有的真實視圖 E 在計算上無法區(qū)分。

同理，當(dāng)服務(wù)器 S₂ 和 n 個參與者 U_m-n+1，…，U_m 共謀時，共謀方對于所擁有的真實視圖和模擬視圖在計算上也無法區(qū)分。因此當(dāng)兩臺服務(wù)器是半誠實的，在任意一臺服務(wù)器和其他實體不共謀的前提下，不會泄露參與者模型參數(shù)的隱私。

5性能分析

5.1 實驗參數(shù)設(shè)置

本節(jié)通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）在MNIST數(shù)據(jù)集上執(zhí)行圖像分類任務(wù)，以驗證所提出的自適應(yīng)量化聯(lián)邦學(xué)習(xí)的性能，主要從模型準(zhǔn)確率、通信開銷和計算開銷三個角度來評估方案的整體性能。本實驗利用Python3.8和Torch1.8.0構(gòu)建編程環(huán)境，并將其部署在AMDRyzen76800H，16GBRAM和NVIDIAGeForceRTX3060的計算機上。

本實驗構(gòu)建了一個聯(lián)邦學(xué)習(xí)系統(tǒng)，卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)總數(shù) d=28 938 ，學(xué)習(xí)率設(shè)置為0.001，每一輪聯(lián)邦學(xué)習(xí)參與者個數(shù) m=20 。本實驗設(shè)置參與者本地迭代次數(shù)為5，本地的訓(xùn)練數(shù)據(jù)集大小為128，每輪訓(xùn)練的本地批量大小為16，模擬輕量級智能家居設(shè)備存儲和計算資源有限的情況，縮放因子 λ=5 ，測試數(shù)據(jù)集的大小為256，全局訓(xùn)練輪數(shù) T=50 。本文使用機器學(xué)習(xí)的網(wǎng)格搜索法[30]，系統(tǒng)地遍歷預(yù)定義的超參數(shù)組合，發(fā)現(xiàn)當(dāng) s₁=10 時，是一個較優(yōu)的初始量化等級。

將本文方案與標(biāo)準(zhǔn)聯(lián)邦學(xué)習(xí)[31]、 HeteroSAg^[32] ！ CKKS[33]和FedDPA[34]在模型準(zhǔn)確率、通信開銷和計算開銷方面進行對比。表2列出了本文方案與相關(guān)隱私保護聯(lián)邦學(xué)習(xí)方案在功能和性能方面的描述。HeteroSAg需要參與者之間進行大量的信息交互，xMK-CKKS和FedDPA都沒有壓縮模型參數(shù)，且這些方案容易遭受單點故障攻擊。本文方案能夠有效減少參與者的通信開銷，保護參與者的隱私，且能夠抵制單點故障攻擊。

表2不同方案的高層次比較

Tab.2High-level comparison of different schemes

5.2 模型準(zhǔn)確率

通過CNN模型來訓(xùn)練MNIST數(shù)據(jù)集，分別在獨立同分布和非獨立同分布的數(shù)據(jù)集上進行模型準(zhǔn)確率實驗，比較得出本文方案和標(biāo)準(zhǔn)聯(lián)邦學(xué)習(xí)[31]訓(xùn)練出的模型準(zhǔn)確率的差異。

圖4展示了在獨立同分布的MNIST數(shù)據(jù)集上，模型準(zhǔn)確率隨全局訓(xùn)練輪數(shù)的變化。可以看出，標(biāo)準(zhǔn)聯(lián)邦學(xué)習(xí)的模型準(zhǔn)確率約為 97.9% ，本文自適應(yīng)量化方案最終模型準(zhǔn)確率約為96% ，自適應(yīng)量化算法在保證高模型準(zhǔn)確率的前提下，進一步提高了通信效率，最終僅比標(biāo)準(zhǔn)聯(lián)邦學(xué)習(xí)的模型準(zhǔn)確率低1.9百分點，模型準(zhǔn)確率在可接受的范圍。

圖4在獨立同分布數(shù)據(jù)集上訓(xùn)練模型的準(zhǔn)確率Fig.4Accuracy oftrainingmodelson IID datasets

圖5展示了在非獨立同分布的MNIST數(shù)據(jù)集上，模型準(zhǔn)確率隨全局訓(xùn)練輪數(shù)的變化。可以看出，標(biāo)準(zhǔn)聯(lián)邦學(xué)習(xí)的模型準(zhǔn)確率約為 95.8% ，本文自適應(yīng)量化方案最終模型準(zhǔn)確率約為 96.7% 。在非獨立同分布的數(shù)據(jù)集上，本文方案的模型準(zhǔn)確率比標(biāo)準(zhǔn)聯(lián)邦學(xué)習(xí)的模型準(zhǔn)確率甚至還提高了0.9百分點。這是因為在非獨立同分布的數(shù)據(jù)集上進行模型訓(xùn)練時，由于數(shù)據(jù)點之間的依賴關(guān)系，訓(xùn)練出的模型可能會過度擬合，而量化可以看作零均值噪聲的來源，防止了訓(xùn)練的過擬合，所以會略微提升模型準(zhǔn)確率。

5.3 通信開銷

每個參與者需要發(fā)送三元組（ ）給服務(wù)器S₁ ，其中 為 32bit 的二范數(shù)， σ_i 為 d 維的符號向量，每個分量為1bit的符號值， 為 d 維盲化后的量化更新向量，其每個分量的大小取決于當(dāng)前輪次的量化等級 s_t ，因此參與者的通信開銷可以表示成 log₂（s_t+1）?+d+32 ，通信開銷的復(fù)雜度為 O（d） 。

圖5在非獨立同分布數(shù)據(jù)集上訓(xùn)練模型的準(zhǔn)確率 Fig.5Accuracy of training models on Non-ID data sets

參與者 U_i 訓(xùn)練得出模型更新向量 ν_i ，原始數(shù)據(jù) ν_i 的大小為 113.04KB 。參與者 U_i 對向量 ν_i 執(zhí)行量化操作后得出三元組（ ，該三元組的平均大小為 21.2KB 。參與者U_i 對量化更新向量 進行盲化，生成盲化后的量化更新向量 ，得到三元組（ ||vi|| 2 "，σ i "， ），該三元組的平均大小為21.2KB ，這個處理操作沒有增加額外的通信開銷。因此本文方案能夠?qū)⒛Ｐ蛥?shù)從113.04KB壓縮為 21.2KB ，參與者的通信開銷約減少了 81.2% ，有效地減少了模型參數(shù)的存儲和通信開銷。

表3列出了本文方案和相關(guān)方案參與者通信開銷的對比。可以看出，本文方案的自適應(yīng)量化方法對數(shù)據(jù)的壓縮率為0.19，比 的通信開銷減少了 41.5% ，比xMK-CKKS的通信開銷減少了 99.4% ，比FedDPA的通信開銷減少了81.2% 。因此本文方案具有最小的壓縮率，更適用于通信資源受限的智能家居聯(lián)邦學(xué)習(xí)場景。

表3不同方案參與者的通信開銷對比

Tab.3 Comparison of communication costs of participants in different scheme

5.4計算開銷

每個參與者的計算開銷可以分解成兩個部分：a）生成量化后的三元組（ ，計算時間取決于模型向量的大小 d;b） 對向量 進行隱私保護后生成向量 ，該步驟包含生成長度為 L_t 的兩個二進制隨機數(shù) s_i，1 和 s_i，2 的時間，以及通過異或操作盲化得到向量 的時間，計算開銷很小。因此對于每個參與者，計算開銷的復(fù)雜度為 O（d） 。

表4列出了本文方案和相關(guān)方案參與者計算開銷的對比。可以看出，本文方案量化得到三元組（ 的時間約為 0.93s ，隱私保護得到向量 的時間約為 0.005ms ，參與者總計算時間約為 0.94s 。本文方案的隱私保護計算為輕量級的布爾運算，隱私保護所需時間遠(yuǎn)小于相關(guān)方案[32～34]，隱私保護的計算開銷最小。對于總計算時間，本文方案比HeteroSAg的計算開銷減少了 49.7% ，比xMK-CKKS的計算開銷減少了87.1% ，僅比FedDPA的大，但FedDPA有實現(xiàn)模型壓縮，差分隱私技術(shù)對模型準(zhǔn)確率也會有較大的損失，不適用于需要高模型準(zhǔn)確率的場景。因此本文方案的計算開銷很小，更適用于計算資源受限的智能家居物聯(lián)網(wǎng)設(shè)備上。

表4不同方案參與者的計算開銷對比Tab.4Comparison of computational costs of participants in diferent schemes

6結(jié)束語

基于文獻[18]的自適應(yīng)量化算法，本文提出了一種適合智能物聯(lián)網(wǎng)的高效安全自適應(yīng)量化聯(lián)邦學(xué)習(xí)機制，利用自適應(yīng)量化技術(shù)減少參與者的通信開銷，將不經(jīng)意傳輸技術(shù)和秘密共享技術(shù)相結(jié)合，構(gòu)造一種保護參與者隱私的安全聚合協(xié)議，并對該協(xié)議的安全性進行證明。在MNIST數(shù)據(jù)集上測試該協(xié)議的執(zhí)行過程，實驗結(jié)果表明本文方案能夠獲得較高的模型準(zhǔn)確率，極大地減少參與者的通信開銷和隱私保護計算開銷，非常適合部署在資源受限的智能家居物聯(lián)網(wǎng)設(shè)備上。未來將探索如何讓本文方案拓展到三臺及以上的分布式聚合服務(wù)器上，以進一步增強方案的安全性和可擴展性。

參考文獻：

[1]Nguyen D C，Ding Ming，Pathirana P N，et al. Federated learning for Internet of Things：a comprehensive survey[J]. IEEE Communications Surveysamp; Tutorials，23（3）：1622-1658.

[2]McMahan HB，MooreE，RamageD，etal.Communication-efficient learning of deep networks from decentralized data[EB/OL].（2016- 02-17）.https：//arxiv.org/abs/1602.05629.

[3]Bonawitz K，Ivanov V，Kreuter B，et al.Practical secure aggregation for privacy-preserving machine learning[C]//Proc of ACM SIGSAC Conference on Computer and Communications Security. New York： ACM Press，2017：1175-1191.

[4]MelisL，Song Congzheng，DeCristofaro E，et al.Exploiting unintended feature leakage in collaborative learning[C]//Proc of IEEE Symposium on Security and Privacy.Piscataway，NJ： IEEE Press，2019：691- 706.

[5]Wei Kang，Li Jun，Ding Ming，et al. Federated learning with differential privacy ：algorithms and performance analysis[J]. IEEE Trans on InformationForensicsandSecurity，2020，15：3454-3469.

[6]KimM，GunluO，SchaeferRF.Federated learning with local differentialprivacy：trade-offsbetweenprivacy，utility，and communication [C]//Proc of IEEE International Conference on Acoustics，Speech andSignal Processing.Piscataway，NJ：IEEE Press，2021：2650-2654.

[7]Liu Yang，Ma Zhuo，Liu Ximeng，etal.Boosting privately：federated extreme gradient boostingfor mobile crowdsensing[C]//Proc of the 40th International Conference on Distributed Computing Systems.Piscataway，NJ：IEEE Press，2020：1-11.

[8]XuR，BaracaldoN，ZhouY，etal.FedV：privacy-preservingfederated learning oververticallypartitioned data[C]//Proc of the14th ACM Workshop onArtificial Intelligenceand Security.New York：ACM Press，2021：181-192.

[9]He L，Karimireddy S P，Jaggi M. Secure Byzantine-robust machine learning[EB/OL].（2020-07-08）. https：//arxiv.org/abs/2006. 04747.

[10]Sotthiwat E，Zhen Liangli，Li Zengxiang，etal.Partially encrypted multi-partycomputation for federated learning[C]//Proc of the 21st International Symposium on Cluster，Cloud and Internet Computing. Piscataway，NJ：IEEE Press，2021：828-835.

[11]Zhu M，Gupta S.To prune，or not to prune：exploring the efficacy of pruning for model compression[EB/OL]. （2017-10-05）. https ：// arxiv. org/abs/1710.01878.

[12]Alistarh D，Grubic D，Li J，et al. QSGD：communication-efficient SGD via gradient quantization and encoding[EB/OL].（2016-10-07）. https：//arxiv.org/abs/1610.02132.

[13]Ji Yu，Chen Lan. FedQNN：acomputation-communication-efficient federated learningframework forIoTwith low-bitwidth neural network quantization[J]. IEEE Intermet of Things Journal，2023，10（3）： 2494-2507.

[14]Lan Muhang，Ling Qing，Xiao Song，et al. Quantization bits alocation forwireless federated learning[J].IEEE Trans on Wireless Communications，2023，22（11） ：8336-8351.

[15]Gou Jianping，Yu Baosheng，Maybank SJ，et al.Knowledge distillation;a survey[J]. International Journal of Computer Vision， 2021，129（6）：1789-1819.

[16]Oland A，Raj B. Reducing communication overhead in distributed learningbyanorderofmagnitude（almost）[C]//Proc ofIEEE International Conference on Acoustics，Speech and Signal Processing.Piscataway，NJ：IEEE Press，2015：2219-2223.

[17] Guo Jinrong，Liu Wantao，Wang Wang，et al. Accelerating distributed deep learning by adaptive gradient quantization[C]//Proc of IEEE International Conference on Acoustics，Speech and Signal Processing. Piscataway，NJ：IEEEPress，2020：1603-1607.

[18]JhunjhunwalaD，GadhikarA，JoshiG，et al.Adaptive quantization of modelupdates forcommunication-efficientfederated learning[C]// Proc of IEEE International Conference on Acoustics，Speech and Signal Processing.Piscataway，NJ：IEEE Press，2021：3110-3114.

[19]ChenWeining，Choquette-Choo CA，Kairouz P，etal.The fundamental priceof secure aggregation in differentiallyprivate federated learning[EB/OL].（2022-03-07）. https：//arxiv.org/abs/2203.03761.

[20]Bonawitz K，SalehiF，KonecnyJ，et al.Federated learning with autotuned communication-efficient secure aggregation[C]//Proc of the 53rdAsilomar Conferenceon Signals，Systems，and Computers.Piscataway，NJ：IEEE Press，2019：1222-1226.

[21]Fereidoni H，Marchal S，Miettinen M，et al.SAFELearn;secure aggregation for private federated learning[C]//Proc of IEEE Security andPrivacyWorkshops.Piscataway，NJ：IEEEPress，2O21：56-62.

[22]Pasquini D，F(xiàn)rancati D，Ateniese G.Eluding secure aggregation in federated learning via model inconsistency[C]//Proc of ACM SIGSAC Conference on Computer and Communications Security. New York ： ACMPress，2022：2429-2443.

[23]FowlL，Geiping J，Czaja W，et al.Robbing the fed：directly obtaining private data in federated learning with modified models[EB/OL]. （2021-10-25）. https：//arxiv.org/abs/2110.13057.

[24]Yusfrizal Y，Meizar A， Kurniawan H，et al. Key management using combination of Diffie-Hellman key exchange with AES encryption [C]//Proc of the 6th International Conference on Cyber and IT Service Management.Piscataway，NJ：IEEE Press，2O18：1-6.

[25]Addanki S，GarbeK，JaffeE，et al.Prio + ： privacy preserving aggregate statistics via Boolean shares[EB/OL].（2021-05-03）.https：// ia.cr/2021/576.

[26] Courbariaux M，Bengio Y.BinaryNet： training deep neural networks withweights and activations constrained to ⁺1 or-1[EB/OL]. （2016-02-09）.https：//arxiv.org/abs/1602.02830.

[27]Xu Jinjin，Du Wenli，Jin Yaochu，etal.Ternary compression for communication-efficient federated learning[J].IEEE Trans on Neural Networks and Learning Systems，2022，33（3）：1162-1176.

[28]Suresh A T，YuFX，Kumar S，et al.Distributed mean estimation with limited communication[C]//Proc of the 34th International Conference on Machine Learning.New York：ACM Press，2017：3329-3337.

[29]Amiri R，Stárek R，Reichmuth D，et al. Imperfect 1-out-of-2 quantum oblivious transfer：bounds，a protocol，anditsexperimental implementation[J].PRX Quantum，2021，2（1）：010335.

[30]Won J，Shin J，KimJH，et al.A survey on hyperparameter optimization in machine learning[J].The Journal of Korean Institute of Communications and Information Sciences，2023，48（6）：733- 747.

[31]McMahan HB，Moore E，Ramage D，et al.Federated learning of deep networks using model averaging[EB/OL].（2016-02-17）.https：// arxiv.org/abs/1602.05629.

[32]Elkordy AR，Avestimehr A S.HeteroSAg：secure aggregation with heterogeneous quantizationin federated learning[J]. IEEE Transon Communications，2022，70（4） ：2372-2386.

[33]Ma Jing，Naas SA，Sigg S，et al. Privacy-preserving federated learning based on multi-key homomorphic encryption[J].International Journalof Intelligent Systems，2022，37（9） ：5880-5901.

[34]YangXiyuan，HuangWenke，YeMang.Dynamicpersonalized federatedlearningwithadaptive differentialprivacy[C]//Proc of the 37th International Conference on Neural Information Processing Systems. RedHook，NY：Curran AssociatesInc.，2023：72181-72192.