云-邊融合的可驗證隱私保護跨域聯邦學習方案

張曉均，李興鵬，唐偉，郝云溥，薛婧婷

（西南石油大學計算機科學學院網絡空間安全研究中心，四川 成都 610500）

0 引言

人工智能［1］和物聯網（IoT）技術的深度融合推動了聯邦學習的快速發展，特別是在計算機視覺、醫學預測、語音識別等領域［2-3］取得了突破性的成果。然而，部署聯邦學習實現分布式梯度模型訓練面臨著巨大挑戰，特別是來自于聯邦學習（FL）數據收集帶來的隱私問題［4］，用于訓練的數據通常是敏感的，可能來自多個具有不同隱私要求的終端用戶。

除此之外，聯邦學習主要挑戰是梯度模型聚合計算結果的完整性問題［5］，在某些非法利益的驅動下，惡意的邊緣服務器可能會向用戶返回不正確的結果，或者惡意偽造發送給終端用戶的梯度模型聚合計算結果［6］。此外，參與聯邦學習的設備存在異構性［7］，在設備間具有不同的計算和通信能力。在這種情況下，一些具有足夠計算能力和通信資源的設備可以在規定時間內迅速完成本地訓練和上傳，而其他資源受限的設備則無法在規定時間內完成本輪更新，從而影響系統整體的訓練性能，進而影響全局梯度模型的精度。

針對資源受限的設備梯度隱私、梯度完整性、設備低延遲、高效訓練［8］的問題，本文提出一種云-邊融合的可驗證隱私保護跨域聯邦學習框架。該框架設計3 層架構的跨域聯邦學習系統模型。該系統模型基于經典聯邦學習終端用戶對邊緣服務器的弱信任，提出可驗證安全聚合算法，該算法利用單掩碼技術盲化梯度數據并采用輕量級驗證方法防止邊緣服務器惡意篡改聚合梯度的模型參數，在線終端用戶的訓練梯度安全有效地被邊緣服務器聚合，聚合結果可以被終端用戶驗證正確性。在可驗證安全聚合算法的基礎上，本文提出一種可驗證隱私保護跨域聯邦學習訓練算法，該訓練算法考慮局部輕量訓練克服異構網絡資源受限不能及時響應的特性，提高了系統的穩定性，使每個區域的在線終端設備都并行進行同一輪次的局部輕量訓練。最后，針對同一模型權重進行局部輕量訓練時收斂速度慢、泛化性差和局部輕量訓練精度低等問題，使用訓練器不共享加密梯度而共享加密模型權重的訓練模式［9］來加快收斂速度。

1 相關工作

近年來，已有研究人員對聯邦學習中的敏感數據機密性和完整性問題進行研究。GU等［10］提出隱私保護的異步去中心化聯邦隨機梯度下降算法。ZHANG等［11］采用非對稱加密和數字簽名技術保護用戶隱私并設置驗證節點，引入智能合約來評估和選擇最佳模型。AKTER等［12］采用傳統神經網絡模型和人工噪聲函數來平衡隱私保護和模型性能。PAREKH等［13］提出在最后1 個卷積層的輸出中加密圖像的梯度加密技術。LEE等［14］提出基于貪婪算法解決聯邦學習的統計異質性問題并加速聯邦訓練。上述4 個方案［11-14］主要關注梯度數據機密性而對梯度聚合結果的完整性驗證沒有研究。目前，聯邦學習用戶希望及時驗證服務器聚合結果的正確性。因此，實施具有可驗證聚合的隱私保護聯邦學習方法是非常重要。為了實現這一目標，需要采取一種高效和安全的方法，然而上述解決方案在解決此問題時存在一定的局限性。

為此，研究人員針對梯度聚合的完整性設計不同的可驗證聯邦學習方案。ELTARAS等［15］利用單掩碼技術確保用戶隱私并提出雙聚合概念，以驗證聚合結果。ZHANG等［16］使用雙聚合方法對模型進行聚合，并采用分組鏈訓練結構提高訓練效率，然而該結構沒有考慮到惡意用戶對模型的影響。ZHOU等［17］提出一種反作用差分隱私噪聲保護用戶隱私，使用同態哈希函數設計一種非追溯性驗證機制，但是噪聲會降低訓練精度。GAO等［18］通過梯度分組和壓縮來優化拉格朗日插值，以實現聯邦學習的有效可驗證性，為保護用戶的數據隱私免受串通攻擊，提出一種使用不可逆梯度變換的輕量級承諾方案。LI等［6］通過集 成Paillier 同態加 密和隨 機數生成技術，保護所有梯度及其密文，并且引入一種基于離散對數的秘密共享方案，以抵御聚合服務器、惡意參與者和邊緣節點之間的潛在串通攻擊。然而，由于同態加密和密文擴展的計算復雜性，因此該方案具有較大的計算和通信開銷。TANG等［19］設計2 個零知識證明來驗證梯度的正確性，并提出一種保護局部梯度和全局模型隱私的可驗證擾動方案。YANG等［20］設計一種加權掩碼技術保護梯度數據并利用同態哈希函數和同態簽名構建可驗證聚合標簽，但計算成本昂貴。XU等［21］提出在訓練神經網絡過程中進行驗證的隱私保護方法，設計一種基于同態哈希函數和偽隨機技術的可驗證方法來支持每個用戶的可驗證性。HAHN等［22］對文獻［21］方案中的安全和效率問題進行優化，設計安全高效的跨設備聯邦學習可驗證安全聚合方案。文獻［23］指出文獻［22］方案仍然存在隱私安全問題。上述可驗證聯邦學習方案都能驗證惡意服務器對聚合梯度的偽造，但是大多數方案的驗證開銷代價昂貴并且有些方案沒有解決訓練效率低的問題。因此，為了滿足輕量可驗證聚合結果的要求并提高訓練效率，相比其他方案［15，22］，本文提出更高效的可驗證聚合方案，解決異構網絡聯邦訓練問題，并提高訓練效率。

2 相關概念與技術概述

2.1 聯邦學習

Google 提出的FedAvg 算法［24］指出大 量去中 心化的數據存儲于移動設備，但數據隱私問題沒有得到解決。聯邦學習是一種分布式機器學習技術，通過聚合局部計算梯度來訓練集中的模型，而訓練數據分發給每個終端用戶，并且不與其他終端用戶共享。邊緣服務器通過重復聚合局部梯度來協調訓練過程，每輪包括以下過程：

終端用戶選擇：邊緣服務器選擇1 組終端用戶，并向他們提供當前的模型參數。這些終端用戶可以在整輪訓練中存活下來，或者在當前一輪訓練完成之前退出。

本地訓練：每個終端用戶在本地進行模型更新。更新通常涉及1 個小批量隨機梯度下降規則的變體，該規則返回1 個梯度作為局部訓練結果。

梯度聚合：邊緣服務器收集有效終端用戶發送的梯度，計算梯度模型聚合值。

全局模型更新：邊緣服務器使用聚合的梯度更新當前的全局模型。該全局模型將在后續一輪中發布。

盡管終端用戶的訓練數據永遠不會離開每個用戶的本地存儲器，但是可以利用本地計算的模型參數來推斷訓練數據。因此，在正確啟用局部模型參數聚合的同時，最好保持局部模型參數保密。

聯邦學習廣泛適用于2 種不同的場景：跨設備和跨孤島。在跨設備設置中，大量資源受限的終端用戶參與學習，而網絡條件是高度不可靠的。相比之下，跨孤島設置包含更穩定的環境，其中少量擁有豐富計算資源的組織作為參與用戶，網絡通道是可靠的。本文設計的聯邦學習方案主要討論跨設備場景。

2.2 權重轉發技術

權重轉發技術來自于PHONG等［9］提出的服務器輔助網絡系統，系統使用的訓練器不共享梯度而共享神經網絡權重的隱私保護系統來保護所有訓練器的本地數據。在本文方案中訓練器是每個終端設備，當某區域訓練器在當前輪次的聯邦訓練結束后，邊緣服務器負責與云服務器通信并轉發加密權重。

2.3 單掩碼技術

梯度向量ru被一種特殊的方式盲化，該盲化技術［25］可以通過盲化計算使聚合梯度向量可以被保密地計算出來。對于終端用戶IDu的下標是u，并且用(u,v)表示一對終端用戶IDu和IDv的下標。假設有隨機向量pu,v且u＜v，如果終端用戶IDu將pu,v添加到向量ru中進行盲化，則在終端用戶IDv中添加向量pu,v的相反值進行盲化。當累加它們的盲化向量時掩碼將被抵消，它們的實際值將不會被暴露。每個終端用戶IDu的盲化值計算如下：

終端用戶IDu給邊緣服務器發送λu，邊緣服務器計算如下：

基于云-邊融合的可驗證隱私保護跨域聯邦學習架構如圖1 所示。

圖1 3 層架構的跨域聯邦學習系統模型Fig.1 Cross-domain federated learning system model with three layers architecture

3 云-邊融合的可驗證隱私保護跨域聯邦學習方案

本文提出云-邊融合的可驗證隱私保護跨域聯邦學習方案，該方案首先在多區域部署可驗證安全聚合算法，在此基礎上，提出可驗證隱私保護跨域聯邦學習訓練算法。

3.1 可驗證安全聚合算法

可驗證安全聚合算法有4 個階段：系統初始化階段、梯度盲化及簽名產生階段、去盲化及聚合梯度產生階段、聚合梯度正確性驗證階段。圖2 所示為可驗證安全聚合算法的流程。

圖2 可驗證安全聚合算法流程Fig.2 Procedure of verifiable secure aggregation algorithm

在系統初始化階段，可信中心（TA）執行以下步驟：

1）可信中心生成大整數2η并生成q階乘法循環群G，q(q＜2η)是1 個大素數，選取G的1 個生成元g，并且設置1 個安全的哈希函數H：→{0,1}η。

2）可信中心為β個區域中注冊成功的終端用戶IDu生成公私鑰對{pku,sku}，其中pku=，sku?，可信中心將私鑰sku通過安全信道發送給每個終端用戶IDu。

3）可信中心設置偽隨機數發生器（PRG），將輸入種子映射到偽隨機輸出序列，并保證輸出分布在計算上與均勻分布難以區分。假設梯度向量是l維，使用PRG：{0,1}η→將1個輸入值擴展為l維輸出向量。

4）可信中心設置β個輔助向量的種子{seed(i)}1≤i≤β?{0,1}η，依次通 過安全 信道給β個區域中注冊成功的終端用戶發送對應的種子。

在梯度盲化及簽名產生階段，有效終端用戶執行以下步驟進行梯度盲化，并同時計算數字簽名。在時間周期T內，假設愿意貢獻梯度模型數據的有效終端用戶至少有t個（t為門限值），將每個有效終端用戶IDu的下標記錄到集合U1，并且t≤|U1| ≤n。有效終端用戶IDu(u?U1)執行如下步驟；

1）對于下標集合U1中的每個終端用戶IDu，利用對應的私鑰sku計算集合

2）IDu將集合中的元 素依次 擴展成l維隨機向量pu,v=Δu,v?PPRG(su,v)，且有u＞v則Δu,v=1；u＜v則Δu,v=-1；u=v則Δu,v=0，對所有u≠v有pu,v+pv,u=0。

3）IDu通過本地梯度模型的訓練，得到梯度模型可學習數據為向量ru=(ru(1),ru(2),…,ru(l))T，對梯度模型向量進行盲化

在去盲化及聚合梯度產生階段中，邊緣服務器EDi得到每個有效終端用戶IDu(u?U1)發送的可驗證梯度盲化信息{λu,σu}，執行如下步驟：

在聚合梯度正確性驗證階段中，隸屬于區域i的有效終端用戶IDu(u?U1)執行以下步驟：每個參與者IDu(u?U1) 接收到(y,σ) 之 后，計算σ′=gai?y=驗證σ′=σ是否相等，相等則說明梯度模型信息沒有被篡改，并且邊緣服務器沒有惡意篡改聚合梯度，全局模型參數正確。

3.2 可驗證隱私保護跨域聯邦學習訓練算法

可信中心通過安全信道為各區域的邊緣服務器發送1 個對稱密鑰K，采用AES 作為加密算法。在方案中，m表示各區域重新訓練次數，τ表示各區域的全局模型迭代次數，針對資源受限的設備設置較小τ值進行輕量訓練，每個區域總共需要的迭代次數為m?τ次。圖3 所示為云-邊融合的可驗證隱私保護跨域聯邦學習訓練權重轉發流程，在邊緣服務器之間不共享梯度而共享神經網絡權重。

圖3 云-邊融合的可驗證隱私保護跨域聯邦學習訓練流程Fig.3 Training procedure of cloud-edge fusion verifiable privacy-preserving cross-domain federated learning

訓練算法的具體步驟如算法1 所示，算法1 的第1 行表示每個區域總共需要訓練m輪次，算法1 的第2～6 行表示當i=1 處在訓練的第1 輪時，可信中心生成初始權重W0，計算加密權重并發送給各個服務器。此時，第j個區域的邊緣服務器接收到加密權重，邊緣服務器EDj對權重進行解密：W0=DecAES(K,Enc(K,W0))。邊緣服務器EDj將權重W0發送給在本區域注冊成功的終端，在終端和邊緣之間執行可驗證安全聚合算法VSA(W0,τ)，邊緣服務器EDj得 到1 個更新權重W1,j，W1,j表示區域j完 成1 輪訓練的權重。算法1 第7～14 行表示當訓練處在第i(i≥2)輪時，邊緣服務器EDj將權重Wi-1,j通過密鑰K對稱加密發給云服務器，云服務器將加密權重按順序發給下1 個邊緣服務器EDj+1。第9 行表示EDj+1解密加密權重Wi-1,j=DecAES(K,Enc(K,Wi-1,j))。邊緣服務器EDj+1將權重Wi-1,j發送給在本區域注冊成功的終端。第10 行表示在終端和邊緣之間執行可驗證安全 聚合算 法VSA(Wi-1,j,τ)，最 終EDj+1得 到1 個更新權重Wi,j+1，Wi,j+1表示區域(j+1)完成i輪訓練的權重。算法1 第12 行表示最后1 個邊緣服務器EDβ的加密權重發送給第1 個邊緣服務器進行解密。第13行Wi,1表示區域1 完成i輪訓練的權重。

算法1可驗證隱私保護跨域聯邦學習訓練算法

輸入m表示每個區域總共訓練的輪次；τ表示每個區域每1 輪的全局模型迭代次數；β表示區域的總數；VSA(?)表示可驗證安全聚合算法；初始權重W0

4 安全性分析

定理1云-邊融合的可驗證隱私保護跨域聯邦學習方案可抵御區域間的合謀攻擊。

證明從區域獲得的是當前的輸入權重和輸出權重，輸入權重通過梯度下降法的迭代更新后得到輸出權重。假設全局迭代次數為n，梯度為G，輸入權重為W0=Winit，輸出權重為Wn=Wend并且(Xi,Yi)(1 ≤i≤n)表示當前區域數據集的隨機批次。梯度下降更新步驟如下：

根據以上梯度下降更新步驟可以推出如下等式：

即使共謀方在權重轉發過程中得到輸入權重Winit和輸出權重Wend，也只能計算梯度的加權和Winit-Wend=α1?G1+…+αn?Gn，而當前 區域本地數據集和每輪更新的聚合梯度Gi都是保密的，并且αi也會根據區域邊緣服務器的學習速率秘密變化。根據文獻［8］的安全分析，假設只有當前區域的邊緣服務器是誠實的，而云服務器和其他區域的邊緣服務器是惡意的。即使有這樣的合謀也不能恢復誠實邊緣服務器的任何數據項，除非1 個非線性方程（或1 個子集和問題）在多項式時間內被解決。

定理2云-邊融合可驗證隱私保護跨域聯邦學習方案確保梯度模型訓練過程與聚合計算結果完整性。

證明本文方案基于向量內積的數字簽名算法，在梯度盲化及簽名產生階段使每個終端IDu都可以利用對應的私鑰sku產生數字簽名。方案中的數字簽名算法滿足不可篡改性的可證明安全論證可以歸約到基于Diffie-Hellman（CDH）困難問題假設。下面分析方案在訓練過程中梯度模型的完整性可得到保證，即敵手試圖篡改可驗證的梯度盲化信息或聚合梯度來通過完整性驗證在多項式時間內是計算不可行的。

Game 2假設存在惡意邊緣服務器在去盲化及聚合梯度產生階段試圖以不可忽視的概率替換或篡改聚合梯度y*并生成聚合簽名信息其中U1表示正常用戶集合，并且在聚合梯度正確性驗證階段成功通過驗證方程σ′=σ。

5 實驗仿真與分析

5.1 實驗環境設置

方案中所有算法的實現都在處理器Intel?CoreTMi7-11800H @2.30 GHz、圖形處理器NVIDIA GeForce RTX 3060 Laptop GPU 和運行內存16 GB的主機上運行。

訓練實驗采用Python3.9、PyTorch 1.21.1 實現，實驗設置4 個訓練 集CIFAR10、MNIST、CIFAR100、SVHN，2 個深度學習模型ResNet18 和GoogleNet。實驗使用模型ResNet18 訓練4 個數據集。4 個數據集等同于4 個區域中終端的本地數據集，把每個區域訓練完成的模型通過AES加密安全發送給下1個區域進行訓練，循環往復。同理GoogleNet模型訓練方式同上。

密碼實驗的計算開銷時間都在C 語言環境下進行并使用版本號為7.0.0 密碼學函數庫Miracl 和pbc-0.5.14 密碼學函數庫。Tmm表示模乘運行時間，Tme表示模冪運行時間，Tha表示普通哈希函數運行時間，Tad表示模加法的運行時間，TPRG表示偽隨機數發生器生成1 次的運行時間。

5.2 計算開銷比較

本文將云-邊融合的可驗證隱私保護跨域聯邦學習方案與VerSA 方案［22］和文獻［15］方案［15］進行驗證階段的計算開銷比較。假設本文方案每個邊緣服務器負責區域下愿意貢獻梯度向量的終端用戶數為n，假設VerSA 方案和文獻［15］方案中愿意貢獻梯度向量的終端用戶數也是n，文獻［15］方案的輔助節點數為m并且后續沒有終端用戶退出。3 個方案梯度向量的維數是l維并且不計算初始化階段的計算開銷。

文獻［15］方案中終端用戶在保護梯度隱私過程中執行m次(Tme+Tha)運算生成m個PRG(?)的種子，輸入m個種子生成m個l維向量并執行l?m次(TPRG+Tad)生成梯度的盲化向量。執行l次(Tad+Tmm)運算生成簽名向量。隨后輔助節點執行n次(Tme+TPRG+Tha)運算和l?(n-1)次Tad運算生成解盲化參數，最后終端執行l次(Tad+Tmm)運算驗證聚合梯度的完整性。終端的總計算開銷為(m+n)?Tme+(l?m+n)TPRG+l?(m+n+1)?Tad+(n+m)?Tha+2l?Tmm。服務器端執行l?(n+m-1)次Tad運算去除梯度的盲化值，執行l(n-1)次Tad運算生成驗證憑證。服務器端的計算開銷為l?(2n+m-2)?Tad。

VerSA 方案終端用戶執行n次(Tha+Tme)運算生成n個PRG(?)的種子，執行(n-1)次Tad運算生成1 個驗證種子，執行l?(n+1)次(TPRG+Tad)運算生成梯度的盲化向量，輸入驗證種子執行2l次TPRG運算和l次(Tmm+Tad)生成驗證函數。執行l?(n+1)次(TPRG+Tad)運算生成簽名向量，最后終端執行2l次Tmm運算和l次Tad運算驗證聚合梯度的完整性。終端的計算開銷為n?Tme+l?(2n+4)(TPRG+Tad)+TPRG+n?Tha+3l?Tmm。服務器端執行l?(2n-1)次Tad運算去除梯度的盲化值，執行l?(2n-1)次Tad運算生 成驗證憑證，服務器端的計算開銷為(4n-2)?l?Tad。

本文方案終端用戶執行n次(Tha+Tme)運算生成n個PRG(?)的種子，執行l?n次(TPRG+Tad)運算生 成梯度的盲化向量，輸入輔助向量種子執行l次TPRG生成輔助向量?；谙蛄績确e執行l次Tmm運算和(l-1)次Tad運算并執行1次Tme運算生成簽名，最后終端執行l次Tmm運算、(l-1)次Tad運算和1次Tme運算驗證聚合梯度的完整性。終端的總體計算開銷為(n+2)?Tme+l?(n+1)TPRG+(l?n+2l-2)?Tad+n?Tha+2l?Tmm。本文方案的邊緣服務器端就是服務器端，服務器端執行l?(n-1)次Tad運算去除梯度的盲化值，執行(n-1)次Tmm運算生成驗證憑證，服務器端的計算開銷為l?(n-1)Tad+(n-1)?Tmm。

假設q是1 024 位的大素數，向量的維度l是10 000 維，用戶數n分別設 置500 個、1 000 個 和1 500 個，根據文獻［15］方案中輔助節點的數量m隨著用戶數增多分別占用戶數的10%、30%和50%，則輔助節點m分別設 置50 個、300 個、750 個。不同方案的終端計算開銷對比如圖4 所示。在固定向量維度的情況下，隨著終端用戶數的增加，本文方案在終端的計算開銷是最低的。不同方案的服務器端計算開銷對比如圖5 所示。在固定向量維度的情況下，隨著終端用戶數的增加，本文方案在服務器端的計算開銷是最低的。綜上所述，在用戶端和服務器端，本文方案的計算開銷都比VerSA 方案和文獻［15］方案低，具有顯著的性能優勢。

圖4 不同方案的終端計算開銷Fig.4 Terminal computional costs among different schemes

5.3 系統性能與精度分析

5.3.1 基于數據集訓練次數的精度比較

在實驗設置系統中每個區域的用戶有100 個，使用模型ResNet18 在4 個區域分別訓練CIFAR10、MNIST、CIFAR100 和SVHN 數據集。模型在4 個區域初始迭代訓練15 次之后通過某種順序將其發送給下1 個區域，然后接收到新模型的區域進行新一輪的訓練，4 個區域重新訓練4 次。從實驗結果中選出數據復雜度更高的CIFAR100 和SVHN，分別比較CIFAR100 和SVHN 數據集重新訓練次數增加時的精度變化。基于重新訓練次數的精度比較如圖6 所示。圖6（a）所示為CIFAR100 數據集初始訓練、重新訓練2 次和重新訓練4 次的精度變化曲線，圖6（b）所示為SVHN 數據集初始訓練、重新訓練2 次和重新訓練4 次的精度變化曲線。圖6（a）和圖6（b）表明當重新訓練次數增加時，模型收斂速度越來越快，為此比較本文方案和經典聯邦的訓練時間，最終本文方案模型收斂的速度比經典聯邦模型收斂速度平均提升21.6%。

圖6 基于重新訓練次數的精度比較Fig.6 Accuracy comparison based on retraining times

5.3.2 經典聯邦學習與本文方案精度比較

基于CIFAR10、MNIST、CIFAR100 和SVHN 4 個數據集，實驗使用2 個模型ResNet18 和GoogleNet 分別進行訓練。在實驗中，設置系統每個區域有100 個用戶，將CIFAR10 訓練樣本平均分配給每個用戶，每個用戶得到500 個樣本，同時設置該區域的用戶本地迭代次數為2 次，全局迭代次數為10 次，重新訓練輪數為5 次。將MNIST 訓練樣本平均分配給每個用戶，每個用戶得到600 個樣本，同時設置該區域的用戶本地迭代次數為1 次，全局迭代次數為5 次，重新訓練輪數為5 次。將CIFAR100 訓練樣本平均分配給每個用戶，每個用戶得到500 個樣本，同時設置該區域的用戶本地迭代次數為2 次，全局迭代次數為15 次，重新訓練輪數為5 次。將SVHN訓練樣本平均分配給每個用戶，每個用戶得到730 個樣本，同時設置該區域的用戶本地迭代次數為2 次，全局迭代次數為15 次，重新訓練輪數為5 次。

本文將經典聯邦學習方案和本文方案的迭代次數設置為相同的次數，訓練CIFAR10 數據集用戶本地迭代次數為2 次，全局迭代次數為50 次，訓練MNIST 數據集用戶本地迭代次數為1 次，全局迭代次數為25 次，訓練CIFAR100 數據集用戶本地迭代次數為2 次，全局迭代次數為75 次，訓練SVHN 數據集本地迭代次數為2 次，全局迭代次數為75 次。

每個終端用戶接受1 個預先訓練的模型，訓練全連接層，同時保留卷積層的參數，對每個測試集的準確性進行評估。經典聯邦學習與本文方案的訓練精度比較如圖7 所示。圖7（a）所示為使用模型ResNet18 訓練4 個不同的數據集，圖7（b）所示為使用模型GoogleNet 訓練4 個不同的數據集，由于數據集（MNIST、SVHN、CIFAR10、CIFAR100）之間復雜度不同，因此不同數據集所展示的精度標準是有差異的。從圖7 可以看出，本文方案在提升收斂速度和減少訓練時間的基礎上，達到與經典聯邦學習相當的精度。因此，本文方案在保證精度的情況下性能優勢更加顯著。

圖7 經典聯邦學習與本文方案訓練精度對比Fig.7 Comparison of training accuracy between classical federated learning and the proposed schemes

6 結束語

本文提出云-邊融合可驗證隱私保護跨域聯邦學習方案，其中訓練算法旨在提高聯邦學習的穩定性、可驗證性和可用不可見性。引入掩碼技術和基于向量內積的簽名算法來構建可驗證的隱私保護聯邦學習。算法架構的關鍵思想是通過區域局部輕量訓練來解決異構網絡設備計算能力參差不齊的問題，并通過模型權重轉發使系統精度與經典聯邦學習精度基本相同，在此基礎上還提高了模型的泛化性和收斂速度。實驗結果表明，該方案在確保梯度模型數據跨域流通的機密性與完整性的同時，保持了與經典聯邦學習方案幾乎相同的訓練精度，并且隨著系統各區域訓練輪次的增加，模型收斂的速度平均提升了21.6%，具有更優的泛化性。后續將設計基于余弦相似度的檢測算法來剔除惡意終端用戶，并設計支持在線終端用戶退出的系統，從而提高系統的魯棒性。