基于生成式對抗網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制

余孫婕，曾 輝，熊詩雨，史紅周

（1.移動計(jì)算與新型終端北京市重點(diǎn)實(shí)驗(yàn)室（中國科學(xué)院計(jì)算技術(shù)研究所），北京 100190；2.中國科學(xué)院大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，北京 100190）

0 引言

在新一代人工智能技術(shù)的催化下，數(shù)據(jù)作為重要的生產(chǎn)要素發(fā)揮著越來越重要的作用［1］。“數(shù)據(jù)二十條”提出數(shù)據(jù)資源持有權(quán)、數(shù)據(jù)加工使用權(quán)和數(shù)據(jù)產(chǎn)品經(jīng)營權(quán)“三權(quán)分置”的數(shù)據(jù)產(chǎn)權(quán)制度框架，在安全方面對數(shù)據(jù)共享提出新的要求［2］。2016 年，Google 為應(yīng)對數(shù)據(jù)共享與隱私安全之間日益激化的矛盾，首次提出了數(shù)據(jù)安全共享的新思路，即聯(lián)邦學(xué)習(xí)［3］。數(shù)據(jù)保留在本地物理域中，參與節(jié)點(diǎn)使用自身數(shù)據(jù)分別訓(xùn)練本地模型，并共同建立聯(lián)合模型。數(shù)據(jù)所有者的數(shù)據(jù)資源持有權(quán)和數(shù)據(jù)加工使用權(quán)均不受侵害，依托數(shù)據(jù)產(chǎn)品經(jīng)營權(quán)的轉(zhuǎn)讓委托獲取收益，緩沖了數(shù)據(jù)共享與隱私安全之間的矛盾，為打通“數(shù)據(jù)孤島”提供新范式，也為數(shù)據(jù)驅(qū)動型產(chǎn)業(yè)帶來了新的解決方案。聯(lián)邦學(xué)習(xí)概念一經(jīng)提出，便得到了眾多關(guān)注，目前已在多個(gè)領(lǐng)域得到應(yīng)用，如智慧醫(yī)療［4］、智慧城市［5］、金融［6］和智能工業(yè)［7］等；但聯(lián)邦學(xué)習(xí)仍面臨著眾多挑戰(zhàn)。聯(lián)邦學(xué)習(xí)系統(tǒng)通常假設(shè)所有參與節(jié)點(diǎn)會誠實(shí)且積極地參與聯(lián)邦學(xué)習(xí)，但由于不同的參與節(jié)點(diǎn)往往擁有不同數(shù)據(jù)量、不同數(shù)據(jù)質(zhì)量的數(shù)據(jù)，不同參與節(jié)點(diǎn)對于最終全局模型的貢獻(xiàn)度不同，因此在公平激勵(lì)環(huán)境中，擁有高數(shù)據(jù)量和高數(shù)據(jù)質(zhì)量的參與節(jié)點(diǎn)的參與積極性較低，假設(shè)難以成立。特別地，在非獨(dú)立同分布數(shù)據(jù)場景中，參與節(jié)點(diǎn)的貢獻(xiàn)度更難衡量。在本地模型訓(xùn)練的過程中存在算力、帶寬等多種資源的消耗。如果缺乏公平合理的激勵(lì)機(jī)制，參與節(jié)點(diǎn)，特別是擁有高質(zhì)量數(shù)據(jù)的參與節(jié)點(diǎn)參與聯(lián)邦學(xué)習(xí)任務(wù)的積極性難以保證，將嚴(yán)重影響聯(lián)邦學(xué)習(xí)效果和系統(tǒng)穩(wěn)定性。

Zhan 等［8］提出聯(lián)邦學(xué)習(xí)中的激勵(lì)機(jī)制設(shè)計(jì)的兩個(gè)重要目標(biāo)：一是評估參與節(jié)點(diǎn)貢獻(xiàn)，二是設(shè)計(jì)合理的回報(bào)吸引更多的參與節(jié)點(diǎn)。第一個(gè)目標(biāo)從中央節(jié)點(diǎn)出發(fā)，目的是通過提供最低的回報(bào)獲得更高的學(xué)習(xí)性能；第二個(gè)目標(biāo)從參與節(jié)點(diǎn)出發(fā)，目的是獲得一個(gè)公平、有回報(bào)且安全可信的聯(lián)邦學(xué)習(xí)環(huán)境。聯(lián)邦學(xué)習(xí)系統(tǒng)通常對于隱私安全有較高的要求，深度學(xué)習(xí)常規(guī)模型性能指標(biāo)，如精度、召回率、F1-Score 等，由于測試數(shù)據(jù)集的缺失難以評估，因此中央節(jié)點(diǎn)難以準(zhǔn)確構(gòu)建每個(gè)參與節(jié)點(diǎn)的貢獻(xiàn)模型。

現(xiàn)有對參與節(jié)點(diǎn)貢獻(xiàn)模型的研究可以按數(shù)據(jù)源的不同分為以下三類：節(jié)點(diǎn)行為驅(qū)動、模型驅(qū)動和數(shù)據(jù)驅(qū)動。

節(jié)點(diǎn)行為驅(qū)動型貢獻(xiàn)度評估方法使用參與節(jié)點(diǎn)歷史行為、參與節(jié)點(diǎn)對自身數(shù)據(jù)集的評估等數(shù)據(jù)計(jì)算參與節(jié)點(diǎn)在聯(lián)邦學(xué)習(xí)任務(wù)中的貢獻(xiàn)度，以基于博弈論的拍賣理論［9］、Stackelberg 博弈［10］、深度強(qiáng)化學(xué)習(xí)［11］等方法為代表。Zeng等［9］在聯(lián)邦學(xué)習(xí)場景下提出了多維激勵(lì)框架FMore，該框架使用博弈論為參與節(jié)點(diǎn)推導(dǎo)最優(yōu)策略，并使用預(yù)期效用理論為中心節(jié)點(diǎn)評估參與節(jié)點(diǎn)貢獻(xiàn)度，以此作為選擇最優(yōu)的參與節(jié)點(diǎn)依據(jù)訓(xùn)練模型。基于博弈論的貢獻(xiàn)度評估方法通常要求參與節(jié)點(diǎn)誠實(shí)提交自身參數(shù)，包括數(shù)據(jù)量、數(shù)據(jù)質(zhì)量和帶寬等，但在實(shí)際場景中，為了獲取高額傭金，參與節(jié)點(diǎn)可能謊報(bào)自身參數(shù)。深度強(qiáng)化學(xué)習(xí)需要部署深度強(qiáng)化學(xué)習(xí)智能體以確定最優(yōu)策略，深度強(qiáng)化學(xué)習(xí)智能體的訓(xùn)練過程依賴于環(huán)境的大量交互信息，存在巨大的計(jì)算開銷，而聯(lián)邦學(xué)習(xí)常應(yīng)用于邊緣計(jì)算，難以承受深度強(qiáng)化學(xué)習(xí)帶來的計(jì)算成本。

模型驅(qū)動型貢獻(xiàn)度評估方法使用模型參數(shù)、梯度等數(shù)據(jù)計(jì)算參與節(jié)點(diǎn)在聯(lián)邦學(xué)習(xí)任務(wù)中的貢獻(xiàn)度，以模型余弦相似度［12］等方法為代表。Xu 等［12］提出了一個(gè)公平且穩(wěn)定的聯(lián)邦學(xué)習(xí)框架RFFL（Robust and Fair Federated Learning），該框架使用參與節(jié)點(diǎn)本地模型與聯(lián)合模型的余弦相似度確定參與節(jié)點(diǎn)的聲譽(yù)值，通過聲譽(yù)值迭代計(jì)算參與者的貢獻(xiàn)，并向參與節(jié)點(diǎn)提供與它的貢獻(xiàn)相稱的獎(jiǎng)勵(lì)。但是，模型驅(qū)動型貢獻(xiàn)度評估方法假設(shè)與聯(lián)合模型具有相似模型參數(shù)的模型提供了更多的貢獻(xiàn)。首先，深度神經(jīng)網(wǎng)絡(luò)的模型參數(shù)易受擾動，基于模型參數(shù)的模型相似度評估難以確保準(zhǔn)確性；其次，在非獨(dú)立同分布數(shù)據(jù)場景下，參與節(jié)點(diǎn)持有不同數(shù)據(jù)分布的數(shù)據(jù)，它的模型參數(shù)的分布也不一致，僅依賴模型相似性難以評估該場景下參與節(jié)點(diǎn)的貢獻(xiàn)度。

數(shù)據(jù)驅(qū)動型貢獻(xiàn)度評估方法使用真實(shí)數(shù)據(jù)計(jì)算參與節(jié)點(diǎn)在聯(lián)邦學(xué)習(xí)任務(wù)中的貢獻(xiàn)度，以Shapley 值［13］等方法為代表，Shapley 值通過邊際收益衡量每個(gè)參與節(jié)點(diǎn)的貢獻(xiàn)。Wang 等［13］針對橫向聯(lián)邦學(xué)習(xí)，每次刪除某一參與節(jié)點(diǎn)提供的本地模型并重新訓(xùn)練模型，計(jì)算新模型與原模型之間的差異作為該參與節(jié)點(diǎn)的貢獻(xiàn)度；針對縱向聯(lián)邦學(xué)習(xí)，考慮到每一個(gè)參與節(jié)點(diǎn)都擁有一部分特征空間，使用Shapley 值計(jì)算分組特征的重要性，以衡量每個(gè)參與方的貢獻(xiàn)度。但是，數(shù)據(jù)驅(qū)動型貢獻(xiàn)度評估方法依賴高質(zhì)量、大數(shù)據(jù)量的測試集數(shù)據(jù)，而在聯(lián)邦學(xué)習(xí)場景下，中心節(jié)點(diǎn)通常不具備該條件，同時(shí)，出于聯(lián)邦學(xué)習(xí)對數(shù)據(jù)隱私的保護(hù)，中心節(jié)點(diǎn)難以大量采樣來自各參與節(jié)點(diǎn)的數(shù)據(jù)。

本文首先提出一種基于生成式對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制，采用GAN在保證數(shù)據(jù)隱私安全的同時(shí)生成大量高質(zhì)量測試數(shù)據(jù)，該過程透明、可審計(jì)，為參與聯(lián)邦學(xué)習(xí)任務(wù)的節(jié)點(diǎn)提供公平的貢獻(xiàn)度評估方法。其次，采用兩階段Stackelberg 博弈對激勵(lì)機(jī)制建模分析。最后，分析并驗(yàn)證了所提方法的安全性和可行性。

1 準(zhǔn)備工作

1.1 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)通過多個(gè)參與節(jié)點(diǎn)合作的方式提供分布式機(jī)器學(xué)習(xí)解決方案，允許原始數(shù)據(jù)保存于用戶本地，僅將模型上傳至中央節(jié)點(diǎn)，以構(gòu)建全局模型。隨著用戶日益對隱私的重視和法律法規(guī)對隱私數(shù)據(jù)使用的限制，聯(lián)邦學(xué)習(xí)在避免隱私問題、減少服務(wù)端數(shù)據(jù)存儲開銷的同時(shí)，極大地提高了數(shù)據(jù)的利用率，對于智能邊緣服務(wù)，如智能醫(yī)療等場景，具有極高的吸引力。集中式聯(lián)邦學(xué)習(xí)框架流程如圖1 所示。具體流程共分為5 個(gè)環(huán)節(jié)，分別為：1）中心節(jié)點(diǎn)初始化聯(lián)合模型，并調(diào)度指定參與節(jié)點(diǎn)參與聯(lián)邦學(xué)習(xí)任務(wù)；2）參與節(jié)點(diǎn)下載聯(lián)合模型；3）參與節(jié)點(diǎn)利用本地?cái)?shù)據(jù)訓(xùn)練本地模型；4）參與節(jié)點(diǎn)上傳本地模型；5）中心節(jié)點(diǎn)使用聚合器根據(jù)指定聚合算法對本地模型聚合，得到聯(lián)合模型。

圖1 集中式聯(lián)邦學(xué)習(xí)框架流程Fig.1 Process of centralized federated learning framework

聯(lián)邦學(xué)習(xí)的總體目標(biāo)定義為最小化聯(lián)合模型的損失函數(shù)，即：

1.2 生成式對抗網(wǎng)絡(luò)

Goodfellow 等［14］基于零和博弈和對抗訓(xùn)練，為解決生成建模問題提出了GAN。GAN 在視覺［15］和圖像［16］領(lǐng)域表現(xiàn)出卓越的性能，目前被廣泛應(yīng)用于自然語言處理［17］等任務(wù)。GAN 由1 個(gè)生成器（Generator，G）和1 個(gè)判別器（Discriminator，D）構(gòu)成：生成器以學(xué)習(xí)真實(shí)數(shù)據(jù)分布為目標(biāo)，輸入隨機(jī)噪聲z，輸出生成圖片g(z)；判別器以正確識別是否真實(shí)數(shù)據(jù)為目標(biāo)，輸入服從真實(shí)數(shù)據(jù)分布的采樣數(shù)據(jù)x，輸出是真實(shí)數(shù)據(jù)的概率D(x)。生成器G 和判別器D 共同訓(xùn)練達(dá)到納什均衡。GAN 目標(biāo)函數(shù)可以描述為如下：

在給定生成器G 的情況下，目標(biāo)函數(shù)L(D，G)在

處取到最小值，即為判別器最優(yōu)解，其中pdata(x)為真實(shí)數(shù)據(jù)分布，pg(x)為生成器數(shù)據(jù)分布。

GAN 結(jié)構(gòu)如圖2 所示。

圖2 GAN結(jié)構(gòu)Fig.2 Structure of GAN

現(xiàn)有的針對基于GAN 的聯(lián)邦學(xué)習(xí)樣本生成策略［18-19］通常采用分布式部署GAN 的方法實(shí)現(xiàn)，但分布式部署的GAN生成器難以避免地暴露本地?cái)?shù)據(jù)樣本的真實(shí)分布，難以保障參與節(jié)點(diǎn)的數(shù)據(jù)隱私安全。

2 方案設(shè)計(jì)

2.1 融合訓(xùn)練模型的生成式對抗網(wǎng)絡(luò)

本文基于GAN 實(shí)現(xiàn)融合訓(xùn)練模型的生成式對抗網(wǎng)絡(luò)（GAN with Trained model，GANT）。聯(lián)合模型通過真實(shí)數(shù)據(jù)訓(xùn)練得到，將聯(lián)合模型作為影響判別器的一個(gè)重要因素，可以緩解由于采樣特征數(shù)據(jù)的數(shù)據(jù)量不足帶來的生成器難收斂和精度不足的問題。與GAN 算法的訓(xùn)練機(jī)制類似，GANT算法的訓(xùn)練機(jī)制同樣分為兩個(gè)部分：固定生成器G 優(yōu)化判別器D 和固定判別器D 優(yōu)化生成器G。

1）固定生成器G 優(yōu)化判別器D。

對于任意輸入x，聯(lián)合模型對該輸入為偽造樣本的評估值為：

其中：Ce為數(shù)據(jù)標(biāo)簽的獨(dú)熱編碼集合，c為數(shù)據(jù)標(biāo)簽的獨(dú)熱編碼，M(x)為聯(lián)合模型M輸入數(shù)據(jù)x產(chǎn)生的輸出。Y(x)的值越接近0，表示x越有可能為真實(shí)樣本；Y(x)的值越大，表示x越有可能為偽造樣本。

判別器D 的訓(xùn)練數(shù)據(jù)將采樣自真實(shí)數(shù)據(jù)分布pdata(x)的數(shù)據(jù)x標(biāo)注為1 -αY(x)，其中，α∈[0，1]為聯(lián)合模型對真實(shí)樣本的影響因子；采樣自生成器生成數(shù)據(jù)分布pg(x)的數(shù)據(jù)g(z)標(biāo)注為μ-βY(g(z))，其中，β∈[0，1]為聯(lián)合模型對偽造樣本的影響因子，μ∈[0，1]表示偽造樣本的上界。

由于Y(?)是稠密的，GANT 采用均方誤差評估判別器D的損失，它的目標(biāo)函數(shù)表示為：

將(D，G)映射在連續(xù)空間上，即

對YD-1(x) 做一階項(xiàng)近似，令y=D(x)，因此有YD-1(D(x)) =YD-1(y) =ay+b，a、b為一階項(xiàng)和常數(shù)項(xiàng)對應(yīng)系 數(shù)，令對于任意非零實(shí)數(shù)∈[0，1]，有

判別器D 的最優(yōu)值不僅與pdata(x)和pg(x)的比值相關(guān)，而且與聯(lián)合模型相關(guān)。當(dāng)a=0，b=0，μ=0 時(shí)，即將來源于生成器生成數(shù)據(jù)分布pg(x) 的數(shù)據(jù)標(biāo)記為與GAN 模型一致。

2）固定判別器D 優(yōu)化生成器G。

生成器G 的目標(biāo)是盡可能阻止判別器D 區(qū)分來自真實(shí)數(shù)據(jù)分布的數(shù)據(jù)和來自生成器生成的數(shù)據(jù)，因此，它的目標(biāo)函數(shù)為最大化判別器D 損失函數(shù)，即

因此，GANT 結(jié)構(gòu)如圖3 所示，GANT 目標(biāo)函數(shù)可以描述為：

圖3 GANT結(jié)構(gòu)Fig.3 Structure of GANT

2.2 基于生成式對抗網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評估算法

本文基于融合訓(xùn)練模型的GAN 實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)的貢獻(xiàn)度評估算法。本文算法利用GANT 的生成器G 生成大量仿真特征樣本g(z)，使用聯(lián)合模型過濾高質(zhì)量特征樣本，過濾條件如下：

其中：Mk表示參與節(jié)點(diǎn)k的本地模型，acc(Mk，)表示Mk使用數(shù)據(jù)集的精度，F(xiàn)k，i表示參與節(jié)點(diǎn)k本地?cái)?shù)據(jù)集中數(shù)據(jù)標(biāo)簽為第i類數(shù)據(jù)標(biāo)簽的數(shù)據(jù)所占百分比，n表示參與節(jié)點(diǎn)k本地?cái)?shù)據(jù)集中所擁有的數(shù)據(jù)標(biāo)簽關(guān)于總標(biāo)簽的百分比。

基于GAN 的聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評估算法偽代碼如下所示。

算法1 基于GAN 的聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評估算法。

2.3 基于兩階段Stackelberg博弈的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制

本文基于兩階段Stackelberg 博弈實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制。為了更好地描述激勵(lì)模式，首先劃分參與聯(lián)邦學(xué)習(xí)任務(wù)的實(shí)體，將參與聯(lián)邦學(xué)習(xí)任務(wù)的實(shí)體分為參與節(jié)點(diǎn)和請求節(jié)點(diǎn)兩類：1）參與節(jié)點(diǎn)，擁有相關(guān)數(shù)據(jù)集，并參與聯(lián)邦學(xué)習(xí)任務(wù)的實(shí)體；2）請求節(jié)點(diǎn)，發(fā)布聯(lián)邦學(xué)習(xí)任務(wù)的實(shí)體。

本文從資源配置和激勵(lì)機(jī)制角度對參與節(jié)點(diǎn)和請求節(jié)點(diǎn)構(gòu)建效用模型，如下所示：

1）參與節(jié)點(diǎn)效用模型。

假設(shè)參與節(jié)點(diǎn)k單位時(shí)間最大CPU 周期數(shù)為，參與模型訓(xùn)練任務(wù)花費(fèi)的單位時(shí)間CPU 周期數(shù)為qk(qk≤)。模型訓(xùn)練總共e輪，參與節(jié)點(diǎn)k擁有Dk個(gè)batch 塊數(shù)據(jù)，每個(gè)batch塊花費(fèi)的CPU 周期數(shù)為dk。參與節(jié)點(diǎn)k參與模型訓(xùn)練任務(wù)需要的總CPU 周期數(shù)為μk=edkDk，花費(fèi)的時(shí)間開銷為Tk=，其中，Tk'為總時(shí)間開銷的上限。

為了鼓勵(lì)參與節(jié)點(diǎn)積極參與聯(lián)邦學(xué)習(xí)任務(wù)，請求節(jié)點(diǎn)將為參與節(jié)點(diǎn)提供獎(jiǎng)勵(lì)。假設(shè)參與節(jié)點(diǎn)k參與模型訓(xùn)練任務(wù)單位時(shí)間獎(jiǎng)勵(lì)為pk，參與節(jié)點(diǎn)k參與聯(lián)邦學(xué)習(xí)獲得的獎(jiǎng)勵(lì)為Rk=Tkpk。

根據(jù)能耗模型［20］計(jì)算得到參與節(jié)點(diǎn)k的計(jì)算開銷為，其中ρk與參與節(jié)點(diǎn)的硬件架構(gòu)相關(guān)。參與節(jié)點(diǎn)的總體開銷為其中ξ>0 表示計(jì)算開銷折算的成本因子。參與節(jié)點(diǎn)的效用模型表示如下：

2）請求節(jié)點(diǎn)效用模型。

其次，根據(jù)實(shí)體效用模型可知，參與節(jié)點(diǎn)k根據(jù)請求節(jié)點(diǎn)的獎(jiǎng)勵(lì)提供計(jì)算能力和隱私數(shù)據(jù)完成聯(lián)邦學(xué)習(xí)任務(wù)，即參與節(jié)點(diǎn)k單位時(shí)間獎(jiǎng)勵(lì)pk決定單位時(shí)間CPU 周期數(shù)為qk，因此本文將參與節(jié)點(diǎn)與請求節(jié)點(diǎn)之間的交互表述為兩階段Stackelberg 博弈。其中，階段一請求節(jié)點(diǎn)基于預(yù)算和消耗的總CPU 周期數(shù)μk，通過最大化自身效用為每個(gè)參與節(jié)點(diǎn)設(shè)置單位時(shí)間獎(jiǎng)勵(lì)pk；階段二參與節(jié)點(diǎn)在收到單位時(shí)間獎(jiǎng)勵(lì)pk后通過優(yōu)化自身效用確定相應(yīng)的計(jì)算能力qk。具體分析如下：

1）階段二：優(yōu)化參與節(jié)點(diǎn)效用。

基于對參與節(jié)點(diǎn)的效用模型和兩階段Stackelberg 博弈問題表述，參與節(jié)點(diǎn)k的目標(biāo)函數(shù)表示如下：

2）階段一：優(yōu)化請求節(jié)點(diǎn)效用。

基于對請求節(jié)點(diǎn)的效用模型和兩階段Stackelberg 博弈問題表述，代入?yún)⑴c節(jié)點(diǎn)k的最優(yōu)策略請求節(jié)點(diǎn)的目標(biāo)函數(shù)表示如下：

其中：約束條件1 表示請求節(jié)點(diǎn)對任意參與節(jié)點(diǎn)的收益非負(fù)；約束條件2 中表示對參與節(jié)點(diǎn)k的獎(jiǎng)勵(lì)預(yù)算，由請求節(jié)點(diǎn)的總預(yù)算R和貢獻(xiàn)度評估算法共同決定；約束條件3 表示單位時(shí)間獎(jiǎng)勵(lì)非負(fù)。令即請求函數(shù)的目標(biāo)函數(shù)表示如下：

最后，總結(jié)基于兩階段Stackelberg 博弈的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制偽算法如算法2 所示。

算法2 激勵(lì)機(jī)制算法。

對他人和自己文章的再書寫不應(yīng)當(dāng)只是簡單的抄寫。要使書法創(chuàng)作高質(zhì)圓滿，對文章閱讀、認(rèn)識乃至再創(chuàng)作，尤其對文章時(shí)空情緒的體認(rèn)和把握是非常關(guān)鍵的。當(dāng)然，書者要有高超的書技和過硬的基本功是前提。在這個(gè)前提下，書法行為所達(dá)到的高質(zhì)就取決于上述那個(gè)關(guān)鍵了。對文章時(shí)空情緒的體認(rèn)程度和再創(chuàng)造、再感染程度越高，就越能提升書法行為的秩序化程度，從而提升作品質(zhì)量。

3 安全性分析

本文將從數(shù)據(jù)采集、數(shù)據(jù)生成、節(jié)點(diǎn)標(biāo)記、數(shù)據(jù)存儲和過程審計(jì)5 個(gè)方面分析激勵(lì)機(jī)制安全性。

1）數(shù)據(jù)采集。本文激勵(lì)機(jī)制需采集少量真實(shí)數(shù)據(jù)，該數(shù)據(jù)量大小約為真實(shí)數(shù)據(jù)集的千分之一，難以據(jù)此還原參與節(jié)點(diǎn)的數(shù)據(jù)特征和數(shù)據(jù)分布。同時(shí)，參與節(jié)點(diǎn)可采用接受-拒絕采樣［21］或差分隱私［22］的方式為采樣數(shù)據(jù)提供安全隱私保障。

2）數(shù)據(jù)生成。本文激勵(lì)機(jī)制數(shù)據(jù)生成過程使用GANT算法，采用GAN 與聯(lián)合模型相結(jié)合的方法實(shí)現(xiàn)。與針對聯(lián)邦學(xué)習(xí)的GAN 攻擊［23］不同，該過程僅使用最終訓(xùn)練完成的聯(lián)合模型，并不涉及訓(xùn)練過程中對本地模型的惡意引導(dǎo)和對參與節(jié)點(diǎn)數(shù)據(jù)分布的惡意猜測。

3）節(jié)點(diǎn)標(biāo)記。本文激勵(lì)機(jī)制通過對參與節(jié)點(diǎn)的貢獻(xiàn)分析，可以標(biāo)記低數(shù)據(jù)質(zhì)量節(jié)點(diǎn)，用于在未來聯(lián)合訓(xùn)練過程中篩選和識別，提升聯(lián)邦學(xué)習(xí)過程的安全性和穩(wěn)定性。

4）數(shù)據(jù)存儲。參與節(jié)點(diǎn)的數(shù)據(jù)除極少數(shù)采樣數(shù)據(jù)外，均不出本地物理域，僅通過模型的形式共享，數(shù)據(jù)的隱私安全得到充分保障。

5）過程審計(jì)。本文提出的激勵(lì)機(jī)制過程可審計(jì)，任意參與節(jié)點(diǎn)獲取中央節(jié)點(diǎn)訓(xùn)練時(shí)使用的隨機(jī)種子均可復(fù)現(xiàn)貢獻(xiàn)度評估過程；同時(shí)，參與節(jié)點(diǎn)可采用區(qū)塊鏈技術(shù)提供對聯(lián)邦學(xué)習(xí)激勵(lì)過程每一環(huán)節(jié)的監(jiān)督和審計(jì)，為聯(lián)邦學(xué)習(xí)提供更加充分的安全保障。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 正確性分析

假設(shè)各參與節(jié)點(diǎn)的數(shù)據(jù)大小相同，對此，本文設(shè)置μk=10。對于參與節(jié)點(diǎn)和請求節(jié)點(diǎn)，共有4 種策略組合，分別是：參與節(jié)點(diǎn)和請求節(jié)點(diǎn)均選擇最優(yōu)策略；參與節(jié)點(diǎn)選擇最優(yōu)策略，請求節(jié)點(diǎn)選擇隨機(jī)策略；參與節(jié)點(diǎn)選擇隨機(jī)策略，請求節(jié)點(diǎn)選擇最優(yōu)策略；參與節(jié)點(diǎn)和請求節(jié)點(diǎn)均選擇隨機(jī)策略。分別仿真參與節(jié)點(diǎn)總效用和請求節(jié)點(diǎn)效用隨參與節(jié)點(diǎn)數(shù)的變化如圖4 所示。

圖4 參與節(jié)點(diǎn)總效用和請求節(jié)點(diǎn)總效用隨參與節(jié)點(diǎn)數(shù)變化Fig.4 Total utility of participant nodes and total utility of requesting nodes varying with number of participant nodes

從圖4 結(jié)果可以看出，當(dāng)參與節(jié)點(diǎn)和請求節(jié)點(diǎn)均選擇最優(yōu)策略時(shí)，可以獲得比其他策略更高的效用。

為了驗(yàn)證總CPU 周期數(shù)對于請求節(jié)點(diǎn)和參與節(jié)點(diǎn)效用、對單位時(shí)間獎(jiǎng)勵(lì)和單位時(shí)間CPU 周期數(shù)的影響，設(shè)置參與節(jié)點(diǎn)總數(shù)為50，測試在μk=(1，4]時(shí)，請求節(jié)點(diǎn)和參與節(jié)點(diǎn)的效用變化如圖5 所示，單位時(shí)間獎(jiǎng)勵(lì)和單位時(shí)間CPU 周期數(shù)變化如圖6 所示。

圖5 參與節(jié)點(diǎn)和請求節(jié)點(diǎn)效用隨總CPU周期數(shù)變化Fig.5 Utilities of participant nodes and requesting nodes varying with total number of CPU cycles

圖6 單位時(shí)間獎(jiǎng)勵(lì)和單位時(shí)間CPU周期數(shù)隨總CPU周期數(shù)變化Fig.6 Reward per unit time and CPU cycles per unit time varying with total number of CPU cycles

隨著訓(xùn)練的總CPU 周期數(shù)增加，可以刺激參與節(jié)點(diǎn)提供更強(qiáng)的計(jì)算能力，降低時(shí)間成本，提高模型的性能，提高請求節(jié)點(diǎn)的效用；但是，由于參與節(jié)點(diǎn)的計(jì)算成本隨著訓(xùn)練的總CPU 周期數(shù)增加而上升，隱私參與節(jié)點(diǎn)的收入并沒有隨著總CPU 周期數(shù)的增加出現(xiàn)明顯增長。

單位時(shí)間獎(jiǎng)勵(lì)和單位時(shí)間CPU 周期數(shù)均隨著總CPU 周期數(shù)的增加而增加，這是因?yàn)槿绻侰PU 周期數(shù)增加，就需要更多的獎(jiǎng)勵(lì)激勵(lì)參與節(jié)點(diǎn)投入更多的計(jì)算資源到訓(xùn)練過程。

為了研究單位時(shí)間獎(jiǎng)勵(lì)pk對于單位時(shí)間CPU 周期數(shù)qk的影響，以探究請求節(jié)點(diǎn)的決策是如何影響參與節(jié)點(diǎn)的決策，設(shè)置μk=10，并且令pk∈[0.2，10.0]，仿真結(jié)果如圖7所示。

圖7 單位時(shí)間CPU周期數(shù)隨單位時(shí)間獎(jiǎng)勵(lì)變化Fig.7 CPU cycles per unit time varying with reward per unit time

從圖7 可以看出，由于更多的單位時(shí)間訓(xùn)練獎(jiǎng)勵(lì)會激勵(lì)參與節(jié)點(diǎn)將更多的計(jì)算資源用于模型訓(xùn)練，因此，單位時(shí)間CPU 周期數(shù)與單位時(shí)間獎(jiǎng)勵(lì)呈正相關(guān)的趨勢。

綜上所述，實(shí)驗(yàn)驗(yàn)證了激勵(lì)機(jī)制的正確性。

4.2 算法性能

本文分析第2.2 節(jié)提出的基于GAN 的聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評估算法性能，聯(lián)邦學(xué)習(xí)參與節(jié)點(diǎn)的數(shù)據(jù)量越大、數(shù)據(jù)質(zhì)量越高，對聯(lián)邦學(xué)習(xí)過程的貢獻(xiàn)度越高。本文使用CIFAR10 數(shù)據(jù)集［24］進(jìn)行實(shí)驗(yàn)，CIFAR10 共有60 000 張32×32 的彩色圖像，分為10 類，其中訓(xùn)練集為50 000 張圖片，測試集為10 000張圖片。本文共設(shè)置60 個(gè)參與節(jié)點(diǎn)，并從60 個(gè)參與節(jié)點(diǎn)中分別隨機(jī)采樣5 條數(shù)據(jù)，總計(jì)300 條采樣數(shù)據(jù)，本地訓(xùn)練5輪，聯(lián)合訓(xùn)練20 輪，相關(guān)參數(shù)設(shè)置為μ=0.5，α=1，β=1。本文面向圖像生成任務(wù)，使用基于深度卷積GAN 實(shí)現(xiàn)本文算法；同時(shí)，由于聯(lián)邦學(xué)習(xí)常應(yīng)用于邊緣計(jì)算，任務(wù)相對簡單，且對計(jì)算復(fù)雜度要求高，因此本文僅使用4 層卷積構(gòu)成的輕量GAN 結(jié)構(gòu)。本文算法涉及的GAN 結(jié)構(gòu)如圖8 所示。

圖8 GAN結(jié)構(gòu)Fig.8 Structure of GAN

下面介紹測試基于GAN 的聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評估算法在不同數(shù)據(jù)量、不同數(shù)據(jù)質(zhì)量、不同數(shù)據(jù)分布場景下的貢獻(xiàn)度評估準(zhǔn)確度結(jié)果，并選擇使用節(jié)點(diǎn)行為驅(qū)動型的文獻(xiàn)［22］、使用模型驅(qū)動型貢獻(xiàn)度評估方法的文獻(xiàn)［12］和文獻(xiàn)［25］、使用數(shù)據(jù)驅(qū)動型貢獻(xiàn)度評估方法的文獻(xiàn)［13］和文獻(xiàn)［26］進(jìn)行對比。其中：文獻(xiàn)［22］方案依據(jù)參與節(jié)點(diǎn)的本地?cái)?shù)據(jù)量和損失計(jì)算貢獻(xiàn)度，要求參與節(jié)點(diǎn)誠實(shí)地提交本地?cái)?shù)據(jù)集大小和損失；文獻(xiàn)［12］方案依據(jù)參與節(jié)點(diǎn)的模型相似度計(jì)算貢獻(xiàn)度；文獻(xiàn)［25］方案依據(jù)參與節(jié)點(diǎn)梯度歐氏距離的L2 范數(shù)計(jì)算貢獻(xiàn)度；文獻(xiàn)［13］方案依據(jù)參與節(jié)點(diǎn)模型的Shapley 值計(jì)算貢獻(xiàn)度；文獻(xiàn)［26］方案依據(jù)參與節(jié)點(diǎn)中選拔出的委員會節(jié)點(diǎn)的數(shù)據(jù)集計(jì)算參與節(jié)點(diǎn)的貢獻(xiàn)度，由于涉及委員會節(jié)點(diǎn)評估其他參與節(jié)點(diǎn)貢獻(xiàn)度，不誠實(shí)的委員會節(jié)點(diǎn)將帶來安全隱患。

貢獻(xiàn)度評估準(zhǔn)確度以不同分組參與節(jié)點(diǎn)的貢獻(xiàn)度平均值和標(biāo)準(zhǔn)差作為指標(biāo)，計(jì)算過程如下：1）對參與節(jié)點(diǎn)的貢獻(xiàn)度作min-max 歸一化后乘系數(shù)100；2）分別計(jì)算每個(gè)組別下參與節(jié)點(diǎn)貢獻(xiàn)度的平均值的標(biāo)準(zhǔn)差。不同分組之間的貢獻(xiàn)度平均值差異越大，標(biāo)準(zhǔn)差越小，說明不同分組參與節(jié)點(diǎn)之間的差異越大，區(qū)分和篩選越容易。

1）數(shù)據(jù)量。

本文將60 個(gè)參與節(jié)點(diǎn)分為3 組：第一組參與節(jié)點(diǎn)A1 分配5 000 條數(shù)據(jù)，第二組參與節(jié)點(diǎn)A2 分配500 條數(shù)據(jù)，第三組參與節(jié)點(diǎn)A3 分配50 條數(shù)據(jù)。不同數(shù)據(jù)量組別之間的貢獻(xiàn)度平均值差異越大，標(biāo)準(zhǔn)差越小，說明對不同數(shù)據(jù)量的參與節(jié)點(diǎn)貢獻(xiàn)度評估準(zhǔn)確度越高。

使用本文方案與文獻(xiàn)［12-13，22，25-26］方案評估的不同數(shù)據(jù)量參與節(jié)點(diǎn)的貢獻(xiàn)度統(tǒng)計(jì)值比較如表1 所示。

表1 幾種方案在不同數(shù)據(jù)量參與節(jié)點(diǎn)時(shí)的貢獻(xiàn)度統(tǒng)計(jì)值Tab.1 Comparison of contribution statistics under several scenarios of participate nodes with different data volumes

從表1 可以看出，文獻(xiàn)［22］方案對大數(shù)據(jù)量（A1）參與節(jié)點(diǎn)的貢獻(xiàn)度評估效果較優(yōu)，但對小數(shù)據(jù)（A2）和極小數(shù)據(jù)量（A3）參與節(jié)點(diǎn)的貢獻(xiàn)度評估效果較差；文獻(xiàn)［12］方案對極小數(shù)據(jù)量（A3）參與節(jié)點(diǎn)的貢獻(xiàn)度評估效果較優(yōu)，但對大數(shù)據(jù)量（A1）和小數(shù)據(jù)（A2）參與節(jié)點(diǎn)的貢獻(xiàn)度評估效果較差；文獻(xiàn)［25］方案難以評估不同數(shù)據(jù)量參與節(jié)點(diǎn)貢獻(xiàn)度；文獻(xiàn)［13］方案評估各個(gè)參與節(jié)點(diǎn)集合的貢獻(xiàn)度方差較大，平均值區(qū)分不明顯，精度較低；文獻(xiàn)［26］方案對不同數(shù)據(jù)量參與節(jié)點(diǎn)的貢獻(xiàn)度評估在平均值區(qū)分度和標(biāo)準(zhǔn)差方面表現(xiàn)最優(yōu)。本文方案在平均值區(qū)分度和標(biāo)準(zhǔn)差方面表現(xiàn)次優(yōu)，僅遜色于文獻(xiàn)［26］方案，對不同數(shù)量的參與節(jié)點(diǎn)貢獻(xiàn)度評估基本與參與節(jié)點(diǎn)的數(shù)據(jù)量大小一致。

2）數(shù)據(jù)質(zhì)量。

本文將60 個(gè)參與節(jié)點(diǎn)分為3 組：第一組參與節(jié)點(diǎn)B1 分配1 000 條數(shù)據(jù)：第二組參與節(jié)點(diǎn)B2 分配1 000 條添加30%隨機(jī)噪聲的數(shù)據(jù)，第三組參與節(jié)點(diǎn)B3 分配1 000 條添加50%隨機(jī)噪聲的數(shù)據(jù)。不同數(shù)據(jù)質(zhì)量組別之間的貢獻(xiàn)度平均值差異越大，標(biāo)準(zhǔn)差越小，說明對不同數(shù)據(jù)質(zhì)量的參與節(jié)點(diǎn)貢獻(xiàn)度評估準(zhǔn)確度越高。

使用本文方案與文獻(xiàn)［12-13，22，25-26］方案評估的不同數(shù)據(jù)質(zhì)量參與節(jié)點(diǎn)的貢獻(xiàn)度統(tǒng)計(jì)值比較如表2 所示。

表2 幾種方案在不同數(shù)據(jù)質(zhì)量參與節(jié)點(diǎn)時(shí)的貢獻(xiàn)度統(tǒng)計(jì)值Tab.2 Comparison of contribution statistics under several scenarios of participate nodes with different data qualities

從表2 可以看出，文獻(xiàn)［13，22］方案難以評估不同數(shù)據(jù)質(zhì)量參與節(jié)點(diǎn)貢獻(xiàn)度；文獻(xiàn)［12，25-26］方案對有極大噪聲數(shù)據(jù)質(zhì)量（B3）參與節(jié)點(diǎn)的貢獻(xiàn)度評估效果較優(yōu)，但對無噪聲數(shù)據(jù)量（B1）和有少量噪聲數(shù)據(jù)（B2）參與節(jié)點(diǎn)的貢獻(xiàn)度評估效果較差；本文方案在平均值區(qū)分度方面表現(xiàn)最優(yōu)，標(biāo)準(zhǔn)差方面表現(xiàn)較優(yōu)，對擁有不同數(shù)據(jù)質(zhì)量的參與節(jié)點(diǎn)貢獻(xiàn)度評估基本與參與節(jié)點(diǎn)的數(shù)據(jù)質(zhì)量一致。

3）數(shù)據(jù)分布。

本文將60 個(gè)參與節(jié)點(diǎn)分為3 組：第一組參與節(jié)點(diǎn)C1 分配1 000 條獨(dú)立同分布數(shù)據(jù)，第二組參與節(jié)點(diǎn)C2 分配1 000 條僅有50%數(shù)據(jù)標(biāo)簽的數(shù)據(jù)，第三組參與節(jié)點(diǎn)C3 分配1 000 條僅有20%數(shù)據(jù)標(biāo)簽的數(shù)據(jù)。由于數(shù)據(jù)量相近，數(shù)據(jù)質(zhì)量相近，不同數(shù)據(jù)分布組別之間的貢獻(xiàn)度平均值差異越小，標(biāo)準(zhǔn)差越小，說明對不同數(shù)據(jù)分布的參與節(jié)點(diǎn)貢獻(xiàn)度評估準(zhǔn)確度越高。

使用本文算法與文獻(xiàn)［12-13，22，25-26］方案評估的不同數(shù)據(jù)分布參與節(jié)點(diǎn)的貢獻(xiàn)度統(tǒng)計(jì)值比較如表3 所示。

表3 幾種方案在不同數(shù)據(jù)分布參與節(jié)點(diǎn)時(shí)的貢獻(xiàn)度統(tǒng)計(jì)值Tab.3 Comparison of contribution statistics under several scenarios of participate nodes with different data distributions

從表3 可以看出，文獻(xiàn)［22，25］方案對于不同數(shù)據(jù)分布的參與節(jié)點(diǎn)貢獻(xiàn)度評估效果較差，對于擁有相似數(shù)據(jù)質(zhì)量和數(shù)據(jù)量的參與節(jié)點(diǎn)，其貢獻(xiàn)度評估結(jié)果應(yīng)相近；文獻(xiàn)［12，26］方案難以評估不同數(shù)據(jù)分布參與節(jié)點(diǎn)貢獻(xiàn)度，擁有獨(dú)立同分布數(shù)據(jù)的參與節(jié)點(diǎn)貢獻(xiàn)量（C1）顯著優(yōu)于擁有非獨(dú)立同分布數(shù)據(jù)的參與節(jié)點(diǎn)（C3）；文獻(xiàn)［13］方案能夠評估不同數(shù)據(jù)分布的參與節(jié)點(diǎn)貢獻(xiàn)度，但是，具有獨(dú)立同分布特征（C1）由于其分布面廣、非獨(dú)立同分布程度較深（C3）的數(shù)據(jù)由于單一類別擁有的數(shù)據(jù)量更多，應(yīng)獲得更高的貢獻(xiàn)度評估，文獻(xiàn)［13］方案的評估結(jié)果與直觀不符；本文方案能評估不同數(shù)據(jù)分布的參與節(jié)點(diǎn)貢獻(xiàn)度，且評估效果與直觀相符，即具有獨(dú)立同分布特征（C1）和非獨(dú)立同分布程度較深（C3）的數(shù)據(jù)應(yīng)獲得更高的貢獻(xiàn)度評估，對擁有不同數(shù)據(jù)分布的參與節(jié)點(diǎn)貢獻(xiàn)度評估基本與參與節(jié)點(diǎn)的數(shù)據(jù)標(biāo)簽分布一致。

4.3 算法分析

下面將從采樣數(shù)據(jù)量、參與節(jié)點(diǎn)數(shù)據(jù)標(biāo)簽分布和GANT算法3 個(gè)方面分析基于生成式對抗網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評估算法。

1）采樣數(shù)據(jù)量。

為了測試采集數(shù)據(jù)量對貢獻(xiàn)度評估的影響，本文以不同數(shù)據(jù)量的參與節(jié)點(diǎn)的貢獻(xiàn)度評估實(shí)驗(yàn)為例，測試采集數(shù)據(jù)分別120 條和600 條時(shí)對不同數(shù)據(jù)量的參與節(jié)點(diǎn)貢獻(xiàn)度的影響。使用本文算法在不同樣本量下評估的貢獻(xiàn)度統(tǒng)計(jì)值比較如表4 所示。

表4 不同樣本量下參與節(jié)點(diǎn)貢獻(xiàn)度統(tǒng)計(jì)值Tab.4 Comparison of contribution statistics of participant nodes with different sample volumes

從表4 可以看出，當(dāng)采集數(shù)據(jù)量為120 時(shí)，雖然仍然能區(qū)分不同數(shù)據(jù)量的參與節(jié)點(diǎn)，但同樣數(shù)據(jù)量的參與節(jié)點(diǎn)之間的平均值差距減小，同時(shí)在實(shí)驗(yàn)過程中發(fā)現(xiàn)部分類的測試數(shù)據(jù)量小于10 的情況，測試數(shù)據(jù)量的不均衡將直接導(dǎo)致貢獻(xiàn)度評估準(zhǔn)確度的下降；當(dāng)采集數(shù)據(jù)量為600 條時(shí)，不同數(shù)據(jù)量的參與節(jié)點(diǎn)的貢獻(xiàn)度評估的平均值和標(biāo)準(zhǔn)差均與采集數(shù)據(jù)量為300 時(shí)相差不大，但采集數(shù)據(jù)量的增大意味著參與節(jié)點(diǎn)需要承擔(dān)更多的隱私泄露風(fēng)險(xiǎn)。

2）參與節(jié)點(diǎn)數(shù)據(jù)標(biāo)簽分布。

為了測試參與節(jié)點(diǎn)數(shù)據(jù)標(biāo)簽分布的影響，本文以不同數(shù)據(jù)分布的參與節(jié)點(diǎn)的貢獻(xiàn)度評估實(shí)驗(yàn)為例，測試有無參與節(jié)點(diǎn)數(shù)據(jù)標(biāo)簽分布對不同數(shù)據(jù)分布的參與節(jié)點(diǎn)貢獻(xiàn)度的影響。使用本文算法在有無參與節(jié)點(diǎn)數(shù)據(jù)標(biāo)簽分布下評估的貢獻(xiàn)度統(tǒng)計(jì)值比較如表5 所示。

表5 有無參與節(jié)點(diǎn)數(shù)據(jù)標(biāo)簽分布下參與節(jié)點(diǎn)貢獻(xiàn)度統(tǒng)計(jì)值Tab.5 Comparison of contribution statistics of participant nodes with or without data label distribution

從表5 可以看出，當(dāng)不引入?yún)⑴c節(jié)點(diǎn)數(shù)據(jù)標(biāo)簽分布時(shí)，對于不同數(shù)據(jù)分布的參與節(jié)點(diǎn)貢獻(xiàn)評估精度出現(xiàn)顯著降低，一方面標(biāo)準(zhǔn)差增大，另一方面無法評估出非獨(dú)立同分布數(shù)據(jù)標(biāo)簽節(jié)點(diǎn)的貢獻(xiàn)度。

3）GANT 算法。

為了測試GANT 算法對貢獻(xiàn)度評估的影響，本文以不同數(shù)據(jù)質(zhì)量的參與節(jié)點(diǎn)的貢獻(xiàn)度評估實(shí)驗(yàn)為例，測試不使用樣本生成算法、使用GAN 算法和使用GANT 算法對不同數(shù)據(jù)量的參與節(jié)點(diǎn)貢獻(xiàn)度的影響。使用本文方案在不同樣本生成算法下評估的貢獻(xiàn)度統(tǒng)計(jì)值比較如表6 所示。

表6 不同樣本生成下參與節(jié)點(diǎn)貢獻(xiàn)度統(tǒng)計(jì)值Tab.6 Comparison of node contribution statistics under different sample generation algorithms

從表6 可以看出，當(dāng)刪除樣本生成算法后，由于采樣樣本中很可能存在噪聲較大的數(shù)據(jù)樣本，從而導(dǎo)致算法難以區(qū)分?jǐn)?shù)據(jù)質(zhì)量較高的參與節(jié)點(diǎn)（B1）和含有一定噪聲數(shù)據(jù)的參與節(jié)點(diǎn)（B2）；當(dāng)將樣本生成算法替換為傳統(tǒng)GAN 算法后，由于生成樣本的質(zhì)量不高，且未經(jīng)聯(lián)合模型篩選，因此平均值的區(qū)分度明顯不如GANT，且在低質(zhì)量參與節(jié)點(diǎn)（B3）和含有一定噪聲數(shù)據(jù)的參與節(jié)點(diǎn)（B2）的標(biāo)準(zhǔn)差也顯著高于GANT。

5 結(jié)語

本文結(jié)合GAN、博弈論等技術(shù)，提出一個(gè)聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制解決方案。該方案提出基于GANT 的貢獻(xiàn)度評估算法，實(shí)現(xiàn)高精度的樣本生成和對不同數(shù)據(jù)量、不同數(shù)據(jù)質(zhì)量和不同數(shù)據(jù)分布的參與節(jié)點(diǎn)聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評估。該方案實(shí)現(xiàn)基于兩階段Stackelberg 博弈的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制，實(shí)現(xiàn)對聯(lián)邦學(xué)習(xí)過程公平、合理、有效的激勵(lì)。為了實(shí)現(xiàn)更加安全、可追溯的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制，下一步將研究在聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制中引入?yún)^(qū)塊鏈技術(shù)，并將本方案涉及的分類模型場景擴(kuò)展到回歸模型場景。