聲譽評估的聯邦學習激勵機制設計與研究

熊 誠，巫朝霞（通信作者）

（新疆財經大學統計與數據科學學院 新疆 烏魯木齊 830012）

0 引言

隨著科技的不斷進步和社會經濟的日益繁榮，人類社會不斷地產生和利用海量的數據。 數據量呈現出爆炸式的增長，推動了機器學習的飛速發展，并使其在各行各業得到廣泛應用，例如醫療的智能診斷［1］和自動駕駛的路線規劃［2］等。 然而，在許多應用場景中，數據可能涉及個人或機構的敏感信息。 傳統機器學習需要將所有數據集中到一個服務器上進行訓練和分析，這樣可能會導致數據隱私泄露和數據安全威脅等問題。

為了解決機器學習這一安全問題，谷歌在2017 年提出了一種新的分布式機器學習架構，稱為聯邦學習（federated learning， FL）［3］。 聯邦學習不再使用集中存儲的數據來訓練模型。 它要求參與者使用自己的數據在本地訓練模型，并將不包含原始數據的本地模型發送到模型聚合服務器。 通過服務器上的模型聚合，最終得到全局模型，實現了數據隱私保護和模型共享。

聯邦學習面臨的一個關鍵問題是如何鼓勵數據所有者參與任務，因為在聯邦學習中數據所有者需要貢獻數據和承擔本地模型訓練的開銷。 因此，需要一種激勵機制來促進數據所有者的參與，同時保證聯邦學習模型的高質量。 常見的方法是根據每個參與者的貢獻來給予獎勵，如斯塔克爾伯格（Stackelberg）博弈［4］和公允價值博弈［5］。此外，聯邦學習任務可能會遭到惡意參與者的干擾，例如提供低質量的局部模型或虛報他們的貢獻。 為了防止這些問題，需要有合理的模型質量評估機制和任務參與者管理規則。 通常，基于聲譽的管理規則和獎勵機制可以激勵任務參與者誠實合作［6］。 但目前這些激勵機制對模型質量、全局模型聚合等問題研究比較少。

本文提出了一種基于聲譽評估的聯邦學習激勵機制，從本地模型評估和全局模型聚合兩個方面進行優化。 該機制實施聲譽評估，對數據所有者的貢獻進行公正評估，并引入損失函數根據貢獻度動態調整本地模型優化策略，從而給予更多的獎勵。 可以有效地激勵數據所有者參與聯邦學習，并提供高質量的數據來訓練本地模型。 本文的主要貢獻包括：

（1）本文提出了一種基于模型質量和貢獻評估的聲譽機制，用于提高聯邦學習的效率和安全性。 該機制利用聲譽評估，對數據所有者的貢獻進行公正衡量，避免惡意節點的作弊行為。 聲譽評估不僅作為獎勵分配的依據，激勵數據所有者提供高質量的數據和模型，也作為模型聚合的權重，懲罰惡意節點的行為，提高全局模型的魯棒性和協作性。

（2）采用PolyLoss 作為基礎損失函數，根據貢獻動態調整本地模型訓練優化策略，從而優化聯邦學習模型質量。

（3）本文在公共數據集MNIST 和CIFAR－10 上進行了大量的仿真實驗，驗證了本文激勵機制的有效性和魯棒性。

1 相關工作

近年來，聯邦學習因其在數據隱私保護方面的優勢而受到了學術界和工業界的廣泛關注。 Lim 等［7］在智能醫療應用中使用聯邦學習來實現網絡邊緣的隱私保護協作模型訓練。 Fu 等［8］提出了一種基于拉格朗日插值可驗證聯邦學習的解決方案，以解決工業物聯網大數據傳統集中學習中的問題。 盡管上述學者針對聯邦學習的隱私保護和性能問題提出了優化方案，但是本地設備仍然缺乏參與聯邦學習的動力。

在聯邦學習網絡中，如何激勵用戶參與任務并貢獻高質量的數據是最重要的研究課題之一。 為了解決這個問題，一些研究者設計了不同類型的激勵機制，旨在通過獎勵或懲罰等方式促進用戶積極、可靠地參與聯邦學習。Fan 等［9］提出了一種基于數據質量的反向拍賣激勵機制，并利用智能合約實現了邊緣節點之間的自動和可審計的拍賣過程。 Zeng 等［10］提出了一種輕量級的激勵機制，利用多維拍賣的方法，并確保邊緣節點納什均衡，從而有效地選擇優質的邊緣節點參與聯邦學習。 Dong 等［11］引入了博弈論來設計激勵節點參與模型訓練任務的策略通過采用斯塔克爾伯格博弈論方法制定以市場為導向的架構，以分析所有參與者的最優行為。 Zhan 等［12］通過設定了一個總預算，根據客戶端的各自貢獻進行獎勵來鼓勵邊緣節點參與模型訓練。 Sun 等［13］設計了一種聯邦學習激勵機制，利用聲譽評分來篩選出質量較差的模型，并采用一種基于聲譽評分的用戶選擇策略，以優化最終的聚合模型。

這些文獻關注聯邦學習的性能、激勵和管理問題，但是很少系統地考慮聯邦學習任務中的數據質量、模型聚合和獎勵分配問題。 本文基于現有研究，結合數據質量、聲譽評估和獎勵分配，提出了一種能夠提升聯邦學習模型質量的激勵機制。

2 系統設計

2.1 系統架構

本文提出了一種基于聲譽評估的聯邦學習系統，如圖1 所示。 該系統主要由以下4 個部分組成。

圖1 基于聲譽評估的聯邦學習系統

（1）客戶端。 每個客戶端都是一個獨立的實體，擁有自己的私有數據集，不與其他客戶端共享。 同時，每個客戶端也擁有自己的私有網絡，利用私有數據集對網絡進行訓練和優化，并基于聯邦框架參與分布式協作。

（2）服務器。 服務器擁有自己的網絡，主要負責聚合各個客戶端的梯度信息，更新并分發最新的網絡參數，充當中心服務器角色。

（3）基于聲譽激勵的梯度聚合模塊。 服務器在收到各個客戶端的梯度后，不是簡單地進行平均，而是根據每個客戶端的聲譽進行篩選和加權。 具體來說，服務器首先根據一定的標準計算每個客戶端的聲譽值，如果聲譽值低于設定的閾值，那么該客戶端的梯度將被視為無效，不參與本輪的聚合；反之將聲譽值的比例作為權重，參與本輪的聚合。

（4）惡意節點檢測模塊。 用于識別和排除基于聲譽評估的聯邦學習系統中的惡意梯度。 惡意梯度是指那些聲譽值過低的梯度，它們可能來自被攻擊或篡改的節點，或者是故意發送錯誤信息的節點。

2.2 基于模型質量的聲譽評估

本文針對現有的激勵機制過于關注數據所有者的參與度，而忽視了模型質量的系統性考量的問題，特別是數據質量和模型性能對全局模型的影響，提出了一種基于聲譽評估的聯邦學習系統。 該系統的核心是一個聲譽評估聚合模塊，它可以根據每個客戶端在本地訓練的模型的性能和上傳數據的數量和質量，給每個客戶端分配一個聲譽分數，反映其對全局模型的貢獻程度和可信度。

當聯邦學習中心服務器下發全局模型ωt，客戶端下載全局模型，并使用本地數據集Dn來訓練模型。 訓練完成之后上傳本地模型在獲取所有本地模型之后，聲譽評估聚合模塊使用所擁有的數據集來測試本地模型。即通過公允價值博弈這種基于損失的邊際方法，用于測試局部模型的質量。 它衡量了本地模型對全局模型聚合的影響。 設為聲譽評估聚合模塊對客戶端n的評估結果。

式（1）中，ωt表示通過使用集合P 中所有節點的局部模型聚合的全局模型，而表示在沒有節點n的局部模型的情況下聚合的全局模型。G（·）是模型精度測量的函數。

基于這些測試結果，構建了聲譽評估機制，主要包括以下幾個步驟：

（1）設置全局聲譽向量λ。 其維度為本地客戶端數目，初始值為1。 在服務器對梯度不斷聚合的過程中，聲譽向量λ 不斷優化。 λ 表示各客戶端上傳梯度對聚合過程中的貢獻度。 貢獻度越大的梯度整體參與聚合的份額越大，反之越小。

（2）客戶端梯度選擇。 參與訓練的客戶端上傳梯度之后，服務器將所有梯度計算出再進行均值計算。 然后，將所有從小到大排序，將排好序的值一分為二。 前半部分的所代表的梯度認為是合理梯度，給予σ1的獎勵，后半部分給予σ2的懲罰獎勵，得到獎懲向量η。 將這些向量累積到全局聲譽向量，更新到最新的值。 更新過程如式（2）所示。

（3）設置聲譽閾值h。 其維度為本地客戶端數目，初始值數值為σ1。 在服務器對梯度不斷聚合的過程中，任何低于此閾值的梯度不參與聚合。 聚合公式如式（3）所示。

式（3）中，n 和k 分別表示客戶端編號和貢獻參數編號。只有聲譽值大于σ1的客戶端的梯度才參與聚合。 本文算法參數聚合過程如算法1 所示。

從算法1 可看出，聲譽變量λ 在聚合的過程中不斷進行更新，達到動態的平衡。 每一次更新之后均會進行歸一化處理，使得每一個客戶端的聚合份額均分布在0 ～1 之間，便于和聚合閾值進行對比，優化全局模型的聚合方式。

2.3 聲譽驅動的本地模型訓練

聯邦學習的目的是在不共享數據的情況下，通過協同訓練，實現一個高質量的全局模型。 為了提高全局模型的性能，每個參與聯邦學習的數據擁有者也需要提供高質量的本地模型。 PolyLoss 損失函數［14］是一種創新的損失函數，可以通過調整多項式系數靈活地適應不同任務，提高各種模型在多個任務和數據集上的預測性能。 與傳統的損失函數相比，PolyLoss 表現出更優秀的性能。 因此，為了更好地優化本文模型的損失，本文引入了PolyLoss 作為基本損失函數。 文獻［14］的研究表明，Poly－1 的簡單性和有效性在分類應用中表現更加優秀。 給定客戶端Pn，數據集具體定義如式（4）所示。

每個客戶端的聲譽反映了其本地模型的質量和性能，聲譽越高，模型越優秀。 為了提高聯邦學習模型的質量，本文根據Focal Loss 設計了基于聲譽的全局判別損失函數作為損失函數。 每個節點基于自身聲譽動態調整本地模型的訓練優化策略，從而優化聯邦學習模型的質量。 具體定義如式（5）所示。

結合兩個損失函數PolyLoss 與基于聲譽的全局判別損失函數，得到本文總損失函數為式（6）所示。

式（6）中，β 為超參數，用于平衡兩個損失。

2.4 獎勵分配

傳統的聯邦學習獎勵分配的方法通常是根據每個節點的數據量占總數據量的權重來確定。 然而，不誠實的所有者可能會夸大他們的貢獻，從而獲得更多的獎勵。 為了解決這個問題，本文提出了一種基于聲譽加權貢獻的獎勵分配算法。 在獎勵分配階段，根據每個節點的聲譽分數和數據量來計算其權重，并用加權平均的方法分配獎勵。 這種方法可以有效地提高獎勵分配的公平性和激勵性，還可以提高聯邦學習的效率和安全性。 基于此，數據所有者n的效用函數表示為式（7）。

式（7）中，Mn為客戶端n 數據集的數據量，R 是學習任務的預算，Cn表示客戶端n 在訓練模型時的單位成本。 單位成本通常包括計算花銷和通信花銷如式（8）所示。

3 實驗驗證

3.1 實驗設置

本文實驗設置了12 個客戶端、3 個服務器，選擇兩個公共數據集MNIST 和CIFAR－10 進行實驗。 MNIST數據集具有60 000 個訓練樣本和10 000 個測試樣本。CIFAR－10 數據集共有10 類樣本，每類都有6 000 個圖像，分為5 000 個訓練圖像和1 000 個測試圖像。 為了說明本文算法在非獨立同分布（non-independent identically distribution， Non-IID）數據集的情況下的自適應性，分配給各客戶端的數據被人為地設置為Non-IID。此外，來自惡意節點的數據會根據其惡意程度篡改數據標簽，從而模擬不同質量的數據。 0%、10%、20%的錯誤率分別對應于相反的數據質量。 例如，如果實驗需要準確率為80%的模擬數據，則20%的數據標簽被人為設置為錯誤。

本文使用BiLSTM 和ResNet 模塊作為神經網絡訓練模塊，所有客服端以及服務器內置的神經網絡均為同構神經網絡。 輸入樣本規模為32 × 28 × 28 × 3，訓練輪次為5 000 次，學習率為0.001，截斷損失為100，優化函數為Adam Optimizer。 設置獎勵因子σ1為0.7，懲罰因子σ2為0.3。 在訓練過程中，通過網格搜索法調整式（6）中的超參數β并獲得最佳值為1。

3.2 對比方法及實驗結果分析

為了評估本文算法性能，本文選擇了ResNet，BiLSTM兩種算法在數據集MNIST 和CIFAR－10 進行實驗。 同時，為了驗證本文算法的魯棒性，對ResNet 和BiLSTM 兩種算法進行差分隱私保護。 實驗的評估指標是精確率和召回率的調和平均數（F1 值）。 為了公平起見，所有方法都采用與本文實驗相同的實驗設置。

為了驗證本文提出的算法的有效性，在MNIST 和CIFAR－10 數據集上進行了實驗，結果如圖2 所示。 由圖2 可知，本文算法在3 個指標下都優于其他兩個算法。 在F1 值為評估指標的條件下，本文算法在CIFAR－10 數據集上的F1 值比算法BiLSTM 提升了1.000%、比算法ResNet 提升了0.695%；在MNIST 數據集上的F1 值比算法 BiLSTM 提升了 1.944%、 比算法 ResNet 提升了0.814%。

圖2 本文算法與其他算法的對比實驗圖

3.3 魯棒性驗證

在CIFAR－10 和MNIST 兩個數據集上進行投毒實驗，投毒比例分別是10%和20%。 投毒實驗是通過標簽隨機替換實現的。 本文算法與對比算法僅在F1 值指標上進行了對比實驗。 圖3 展示了本文算法與另外兩種算法在數據集MNIST 和CIFAR－10 上的對比實驗結果。

圖3 投毒實驗對比結果

實驗被設置為惡意節點的數量分別為10%和20%。為了使效果最明顯，每個惡意節點都提供質量為0%的數據。 比較不同級別的惡意節點占用對任務的影響，從圖3中可以清楚地看出，本文提出的算法對惡意節點具有相對的抵抗力。

4 結語

如何鼓勵數據所有者參與聯邦學習并貢獻高質量的數據是聯邦學習面臨的一個關鍵性問題。 本文提出了一種基于聲譽評估的聯邦學習激勵機制，從本地模型評估和全局模型聚合兩個方面進行優化。 首先，設計了一種基于模型質量和貢獻評估的聲譽機制，以公正地衡量數據所有者的貢獻，避免惡意節點的作弊行為。 同時，聲譽評估不僅作為獎勵分配的依據，激勵數據所有者提供高質量的數據和模型，還作為模型聚合的權重，懲罰惡意節點的行為，提高全局模型的魯棒性和協作性。 此外，還提出了一種基于PolyLoss 的損失函數，根據聲譽評估動態調整本地模型優化策略，從而提高聯邦學習模型的質量。 最后，在公共數據集上進行了仿真實驗，驗證了該激勵機制的有效性。