基于聯盟鏈的可信聯邦學習方法

王金鵬，戴 歡，2+，李凱程，唐 毅，2，付保川

(1.蘇州科技大學 電子與信息工程學院，江蘇 蘇州 215009； 2.蘇州和數區塊鏈應用研究院有限公司，江蘇 蘇州 215000)

0 引 言

當前，數字經濟發展，大數據應用面臨以下兩個難題：①不同行業、不同部門之間存在壁壘，形成了所謂“數據孤島”[1]；②數據安全和數據隱私無法得到保障。為了解決以上問題，谷歌公司于2016年提出了聯邦學習(federated learning，FL)架構[2]，參與聯邦學習的客戶端無需上傳本地隱私數據，只需上傳每輪訓練的本地模型，再通過中央服務器聚合成全局模型，因此，各個客戶端可以在不共享原始數據的情況下共同完成機器學習任務。

傳統的聯邦學習系統需要一個可信的第三方服務器來聚合全局模型，這可能給聯邦學習系統造成單點故障的安全隱患[3]。區塊鏈技術具有去中心化、可追溯和難篡改等特點，與聯邦學習結合，為有效解決其對第三方服務器的依賴提供了可能。同時，合理設計區塊鏈自帶的激勵機制，也能夠充分激勵客戶端參與聯邦學習，提高聯邦學習的模型性能。Kim H等[4]提出了一種基于區塊鏈的聯邦學習架構BlockFL，使用工作量證明(proof of work，POW)作為共識機制，在考慮通信時延、計算時延和共識時延的情況下，計算最優的塊生成率。文獻[5]提出了一種名為Deepchain的聯邦學習框架，利用區塊鏈保證模型的安全，并設計了激勵機制鼓勵參與方能夠誠實地進行訓練。然而，基于POW共識機制的區塊鏈通常需要較大的計算開銷來實施區塊鏈的挖礦過程，這對電力資源耗費較大。

在傳統聯邦學習環境中，第三方服務器能夠獲取客戶端上傳的更新梯度，文獻[6-8]表明，即使只擁有模型的梯度信息，攻擊者也可以反推出部分原始數據，即聯邦學習存在梯度泄露的安全隱患。常見的解決方案是在上傳梯度時使用差分隱私[9]和同態加密[10]技術。Lu Y等[11]將差分隱私融入聯邦學習進一步保護數據隱私，提出了一種面向工業物聯網應用的分布式多方隱私保護數據共享機制。Bin Jia等[12]使用區塊鏈代替中央服務器，設計了一種面向工業物聯網的聯邦學習模型，同時結合了差異隱私和同態加密技術來防止梯度泄露，該架構會造成模型精度的損失，并且計算量較大。上述方法，添加差分隱私噪聲會對模型精度產生影響，使用同態加密技術需要在安全可信的環境下交換密鑰，并且使用同態加密，加密梯度需要進行大量的密碼學計算。此外，在保護梯度隱私的同時，如何降低通信成本也未得到有效解決。

數據質量是影響聯邦學習訓練結果的重要因素，然而，傳統聯邦學習缺乏激勵機制來吸引客戶端參與訓練。區塊鏈的激勵機制可以與聯邦學習有機結合，通過為使用優質數據參與訓練的客戶端節點提供獎勵，激勵客戶端參與聯邦學習。文獻[13]提出了一種基于區塊鏈和聯邦學習的分布式深度學習框架，在保護用戶隱私的前提下，設計了一種本地可信度評估機制來保證公平性。葉晉[14]設計了一種質量證明算法(proof of quality，PoQ)，該算法基于客戶端信譽和數據質量，在邊緣計算框架基礎上，提出了一種基于聯邦學習和區塊鏈技術的海洋物聯網數據安全共享方法，能夠高效且安全地進行模型訓練。文獻[15]中設計了一種基于EOS區塊鏈的梯度檢測算法，根據梯度質量為參與者提供獎勵。文獻[16]結合了差分隱私和梯度驗證，保證了梯度安全的同時，選擇合法的客戶端數據進行全局模型更新，但是沒有考慮通信和計算成本。

針對以上問題，本文做了以下工作：

(1)利用梯度壓縮技術，減少聯邦學習訓練過程中梯度泄露的威脅，并降低了通信壓力；

(2)設計了一種基于聯盟鏈的聯邦學習框架，解決傳統聯邦學習中單點故障的問題；提出了一種基于貢獻的聯邦學習聚合方法，該方法通過梯度驗證遴選滿足精度要求的客戶端梯度，再根據客戶端模型貢獻分配權重進行全局聚合，降低了投毒攻擊對模型的威脅；

(3)提出了一種基于雙因子貢獻的區塊鏈共識算法，根據模型貢獻選舉共識委員會，根據行為貢獻選舉區塊鏈記賬節點；利用區塊鏈的激勵機制為參與模型訓練的客戶端和區塊鏈節點提供激勵，提高了客戶端參與聯邦學習訓練的積極性和區塊鏈系統的穩定性。

1 系統設計

1.1 系統架構

如圖1所示，本文設計了一種基于聯盟鏈的可信聯邦學習系統架構，該架構使用區塊鏈的分布式處理代替傳統聯邦學習的第三方服務器處理聚合客戶端模型。

該系統節點共有3種角色：

(1)模型請求者

模型請求者是聯邦學習任務的發起者，負責發布任務、設計和初始化聯邦學習模型。

(2)參與模型訓練的客戶端節點

假設系統中一共有NC個客戶端，客戶端i(1≤i≤NC) 所擁有的數據集大小為Si。客戶端節點利用本地數據集進行模型的本地訓練，并向對應的區塊鏈共識節點上傳和下載模型梯度。梯度壓縮能夠有效防止梯度泄露，并且可以降低通信壓力，提高系統整體通信效率。本系統采用基于殘差累積的梯度稀疏化方法來實現客戶端的梯度壓縮。

(3)區塊鏈共識節點

假設系統中共有NM個區塊鏈共識節點，每個區塊鏈共識節點j(1≤j≤NM) 綁定若干客戶端節點。共識節點接收對應客戶端節點的本地模型，驗證其合法性之后轉發給其它區塊鏈節點。在接收到所有客戶端模型或者達到最大等待時長后，所有區塊鏈節點根據貢獻評分選出共識委員會節點和領導人節點，領導人節點打包區塊后轉發給共識委員會節點進行區塊驗證，驗證通過的區塊保存至區塊鏈中。

1.2 系統流程

系統整體流程如圖1所示，共分為以下7個步驟：

步驟1 任務初始化

模型請求者R發布聯邦學習任務請求，設計并初始化聯邦學習模型，提出數據集的數據類型、學習率η、小批量梯度下降的批量大小bs、最大聯邦訓練輪數T、遴選率S。隨后符合數據集要求的客戶端節點以及區塊鏈共識節點申請加入訓練，參與訓練的客戶端節點和區塊鏈共識節點發送各自的公鑰，客戶端公布本地的數據集的大小Si，任務發布者R向共識節點發送一小部分驗證數據集Dv。

準備工作完成后，模型請求者R將初始模型打包成區塊Block0，發布到區塊鏈中。

步驟2 客戶端訓練模型并壓縮梯度

客戶端i從與其綁定的共識節點j下載最新的全局模型，然后用全局模型替代本地模型參數，使用本地隱私數據集進行訓練。為了提高訓練效率，客戶端采用小批量梯度下降(mini-batch gradient descent，MBGD)進行訓練，如式(1)、式(2)所示

(1)

(2)

客戶端i在訓練完成后，采用基于殘差累積的梯度稀疏化方法來壓縮梯度。基本思路是將每輪被壓縮的小梯度累積在本地作為殘差梯度，直到這些梯度達到某輪的壓縮閾值。梯度壓縮的具體過程如下。

(3)

(4)

(5)

算法1：ClientUpdate算法

輸入：本地數據集Di，學習率η，壓縮率C，全局訓練輪次k。

(3) for batchDb∈Dido

(5)end for

(9) for layerlof all layers do

(14) end if

(15) end for

(16)end for

步驟3 客戶端上傳本地梯度

步驟4 節點驗證階段

共識節點j接收到客戶端節點的交易后，使用i的公鑰驗證其數字簽名，確認身份后轉發該交易至其它區塊鏈節點，并進行參數質量評分。

步驟5 根據貢獻選出共識委員會節點

步驟6 領導人節點生成新區塊

領導人節點將本輪的全部合法事務打包成新區塊Blockk，區塊頭中保存前一個區塊的哈希值hashk-1、當前區塊的哈希值hashk、時間戳timestampk、領導人的公鑰PKleader(k)、領導人的數字簽名signleader(k)和本輪的全局梯度gk，區塊體以Merkle樹的數據結構保存全部的合法事務。為降低投毒攻擊對模型的影響，計算全局梯度時以客戶端得分為遴選標準，根據遴選率S選擇客戶端梯度進行全局梯度的聚合。經過超過三分之二共識委員會節點驗證通過后，新區塊將廣播給其它區塊鏈節點保存上鏈。

步驟7 客戶端下載區塊，繼續訓練

接收到新區塊的區塊鏈節點將其轉發給與其綁定的所有客戶端節點，客戶端下載后根據其中的全局梯度gk更新本地模型，并開始下一輪訓練。

重復步驟2～步驟7，直到訓練次數達到聯邦學習目標訓練輪數。

2 基于雙因子貢獻的區塊鏈共識機制

共識機制是區塊鏈系統[19-21]的核心組件之一，實用拜占庭容錯(practical byzantine fault tolerance，PBFT)共識算法[22]相比于工作量證明和權益證明(proof of stake，PoS)等[23]需要提供挖礦證明的算法，共識效率高，系統吞吐量也更大，能夠滿足聯邦學習對系統吞吐量的需求。

然而，傳統PBFT共識算法選取領導人節點是隨機的，可能會選出拜占庭節點。為了提高基于聯盟鏈的聯邦學習系統的穩定性和效率，本文設計了一種基于雙因子貢獻的PBFT共識機制，該機制首先根據聯邦學習模型貢獻選舉共識委員會，再通過節點行為貢獻選舉領導人節點，有效激勵擁有優質數據集的客戶端參與模型訓練，同時提高區塊鏈系統的穩定性。

2.1 模型貢獻評估機制

系統中的區塊鏈節點分為領導人節點、委員會節點和普通節點，委員會節點由普通節點根據模型貢獻選舉得出，領導人節點是行為貢獻最高的委員會節點。每個區塊鏈節點j都綁定了若干聯邦學習客戶端i。在每輪訓練中，根據客戶端提交的參數質量為客戶端評分，評分公式如下

(6)

(7)

因此，為了綜合考量節點的歷史模型貢獻，本方法使用了一種基于牛頓冷卻定律的時間衰減函數來計算節點歷史模型貢獻值。

(8)

(9)

投毒攻擊是聯邦學習中常見的一種攻擊方式，該攻擊通過惡意修改本地訓練樣本或者上傳錯誤的梯度來降低聯邦學習質量。為了抵御投毒攻擊，本文結合模型貢獻評估機制，提出了一種基于貢獻的聯邦學習聚合算法，在每輪聚合全局梯度時，根據遴選率S聚合評分較高的客戶端提交的梯度，并根據客戶端評分分配權重。每輪聚合全局模型的公式如下

(10)

式中：L是遴選出的評分較高的客戶端評分序列，scoreL是遴選出的客戶端評分之和。

全局模型訓練的偽代碼如下所示：

算法2：GlobalTrain算法

輸入：目標訓練輪數T，客戶端節點數量NC，驗證集Dv，學習率η，梯度壓縮率C，客戶端遴選率S。

輸出：全局模型wT。

(1)initial:w0;

(2)forkin range(T) do

(3) foriin range(NC) do

(5) end for

(6)L←sortClient(scorek,S);

(7)gk←0;

(10) end for

(11)wk+1←wk-gk;

(12)end for

(13)returnwT;

在所有客戶端都上傳了梯度或者達到最大等待時長后，進入共識委員會選舉階段。計算節點的模型貢獻分，由模型貢獻最高的若干節點組成共識委員會。

2.2 行為貢獻評估機制

區塊鏈系統需要節點共同參與維護，系統的穩定性取決于節點的行為。因此，本文引入了節點的行為貢獻機制來反映節點的性能與表現，通過節點的行為貢獻機制增加可信節點參與區塊鏈系統事務的概率。成功完成系統任務的節點將獲得行為貢獻分，未能按時完成工作的節點將被扣除部分行為貢獻分。在選舉出共識委員會節點后，節點的行為貢獻用于從中選舉打包區塊的領導人節點。

節點的行為包括：打包區塊、參與委員會共識、驗證客戶端參數。3種行為對應的貢獻用 〈b1，b2，b3〉 表示，對于區塊鏈節點j，每種行為貢獻計算公式如下

(11)

(12)

(13)

BS(j)=δ1×b1(j)+δ2×b2(j)+δ3×b3(j)

(14)

式中：δ1，δ2，δ3表示3種行為對應的權重，滿足δ1+δ2+δ3=1。 打包區塊和達成共識對區塊鏈系統的穩定至關重要，因此，3種權重的賦值應該遵循δ1>δ2≥δ3的原則。

為了降低區塊鏈系統中心化的程度，本文在共識機制中加入了領導人節點選舉冷卻機制，通過設置節點選舉冷卻間隔q來限制某一節點壟斷生成區塊權。即節點當選為領導人節點之后的q輪無法參與領導人節點的競爭。

選舉領導人節點時，根據行為貢獻分將共識委員會中的節點進行排序，由不處于冷卻間隔中的行為貢獻分最高的節點擔任本輪的領導人節點。選出共識委員會和領導人節點后，由領導人節點聚合該輪全局梯度gk，并生成區塊Blockk。

領導人節點打包區塊后，進入PBFT共識階段，PBFT共識分為4個階段：pre-prepare、prepare、commit和reply。在共識委員會節點確認新區塊為合法區塊后，提交合法更新的客戶端、領導人節點和共識委員會節點獲得區塊鏈獎勵，獎勵與貢獻評分成正比。在不超過三分之一節點為拜占庭節點的情況下，PBFT算法能夠保證最終一致性。

3 實驗與仿真

3.1 實驗設計

實驗數據集為經典MNIST數據集，該數據集由60 000個訓練樣本和10 000個測試樣本組成，每個數據樣本都是一張28×28的灰度圖像。聯邦學習需要考慮客戶端數據非獨立同分布(non independently identically distribution，Non-IID)的情況，為了測試Non-IID情況下系統性能，本實驗先將60 000個訓練樣本按照標簽排序，排序后均勻分成200份，每份300個樣本。實驗客戶端數量為50，每個客戶端擁有4份數據。在IID情況下，本實驗將訓練樣本隨機打亂后均勻分配。給客戶端評分的驗證集來自測試集中按標簽均勻選取的100個樣本，全局模型測試集為全部的10 000個測試樣本。

實驗中客戶端采用卷積神經網絡(conventional neural network，CNN)作為訓練模型。共包含3層3×3的卷積層，激活函數為Relu，學習率為0.01，損失函數為交叉熵損失函數。更新全局模型時采用本文提出的基于貢獻的聚合算法。基于Python3.7、Tensorflow2.5和Keras框架設計神經網絡。實驗在本機設置50個客戶端節點模擬聯邦學習場景，使用Django框架仿真區塊鏈功能，提供創建事務、上傳事務、打包區塊和下載區塊等功能。

實驗環境配置參數：處理器Intel(R)Core(TM)i7-9750H CPU @ 2.60 GHz 2.59 GHz，顯卡NVIDIA GeForce GTX1650，內存16 GB，操作系統Windows10。

3.2 實驗結果與分析

3.2.1 模型精度與壓縮率關系分析

本節分析了模型精度與梯度壓縮率的關系。如圖2、圖3所示，在兩種不同分布情況下，隨著梯度壓縮率的提高，模型收斂速度有所下降。iid分布時，與不壓縮梯度的聯邦學習算法對比，采用90%和95%梯度壓縮率的模型精度幾乎沒有損失，采用99%壓縮率時精度下降略高，達到了1.52%。Non-iid分布下，采用95%以下的梯度壓縮率，模型精度也幾乎沒有降低，在采用99%壓縮率時精度下降了1.05%。

圖2 iid分布下壓縮率與模型準確率關系

圖3 Non-iid分布下壓縮率與模型準確率關系

實驗結果表明，采用過大的梯度壓縮率，會因丟棄太多梯度，對聯邦學習模型精度產生較大影響。采用95%以下的梯度壓縮率對模型精度的影響很小，而且上傳壓縮后的梯度能夠防止梯度泄露，保護客戶端數據隱私。

3.2.2 模型魯棒性分析

在真實的系統運行環境中，可能會出現低質量數據影響模型整體質量，甚至惡意節點使用投毒攻擊破壞模型的情況。為了評估系統的魯棒性，實驗模擬了投毒攻擊的情形，根據投毒率將部分客戶端訓練樣本的標簽進行更改。實驗中梯度壓縮率設置為95%。

文獻[24]算法基于客戶端模型準確率篩選客戶端進行全局模型聚合來抵御投毒攻擊，Multi-Krum[25]算法通過計算客戶端梯度與其它梯度的距離，為客戶端打分，選擇得分最低的部分梯度作為合法梯度參與聚合。圖4和圖5分別展示了在iid和Non-iid分布下，30%投毒攻擊時，本文聚合算法與FedAvg算法、文獻[24]算法、Multi-Krum算法的模型損失對比結果，其中，本文聚合算法的遴選率設置為70%。

圖4 iid分布時不同算法在投毒攻擊下模型的損失

圖5 Non-iid分布時不同算法在投毒攻擊下模型的損失

由圖4可知，在客戶端數據集符合iid的條件下，30%投毒攻擊會讓采用傳統FedAvg聚合算法的模型無法收斂，因為FedAvg算法只是對所有客戶端梯度進行了簡單的加權平均，惡意梯度會嚴重影響全局模型；使用文獻[24]聚合算法的收斂速度明顯下降，因為以準確率作為聚合標準存在一定的隨機性，惡意梯度有可能和正常梯度得到相同準確率；采用70%遴選率的本文聚合算法的模型收斂性能幾乎能達到無投毒攻擊的水平，而且也未出現收斂速度下降的情況，這是因為惡意梯度的損失低于正常梯度的可能性極低，因此，以損失作為評價標準效果優于文獻[24]提出的以準確率作為評價標準。Multi-Krum算法在iid分布下效果也較好，但是由圖5可知，在Non-iid分布下，Mutli-Krum算法無法收斂，其模型性能甚至低于FedAvg算法，因為在Non-iid分布下，客戶端之間的梯度本來就存在很大差別，梯度之間的距離平方和無法作為判斷惡意梯度和正常梯度的標準。本文聚合算法在客戶端數據符合Non-iid的情況下也能達到很好的收斂效果，30%投毒攻擊情況下，本文聚合算法的收斂速度和最終模型損失都優于以上幾種聯邦學習聚合算法，模型損失接近無投毒攻擊水平。

表1和表2分別詳細記錄了本文聚合算法在iid條件下和Non-iid條件下，不同投毒率和遴選率對模型精度的影響(帶*號的表示采用傳統FedAvg聚合算法)。實驗結果表明，過大的遴選率無法充分抵御投毒攻擊，過小的遴選率會導致在沒有惡意節點的情況下模型精度下降較多。采用70%遴選率的模型綜合性能最好，能夠抵御30%比例的投毒攻擊。

表1 iid條件下投毒率、遴選率和準確率關系

表2 Non-iid條件下投毒率、遴選率和準確率關系

綜上所述，在兩種不同分布的情況下，使用本文聚合算法的模型性能優于其它聚合算法。這是因為本文聚合算法是根據客戶端參數質量進行遴選的，在無投毒攻擊的情況下，少量丟棄質量較低客戶端梯度并不會對整體模型產生較大影響，并且在面對投毒攻擊的情況下，本文聚合算法在保證模型收斂的同時，收斂速度也未顯著下降。

3.2.3 區塊鏈共識機制分析

實驗首先將誠實參與訓練的50個客戶端節點平均分配給10個區塊鏈節點。PBFT共識算法需要共識節點數量滿足3f+1，本實驗設定共識委員會節點數量為4。為了測試區塊鏈節點的行為貢獻，實驗時將10個區塊鏈節點的行為完成度ac設置為0.95，0.9，0.85，0.8和0.75，ac表示節點成功打包區塊、成功參與共識和驗證客戶端參數的概率。每兩個節點設置同一種ac，節點1和節點6的ac為0.95，節點2和節點7的ac為0.9，以此類推。所有節點初始行為貢獻分都設置為0。3種行為的權重分別設置為δ1=0.5，δ2=0.25，δ3=0.25， 懲罰系數設置為α1=2，α2=2。 節點選舉冷卻機制的冷卻間隔設置為3。

節點行為貢獻分與區塊鏈長度的關系如圖6所示，隨著區塊鏈長度的增加，節點的行為貢獻分整體呈增長趨勢，并且行為貢獻分與ac呈正相關關系。有時低ac節點貢獻分大于高ac節點，這是因為只有模型貢獻較高的節點才有資格進入共識委員會參與共識和競爭打包區塊的資格。行為貢獻分降低是因為節點當選為領導人后未能按時生成新區塊，或成為委員會節點卻未能完成共識任務。

圖6 行為貢獻分與區塊鏈長度關系

圖7 打包區塊次數對比

為驗證本文共識算法在提高系統穩定性方面的有效性，本實驗與AHBFT[26]共識算法進行了對比。圖7展示了不同節點在采用兩種共識算法的情況下打包區塊次數的對比，AHBFT共識算法將模型準確率作為選舉主節點的指標，雖然增加了隨機數提高了節點選舉的隨機性，但是并未考慮節點參與區塊鏈事務的能力，因此在節點的模型質量相差不大的情況下，節點成為主節點的次數大致一樣，這給區塊鏈系統帶來了不穩定的風險。本文共識算法不僅考慮了模型的質量，還將節點的行為貢獻作為領導人節點的選舉指標，ac高的節點成為領導人節點的機會更多，能夠提高區塊鏈系統的穩定性。而且并未出現單個節點壟斷區塊打包權的情況，說明節點選舉冷卻機制能夠有效降低系統中心化程度。

實驗結果表明，基于雙因子貢獻的區塊鏈共識機制能夠有效激勵節點參與模型訓練和提高區塊鏈系統的穩定性，節點冷卻機制能夠有效降低系統中心化程度。

3.2.4 系統時延分析

完成一輪模型訓練的時間分為3部分：客戶端本地模型訓練時間、區塊鏈共識時間、客戶端上傳和下載模型時間。本方法在客戶端上傳梯度時使用了梯度壓縮，經過測試，在壓縮95%梯度之后，僅傳輸梯度的索引和值，數據量大小約為無壓縮時的9.25%。基于雙因子貢獻的PBFT共識算法在選舉委員會節點和領導人節點時需要進行客戶端和區塊鏈共識節點的貢獻評分和排序，評分階段耗時與節點數量呈正相關關系，排序階段使用堆排序，耗時與評分相比可以忽略不計。

在不同數量客戶端參與訓練的情況下，使用本文算法和使用PBFT共識的傳統基于區塊鏈的聯邦學習算法(blockchain based federated learning，BFL)的區塊鏈共識時延對比如圖8所示，區塊鏈共識時間隨客戶端數量增加而增長，這是因為隨著客戶端數量的增多，共識時轉發的數據量也在增加。在使用了95%梯度壓縮之后，共識時間大大減少，平均共識時間減少為原始算法的18.75%。

圖8 共識時延對比

實驗結果表明，本文算法在保證模型質量的同時，能有效減少通信壓力，并且設計的基于雙因子貢獻的區塊鏈共識機制，能夠吸引高質量節點積極參與訓練，提升區塊鏈系統共識效率和穩定性。

4 結束語

本文提出了一種基于聯盟鏈的可信聯邦學習方法，利用區塊鏈解決了傳統聯邦學習中單點故障的問題；通過使用梯度壓縮減少了通信壓力，并且上傳壓縮后的梯度可以降低梯度泄露的風險；提出了一種基于貢獻的聯邦學習聚合算法，根據模型質量進行參數遴選和聚合權重分配，降低了投毒攻擊和低質量數據對全局模型的影響；設計了一種基于雙因子貢獻的區塊鏈共識算法，綜合考慮節點的模型貢獻和行為貢獻，在防止系統中心化的前提下能夠激勵優質節點參與系統的訓練和維護。在未來的工作中，考慮將節點收益用于聯邦學習模型交易，并進一步研究區塊鏈共識協議的效率和公平性。