一種基于區塊鏈和梯度壓縮的去中心化聯邦學習模型

摘要： 聯邦學習可在保護數據隱私的前提下完成模型的訓練，但實際應用中存在的安全問題阻礙了聯邦學習的發展。提出一種基于區塊鏈和梯度壓縮的去中心化聯邦學習模型。首先，利用區塊鏈存儲訓練數據，訓練參與方通過全局模型本地更新的方式取代中心服務器并使用智能合約實現對鏈上數據的訪問控制。其次，提出一種梯度壓縮方法，對模型參數進行壓縮以減少參與方與區塊鏈之間的數據傳輸量且有效防止了梯度隱私泄露。最后，為減弱梯度壓縮對全局模型收斂速度的影響，使用熱身訓練的方式提升全局模型的收斂速度以縮短整體訓練時間。實驗結果表明，該模型在減少傳輸數據量的情況下對全局模型準確率有較小影響且提升了聯邦學習訓練效率。

關鍵詞： 區塊鏈； 聯邦學習； 智能合約； 梯度壓縮； 隱私保護

中圖分類號： TP302

文獻標志碼： A

文章編號： 1671-6841（2024）05-0047-08

DOI： 10.13705/j.issn.1671-6841.2023013

A Decentralized Federated Learning Model Based on Blockchain and

Gradient Compression

LIU Wei1，2，3， MA Jie1，2， XIA Yujie1，2， TANG Congke1，2， GUO Haiwei4， TIAN Zhao1，2

（1.School of Cyber Science and Engineering， Zhengzhou University， Zhengzhou 450002，China;

2.Zhengzhou Key Laboratory of Blockchain and Data Intelligence， Zhengzhou 450002，China;

3.Henan Collaborative Innovation Center of Internet Medical and Health Services， Zhengzhou University，

Zhengzhou 450052， China; 4.Information Management Center， Zhongyuan Oilfield Branch of

Sinopec， Puyang 457001，China）

Abstract： Federated learning could complete the training of models while protecting data privacy， but security issues in practical applications hindered the development of federated learning. A decentralized federation learning model based on blockchain and gradient compression was proposed. Firstly， a blockchain was used to store training data， and the training participants replaced the central server by local updates of the global model and used smart contracts to achieve access control to the data on the chain. Secondly， a gradient compression method was proposed to compress the model parameters to reduce the amount of data transmission between the participants and the blockchain and effectively to prevent the gradient privacy leakage. Finally， to reduce the impact of gradient compression on the convergence speed of the global model， a warm-up training method was used to improve the convergence speed of the global model to shorten the overall training time. The experimental results showed that the model had a small impact on the global model accuracy and improved the federal learning training efficiency with the reduced amount of transmitted data.

Key words： blockchain; federal learning; smart contract; gradient compression; privacy protection

0 引言

聯邦學習（federated learning，FL）［1］作為一種隱私計算解決方案，其目的是在保護數據隱私的前提下完成模型訓練的相關任務，與傳統的集中式機器學習相比，聯邦學習可以在數據不出本地的情況下完成模型訓練，可有效打破“數據孤島”。聯邦學習的快速發展，使其在實際應用過程中也產生了一系列安全問題。

1） 中心化服務器［2］。中心化聯邦學習對全局模型的更新依賴中心服務器，這種服務器常由不可信第三方進行提供，當第三方不可信或中心服務器因遭受攻擊而宕機時，全局模型無法更新，導致聯邦學習過程被迫中止并造成全局模型的泄露。

2） 梯度隱私泄露［3］。全局模型的更新需要聚合局部模型，局部模型中的數據包含參與方的數據隱私，惡意攻擊者可以利用DLG［4］方法或iDLG［5］方法從局部模型中推斷出參與方所持有的數據和標簽，造成參與方的數據泄露。

3） 網絡傳輸負擔［6］。聯邦學習中心服務器在每輪全局更新開始階段與結束階段需要與參與方進行數據交互，模型參數在數據交互中占比很大。隨著深度學習的發展，一個復雜的深度學習網絡包含的模型參數數據量高達數百兆［7］。當訓練參與方數量較多時，與中心服務器進行數據交互會產生通信瓶頸，影響聯邦學習的訓練效率。

區塊鏈是將密碼學、P2P、智能合約、共識機制結合起來形成的一個分布式共享賬本［8］，具有去中心化、不可篡改、可追溯等特性。將區塊鏈和聯邦學習相結合可以解決聯邦學習的部分安全問題：利用區塊鏈去中心化的特點代替聯邦學習的中心服務器完成模型全局更新過程；利用區塊鏈不可篡改的特性記錄聯邦學習中參與方的局部模型以及全局模型，在遭受攻擊時或需要溯源時參與方節點進行追責。

雖然區塊鏈和聯邦學習相結合提升了訓練過程的安全性和可追溯性，但大批量數據的上鏈操作會嚴重影響區塊鏈的效率，拖慢整體訓練速度，因此需要減少傳輸數據量，以加快整體訓練速度。

綜上所述，為提高參與方與區塊鏈網絡間的通信效率并增強隱私保護，本文構建了一種基于區塊鏈和梯度壓縮的去中心化聯邦學習模型。首先，利用區塊鏈存儲訓練數據，訓練參與方通過全局模型本地更新的方式取代中心服務器并使用智能合約實現對鏈上數據的訪問控制。其次，為提升區塊鏈網絡效率，提出一種梯度壓縮方法，通過對模型參數進行壓縮以減少參與方與區塊鏈之間的數據傳輸量且有效防止了梯度隱私泄露。最后，為減弱梯度壓縮對全局模型收斂速度的影響，使用熱身訓練的方式提升全局模型的收斂速度以縮短整體訓練時間。

1 相關工作

針對運用區塊鏈技術解決聯邦學習中存在的相關問題，眾多學者提出了相關方案。Hu等［9］提出了一個基于區塊鏈和邊緣計算的高效去中心化聯邦學習框架，同時將CKKS方案應用于模型聚合和遠程評估，為模型構建提供了一種通用方法。Sun等［10］提出了一種基于Hyperledger Fabric框架的聯邦學習系統，通過區塊鏈記錄每個全局模型的更新過程并追蹤本地更新過程，使用同態加密來保護本地模型更新，在本地模型聚合之前添加差分隱私來保護隱私。Peng等［11］提出一個名為VFChain的基于區塊鏈系統的可驗證和可審計的聯邦學習框架，通過區塊鏈選擇一個委員會來聚合模型并在區塊鏈中記錄，并提出了一種新的區塊鏈認證數據結構以提高可驗證證明的搜索效率。Li等［12］設計了一個區塊鏈輔助分散聯邦學習框架BLADE-FL，每個參與方將其經過訓練的模型廣播給其他參與方，將自己的模型與接收的模型聚合，然后在下一輪本地訓練之前競爭生成區塊，同時為廣播前的模型添加噪聲來防止隱私泄露。Liu等［13］提出一個名為FedAC的聯邦學習方法，利用區塊鏈網絡取代中央服務器來聚合全局模型，避免了異常本地設備訓練失敗、專用攻擊等問題。Shlezinger等［14］提出了名為UVeQFed的聯邦學習通用矢量量化方法，通過此方法可以產生一個分散的訓練系統，其中訓練模型的壓縮僅引起最小準確率損失。Cui等［15］提出了一種名為BCFL的聯邦學習方法，其將聯邦學習和區塊鏈相結合，并使用一種梯度壓縮方法減小上傳的模型數據量。Desai等［16］提出了一個基于混合區塊鏈的聯邦學習框架，該框架使用智能合約自動檢測，并通過罰款懲罰惡意攻擊者，使用二進制壓縮方法對模型進行壓縮，提升了框架效率。

上述研究主要是利用區塊鏈結構的不可篡改性記錄聯邦學習過程中的模型及聚合過程，利用加密算法對模型進行加密，利用廣播的形式聚合全局模型取代中心服務器，在解決聯邦學習通信瓶頸時通過減少模型參數量進行優化。本文提出的基于區塊鏈和梯度壓縮的去中心化聯邦學習模型，利用區塊鏈存儲訓練數據，參與方從區塊鏈上獲取訓練數據后采用全局模型本地更新的方式取代中心服務器，利用梯度壓縮方法減少鏈上傳輸數據量，利用熱身訓練方式減弱梯度壓縮對訓練速度的影響。

2 模型設計

2.1 系統模型

本文構建了一個基于區塊鏈和梯度壓縮的去中心化聯邦學習模型。該模型主要由區塊鏈網絡、聯邦學習參與方和智能合約構成?；趨^塊鏈和梯度壓縮的去中心化聯邦學習模型如圖1所示。

1） 區塊鏈網絡。利用區塊鏈網絡存儲訓練數據，主要包括模型信息、身份信息、驗證信息和評價信息等數據。

2） 聯邦學習參與方。聯邦學習參與方又分為任務發布方與訓練參與方。任務發布方向訓練參與方發布訓練任務并授予身份信息；訓練參與方利用本地數據進行訓練并參與模型共識過程。

3） 智能合約。智能合約為聯邦學習參與方與區塊鏈之間提供安全的數據接口，在共識階段通過調用智能合約對模型進行驗證及評價。

在本文設計的模型中，任務發布方首先向訓練參與方發布訓練任務及身份信息，并向區塊鏈網絡傳輸初始全局模型，訓練參與方獲取訓練任務及身份信息后調用數據交互合約從區塊鏈中獲取初始全局模型，利用本地數據完成模型訓練后獲得局部模型，對局部模型梯度壓縮后調用數據交互合約傳輸訓練數據。其余參與方檢測到區塊長度增加后，調用模型驗證合約對該局部模型進行驗證，在驗證結束后調用模型評價合約對該局部模型進行評價記錄。訓練參與方上傳局部模型后等待其余訓練參與方完成訓練并上傳局部模型，當產生的局部模型數量達到更新閾值時，從區塊鏈上獲取其余參與方的局部模型后在本地生成新的全局模型并開展新一輪的模型訓練，直至訓練結束。

2.2 智能合約

2.2.1 智能合約設計

本模型設計了四個智能合約來記錄和驗證模型數據，分別為身份驗證合約、數據交互合約、模型驗證合約和模型評價合約。

1） 身份驗證合約。為阻止未經允許的參與方向區塊鏈網絡中上傳惡意信息，以及對局部模型的溯源操作，該合約對調用合約參與方進行身份驗證以控制鏈上數據訪問。

2） 數據交互合約。提供參與方與區塊鏈之間數據接口，并記錄參與方的訪問時間與訪問次數，參與方通過該合約上傳或下載全局輪次、模型類型、模型參數、全局模型哈希、模型準確率等信息。

3） 模型驗證合約。在聯邦學習中，惡意參與方會發起投毒攻擊以干擾聯邦學習訓練，或是參與方不參與全局模型的更新，仍使用舊模型或其他模型進行訓練而導致模型質量下降。模型驗證合約對上傳的模型進行驗證。首先，驗證本輪次訓練的全局模型，即驗證全局模型哈希是否正確。其次，利用本地數據計算該局部模型準確率，判斷該模型是否為投毒攻擊。最后，對此模型投票，獲得半數以上票數則接受該模型，否則拒絕該局部模型。

4） 模型評價合約。當一個參與方所上傳的局部模型被多次拒絕，則有理由認為該參與方可能為惡意參與方或該參與方所擁有的本地數據不符合聯邦學習訓練要求。模型評價合約記錄各參與方所上傳的局部模型遭受拒絕次數，當某個參與方遭受拒絕次數達到拒絕閾值時，則移除該參與方的身份信息，拒絕參與此次聯邦學習訓練。

2.2.2 智能合約調用過程

聯邦學習訓練參與方調用智能合約過程如圖2所示。當某個訓練參與方完成聯邦學習局部模型的訓練后，首先調用數據交互合約獲取數據接口，數據交互合約會調用身份驗證合約來驗證參與方的身份信息，以保證區塊鏈上數據訪問的安全性，身份驗證無誤后將數據模型上傳至區塊鏈網絡。

共識小組由除該局部模型擁有者之外的其余訓練參與方構成。共識小組監聽區塊鏈網絡長度變化，當發現新的局部模型被上傳至區塊鏈網絡后，調用模型驗證合約對局部模型進行驗證。模型驗證合約將調用數據交互合約從區塊鏈網絡獲取新的局部模型，之后共識小組利用本地數據對該局部模型進行驗證并投票，并將該局部模型的驗證結果上傳至區塊鏈網絡。若該局部模型被拒絕，則調用模型評價合約對該局部模型擁有者進行記錄，并將評價信息上傳至區塊鏈網絡。

2.3 梯度壓縮

為減少訓練參與方與區塊鏈網絡的數據傳輸量，本文使用梯度壓縮算法對模型進行壓縮，使用梯度解壓算法對模型進行還原，并使用熱身訓練算法減弱梯度壓縮對模型收斂速度造成的影響。

2.3.1 梯度壓縮算法

在該模型下的聯邦學習中，訓練參與方要與區塊鏈網絡之間傳輸大量的訓練數據，此過程不僅需要耗費時間和網絡帶寬，也降低了區塊鏈網絡的效率，此外在全局模型的本地聚合過程中下載其余參與方的局部模型也需要耗費大量的資源。在分布式架構的深度學習模型中，99%的梯度交互通信是冗余的［17］。這些冗余的梯度耗費了大量的資源。本文提出一種梯度壓縮算法來降低訓練參與方和區塊鏈網絡之間的通信數據量，該方法可以提升訓練效率并防止梯度隱私泄露。

梯度壓縮算法如算法1所示。本算法使用本輪本地模型與上輪全局模型的差值作為梯度（grad），逐層對梯度中的參數進行采樣，根據壓縮率p和采樣后的梯度參數確定選擇閾值（t），只選取梯度絕對值大于t的梯度進行傳輸。壓縮率p定義為

p=size（select（Gw））/size（Gw），（1）

其中：select（Gw）是選擇大于t進行傳輸的梯度參數；size（Gw）是計算梯度參數的數量。

使用top-k算法確定t時，若不使用分層采樣方式，需要對每層梯度的所有參數進行top-k運算，算法復雜度為O（n），n為梯度參數數量，此過程耗費大量的時間進行計算。因此在算法開始階段首先對每層梯度進行采樣，對采樣結果進行top-k運算可減少t的確定時間。

采樣過程首先由式（2）確定每層梯度的采樣數量（sample），

sample=q×size（Gw）。（2）

由于每層梯度Gw的參數數量不同，為保證采樣質量，根據式（3）設置最小采樣數量min_sample。采樣數量小于min_sample時對Gw進行全部采樣，

min_sample=1/p。（3）

本文使用固定間隔對每層梯度Gw中的參數進行抽取，使用式（4）確定采樣步長（step），若進行全部采樣則設置step為1。將固定間隔設置為step，對Gw進行采樣得到Gsample，

step=1/q。（4）

對采樣結果Gsample的絕對值執行top-k運算，k值由式（5）確定，選取運算結果中的最小值即為t，

k=p×size（Gsample）。（5）

在確定t后，根據Gw生成相同形狀的掩碼矩陣Mask，存儲梯度參數位置。若Gw中的參數絕對值≥t，則將Mask的對應位置設置為1，否則設置為0。然后將Gw與Mask進行點乘運算得到傳輸梯度G′w。將G′w和Mask轉為不含0的一維梯度值（values）與梯度坐標（indices）后，作為梯度Gw進行輸出。

算法1 梯度壓縮算法

輸入： 梯度壓縮前集合grad={G1，…，Gn}，壓縮率p，采樣率s。

輸出： grad。

1. for w←1 to W

2. 采樣Gsample←s of Gw

3. 確定選擇閾值t←p of Gsample

4. Mask←Gw>t

5. G′w←Gw⊙Mask

6. indices←將Mask轉為不含0的一維張量

7. values←將G′w轉為不含0的一維張量

8. Gw←indices，values

9. end for

2.3.2 梯度解壓算法

從區塊鏈下載得到壓縮后的局部模型，所含梯度的維度與參數量都與壓縮前的梯度不同，無法直接使用，需要使用梯度解壓算法將梯度還原成壓縮前的維度與所含參數量。

梯度解壓算法如算法2所示。參與方將接收的局部模型中的梯度拆分為梯度坐標（indices）與梯度值（values），因在聯邦學習過程中只改變模型相關參數而不改變模型形狀，故只讀取初始模型每層的初始形狀（shape）即可完成梯度解壓過程，而無須額外的參數傳輸。首先，按照每層shape轉為一維的形狀生成一維全0張量Gzero。然后，根據indices與values向全0張量Gzero相應位置插入數據，其余位置插入0。最后，將插入數據的張量轉為層梯度shape，從而完成整個梯度解壓的全過程，將梯度恢復至G′w。

算法2 梯度解壓算法

輸入： 梯度壓縮后集合grad={G1，…，Gn}，初始模型M0。

輸出： grad。

1. for w←1 to W

2. indices，values←Gw

3. shape←讀取M0中Gw層的維度形狀

4. Gzero←生成一維全0張量

5. for i，v in indices，values

6. Gzero［i］=v

7. end for

8. G′w←將Gzero轉為Gw維度形狀shape

9. end for

2.3.3 熱身訓練算法 在聯邦學習全局輪次開始迭代初期，初始模型M0變化迅速，梯度變化幅度明顯且多樣化。梯度壓縮因其壓縮率的影響限制了模型的變化范圍，從而延長了模型急劇變化的周期，降低了模型的收斂速度。為了減弱梯度壓縮對前期模型快速變化周期的影響，本文采用熱身訓練方法來幫助提升模型的收斂速度。熱身訓練算法如算法3所示。

在全局輪次g開始迭代初期，設置若干個周期為熱身輪次e，將壓縮率設置為熱身壓縮率wp，在這些周期內增加傳輸的梯度參數量來減弱梯度壓縮對模型變化的影響，熱身輪次結束后仍按照基礎壓縮率bp進行梯度壓縮。通過這種方式使模型在熱身訓練周期內快速變化，加快模型的收斂速度。

算法3 熱身訓練算法

輸入： 全局迭代次數g，熱身輪次e，熱身壓縮率wp，基礎壓縮率bp。

輸出： 壓縮率p。

1. for i←1 to g

2. if 熱身訓練

3. ?;if i<e

4. p←wp［e］

5. 梯度壓縮 compression（grad，p，s）

6. end if

7. end if

8. 梯度壓縮 compression（grad，bp，s）

9. end for

3 實驗分析

3.1 實驗設置

為了評估本文所提方法的性能，基于CIFAR-10數據集進行實驗，該數據集包含50 000張訓練圖像和10 000張測試圖像，每個樣本是一個32×32×3的彩色圖像，共10種分類。resnet網絡作為深度學習領域中具有代表性的網絡，其在分類任務與目標檢測任務中都有較好的性能表現，實驗分別訓練測試resnet18、resnet50這兩種DNN模型的圖片分類性能。兩種模型都采用SGD優化器更新策略，小批量尺寸為32，學習率0.01，動量0.01。在聯邦學習模型中設置10個訓練參與方，本地迭代3輪。本實驗運行環境為Intel（R） Xeon（R） E5-2620 2.10 GHz CPU， 32 GB RAM，和兩個NVIDIA Tesla T4 GPU的硬件系統。

3.2 更新閾值選取實驗

為確定不同更新閾值對聯邦學習全局模型準確率造成的影響，分別使用3、5、7作為更新閾值，使用resnet18、resnet50模型分別進行訓練，并根據模型對數據集中的訓練結果計算準確率，以確定訓練參與方從區塊鏈網絡下載其余參與方的局部模型的更新閾值。其結果如圖3所示。

從實驗結果中可知，使用不同更新閾值的兩種模型，前50輪的全局模型準確率隨著更新閾值的增長提升。resnet18模型三種更新閾值其第50輪準確率分別為83.49%、85.2%、85.7%。resnet50模型三種更新閾值其第50輪準確率分別為87.48%、88.28%、89.05%。k=3時的模型準確率與k=5或7時的模型準確率相比有較大差別。而k=5時與k=7時準確率接近。k值的增加雖然會提升全局模型準確率，但也會拖慢聯邦學習模型的效率。綜合考慮，本文使用k=5進行后續實驗。

3.3 梯度壓縮實驗

為測試不同壓縮率壓縮模型后的效果，本文使用不同壓縮率在兩種模型上分別進行了多次實驗。

實驗首先將模型參數輸出至文件中計算模型的初始大小，然后分別使用0.1～0.5壓縮率對模型進行壓縮并輸出至相同格式的文件中，通過統計文件實際大小以得到壓縮后的模型尺寸。resnet18、resnet50模型壓縮前及不同壓縮率壓縮后的結果如表1所示。

從壓縮結果來看，隨著壓縮率的不斷降低，壓縮 后的模型大小在不斷減小。模型實際壓縮率（ACR）由式（6）計算得到，

ACR=CMS/MS，（6）

其中：CMS為壓縮后的模型大??；MS為壓縮前的模型大小。

根據2.3.1節的梯度壓縮算法可知，壓縮后的模型由大于閾值的梯度和梯度的坐標構成，故壓縮后的模型體積大于由壓縮率計算得出的模型體積。壓縮率為0.5時測得實際壓縮率為0.74，壓縮差值為0.24。模型壓縮率為0.1時測得實際壓縮率為0.14，超過的部分是由于需要將梯度坐標保存在壓縮后的數據中而產生的數據，壓縮率越低，實際壓縮率也越接近壓縮率。對比兩模型的結果可知，在相同的壓縮率下，不同模型的實際壓縮率基本相同，故該梯度壓縮方法可適用于不同的深度學習模型。

為確定壓縮率對準確率造成的影響，實驗測試在0.1～0.5壓縮率下的resnet18和resnet50模型準確率的變化情況，對不同壓縮率下的同一模型執行相同次數的局部與全局迭代，統計模型多次訓練后的準確率再進行平均，得到的兩種模型在不同壓縮率下的準確率如表2所示。

從不同壓縮率下準確率的結果來看，隨著壓縮率的不斷減小，參與方傳輸的數據量在不斷減少，所獲取的全局模型準確率也有所降低。使用壓縮率為0.5時兩種模型的準確率幾乎沒有變化。使用壓縮率為0.1時，resnet18模型的準確率僅降低了0.95%，resnet50模型準確率僅降低了0.73%。整體上看，使用較低壓縮率對模型準確率影響較小，因此本文提出的模型是有效且可行的。

3.4 熱身訓練實驗

在使用梯度壓縮進行實驗的過程中觀察到使用較低的梯度壓縮率會減慢模型的收斂速度，雖經過長時間的全局迭代后也能讓全局模型收斂并獲得較高的準確率，但不能為了追求壓縮效率而減弱了聯邦學習整體效率。實驗首先統計了resnet18模型使用不同壓縮率前20輪準確率變化情況，其結果如圖4所示。

從圖4可以看出壓縮率（p）為0.3～0.5的收斂速度較為相似且較接近于壓縮率為1.0的收斂速度，而使用壓縮率為0.2的模型在第12輪左右也與使用壓縮率為0.3～0.5的模型準確率較為接近，準確率上升最慢的是壓縮率為0.1的模型，直至第20輪也未能完成模型的快速收斂過程并達到準確率緩慢上升的階段。若在聯邦學習中直接使用較低壓縮率壓縮后的模型參與全局模型更新會影響聯邦學習的效率。在第20輪時，使用壓縮率為0.1的模型其準確率僅為76.35%，而壓縮率為1.0的模型在第6輪準確率就達到了76.65%，且在前5輪次中壓縮率為1.0的模型準確率快速上升并處于快速收斂階段。因此在訓練前期使用對模型收斂速度影響較小的壓縮率將提升聯邦學習的效率。

根據這一觀察結果，在實驗中將全局迭代前5輪設置為熱身輪次，在此輪次里分別使用0.2～0.5作為熱身壓縮率，結束熱身訓練輪次后壓縮率仍使用0.1進行壓縮，同時設置壓縮率為1.0與壓縮率為0.1且不使用熱身訓練為對照，resnet18模型使用熱身訓練前50輪準確率變化情況如圖5所示。

從實驗結果中可以看到，使用熱身訓練方法的模型其收斂速度比不使用熱身訓練方法的模型收斂速度快。同時在熱身輪次中，使用較高壓縮率的模型其收斂速度快于低壓縮率的模型。在第20輪左右用熱身壓縮率為0.5的模型準確率開始緩慢上升。在訓練結束的第50輪時，使用熱身壓縮率為0.5的模型其準確率較不使用熱身訓練的模型提升了0.35%。雖然在熱身輪次中使用較高壓縮率增加了數據傳輸量，但同時提升了模型準確率，因此在熱身輪次使用對傳輸參數數量影響較小的壓縮率可有效提升模型收斂速度，縮短聯邦學習的訓練時間。針對聯邦學習的復雜情況，熱身訓練方法可適用于短時間低數據傳輸的聯邦學習場景中。

3.5 梯度隱私泄露實驗

為驗證梯度壓縮對梯度隱私泄露的保護作用，分別使用不同壓縮率驗證在DLG和iDLG兩種梯度隱私攻擊方法中的隱私保護效果，實驗結果如圖6、圖7所示。

從實驗結果可以看出，梯度壓縮對梯度隱私泄露有保護作用。隨著壓縮率的降低，使用DLG和iDLG兩種梯度隱私攻擊方法對圖片的還原效果逐漸降低。在壓縮率為1.0時，使用兩種梯度隱私攻擊方法可以完全還原圖片，使用梯度壓縮后，當壓縮率為0.9時仍可判斷圖片；壓縮率為0.8時對比原始圖片隱約可看到圖片輪廓；使用更低的壓縮率后無法判斷還原出的圖片。從實驗結果可知，使用0.8以下的壓縮率可有效預防DLG和iDLG兩種梯度隱私攻擊方法。

4 結論

本文提出一種基于區塊鏈和梯度壓縮的去中心化聯邦學習模型。首先，利用區塊鏈存儲訓練數據，并采用全局模型本地更新的方式代替傳統中心服務器。其次，因區塊鏈網絡傳輸數據效率較低且局部模型中存在大量冗余數據，提出梯度壓縮算法，在確保模型準確率的前提下減少各訓練參與方的傳輸數據量，并有效保護了梯度隱私。最后，為減弱梯度壓縮對全局模型收斂速度的影響，采用熱身訓練的方式加快模型收斂。經實驗證明，本文所提出的聯邦學習模型在保證準確率的情況下減少了數據傳輸且提升了聯邦學習訓練效率。

然而，基于區塊鏈和梯度壓縮的聯邦學習模型仍存在一些不足，在全局模型更新時，等待其余參與方上傳局部模型的過程中可能需要耗費大量時間，此過程也會減慢聯邦學習的效率。在接下來的工作中將采用激勵機制和異步更新的方法進行研究，以提高模型的效率。

參考文獻：

［1］ MCMAHAN H B， MOORE E， RAMAGE D， et al. Federated learning of deep networks using model averaging［EB/OL］. （2016-02-17）［2022-09-20］. https：∥arxiv.org/abs/1602.05629.

［2］ 劉煒， 唐琮軻， 馬杰， 等. 區塊鏈在隱私計算中的應用研究進展［J］. 鄭州大學學報（理學版）， 2022， 54（6）： 12-23.

LIU W， TANG C K， MA J， et al. Application research and progress of blockchain in privacy computing［J］. Journal of Zhengzhou university （natural science edition）， 2022， 54（6）： 12-23.

［3］ 陳明鑫，張鈞波，李天瑞.聯邦學習攻防研究綜述［J］.計算機科學，2022： 49（7）：310-323.

CHEN M X，ZHANG J B，LI T R.A review of research on attack and defense of federal learning ［J］.Computer science， 2022： 49（7）：310-323.

［4］ ZHU L，LIU Z，HAN S.Deep leakage from gradients ［M］.Federated Learning. Cham： Springer International Publishing， 2019.

［5］ ZHAO B， MOPURI K R， BILEN H. iDLG： improved deep leakage from gradients［EB/OL］. （2020-01-08）［2022-09-20］. https：∥arxiv.org/abs/2001.02610.

［6］ CHEN M Z， SHLEZINGER N， POOR H V， et al. Communication-efficient federated learning［J］. Proceedings of the national academy of sciences of the United States of America， 2021， 118（17）： e2024789118.

［7］ HE K M， ZHANG X， REN S Q， et al. Deep residual learning for image recognition supplementary materials［EB/OL］. （2015-12-10）［2022-09-20］. https：∥doi.org/10.48550/arXiv.1512.03385.

［8］ MERMER G B， ZEYDAN E， ARSLAN S S. An overview of blockchain technologies： principles， opportunities and challenges［C］∥The 26th Signal Processing and Communications Applications Conference. Piscataway： IEEE Press， 2018： 1-4.

［9］ HU S L， LI J F， ZHANG C X， et al. The blockchain-based edge computing framework for privacy-preserving federated learning［C］∥IEEE International Conference on Blockchain. Piscataway： IEEE Press， 2022： 566-571.

［10］SUN J， WU Y， WANG S P， et al. Permissioned blockchain frame for secure federated learning［J］. IEEE communications letters， 2022， 26（1）： 13-17.

［11］PENG Z， XU J L， CHU X W， et al. VFChain： enabling verifiable and auditable federated learning via blockchain systems［J］. IEEE transactions on network science and engineering， 2022， 9（1）： 173-186.

［12］LI J， SHAO Y M， WEI K， et al. Blockchain assisted decentralized federated learning （BLADE-FL）： performance analysis and resource allocation［J］. IEEE transactions on parallel and distributed systems， 2022， 33（10）： 2401-2415.

［13］LIU Y H， QU Y Y， XU C H， et al. Blockchain-enabled asynchronous federated learning in edge computing［J］. Sensors， 2021， 21（10）： 3335.

［14］SHLEZINGER N， CHEN M Z， ELDAR Y C， et al. UVeQFed： universal vector quantization for federated learning［J］. IEEE transactions on signal processing， 2021， 69： 500-514.

［15］CUI L Z， SU X X， ZHOU Y P. A fast blockchain-based federated learning framework with compressed communications［J］. IEEE journal on selected areas in communications， 2022， 40（12）： 3358-3372.

［16］DESAI H B， OZDAYI M S， KANTARCIOGLU M. BlockFLA： accountable federated learning via hybrid blockchain architecture［C］∥Proceedings of the Eleventh ACM Conference on Data and Application Security and Privacy. New York： ACM Press， 2021： 101-112.

［17］CHEN T Y， SUN Y J， YIN W T. Communication-adaptive stochastic gradient methods for distributed learning［J］. IEEE transactions on signal processing， 2021， 69： 4637-4651.