基于隱私保護(hù)聯(lián)邦學(xué)習(xí)與區(qū)塊鏈的圖像分類方案

茆啟凡 王亮亮 王子涵

收稿日期：2023-06-05；修回日期：2023-08-01? 基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目（U1936213，61872230）；浙江省密碼技術(shù)重點(diǎn)實(shí)驗(yàn)室開放研究基金資助項(xiàng)目

作者簡介：茆啟凡（1998—），男，江蘇揚(yáng)州人，碩士研究生，主要研究方向?yàn)殡[私保護(hù)與聯(lián)邦學(xué)習(xí)；王亮亮（1984—），男（通信作者），河北滄州人，副教授，碩導(dǎo)，博士，主要研究方向?yàn)閼?yīng)用密碼學(xué)與信息安全（llwang@shiep.edu.cn）；王子涵（1997—），女，山東淄博人，碩士研究生，主要研究方向?yàn)橹悄茈娋W(wǎng)隱私保護(hù)與邊緣計(jì)算．

摘? 要：傳統(tǒng)的中心化圖像分類方法受制于數(shù)據(jù)隱私問題和計(jì)算資源限制，無法滿足實(shí)際需求?，F(xiàn)有的聯(lián)邦學(xué)習(xí)框架依賴中心服務(wù)器，存在單點(diǎn)故障和數(shù)據(jù)中毒攻擊等安全挑戰(zhàn)。為解決這些問題，提出了一種面向隱私保護(hù)聯(lián)邦學(xué)習(xí)與區(qū)塊鏈的圖像分類方案，通過將聯(lián)邦學(xué)習(xí)與區(qū)塊鏈技術(shù)相結(jié)合，實(shí)現(xiàn)在分布式環(huán)境下進(jìn)行圖像分類任務(wù)的可靠性和安全性。圖像分類模型通過聯(lián)邦學(xué)習(xí)進(jìn)行訓(xùn)練，并上傳至區(qū)塊鏈網(wǎng)絡(luò)進(jìn)行驗(yàn)證和共識(shí)；在分類階段，模型通過加權(quán)組合得到最終分類結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方案在確保用戶隱私的同時(shí)提高了圖像分類的準(zhǔn)確度，為解決圖像分類中的數(shù)據(jù)隱私和安全問題提供了一種有效途徑，并為提高分類準(zhǔn)確性作出了積極探索。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)；區(qū)塊鏈；圖像分類；隱私保護(hù)

中圖分類號(hào)：TP309.2??? 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）02-005-0356-05

doi：10.19734/j.issn.1001-3695.2023.06.0246

Image classification model based on privacy-preserving federated learning and blockchain

Mao Qifan1，Wang Liangliang1，2，Wang Zihan1

（1.College of Computer Science & Technology，Shanghai University of Electric Power，Shanghai 201306，China；2.Key Laboratory of Cryptography of Zhejiang Province，Hangzhou Normal University，Hangzhou 311121，China）

Abstract：Conventional centralized image classification methods faced challenges due to data privacy issues and limitations in computing resources，rendering them inadequate for practical applications.Existing federated learning frameworks relied on central servers，and there were security challenges such as single points of failure and data poisoning attacks.To address these issues，this paper proposed a novel image classification scheme that combined privacy-preserving federated learning and blockchain technology.The scheme achieved reliability and security in image classification tasks within a distributed environment.This approach trained the image classification model through federated learning and uploaded to the blockchain network for verification and consensus.During the classification phase，the model obtained the final classification result through weighted combination.Experimental results demonstrate that the proposed scheme ensures the accuracy of image classification while protecting user privacy.In conclusion，this paper provides an effective approach to address data privacy and security concerns in image classification，and presents a positive exploration towards improving classification accuracy.

Key words：federated learning；blockchain；image classification；privacy preserving

0? 引言

近年來，隨著人工智能和大數(shù)據(jù)技術(shù)的不斷發(fā)展，圖像分類成為了計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向。由于涉及到敏感數(shù)據(jù)的收集和處理，傳統(tǒng)的集中式圖像分類方法往往面臨著數(shù)據(jù)隱私泄露的風(fēng)險(xiǎn)，同時(shí)也存在單點(diǎn)故障和可信問題。為了解決這些問題，近年來提出了一種新的分布式機(jī)器學(xué)習(xí)方法——聯(lián)邦學(xué)習(xí)［1］，它是一種分布式機(jī)器學(xué)習(xí)框架，通過在分布式設(shè)備上協(xié)同訓(xùn)練模型，從而實(shí)現(xiàn)對大規(guī)模分散式數(shù)據(jù)的分析和學(xué)習(xí)。聯(lián)邦學(xué)習(xí)不僅能夠在保護(hù)用戶隱私的同時(shí)將數(shù)據(jù)科學(xué)與隱私融為一體，還能夠提高數(shù)據(jù)利用率和模型準(zhǔn)確度，是一種非常有前景的分布式機(jī)器學(xué)習(xí)技術(shù)。

雖然聯(lián)邦學(xué)習(xí)可以解決數(shù)據(jù)隱私保護(hù)和可信問題，但是它也存在一些問題，比如面臨著聯(lián)邦學(xué)習(xí)過程中的惡意節(jié)點(diǎn)攻擊、模型的過擬合、計(jì)算和通信開銷等問題。近年來一些研究人員開始將區(qū)塊鏈技術(shù)應(yīng)用到聯(lián)邦學(xué)習(xí)中，從而形成了一種新的聯(lián)邦學(xué)習(xí)和區(qū)塊鏈相結(jié)合的框架［2］。本文將介紹一種基于聯(lián)邦學(xué)習(xí)和區(qū)塊鏈技術(shù)相結(jié)合的圖像分類方法，不僅可以在保護(hù)用戶隱私的同時(shí)提高模型的準(zhǔn)確性，還可以有效地解決聯(lián)邦學(xué)習(xí)過程中可能出現(xiàn)的單點(diǎn)故障和數(shù)據(jù)中毒攻擊等安全問題。本文的貢獻(xiàn)主要有以下幾點(diǎn)：

a）提出了一種全局模型聚合方案，旨在保證安全性的前提下提高全局模型聚合的效率和預(yù)測準(zhǔn)確性；

b）為了確保聯(lián)邦學(xué)習(xí)的應(yīng)用安全可靠，本文采用聯(lián)盟區(qū)塊鏈技術(shù)來實(shí)現(xiàn)去中心化的模型聚合過程，使用可信的共識(shí)節(jié)點(diǎn)取代中央服務(wù)器來驗(yàn)證本地模型的更新，從而有效解決單點(diǎn)故障和數(shù)據(jù)中毒攻擊等安全問題；

c）將聯(lián)邦學(xué)習(xí)和區(qū)塊鏈技術(shù)應(yīng)用于圖像分類領(lǐng)域，在不泄露數(shù)據(jù)隱私的前提下提高模型的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，本文方案在提供數(shù)據(jù)隱私保護(hù)的同時(shí)保證了模型精度。

1? 相關(guān)研究

聯(lián)邦學(xué)習(xí)是一種適用于多方數(shù)據(jù)合作訓(xùn)練的新型機(jī)器學(xué)習(xí)方法，其核心思想是將數(shù)據(jù)留在本地，通過模型聚合算法將各方模型進(jìn)行組合。聯(lián)邦學(xué)習(xí)可以保護(hù)用戶的數(shù)據(jù)隱私、降低數(shù)據(jù)傳輸?shù)某杀荆梢栽诓还蚕碓紨?shù)據(jù)的情況下進(jìn)行訓(xùn)練，然而在聯(lián)邦學(xué)習(xí)中如何保證參與者的誠實(shí)性和算法的可靠性仍然是一個(gè)重要的問題［3］。區(qū)塊鏈?zhǔn)且环N去中心化的、不可竄改的分布式數(shù)據(jù)庫，通過使用密碼學(xué)和共識(shí)算法實(shí)現(xiàn)了可靠的數(shù)據(jù)共享和交換。區(qū)塊鏈可以提供可信的環(huán)境，以支持聯(lián)邦學(xué)習(xí)中的去中心化協(xié)作，通過將聯(lián)邦學(xué)習(xí)的模型參數(shù)記錄在區(qū)塊鏈中增加算法的可信度和透明度，并防止竄改和重放攻擊。Kim等人［4］提出了基于權(quán)重的客戶端子集選擇方案，通過考慮每個(gè)客戶端本地模型的準(zhǔn)確性和參與訓(xùn)練的頻率來確定用于訓(xùn)練的客戶端子集，與傳統(tǒng)隨機(jī)選擇客戶端不同，這種方法可以提高聯(lián)邦學(xué)習(xí)的收斂速度并提高訓(xùn)練的效果。Kim等人［5］提出了BlockFL架構(gòu)，其中每個(gè)數(shù)據(jù)持有方將本地模型梯度上傳給與其關(guān)聯(lián)的礦工所在的區(qū)塊鏈網(wǎng)絡(luò)，作為回報(bào)，礦工會(huì)給予與其數(shù)據(jù)樣本數(shù)量成比例的獎(jiǎng)勵(lì)并對本地模型進(jìn)行交叉驗(yàn)證，通過工作量證明完成共識(shí)。Weng等人［6］提出的DeepChain方案也將區(qū)塊鏈在加密貨幣領(lǐng)域的應(yīng)用與聯(lián)邦學(xué)習(xí)相結(jié)合，數(shù)據(jù)持有方會(huì)將本地訓(xùn)練得到的梯度上傳至智能合約，在完成聯(lián)邦學(xué)習(xí)后獲得DeepCoin作為獎(jiǎng)勵(lì)。但是這些方案依舊存在以下缺點(diǎn)：高計(jì)算和通信開銷、隱私和安全問題、數(shù)據(jù)偏差和樣本不平衡以及可擴(kuò)展性和適用性限制。在實(shí)際應(yīng)用中，需要綜合考慮這些問題并根據(jù)具體場景選擇適當(dāng)?shù)姆桨高M(jìn)行改進(jìn)。

綜上所述，區(qū)塊鏈技術(shù)可以為聯(lián)邦學(xué)習(xí)提供可信的環(huán)境，增加算法的可靠性和透明度，并保護(hù)用戶數(shù)據(jù)的安全性和隱私性。然而，如何設(shè)計(jì)和實(shí)現(xiàn)區(qū)塊鏈和聯(lián)邦學(xué)習(xí)的結(jié)合并將其應(yīng)用到圖像分類場景，仍然需要進(jìn)一步的研究和探索。

2? 預(yù)備知識(shí)

2.1? 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)是一種分布式機(jī)器學(xué)習(xí)方法，它允許多個(gè)參與方在不共享原始數(shù)據(jù)的情況下共同訓(xùn)練一個(gè)模型。每個(gè)參與方都擁有本地?cái)?shù)據(jù)集，模型通過對各參與方的本地?cái)?shù)據(jù)進(jìn)行訓(xùn)練來實(shí)現(xiàn)。相比于傳統(tǒng)的集中式學(xué)習(xí)方法，聯(lián)邦學(xué)習(xí)可以降低數(shù)據(jù)傳輸和隱私泄露風(fēng)險(xiǎn)，提高模型的可擴(kuò)展性和適應(yīng)性。

在聯(lián)邦學(xué)習(xí)中，每個(gè)參與方都擁有本地?cái)?shù)據(jù)集 LDi，目標(biāo)是學(xué)習(xí)一個(gè)全局模型 ω，使得各方的本地?fù)p失函數(shù) fi（ω） 最小化。聯(lián)邦學(xué)習(xí)的目標(biāo)是最小化全局損失函數(shù)：

F（ω）=∑mi=1ninfi（ω）（1）

其中：m是參與方數(shù)量；n 是所有參與方的數(shù)據(jù)總量；ni 是第i個(gè)參與方的數(shù)據(jù)量。聯(lián)邦學(xué)習(xí)的主要挑戰(zhàn)是如何解決參與方的異構(gòu)性和不同數(shù)據(jù)分布所導(dǎo)致的問題。已有的解決方案包括聯(lián)邦平均算法（federated averaging，F(xiàn)edAvg）［3］等。

2.2? 差分隱私（differential privacy，DP）

差分隱私［7～10］是一種廣泛應(yīng)用于數(shù)據(jù)隱私保護(hù)的方法，它可以在不犧牲數(shù)據(jù)實(shí)用性的前提下保護(hù)敏感數(shù)據(jù)的隱私。差分隱私的核心思想是通過添加噪聲來混淆原始數(shù)據(jù)，使得攻擊者難以從噪聲中推斷出原始數(shù)據(jù)的真實(shí)值。與傳統(tǒng)的基于加密技術(shù)和訪問控制的隱私保護(hù)方法相比，差分隱私具有更廣泛的適用性，可以應(yīng)用于各種數(shù)據(jù)類型和場景。

在差分隱私中，敏感數(shù)據(jù)集為 D，希望在不暴露個(gè)體數(shù)據(jù)的情況下獲得關(guān)于D的一些有用統(tǒng)計(jì)信息。為此，對D進(jìn)行處理，使得處理后的數(shù)據(jù)集 D′與原始數(shù)據(jù)集D的差別被限制在一個(gè)可控的范圍內(nèi)，這個(gè)范圍也被稱為隱私預(yù)算ε。具體來說，可以將隱私預(yù)算分配給每個(gè)個(gè)體數(shù)據(jù)，對于每個(gè)數(shù)據(jù)x∈D，根據(jù)差分隱私定義，需要在滿足一定噪聲約束的前提下改變x的值來獲得處理后的數(shù)據(jù)x′。差分隱私中最常用的噪聲機(jī)制是加性噪聲機(jī)制，即將噪聲值Z加到原始數(shù)據(jù)x上得到處理后的數(shù)據(jù)x′。為了確保差分隱私的有效性，需要選擇合適的噪聲參數(shù)，并保證噪聲參數(shù)滿足一定的隱私預(yù)算約束。常用的隱私度量指標(biāo)包括ε-差分隱私、局部敏感度和全局敏感度等。差分隱私的實(shí)現(xiàn)需要綜合考慮噪聲大小、數(shù)據(jù)敏感度、隱私預(yù)算等因素，并進(jìn)行合理的權(quán)衡和設(shè)計(jì)。

2.3? 圖像分類任務(wù)

當(dāng)今，圖像分類是計(jì)算機(jī)視覺中最基本和廣泛應(yīng)用的任務(wù)之一，該任務(wù)的目標(biāo)是將輸入圖像分配到先前定義好的類別中，如“狗”“貓”“汽車”“飛機(jī)”等。傳統(tǒng)的圖像分類模型通常由輸入層、卷積層、池化層、全連接層和輸出層組成。卷積層和池化層用于提取圖像中的特征，全連接層用于將提取的特征映射到輸出層的類別，輸出層則根據(jù)類別進(jìn)行分類決策。

傳統(tǒng)的圖像分類模型通常使用深度卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）來實(shí)現(xiàn)。CNN使用卷積操作提取圖像中的特征，并使用池化操作來減小特征圖的尺寸和數(shù)量，從而提高模型的計(jì)算效率和泛化性能。Swin Transformer［11］、Vision Transformer［12］和ConvNeXt［13］模型是當(dāng)前最新的圖像分類模型，它們與傳統(tǒng)的圖像分類模型在以下方面存在差異：

a）基于注意力的架構(gòu)。傳統(tǒng)的圖像分類模型使用卷積神經(jīng)網(wǎng)絡(luò)作為其基礎(chǔ)結(jié)構(gòu)，而Swin Transformer、Vision Transformer和ConvNeXt模型則是基于注意力機(jī)制構(gòu)建的，這些模型將卷積層替換為自注意力層，從而實(shí)現(xiàn)了更高的表征能力和更好的準(zhǔn)確性。

b）模型深度和參數(shù)量。與傳統(tǒng)的圖像分類模型相比，Swin Transformer、Vision Transformer和ConvNeXt通常更深、更大。例如，Swin Transformer-B在ImageNet［14］上具有197層和88.3 M個(gè)參數(shù)，而ResNet-50［15］只有50層和25.6 M個(gè)參數(shù)。這些大型模型需要更多的計(jì)算資源和更長的訓(xùn)練時(shí)間。

c）數(shù)據(jù)增強(qiáng)和正則化技術(shù)。Swin Transformer、VisionTransformer和ConvNeXt通常使用更多的數(shù)據(jù)增強(qiáng)和正則化技術(shù)來防止過擬合，這些技術(shù)可以提升模型的泛化能力。

d）多尺度特征融合。Swin Transformer、Vision Transformer和ConvNeXt還具有多尺度特征融合的能力，可以更好地捕捉不同尺度下的圖像特征。例如，Swin Transformer使用了基于跨窗口交互的分層注意力機(jī)制來融合不同尺度下的特征，從而提高了模型的準(zhǔn)確性。

基于注意力機(jī)制的圖像分類模型，具有比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型更高的準(zhǔn)確度和更好的泛化能力，但需要更多的計(jì)算資源和更長的訓(xùn)練時(shí)間。

3? 威脅模型與系統(tǒng)模型

3.1? 威脅模型

傳統(tǒng)的聯(lián)邦學(xué)習(xí)存在安全威脅，參與方和中央服務(wù)器都可能受到不同類型的攻擊，這些攻擊可能會(huì)影響聯(lián)邦學(xué)習(xí)的性能，甚至導(dǎo)致失敗。本文將從參與方和中央服務(wù)器的角度分別討論這些安全威脅。惡意參與方可能會(huì)采用多種方式進(jìn)行數(shù)據(jù)毒化攻擊，從而影響甚至顛覆聯(lián)邦學(xué)習(xí)模型。

a）數(shù)據(jù)中毒攻擊。惡意參與方可以創(chuàng)建錯(cuò)誤標(biāo)簽數(shù)據(jù)并將其用于訓(xùn)練全局模型以實(shí)施數(shù)據(jù)中毒攻擊。

b）模型中毒攻擊。與數(shù)據(jù)中毒攻擊不同，惡意參與方試圖直接毒化它們發(fā)送給服務(wù)器進(jìn)行聚合的全局模型。

中央服務(wù)器也可能存在安全風(fēng)險(xiǎn)，主要有以下兩種：

a）推理攻擊。如果中央服務(wù)器是惡意的，它可能會(huì)利用參與方本地模型的參數(shù)信息發(fā)起推理攻擊，泄露參與方的隱私并損害中央服務(wù)器與參與方之間的信任關(guān)系。

b）單點(diǎn)故障。聯(lián)邦學(xué)習(xí)高度依賴中央服務(wù)器進(jìn)行參數(shù)聚合，如果中央服務(wù)器發(fā)生故障，整個(gè)聯(lián)邦學(xué)習(xí)過程將立即終止。

本文方案不僅可以避免毒化攻擊，還可以應(yīng)對可能會(huì)對聯(lián)邦學(xué)習(xí)造成的推理攻擊和單點(diǎn)故障的安全威脅。為了應(yīng)對這些威脅，將區(qū)塊鏈技術(shù)與聯(lián)邦學(xué)習(xí)相結(jié)合，用區(qū)塊鏈替代傳統(tǒng)聯(lián)邦學(xué)習(xí)的中央服務(wù)器。

3.2? 系統(tǒng)構(gòu)成

如圖1所示，本文方案的系統(tǒng)模型主要由任務(wù)發(fā)布者、訓(xùn)練參與者、工人節(jié)點(diǎn)、領(lǐng)導(dǎo)者節(jié)點(diǎn)等實(shí)體組成。

a）任務(wù)發(fā)布者（taskpublisher，TP），負(fù)責(zé)發(fā)布聯(lián)邦學(xué)習(xí)的任務(wù)，任務(wù)發(fā)布后會(huì)將需要訓(xùn)練的全局模型發(fā)送給工人節(jié)點(diǎn)。

b）訓(xùn)練參與者（training participant，TPS），在獲取到全局模型后，利用本地?cái)?shù)據(jù)集訓(xùn)練全局模型，在訓(xùn)練結(jié)束后將得到的模型更新上傳到工人節(jié)點(diǎn)。

c）工人節(jié)點(diǎn)（worker node，WN），負(fù)責(zé)處理訓(xùn)練參與者上傳的模型更新，并通過拜占庭容錯(cuò)領(lǐng)導(dǎo)者選舉算法（如 PBFT 的輪詢領(lǐng)導(dǎo)者選舉）從工人節(jié)點(diǎn)中選擇一個(gè)作為領(lǐng)導(dǎo)者節(jié)點(diǎn)。根據(jù)本文方案的共識(shí)算法，即便所選節(jié)點(diǎn)為惡意節(jié)點(diǎn)，其對系統(tǒng)本身也不會(huì)構(gòu)成威脅。

d）領(lǐng)導(dǎo)者節(jié)點(diǎn)（leader node，LN），每一輪全局模型訓(xùn)練都會(huì)使用拜占庭容錯(cuò)領(lǐng)導(dǎo)者選舉算法從工人節(jié)點(diǎn)中選擇一個(gè)工人節(jié)點(diǎn)作為領(lǐng)導(dǎo)者節(jié)點(diǎn)，負(fù)責(zé)校驗(yàn)工人節(jié)點(diǎn)處理后的模型更新，在校驗(yàn)完成后對合格的模型更新進(jìn)行聚合并將其添加到新生成的區(qū)塊中，同時(shí)向所有訓(xùn)練參與者廣播此次更新。

在系統(tǒng)中，每一輪全局模型訓(xùn)練共包含以下六個(gè)步驟：

a）本地模型訓(xùn)練及更新。每一個(gè)訓(xùn)練參與者在拿到全局模型后會(huì)利用本地?cái)?shù)據(jù)集訓(xùn)練全局模型。

b）模型上傳。在訓(xùn)練參與者得到模型更新后，會(huì)將模型更新上傳給工人節(jié)點(diǎn)。

c）領(lǐng)導(dǎo)者選擇。工人節(jié)點(diǎn)負(fù)責(zé)處理上傳的模型更新，每一輪全局模型訓(xùn)練會(huì)隨機(jī)從工人節(jié)點(diǎn)中挑選出領(lǐng)導(dǎo)者節(jié)點(diǎn)。

d）模型更新驗(yàn)證。領(lǐng)導(dǎo)者節(jié)點(diǎn)負(fù)責(zé)校驗(yàn)工人節(jié)點(diǎn)處理好的模型更新。

e）更新全局模型。在驗(yàn)證完成后，領(lǐng)導(dǎo)者節(jié)點(diǎn)會(huì)對模型更新進(jìn)行聚合，將新的全局模型放置在新生成的區(qū)塊中并廣播給所有的訓(xùn)練參與者。

f）下一輪訓(xùn)練。訓(xùn)練參與者在得到新的全局模型后繼續(xù)以上步驟，直到模型收斂或任務(wù)結(jié)束。

3.3? 自適應(yīng)模型聚合方案

為了提高聯(lián)邦學(xué)習(xí)的性能，本文提出了一種自適應(yīng)模型聚合方案，考慮了每個(gè)參與者的模型狀態(tài)和數(shù)據(jù)條件。該方案不僅使用FedAvg，而是根據(jù)每個(gè)參與者上傳模型更新的訓(xùn)練損失以及參與者本地?cái)?shù)據(jù)集的數(shù)據(jù)量主動(dòng)適應(yīng)。算法1概述了該過程，包括以下步驟：

a）得分計(jì)算。在接收到參與者的更新后，領(lǐng)導(dǎo)者節(jié)點(diǎn)將根據(jù)模型更新的訓(xùn)練損失以及參與者本地?cái)?shù)據(jù)集的數(shù)據(jù)量計(jì)算得分。

b）聚合。在計(jì)算得分后，領(lǐng)導(dǎo)者節(jié)點(diǎn)使用每個(gè)訓(xùn)練參與者的得分加權(quán)平均值更新全局模型。該方法考慮了每個(gè)參與者上傳模型更新的訓(xùn)練損失以及參與者的數(shù)據(jù)量，并根據(jù)得分給予合適的權(quán)重，這樣可以減少質(zhì)量較低的模型更新所占的權(quán)重，從而提高全局模型更新的可靠性。計(jì)算公式如下：

ω（t+1）=ω（t）-η∑k∈Kscore（t）k×ω（t）k（2）

其中：ω（t+1）代表聚合后的第 t+1 輪的全局模型更新；ω（t） 代表第 t 輪的全局模型；η 代表學(xué)習(xí)率；score（t）k 由第 k 個(gè)參與者模型更新的訓(xùn)練損失以及訓(xùn)練數(shù)據(jù)數(shù)量加權(quán)計(jì)算后得出； ω（t）k 代表第 t 輪第 k 個(gè)參與者的模型更新。

c）微調(diào)。為了進(jìn)一步提高模型精度，服務(wù)器使用公共數(shù)據(jù)集對更新后的全局模型進(jìn)行微調(diào)。

該方案使服務(wù)器能夠適應(yīng)每個(gè)參與者的條件，并為每個(gè)參與者的貢獻(xiàn)分配適當(dāng)?shù)臋?quán)重?？紤]到參與者上傳模型更新的訓(xùn)練損失以及參與者本地?cái)?shù)據(jù)集的數(shù)據(jù)量，該方案能夠有效利用可用資源，在保證安全的前提下提高聯(lián)邦學(xué)習(xí)中模型聚合的整體性能。

算法1? 自適應(yīng)模型聚合

輸入：第t輪的全局模型ω（t）。

輸出：聚合后的全局模型更新ω（t+1）。

for 每個(gè)參與者k∈K do

參與者k使用自己的數(shù)據(jù)集訓(xùn)練本地模型u（t）k；

參與者k向工人節(jié)點(diǎn)發(fā)送模型更新ω（t）k；

結(jié)束for循環(huán)

領(lǐng)導(dǎo)者節(jié)點(diǎn)根據(jù)上傳模型更新的訓(xùn)練損失以及上傳模型更新的參與者的訓(xùn)練數(shù)據(jù)量計(jì)算每個(gè)訓(xùn)練參與者k的得分score（t）k；

領(lǐng)導(dǎo)者節(jié)點(diǎn)使用式（2）更新全局模型，得到聚合后的全局模型ω（t+1）；

為了進(jìn)一步提高模型精度，服務(wù)器使用公共數(shù)據(jù)集對更新后的全局模型進(jìn)行微調(diào)。

3.4? 共識(shí)算法

本文采用實(shí)用拜占庭容錯(cuò)（practical Byzantine fault tole-rance，PBFT）［16］來確保分布式系統(tǒng)的安全性和可靠性。PBFT可在分布式系統(tǒng)中提供高水平的安全性和可靠性，即使有些節(jié)點(diǎn)是惡意的，系統(tǒng)也能繼續(xù)工作，與傳統(tǒng)算法相比，它具有更低的消息復(fù)雜度和更快、更高效的共識(shí)，使其更具能源和資源效率。在系統(tǒng)中采用 PBFT 作為共識(shí)算法，將模型更新和驗(yàn)證集成到算法中以保證安全性和可靠性。共識(shí)過程如下：

a）初始化。任務(wù)發(fā)布者選擇一組工人節(jié)點(diǎn)作為候選節(jié)點(diǎn)。一個(gè)具備權(quán)威認(rèn)證能力的第三方機(jī)構(gòu)，例如獨(dú)立認(rèn)證機(jī)構(gòu)或由政府設(shè)立的機(jī)構(gòu)，負(fù)責(zé)對這些候選節(jié)點(diǎn)的身份進(jìn)行全面驗(yàn)證和確認(rèn)，以確保它們是可信的節(jié)點(diǎn)，并排除潛在的欺詐風(fēng)險(xiǎn)。這些工人節(jié)點(diǎn)使用公共數(shù)據(jù)集驗(yàn)證上傳的模型更新，以防止惡意提交，同時(shí)需要在系統(tǒng)賬戶中存入押金以保證誠實(shí)。參與者和代表都必須生成公/私密鑰對并將其提交給證書授權(quán)機(jī)構(gòu)（certificate authority，CA）以獲得證書，然后使用其私人密鑰和證書進(jìn)行加密/簽名以確保模型更新的隱私性和完整性。

b）本地模型訓(xùn)練。訓(xùn)練參與者從發(fā)布者處獲取模型，使用其本地?cái)?shù)據(jù)集進(jìn)行訓(xùn)練，使用其公共密鑰對更新進(jìn)行簽名，然后將其上傳給工人組。

c）領(lǐng)導(dǎo)者選擇。假設(shè) N>3f+1，本文考慮 N 個(gè)工人節(jié)點(diǎn)，最多有 f 個(gè)惡意工人節(jié)點(diǎn)，以確保區(qū)塊鏈的安全性。在第 i 輪中，領(lǐng)導(dǎo)者會(huì)在當(dāng)前共識(shí)輪之后更改。使用拜占庭容錯(cuò)領(lǐng)導(dǎo)者選舉算法（如 PBFT 的輪詢領(lǐng)導(dǎo)者選舉）選擇領(lǐng)導(dǎo)者。

d）更新驗(yàn)證。工人節(jié)點(diǎn)通過數(shù)字簽名驗(yàn)證參與者的身份，使用任務(wù)發(fā)布者共享的測試數(shù)據(jù)集檢查模型更新的質(zhì)量。通過設(shè)置準(zhǔn)確性閾值過濾出低準(zhǔn)確性的模型更新，并保留高質(zhì)量的模型更新進(jìn)行交易。領(lǐng)導(dǎo)者節(jié)點(diǎn)收集符合條件的本地模型更新，創(chuàng)建一個(gè)帶有其簽名的區(qū)塊，并將其廣播給其他工人節(jié)點(diǎn)。跟隨者（工人節(jié)點(diǎn)）驗(yàn)證領(lǐng)導(dǎo)者的區(qū)塊數(shù)據(jù)（簽名、交易數(shù)據(jù)和所有交易的簽名）。

e）區(qū)塊生成。生成區(qū)塊的過程包括以下三個(gè)步驟：

（a）準(zhǔn)備階段。每個(gè)工人節(jié)點(diǎn)為區(qū)塊數(shù)據(jù)生成驗(yàn)證結(jié)果，并將其廣播給其他工人節(jié)點(diǎn)。當(dāng)節(jié)點(diǎn)收到至少2N個(gè)驗(yàn)證結(jié)果時(shí)，準(zhǔn)備階段完成。

（b）提交階段。每個(gè)工人節(jié)點(diǎn)將自己的驗(yàn)證結(jié)果與其他工人節(jié)點(diǎn)的結(jié)果進(jìn)行比較，如果有超過 2f+1 個(gè)節(jié)點(diǎn)同意區(qū)塊數(shù)據(jù)，則它們將以數(shù)字簽名的形式發(fā)送提交結(jié)果給領(lǐng)導(dǎo)者作為區(qū)塊的確認(rèn)。

（c）共識(shí)階段。如果超過2/3的工人節(jié)點(diǎn)批準(zhǔn)新生成的區(qū)塊，則該區(qū)塊將被記錄在區(qū)塊鏈中。工人節(jié)點(diǎn)會(huì)互相通知其鄰居有關(guān)該區(qū)塊的信息，從而在所有工人節(jié)點(diǎn)之間達(dá)成共識(shí)。

4? 實(shí)驗(yàn)分析

4.1? 實(shí)驗(yàn)設(shè)定

本文使用PyTorch框架設(shè)計(jì)了一個(gè)聯(lián)邦學(xué)習(xí)框架，并使用Hyperledger Fabric構(gòu)建了一個(gè)區(qū)塊鏈驗(yàn)證平臺(tái)。在GeForce GTX 3090上運(yùn)行實(shí)驗(yàn)。

a）數(shù)據(jù)集設(shè)定。本文將在花卉數(shù)據(jù)集（flower dataset）上評估提出方案的性能，花卉數(shù)據(jù)集是一個(gè)包含3 306張鮮花圖片的5分類數(shù)據(jù)集。

b）圖像分類模型設(shè)定。在實(shí)驗(yàn)中，將使用當(dāng)前流行的圖像分類模型，包括Vision Transformer（VIT） 、Swin Transformer（SWIT）以及ConvNeXt（CNXt）模型作為提出方案中的圖像分類模型，同時(shí)將對這些模型的性能進(jìn)行評估。

c）模型訓(xùn)練參與者的設(shè)定。在花卉數(shù)據(jù)集實(shí)驗(yàn)中，假設(shè)參與者的數(shù)量分別為2、5和10。為了模擬訓(xùn)練參與者本地?cái)?shù)據(jù)集大小差異很大的情況，本文設(shè)計(jì)了一個(gè)隨機(jī)的數(shù)據(jù)采樣方案。此外，隨機(jī)選擇了一些訓(xùn)練參與者作為惡意參與者，以測試本文方案對抗惡意參與者攻擊的能力。所有的參與者都設(shè)定學(xué)習(xí)率為0.003、本地輪次為1、批次大小為32，隨機(jī)梯度下降（stochastic gradient descent，SGD）作為優(yōu)化算法。交叉熵函數(shù)作為損失函數(shù)（loss），其計(jì)算公式如下：

loss=-∑ni=1yi log（yiEuclid ExtravBp）（3）

其中：yi 為真實(shí)值；yiEuclid ExtravBp為預(yù)測值；n為總的分類類別數(shù)。

d）工人節(jié)點(diǎn)的設(shè)定。假設(shè)系統(tǒng)中共有六個(gè)工人節(jié)點(diǎn)，每一輪的模型訓(xùn)練都會(huì)從這六個(gè)工人節(jié)點(diǎn)中選出一個(gè)作為領(lǐng)導(dǎo)者節(jié)點(diǎn)。領(lǐng)導(dǎo)者將使用本文所提出的基于得分的模型聚合方法來對模型更新進(jìn)行聚合。

4.2? 模型性能評估

針對花卉數(shù)據(jù)集，分別在本文方案以及FedAvg上評估了基于本文方案的VIT模型、基于本文方案的SWIT模型和基于本文方案的CNXt模型的性能表現(xiàn)。實(shí)驗(yàn)結(jié)果如表1所示，并通過圖2～4進(jìn)行進(jìn)一步的可視化展示（參見電子版）。這些模型被用于對花卉數(shù)據(jù)集中的五種花進(jìn)行分類，并根據(jù)損失和精確度兩個(gè)指標(biāo)評估它們的性能。

根據(jù)實(shí)驗(yàn)結(jié)果可知，本文方案相比傳統(tǒng)的FedAvg方法，在花卉數(shù)據(jù)集上展現(xiàn)出了更好的性能。特別地，在訓(xùn)練參與者為10人（p=10）時(shí)，基于本文方案的VIT模型、SWIT模型和CNXt模型的驗(yàn)證精確度分別比使用傳統(tǒng)FedAvg方案高出8.72%、7.50%和6.14%。

具體而言，基于本文方案，當(dāng)使用VIT模型對花卉進(jìn)行分類時(shí)，訓(xùn)練參與者為10人時(shí)的驗(yàn)證精確度達(dá)到了0.579，而使用傳統(tǒng)的FedAvg方法時(shí)，驗(yàn)證精確度僅為0.503。類似地，對于SWIT和CNXt模型，基于本文方案所得到的驗(yàn)證精確度也顯著高于傳統(tǒng)的Fedavg方法。

4.3? 系統(tǒng)性能評估

為了體現(xiàn)本文方案的安全性以及抵抗數(shù)據(jù)中毒攻擊的能力，比較了本文方案與不使用區(qū)塊鏈技術(shù)的方案。同時(shí)，假設(shè)了三種情況，其中惡意參與者的比例分別為10%、20%和30%，并在花卉數(shù)據(jù)集上測試了本文方案的準(zhǔn)確性，與沒有區(qū)塊鏈技術(shù)的方案進(jìn)行了比較，實(shí)驗(yàn)結(jié)果如圖5所示。實(shí)驗(yàn)結(jié)果表明，本文方案能夠更有效地防止數(shù)據(jù)中毒攻擊，因?yàn)楸疚姆桨缚梢詸z測并過濾掉惡意參與者提交的惡意的或低質(zhì)量的模型更新。并且，本文方案的安全性以及有效性伴隨著惡意參與者數(shù)量的增加而提高，當(dāng)惡意參與者比例超過10％時(shí)，本文方案顯著優(yōu)于不使用區(qū)塊鏈技術(shù)的方案。具體而言，當(dāng)惡意參與者比例達(dá)到30％時(shí)，本文方案相較于不使用區(qū)塊鏈技術(shù)的方案，在loss上降低了10.36％，在精確度上提高了12.99％。

4.4? 差分隱私效果評估

為了評估本文方案中差分隱私的效果，比較了不使用DP的方案與使用差分隱私的方案，以及在不同隱私預(yù)算（ε∈{0.1，1，10}）下的 loss值和精確度。隱私預(yù)算越小，加入的噪聲越多，表示隱私保護(hù)越強(qiáng)。通過圖6的實(shí)驗(yàn)結(jié)果可以看出，使用DP的方案可以在隱私預(yù)算設(shè)置為適度水平時(shí)仍然實(shí)現(xiàn)良好的性能。特別地，在隱私預(yù)算為1時(shí)，使用DP方案的分類精度比沒有DP的方案高，并且 loss 降低了10.62%，精確度提高了2.94%。這表明本文方案可以在保持合理的分類精度水平的同時(shí)有效地保護(hù)數(shù)據(jù)隱私。

4.5? 聚合時(shí)間評估

為了對比本文方法與FedAvg的聚合時(shí)間，設(shè)定訓(xùn)練參與者為10人（p=10），通過多輪實(shí)驗(yàn)并對實(shí)驗(yàn)結(jié)果進(jìn)行平均后得到了本文結(jié)果的聚合方案與FedAvg的聚合時(shí)間，結(jié)果如圖7所示。從圖7可以看出，在模型聚合時(shí)間方面，本文的聚合方法可能沒有FedAvg表現(xiàn)出色，但在模型精度和抗攻擊性方面，本文的聚合方法顯然具有明顯優(yōu)勢。實(shí)際應(yīng)用中，模型的準(zhǔn)確性和抗攻擊性是非常重要的因素，因此，綜合考慮這些因素，本文方案具有更好的整體表現(xiàn)。

5? 結(jié)束語

本文提出了一種聯(lián)邦學(xué)習(xí)和基于區(qū)塊鏈的圖像分類模型。該模型結(jié)合了聯(lián)邦學(xué)習(xí)和區(qū)塊鏈以實(shí)現(xiàn)更好的數(shù)據(jù)隱私和安全性，以及在準(zhǔn)確性和模型復(fù)雜性方面的良好性能。 實(shí)驗(yàn)結(jié)果表明，在花卉數(shù)據(jù)集上，該模型具有與傳統(tǒng)圖像分類模型相當(dāng)?shù)臏?zhǔn)確率，在數(shù)據(jù)安全和隱私方面具有顯著優(yōu)勢。 本研究雖然取得了積極的成果，但模型泛化能力需要進(jìn)一步完善和探索，在未來的研究中將嘗試不同的數(shù)據(jù)增強(qiáng)策略，以提高模型在各種場景下的泛化能力。

參考文獻(xiàn)：

［1］孫爽，李曉會(huì)，劉妍，等.不同場景的聯(lián)邦學(xué)習(xí)安全與隱私保護(hù)研究綜述［J］.計(jì)算機(jī)應(yīng)用研究，2021，38（12）：3527-3534.（Sun Shuang，Li Xiaohui，Liu Yan， et al.Survey on security and privacy protection in different scenarios of federated learning［J］.Application Research of Computers，2021，38（12）：3527-3534.）

［2］李凌霄，袁莎，金銀玉.基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)技術(shù)綜述［J］.計(jì)算機(jī)應(yīng)用研究，2021，38（11）：3222-3230.（Li Lingxiao，Yuan Sha，Jin Yinyu.Review of blockchain-based federated learning［J］.Application Research of Computers，2021，38（11）：3222-3230.）

［3］Konecˇn J，McMahan H B，Yu F X，et al.Federated learning：strategies for improving communication efficiency［EB/OL］.（2017-10-30）.https：//arxiv.org/pdf/1610.05492.pdf.

［4］Kim Y J，Hong C S.Blockchain-based node-aware dynamic weighting methods for improving federated learning performance［C］//Proc of the 20th Asia-Pacific Network Operations and Management Sympo-sium.Piscataway，NJ：IEEE Press，2019：1-4.

［5］Kim H，Park J，Bennis M，et al.On-device federated learning via blockchain and its latency analysis［EB/OL］.（2019-07-01）.https：//arxiv.org/pdf/1808.03949v1.pdf.

［6］Weng Jiasi，Weng Jian，Zhang Jilian， et al.DeepChain：auditable and privacy-preserving deep learning with blockchain-based incentive［J］.IEEE Trans on Dependable and Secure Computing，2021，18（5）：2438-2455.

［7］Dwork C.Differential privacy［M］//Encyclopedia of Cryptography and Security.Boston：Springer，2011：338-340.

［8］Dwork C，McSherry F，Nissim K，et al.Calibrating noise to sensitivity in private data analysis［C］//Proc of the 3rd Theory of Cryptography Conference.Berlin：Springer，2006：265-284.

［9］Dwork C.A firm foundation for private data analysis［J］.Communications of the ACM，2011，54（1）：86-95.

［10］Dwork C，Roth A.The algorithmic foundations of differential privacy［M］.Hanover：Now Foundations and Trends，2014：211-407.

［11］Liu Ze，Lin Yutong，Cao Yue，et al.Swin Transformer：hierarchical vision transformer using shifted windows［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：9992-10002.

［12］Dosovitskiy A，Beyer L，Kolesnikov A，et al.An image is worth 16x16 words：transformers for image recognition at scale［EB/OL］.（2021-06-03）.https：//arxiv.org/pdf/2010.11929.pdf.

［13］Liu Zhuang，Mao Hanzi，Wu Chaoyuan，et al.A convnet for the 2020s［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：11966-11976.

［14］Deng Jia，Dong Wei，Socher R， et al.ImageNet：a large-scale hierarchical image database［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2009：248-255.

［15］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual lear-ning for image recognition［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：770-778.

［16］Castro M，Liskov B.Practical Byzantine fault tolerance［C］//Proc of the 3rd Symposium on Operating Systems Design and Implementation.Berkeley，CA：USENIX Association，1999：173-186.