一種區塊鏈支持的聯邦學習認知模型

袁 媛,袁 松

(1.武漢體育學院 體育工程與信息技術學院,湖北 武漢 430079;2.杭州電子科技大學 電子信息學院,浙江 杭州 310018)

0 引 言

認知計算[1]是一種模擬人腦的新型智能技術,通過數據驅動建立具有推理、感知和響應的精準模型,對智能制造起到了重要作用。在智能制造場景下,引入聯邦學習[2](Federal Learning,FL)方法作為認知計算的學習框架,是實現數據隱私保護和安全的有效方法,其基本思想是以制造數據為驅動,將訓練數據模型分配于多個設備上運行,當每輪訓練結束后參數服務器收集設備節點的局部模型參數執行聚合,并將更新后的全局模型參數返回給各設備繼續迭代訓練至模型收斂。但這種通過中心化聚合的方法主要存在2個問題:(1)容易受到惡意攻擊行為截獲或篡改聚合的中間參數(如:推理攻擊[3]、鏈接攻擊[4]、投毒攻擊[5]等行為);(2)中心服務器與節點的遠程通信容易產生隱私泄露的風險(如:設備節點互信[6]、虛假貢獻度[7]、單點失效[8]等問題)。

區塊鏈以其去中心化的特征,使智能認知計算服務器形成一個不可篡改的分布式賬本[9],可以針對惡意攻擊行為實施有效防御。國內外一些專家學者結合區塊鏈與聯邦學習的方法提出了相關模型方法,以解決數據保護和可信計算問題,大部分采用全局模型更新方法和共識算法。其中,全局模型更新方法將分散的聯邦學習數據以鏈路形式連接為一個不可篡改的分布式賬本,以確保數據的安全性,如文獻[10]設計的點對點網絡聯邦學習的區塊鏈(FLChain),文獻[11]提出的基于智能合約技術支持聯邦學習的模型聚合和參數更新方法。但此類方法的局限性在于其數據均以默克爾帕特里夏樹(Merkel Patricia Tree,MPT)形式進行存儲,并不斷計算分散的聯邦學習多個空間塊,會使模型信息損失較大;共識算法采用工作量證明共識算法維護模型的一致性問題,如文獻[12]以分布式哈希表存儲數據區塊,在霧計算環境下構建的區塊鏈支持聯邦學習框架;文獻[13]利用深度Q學習,在數據共享上部署聯邦學習和區塊鏈,達到物聯網場景下的模型共識。但此類方法的局限性在于忽略了礦工挖礦難度對工作量證明的影響,當攻擊者哈希率變化對數據影響較大,抗攻擊能力較難快速收斂穩定,從而影響數據認知驅動性能和抗攻擊能力。

基于上述問題,該文提出了一種區塊鏈支持的聯邦學習認知模型(Federal-Block for Data to Cognitive,FB_DC)。其主要貢獻和創新:(1)將中心化的參數服務器構建為去中心化的參數聚合器,通過區塊鏈的共識算法構建激勵機制和交叉驗證機制,生成區塊鏈支持的聯邦學習數據驅動認知;(2)利用改進馬爾可夫決策過程完成模型聚合實現全局更新的最優策略,并提出Q強化學習方法支持聯邦學習的認知計算。旨在提高物聯網數據驅動認知性能和抗攻擊力,實現數據隱私保護和安全。

1 模型架構

1.1 總體設計

結合項目研究工作,區塊鏈支持的聯邦學習數據驅動認知計算框架如圖1所示。描述了區塊鏈支持的聯邦學習(FB_DC)框架,分為區塊鏈和聯邦學習2個部分。其中,區塊鏈作為底層邏輯基礎,將智能制造環境下的物聯網數據通過基于工作量證明(Proof of Work,PoW)的共識算法分散聯邦學習;聯邦學習方法用于實現認知計算。

圖1 區塊鏈支持的聯邦學習數據驅動 認知計算框架

設聯邦學習的認知計算由N個設備節點組成,定義為Vi(i=1,2,…,V)。每個設備(Vi)存儲了本地數據標簽(LDi),所有本地數據遵循獨立且相同的分布。由于該文利用區塊鏈來實現分散的聯邦學習,在每輪訓練中,專用的中央服務器被臨時聚合器取代,聚合器和局部設備共同維護相同的學習模型,以實現高性能認知計算能力。每個設備(Vi)通過訓練本地數據來維護其本地模型,將模型參數發送至相關的礦工(Mi),所選用的礦工來自礦工群(M={M1,M2,…,MN})。如果礦工數量與設備數量相同,則|M|=|V|,否則|M|<|V|。被選用的礦工(Mi)及其相關設備(Vi)作為聚合器,并根據所有局部模型參數訓練全局模型參數。全局模型參數存儲于區塊后廣播至整個網絡,并使用更新后的全局參數重新寫入所有局部模型。

(1)

?f(ω(l))}

(2)

(3)

迭代過程的約束取決于認知計算的精度,采用常數ε表示為約束指數,滿足當ω(L)-ω(L-1)≤ε時確定全局參數。

1.2 區塊鏈結構

圖2 區塊鏈結構

1.3 數據驅動認知算法

算法1:區塊鏈支持的聯邦學習數據驅動認知算法

輸入:設備節點(Vi)和礦工(Mi)

輸出:認知計算模型

1.初始化參數Pks

2.while new LD do

3.Vi訓練局部模型;

4. UploadPkstoMi; //上傳Pks到Mi

5.Mi進行交叉驗證;

6. ifMi找到臨時bithen

7. 各方鏈接bi到局部分類賬本中

8. end if

9.獲勝的Mw←Mi廣播bi//Mw為獲勝礦工

10.Mw訓練全局模型GM

11. GM中的Pks→Vis

12.end while

2 模型聚合方法

2.1 馬爾可夫決策過程

在智能制造的物聯網場景中,區塊鏈節點收到訓練設備節點的局部模型后進行模型聚合,而現有的聚合方法主要通過聯邦平均的方法完成聚合[17](Federal Average,FA)。這種方法未考慮低質量的局部模型會對全局模型聚合的影響。為使FB_DC的準確性和安全性得到優化,引入馬爾可夫決策過程(Markov Decision Process,MDP)對每輪聚合器的選擇進行建模。MDP是1個在多個有限時間內進行的游戲,該游戲受概率狀態轉換約束,以1個聚合器和1個攻擊者場景為例,MDP表示為六元組模型{S,A1,A2,R1,R2,Pr}。其中,S為狀態空間,A1為聚合器行為,A2為攻擊者行為,R1,R2:S1×S2×A1×A2→R分別為聚合器和攻擊者的回報函數,Pr:S1×S2×A1×A2→δ(S)表示狀態轉移概率,δ(S)為系統狀態(S)上一組概率分布。

2.2 聚合器與攻擊者行為

(4)

式中,Ψ為攻擊者最大計算能力,當Ψ≥t時,攻擊者能夠分析所有全局更新,當Ψ

2.3 系統狀態

在這種情況下,一方面,聚合器充當臨時中央服務器,并將全局更新廣播至所有終端設備,聚合器的全局更新通過區塊鏈發布,取決于當前系統狀態。聚合器只能根據上一次攻擊的輸出來估計攻擊者的行為,而上一次攻擊的輸出由聚合器識別,最后一次攻擊的輸出指示攻擊者是否成功發起攻擊并將偽造數據注入其中。另一方面,當前系統狀態為馬爾可夫決策過程的最后一個系統狀態時,如果聚合器識別出遠離收斂的顯著反向趨勢,它可以相對確定這一輪是否存在攻擊行為,以確定區塊鏈存儲所有全局更新的記錄,尤其是受到攻擊的更新記錄。在t階段使用ARt作為攻擊輸出,如果ARt=1,則攻擊成功;如果ARt=0,則攻擊失敗。總而言之,聚合器當前的操作取決于這一輪的全局更新和上一輪攻擊的輸出,其系統狀態定義為:

St={GUt,ARt}

(5)

式中,GUt表示t時刻全局更新,狀態St的不確定性源于GUt的不確定性,而系統狀態取決于雙方行為,攻擊結果(ARt)由行為決定。基于這種依賴關系,將狀態轉換表述為:

(6)

2.4 交易支付

(7)

(8)

2.5 Q強化學習方法

為使馬爾可夫決策過程最終收斂穩定,提出一種改進Q-強化學習方法,通過減少基數來降低計算復雜度,用于推導聚合器和攻擊者的最優策略,如算法2所示。

算法2:Q-強化學習算法

輸入:Au,Aad, S, R;

輸出:最優策略(τ*);

1.t=0, ARt=0=0

2.初始化{τu,τad};

3.while Convergence not reached do //循環直到收斂

5. 更新輸出攻擊ARt+1

8. 使用區塊鏈的聚合器選擇

9.end while

3 實驗結果與分析

結合項目研究場景,以武漢市某小規模的柔性車間生產為例,所提的模型會將物聯網數據需求回報為全局數據更新。在物聯網場景中搭建了簡易的實驗環境為Intel(R)Core(TM)I7-5300 CPU 2.5 Hz 8 GB RAM Windows 10,代碼主要基于Python V3.3/PyTorch V0.4實現聯邦學習認知計算。測試數據集選用CIFAR-10[20],包含50 000個訓練樣本和10 000個測試樣本,從模型評估、服務性能和抗攻擊能力3個方面評估FB_DC的有效性。采用卷積神經網絡[21](Convolutional Neural Networks,CNN)迭代訓練全局模型,使用基于MDP的聚合算法實現全局模型更新。

3.1 全局模型評估

采用CNN測試訓練FB_DC,設卷積步長核大小為3×3,步長為1,激活函數為ReLU。如圖3所示,采用損失值和精準率2種評估指標,分別評估FB_DC全局模型的訓練損失(Loss)和訓練準確率(Accuracy),其中損失值用于評估模型訓練中的收斂情況,并通過優化損失率提高模型的預測能力;精準率用于判斷模型中所有測試數據的準確率。當設備節點數量從10個增加至100個時,隨著迭代輪次增加FB_DC訓練損失量逐漸降低、準確率逐步提高。這是由于FB_DC將中心化的參數服務器構建為去中心化的參數聚合鏈,通過共識算法進行驗證,并利用馬爾可夫決策過程進行模型聚合,得到最優策略,返回各設備節點進行本地模型更新,從而降低訓練損失誤差,提高模型聚合的準確率。

(b)CNN測試準確率圖3 CNN在不同設備節點數的訓練損失與準確率

圖4 CNN模型準確率誤差比較

為進一步描述在受到投毒攻擊時FB_DC的MDP的有效性,與聯邦平均聚合算法(FA[17])進行比較。如圖4所示,當惡意節點數=10、區塊生成率(λ)=0.2時,在100次模型聚合下FB_DC的準確率比FA的準確率平均高10%以上。同時,所提出的基于馬爾可夫的模型聚合算法可以在支付函數中采用信息熵導出的全局更新(GUt)的訓練損失。

3.2 服務性能分析

主要評估區塊鏈模型聚合服務所需的平均存儲開銷和收斂時延,基于Python Flask框架實現區塊鏈服務,在區塊鏈中設每個區塊存儲10次模型聚合交易。首先,將區塊模型聚合服務部署于區塊鏈上,開放多個端口模擬設備節點的區塊鏈網絡;然后,采用基于馬爾可夫過程的策略進行記賬,礦工挖礦難度根據每個設備節點挖礦難度動態調整;最終在區塊中聚合模型交易數量從10增加至100。

(a)區塊鏈中模型聚合交易數量對模型性能的影響

所需平均存儲開銷和平均計算時延變化如圖5(a)所示。隨著聚合交易數量的增加,其通信開銷明顯增加,這是由于馬爾可夫決策過程使聚合器和攻擊者始終遵循最佳策略,使各節點消耗了更多的聚合模型參數,使平均開銷呈線性增長。圖5(b)分析了挖礦難度對文中聚合模型的影響,設備節點的挖礦難度由1增加至10,區塊鏈存儲開銷呈線性增長趨勢。這是由于FB_DC在MDP中設置了支付函數,并采用Q強化學習方法使行為和狀態相關的平均累積回報近似。

3.3 抗攻擊能力

為說明FB_DC的抗攻擊能力,將FB_DC與獨立使用區塊鏈和聯邦學習的方法進行了比較。如圖6所示,隨著攻擊者的哈希值增加數據動蕩的情況,FB_DC在數據動蕩幅度上均低于聯邦學習方法和區塊鏈方法。這是由于FB_DC提供了激勵機制和交叉驗證機制,采用PoW作為共識性算法,提高了分散聯邦學習系統的可靠性。

圖6 攻擊者哈希率變化對數據動蕩的影響

4 結束語

該文提出了一種區塊鏈支持的聯邦學習認知模型(FB_DC)。主要成果是在智能制造物聯網場景中生成區塊鏈支持的聯邦學習數據驅動認知,并提出模型聚合實現全局更新的最優策略和Q強化學習方法,通過全局模型評估、服務性能分析、抗攻擊能力等實驗驗證其有效性,目的是提高物聯網數據驅動認知性能和抗攻擊力,實現數據隱私保護和安全。但該文的局限在于現有區塊鏈性能與聯邦學習算法的融合較難適應大規模的數據,下一步在保護物聯網數據的前提下,提高聯邦學習的訓練效率和準確率仍然是一個值得深入研究的課題,需要進一步探索研究。