999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于邊緣層級聚合的魯棒性聯邦學習方法研究

2025-03-26 00:00:00許斌崔浩宇邢薇王倩茹
電腦知識與技術 2025年4期

摘要:聯邦學習(Federated Learning) 在不共享個人數據的前提下實現分布式模型訓練,有效保護用戶隱私并提升模型的性能和泛化能力。然而,傳統聯邦學習面臨數據異質性、通信延遲等挑戰,且易受反向攻擊影響系統安全。為應對這些挑戰,本文提出了一種基于邊緣層級聚合的魯棒性聯邦學習方法(DEHFL) 。DEHFL 通過多層聚合策略優化通信效率與擴展性,并設計基于 K-means 聚類的相似度分簇算法,緩解 Non-IID 數據帶來的模型漂移問題,同時增強模型在攻擊情境下的穩定性與魯棒性。實驗結果表明,DEHFL 在 Non-IID 數據分布和惡意攻擊環境下優于傳統方法。在 MNIST 和Fashion-MNIST 數據集上,面對相同的中毒攻擊時,DEHFL 的平均準確率相比傳統方法提升了 10.08% 以上,驗證了其在提高模型魯棒性和實際應用可靠性方面的顯著優勢。

關鍵詞:聯邦學習;分層聚合;邊緣計算;數據異質性;魯棒性;數據隱私

中圖分類號:TP391 文獻標識碼:A

文章編號:1009-3044(2025)04-0001-10 開放科學(資源服務) 標識碼(OSID) :

0 引言

物聯網與機器學習技術的迅猛發展催生了大量數據的產生,其中移動設備貢獻了全球范圍內顯著的網絡流量[1]。這些數據廣泛應用于物體識別、語音識別、疾病診斷和個性化推薦等領域[2]。然而,將大量數據集中傳輸到中央服務器進行處理,不僅帶來了高通信成本,還使用戶隱私面臨嚴重威脅,尤其是在醫療和金融等敏感領域[3]。

為了解決數據隱私與安全問題,聯邦學習(Feder?ated Learning,FL) 作為一種分布式學習框架被提出。FL 通過中央服務器指導客戶端在本地訓練模型并上傳更新參數,在優化全局模型的同時保護了數據隱私[4]。如圖 1 所示,傳統的聯邦學習架構主要由中央服務器和多個客戶端組成。客戶端在本地收集數據并獨立訓練模型,隨后將更新的模型參數上傳至中央服務器。中央服務器通過聚合算法整合所有客戶端的參數,更新全局模型,并將其分發至客戶端設備用于下一輪訓練。然而,該架構高度依賴中央服務器,其局限性主要體現在以下幾個方面:單點故障風險、通信開銷較高以及數據異質性對模型性能的顯著影響。

為緩解上述問題,研究者近年來提出了結合邊緣計算與聯邦學習的架構(如圖 2 所示) 。該架構通過構建客戶端—邊緣服務器—中央服務器的分層聚合結構,使客戶端設備能夠獨立收集本地數據并完成模型訓練,然后將更新的模型參數上傳至最近的邊緣服務器。邊緣服務器負責接收多個客戶端的參數并進行初步聚合,最后中央服務器整合來自所有邊緣服務器的參數,生成全局模型,并通過邊緣服務器層逐步分發至客戶端。該架構利用邊緣服務器進行分層聚合的策略,顯著降低了通信成本,同時在一定程度上減少了 Non-IID 數據分布帶來的影響[5]。

此外,考慮到模型可能遭受攻擊的風險,研究者們開始更加關注提升 FL 架構的可靠性與可擴展性[6]。

盡管邊緣計算結合聯邦學習在一定程度上解決了傳統架構的局限性,但現有研究多針對單一問題提出解決方案,尚未形成綜合框架來應對分布式機器學習環境下FL所面臨的三大重要挑戰。

1) 客戶端數據分布的顯著異質性。例如用戶的使用習慣、地理位置和語言偏好,以及物聯網設備在不同環境下的數據采集不一致,導致非獨立同分布(Non-IID) 。這種數據異質性會引發模型更新中的不一致性,進而影響模型性能和準確度。

2) 通信效率與數據異質性適應性不足。現有中心化架構雖通過邊緣服務器分層聚合以減少客戶端與中央服務器的通信負擔,但在應對數據異質性方面效果有限。同時,大量數據傳輸帶來了高通信成本和低效率的問題,難以滿足 Non-IID 數據環境的需求。

3) 安全性與魯棒性問題。在聯邦學習環境中,數據和模型的分布特性使系統面臨數據中毒、模型攻擊和隱私泄露等安全風險。盡管現有方法通過技術手段增強模型的魯棒性,但在應對惡意攻擊方面仍然存在挑戰。

為解決這些不足,本文提出了一種基于邊緣層級聚合的魯棒性聯邦學習方法(DEHFL) 。該方法通過設計多層聚合策略克服傳統方法的局限性,圖3描述了 DEHFL 框架的多層聚合流程。客戶端終端首先在本地訓練并上傳模型更新至對應的邊緣服務器,邊緣服務器基于分簇策略對簇內模型進行聚合,并選出代表性服務器。各代表性服務器進一步將聚合后的模型更新上傳至云端完成全局整合,最終將更新后的全局模型下發至客戶端終端以完成迭代。整個流程體現了分層聚合策略的高效性和魯棒性。

DEHFL 架構包含3個核心模塊:分層聚合提高了通信效率和擴展性;基于相似度的分簇聚合減輕了Non-IID 數據帶來的數據漂移問題;多層聚合增強了系統在攻擊下的魯棒性。其主要貢獻包括:1) 提出了基于邊緣層級聚合的魯棒性聯邦學習方法,提升系統擴展性和容錯能力,同時保障數據隱私和安全。2) 基于K-means 聚類的分簇方法,在邊緣服務器之間按照相似度進行分簇,有效緩解了數據異質性對模型性能的影響。3) 設計了多層傳輸機制,降低通信成本,并增強模型在惡意攻擊場景下的魯棒性。4) 實驗結果表明,DEHFL 在 MNIST 和 Fashion-MNIST 數據集的 Non-IID 分布與惡意攻擊環境下的性能均優于現有方法,其平均準確率相比傳統方法提升10.08% 以上,驗證了其在分布式學習環境中的可靠性和實際應用價值。

1 相關工作

1.1 聯邦學習

聯邦學習(FL) 作為一種創新的分布式機器學習范式,由 McMahan等人[4]首次提出,其核心在于允許各數據所有者協同訓練模型而不直接共享數據。作為FL 的核心算法,FedAvg 在效率和隱私保護方面取得了顯著成效,但在實際應用中受到數據異質性(Non-IID) 、通信成本高以及安全性不足等問題的制約[7]。針對Non-IID 數據問題,研究者提出了多種改進策略。Smith 等人[8]針對數據在不同客戶端分布不均勻的Non-IID 問題提出了優化策略,以改善系統性能和模型精度。而Li等人[9]通過 FedProx 算法改進了模型在Non-IID 場景下的收斂性和穩定性。同時,Mohri 等人[10]進一步探討了在多客戶端場景下實現模型公平性的可能性。在通信效率方面,Bonawitz 等人[11]通過設計高效的通信協議和分組聚合策略,顯著減少了客戶端與中央服務器之間的數據傳輸量。此外,Caldas 等人[12]提出的參數匹配算法有效降低了通信開銷。對于安全性,Blanchard 等人[13]提出了魯棒性聚合算法,通過剔除異常參數抵御惡意客戶端的攻擊。

盡管現有研究在 Non-IID 數據適應性、通信效率和安全性方面取得了重要進展,但大多依賴于中心化的全局聚合,未能充分利用分布式架構的潛力。本文提出的 DEHFL 方法通過引入分層聚合策略,利用邊緣服務器完成局部模型整合,不僅提升了 Non-IID 數據環境下的模型性能,還增強了系統在惡意攻擊場景下的魯棒性,是對現有研究的重要補充。

1.2 移動邊緣計算

移動邊緣計算(MEC) 作為一種在網絡邊緣執行實時數據處理的技術,近年來在 FL 領域中的應用尤為引人注目。MEC 通過將數據處理任務分布在靠近數據源的邊緣節點上,有效降低了數據傳輸延遲,減少了通信開銷,同時增強了數據隱私保護能力[14-15]。現有研究表明,MEC 與 FL 的結合在分布式學習系統中具有顯著優勢。Hu等人[14]討論了MEC在5G網絡中的關鍵作用,指出 MEC 節點能夠通過邊緣服務器協助客戶端完成模型訓練和參數更新,減少了中心服務器的通信壓力,同時實現了高效的分布式數據處理。Abbas 等人[15]對 MEC 架構進行了深入分析,闡明了其在聯邦學習任務中的支持能力,尤其是在資源分配和邊緣節點負載均衡方面的貢獻。Mach等人[16]提出了一種基于 MEC 的分布式學習優化框架,邊緣節點通過初步聚合客戶端模型參數,減少了直接傳輸至中央服務器的頻率,從而降低了通信延遲。Mao 等人[17]進一步探討了 MEC 如何通過優化通信策略提升系統的隱私保護能力,同時改進了FL系統的整體通信效率。然而,這些研究大多聚焦于通信開銷的優化,缺乏對 Non-IID 數據環境中模型性能的系統性提升,也未充分考慮在惡意攻擊場景下的模型魯棒性問題。

本文提出的 DEHFL 方法充分利用了 MEC 在低延遲、分布式計算和隱私保護方面的優勢,在邊緣服務器層完成初步模型聚合,從而減少了客戶端與中央服務器的直接通信。同時,DEHFL 通過在邊緣服務器端設計分簇聚合策略,有效緩解了 Non-IID 數據分布帶來的模型不一致性問題,并在惡意攻擊環境下增強了系統的魯棒性。

2 DEHFL 方法

為了應對傳統聯邦學習在數據異質性、通信效率和模型安全性等方面的局限性,本文提出了一種基于邊緣層級聚合的魯棒性聯邦學習方法(DEHFL) 。DEHFL 通過引入分層聚合策略,利用邊緣服務器的計算和協同能力,在降低通信成本的同時,顯著提升了 Non-IID 數據環境下的模型性能和系統魯棒性。

DEHFL 的方法架構如圖 4 所示,整體由三層結構組成:客戶端層、邊緣服務器層和中央服務器層。首先,在客戶端層,各客戶端設備獨立收集本地數據并完成初步模型訓練,生成的模型參數被上傳至最近的邊緣服務器。客戶端無須共享原始數據,從而有效保護了隱私,同時減少了中心化存儲的風險。

在邊緣服務器層,邊緣服務器從覆蓋范圍內的多個客戶端接收模型參數,并進行初步聚合。聚合過程中,邊緣服務器采用基于任務相似度的聚類算法對參數進行動態分簇,緩解了 Non-IID 數據帶來的模型性能下降問題。此外,邊緣服務器間還通過協同機制進一步提升模型更新的一致性,減少了單點偏差對全局模型的影響。圖 4 中的“Edge 1”和“Edge J”分別表示兩個邊緣服務器,這些服務器通過內部通信協同完成分簇聚合,并進一步提升了模型更新的一致性,減少了單點偏差對全局模型的影響。

在中央服務器層,由Rep Edge(代表服務器) 將聚合后的參數發送至中央服務器,中央服務器整合來自所有代表服務器的模型參數,通過加權平均生成全局模型。全局模型隨后通過層級結構逐步下發至各客戶端,完成一次聯邦學習的訓練迭代。圖 4 中的雙向箭頭表示中央服務器與邊緣服務器的參數傳輸過程,而內部循環箭頭則體現了每一輪模型更新的迭代機制。

DEHFL 的分層聚合策略通過以下機制實現系統優化:1) 邊緣服務器的初步聚合減少了客戶端與中央服務器之間的通信頻率,降低了系統的通信開銷。2) 動態分簇策略優化了 Non-IID 數據環境下的模型一致性。3) 多層協同聚合設計增強了系統在惡意攻擊場景中的魯棒性,顯著提高了對異常參數的抵抗能力。

2.1 邊緣節點的數據聚合

本文提出的聯邦學習方法(DEHFL) 專注于非獨立同分布(Non-IID) 數據環境下的模型魯棒性和效率。DEHFL 框架通過分配不同權重來應對客戶端數據不均,確保模型訓練的穩定性和泛化能力。通常在Non-IID 環境下,數據分布不均會導致部分客戶端訓練效果不佳。

DEHFL 通過創新策略適應數據不均,并優化通信開銷以及客戶端數量在每個邊緣服務器的分配。DEHFL 的邊緣服務器進行初步聚合,減輕了系統負擔,同時增強了抵抗惡意攻擊的能力,降低了單點故障的風險。圖 5 直觀展示了 DEHFL 從客戶端到邊緣服務器的數據聚合流程。在圖5中,底部的多個設備代表參與聯邦學習的客戶端。每個客戶端獨立利用本地數據完成模型訓練,生成模型更新。這些更新隨后通過通信鏈路上傳至所屬的邊緣服務器(圖中頂部節點) 。在邊緣服務器中,基于動態權重αi 對接收到的客戶端更新進行初步聚合,生成邊緣聚合模型ωedgek 。

算法 1 詳細描述了客戶端向邊緣服務器聚合的過程。在訓練中,每個客戶端獨立訓練模型并計算更新參數,隨后發送至邊緣服務器。邊緣服務器對更新進行聚合并分配權重,權重計算公式如下:

αi = a ? Di + b ? μi (1)

式中:Di 和μi 分別為客戶端的數據大小和更新大小,αi為權重。邊緣服務器k 的聚合模型更新為:

式中:N為該邊緣服務器所屬的客戶端數量。

該聚合步驟減少了網絡傳輸的數據量,保障了數據隱私,并且僅在數據脫離本地設備后傳輸更新參數,從而確保了數據的安全性。

算法1. 本地模型訓練和聚合.

輸入:客戶端數量C、本地訓練輪數L、學習率η、本地數據集Di、更新大小μi

輸出:更新后的邊緣模型參數ωedge

1.初始化全局模型參數ωglobal

2.FOR 每一輪通信r=1,2,…T DO

3. 隨機分配客戶端到邊緣服務器

4. FOR 每個邊緣服務器k DO

5. 初始化邊緣模型參數 ωedgek = ωglobal

6. FOR客戶端i ∈ CkDO

7. 客戶端i 進行本地訓練,得到更新后的模型參數ωlocal

8. 通過公式(1)計算客戶端權重αi

9. END FOR

10. 邊緣服務器k 聚合所有客戶端的模型參數并加權平均,通過公式(2)得到ωedgek

11. END FOR

12. END FOR

2.2 基于任務相似度感知的邊緣服務器分簇

在邊緣服務器端分簇時,隨機分配可能會加劇模型偏向,因此需要通過相似度感知來提高模型的泛化能力。DEHFL通過將數據分布相似的邊緣服務器組合,優化模型更新效果。每個邊緣服務器根據其收到的模型更新情況和數據分布相似度進行分簇,采用K-means算法將邊緣服務器分為若干簇,確保簇內邊緣服務器的數據分布相對一致。

為了適應動態環境中客戶端數據分布的變化,本文引入了定期執行聚類調整的機制,設定每600秒執行一次分簇操作。這一時間間隔的選擇基于系統動態性和資源開銷的平衡。在實際分布式環境中,客戶端的數據分布可能隨著任務的進行而逐漸發生變化,例如新增或移除客戶端、任務分配的動態調整等。若分簇間隔過短,系統可能因頻繁聚類而產生過高的計算和通信開銷,從而影響系統整體效率;而分簇間隔過長,則可能錯過數據分布的關鍵變化,使得分簇結果難以有效反映當前數據特征。600秒的間隔是通過實驗驗證得出的較優選擇,既能有效捕捉客戶端數據分布的主要變化,又能確保分簇過程不會對正常的模型更新操作造成顯著干擾。假設有J 個邊緣服務器,共有S 個簇,每個邊緣服務器的更新增量表示為Δωj, 通過K-means算法對數據分布相似度進行分簇,目標是最小化簇內聚類誤差,公式如下:

式中:μH 為簇H 的中心點,表示簇內所有邊緣服務器模型更新增量的均值,其具體計算公式如下:

通過定期分簇調整機制,DEHFL 框架能夠動態響應客戶端數據分布的變化,保證分簇內的邊緣服務器具有較高的任務相似度,從而在非獨立同分布的數據場景下實現更優的模型更新效果。

算法2. 基于任務相似度感知的邊緣服務器分簇

輸入: 邊緣服務器列表edge_servers、聚類中心數量S、聚類時間間隔t。

輸出: 聚類后的邊緣服務器集合clusters。

1. 初始化聚類中心數量k = 2

2. 設置聚類時間間隔t = 600 s

3. WHILE 系統運行 DO

4. 獲取每個邊緣服務器的標簽分布向量la?bel_distributions

5. 通過公式(3)對標簽分布向量進行聚類

6. 初始化 clusters 為一個空集合

7. FOR 每個標簽label 和對應的邊緣服務器 edge_server DO

8. IF label ?clusters THEN

9. 初始化clusters[label] 為空列表

10. 將edge_server 添加到clusters[label]

11. END FOR

12. 打印每個簇包含的邊緣服務器

13. // 動態調整機制

14. FOR 每個簇 cluster IN clusters DO

15. IF 簇的服務器數量明顯不均 THEN

16. 調整部分服務器到數量較少的簇中

17. END FOR

18. 等待 t 秒

19. END WHILE

2.3 多邊緣節點的協同模型聚合

完成分簇操作后,為提高模型更新的效率,DEHFL 框架采用基于數據分布相似性的簇內聚合策略。每個簇的中心服務器(代表服務器) 負責收集來自本簇內邊緣服務器的模型更新,并進行簇內聚合。具體而言,在每個簇內,邊緣服務器將局部聚合得到的模型更新增量Δωedgei 發送至該簇的代表性服務器krep,公式 (5) 定義了選取代表性服務器的標準:

式中: Δωedgei 表示簇內邊緣服務器i 的模型更新增量,是通過該邊緣服務器完成局部訓練后得到的聚合結果。簇的中心值用作參考值, 表示簇內所有邊緣服務器模型更新增量的均值,其具體計算方法可參考公式 (3)。通過選取偏離中心值最小的邊緣服務器為代表,確保該服務器能夠代表整個簇內的模型更新特性,從而在模型的準確性和穩定性上具有更高的可行性。公式 (6) 表示服務器匯總并平均整個簇內邊緣服務器的模型更新增量:

式中:E 代表簇內邊緣服務器的數量,其值由分簇階段的結果確定。

2.4 代表服務器與中央服務器的模型聚合

DEHFL 框架通過中心化和多層聚合策略,提升了模型的魯棒性,使其能夠適應多樣化的數據環境并有效抵御惡意攻擊。依據第2.1節與第2.3節所述的聚合過程,模型已能夠捕捉局部數據特征。隨后,中心服務器進一步對這些局部模型進行整合,增強模型的泛化能力,同時提升系統的穩定性與安全性。

在 DEHFL 方法中,簇間的聚合由中心服務器完成,算法3詳細說明了整個流程。為確保模型能夠準確反映各簇的數據分布,采用基于更新增量大小的加權聚合。假設有S 個簇,每個簇的代表性邊緣服務器krep 上傳更新后的模型參數ωrep,其增量為:

式中:Δωrep 表示第H 個簇的更新增量的范數,旨在實現每個簇的貢獻度與其更新的重要性成正比。

算法3. DEHFL

輸入:客戶端數量C、邊緣服務器數量J、聚類中心數量S、聚類時間間隔t、批大小B、通信輪數T、學習率η

輸出:更新后的全局(協同) 模型參數ωglobal

1.初始化全局模型參數ωglobal,設置S = k,t = 600s

2.FOR 每輪通信r = 1,2,…T DO

3. 客戶端進行本地訓練,并將更新后的模型發送到所屬邊緣服務器

4.END FOR

5.調用算法2完成邊緣服務器分簇過程,返回S個簇

7.簇內聚合:

8. 通過公式(5)得到每個簇的代表性邊緣服務器krep

9. FOR 每個邊緣服務器 k ∈ J DO

10. 將邊緣服務器k 的更新增量Δωedgek 發送到代表性邊緣服務器krep

11. END FOR

12. 代表性服務器通過公式(7)得到簇內更新增量Δωagg

13.簇間聚合:

14. 通過公式(9)計算簇間聚合時的權重

15. 通過公式(8)得到最終的全局(協同) 模型參數

16.返回更新后的全局模型參數ωglobal

3 實驗評估

3.1 實驗設置

本文實驗在非獨立同分布(Non-IID) 數據劃分條件下進行,旨在模擬聯邦學習中客戶端數據分布不均的典型場景。實驗默認客戶端數量為20,邊緣服務器數量為5,分簇數為2,整個過程通過中央服務器進行模型聚合。優化器選用 Adam,學習率設定為0.01,批大小為16,本地訓練輪數為15。客戶端數量、學習率和批大小的選擇參考了前期研究中聯邦學習常見的實驗配置,采用與 FedAvg [4]相同的設置,而邊緣服務器數量和分簇數則通過預實驗結果確定,以適應本文提出的分層聚合框架需求。

實驗采用 MNIST [18]和 Fashion-MNIST [19]數據集,這兩個數據集被廣泛用于聯邦學習研究。MNIST 數據集包含10類手寫數字圖像,適用于模擬客戶端類別偏好的分布特性;Fashion-MNIST 是 MNIST 的擴展版本,包含10類服飾圖像,圖像復雜度更高,有助于測試模型在不同數據復雜度下的性能。為了生成 Non-IID 數據劃分,實驗使用Dirichlet分布,其中參數(α= 0.5) 用于控制數據分布的非均勻程度,較小的α值反映了更高的數據異質性。最終模型聚合在中央服務器上完成,實驗在 NVIDIA GeForce GTX 1660 SUPER GPU 上進行。

3.2 攻擊設置

為驗證所提出的邊緣網絡模型層級聚合方法在應對惡意客戶端攻擊場景中的魯棒性,本文設計了模擬實驗以再現實際應用中可能遇到的攻擊情形。實驗中采用中毒攻擊(poisoning attack) 作為主要攻擊形式,其通過向惡意客戶端的模型更新中加入高斯噪聲,隨機干擾梯度的幅度和方向,從而影響全局模型的訓練過程[20]。

實驗中隨機選擇3個客戶端進行中毒攻擊,攻擊客戶端的比例設置為15%,以模擬實際聯邦學習場景中可能存在的小比例惡意客戶端情況[21]。攻擊客戶端通過在本地模型更新中疊加高斯噪聲來生成惡意更新,并將其上傳至邊緣服務器參與全局模型的聚合過程。通過惡意修改這些客戶端的模型更新權重,考察攻擊強度對系統性能的影響。

噪聲參數r 用于控制高斯噪聲的強度,其取值范圍設定為{0.1, ..., 4.0},用于操控不同程度下的攻擊。較大的r 值代表更高強度的噪聲干擾,導致全局模型的更新方向偏離正常優化路徑的幅度更大,從而顯著影響模型性能[13]。通過調整r 的取值,實驗能夠量化評估不同攻擊強度下全局模型性能的變化,進而評估DEHFL 框架在應對惡意攻擊時的魯棒性和可靠性。

3.3 比較算法

為全面評估所提出的邊緣網絡模型層級魯棒聚合方法(DEHFL) 在泛化性、通信效率以及抵御惡意客戶端攻擊方面的表現,本文將其與現有的聯邦學習聚合方法進行對比,表 1 詳細展示了 DEHFL 與其他方法的對比情況。

1) 直接聚合策略。FedAvg[4]和 FedProx[9]是 FL 的經典方法,通過讓客戶端將本地訓練的模型更新發送至中央服務器進行加權平均來生成全局模型。Fe?dAvg[4]在 IID 數據場景下效率較高,但在 Non-IID 數據分布中,客戶端模型間的差異導致全局模型更新一致性較差,影響模型精度。FedProx[9] 在 FedAvg[4] 的基礎上引入了正則化項,部分緩解了客戶端模型間的偏差,但其設計未考慮對惡意客戶端攻擊的防御,導致系統在安全性上存在隱患。

2) 分層聚合策略。FedEdge[22]和 HierFAvg[23]采用云-邊-端架構,減少客戶端與中央服務器之間的通信量。客戶端首先將模型更新傳送至邊緣服務器,邊緣服務器完成初步聚合后,再將結果上傳至中央服務器。這些方法在處理 Non-IID 數據時表現優于直接聚合策略,但其魯棒性依賴于邊緣服務器與客戶端之間的協同過程,缺乏對高強度惡意攻擊場景的有效應對手段。此外,當邊緣服務器聚合過程中遇到高噪聲或異常更新時,系統可能放大這些不一致性,進一步削弱全局模型的性能。

3) 去中心化聚合策略。PENS[24]通過客戶端間協作完成模型更新,減少了對中央服務器的依賴。PENS 在降低通信開銷和緩解數據異質性問題方面表現較好,但完全依賴客戶端間的協作機制,使得系統在面對惡意攻擊時缺乏全局控制能力。此外,客戶端間協作的復雜性增加了同步通信開銷,限制了其在大規模網絡中的擴展性。

DEHFL 綜合了分層聚合與基于數據分布相似度的分簇策略,通過在邊緣服務器層實現協作聚合,減少了客戶端與中央服務器的通信量,并提升了 Non-IID 數據場景下的模型一致性。與直接聚合策略相比,DEHFL 更注重邊緣層次的優化;與分層聚合策略相比,DEHFL 的分簇機制緩解了異常更新對全局模型的干擾;與去中心化策略相比,DEHFL 通過集中化邊緣層聚合平衡了通信效率與魯棒性,適合復雜攻擊與異質性數據場景。

3.4 對比實驗

本研究對 DEHFL 方法進行綜合評估,重點考查其在應對惡意客戶端攻擊時的檢測準確率及系統性能變化。同時,評價 DEHFL 在處理非獨立同分布(Non-IID) 數據時的全局模型準確度,探究其對數據異質性的適應能力和模型的泛化性能。此外,還將評估通信效率,衡量 DEHFL 在模型訓練和更新過程中的通信開銷,以驗證其在現實部署中的高效性。

3.4.1 防御中毒攻擊的能力

為了評估 DEHFL 框架在應對惡意客戶端中毒攻擊場景中的性能表現,本文在 MNIST 和 Fashion-MNIST 數據集上設計了實驗,模擬了不同中毒比例(r) 下的攻擊情形,并記錄了各方法在測試集上的模型準確率。具體結果如表 2 和圖 6 所示。中毒攻擊通過惡意客戶端上傳異常更新以干擾全局模型的訓練,其中中毒比例r表示參與聚合的客戶端中惡意客戶端的占比。

實驗結果表明,在 MNIST 數據集上,DEHFL 框架在各級攻擊強度下均展現出較高的魯棒性。當中毒比例達到r=0.6 時,DEHFL 的模型準確率為95.80%,顯著高于其他方法。相比之下,傳統直接聚合方法(FedAvg和FedProx) 在面對攻擊時性能出現了較為明顯的下降,其準確率在r=0.6 時分別降至 88.09% 和88.60%。分層聚合方法(FedEdge 和 HierFAvg) 在中低攻擊強度下表現較為優異,但在r=0.6 時準確率分別降至 68.90% 和70.85%。去中心化聚合方法 PENS 的魯棒性較弱,其在高攻擊強度下的準確率僅為68.98%。相比之下,DEHFL 的分簇聚合機制通過隔離惡意更新的干擾,顯著增強了系統在高攻擊強度下的表現。

在 Fashion-MNIST 數據集上,各方法在攻擊強度增大時的模型準確率均表現出顯著下降,但 DEHFL 仍然優于其他方法。當中毒比例為r=0.6 時,DEHFL的模型準確率為80.45%,相比于FedAvg 和 FedProx 的70.02% 和73.62%,展現出顯著優勢。FedEdge 和HierFAvg 在低中毒比例下相對穩定,但在r=0.6 時準確率分別下降至 53.13% 和 55.21%。從圖 6(b) 中可以觀察到,DEHFL 的性能曲線在中高攻擊比例下變化平緩,進一步體現了其在復雜數據分布和高攻擊強度場景下的魯棒性。

綜上,DEHFL 框架通過設計的分層聚合策略和基于數據分布相似度的分簇機制,在惡意客戶端中毒攻擊情形下展現出較強的抗攻擊能力和可靠性。其邊緣服務器層的動態篩選與聚合設計,有效緩解了異常更新對全局模型的負面影響。

3.4.2 在 Non-IID 數據劃分下的表現

在 Non-IID 數據劃分下,DEHFL 通過三層聚合策略(客戶端到邊緣服務器的初步聚合、基于數據分布相似度的分簇聚合、簇間進一步聚合) ,有效整合了不同客戶端的知識,提升了學習效果并保持了模型的魯棒性。

表3 和表4 展示了DEHFL 在MNIST 和Fashion-MNIST 數據集上的測試準確率。在 MNIST 數據集上,當客戶端數量分別為 10、15 和 20 時,DEHFL的測試準確率為95.39%、96.34% 和96.87%,在不同客戶端數量下均保持較高的穩定性。在 Fashion-MNIST 數據集上,DEHFL 的測試準確率分別為 81.93%、82.71% 和83.64%,性能曲線表現平穩。相比之下,傳統直接聚合方法(FedAvg 和 FedProx) 的準確率雖然隨著客戶端數量的增加略有提升,但在面對數據異質性時,模型性能表現受到一定限制。分層聚合方法(Fed?Edge 和 HierFAvg) 在處理低異質性場景時效果相對較好,但隨著客戶端數量的增加,其模型一致性逐漸下降。

DEHFL 能夠在不同客戶端數量下表現出較高的穩定性和適應性,源于其三層聚合策略的設計優勢:初步聚合通過在邊緣服務器層處理局部數據差異,為后續的全局模型更新奠定了更穩定的基礎;基于數據分布相似度的分簇聚合有效減少了異質性數據對模型更新一致性的干擾;中央服務器的全局聚合進一步綜合各邊緣服務器的模型信息,提升了系統整體性能。

整體來看,實驗結果表明,DEHFL 在客戶端數量變化的情況下,能夠在 Non-IID 數據場景中保持較高的模型性能和一致性,驗證了其在異質性數據分布條件下的適用性和可靠性。

3.4.3 通信效率

DEHFL 框架通過分層聚合策略優化了通信效率,并集中管理模型更新。在 DEHFL 中,客戶端將更新發送至邊緣服務器,邊緣服務器在初步聚合后將更新結果傳遞至中央服務器,避免了客戶端之間的直接通信負擔,有效降低了通信時間,同時通過中央服務器完成最終聚合和管理。

圖7 顯示了不同方法在訓練輪次(10 至 50 輪) 中的通信時間表現,通信時間以 ks(千秒) 為單位。在訓練輪次逐漸增加的過程中,DEHFL 始終保持較低的通信時間。由圖 7 可知,在 50 輪全局訓練中,DEHFL 的通信時間為 9.42 ks,相較于傳統方法 Fe?dAvg 和 FedProx 的 9.6 ks 和 9.71 ks,展現出較高的通信效率。分層聚合方法(FedEdge 和 HierFAvg) 在一定程度上減少了客戶端到中央服務器的通信量,但由于未引入動態分簇機制,其通信時間在訓練輪次增加時呈現緩慢上升趨勢。而去中心化聚合方法 PENS 的通信時間隨訓練輪次快速增長,限制了其在大規模網絡中的適用性。

圖7進一步顯示,DEHFL 的通信時間在訓練輪次增加時增長緩慢,這體現了分層聚合策略在通信效率方面的優勢。這種設計不僅減少了客戶端與中央服務器間的通信需求,降低了系統的通信成本,還增強了分布式學習框架在復雜網絡中的擴展性。

3.5 消融實驗

為了驗證 DEHFL 多層聚合機制在模型魯棒性方面的有效性,本節進行了消融實驗,采用 CNN 模型和MNIST 數據集。實驗驗證了分簇數量和不同數據分布劃分方式的效果,同時分析了客戶端遭受攻擊數量變化時對模型的影響。

4.5.1 分簇數量以及分簇方式的影響

為探討分簇數量和方式對模型效果的影響,實驗將分簇數量k 設置為{1,2,3,4},并采用2種分簇方式:隨機分簇和相似度分簇。隨機分簇不考慮數據分布特性,而相似度分簇依據客戶端數據的相似性進行動態分組。實驗結果如表 5 所示。

表5顯示,當k=1時,無論分簇方式為何,模型準確率均為92.23%。這是因為k=1表示未進行分簇,所有客戶端數據被統一處理,分簇方式對模型性能無影響。隨著k 值增加,相似度分簇逐漸展現出其整合數據特性的優勢。當k=2和k=3時,相似度分簇的模型準確率分別提升至 96.87% 和 95.75%,優于隨機分簇的 91.11% 和 91.52%。這一結果表明,相似度分簇能夠更有效地利用客戶端數據分布特性,優化模型更新效果,提高模型在數據異質性場景下的表現。然而,當k=4時,相似度分簇的模型準確率降至 96.43%,雖仍高于隨機分簇的 95.89%,但與k=2或k=3相比略有下降。這可能是由于每個簇內的數據量過于稀疏,導致局部聚合效果受到限制。此外,分簇數量增加可能導致額外的通信和同步開銷,進一步對模型性能產生影響。相比之下,隨機分簇的模型準確率在k=4時上升至 95.89%,較低分簇數量時的性能略有提高。原因是隨機分簇方式在數據稀疏時不依賴數據分布特性,因此受分簇數量變化的影響較小。

綜合分析表 5 的結果,相似度分簇在合理分簇數量范圍內(k=2或k=3) 能夠顯著提升模型性能,但在分簇數量較大時(k=4) 可能因數據量不足和額外開銷導致性能下降。這表明,相似度分簇適用于分布異質性較大的場景,但其優越性需要在適當的分簇參數下才能得到充分體現。

4.5.2 模型中毒攻擊比例的影響

為研究客戶端中毒攻擊比例對模型效果的影響,實驗中將客戶端受攻擊比例設置為 {0.1,0.2,0.3,0.4},對應 10%、20%、30%、40% 的客戶端遭受攻擊,并設置中毒程度r∈{0.1, 0.3, 0.5, 0.7, 0.9, 1.2, 1.5, 2.0}。表 6 總結了不同條件下 DEHFL 的最終測試準確率,圖 8 展示了隨通信輪次的性能變化趨勢。

從表 6 可見,當中毒比例較低(β=0.1) 時,無論中毒程度如何,DEHFL 均能保持較高的準確率。例如,當r=0.1時,準確率達到 95.93%,即使在較高的中毒比例(β=0.4) 下,準確率仍維持在 95.83%。隨著中毒程度r 的增加,模型在高中毒比例條件下的性能下降幅度加劇。例如,當r=0.7 時,準確率從(β =0.1) 的95.06% 降至(β=0.4) 的 57.96%。

圖 8 進一步揭示了模型性能的動態變化趨勢。結果顯示,在不同客戶端數量遭受不同攻擊程度下的準確率變化情況。當中毒程度較低(如r=0.1、0.3) 時,DEHFL 憑借動態分簇策略實現快速收斂,并在訓練輪次增加后維持穩定。然而,當中毒程度達到 (r=1.5、2.0) 且中毒比例較高(β=0.4) 時,模型準確率顯著降低,并停留在低值區間。

總體而言,DEHFL 在中低中毒比例和中毒程度下表現出較強的魯棒性,能夠有效減輕惡意客戶端攻擊對模型的影響。這得益于其動態分簇機制在初步聚合階段對惡意更新的隔離能力。然而,在極端中毒場景下,模型性能的顯著下降反映出該方法在應對高強度攻擊時的防御能力尚需進一步優化。

5 結論與展望

針對聯邦學習中因數據異質性導致的模型準確度降低以及攻擊下模型效果急劇下降的問題,本研究設計了一種基于邊緣層級聚合的魯棒性聯邦學習方法,即 DEHFL。該框架通過設計3次迭代聚合過程,依次在客戶端、邊緣服務器和中央服務器之間實現逐層模型更新,有效緩解了數據投毒攻擊對全局模型性能的負面影響,并提升了非獨立同分布(Non-IID) 數據場景下的模型性能。具體而言,首次聚合集中于客戶端的本地模型訓練與更新;第2次聚合通過邊緣服務器實現基于數據分布相似度的分簇聚合,減少了數據異質性對模型一致性的影響;第3次聚合由中央服務器對各邊緣服務器的更新進行全局整合,進一步提高了模型的魯棒性和全局一致性。此外,DEHFL 框架通過3次迭代優化提升了模型的收斂效率,縮短了整體訓練時間。

實驗結果表明,與傳統云端聯邦學習方法相比,DEHFL 在相同程度的數據投毒攻擊下,其模型性能下降速度較慢,并在 Non-IID 數據條件下維持了較高的模型準確度,驗證了其在復雜分布式場景中的實際效果。

未來研究將進一步探索異常模型的高效識別與過濾機制,例如通過惡意節點隔離算法增強模型聚合的魯棒性。同時,將優化通信協議以改善傳輸效率,并研究更加靈活的計算資源調度策略,以適應邊緣設備的實際應用需求。此外,還將評估 DEHFL 在復雜攻擊類型(如模糊攻擊和梯度竊取) 以及動態數據分布環境下的適用性,以進一步擴展其應用范圍并改善極端場景下的模型性能。

參考文獻:

[1] Statista. Share of mobile devices in global internet traffic[EB/OL]. (2023-12-01)[2024-01-22]. https://www.statista.com/sta?tistics/306528/share-of-mobile-internet-traffic-in-globalregions/.

[2] ZHU L Y,LU W B,SONG R,et al.Causal effect estimation andoptimal dose suggestions in mobile health international confer?ence on machine learning (ICML 2020)[C]//Proceedings of the37th International Conference on Machine Learning.ACM,2020:11588-11598.

[3] KAIROUZ P,MCMAHAN H B,AVENT B,et al.Advances andopen problems in federated learning[J]. Foundations andTrends? in Machine Learning,2021,14(1/2):1-210.

[4] McMAHAN B, MOORE E, RAMAGE D, et al. Communicationefficientlearning of deep networks from decentralized data[C]//Proceedings of the 20th International Conference on ArtificialIntelligence and Statistics. Fort Lauderdale: PMLR, 2017:1273-1282.

[5] ALAWADI S,AIT-MLOUK A,TOOR S,et al.Toward efficientresource utilization at edge nodes in federated learning[J].Prog?ress in Artificial Intelligence,2024,13(2):101-117.

[6] LI T,SAHU A K,TALWALKAR A,et al.Federated learning:chal?lenges,methods,and future directions[J].IEEE Signal ProcessingMagazine,2020,37(3):50-60.

[7] MAMMEN P M. Federated learning: opportunities and chal?lenges[EB/OL]. (2021-01-14) [2023-10-20]. https://arxiv. org/abs/2101.05428v1.

[8] SMITH V, CHIANG C K, SANJABI M, et al. Federated multitasklearning[C]//Advances in Neural Information ProcessingSystems 30. Long Beach: NIPS, 2017: 5424-5434.

[9] LI T, SAHU A K, ZAHEER M, et al. Federated optimization inheterogeneous networks[J]. Proceedings of Machine Learningand Systems, 2020(2): 429-450.

[10] MOHRI M, ROSTAMIZADEH A, TALWALKAR A. Agnosticfederated learning[C]//Proceedings of the 36th InternationalConference on Machine Learning. Long Beach: PMLR, 2019:4615-4625.

[11] BONAWITZ K, EICHNER H, GRIESKAMP W, et al. To?wards federated learning at scale: System design[EB/OL].(2019-02-04)[2024-01-22]. https://arxiv.org/abs/1902.01046.

[12] CALDAS S, KONECNY J, McMAHAN H B, et al. Expandingthe reach of federated learning by reducing client resource re?quirements[EB/OL].(2018-12-03)[2024-01-22].https://arxiv.org/abs/1812.01097.

[13] BLANCHARD P,EL MHAMDI E M,GUERRAOUI R,et al.Ma?chine learning with adversaries[C]//Proceedings of the 31st In?ternational Conference on Neural Information Processing Sys?tems.December 4 - 9,2017,Long Beach,California,USA.ACM,2017:118-128.

[14] HU Y C, PATEL M, SABELLA D, et al. Mobile edge comput?ing—A key technology towards 5G[R]. Sophia Antipolis: ETSIWhite Paper, 2015, 11(11): 1-16.

[15] ABBAS N,ZHANG Y,TAHERKORDI A,et al.Mobile edgecomputing:a survey[J].IEEE Internet of Things Journal,2018,5(1):450-465.

[16] MACH P,BECVAR Z.Mobile edge computing:a survey on ar?chitecture and computation offloading[J]. IEEE Communica?tions Surveys amp; Tutorials,2017,19(3):1628-1656.

[17] MAO Y Y,YOU C S,ZHANG J,et al.A survey on mobile edgecomputing:the communication perspective[J].IEEE Communi?cations Surveys amp; Tutorials,2017,19(4):2322-2358.

[18] LECUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based learn?ing applied to document recognition[J]. Proceedings of theIEEE,1998,86(11):2278-2324.

[19] XIAO H,RASUL K,VOLLGRAF R.Fashion-MNIST:a novelimage dataset for benchmarking machine learning algorithms[EB/OL]. (2017-08-25) [2023-10-20]. https://arxiv. org/abs/1708.07747v2.

[20] BIGGIO B,ROLI F.Wild patterns:Ten years after the rise ofadversarial machine learning[J].Pattern Recognition,2018(84):317-331.

[21] FANG M H,CAO X Y,JIA J Y,et al.Local model poisoning at?tacks to Byzantine-robust federated learning[C]//Proceedingsof the 29th USENIX Conference on Security Symposium.ACM,2020:1623-1640.

[22] WANG K B, HE Q, CHEN F F, et al. FedEdge: Acceleratingedge-assisted federated learning[C]//Proceedings of the ACMWeb Conference 2023. Austin: ACM, 2023: 2895-2904.

[23] LIU L M, ZHANG J, SONG S H, et al. Client-edge-cloud hi?erarchical federated learning[C]//Proceedings of the 2020IEEE International Conference on Communications. Dublin:IEEE, 2020: 1-6.

[24] ONOSZKO N, KARLSSON G, MOGREN O, et al. Decentral?ized federated learning of deep neural networks on non-iiddata[EB/OL]. (2021-07-18) [2024-01-22]. https://arxiv. org/abs/2107.08517.

【通聯編輯:唐一東】

基金項目:本課題得到廣東省自然科學基礎研究計劃(2022A1515110740)、西安電子科技大學科研經費(ZYTS24085) 資助

主站蜘蛛池模板: 91香蕉视频下载网站| 久久伊人久久亚洲综合| 欧美日韩亚洲综合在线观看| 精品国产免费第一区二区三区日韩| 国产欧美视频综合二区| 日韩 欧美 小说 综合网 另类| 国产人在线成免费视频| 日韩欧美中文| 午夜激情福利视频| 久久鸭综合久久国产| www精品久久| 国产精品伦视频观看免费| 国产精品va| 黄色网址免费在线| 亚洲一级毛片在线播放| 呦视频在线一区二区三区| 四虎精品免费久久| 老司机精品久久| 国内精品久久久久久久久久影视| 曰韩人妻一区二区三区| 亚洲人成影院在线观看| 99久久精品视香蕉蕉| 国产特级毛片| 有专无码视频| 日本成人在线不卡视频| 免费又爽又刺激高潮网址 | 亚洲精品午夜天堂网页| 好久久免费视频高清| 午夜视频免费试看| 国产黑丝视频在线观看| 亚洲AV无码乱码在线观看裸奔 | 在线观看国产精品一区| 国产va在线| 激情六月丁香婷婷| 国产麻豆91网在线看| 国产丝袜91| 欧美精品v日韩精品v国产精品| 国产黑人在线| 亚洲一欧洲中文字幕在线| 波多野结衣久久精品| 欧美日韩国产综合视频在线观看| 亚洲天堂首页| 国产在线无码一区二区三区| 91无码视频在线观看| 亚洲第一页在线观看| 欧亚日韩Av| 免费看一级毛片波多结衣| 国模视频一区二区| 久久semm亚洲国产| 国产高清不卡视频| 国产欧美日韩18| 亚洲成人一区二区| 毛片久久久| 国产毛片高清一级国语| 亚洲三级成人| 国产小视频a在线观看| 日韩无码白| 久久亚洲高清国产| 全部免费毛片免费播放| 亚洲精品无码抽插日韩| 欧美色丁香| 亚洲制服中文字幕一区二区| 播五月综合| 欧美一区二区自偷自拍视频| 成人看片欧美一区二区| 国产精品视频白浆免费视频| 国产精品欧美激情| 亚洲日韩日本中文在线| 国产一级无码不卡视频| 色亚洲成人| 日本一区高清| 尤物在线观看乱码| 国产精品第5页| 亚洲国产综合自在线另类| 91av成人日本不卡三区| 无码专区第一页| 国产簧片免费在线播放| 97精品国产高清久久久久蜜芽| 国产乱人免费视频| 久久黄色一级片| 影音先锋丝袜制服| 国产一区二区三区夜色|